CN111680685B - 一种基于图像的定位方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于图像的定位方法、装置、电子设备及存储介质，本申请可以对包含预设图标的图像进行数据处理，确定至少一个候选区域，基于至少一个候选区域中每个候选区域与预设图标的特征相似度，从至少一个候选区域中确定出目标区域，基于目标区域确定出预设图标对应的至少一个目目标角点，根据至少一个目目标角点在第一坐标系下的坐标以及在第二坐标系下的坐标，得到目标区域与传感器之间的位姿转换规则，基于传感器在移动电子设备上的安装位置以及位姿转换规则确定出移动电子设备基于目标区域的位姿信息，移动电子设备通过预设图标简化移动电子设备至预设图标所在物体的位姿信息的确定。

Description

一种基于图像的定位方法、装置、电子设备及存储介质

技术领域

本申请涉及机器人领域，尤其涉及一种基于图像的定位方法、装置、电子设备及存储介质。

背景技术

智能移动机器人，是一种集环境感知、动态决策与定位规划、行为控制与执行等多功能为一体的智能化程度很高的装置，其对环境感知的快速性、准确性与多传感器信息融合技术密不可分。机器人定位是机器人自主移动的重要环节，当前定位的方式有全球定位系统GPS，激光和视觉以及多传感器融合等多种方式，在不同的应用场景，精确度和计算资源上各有不同。

针对机器人对某些物体的定位，比如充电桩或者工作站的定位，现有技术中是将充电桩或者工作站输入进机器人的规划地图中，当机器人需要充电时，可以在规划地图中将充电桩定位出来，随后指示机器人行驶至该充电桩附近。然而，这种方法使得每增加或者减少一个充电桩，都需要更新规划地图，花费大量时间在地图更新上。

发明内容

本申请实施例提供了一种基于图像的定位方法、装置、电子设备及存储介质，可以简化移动电子设备至所到物体之间的定位方式。

一方面，本申请实施例提供了一种基于图像的定位方法，该方法包括：

对包含预设图标的图像进行数据处理，确定至少一个候选区域，基于至少一个候选区域中每个候选区域与预设图标的特征相似度，从至少一个候选区域中确定出目标区域，基于目标区域确定出预设图标对应的至少一个目标角点，根据至少一个目标角点在第一坐标系下的坐标以及在第二坐标系下的坐标，得到目标区域与传感器之间的位姿转换规则，基于传感器在移动电子设备上的安装位置以及位姿转换规则确定出移动电子设备基于目标区域的位姿信息。

可选的，对包含预设图标的图像进行数据处理，包括：根据传感器的内参对图像进行畸变校正，得到校正图像，对校正图像灰度转化，得到灰度图像，对灰度图像进行高斯模糊去噪点处理，对去噪点后的灰度图像进行二值化处理，得到二值化图像。

可选的，至少一个候选区域中的每个候选区域的面积大于或等于预设图标对应的面积，且，若预设图标为具有几何特征的特定图标，则每个候选区域经过几何近似化处理后为四边形，且四边形的内角为预设角度。

可选的，基于至少一个候选区域中每个候选区域与预设图标的特征相似度，从至少一个候选区域中确定出目标区域，包括：从至少一个候选区域中的每个候选区域中确定一待比对线段，基于每个待对比线段的长度确定出每个待对比线段对应的比例误差总和，将至少一个比例误差总和中最小的比例误差总和对应的待比对线段所在的候选区域确定为目标区域。

可选的，基于每个待对比线段的长度确定出每个待对比线段对应的比例误差总和，包括：确定待对比线段包含的子线段数量，若待比对线段包含的子线段数量大于或等于预设数量，则确定每个子线段的长度与待比对线段的长度之间的比例，根据比例和比例对应的预设比例确定出比例误差，将每个子线段对应的比例误差相加，得到比例误差总和。

可选的，基于目标区域确定出预设图标对应的多个目标角点，包括：针对多个目标角点中的每个目标角点：根据目标区域包含的顶点、顶点所在线段的延长线以及预设图标包含的线段对应的比例确定目标角点的待精确位置，以目标角点的待精确位置为中点，确定目标角点对应的像素预测窗口，计算像素预测窗口中像素的特征值，基于特征值确定出目标角点的精确位置。

可选的，特征值为响应值；计算像素预测窗口中像素的特征值，将特征值中数值最大的特征值对应的像素确定为目标角点的精确位置，包括：计算像素预测窗口中每个像素的响应值，得到响应值集；将响应值集中数值最大的响应值对应的像素确定为目标角点的精确位置；目标角点的精确位置为目标角点在第二坐标系下的坐标。

可选的，基于传感器在移动电子设备上的安装位置以及位姿转换规则确定出移动电子设备基于目标区域的位姿信息之后，还包括：根据位姿信息确定出移动电子设备至图像对应的预设图标所在物体之间的移动路径，指示移动电子设备根据移动路径的移动至图像对应的预设图标所在的物体。

另一方面提供了一种基于图像的定位方法装置，该装置包括：

图像处理模块，用于对包含预设图标的图像进行数据处理；

候选区域确定模块，用于确定至少一个候选区域；

目标区域确定模块，用于基于至少一个候选区域中每个候选区域与预设图标的特征相似度，从至少一个候选区域中确定出目标区域；

角点确定模块，用于基于目标区域确定出预设图标对应的至少一个目标角点；

规则确定模块，用于根据至少一个目标角点在第一坐标系下的坐标以及在第二坐标系下的坐标，得到目标区域与传感器之间的位姿转换规则；

位姿信息确定模块，用于基于传感器在移动电子设备上的安装位置以及位姿转换规则确定出移动电子设备基于目标区域的位姿信息。

可选的，图像处理模块用于根据传感器的内参对图像进行畸变校正，得到校正图像，对校正图像灰度转化，得到灰度图像，对灰度图像进行高斯模糊去噪点处理，对去噪点后的灰度图像进行二值化处理，得到二值化图像。

可选的，目标区域确定模块用于从至少一个候选区域中的每个候选区域中确定一待比对线段，基于每个待对比线段的长度确定出每个待对比线段对应的比例误差总和，将至少一个比例误差总和中最小的比例误差总和对应的待比对线段所在的候选区域确定为目标区域。

可选的，目标区域确定模块用于确定待对比线段包含的子线段数量，若待比对线段包含的子线段数量大于或等于预设数量，则确定每个子线段的长度与待比对线段的长度之间的比例，根据比例和比例对应的预设比例确定出比例误差，将每个子线段对应的比例误差相加，得到比例误差总和。

可选的，角点确定模块用于针对多个目标角点中的每个目标角点：根据目标区域包含的顶点、顶点所在线段的延长线以及预设图标包含的线段对应的比例确定目标角点的待精确位置，以目标角点的待精确位置为中点，确定目标角点对应的像素预测窗口，计算像素预测窗口中像素的特征值，基于特征值确定出目标角点的精确位置。

可选的，角点确定模块用于计算像素预测窗口中每个像素的响应值，得到响应值集；将响应值集中数值最大的响应值对应的像素确定为目标角点的精确位置。

另一方面提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行基于图像的定位方法。

另一方面提供了一种计算机可读存储介质，计算机存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以基于图像的定位方法。

本申请实施例提供的基于图像的定位方法、装置、电子设备及存储介质，具有如下技术效果：

对包含预设图标的图像进行数据处理，确定至少一个候选区域，基于至少一个候选区域中每个候选区域与预设图标的特征相似度，从至少一个候选区域中确定出目标区域，基于目标区域确定出预设图标对应的至少一个目目标角点，根据至少一个目目标角点在第一坐标系下的坐标以及在第二坐标系下的坐标，得到目标区域与传感器之间的位姿转换规则，基于传感器在移动电子设备上的安装位置以及位姿转换规则确定出移动电子设备基于目标区域的位姿信息，实现电子设备与先验已知图标之间的精确定位，精简了设计和工艺，省略了二维码图案在工作站或充电桩上的部署设计，使用图标更美观，实用和隐蔽。综上，移动电子设备通过预设图标简化移动电子设备至预设图标所在物体的位姿信息的确定，且，在确定预设图标之前可以对采集的图像进行预先的图像处理，可以使得得到的预设图标更加清晰。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种应用环境的示意图；

图2是本申请实施例提供的一种空间位置信息的示意图；

图3是本申请实施例提供的一种基于图像的定位方法的流程示意图；

图4是本申请实施例提供的一种特殊图标的示意图；

图5是本申请实施例提供的一种基于图像的定位方法的流程示意图；

图6是本申请实施例提供的一种图片处理的示意图；(a)原图像；(b) 高斯模糊去噪点处理后的图像；(c)二值化处理后的图像；

图7是本申请实施例提供的一种基于图像的定位方法的流程示意图；

图8是本申请实施例提供的一种基于图像的定位方法的流程示意图；

图9是本申请实施例提供的一种特殊图标的示意图；

图10是本申请实施例提供的一种基于图像的定位方法的流程示意图；

图11是本申请实施例提供的一种特殊图标的示意图；

图12是本申请实施例提供的一种特殊图标的示意图；

图13是本申请实施例提供的一种两个坐标系之间的投影的示意图；

图14是本申请实施例提供的一种基于图像的定位装置的结构示意图；

图15是本申请实施例提供的一种基于图像的定位方法的电子设备的硬件结构框图；

图16是本申请实施例提供的一种计算机可读存储介质的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，该示意图包括移动电子设备101和预设图标所在物体102。其中，示意图中显示的移动电子设备101可以是一个扫地机器人，除了扫地机器人，移动电子设备还可以是其他诸如洗地机器人，导航小车等等。预设图标所在物体可以是充电桩，工作站等物体，该预设图标可以被贴在物体上。可选的，移动电子设备101可以包括传感器，用来获取图像。

具体的，移动电子设备101可以基于传感器获取包含有预设图标的图像，对图像进行图像处理，得到二值化图像。随后，移动电子设备101可以从二值化图像中确定中至少一个候选区域，并基于至少一个候选区域中每个候选区域与预设图标的特征相似度，从至少一个候选区域中确定出目标区域。进一步地，移动电子设备101可以基于目标区域确定出预设图标对应的多个目标角点，并根据多个目标角点在第一坐标系下的坐标以及在第二坐标系下的坐标，得到目标区域与传感器之间的位姿转换规则；移动电子设备101可以基于传感器在移动电子设备上的安装位置以及位姿转换规则确定出移动电子设备基于目标区域的位姿信息。如此，移动电子设备 101可以基于位姿信息确定移动电子设备101至图像对应的预设图标所在物体的移动路径。

可选的，上段中的所有技术步骤都可以在移动电子设备101内实现。可选的，部分技术步骤还可以在与移动电子设备101连接的服务器内实现，比如，在移动电子设备101获取含有预设图标的图像后，可以将该图像上传给服务器，随后，服务器可以对图像进行图像处理，得到二值化图像。随后，服务器可以从二值化图像中确定中至少一个候选区域，并基于至少一个候选区域中每个候选区域与预设图标的特征相似度，从至少一个候选区域中确定出目标区域。进一步地，服务器可以基于目标区域确定出预设图标对应的多个目标角点，并根据多个目标角点在第一坐标系下的坐标以及在第二坐标系下的坐标，得到目标区域与传感器之间的位姿转换规则；服务器可以基于传感器在移动电子设备上的安装位置以及位姿转换规则确定出移动电子设备基于目标区域的位姿信息。在服务器得到上述的位姿信息后，可以将该位姿信息反馈给移动电子设备101。本申请实施例将以所有步骤在移动电子设备101中内实施为例进行撰写，其他情况在这里不再赘述。

本申请实施例中，位姿信息是指两个物体或坐标系之间的空间转换关系，包含了位置和角度信息，空间位置信息是指物体在三维空间中的位姿包括位置和角度，位置包括三维坐标系下，在x轴，y轴和z轴的位置，角度包括俯仰角(pitch)，翻滚角(roll)和航向角(yaw)，其中角度的示意图如图2所示。

以下介绍本申请一种基于图像的定位方法的具体实施例，图3是本申请实施例提供的一种基于图像的定位方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图3所示，该方法可以包括：

S301：对包含预设图标的图像进行数据处理。

一种可选的实施方式中，在对包含预设图标的图像进行数据处理之前，移动电子设备可以基于设置在移动电子设备上的传感器获取包含有预设图标的图像。

本申请实施例中，预设图标是一种特殊图标，是为图像检测特殊设计的图标，该预设图标的各种特征信息(比如图标各个边的长度，图标中各个角度的度数和图标中各个区域的相对位置)都是清晰的。可选的，预设图标可以为具有几何特征的特定图标，具有几何特征的特定图片可以被定为经过几何近似化处理后得到的具有一定数量的边，一定数量的角的图形。如图4所示，本申请将以特殊图标“GS”图标为例，进行说明，其他特殊图标在申请中的应用不再赘述。

文中的传感器可以是任意可以在白天和黑夜获取图像的设备，比如安装在移动电子设备上的摄像头，可以是相机(包括单反相机，红外线相机，微单相机等等)摄像头，电脑摄像头，手机摄像头等等。

一种可选的对包含预设图标的图像进行数据处理的实施方式中，移动电子设备可以对该图像进行畸变校正，高斯模糊化处理等等，以得到清晰的图像。图5是本申请实施例提供的一种基于图像的定位方法的流程示意图，在图5中，步骤S301可具体表示为：

S3011：根据获取图像的传感器的内参对图像进行畸变校正，得到校正图像。

假设传感器为相机摄像头，相机成像的过程实际就是将世界坐标系的点，转换到相机坐标系，投影得到图像坐标系，进而转化为像素坐标系的过程。而由于透镜精度和工艺会引入畸变(所谓畸变，就是指在世界坐标系中的直线转化到其他坐标系不在是直线)，从而导致失真，为了解决这个问题，才会需要对图像先进行畸变校正，如此，才能获得校正图像。

S3012：对校正图像灰度转化，得到灰度图像。

为了方便后续的图像处理，移动电子设备可以对校正图像进行灰度转化处理，得到灰度图像。

S3013：对灰度图像进行高斯模糊去噪点处理。

高斯模糊去噪点处理通常是用来减少图像噪点以及降低细节层次，以得到清晰的可处理的图像。

S3014：对去噪点后的灰度图像进行二值化处理，得到二值化图像。

本申请实施例中，该二值化处理可以是指自适应二值化处理，表示将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。普通的二值化采用统一的阈值，灰度值小于阈值则置为0，大于阈值则置为255，需要根据经验设置且无法适用亮度变化大的图像。自适应二值化根据邻域灰度值自动调整阈值，适用于更多的场景。

原图像、高斯模糊去噪点处理后的图像和二值化处理后的图像可以见图6。

S303：确定至少一个候选区域。

该步骤中，移动电子设备可以从数据处理后的图像中确定出至少一个候选区域。一种可选的实施方式中，候选区域是指预设图标中对应的“G”字母所在的区域，这是因为“G”字母所在的区域近似一个梯形，移动电子设备在识别的时候相对容易。如此，移动电子设备可以从上述二值化图像中确定多个候选区域，也就是说，可以从上述的二值化图像中确定多个包含“G”字母所在的区域。其中，多个候选区域中可以满足每个候选区域的面积大于等于所述预设图标对应的面积。且，若预设图标为如图4所示的“GS”图标，则每个所述候选区域经过几何近似化处理后为四边形，且所述四边形的内角为预设角度。

图7是本申请实施例提供的一种基于图像的定位方法的流程示意图，在图7中，步骤S303可具体表示为：

S3031：在二值化图像中确定黑色连通区域。

由于上文提及预设图标的各种特征信息都是清晰的，因此，“GS”图标中“G”字母所在区域中的外围区域在二值化处理后是黑色的这个特征也是清晰的。基于此，移动电子设备首先要确定黑色连通区域，由此便于后续定位至“G”字母所在的区域。

S3032：从黑色连通区域确定出面积大于预设图标对应的面积的连通区域。

由于预设图标对应的面积是确定的，如果黑色连通区域中有小于预设图标对应的面积，则确定不是本申请需要进一步研究的区域。

S3033：将确定出的连通区域进行几何近似化处理。

由于获取的图片即使已经进行图像处理，还可能存在噪点，虚影，边界模糊等特征，因此需要对其进行几何近似化处理，得到更清晰的头像那个边界。

S3034：从几何近似化处理后的连通区域确定出多个满足预设条件的候选区域，其中，预设条件为几何近似化处理后的连通区域为四边形，且四边形的内角近似60度或者120度。

S305：基于至少一个候选区域中每个候选区域与预设图标的特征相似度，从至少一个候选区域中确定出目标区域。

图8是本申请实施例提供的一种基于图像的定位方法的流程示意图，在图8中，步骤S305可具体表示为：

本申请实施例中，基于待比对线段确定目标区域是一种可选的实施方式。由于上述提及预设图标的各种特征信息都是清晰的，因此，移动电子设备可以预先确定如图9所示的预设图标上AB线段的中点、DC线段上的中点以及两个中点之间的线段(或者可以称为AB线段上的垂直平分线)，也可以预先就知道两个中点之间的线段基于二值化处理可以被区分为多个 (比如7个)子线段。

S3051：从至少一个候选区域中的每个候选区域中确定一待比对线段。

上文已经说明候选区域为四边形(等腰梯形)，可选的，可以结合图9 对移动电子设备如何从至少一个候选区域中确定出目标区域进行阐述。首先，可以从每个四边形确定一个最长边AD，及计算该最长边的斜率，并根据该斜率旋转该四边形，以使得最长边AD竖直。随后，移动电子设备可以确定最上边线段AB的垂直平分线为该待比对线段。

S3052：基于每个待对比线段的长度确定出每个待对比线段对应的比例误差总和。

可选的，移动电子设备可以确定待对比线段包含的子线段数量，若待比对线段包含的子线段数量大于或者等于预设数量，换句话说，若待对比线段包含的子线段的数量为7，则确定每个子线段的长度与待比对线段的长度之间的比例。随后，移动电子设备根据比例和比例对应的预设比例确定出比例误差，将每个子线段对应的比例误差相加，得到每个待对比线段对应的比例误差总和。

S3053：将至少一个比例误差总和中最小的比例误差总和对应的待比对线段所在的候选区域确定为目标区域。

S307：基于目标区域确定出预设图标对应的至少一个目标角点。

图10是本申请实施例提供的一种基于图像的定位方法的流程示意图，在图10中，针对至少一个目标角点中的每个目标角点：

S3071：根据目标区域包含的顶点、顶点所在线段的延长线以及预设图标包含的线段对应的比例确定目标角点的待精确位置。

以G点的定位举个例子，如图11所示，移动电子设备可以根据上一步得到的目标区域，也就是目标四边形，确定该目标四边形的四个顶点A、D、 E和F。根据几何关系可知G在AE的延长线上，如此，根据已知的预设图标的各种特征信息，移动电子设备可以基于AG和AE的长度比例一定得到 G点的待精确位置。

S3072：以目标角点的待精确位置为中点，确定目标角点对应的像素预测窗口。

移动电子设备以目标角点的待精确位置为中点选择邻域n*n个像素(根据图像尺寸和容差经验设置，如640x480图像中设置为17x17)，该邻域 nxn个像素为G点的像素预测窗口。

S3073：计算像素预测窗口中每个像素的特征值，基于特征值确定出目标角点的精确位置。

一种可选的实施方式中，特征值可以是响应值，因此，移动电子设备可以计算像素预测窗口中每个像素的响应值，得到响应值集，将响应值集中数值最大的响应值对应的像素确定为目标角点的精确位置。

具体的，若响应值是harris响应值，移动电子设备可以对像素预测窗口的每一个像素点计算harris响应值，取harris响应值最大的点(u’,v’)作为目标角点，并对整数类型的坐标(u’,v’)进行子像素级优化得到浮点类型的坐标(u，v)，提高角点坐标精确度，即G点的精确位置。其中，计算harris响应和子像素优化为图像处理方法。

另一种可选的实施方式中，特征值可以是像素的强度值。假设像素预测窗口中的某一个像素为中心像素，假设该中心像素周边上连续多个像素的强度值都比该中心像素的强度高，或者该中心像素周边上连续多个像素的强度值都比该中心像素的强度低，则可以确定该中心像素为目标角点的精确位置。

同样的，移动电子设备可以参考上述S3071-S3073的方法可以得到H 点、I点和J点的精确位置，这里不在赘述。

一种可选的实施方式中，上述各个目标角点(G点、H点、I点和J点) 的精确位置可以为目标角点在成像平面坐标系下的坐标。

S309：根据至少一个目标角点在第一坐标系下的坐标以及在第二坐标系下的坐标，得到目标区域与传感器之间的位姿转换规则。

一种可选的实施方式中，第一坐标系可以是任意基于目标区域可以使用的坐标系，比如世界坐标系，而第二坐标系和传感器的种类相关，比如，传感器是相机摄像头，则第二坐标系为相机摄像头对应的成像平面坐标系。

一种可选的实施方式中，基于所示的图12继续对本申请进行阐述，将预设图标中线段EF的中点定为第一坐标系下的原点，以线段AD的长度为基准，确定点A、点G、点H、点I和点J的三维坐标。例如A点坐标为 s*(-0.3385，-0.5,0)，s为预设图标的字母G部分的真实物理高度(即AD)，需要根据实际部署配置参数。以上三维坐标在配置图标字母G部分高度之后即可计算，为已知信息。

由于移动电子设备可以通过步骤S309得到各个角点在第二坐标系下的坐标，也就是二维坐标P(u，v)，通过上一段内容可以得到各个角点在第一坐标系下的坐标Pw(Xw，Yw，Zw)，如此，可以通过同一个角点在两个坐标系下的坐标得到目标区域与传感器之间的位姿转换规则，也就是得到贴在充电站上的预设图标与传感器之间的位姿转换规则。

一种可选的实施方式中，上文的位姿转换规则可以用位姿转换矩阵来表示：

空间p点在第一坐标系下的坐标(Xw，Yw，Zw)和在摄像头坐标系下的坐标(Xc，Yc，Zc)转换关系是通过平移矩阵T_3x1和旋转矩阵R_3x3变换的，用齐次坐标系表示可以如公式(1)：

其中，

上述α，β，γ为角度，x,y,z为位移量，是描述三维空间转换关系的6个自由度，物体在三维空间中的位姿信息包括位置信息和角度信息，位置包括x,y,z，角度包括俯仰角(pitch)，翻滚角(roll)和航向角(yaw)。

如图13所示，摄像头坐标系的Pc点投影到第二坐标系的p点满足以下公式(2)：

其中

为相机内参，f_x和f_y表示成像二维平面两个方向上的焦距，c_x和c_y表示相机光轴在图像坐标系中的偏移量，相机内参可以用过标定或出厂说明得到，摄像头标定后已知。结合以上公式(1)和公式(2)可以得到第一坐标系下的坐标与第二坐标系下的坐标的位置关系：

如此，可以根据n对3维-2维点的关系建立方程，当n>3时可以获得旋转矩阵R和平移矩阵T的解，即可得到贴在充电站上的预设图标与传感器之间的位姿转换规则，这边指位姿转换矩阵。

S311：基于传感器在移动电子设备上的安装位置以及位姿转换规则确定出移动电子设备基于目标区域的位姿信息。

可选的，由于传感器在移动电子设备上的安装位置是已知的，因此，移动电子设备可以根据安装位置以及位姿转换规则确定出移动电子设备 (甚至可以具体到移动电子设备的中心点)基于目标区域的位姿信息，也就是移动电子设备基于贴在充电站上的预设图标的位姿信息。具体的，不仅可以确定移动电子设备至充电站上的预设图标的相对位置信息，比如，预设图标与充电站上的预设图标相对距离，还可以知道移动电子设备至充电站上的预设图标的相对姿态信息，比如，移动电子设备的前端与电站上的预设图标的位姿信息，具体是在预设图标的正前方还是在预设图标的右前方。

一种可选的实施方式中，移动电子设备确定位姿信息之后，还可以根据位姿信息确定出移动电子设备至图像对应的预设图标所在的物体之间的移动路径，并指示移动电子设备根据移动路径的移动至图像对应的预设图标所在的物体。

综上，移动电子设备通过预设图标简化移动电子设备至预设图标所在物体的位姿信息的确定，且通过本申请实施例涉及的技术方案，可以实现移动电子设备与预设图标所在物体之间的精确定位，可用于对物体的自动维护。同时，通过精简设计和工艺，可以省略二维码图案在工作站和充电桩上的部署设计，且相对于使用二维码团，使用预设图标更美观，更实用和更隐蔽。

本申请实施例还提供了一种基于图像的定位装置，图14是本申请实施例提供的一种基于图像的定位装置的结构示意图，如图14所示，该装置包括：

图像处理模块1401用于对包含预设图标的图像进行数据处理；

候选区域确定模块1402用于确定至少一个候选区域；

目标区域确定模块1403用于基于至少一个候选区域中每个候选区域与预设图标的特征相似度，从至少一个候选区域中确定出目标区域；

角点确定模块1404用于基于目标区域确定出预设图标对应的至少一个目标角点；

规则确定模块1405用于根据至少一个目标角点在第一坐标系下的坐标以及在第二坐标系下的坐标，得到目标区域与传感器之间的位姿转换规则；

位姿信息确定模块1406用于基于传感器在移动电子设备上的安装位置以及位姿转换规则确定出移动电子设备基于目标区域的位姿信息。

在一种可选的实施方式中，该装置还包括：

图像处理模块1401用于根据传感器的内参对图像进行畸变校正，得到校正图像，对校正图像灰度转化，得到灰度图像，对灰度图像进行高斯模糊去噪点处理，对去噪点后的灰度图像进行二值化处理，得到二值化图像。

在一种可选的实施方式中，该装置还包括：

目标区域确定模块1403用于从至少一个候选区域中的每个候选区域中确定一待比对线段，基于每个待对比线段的长度确定出每个待对比线段对应的比例误差总和，将至少一个比例误差总和中最小的比例误差总和对应的待比对线段所在的候选区域确定为目标区域。

在一种可选的实施方式中，该装置还包括：

目标区域确定模块1403用于确定待对比线段包含的子线段数量，若待比对线段包含的子线段数量大于或等于预设数量，则确定每个子线段的长度与待比对线段的长度之间的比例，根据比例和比例对应的预设比例确定出比例误差，将每个子线段对应的比例误差相加，得到比例误差总和。

在一种可选的实施方式中，该装置还包括：

角点确定模块1404用于针对多个目标角点中的每个目标角点：根据目标区域包含的顶点、顶点所在线段的延长线以及预设图标包含的线段对应的比例确定目标角点的待精确位置，以目标角点的待精确位置为中点，确定目标角点对应的像素预测窗口，计算像素预测窗口中像素的特征值，基于特征值确定出目标角点的精确位置。

在一种可选的实施方式中，该装置还包括：

角点确定模块1404用于计算像素预测窗口中每个像素的响应值，得到响应值集，将响应值集中数值最大的响应值对应的像素确定为目标角点的精确位置。

本申请实施例中的装置与方法实施例基于同样地申请构思。

本申请实施例所提供的方法实施例可以在计算机终端、电子设备或者类似的运算装置中执行。以运行在电子设备上为例，图15是本申请实施例提供的一种基于图像的定位方法的电子设备的硬件结构框图。如图15所示，该电子设备1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1510(处理器1510 可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1530，一个或一个以上存储应用程序1523或数据 1522的存储介质1520(例如一个或一个以上海量存储设备)。其中，存储器1530和存储介质1520可以是短暂存储或持久存储。存储在存储介质1520 的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器1510可以设置为与存储介质1520 通信，在电子设备1500上执行存储介质1520中的一系列指令操作。电子设备1500还可以包括一个或一个以上电源1560，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1540，和/或，一个或一个以上操作系统1521，例如WindowsServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。

输入输出接口1540可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备1500的通信供应商提供的无线网络。在一个实例中，输入输出接口1540包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1540可以为射频(RadioFrequency， RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图15所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备1500还可包括比图15中所示更多或者更少的组件，或者具有与图15所示不同的配置。

如图16所示，本申请的实施例还提供了一种计算机可读存储介质1610，所述计算机可读存储介质可设置于服务器之中以保存用于实现方法实施例中一种基于图像的定位方法相关的至少一条指令、至少一段程序、代码集或指令集1611，该至少一条指令、该至少一段程序、该代码集或指令集1611 由该处理器1620加载并执行以基于图像的定位方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的基于图像的定位方法、设备或存储介质的实施例可见，具体包括对包含预设图标的图像进行数据处理，确定至少一个候选区域，基于至少一个候选区域中每个候选区域与预设图标的特征相似度，从至少一个候选区域中确定出目标区域，基于目标区域确定出预设图标对应的至少一个目目标角点，根据至少一个目目标角点在第一坐标系下的坐标以及在第二坐标系下的坐标，得到目标区域与传感器之间的位姿转换规则，基于传感器在移动电子设备上的安装位置以及位姿转换规则确定出移动电子设备基于目标区域的位姿信息，实现电子设备与先验已知图标之间的精确定位，精简了设计和工艺，省略了二维码图案在工作站或充电桩上的部署设计，使用图标更美观，实用和隐蔽。综上，移动电子设备通过预设图标简化移动电子设备至预设图标所在物体的位姿信息的确定，且，在确定预设图标之前可以对采集的图像进行预先的图像处理，可以使得得到的预设图标更加清晰。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于图像的定位方法，其特征在于，所述方法包括：

对包含预设图标的图像进行数据处理；

确定至少一个候选区域；

基于所述至少一个候选区域中每个候选区域与所述预设图标的特征相似度，从所述至少一个候选区域中确定出目标区域；

基于所述目标区域确定出所述预设图标对应的至少一个目标角点；

根据所述至少一个目标角点在所述目标区域对应的第一坐标系下的坐标以及在传感器对应的第二坐标系下的坐标，得到所述目标区域与所述传感器之间的位姿转换规则；

基于所述传感器在移动电子设备上的安装位置以及所述位姿转换规则确定出所述移动电子设备基于所述目标区域的位姿信息；

所述基于所述至少一个候选区域中每个候选区域与所述预设图标的特征相似度，从所述至少一个候选区域中确定出目标区域，包括：

从所述至少一个候选区域中的每个候选区域中确定一待比对线段；

确定所述待比对线段包含的子线段数量；

若所述待比对线段包含的子线段数量大于或等于预设数量，则确定每个所述子线段的长度与所述待比对线段的长度之间的比例；

根据所述比例和所述比例对应的预设比例确定出比例误差；

将所述每个子线段对应的比例误差相加，得到比例误差总和；

将至少一个所述比例误差总和中最小的比例误差总和对应的所述待比对线段所在的候选区域确定为所述目标区域。

2.根据权利要求1所述的方法，其特征在于，所述对包含预设图标的图像进行数据处理，包括：

根据获取所述图像的传感器的内参对所述图像进行畸变校正，得到校正图像；

对所述校正图像灰度转化，得到灰度图像；

对所述灰度图像进行高斯模糊去噪点处理；

对去噪点后的所述灰度图像进行二值化处理，得到二值化图像。

3.根据权利要求1所述的方法，其特征在于，

所述至少一个候选区域中的每个候选区域的面积大于或等于所述预设图标对应的面积；

且，若所述预设图标为具有几何特征的特定图标，则每个所述候选区域经过几何近似化处理后为四边形，且所述四边形的内角为预设角度。

4.根据权利要求1所述的方法，其特征在于，所述基于所述目标区域确定出所述预设图标对应的至少一个目标角点，包括：

针对所述每个目标角点：

根据所述目标区域包含的顶点、所述顶点所在线段的延长线以及所述预设图标包含的线段对应的比例确定所述目标角点的待精确位置；

以所述目标角点的待精确位置为中点，确定所述目标角点对应的像素预测窗口；

计算所述像素预测窗口中像素的特征值，基于所述特征值确定出所述目标角点的精确位置。

5.根据权利要求4所述的方法，其特征在于，所述特征值为响应值；

所述计算所述像素预测窗口中像素的特征值，基于所述特征值确定出所述目标角点的精确位置，包括：

计算所述像素预测窗口中每个像素的响应值，得到响应值集；

将所述响应值集中数值最大的响应值对应的像素确定为所述目标角点的精确位置；

所述目标角点的精确位置为所述目标角点在第二坐标系下的坐标。

6.根据权利要求1所述的方法，其特征在于，所述基于所述传感器在移动电子设备上的安装位置以及所述位姿转换规则确定出所述移动电子设备基于所述目标区域的位姿信息之后，还包括：

根据所述位姿信息确定出所述移动电子设备至所述图像对应的预设图标所在物体之间的移动路径；

指示所述移动电子设备根据所述移动路径移动至所述图像对应的预设图标所在的物体。

7.一种基于图像的定位装置，其特征在于，所述装置包括：

图像处理模块，用于对包含预设图标的图像进行数据处理；

候选区域确定模块，用于确定至少一个候选区域；

目标区域确定模块，用于基于所述至少一个候选区域中每个候选区域与所述预设图标的特征相似度，从所述至少一个候选区域中确定出目标区域；

角点确定模块，用于基于所述目标区域确定出所述预设图标对应的至少一个目标角点；

规则确定模块，用于根据所述至少一个目标角点在所述目标区域对应的第一坐标系下的坐标以及在传感器对应的第二坐标系下的坐标，得到所述目标区域与所述传感器之间的位姿转换规则；

位姿信息确定模块，用于基于所述传感器在移动电子设备上的安装位置以及所述位姿转换规则确定出所述移动电子设备基于所述目标区域的位姿信息；

所述基于所述至少一个候选区域中每个候选区域与所述预设图标的特征相似度，从所述至少一个候选区域中确定出目标区域，包括：

从所述至少一个候选区域中的每个候选区域中确定一待比对线段；

确定所述待比对线段包含的子线段数量；

若所述待比对线段包含的子线段数量大于或等于预设数量，则确定每个所述子线段的长度与所述待比对线段的长度之间的比例；

根据所述比例和所述比例对应的预设比例确定出比例误差；

将所述每个子线段对应的比例误差相加，得到比例误差总和；

将至少一个所述比例误差总和中最小的比例误差总和对应的所述待比对线段所在的候选区域确定为所述目标区域。

8.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1-6任一所述的基于图像的定位方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-6任一所述的基于图像的定位方法。

Images