CN109269477A - 一种视觉定位方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种视觉定位方法、装置、设备和存储介质。其中，该方法包括：获取目标载体所在的图像采集设备采集的当前图像数据；确定所述目标载体对应的全景地图图像，所述全景地图图像由所述图像采集设备采集的至少两个素材图像数据拼接合成；根据所述当前图像数据在所述全景地图图像中的匹配区域，确定所述目标载体的位置信息。本发明实施例提供的技术方案，通过图像拼接实现了对目标载体的视觉定位，降低了图像数据的匹配失误率，提高了视觉定位的准确性。

Description

一种视觉定位方法、装置、设备和存储介质

技术领域

本发明实施例涉及图像处理领域，尤其涉及一种视觉定位方法、装置、设备和存储介质。

背景技术

随着各种智能机器在市场中的普遍应用，针对采用图像和机器视觉技术的工业自动化的智能需求也开始广泛出现，此时通过机器视觉即用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终实现机器定位的技术也快速发展起来。

目前，现有的视觉定位算法会在移动过程中采集对应的图像数据，而由于采集过程中的环境光或移动时拍照残影的影响，对于图像数据中的重复性特征区域或者特征不明显区域很容易产生错误匹配，视觉定位的准确性较差，同时，对于图像数据的识别由于过度依靠硬件设备的运算能力，导致识别速度慢、识别率低，使得对硬件设备的运算功能要求较高。

发明内容

本发明实施例提供了一种视觉定位方法、装置、设备和存储介质，以实现目标载体的视觉定位，降低图像数据的匹配失误率，提高视觉定位的准确性。

第一方面，本发明实施例提供了一种视觉定位方法，该方法包括：

获取目标载体所在的图像采集设备采集的当前图像数据；

确定所述目标载体对应的全景地图图像，所述全景地图图像由所述图像采集设备采集的至少两个素材图像数据拼接合成；

根据所述当前图像数据在所述全景地图图像中的匹配度，确定所述目标载体的位置信息。

第二方面，本发明实施例提供了一种视觉定位装置，该装置包括：

数据获取模块，用于获取目标载体所在的图像采集设备采集的当前图像数据；

全景确定模块，用于确定所述目标载体对应的全景地图图像，所述全景地图图像由所述图像采集设备采集的至少两个素材图像数据拼接合成；

视觉定位模块，用于根据所述当前图像数据在所述全景地图图像中的匹配度，确定所述目标载体的位置信息。

第三方面，本发明实施例提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的视觉定位方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的视觉定位方法。

本发明实施例提供了一种视觉定位方法、装置、设备和存储介质，通过图像拼接技术预先将目标载体对应的素材图像数据拼接合成全景地图图像，从而确定目标载体所在的图像采集设备采集的当前图像数据在该全景地图图像中的匹配位置，通过图像拼接实现对目标载体的视觉定位，降低图像数据的匹配失误率，提高视觉定位的准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1A为本发明实施例一提供的一种视觉定位方法的流程图；

图1B为本发明实施例一提供的方法中图像采集设备的具体结构示意图；

图1C为本发明实施例一提供的方法中全景地图图像确定方法的流程图；

图2为本发明实施例二提供的一种视觉定位方法的流程图；

图3为本发明实施例三提供的一种视觉定位装置的结构示意图；

图4为本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1A为本发明实施例一提供的一种视觉定位方法的流程图，本实施例可适用于任一种可以通过视觉定位技术对目标载体进行实时定位的情况中。本实施例提供的一种视觉定位方法可以由本发明实施例提供的视觉定位装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，在本实施例中执行本方法的设备可以是平板电脑、台式机和服务器等任意一种能够实现图像处理的智能终端。具体的，参考图1A，该方法可以包括如下步骤：

S110，获取目标载体所在的图像采集设备采集的当前图像数据。

其中，目标载体为其上承载有视觉定位技术中可以采集图像、具有与人体视觉功能相似的摄像头、摄像机等拍摄器件的任一种工业器件；例如，工业生产中的机器人需要通过视觉定位技术确定自身的位置信息时，机器人上会安装有采集周围环境图像的摄像机，此时该机器人为目标载体，通过视觉定位技术对该机器人进行实时定位。

图像采集设备为视觉定位中由各类图像采集的相关器件按照一定规则预先连接组成的一整套图像采集系统。如图1B所示，本实施例中的图像采集设备中至少可以包括如下部件：图像采集镜头11、连接杆12、目标载体13和天花板14。具体的，图像采集镜头11可以通过连接杆12安装在目标载体13的中心位置上，同时天花板14对应设置在目标载体13所经过路径的上方，并绘制有对应的素材图像。其中，图像采集镜头11可以是摄像机的镜头，也可以是手机中照相机的镜头，本实施例中对此并不作限定，只要可以对应采集到天花板14上的素材图像即可。

可选的，本实施例中在需要通过视觉定位技术对目标载体进行定位时，首先会通过配置有该目标载体的图像采集设备中的图像采集镜头实时采集目标载体当前所处位置对应的天花板上绘制的素材图像数据，从而获取表示该目标载体此时所处位置的当前图像数据，以便后续根据该当前图像数据在整个素材图像中的位置确定目标载体的位置。

S120，确定目标载体对应的全景地图图像。

其中，全景地图图像可以由图像采集设备采集的至少两个素材图像数据拼接合成。具体的，全景地图图像可以是目标载体可能经过的所有位置对应的天花板上绘制的全部素材图像的整合图像数据；本实施例中通过转换矩阵算法实现各个素材图像数据到地图图像中的映射，并通过图像拼接技术将各个素材图像进行拼接合成，得到包含有各素材图像在地图图像中对应位置坐标信息的全景地图图像。

具体的，在获取到目标载体所处位置的当前图像信息时，为了后续实现视觉定位，此时本实施例中还需要确定通过该目标载体所在的图像采集设备预先采集的至少两个素材图像数据通过转换矩阵算法得到的包含有对应位置坐标信息的映射图像，并将各映射图像进行拼接合成后的全景地图图像。目标载体对应的全景地图图像中包含有目标载体可能经过的各个素材图像对应的位置坐标，以便后续确定目标载体在全景地图图像中的位置信息。

可选的，如图1C所示，本实施例中的全景地图图像可以通过如下方式确定：

S121，获取目标载体所在的图像采集设备采集的素材图像数据。

具体的，本实施例中在对目标载体进行视觉定位之前，首先需要预先根据目标载体对应的天花板上绘制的各个素材图像确定目标载体对应的全景地图图像。可选的，通过目标载体所在的图像采集设备中的图像采集镜头多次采集该目标载体可能经过的各个位置对应的天花板上绘制的素材图像数据，从而获取到各个位置对应的素材图像数据，以便后续对各素材图像数据采用图像拼接技术进行拼接合成。

可选的，图像采集设备采集到各个素材图像数数据后，可以为每一个素材图像数据设置一个唯一的图像标识，如素材图像身份(Identification，ID)号等，可以是对各个素材图像数据进行唯一性编码得到。同时，本实施例还可以将采集到的各个素材图像数据根据转换矩阵算法，映射到对应的地图图像中，以得到各个素材图像数据的位置坐标信息。本实施例中为素材图像数据设置的图像标识可以在后续目标载体的当前图像数据在全景地图图像中进行视觉定位时，明确对应匹配的素材图像数据的位置坐标，提高视觉定位的准确性。

S122，根据素材图像数据的边缘特征，查找存在相似特征点的目标素材图像数据，并确定相似特征点的区域位置。

具体的，在获取目标载体对应的各素材图像数据后，为了通过图像拼接得到全景地图图像，本实施例中可以通过特定的图像拼接函数对得到的各素材图像数据进行处理，得到各素材图像数据的边缘特征。其中，边缘特征可以是各素材图像数据对应的图片边缘部分的像素灰度、纹理分布或像素密度等变化情况。本实施例中根据素材图像数据的边缘特征，判断各素材图像数据的是否存在对应的相似特征点，以确定各素材图像数据中的相邻素材图像数据。此时根据素材图像数据的边缘特征，可以在全部素材图像数据中查找出存在相似特征点的目标素材图像数据，并根据目标素材图像数据中两两素材图像数据中的相似特征点确定目标素材图像数据之间的相邻性。

此外，在查找到存在相似特征点的目标素材图像数据后，还可以根据转换矩阵算法确定目标素材图像数据中的相似特征点映射到地图图像中的区域位置，以便实现后续的图像拼接。

S123，根据相似特征点的区域位置，采用图像拼接算法确定目标素材图像数据拼接合成的全景地图图像。

可选的，本实施例中在确定相似特征点的区域位置后，可以根据该区域位置采用图像拼接算法对两两相邻的目标素材图像数据进行图像拼接合成，使得拼接后的图像数据可以保留有四分之一到三分之一的重叠部分，也就是可以将相似特征点的区域位置确定为原始图像数据中四分之一到三分之一的边缘部分，此时通过图像拼接技术将两两相邻的目标素材图像数据中相似特征点所在的四分之一到三分之一的区域位置进行重叠拼接。本实施例中可以根据相似特征点的区域位置重复执行相邻两个目标素材图像数据的拼接合成操作，直至所有目标素材图像数据已经全部拼接完成，得到对应的全景地图图像，也就是根据全部素材图像数据拼接合成的整合图像数据，创建一个目标载体对应的虚拟地图，以便后续对目标载体实时定位。

S130，根据当前图像数据在全景地图图像中的匹配区域，确定目标载体的位置信息。

具体的，在获取到目标载体所处位置的当前图像数据以及对应的全景地图图像时，为了对目标载体进行视觉定位，由于全景地图图像中必定包含有目标载体此时所处位置的当前图像数据，因此首先可以根据相应的图像处理算法对当前图像数据和全景地图图像中的各个像素特征进行分析，判断在全景地图图像中与当前图像数据相匹配的素材图像数据，并确定该素材图像数据的位置坐标信息，也就是当前图像数据在全景地图图像中的匹配区域。由于图像采集镜头安装在目标载体的中心位置，则可以确定目标载体的位置为图像采集镜头采集的当前图像数据的中心位置，因此根据当前图像数据在全景地图图像中的匹配区域，则可以确定该匹配区域在全景地图图像中的中心位置坐标为目标载体的位置信息，实现目标载体的视觉定位。

本实施例提供的技术方案，通过图像拼接技术预先将目标载体对应的素材图像数据拼接合成全景地图图像，从而确定目标载体所在的图像采集设备采集的当前图像数据在该全景地图图像中的匹配位置，实现对目标载体的视觉定位，降低图像数据的匹配失误率，提高视觉定位的准确性。

实施例二

图2为本发明实施例二提供的一种视觉定位方法的流程图。本实施例是在上述实施例的基础上进行优化。具体的，参照图2，本实施例可以包括如下步骤：

S210，获取图像采集设备的工作参数，根据工作参数调整图像采集设备的工作状态。

其中，工作参数为图像采集设备在采集图像数据前由工作人员针对不同的工作需求预先确定选择的技术性能标准。可选的，本实施例中为了减少图像采集设备在采集图像数据时的光学干扰，选用显示器参数Gamma对图像采集设备进行初始化，通过获取图像采集设备的显示器参数Gamma值，根据该Gamma值自动调整图像采集设备在采集对应素材图像数据时的工作状态，以减少光学干扰。其中，本实施例中的Gamma初始化源于使用阴极射线管(Cathode Ray Tube，CRT)的显示器的响应曲线，即其亮度与输入电压的非线性关系。

S220，获取目标载体所在的图像采集设备采集的当前图像数据。

S230，确定目标载体对应的全景地图图像，该全景地图图像由图像采集设备采集的至少两个素材图像数据拼接合成。

S240，采用随机抽样一致性算法和转换矩阵算法确定当前图像数据在全景地图图像中的匹配区域。

其中，随机抽样一致性(RANdom Sample Consensus，RANSAC)算法可以通过迭代算法从一组包含“局外点”的观测数据集中估算出符合高精度条件的一系列参数，也就是从随机的一大堆数据(包含有普通数据和干扰数据)中选取出符合条件的普通数据。本实施例中可以采用RANSAC算法根据当前图像数据的像素特征，在全景地图图像中估算出与当前图像数据的像素特征匹配的素材图像数据，并根据对应的转换矩阵算法确定该匹配的素材图像数据在全景地图图像中的位置坐标信息，从而确定当前图像数据在全景地图图像中的匹配区域。

S250，确定匹配区域的中心点在全景地图图像中的位置坐标，作为目标载体的位置信息。

可选的，由于本实施例中图像采集设备中的图像采集镜头安装在目标载体的中心位置，此时可以将该图像采集镜头采集的当前图像数据在全景地图图像中的匹配区域中的中心位置作为目标载体的位置信息。因此，在确定当前图像数据在全景地图图像中的匹配区域后，优选的，本实施例中由图像采集镜头采集的当前图像数据为方形像素框，则在全景地图图像中的匹配区域也为方形像素框，因此可以根据方形框中心点的计算方法进一步确定该匹配区域的中心点在全景地图图像中的位置坐标，作为目标载体的位置信息。

本实施例提供的技术方案，通过图像拼接技术预先将目标载体对应的素材图像数据拼接合成全景地图图像，从而确定目标载体所在的图像采集设备采集的当前图像数据在该全景地图图像中的匹配位置，实现对目标载体的视觉定位，降低图像数据的匹配失误率，提高视觉定位的准确性。

实施例三

图3为本发明实施例三提供的一种视觉定位装置的结构示意图，如图3所示，该装置可以包括：

数据获取模块310，用于获取目标载体所在的图像采集设备采集的当前图像数据；

全景确定模块320，用于确定目标载体对应的全景地图图像，该全景地图图像由图像采集设备采集的至少两个素材图像数据拼接合成；

视觉定位模块330，用于根据当前图像数据在全景地图图像中的匹配区域，确定目标载体的位置信息。

本实施例提供的技术方案，通过图像拼接技术预先将目标载体对应的素材图像数据拼接合成全景地图图像，从而确定目标载体所在的图像采集设备采集的当前图像数据在该全景地图图像中的匹配位置，实现对目标载体的视觉定位，降低图像数据的匹配失误率，提高视觉定位的准确性。

进一步的，上述全景地图图像可以通过视觉处理模块340来确定；

上述视觉处理模块340可以具体用于：获取目标载体所在的图像采集设备采集的素材图像数据；根据素材图像数据的边缘特征，查找存在相似特征点的目标素材图像数据，并确定相似特征点的区域位置；根据相似特征点的区域位置，采用图像拼接算法确定目标素材图像数据拼接合成的全景地图图像。

进一步的，上述视觉定位模块330可以包括：区域确定单元3301，用于采用随机抽样一致性算法和转换矩阵算法确定当前图像数据在全景地图图像中的匹配区域；载体定位单元3302，用于确定匹配区域的中心点在全景地图图像中的位置坐标，作为目标载体的位置信息。

进一步的，上述图像采集设备至少可以包括如下部件：图像采集镜头、连接杆、目标载体和天花板，图像采集镜头通过连接杆安装在目标载体的中心位置上，天花板上绘制有对应的素材图像。

进一步的，上述装置还可以包括：参数调整模块350，用于在获取目标载体所在的图像采集设备采集的当前图像数据之前，获取图像采集设备的工作参数，根据工作参数调整图像采集设备的工作状态。

本实施例提供的视觉定位装置可适用于上述任意实施例提供的视觉定位方法，具备相应的功能和有益效果。

实施例四

图4为本发明实施例四提供的一种设备的结构示意图。如图4所示，该设备包括处理器40、存储装置41和通信装置42；设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；设备的处理器40、存储装置41和通信装置42可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储装置41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的视觉定位方法对应的模块(例如，用于视觉定位装置中的数据获取模块310、全景确定模块320和视觉定位模块330)。处理器40通过运行存储在存储装置41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的视觉定位方法。

存储装置41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信装置42可用于实现网络连接或者移动数据连接。

本实施例提供的一种设备可用于执行上述任意实施例提供的视觉定位方法，具备相应的功能和有益效果。

实施例五

本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的视觉定位方法。该方法具体可以包括：

获取目标载体所在的图像采集设备采集的当前图像数据；

确定目标载体对应的全景地图图像，该全景地图图像由图像采集设备采集的至少两个素材图像数据拼接合成；

根据当前图像数据在全景地图图像中的匹配区域，确定目标载体的位置信息。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的视觉定位方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述视觉定位装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视觉定位方法，其特征在于，包括：

获取目标载体所在的图像采集设备采集的当前图像数据；

确定所述目标载体对应的全景地图图像，所述全景地图图像由所述图像采集设备采集的至少两个素材图像数据拼接合成；

根据所述当前图像数据在所述全景地图图像中的匹配区域，确定所述目标载体的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述全景地图图像通过如下方式确定：

获取所述目标载体所在的图像采集设备采集的素材图像数据；

根据所述素材图像数据的边缘特征，查找存在相似特征点的目标素材图像数据，并确定所述相似特征点的区域位置；

根据所述相似特征点的区域位置，采用图像拼接算法确定目标素材图像数据拼接合成的全景地图图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述当前图像数据在所述全景地图图像中的匹配区域，确定所述目标载体的位置信息，包括：

采用随机抽样一致性算法和转换矩阵算法确定所述当前图像数据在所述全景地图图像中的匹配区域；

确定所述匹配区域的中心点在所述全景地图图像中的位置坐标，作为所述目标载体的位置信息。

4.根据权利要求1所述的方法，其特征在于，所述图像采集设备至少包括如下部件：图像采集镜头、连接杆、目标载体和天花板，所述图像采集镜头通过所述连接杆安装在所述目标载体的中心位置上，所述天花板上绘制有对应的素材图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，在获取目标载体所在的图像采集设备采集的当前图像数据之前，还包括：

获取所述图像采集设备的工作参数，根据所述工作参数调整所述图像采集设备的工作状态。

6.一种视觉定位装置，其特征在于，包括：

数据获取模块，用于获取目标载体所在的图像采集设备采集的当前图像数据；

全景确定模块，用于确定所述目标载体对应的全景地图图像，所述全景地图图像由所述图像采集设备采集的至少两个素材图像数据拼接合成；

视觉定位模块，用于根据所述当前图像数据在所述全景地图图像中的匹配区域，确定所述目标载体的位置信息。

7.根据权利要求6所述的装置，其特征在于，所述全景地图图像通过视觉处理模块来确定；

所述视觉处理模块具体用于：获取所述目标载体所在的图像采集设备采集的素材图像数据；根据所述素材图像数据的边缘特征，查找存在相似特征点的目标素材图像数据，并确定所述相似特征点的区域位置；根据所述相似特征点的区域位置，采用图像拼接算法确定目标素材图像数据拼接合成的全景地图图像。

8.根据权利要求6所述的装置，其特征在于，所述视觉定位模块包括：

区域确定单元，用于采用随机抽样一致性算法和转换矩阵算法确定所述当前图像数据在所述全景地图图像中的匹配区域；

载体定位单元，用于确定所述匹配区域的中心点在所述全景地图图像中的位置坐标，作为所述目标载体的位置信息。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的视觉定位方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的视觉定位方法。