CN109839921B - 视觉定位导航方法、装置以及终端 - Google Patents

Abstract

本发明提供了一种视觉定位导航方法、装置以及终端，其中的方法包括：基于关键地点以及关键地点之间的线路信息建立关键路径，获得与关键地点相关联的关键地点轮廓特征；获取关键路径周边地点的周边地图信息，包括：周边地点轮廓特征、与关键地点之间的位移信息；在进行定位导航时，基于关键地点轮廓特征确定与当前地点临近的关键地点，并根据周边地图信息以及关键地点确定当前地点的位置信息。本发明的方法、装置以及终端，可以对关键地点和路径进人工干预的预学习训练，有效减少了全局图形特征匹配计算量，提升识别效率和可靠性，为用户提供准确、低成本的室内定位导航体验。

Description

视觉定位导航方法、装置以及终端

技术领域

本发明涉及物联网技术领域，尤其涉及一种视觉定位导航方法、装置以及终端。

背景技术

家居服务机器人的应用范围很广，能完成有益于人类的服务工作，目前，家居服务机器人在家庭中的应用越来越多。扫地机器人等家居服务机器人需要高精度的室内定位导航，以便能准确到达指定的位置并按规划路径移动。目前，在家居服务机器人的导航中利用视觉即时定位建地图技术VSLAM，由学习子系统采集到的图像信息和终端的位置关联构建室内地图，然后根据当前视觉图像和地图关联图像特征匹配实现定位导航。相对激光雷达导航，采用VSLAM技术对于硬件的成本大幅降低，但是，VSLAM技术需要的计算量很大，而且室内容易受到家具摆设变化影响，家居结构比较复杂时候，容易形成地图盲区或建图错误。

发明内容

本发明的一个或多个实施例提供一种视觉定位导航方法、装置以及终端。

根据本公开的一个方面，提供一种视觉定位导航方法，包括：基于设置的关键地点以及所述关键地点之间的线路信息建立关键路径；获得与所述关键地点相关联的关键地点轮廓特征；获取所述关键路径周边地点的周边地图信息，其中，所述周边地图信息包括：周边地点轮廓特征、与所述关键地点之间的位移信息；在进行定位导航时，基于所述关键地点轮廓特征确定与当前地点临近的所述关键地点，并根据所述周边地图信息以及所述关键地点确定当前地点的位置信息。

可选地，所述基于设置的关键地点以及所述关键地点之间的线路信息建立关键路径包括：确定设置的所述关键地点的位置信息；基于接收的控制指令在所述关键地点之间移动，并记录在所述关键地点之间移动的线路信息；根据所述关键地点的位置信息以及所述线路信息建立所述关键路径图。

可选地，所述获得与所述关键地点相关联的关键地点轮廓特征包括：对所述关键地点的周边进行扫描，获取与所述关键地点对应的第一周边图像；获取所述第一周边图像中的第一可识别轮廓图像，从所述第一可识别轮廓图像中确定与所述关键地点对应的关键地点轮廓特征。

可选地，所述关键地点包括：客厅北、客厅中、客厅南、房门口；所述关键地点轮廓特征包括：门框、窗户轮廓特征。

可选地，所述获取所述关键路径周边地点的周边地图信息包括：自动在所述关键路径周边移动并进行扫描，获取第二周边图像并记录周边地点与所述关键地点之间的位移；获取所述第二周边图像中的第二可识别轮廓图像，从第二可识别轮廓图像中确定与所述周边地点对应的周边地点轮廓特征；建立所述周边地点轮廓特征、所述关键地点以及与所述关键地点之间的位移信息之间的地点关联信息。

可选地，所述基于所述关键地点轮廓特征确定与当前地点临近的所述关键地点、并根据所述周边地图信息以及所述关键地点确定当前地点的位置信息包括：在进行定位导航时对周边进行扫描，获取第三周边图像；获取所述第三周边图像中的第三可识别轮廓图像，将第三可识别轮廓图像与所述关键地点轮廓特征进行匹配，如果匹配成功，则将此关键地点作为参考关键地点；在确定参考关键地点后，将第三可识别轮廓图像与所述周边地点轮廓特征进行匹配，如果匹配成功，则基于所述地点关联信息确定当前地点与所述参考关键地点之间的位移信息；根据当前地点与所述参考关键地点之间的位移信息以及所述参考关键地点的位置信息确定当前地点的位置信息。

根据本公开的另一方面，提供一种视觉定位导航装置，包括：关键路径建立模块，用于基于设置的关键地点以及所述关键地点之间的线路信息建立关键路径；关键轮廓特征确定模块，用于获得与所述关键地点相关联的关键地点轮廓特征；周边地图信息获取模块，用于获取所述关键路径周边地点的周边地图信息，其中，所述周边地图信息包括：周边地点轮廓特征、与所述关键地点之间的位移信息；导航定位模块，用于在进行定位导航时，基于所述关键地点轮廓特征确定与当前地点临近的所述关键地点，并根据所述周边地图信息以及所述关键地点确定当前地点的位置信息。

可选地，所述关键路径建立模块，用于确定设置的所述关键地点的位置信息；基于接收的控制指令在所述关键地点之间移动，并记录在所述关键地点之间移动的线路信息；根据所述关键地点的位置信息以及所述线路信息建立所述关键路径图。

可选地，所述关键轮廓特征确定模块，用于对所述关键地点的周边进行扫描，获取与所述关键地点对应的第一周边图像；获取所述第一周边图像中的第一可识别轮廓图像，从所述第一可识别轮廓图像中确定与所述关键地点对应的关键地点轮廓特征。

可选地，所述关键地点包括：客厅北、客厅中、客厅南、房门口；所述关键地点轮廓特征包括：门框、窗户轮廓特征。

可选地，所述周边地图信息获取模块，用于自动在所述关键路径周边移动并进行扫描，获取第二周边图像并记录周边地点与所述关键地点之间的位移；获取所述第二周边图像中的第二可识别轮廓图像，从第二可识别轮廓图像中确定与所述周边地点对应的周边地点轮廓特征；建立所述周边地点轮廓特征、所述关键地点以及与所述关键地点之间的位移信息之间的地点关联信息。

可选地，所述导航定位模块，用于在进行定位导航时对周边进行扫描，获取第三周边图像；获取所述第三周边图像中的第三可识别轮廓图像，将第三可识别轮廓图像与所述关键地点轮廓特征进行匹配，如果匹配成功，则将此关键地点作为参考关键地点；在确定参考关键地点后，将第三可识别轮廓图像与所述周边地点轮廓特征进行匹配，如果匹配成功，则基于所述地点关联信息确定当前地点与所述参考关键地点之间的位移信息；根据当前地点与所述参考关键地点之间的位移信息以及所述参考关键地点的位置信息确定当前地点的位置信息。

根据本公开的又一方面，提供一种终端，包括：如上所述的视觉定位导航装置。

可选地，所述终端包括：扫地机器人。

根据本公开的又一方面，提供一种视觉定位导航装置，其中，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的视觉定位导航方法。

根据本公开的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现如上所述的方法的步骤。

本公开的视觉定位导航方法、装置以及终端，基于关键地点以及关键地点之间的线路信息建立关键路径，获得与关键地点相关联的关键地点轮廓特征、关键路径周边地点的周边地图信息，在进行定位导航时，基于关键地点轮廓特征确定与当前地点临近的关键地点，并根据周边地图信息以及关键地点确定当前地点的位置信息；可以对关键地点和路径进人工干预的预学习训练，有效减少了全局图形特征匹配计算量，提升识别效率和可靠性，为用户提供准确、低成本的室内定位导航体验。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本公开的视觉定位导航方法的一个实施例的流程示意图；

图2为根据本公开的视觉定位导航方法的一个实施例的自动建立地图的示意图；

图3为根据本公开的视觉定位导航装置的一个实施例的模块示意图；

图4为根据本公开的视觉定位导航装置的另一个实施例的模块示意图。

具体实施方式

下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

下文中的“第一”、“第二”等仅用于描述上相区别，并没有其它特殊的含义。

图1为根据本公开的视觉定位导航方法的一个实施例的流程示意图，如图1所示：

步骤101，基于设置的关键地点以及关键地点之间的线路信息建立关键路径。可以通过人工标记的方式设置关键地点。

步骤102，获得与关键地点相关联的关键地点轮廓特征。关键地点包括客厅北、客厅中、客厅南、房门口等。关键地点轮廓特征包括：门框、窗户轮廓特征等。

步骤103，获取关键路径周边地点的周边地图信息，周边地图信息包括周边地点轮廓特征、与关键地点之间的位移信息等。

步骤104，在进行定位导航时，基于关键地点轮廓特征确定与当前地点临近的关键地点，并根据周边地图信息以及关键地点确定当前地点的位置信息。

上述实施例的视觉定位导航方法，终端在扫描建立室内地图时，可以先获取人工标记过的关键地点、关键路径和关键地点轮廓特征，进行预采集学习，然后自动沿关键路径周边扫描进行地图信息采集，完成全部室内地图自动构建；在定位时先确定终端所临近的关键地点，再进行精确图像匹配实现准确定位导航；通过简单易行的预学习来减少所需的全局图形特征匹配计算量，有机结合有标记训练数据和无标记训练数据，提升识别效率和可靠性，更好模拟人在新环境中根据向导提供的信息来找路导航的方式。

在一个实施例中，基于设置的关键地点以及关键地点之间的线路信息建立关键路径可以有多种方法。例如，确定设置的关键地点的位置信息，基于接收的控制指令在关键地点之间移动，并记录在关键地点之间移动的线路信息，根据关键地点的位置信息以及线路信息建立关键路径图。

如图2所示，可以控制自移动终端(例如扫地机器人等)在室内移动并人工标记若干关键地点，例如客厅北、客厅中、客厅南、房口等，终端根据关键地点间的位移自动建立关键路径图。

对关键地点的周边进行扫描，获取与关键地点对应的第一周边图像，获取第一周边图像中的第一可识别轮廓图像，从第一可识别轮廓图像中确定与关键地点对应的关键地点轮廓特征。例如，在确定到达或临近关键地点时，终端自动扫描周边视觉特征，建立关联的重点轮廓标记。可以由终端显示出可识别的若干轮廓，可以通过过滤、筛选等处理，选取关键地点轮廓特征，如门框、窗户轮廓等，形成该地点的关键点图像指纹特征。

获取关键路径周边地点的周边地图信息可以有多种方法。例如，自动在关键路径周边移动并进行扫描，获取第二周边图像并记录周边地点与关键地点之间的位移。获取第二周边图像中的第二可识别轮廓图像，从第二可识别轮廓图像中确定与周边地点对应的周边地点轮廓特征。建立周边地点轮廓特征、关键地点以及与关键地点之间的位移信息之间的地点关联信息。终端围绕关键路径进行室内全局建图扫描。

终端自动在关键路径周边移动，记录和关键地点相对的位移，结合关键点关联的关键地点轮廓特征采集该位置的周边地点轮廓特征，形成围绕关键路径的的室内地图，及每个地点对应的周边图像指纹特征(周边地点轮廓特征)。周边地点轮廓特征可以为电视、台灯等物体的特征，也可以为墙角、楼梯、窗台等的轮廓特征。

在进行定位导航时对周边进行扫描，获取第三周边图像。获得第三周边图像中的第三可识别轮廓图像，将第三可识别轮廓图像与关键地点轮廓特征进行匹配，如果匹配成功，则将此关键地点作为参考关键地点；在确定参考关键地点后，将第三可识别轮廓图像与周边地点轮廓特征进行匹配，如果匹配成功，则基于地点关联信息确定与参考关键地点之间的位移信息；根据与参考关键地点之间的位移信息以及参考关键地点的位置信息确定当前地点的位置信息。

可以在进行室内定位导航时候，终端先根据视觉特征和与各关键地点的关键点图像指纹特征的匹配结果确定所邻近的关键地点，即粗定位，再根据视觉特征与周边图像指纹特征的匹配结果确定所在的准确地点，获取准确地点与粗定位的关键地点之间的位移信息，确定此准确地点的位置信息。

上述实施例中的视觉定位导航方法，可以对关键地点和路径进人工干预的预学习训练，有效减少了全局图形特征匹配计算量，有机结合有标记训练数据和无标记训练数据，提升识别效率和可靠性。

在一个实施例中，如图3所示，本公开提供一种视觉定位导航装置30，包括：关键路径建立模块31、关键轮廓特征确定模块32、周边地图信息获取模块33和导航定位模块34。

关键路径建立模块31基于设置的关键地点以及关键地点之间的线路信息建立关键路径。关键轮廓特征确定模块32获得与关键地点相关联的关键地点轮廓特征。周边地图信息获取模块33获取关键路径周边地点的周边地图信息，周边地图信息包括：周边地点轮廓特征、与关键地点之间的位移信息等。导航定位模块34在进行定位导航时，基于关键地点轮廓特征确定与当前地点临近的关键地点，并根据周边地图信息以及关键地点确定当前地点的位置信息。

在一个实施例中，关键路径建立模块31确定设置的关键地点的位置信息，基于接收的控制指令在关键地点之间移动，并记录在关键地点之间移动的线路信息。关键路径建立模块31根据关键地点的位置信息以及线路信息建立关键路径图。关键轮廓特征确定模块32对关键地点的周边进行扫描，获取与关键地点对应的第一周边图像。关键轮廓特征确定模块32获取第一周边图像中的第一可识别轮廓图像，从第一可识别轮廓图像中确定与关键地点对应的关键地点轮廓特征。

周边地图信息获取模块33自动在关键路径周边移动并进行扫描，获取第二周边图像并记录周边地点与关键地点之间的位移，获取第二周边图像中的第二可识别轮廓图像，从第二可识别轮廓图像中确定与周边地点对应的周边地点轮廓特征。周边地图信息获取模块33建立周边地点轮廓特征、关键地点以及与关键地点之间的位移信息之间的地点关联信息。

导航定位模块34在进行定位导航时对周边进行扫描，获取第三周边图像，获得第三周边图像中的第三可识别轮廓图像，将第三可识别轮廓图像与关键地点轮廓特征进行匹配，如果匹配成功，则导航定位模块34将此关键地点作为参考关键地点。

在确定参考关键地点后，导航定位模块34将第三可识别轮廓图像与周边地点轮廓特征进行匹配，如果匹配成功，则基于地点关联信息确定当前地点与参考关键地点之间的位移信息。导航定位模块34根据当前地点与参考关键地点之间的位移信息以及参考关键地点的位置信息确定当前地点的位置信息。

在一个实施例中，本公开提供一种终端，包括如上的视觉定位导航装置。终端包括扫地机器人等。

图4为根据本发明公开的视觉定位导航装置的另一个实施例的模块示意图。如图4所示，该装置可包括存储器41、处理器42、通信接口43以及总线44。存储器41用于存储指令，处理器42耦合到存储器41，处理器42被配置为基于存储器41存储的指令执行实现上述的视觉定位导航方法。

存储器41可以为高速RAM存储器、非易失性存储器(NoN-volatilememory)等，存储器41也可以是存储器阵列。存储器41还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器42可以为中央处理器CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明公开的视觉定位导航方法的一个或多个集成电路。

在一个实施例中，本公开还提供一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一实施例涉及的视觉定位导航方法。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

上述实施例中的视觉定位导航方法、装置以及终端，基于关键地点以及关键地点之间的线路信息建立关键路径，获得与关键地点相关联的关键地点轮廓特征；获取关键路径周边地点的周边地图信息，包括：周边地点轮廓特征、与关键地点之间的位移信息；在进行定位导航时，基于关键地点轮廓特征确定与当前地点临近的关键地点，并根据周边地图信息以及关键地点确定当前地点的位置信息；可以对关键地点和路径进人工干预的预学习训练，有效减少了全局图形特征匹配计算量，有机结合有标记训练数据和无标记训练数据，提升识别效率和可靠性，更好模拟人在新环境中根据向导提供的信息来找路导航的方式，可应用到电信的智慧家居相关的终端产品和应用中，为用户提供准确、低成本的室内定位导航体验。

可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (12)

1.一种视觉定位导航方法，包括：

基于设置的关键地点以及所述关键地点之间的线路信息建立关键路径，包括：

确定设置的所述关键地点的位置信息；基于接收的控制指令在所述关键地点之间移动，并记录在所述关键地点之间移动的线路信息；根据所述关键地点的位置信息以及所述线路信息建立关键路径图；

获得与所述关键地点相关联的关键地点轮廓特征；

获取所述关键路径周边地点的周边地图信息，其中，所述周边地图信息包括：周边地点轮廓特征、所述关键地点之间的位移信息；自动在所述关键路径周边移动并进行扫描，获取第二周边图像并记录周边地点与所述关键地点之间的位移；获取所述第二周边图像中的第二可识别轮廓图像，从第二可识别轮廓图像中确定与所述周边地点对应的周边地点轮廓特征；建立所述周边地点轮廓特征、所述关键地点以及所述关键地点之间的位移信息之间的地点关联信息；

在进行定位导航时，基于所述关键地点轮廓特征确定与当前地点临近的所述关键地点，并根据所述周边地图信息以及所述关键地点确定当前地点的位置信息。

2.如权利要求1所述的方法，其中，所述获得与所述关键地点相关联的关键地点轮廓特征包括：

对所述关键地点的周边进行扫描，获取与所述关键地点对应的第一周边图像；

获取所述第一周边图像中的第一可识别轮廓图像，从所述第一可识别轮廓图像中确定与所述关键地点对应的关键地点轮廓特征。

3.如权利要求2所述的方法，其中，

所述关键地点包括：客厅北、客厅中、客厅南、房门口；

所述关键地点轮廓特征包括：门框、窗户轮廓特征。

4.如权利要求2所述的方法，其中，所述基于所述关键地点轮廓特征确定与当前地点临近的所述关键地点、并根据所述周边地图信息以及所述关键地点确定当前地点的位置信息包括：

在进行定位导航时对周边进行扫描，获取第三周边图像；

获取所述第三周边图像中的第三可识别轮廓图像，将第三可识别轮廓图像与所述关键地点轮廓特征进行匹配，如果匹配成功，则将此关键地点作为参考关键地点；

在确定参考关键地点后，将第三可识别轮廓图像与所述周边地点轮廓特征进行匹配，如果匹配成功，则基于所述地点关联信息确定当前地点与所述参考关键地点之间的位移信息；

根据当前地点与所述参考关键地点之间的位移信息以及所述参考关键地点的位置信息确定当前地点的位置信息。

5.一种视觉定位导航装置，包括：

关键路径建立模块，用于基于设置的关键地点以及所述关键地点之间的线路信息建立关键路径；其中，所述关键路径建立模块，用于确定设置的所述关键地点的位置信息；基于接收的控制指令在所述关键地点之间移动，并记录在所述关键地点之间移动的线路信息；根据所述关键地点的位置信息以及所述线路信息建立关键路径图；

关键轮廓特征确定模块，用于获得与所述关键地点相关联的关键地点轮廓特征；

周边地图信息获取模块，用于获取所述关键路径周边地点的周边地图信息，其中，所述周边地图信息包括：周边地点轮廓特征、所述关键地点之间的位移信息；其中，所述周边地图信息获取模块，用于自动在所述关键路径周边移动并进行扫描，获取第二周边图像并记录周边地点与所述关键地点之间的位移；获取所述第二周边图像中的第二可识别轮廓图像，从第二可识别轮廓图像中确定与所述周边地点对应的周边地点轮廓特征；建立所述周边地点轮廓特征、所述关键地点以及所述关键地点之间的位移信息之间的地点关联信息；

导航定位模块，用于在进行定位导航时，基于所述关键地点轮廓特征确定与当前地点临近的所述关键地点，并根据所述周边地图信息以及所述关键地点确定当前地点的位置信息。

6.如权利要求5所述的装置，其中，

所述关键轮廓特征确定模块，用于对所述关键地点的周边进行扫描，获取与所述关键地点对应的第一周边图像；获取所述第一周边图像中的第一可识别轮廓图像，从所述第一可识别轮廓图像中确定与所述关键地点对应的关键地点轮廓特征。

7.如权利要求6所述的装置，其中，

所述关键地点包括：客厅北、客厅中、客厅南、房门口；

所述关键地点轮廓特征包括：门框、窗户轮廓特征。

8.如权利要求7所述的装置，其中，

所述导航定位模块，用于在进行定位导航时对周边进行扫描，获取第三周边图像；获取所述第三周边图像中的第三可识别轮廓图像，将第三可识别轮廓图像与所述关键地点轮廓特征进行匹配，如果匹配成功，则将此关键地点作为参考关键地点；在确定参考关键地点后，将第三可识别轮廓图像与所述周边地点轮廓特征进行匹配，如果匹配成功，则基于所述地点关联信息确定当前地点与所述参考关键地点之间的位移信息；根据当前地点与所述参考关键地点之间的位移信息以及所述参考关键地点的位置信息确定当前地点的位置信息。

9.一种终端，其中，包括：

如权利要求5至8任一项所述的视觉定位导航装置。

10.如权利要求9所述的终端，其中，

所述终端包括：扫地机器人。

11.一种视觉定位导航装置，其中，包括：

存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至4中任一项所述的视觉定位导航方法。

12.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现权利要求1至4任意一项所述的方法的步骤。

Images