CN110044353A - 一种飞行机构室内定位方法及定位系统 - Google Patents

Abstract

本申请公开了一种飞行机构室内定位方法及定位系统，所述定位方法包括：获得对当前场景进行拍摄的真实图片，所述真实图片由飞行机构上的单目相机拍摄获得；将所述真实图片与数据库中预存的多个模板图片进行匹配以重建标识物在当前场景中的位置，其中，所述真实图片为当前场景的成像，所述模板图片为所述当前场景以及设置于所述当前场景内的所述标识物的成像；利用重建后的所述标识物的世界坐标信息、所述单目相机的参数信息以获得所述飞行机构的当前位置信息。通过上述方式，本申请能够实现飞行机构在室内精确定位。

Description

一种飞行机构室内定位方法及定位系统

技术领域

本申请涉及定位技术领域，特别是涉及一种飞行机构室内定位方法及定位系统。

背景技术

近年来，随着科技的不断发展，飞行机构时常出现在公众的视野中，在远程监控、目标定位与追踪、航拍、环境监测等方面都有广泛的应用。飞行机构凭借成本低、体积小、操作方便等优点，成为执行室内复杂任务的首选。

本申请的发明人在长期研究过程中发现，由于室内环境存在空间狭小、障碍物多，环境复杂等问题，导致经常出现全球定位系统(Global Positioning System，GPS)的信号遮挡、噪声干扰等问题；即使可以接收到GPS信号，也会变得很不稳定，进而导致现有的飞行机构无法精确定位。

发明内容

本申请主要解决的技术问题是提供一种飞行机构室内定位方法及定位系统，能够实现飞行机构在室内精确定位。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种飞行机构室内定位方法，所述定位方法包括：获得对当前场景进行拍摄的真实图片，所述真实图片由飞行机构上的单目相机拍摄获得；将所述真实图片与数据库中预存的多个模板图片进行匹配以重建标识物在当前场景中的位置，其中，所述真实图片为当前场景的成像，所述模板图片为所述当前场景以及设置于所述当前场景内的所述标识物的成像；利用重建后的所述标识物的世界坐标信息、所述单目相机的参数信息以获得所述飞行机构的当前位置信息。

其中，所述将所述真实图片与数据库中预存的多个模板图片进行匹配以重建标识物在当前场景中的位置，包括：通过特征匹配的方法从所述数据库中获得与所述真实图片的相似度超过阈值的至少一张所述模板图片；利用多个关键点获得所述真实图片与所述模板图片之间的关系矩阵；利用所述模板图片中的所述标识物上的多个标识点的世界坐标信息以及所述关系矩阵，获得多个所述标识点在所述真实图片中的世界坐标信息，进而重建所述标识物。

其中，一个所述模板图片中包含多个标识物的成像。

其中，所述利用多个关键点获得所述真实图片与所述模板图片之间的关系矩阵之前，所述定位方法还包括：统计相似度超过阈值的至少一张所述模板图片中各个所述标识物出现的次数；将出现次数超过预设值的所述标识物定义为待重建的所述标识物。

其中，相似度超过阈值的所述模板图片的个数至少为两个，所述定位方法还包括：利用至少两个相似度超过阈值的所述模板图片获得对应的所述飞行机构的多个所述当前位置信息；将多个所述当前位置信息的平均值作为最终位置信息输出。

其中，所述利用重建后的所述标识物的世界坐标信息、所述单目相机的参数信息以获得所述飞行机构的当前位置信息，包括：利用重建后的所述标识物的世界坐标信息、所述单目相机的外参数信息和内参数信息计算获得重建后的所述标识物与所述飞行机构之间的相对距离；利用所述相对距离、重建后的所述标识物的世界坐标信息获得所述飞行机构的所述当前位置信息。

其中，所述利用重建后的所述标识物的世界坐标信息、所述单目相机的外参数和内参数以获得所述飞行机构的当前位置信息之后，所述定位方法还包括：判断所述飞行机构的所述当前位置信息是否为目的位置；若是，则所述飞行机构处于悬停状态，并执行相应的操作；否则，根据所述当前位置信息和所述目的位置信息调整所述飞行机构的位置，并返回至获得对当前场景进行拍摄的真实图片的步骤。

其中，所述获得对当前场景进行拍摄的真实图片之前，所述定位方法还包括：在所述当前场景中设置多个所述标识物，所述数据库存储有每个所述标识物对应的世界坐标信息；所述飞行机构按照多个指定路径飞行，所述飞行机构上的所述单目相机实时采集所述模板图片，并将所述模板图片存储在所述数据库中；将多个所述标识物移除。

其中，所述标识物包括二维平面标识物或者三维立体标识物。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种飞行机构室内定位系统，所述定位系统包括：多个标识物，所述标识物可移除；飞行机构，设置有单目相机，用于实时采集真实图片或者模板图片；处理器，所述处理器接收所述真实图片或所述模板图片，并用于执行上述任一实施例所述的定位方法。

本申请的有益效果是：区别于现有技术的情况，本申请所提供的飞行机构室内定位方法包括：先由飞行机构上的单目相机拍摄获得对当前场景拍摄的真实图片；将真实图片与数据库中预存的多个模板图片进行匹配以在真实图片中重建标识物的位置，其中，数据库中预存的模板图片中包含标识物，而真实图片中无标识物；利用重建后的标识物的世界坐标信息、单目相机的参数信息以获得飞行机构的当前位置信息，进而可以引导飞行机构进行指令路径的飞行。一方面，本申请所提供的定位方法中的飞行机构上只需设置单目相机，不需要其他多余的传感器，具有较高的性价比和实用性；另一方面，本申请飞行机构在实际作业过程中，无需在室内环境的每个关键物体上贴放标识物，仅需在前期建立数据库的过程中设置标识物，该方式较为简单；再一方面，本申请中采用离线的方式实现模板图片的匹配，飞行机构只需把采集到的数据发送给处理器，通过处理器的解算处理，发送反馈坐标位置信息及路径信息给飞行机构，具有很高的实时性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1为本申请飞行机构室内定位方法一实施方式的流程示意图；

图2为本申请飞行机构室内定位系统一实施方式的结构示意图；

图3为图1中步骤S101之前本申请飞行机构室内定位方法一实施方式的流程示意图；

图4为图1中步骤S102一实施方式的流程示意图；

图5a为真实图片一实施方式的结构示意图；

图5b为与图5a中真实图片的相似度超过阈值的模板图片一实施方式的结构示意图；

图5c为图5a中真实图片重建标识物后的一实施方式的结构示意图；

图6为本申请飞行机构当前位置信息解算示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有的飞行机构室内定位方法包括多传感器定位方法、无线载波(UltraWideband，UWB)定位方法、视觉定位方法等。其中，多传感器定位方法是采用多个传感器(例如，电荷耦合器件(Charge Coupled Devices，CCD)、光流传感器、激光雷达、超声波等)来感知室内环境中的信息，通过多个传感器之间的相互配合，去感知室内的复杂环境，完成定位、导航、避障等操作。但是太多的传感器，导致飞行机构的成本提高，并且使得整个系统变得复杂。UWB定位方法是通过在指定室内空间中架设定位基站，飞行机构上的UWB接收装置通过与基站之间进行信息交换，完成定位操作。但是UWB在一定情况下定位信号容易受到影响，使得定位精度大大降低，同时其系统占用的带宽很高，可能会干扰整个定位系统的其他通讯。视觉定位方法一般采用双目相机、多个相机相结合的方式完成飞行机构室内定位，该方法依赖于多个相机，成本较高。即现有的飞行机构室内定位方法成本较高，在室内环境下，容易出现信号遮挡等问题，导致飞行机构无法精确定位。

本申请针对现有技术中的缺点，提出了一种基于单目相机的室内定位方法，具体请参阅图1-图2，图1为本申请飞行机构室内定位方法一实施方式的流程示意图，图2为本申请飞行机构室内定位系统一实施方式的结构示意图，该定位方法包括：

S101：获得对当前场景进行拍摄的真实图片，真实图片由飞行机构上的单目相机拍摄获得。

具体地，该飞行机构12可以是无人机等，上述步骤S101的执行主体可以为处理器10，该处理器10可以单独于飞行机构12，设置在地面的某个终端14(例如，计算机等)内。飞行机构12在室内检测区域中飞行，终端14可以位于该室内检测区域内，也可位于该室内检测区域外部。飞行机构12上的单目相机实时对当前场景进行拍摄以获得真实图片，然后飞行机构12利用无线传输装置将该真实图片传输至处理器10，以使得处理器10获得对当前场景拍摄的真实图片。

在一个应用场景中，在该步骤S101之前，请参阅图3，图3为图1中步骤S101之前本申请飞行机构室内定位方法一实施方式的流程示意图，本申请所提供的定位方法还包括：

S201：在当前场景中设置多个标识物，数据库存储有每个标识物对应的世界坐标信息。

具体地，标识物包括二维平面标识物(例如，aruco marker等)或者三维立体标识物。在当前场景中放置的标识物的密度可根据实际需求进行设定，例如，可以以此条件在当前场景中放置标识物：当单目相机进行实时拍摄时，拍摄获得的模板图片中至少包含两个标识物。另外，上述每个标识物对应的世界坐标信息的设置方式可以为：首先在当前场景内指定世界坐标系的坐标原点以及X轴、Y轴、Z轴的正方向；然后根据坐标原点、X轴、Y轴、Z轴的正方向即可获得每个标识物对应的世界坐标信息，进而将每个标识物对应的世界坐标信息存储在数据库中。

S202：飞行机构按照多个指定路径飞行，飞行机构上的单目相机实时采集模板图片，并将模板图片存储在数据库中。

具体地，多个指定路径的飞行高度可以不同，飞行机构可以采用任意高度或者自由路径飞行的方式采集模板图片。在本实施例中，可以尽可能多的采集模板图片，以便于后期可以更加准确地获取到飞行机构的当前位置信息。

S203：将多个标识物移除。

需要说明的是，只要当前场景发生变化，就要重新进行上述建立包含模板图片的数据库的过程。且建立数据库过程中，飞行机构的飞行高度小于等于后续飞行机构实际操作过程中的飞行高度。

S102：将真实图片与数据库中预存的多个模板图片进行匹配以重建标识物在当前场景中的位置，其中，真实图片为当前场景的成像，模板图片为当前场景以及设置于当前场景内的标识物的成像。

具体地，在一个应用场景中，请参阅图4，图4为图1中步骤S102一实施方式的流程示意图，上述步骤S102具体包括：

S301：通过特征匹配的方法从数据库中获得与真实图片的相似度超过阈值的至少一张(例如，一张、五张、十张等)模板图片。

具体地，如图5a-5b所示，图5a为真实图片一实施方式的结构示意图，图5b为与图5a中真实图片的相似度超过阈值的模板图片一实施方式的结构示意图。在本实施例中，可以利用尺度不变特征转换(Scale-invariant feature transform，SIFT)、快速特征点提取和描述(Oriented FAST and Rotated BRIEF，ORB)等算法获得真实图片与数据库中的每张模板图片之间的相似度；例如，以SIFT算法为例，可以通过特征匹配的方法，找到真实图片与模板图片匹配的关键点，该关键点既在真实图片中出现，也在模板图片中出现；匹配的关键点的数量越多，相似度越高。此外，在本实施例中，阈值可以根据实际情况进行设定，或者也可以不设置阈值，在获得每张模板图片的相似度后，选取相似度值排名高的至少一张模板图片。

S302：利用多个关键点获得真实图片与模板图片之间的关系矩阵。

具体地，本申请中关系矩阵可以为旋转矩阵和平移矩阵，同一个关键点在真实图片和在模板图片中的世界坐标分别为p1(x1,y1,z1)，p2(x2,y2,z2)，利用多个(例如，4个、5个等)成对的p1、p2即可解算出关系矩阵。

另外，可能会出现以下情况，相似度超过阈值的模板图片中包含的标识物可能并不是真正需要重建的标识物，为提高标识物重建的精确度，在上述步骤S302之前，本申请所提供的定位方法还包括：统计相似度超过阈值的至少一张模板图片中各个标识物出现的次数；将出现次数超过预设值的标识物定义为待重建的标识物。例如，假设此时相似度超过阈值的至少一张模板图片的个数为十个，经统计标识物1出现过7次、标识物2出现过2次、标识物3出现过1次；若此时预设值设置为6次，则可以将标识物1定义为待重建的标识物。从概率学上说出现次数较高的标识物，理论上就是需要重建的，从而可以提高标识物重建的精确度。

此外，在本实施例中，一个模板图片中包含多个标识物的成像，经上述统计的方式选择出的待重建的标识物的个数可以为多个。

S303：利用模板图片中的标识物上的多个标识点的世界坐标信息以及关系矩阵，获得多个标识点在真实图片中的世界坐标信息，进而重建标识物。

具体地，请参阅图5c，图5c为图5a中真实图片重建标识物后的一实施方式的结构示意图。上述步骤303的实现方式可以为：获得模板图片中标识物上的多个标识点(例如，中心点)的世界坐标信息，利用该世界坐标信息和关系矩阵求解获得标识点在真实图片中的位置，进而在真实图片中重建标识物。

S103：利用重建后的标识物的世界坐标信息、单目相机的参数信息以获得飞行机构的当前位置信息。

具体地，在本实施例中，上述步骤S103具体包括：利用重建后的标识物的世界坐标信息、单目相机的外参数信息和内参数信息计算获得重建后的标识物与飞行机构之间的相对距离D，该步骤的具体实现过程可参见现有技术，在此不再详述；利用相对距离D、重建后的标识物的世界坐标信息获得飞行机构的当前位置信息，例如，如图6所示，图6为本申请飞行机构当前位置信息解算示意图，可以利用相对距离D、重建后的标识物的世界坐标信息和勾股定理获得飞行机构的当前位置信息。

此外，当相似度超过阈值的模板图片的个数至少为两个，本申请所提供的定位方法还包括：利用至少两个相似度超过阈值的模板图片获得对应的飞行机构的多个当前位置信息，即利用每张相似度超过阈值的模板图片可以获得飞行机构的一个当前位置信息；将多个当前位置信息的平均值作为最终位置信息输出，该方式可以使得飞行结构的当前位置信息更加精确。在某些情况下，一张模板图片中可能包含至少一个待重建的标识物，此时一个标识物可以获得一个当前位置信息，可以将多个标识物获得的多个当前位置信息的平均值作为该模板图片对应的当前位置信息输出。

在另一个实施方式中，请再次参阅图1，上述步骤S103之后，本申请所提供的定位方法还包括：

S104：判断飞行机构的当前位置信息是否为目的位置。

具体地，在本实施例中，可以预先定义一种机制，当飞行机构距离目的位置小于预定值时，飞行机构可以采用左右前后摇摆、或者原地旋转的方式，去寻找下一个位置，该下一个位置相比当前位置更接近目的位置；通过不断接近目的位置可以获得距离目的位置的最佳位置，当该飞行机构悬停在最佳位置上，则可判定为飞行机构的当前位置信息为目的位置。

S105：若是，则飞行机构处于悬停状态，并执行相应的操作。

具体地，目的位置可以设置有目标物体，飞行机构可以对其进行搬运、抓取等；或者，飞行机构将运送的目标物体放置在目的位置等。

S106：否则，根据当前位置信息和目的位置信息调整飞行机构的位置，并返回至获得对当前场景进行拍摄的真实图片的步骤。

具体地，飞行机构可以通过左右前后短距离晃动，单目相机将拍摄的真实图片上传至处理器，处理器处理获得下一个位置，下一个位置相比当前位置距离目的位置更近。

需要说明的是，本申请所提供的飞行机构室内定位方法也可扩展到移动车平台、机器人平台等室内定位方法。

请再次参阅图2，图2为本申请飞行机构室内定位系统一实施方式的结构示意图，该定位系统包括：多个标识物(图未示)，标识物可移除，标识物可以为二维平面标识物或者三维立体标识物；飞行机构12，设置有单目相机(图未示)，用于实时采集真实图片或者模板图片；处理器10，处理器10接收真实图片或模板图片，并用于执行上述任一实施例中的定位方法。

总而言之，区别于现有技术的情况，本申请所提供的飞行机构室内定位方法包括：先由飞行机构上的单目相机拍摄获得对当前场景拍摄的真实图片；将真实图片与数据库中预存的多个模板图片进行匹配以在真实图片中重建标识物的位置，其中，数据库中预存的模板图片中包含标识物，而真实图片中无标识物；利用重建后的标识物的世界坐标信息、单目相机的参数信息以获得飞行机构的当前位置信息，进而可以引导飞行机构进行指令路径的飞行。一方面，本申请所提供的定位方法中的飞行机构上只需设置单目相机，不需要其他多余的传感器，具有较高的性价比和实用性；另一方面，本申请飞行机构在实际作业过程中，无需在室内环境的每个关键物体上贴放标识物，仅需在前期建立数据库的过程中设置标识物，该方式较为简单；再一方面，本申请中采用离线的方式实现模板图片的匹配，飞行机构只需把采集到的数据发送给处理器，通过处理器的解算处理，发送反馈坐标位置信息及路径信息给飞行机构，具有很高的实时性。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种飞行机构室内定位方法，其特征在于，所述定位方法包括：

获得对当前场景进行拍摄的真实图片，所述真实图片由飞行机构上的单目相机拍摄获得；

将所述真实图片与数据库中预存的多个模板图片进行匹配以重建标识物在当前场景中的位置，其中，所述真实图片为当前场景的成像，所述模板图片为所述当前场景以及设置于所述当前场景内的所述标识物的成像；

利用重建后的所述标识物的世界坐标信息、所述单目相机的参数信息以获得所述飞行机构的当前位置信息。

2.根据权利要求1所述的定位方法，其特征在于，所述将所述真实图片与数据库中预存的多个模板图片进行匹配以重建标识物在当前场景中的位置，包括：

通过特征匹配的方法从所述数据库中获得与所述真实图片的相似度超过阈值的至少一张所述模板图片；

利用多个关键点获得所述真实图片与所述模板图片之间的关系矩阵；

利用所述模板图片中的所述标识物上的多个标识点的世界坐标信息以及所述关系矩阵，获得多个所述标识点在所述真实图片中的世界坐标信息，进而重建所述标识物。

3.根据权利要求2所述的定位方法，其特征在于，

一个所述模板图片中包含多个标识物的成像。

4.根据权利要求3所述的定位方法，其特征在于，所述利用多个关键点获得所述真实图片与所述模板图片之间的关系矩阵之前，所述定位方法还包括：

统计相似度超过阈值的至少一张所述模板图片中各个所述标识物出现的次数；

将出现次数超过预设值的所述标识物定义为待重建的所述标识物。

5.根据权利要求2所述的定位方法，其特征在于，相似度超过阈值的所述模板图片的个数至少为两个，所述定位方法还包括：

利用至少两个相似度超过阈值的所述模板图片获得对应的所述飞行机构的多个所述当前位置信息；

将多个所述当前位置信息的平均值作为最终位置信息输出。

6.根据权利要求1所述的定位方法，其特征在于，所述利用重建后的所述标识物的世界坐标信息、所述单目相机的参数信息以获得所述飞行机构的当前位置信息，包括：

利用重建后的所述标识物的世界坐标信息、所述单目相机的外参数信息和内参数信息计算获得重建后的所述标识物与所述飞行机构之间的相对距离；

利用所述相对距离、重建后的所述标识物的世界坐标信息获得所述飞行机构的所述当前位置信息。

7.根据权利要求1所述的定位方法，其特征在于，所述利用重建后的所述标识物的世界坐标信息、所述单目相机的外参数和内参数以获得所述飞行机构的当前位置信息之后，所述定位方法还包括：

判断所述飞行机构的所述当前位置信息是否为目的位置；

若是，则所述飞行机构处于悬停状态，并执行相应的操作；

否则，根据所述当前位置信息和所述目的位置信息调整所述飞行机构的位置，并返回至获得对当前场景进行拍摄的真实图片的步骤。

8.根据权利要求1所述的定位方法，其特征在于，所述获得对当前场景进行拍摄的真实图片之前，所述定位方法还包括：

在所述当前场景中设置多个所述标识物，所述数据库存储有每个所述标识物对应的世界坐标信息；

所述飞行机构按照多个指定路径飞行，所述飞行机构上的所述单目相机实时采集所述模板图片，并将所述模板图片存储在所述数据库中；

将多个所述标识物移除。

9.根据权利要求1所述的定位方法，其特征在于，

所述标识物包括二维平面标识物或者三维立体标识物。

10.一种飞行机构室内定位系统，其特征在于，所述定位系统包括：

多个标识物，所述标识物可移除；

飞行机构，设置有单目相机，用于实时采集真实图片或者模板图片；

处理器，所述处理器接收所述真实图片或所述模板图片，并用于执行如权利要求1-9任一项所述的定位方法。