CN116630423A - 一种基于orb特征的微小型机器人多目标双目定位方法及系统 - Google Patents

一种基于orb特征的微小型机器人多目标双目定位方法及系统 Download PDF

Info

Publication number
CN116630423A
CN116630423A CN202310611932.9A CN202310611932A CN116630423A CN 116630423 A CN116630423 A CN 116630423A CN 202310611932 A CN202310611932 A CN 202310611932A CN 116630423 A CN116630423 A CN 116630423A
Authority
CN
China
Prior art keywords
target
binocular
hash
pixel
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310611932.9A
Other languages
English (en)
Inventor
白成超
郭继峰
郑红星
颜鹏
刘天航
张凯凇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202310611932.9A priority Critical patent/CN116630423A/zh
Publication of CN116630423A publication Critical patent/CN116630423A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种基于ORB特征的微小型机器人多目标双目定位方法及系统，涉及目标定位领域，以解决现有双目定位方法由于计算量过大而导致目标定位效率及准确性较差的问题。本发明的技术要点包括：计算同时刻双目相机采集的两张图片中对应目标区域的多个哈希相似度，将多个哈希相似度的平均值作为目标的相似度，并根据相似度进行双目目标匹配；对匹配的目标区域进行ORB特征提取和匹配；对各个目标区域内已经匹配的ORB特征点进行定位，将目标区域内定位关键点的平均距离作为目标与相机之间的距离；根据目标相对相机深度，通过相机投影原理计算目标的三维定位信息。本发明降低了计算量且保障了目标定位的精准性。

Description

一种基于ORB特征的微小型机器人多目标双目定位方法及 系统
技术领域
本发明涉及目标定位领域，具体涉及一种基于ORB特征的微小型机器人多目标双目定位方法及系统。
背景技术
在微小型机器人现实场景的应用中，如何快速准确的确定环境中三维物体的位置是一个关键问题。传统的单目视觉方法虽然通过一定处理能够获取目标相对的三维信息，但其尺度具有相对性，双目视觉则可以通过双目视差实现带有尺度信息的定位，能够准确确定目标的三维位置。但传统的基于双目视差的定位方法一般需要对双目间的像素进行匹配，然后通过双目匹配的像素获取视差计算深度图，最后根据深度图以及目标检测跟踪算法框选出的目标框对目标框内的深度求平均值获取目标深度，实现测量目标的三维定位。
然而，对于微小型机器人这类低算力、低功耗机器人来说，上述传统的双目定位方法计算量过大，因此，很难在微小型机器人上实现对目标的实时定位。这主要是因为双目间的像素匹配和整张图片通过视差获取深度图过程中计算量过大，且其中大部分运算是不必要的。
发明内容
为此，本发明提出一种基于ORB特征的微小型机器人多目标双目定位方法及系统，用以解决现有基于像素视差的双目定位方法由于计算量过大而导致目标定位效率及准确性较差的问题。
根据本发明的一方面，提出一种基于ORB特征的微小型机器人多目标双目定位方法，该方法包括以下步骤：
步骤一、利用双目相机采集包含一个或多个目标的多张图片；
步骤二、提取每张图片中的一个或多个目标区域；
步骤三、计算同时刻双目相机采集的两张图片中对应目标区域的多个哈希相似度，将多个哈希相似度的平均值作为双目相机采集的两张图片中目标的相似度，并根据所述相似度进行双目目标匹配；
步骤四、对匹配的目标区域进行ORB特征提取和匹配，获得双目相机中匹配的ORB特征点；
步骤五、对各个目标区域内已经匹配的ORB特征点进行定位，将目标区域内定位关键点的平均距离作为目标与相机之间的距离；
步骤六、根据目标相对相机深度，通过相机投影原理计算目标的三维定位信息。
进一步地，步骤三的具体过程包括：
对提取的目标区域计算其均值哈希指纹、差值哈希指纹和感知哈希指纹；分别计算两张图片所对应的均值哈希指纹、差值哈希指纹、感知哈希指纹之间的三个汉明距离；将所述汉明距离作为哈希相似度，并将三个哈希相似度的平均值作为两张图片中目标的相似度，形成双目相似度匹配矩阵；在双目相似度匹配矩阵中取相似度最高的值，将其所在的行和列删除，循环直至双目相似度匹配矩阵中不再有相似度值，完成双目目标匹配。
进一步地，步骤五中对于各个目标区域内已经匹配的ORB特征点，采用三角测量方法计算关键点的深度，再取平均值即得到目标与相机之间的距离。
进一步地，步骤三中均值哈希指纹、差值哈希指纹和感知哈希指纹的具体计算步骤如下：
均值哈希指纹：将原彩色图转换为灰度图；计算灰度图像素的平均值；比较像素灰度值，遍历灰度图每一个像素，如果大于平均值记为1，否则为0，得到均值哈希指纹信息；
差值哈希指纹：将原彩色图转换为灰度图；对左右两个像素值比较，如果前一个像素大于后一个像素则记为1，否则记为0，得到差值哈希指纹信息；
感知哈希指纹：将原彩色图转换为灰度图；计算余弦离散变换；保留灰度图的低频特征所对应的像素；计算频域图像的平均值；比较像素频域值，遍历灰度图每一个像素，如果大于平均值记为1，否则为0，得到感知哈希指纹信息。
根据本发明的另一方面，提出一种基于ORB特征的微小型机器人多目标双目定位系统，该系统包括：
图像采集模块，其配置成利用双目相机采集包含一个或多个目标的多张图片；
目标区域提取模块，其配置成提取每张图片中的一个或多个目标区域；
目标匹配模块，其配置成计算同时刻双目相机采集的两张图片中对应目标区域的多个哈希相似度，将多个哈希相似度的平均值作为双目相机采集的两张图片中目标的相似度，并根据所述相似度进行双目目标匹配；
特征点提取模块，其配置成对匹配的目标区域进行ORB特征提取和匹配，获得双目相机中匹配的ORB特征点；
距离计算模块，其配置成对各个目标区域内已经匹配的ORB特征点进行定位，将目标区域内定位关键点的平均距离作为目标与相机之间的距离；
目标定位模块，其配置成根据目标相对相机深度，通过相机投影原理计算目标的三维定位信息。
进一步地，所述目标匹配模块中双目目标匹配的具体过程包括：
对提取的目标区域计算其均值哈希指纹、差值哈希指纹和感知哈希指纹；分别计算两张图片所对应的均值哈希指纹、差值哈希指纹、感知哈希指纹之间的三个汉明距离；将所述汉明距离作为哈希相似度，并将三个哈希相似度的平均值作为两张图片中目标的相似度，形成双目相似度匹配矩阵；在双目相似度匹配矩阵中取相似度最高的值，将其所在的行和列删除，循环直至双目相似度匹配矩阵中不再有相似度值，完成双目目标匹配。
进一步地，所述距离计算模块中对于各个目标区域内已经匹配的ORB特征点，采用三角测量方法计算关键点的深度，再取平均值即得到目标与相机之间的距离。
进一步地，所述目标匹配模块中均值哈希指纹、差值哈希指纹和感知哈希指纹的具体计算步骤如下：
均值哈希指纹：将原彩色图转换为灰度图；计算灰度图像素的平均值；比较像素灰度值，遍历灰度图每一个像素，如果大于平均值记为1，否则为0，得到均值哈希指纹信息；
差值哈希指纹：将原彩色图转换为灰度图；对左右两个像素值比较，如果前一个像素大于后一个像素则记为1，否则记为0，得到差值哈希指纹信息；
感知哈希指纹：将原彩色图转换为灰度图；计算余弦离散变换；保留灰度图的低频特征所对应的像素；计算频域图像的平均值；比较像素频域值，遍历灰度图每一个像素，如果大于平均值记为1，否则为0，得到感知哈希指纹信息。
本发明的有益技术效果是：
本发明利用目标区域内的ORB特征进行定位，能够在实现目标跟踪的前提下高效的对目标进行定位，相比于直接利用目标框中心的定位方法，采用ORB特征进行定位具有如下优势：
1)三角测量方法定位，实际上是对点的定位，而识别出的目标框中心并不一定是目标的中心点，中心点的偏移会带来较大的测量误差。而ORB特征，本质上是对像素点的定位，因此避免了这部分的测量误差。
2)对目标进行ORB特征提取一般会提取目标上的多个点，因此对多个点的测量结果取平均值更能反应目标的定位信息。相比于利用深度图的定位方法，本发明通过ORB特征匹配，巧妙的避免了在进行深度方法中立体匹配中所需要的巨大计算量，本质是通过特征点的匹配代替了大量像素的匹配，降低了目标定位方法对于硬件算力的需求。
3)利用深度方法获取深度图并计算框内平均深度的方法会因为跟踪框不准、背景对前景深度的影响等因素带来较大误差，而本发明则避免了这一缺点，提高了整体的定位精度。
本发明通过特征点的匹配以及特征点深度的计算，代替原本基于像素的匹配和深度计算，大大减少了系统对算力的需求，从而保证在微小型机器人上实时且更加准确的对三维目标实现准确定位；本发明能够在降低算力要求的情况下，保障目标定位算法的精准性，利于将其部署于微小型机器人，完善微小型机器人自主感知系统。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例一种基于ORB特征的微小型机器人多目标双目定位方法的流程图。
图2是本发明实施例中根据哈希相似度匹配矩阵进行双目目标匹配的过程示例图。
图3是本发明实施例中三角测量原理图。
图4是本发明实施例中双目多目标ORB特征提取匹配的效果图。
图5是本发明实施例中动态目标定位效果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。
为在微小型机器人这种低算力、低功耗平台中实现多目标定位，本发明提出了一种基于ORB特征的微小型机器人多目标双目定位方法及系统。本发明首先根据目标跟踪给出的目标，利用哈希相似度进行双目多目标匹配；然后对已经进行双目匹配的目标进行ORB特征提取和匹配，获取目标上可以用于定位的关键点并将关键点相互匹配；最后利用三角测量方法计算关键点相对微小型机器人相机的距离，并以关键点和相机之间的平均距离作为目标与相机之间的距离，然后通过相机测量原理获得目标在世界坐标系下的三维定位信息。
本发明实施例提出一种基于ORB特征的微小型机器人多目标双目定位方法，该方法能够在低算力的情况下运行在微小型机器人平台，实现对多个移动目标的准确定位。如图1所示，该方法包括以下步骤：
步骤一：利用双目相机采集包含目标机器人的多张图片。
根据本发明实施例，对微小型机器人构建微小型机器人目标定位相关坐标系，以能够描述定位目标相对微小型机器人的三维位置坐标，这里为了简化描述，仅定义机器人坐标系、世界坐标系以及左右目相机坐标系，即可描述目标相对微小机器人的三维位置。
机器人坐标系是建立在机器人本体上的坐标系，机器人坐标系以机器人形心为坐标原点，假设机器人水平放置在平面上，则定义z轴方向为平面的法向量方向，且正方向向上，x轴方向从机器人坐标系原点指向机器人正前方向，y轴与x，z轴构成右手系。
世界坐标系为初始时刻机器人坐标系的位置，世界坐标系的原点为初始时刻机器人坐标系的原点。
各坐标系之间存在一定的转换关系，其转换关系为：
1)机器人坐标系到世界坐标系
世界坐标系到机器人坐标系的转换关系与机器人的运动相关，设机器人相对世界坐标系的姿态为位移为/>则世界坐标系和机器人坐标系之间的坐标转换公式为：
2)相机坐标系到机器人坐标系
相机坐标系到机器人坐标系的转换关系与相机相对机器人本体系的安装姿态和安装位置相关，设相机相对机器人的安装矩阵为位移为/>则世界坐标系和机器人坐标系之间的坐标转换公式为：
3)相机坐标系到世界坐标系
相机坐标系和世界坐标系之间的转换可以通过相机坐标系到机器人坐标系，然后从机器人坐标系到世界坐标系转换实现，即：
步骤二：提取每张图片中的目标机器人区域图片。
根据本发明实施例，对于采集到的图片，利用现有的目标检测或跟踪算法获得目标框，并利用现有的图像分割算法分割出指定区域的目标图像。
步骤三：计算同时刻双目相机采集的两张图片对应的目标机器人区域图片的哈希相似度，将哈希相似度的平均值作为双目相机采集的两张图片中目标机器人之间的相似度。
根据本发明实施例，对提取出的指定区域目标图像计算其均值哈希指纹、差值哈希指纹和感知哈希指纹，通过三种哈希指纹实现对双目目标的匹配过程。
其中，均值哈希指纹的具体计算步骤如下：
1)缩放图片：为保留结构去掉细节、大小的差异，统一将图片缩放至8*8大小，64像素；
2)将原彩色图转换为灰度图；
3)计算灰度图像素的平均值；
4)比较像素灰度值，遍历灰度图片每一个像素，如果大于平均值记为1，否则为0，即：
5)得到64位的均值哈希指纹信息。
差值哈希指纹的具体计算步骤如下：
1)缩放图片：为保留结构去掉细节、大小的差异，统一将图片缩放至9*8大小，72像素；
2)将原彩色图转换为灰度图；
3)与均值哈希指纹的计算方式不同，差值哈希指纹这里直接对左右两个像素值比较，如果前一个像素大于后一个像素则记为1，否则记为0，表达式见下式。为此原本9*8的像素网格值变作8*8的像素网格值。
4)将8*8的网格值展开成64位的差值哈希指纹信息。
感知哈希指纹的具体计算步骤如下：
1)缩放图片：为保留结构去掉细节、大小的差异，统一将图片缩放至32*32大小；
2)将原彩色图转换为灰度图；
3)计算DCT(余弦离散变换)，DCT变换能够把图片转换为不同频率分率的集合；
其中：k1,k2＝0,…,N-1；
4)对原图32*32的像素值，仅保留左上角8*8的像素点位置，代表图像的低频特征对图片匹配有着优势意义。
5)计算频域图像的平均值。
6)比较像素频域值，遍历灰度图片每一个像素，如果大于平均值记为1，否则为0；
7)得到64位的感知哈希指纹信息。
然后，计算双目图像中的目标区域的均值哈希相似度、差值哈希相似度以及感知哈希相似度，并将其平均值作为双目图像中目标之间的相似度；
作为示例，每种哈希指纹之间的相似度计算采取汉明距离，即对于两张图片的哈希指纹a＝a1,a2,...,a64和b＝b1,b2,...,b64，其对应的两张图片的哈希相似度表示为：
通过上述公式，分别计算两张图片所对应的均值哈希指纹、差值哈希指纹、感知哈希指纹之间的三个汉明距离；将汉明距离作为哈希相似度，并将三个指纹相似度的平均值作为两张图像最终的相似度，即：
对于双目多个目标的匹配，能够形成双目相似度匹配矩阵，通过双目相似度矩阵进行双目目标匹配。匹配示例见图2，匹配步骤如下：
1)在相似度矩阵中取相似度最高的值，即认为对应的行和列的目标匹配；
2)将匹配的行和列对应的相似度值从相似度匹配矩阵中删除；
3)循环1)-2)直至相似度矩阵中不再有相似度值。即完成双目目标匹配。
步骤四：对匹配的目标区域进行ORB特征提取、匹配，获得双目相机中匹配的ORB特征点。
根据本发明实施例，首先计算匹配区域内的Oriented FAST关键点，ORB(OrientedFAST and Rotated BRIEF)特征是一种人为设计的高效特征，在SLAM(SimultaneousLocalization and Mapping)中被经常使用用于定位相关功能，取得了较为优异的成果如ORB-SLAM。ORB特征由关键点和描述子组成，关键点即图片中具有一定特点能够具有一定的尺度、旋转不变性的关键点。描述子即为描述关键点特征的一串数据，利用描述子可以对相似的关键点进行匹配。ORB的关键点是Oriented FAST关键点，相较于FAST关键点，它考虑了尺度不变性和方向性，因此更加适用于在多视角下对关键点进行观测时关键点的不变性，提高了定位的精度和准确度。ORB的描述子为Rotated BRIEF描述子，相对BRIEF描述子，它考虑了旋转不变性、尺度不变性以及解决了噪声敏感问题，更加适用于目标定位场景。且FAST特征点和BRIEF描述子都具有计算量小的特点，正是考虑其计算量小的特点，因此用其在微小型机器人这种低算力、低功耗平台进行定位，而不是选用精度更高计算量更大的其他特征。
Oriented FAST关键点的计算过程包括FAST关键点的确定，以及对FAST关键点附加灰度质心，进行旋转描述，其具体过程如下：
1)在图像中选取像素p，假设它的亮度为Ip，并设置一个亮度阈值T(比如，Ip的20％)；
2)以像素p为中心，对半径为3的圆上的16个像素点进行像素值比较，假如选取的圆上有N个点的亮度大于Ip+T或小于Ip-T，那么像素p可以被认为是FAST特征点，即：
若满足下式，即可以认为该点为一个FAST特征点。循环上述步骤，对每一个像素执行相同的操作，最终可获得图像的FAST特征点。
3)对计算得到的FAST角点，获得其灰度质心，并计算特征点的方向：
θ＝arctan(m01/m10)
其中，m01和m10为特征点邻域内的灰度质心，其计算公式为：
通过以上三个步骤，即最终可以得到Oriented FAST关键点，即带方向信息的FAST关键点。
提取到特征点后，还需要对该特征点进行描述，对于Oriented FAST关键点，这个过程就是计算Rotated BRIEF描述子，BRIEF是一种二进制描述子，其描述向量由许多个0和1组成，这里的0和1编码了关键点附近两个随机像素(比如p和q)的大小关系即：
其中：pi和qi为特征点邻域δ内两个事先给定位置的像素值，通过给定128组像素值即256个像素的比较，最后能够得到128维由0和1组成的向量，即为该Oriented FAST关键点的Rotated BRIEF描述子。
从上述过程可以看出，Oriented FAST和Rotation BREIF的组合节约计算资源且高效，使得ORB特征在实时图像处理系统中非常受欢迎，恰好适用于微小型机器人这种低算力、低功耗的边缘设备运行该系统。
步骤五：对各个目标区域内已经匹配的ORB特征点进行定位，将目标框内定位关键点的平均距离作为目标与相机之间的距离。
根据本发明实施例，可以认为双目目标匹配的特征点即源自实际三维场景中的同一点，因此可以利用三角测量方法对其进行定位。三角测量是几何学、天文学中常用的一种测量目标点与固定基线之间距离的方法，其观测量是目标点相对基线两端固定端点的角度。三角测量通过将图像相机中心和图像中的像素点形成的射线与测定目标三维点之间的距离和最小实现三位点的定位，通过最小二乘法求解，可较大程度保证定位的精度。而且通过一定的推导，其最小二乘解可以通过SVD(矩阵奇异值分解)得到三角测量的最小二乘解，因此该方法计算量小、准确度高，是一种有效的点目标定位方法。正是考虑其计算量小的特点，因此用其在微小型机器人这种低算力、低功耗平台进行定位。
三角测量的定位原理如图3所示。其计算原理如下：
设x1,x2为两个像素点在左右双目相机坐标系下的坐标，那么它们满足：
s2x2＝s1Rx1+t
其中，x1和x2为左右两目相机中像素点的坐标，s1和s2为左右两目相机中的深度信息。R和t分别为左目相机相对右目相机的旋转矩阵和平移向量。
那么先对上式两侧左乘一个x2 ×，得：
上式即为得到的关于深度的方程，其中x1,x2,R,t均为已知量，因此求解该方程即可得到关键点的深度s1,s2。
对于检测得到的目标区域S内匹配的特征点，采用上述三角测量方法计算关键点的深度，再取平均值即可得到目标与相机之间的距离，即：
式中：s1,avg和s2,avg即为求得的目标相对左右目相机的平均深度，S为检测目标的区域，nS为区域内的全部关键像素点数量。
步骤六：根据目标相对相机深度，通过相机投影原理计算目标的三维定位信息。
根据本发明实施例，根据相机的投影原理，通过相机中心与目标框中心点的射线即为目标可能的位置，而目前又求得目标相对相机的深度，因此即可在射线上确定对应目标中心点的三维位置，将其转换至世界坐标系即完成三维目标的定位。
根据上述步骤可以求得目标相对相机深度为s，则根据相机的投影原理：
其中，fx,fy,cx,cy为相机内参为已知量，u,v为目标中心在相机像素下的坐标，为已知量，且深度s已知。求解该线性方程，即能够求得目标点在相机坐标系下的三维位置[xc,yc,zc]，然后根据步骤一中的坐标转换方法，即可确定目标在世界坐标系下的三维位置，即：
其中xc＝[xc,yc,zc]T，最终实现对目标三维位置在世界坐标系下的确定，实现基于ORB特征的微小型机器人多目标定位方法。
进一步通过实验验证本发明的技术效果。
实验分别选取在简单环境以及在复杂环境下对微小型无人机的检测识别作为实验背景，利用一种可用于微小型机器人的分布式仿生透镜柔性传感系统的采集结果作为输入数据，测试算法的准确度、稳定性和实时性需求。仿真测试软件环境为Windows 11+python 3.7.10+opencv-python 4.5.3.56+opencv-contrib-python 3.4.13.47，硬件环境为Intel(R)Core(TMi7-10870H CPU+16.0GB RAM+NVDIA GeForce GTX 1650Ti。实验平台为自主开发的分布式仿生柔性传感系统。
实验首先进行静态目标定位实验，以验证本发明用于微小型机器人目标定位的精度。然后进行动态目标定位实验，以验证本发明用于实际飞行场景下的目标定位能力。
1)静态目标定位实验
静态目标定位实验主要是为了验证本发明用于微小型机器人定位的准确程度和精度，真实的任务场景中一般较难遇到静态目标定位的场景。分别设定目标位于参考镜头前140cm、190cm、240cm、280cm进行静态目标定位实验，最终取得的定位值为50帧测量后取得的平均值，深度方向的定位精度如下表所示：
表1
距离 140cm 190cm 240cm 290cm
定位 142.4715cm 196.5474cm 259.5518cm 321.0506cm
误差 1.7654％ 3.446％ 8.3333％ 14.66092％
从表1可以看出，随着目标距离镜头距离的增加，定位误差逐渐增大，在近距离时，身眼机器人的目标定位系统能够较为准确的确定目标位置，当目标距离为140cm时，测量值为142.4715cm，误差不足2％，但随着距离的增加，当距离达到280cm时，测量值为321.0506cm，误差超过10％。其中可能的原因有三：(1)由于相机标定误差的影响，相机进行外参标定时过度优化了近处的定位误差而忽略的远处的定位误差。(2)特征点匹配的误差，随着距离的增大，目标的纹理细节相对近处更加不清晰，特征匹配容易出现错配、误配，且随着距离的增加特征点出现误差造成的定位偏差更大。(3)由于多目测距本质上是根据视差，随着距离的增加，视差减小，噪声、像素误差等对定位造成更加严重的影响。
2)动态目标定位实验
动态目标定位实验主要验证本发明在可能的实际应用场景下对动态目标的定位能力，实验时设定识别目标为微小型直升机，分布式仿生柔性传感系统拍摄相关视频并进行识别。定位跟踪结果如图5所示。
从图5中可以看出，该方法能够准确的在动态环境下实现对多目标的准确定位，且定位结果相对稳定，对动态目标的定位过程中，目标的位置信息没有发生跳变。且从图中不难看出，距离相机更远的目标定位系统给出的深度更大，更近的目标定位系统给出的深度更小，满足现实世界的一般规律，因此从定性的角度看该方法能够准确的在动态环境下实现多目标的准确定位。
本发明另一实施例还提出一种基于ORB特征的微小型机器人多目标双目定位系统，该系统包括：
图像采集模块，其配置成利用双目相机采集包含一个或多个目标的多张图片；
目标区域提取模块，其配置成提取每张图片中的一个或多个目标区域；
目标匹配模块，其配置成计算同时刻双目相机采集的两张图片中对应目标区域的多个哈希相似度，将多个哈希相似度的平均值作为双目相机采集的两张图片中目标的相似度，并根据所述相似度进行双目目标匹配；
特征点提取模块，其配置成对匹配的目标区域进行ORB特征提取和匹配，获得双目相机中匹配的ORB特征点；
距离计算模块，其配置成对各个目标区域内已经匹配的ORB特征点进行定位，将目标区域内定位关键点的平均距离作为目标与相机之间的距离；
目标定位模块，其配置成根据目标相对相机深度，通过相机投影原理计算目标的三维定位信息。
本实施例中，优选地，所述目标匹配模块中双目目标匹配的具体过程包括：
对提取的目标区域计算其均值哈希指纹、差值哈希指纹和感知哈希指纹；分别计算两张图片所对应的均值哈希指纹、差值哈希指纹、感知哈希指纹之间的三个汉明距离；将所述汉明距离作为哈希相似度，并将三个哈希相似度的平均值作为两张图片中目标的相似度，形成双目相似度匹配矩阵；在双目相似度匹配矩阵中取相似度最高的值，将其所在的行和列删除，循环直至双目相似度匹配矩阵中不再有相似度值，完成双目目标匹配。
本实施例中，优选地，所述距离计算模块中对于各个目标区域内已经匹配的ORB特征点，采用三角测量方法计算关键点的深度，再取平均值即得到目标与相机之间的距离。
本实施例中，优选地，所述目标匹配模块中均值哈希指纹、差值哈希指纹和感知哈希指纹的具体计算步骤如下：
均值哈希指纹：将原彩色图转换为灰度图；计算灰度图像素的平均值；比较像素灰度值，遍历灰度图每一个像素，如果大于平均值记为1，否则为0，得到均值哈希指纹信息；
差值哈希指纹：将原彩色图转换为灰度图；对左右两个像素值比较，如果前一个像素大于后一个像素则记为1，否则记为0，得到差值哈希指纹信息；
感知哈希指纹：将原彩色图转换为灰度图；计算余弦离散变换；保留灰度图的低频特征所对应的像素；计算频域图像的平均值；比较像素频域值，遍历灰度图每一个像素，如果大于平均值记为1，否则为0，得到感知哈希指纹信息。
本发明实施例一种基于ORB特征的微小型机器人多目标双目定位系统的功能可以由前述一种基于ORB特征的微小型机器人多目标双目定位方法说明，因此系统实施例未详述部分，可参见以上方法实施例，在此不再赘述。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (8)

1.一种基于ORB特征的微小型机器人多目标双目定位方法，其特征在于，包括以下步骤：
步骤一、利用双目相机采集包含一个或多个目标的多张图片；
步骤二、提取每张图片中的一个或多个目标区域；
步骤三、计算同时刻双目相机采集的两张图片中对应目标区域的多个哈希相似度，将多个哈希相似度的平均值作为双目相机采集的两张图片中目标的相似度，并根据所述相似度进行双目目标匹配；
步骤四、对匹配的目标区域进行ORB特征提取和匹配，获得双目相机中匹配的ORB特征点；
步骤五、对各个目标区域内已经匹配的ORB特征点进行定位，将目标区域内定位关键点的平均距离作为目标与相机之间的距离；
步骤六、根据目标相对相机深度，通过相机投影原理计算目标的三维定位信息。
2.根据权利要求1所述的一种基于ORB特征的微小型机器人多目标双目定位方法，其特征在于，步骤三的具体过程包括：
对提取的目标区域计算其均值哈希指纹、差值哈希指纹和感知哈希指纹；分别计算两张图片所对应的均值哈希指纹、差值哈希指纹、感知哈希指纹之间的三个汉明距离；将所述汉明距离作为哈希相似度，并将三个哈希相似度的平均值作为两张图片中目标的相似度，形成双目相似度匹配矩阵；在双目相似度匹配矩阵中取相似度最高的值，将其所在的行和列删除，循环直至双目相似度匹配矩阵中不再有相似度值，完成双目目标匹配。
3.根据权利要求1所述的一种基于ORB特征的微小型机器人多目标双目定位方法，其特征在于，步骤五中对于各个目标区域内已经匹配的ORB特征点，采用三角测量方法计算关键点的深度，再取平均值即得到目标与相机之间的距离。
4.根据权利要求2所述的一种基于ORB特征的微小型机器人多目标双目定位方法，其特征在于，步骤三中均值哈希指纹、差值哈希指纹和感知哈希指纹的具体计算步骤如下：
均值哈希指纹：将原彩色图转换为灰度图；计算灰度图像素的平均值；比较像素灰度值，遍历灰度图每一个像素，如果大于平均值则记为1，否则为0，得到均值哈希指纹信息；
差值哈希指纹：将原彩色图转换为灰度图；对左右两个像素值比较，如果前一个像素大于后一个像素则记为1，否则记为0，得到差值哈希指纹信息；
感知哈希指纹：将原彩色图转换为灰度图；计算余弦离散变换；保留灰度图的低频特征所对应的像素；计算频域图像的平均值；比较像素频域值，遍历灰度图每一个像素，如果大于平均值则记为1，否则为0，得到感知哈希指纹信息。
5.一种基于ORB特征的微小型机器人多目标双目定位系统，其特征在于，包括：
图像采集模块，其配置成利用双目相机采集包含一个或多个目标的多张图片；
目标区域提取模块，其配置成提取每张图片中的一个或多个目标区域；
目标匹配模块，其配置成计算同时刻双目相机采集的两张图片中对应目标区域的多个哈希相似度，将多个哈希相似度的平均值作为双目相机采集的两张图片中目标的相似度，并根据所述相似度进行双目目标匹配；
特征点提取模块，其配置成对匹配的目标区域进行ORB特征提取和匹配，获得双目相机中匹配的ORB特征点；
距离计算模块，其配置成对各个目标区域内已经匹配的ORB特征点进行定位，将目标区域内定位关键点的平均距离作为目标与相机之间的距离；
目标定位模块，其配置成根据目标相对相机深度，通过相机投影原理计算目标的三维定位信息。
6.根据权利要求5所述的一种基于ORB特征的微小型机器人多目标双目定位系统，其特征在于，所述目标匹配模块中双目目标匹配的具体过程包括：
对提取的目标区域计算其均值哈希指纹、差值哈希指纹和感知哈希指纹；分别计算两张图片所对应的均值哈希指纹、差值哈希指纹、感知哈希指纹之间的三个汉明距离；将所述汉明距离作为哈希相似度，并将三个哈希相似度的平均值作为两张图片中目标的相似度，形成双目相似度匹配矩阵；在双目相似度匹配矩阵中取相似度最高的值，将其所在的行和列删除，循环直至双目相似度匹配矩阵中不再有相似度值，完成双目目标匹配。
7.根据权利要求5所述的一种基于ORB特征的微小型机器人多目标双目定位系统，其特征在于，所述距离计算模块中对于各个目标区域内已经匹配的ORB特征点，采用三角测量方法计算关键点的深度，再取平均值即得到目标与相机之间的距离。
8.根据权利要求6所述的一种基于ORB特征的微小型机器人多目标双目定位系统，其特征在于，所述目标匹配模块中均值哈希指纹、差值哈希指纹和感知哈希指纹的具体计算步骤如下：
均值哈希指纹：将原彩色图转换为灰度图；计算灰度图像素的平均值；比较像素灰度值，遍历灰度图每一个像素，如果大于平均值记为1，否则为0，得到均值哈希指纹信息；
差值哈希指纹：将原彩色图转换为灰度图；对左右两个像素值比较，如果前一个像素大于后一个像素则记为1，否则记为0，得到差值哈希指纹信息；
感知哈希指纹：将原彩色图转换为灰度图；计算余弦离散变换；保留灰度图的低频特征所对应的像素；计算频域图像的平均值；比较像素频域值，遍历灰度图每一个像素，如果大于平均值记为1，否则为0，得到感知哈希指纹信息。
CN202310611932.9A 2023-05-29 2023-05-29 一种基于orb特征的微小型机器人多目标双目定位方法及系统 Pending CN116630423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310611932.9A CN116630423A (zh) 2023-05-29 2023-05-29 一种基于orb特征的微小型机器人多目标双目定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310611932.9A CN116630423A (zh) 2023-05-29 2023-05-29 一种基于orb特征的微小型机器人多目标双目定位方法及系统

Publications (1)

Publication Number Publication Date
CN116630423A true CN116630423A (zh) 2023-08-22

Family

ID=87602252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310611932.9A Pending CN116630423A (zh) 2023-05-29 2023-05-29 一种基于orb特征的微小型机器人多目标双目定位方法及系统

Country Status (1)

Country Link
CN (1) CN116630423A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523379A (zh) * 2023-11-20 2024-02-06 广东海洋大学 基于ai的水下摄影目标定位方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523379A (zh) * 2023-11-20 2024-02-06 广东海洋大学 基于ai的水下摄影目标定位方法及系统
CN117523379B (zh) * 2023-11-20 2024-04-30 广东海洋大学 基于ai的水下摄影目标定位方法及系统

Similar Documents

Publication Publication Date Title
US10395383B2 (en) Method, device and apparatus to estimate an ego-motion of a video apparatus in a SLAM type algorithm
Urban et al. Mlpnp-a real-time maximum likelihood solution to the perspective-n-point problem
US10719727B2 (en) Method and system for determining at least one property related to at least part of a real environment
US9280832B2 (en) Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
US9117269B2 (en) Method for recognizing objects in a set of images recorded by one or more cameras
WO2015135323A1 (zh) 一种摄像机跟踪方法及装置
US9761008B2 (en) Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
CN102313536A (zh) 基于机载双目视觉的障碍物感知方法
Munoz-Banon et al. Targetless camera-lidar calibration in unstructured environments
AliAkbarpour et al. Fast structure from motion for sequential and wide area motion imagery
CN114627491A (zh) 一种基于极线汇聚的单人三维姿态估计方法
Jung et al. Object detection and tracking-based camera calibration for normalized human height estimation
CN107330930B (zh) 三维图像深度信息提取方法
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及系统
Kneip et al. The generalized relative pose and scale problem: View-graph fusion via 2D-2D registration
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
JP2023065296A (ja) 平面検出装置及び方法
Aing et al. Detecting object surface keypoints from a single RGB image via deep learning network for 6-DoF pose estimation
Shi et al. Robust framework for three-dimensional measurement of dynamic deformable surface
Tian et al. Novel Automatic Human-Height Measurement Using a Digital Camera
Xu et al. Guided filtering based pyramidical stereo matching for unrectified images
Li et al. Reconstruction of 3D structural semantic points based on multiple camera views
CN117670969A (zh) 深度估计方法、装置、终端设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination