CN111461141A - 一种设备位姿计算方法装置及设备 - Google Patents
一种设备位姿计算方法装置及设备 Download PDFInfo
- Publication number
- CN111461141A CN111461141A CN202010237621.7A CN202010237621A CN111461141A CN 111461141 A CN111461141 A CN 111461141A CN 202010237621 A CN202010237621 A CN 202010237621A CN 111461141 A CN111461141 A CN 111461141A
- Authority
- CN
- China
- Prior art keywords
- line
- point
- features
- descriptor
- pose calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 60
- 230000006870 function Effects 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种设备位姿计算方法装置及设备，该方案中，除了考虑到图像中的点特征中蕴含位姿信息，还考虑到图像中的线特征中也蕴含位姿信息，因此，本申请采用点、线结合的方式来计算设备的位姿，提高了位姿计算精度。此外，在进行点、线结合时，还考虑到通常点描述子和线描述子的维度和数据类型通常不同，若直接依据计算得到的线描述子进行线特征匹配及计算位姿的计算量非常大，因此，本申请还将线描述子的维度和数据类型转换为与点描述子的维度和数据类型相同，以便后续对线特征转换后的关键点特征和匹配的线特征进行统一的点计算进而得到设备的当前位姿，减小了计算量，提高了位姿计算的实时性。
Description
技术领域
本发明涉及视觉定位技术领域，特别是涉及一种设备位姿计算方法装置及设备。
背景技术
近年来，VR(Virtual Reality，虚拟现实)一体式头戴式显示设备(以下简称VR头显)、无人驾驶汽车、无人机和机器人等设备的数量激增，它们能够依靠视觉设备感知自身的位置姿态数据。支撑这些设备进行自主导航的主要技术即为内向外定位(Inside-outTracking)技术。内向外定位技术，即为通过视觉摄像机采集连续的图像，然后通过特征提取匹配算法和位姿估计算法对连续帧中所包含的设备位姿数据进行估计的技术。
考虑到设备定位需要进行特征匹配，因此，其稳定性严重依赖于场景特征的丰富程度，且VR头显、无人机等设备的使用环境中的纹理特征较为复杂，仅依靠视觉图像帧中单一提取的点特征无法全面的感知真实场景中丰富的纹理信息，从而使得仅依靠单一的提取点特征进行位姿估计会导致设备的定位精度较低，影响设备的使用。
发明内容
本发明的目的是提供一种设备位姿计算方法装置及设备，提高了位姿计算精度，减小了计算量，提高了位姿计算的实时性。
为解决上述技术问题，本发明提供了一种设备位姿计算方法，包括：
获取设备所在场景的当前帧图像，并从所述当前帧图像中提取线特征和点特征；
计算所述线特征的线描述子和点特征的点描述子，并将所述线描述子的维度和数据类型转换为与所述点描述子的维度和数据类型相同；
基于转换后的线描述子确定与上一帧图像中的线特征匹配的线特征；基于点描述子确定与上一帧图像中的点特征匹配的点特征；
将匹配的所述线特征转换为关键点特征，基于所述关键点特征和匹配的所述点特征确定设备的当前位姿。
优选地，从所述当前帧图像中提取线特征和点特征，包括：
对所述当前帧图像构建尺度金字塔；
从所述尺度金字塔的每层中基于灰度的梯度信息提取线特征和点特征。
优选地，计算所述线特征的线描述子，包括：
对每层提取的线特征进行线特征重构，生成LineVec向量；
基于LineVec向量建立LSR线段支持域，其中，所述LSR线段支持域的条带数为m，条带的像素宽度为w；
基于条带数m，条带的像素宽度w、全局高斯函数及局部高斯函数确定线特征的浮点类型的线描述子；
其中，所述全局高斯函数为
所述局部高斯函数为
σg＝0.5(m·w-1)，σl＝w；
fg(i)为LSR线段支持域中的第i行的全局权重系数，di为LSR线段支持域中的第i行到中心行的距离，σg为全局高斯函数中的条带系数；
对于第j条带和第j条带的相邻条带第j-1条带和第j+1条带中的每一行，fl(k)为第k行的局部权重系数，dk为第k行到第j条带的中心行的距离，σl为局部高斯函数中的条带系数。
优选地，w＝7,m＝9，所述浮点类型的线描述子的维度为72维。
优选地，所述点描述子为256维的二进制ORB特征描述子。
优选地，将所述线描述子的维度和数据类型转换为与所述点描述子的维度和数据类型相同，包括：
从72维的浮点类型的线描述子中依次选取32对基准数据对(yi,yi+1)，其中，i∈[a,1,2,...,a+63]，a∈[0,1,2,...,9]；
基于相邻的原则选取两组浮点数据(yi+1,yi+2,yi+3,yi+4)和(yi+2,yi+3,yi+4,yi+5)；
将两组浮点数据分别与基准数据对中的数据进行大小比较，得到比较结果π0(yi,Y0)和π1(yi+1,Y1)，进而得到256维的二进制的线描述子；
其中，
yi为72维的浮点类型的线描述子中的第i维的数值；yi+1为72维的浮点类型的线描述子中的第i+1维的数值；yi+2为72维的浮点类型的线描述子中的第i+2维的数值；yi+3为72维的浮点类型的线描述子中的第i+3维的数值；yi+4为72维的浮点类型的线描述子中的第i+4维的数值；yi+6为72维的浮点类型的线描述子中的第i+6维的数值。
优选地，基于转换后的线描述子确定与上一帧图像中的线特征匹配的线特征之后，还包括：
利用RANSAC算法对匹配的线特征进行错误点滤除。
优选地，将匹配的所述线特征转换为关键点特征，包括：
将所述线特征的中间像素点作为关键点特征。
为解决上述技术问题，本发明还提供了一种设备位姿计算装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述设备位姿计算方法的步骤。
为解决上述技术问题，本发明还提供了一种设备，包括设备本体，还包括设置于设备本体上的视觉摄像机和如上述所述的设备位姿计算装置；
所述视觉摄像机用于采集设备所在场景的图像。
本发明提供了一种设备位姿计算方法，该方案中，除了考虑到图像中的点特征中蕴含位姿信息，还考虑到图像中的线特征中也蕴含位姿信息，因此，本申请采用点、线结合的方式来计算设备的位姿，提高了位姿计算精度。此外，在进行点、线结合时，还考虑到通常点描述子和线描述子的维度和数据类型通常不同，若直接依据计算得到的描述子进行线特征匹配及计算位姿的计算量非常大，因此，本申请还将线描述子的维度和数据类型转换为与点描述子的维度和数据类型相同，以便后续对线特征转换后的关键点特征和匹配的线特征进行统一的点计算进而得到设备的当前位姿，减小了计算量，提高了位姿计算的实时性。
本发明还提供了一种设备位姿计算装置及设备，具有与上述设备位姿计算方法相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种设备位姿计算方法的流程图；
图2为基于内向外定位技术得到设备位姿的原理框图；
图3为本发明提供的一种LSR线段支持域的示意图；
图4为本发明提供的一种将线描述子的维度和数据类型转换为与点描述子的维度和数据类型相同的原理图；
图5为本发明提供的一种设备的结构示意图。
具体实施方式
本发明的核心是提供一种设备位姿计算方法装置及设备，提高了位姿计算精度，减小了计算量，提高了位姿计算的实时性。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明提供的一种设备位姿计算方法的流程图。
该方法包括：
S11：获取设备所在场景的当前帧图像，并从当前帧图像中提取线特征和点特征；
设备上通常设置有摄像头，用于对设备所在场景进行拍照或者摄像，得到多帧图像，也即图像序列。处理器获取图像序列，并对每一帧图像都执行S11-S14的操作。此外，这里的设备所在场景的当前帧图像通常为设备前方场景的当前帧图像。
本申请考虑到一般设备所在场景中存在着结构化的特征，例如线特征和点特征等，线特征和点特征是互为补充的，线特征相对于点特征而言是一种更高层次的特征，其中蕴含着场景中更为丰富的纹理信息，因此，本申请中，在得到当前帧图像后，提取出当前帧图像中的线特征和点特征。通常情况下，一帧图像中会包括很多点特征和很多线特征。
S12：计算线特征的线描述子和点特征的点描述子，并将线描述子的维度和数据类型转换为与点描述子的维度和数据类型相同；
在得到线特征和点特征后，还需要基于线描述子将当前帧图像中的线特征与上一帧图像中的线特征进行特征匹配，基于点描述子将当前帧图像中的点特征与上一帧图像中的点特征进行特征匹配，因此，首先计算各个线特征的线描述子和各个点特征的点描述子。
考虑到线描述子的维度和数据类型与点描述子的维度和数据类型通常不同，且直接利用计算得到的原数据类型的线描述子去进行线特征的匹配的计算量会非常大，例如一般计算得到的线描述子通常为浮点类型，点描述子通常为二进制类型，如果直接利用浮点类型的线描述子去进行线特征的匹配并进行后续的位姿计算，计算量会非常大，在无GPU加速的情况下，通常无法应用于实时性要求较高的SLAM(simultaneous localization andmapping，即时定位与地图构建)系统。
基于此，本申请中，在得到线特征的线描述子和点特征的点描述子后，会将线描述子的维度和数据类型转换为点描述子的维度和数据类型，则后续在利用转换后的线描述子去进行线特征匹配时能够极大地减少计算量，提高位姿计算的实时性；此外，后续能够再将特征匹配后的线特征转换为关键点特征，便于将关键点特征和匹配后的点特征进行融合以得到的设备的当前位姿。
S13：基于转换后的线描述子确定与上一帧图像中的线特征匹配的线特征；基于点描述子确定与上一帧图像中的点特征匹配的点特征；
在将线描述子的维度和数据类型转换为与点描述子的维度和数据类型相同后，则将当前帧图像中的转换后的线描述子与上一帧图像中的转换后的线描述子进行特征匹配，匹配度高的线描述子对应的线特征也是匹配的。同样地，将当前帧图像中的点描述子与上一帧图像中的点描述子进行特征匹配，匹配度高的点描述子对应的点特征也是匹配的。
具体地，本申请中，可以通过但不仅限于汉明距离来量化当前帧图像中的转换后的线描述子与上一帧图像中的转换后的线描述子之间的距离，汉明距离越大，则说明两个线描述子之间的匹配度越低，在实际应用中，可以通过设置汉明距离阈值来选出匹配度高的线描述子，则选出的线描述子对应地线特征即为匹配的线特征。同样地，对点特征也可进行如上操作。
S14：将匹配的线特征转换为关键点特征，基于关键点特征和匹配的点特征确定设备的当前位姿。
请参照图2，图2为基于内向外定位技术得到设备位姿的原理框图。
在确定匹配的线特征和点特征后，可以将匹配的线特征转换为关键点特征，也即选用线特征中的一个关键点来作为其关键点特征，转换后的线描述子作为关键点特征的描述子，后续便可将关键点特征和匹配的点特征作为一个点特征整体来确定确定设备的当前位姿。需要说明的是，基于点特征确定设备的当前位姿在本领域已有诸多文献记载，本实施例仅就与现有技术的区别部分进行详细阐述。
综上，本申请提供的方案中，除了考虑到图像中的点特征中蕴含位姿信息，还考虑到图像中的线特征中也蕴含位姿信息，想到将线转换成点，并采用点、线结合的方式来计算设备的位姿，提高了位姿计算精度。此外，在进行点、线结合时，还考虑到通常点描述子和线描述子的维度和数据类型通常不同，若直接依据计算得到的线描述子进行线特征匹配及计算位姿的计算量非常大，因此，本申请还将线描述子的维度和数据类型转换为与点描述子的维度和数据类型相同，以便后续对线特征转换后的关键点特征和匹配的线特征进行统一的点计算进而得到设备的当前位姿，减小了计算量，提高了位姿计算的实时性。
在上述实施例的基础上：
作为一种优选地实施例，从当前帧图像中提取线特征和点特征，包括：
对当前帧图像构建尺度金字塔；
从尺度金字塔的每层中基于灰度的梯度信息提取线特征和点特征。
具体地，本申请中，在接收到当前帧图像后，可以对当前帧图像进行预处理，这里的预处理可以但不仅限为使用高斯滤波进行去噪处理，得到平滑的当前帧图像。然后对当前帧图像构建尺度金字塔，并在不同层次金字塔上提取线特征和点特征，从而实现了提取到的线特征和点特征具有尺度不变性。
此外，考虑到视觉图像中线段和点的灰度变化明显，因此，可以基于金字塔的每层图像的灰度的梯度信息来提取线特征和点特征。在进行线特征提取时，可以首先计算金字塔的每层图像的梯度算子，并基于梯度算子确定描点信息，然后链接描点得到边缘图，进而从边缘图中进行线段提取，得到线特征。
作为一种优选地实施例，计算线特征的线描述子，包括：
对每层提取的线特征进行线特征重构，生成LineVec向量；
基于LineVec向量建立LSR(Line Support Rectangle)线段支持域，其中，LSR线段支持域的条带数为m，条带的像素宽度为w；
基于条带数m，条带的像素宽度w、全局高斯函数及局部高斯函数确定线特征的浮点类型的线描述子；
其中，全局高斯函数为
局部高斯函数为
σg＝0.5(m·w-1)，σl＝w；
fg(i)为LSR线段支持域中的第i行的全局权重系数，di为LSR线段支持域中的第i行到中心行的距离，σg为全局高斯函数中的条带系数；
对于第j条带和第j条带的相邻条带第j-1条带和第j+1条带中的每一行，fl(k)为第k行的局部权重系数，dk为第k行到第j条带的中心行的距离，σl为局部高斯函数中的条带系数。
请参照图3，图3为本发明提供的一种LSR线段支持域的示意图。
在得到不同尺度的线特征后，对每层提取的线特征进行线段重构，生成LineVec向量，以表征不同尺度下的同一线特征，然后基于LineVec向量建立LSR线段支持域，LSR线段支持域内分割为一组条带{B1,B2,B3,...,Bm}，该区域内定义了d⊥和dL两个方向，并据此建立局部坐标系。在该区域中用w表示区域中条带的像素宽度，用m表示区域内条带数目。然后在区域内建立全局高斯函数fg(i)和局部高斯函数fl(k)，其中，全局高斯函数fg(i)可降低远离线段的梯度的重要性，缓和在线段垂直方向上微小变化的敏感度。局部高斯函数fl(k)可降低边缘效应，避免像素在条带间转换时，线描述子的突变。然后基于条带数m，条带的像素宽度w、全局高斯函数及局部高斯函数便可得到线特征的浮点类型的线描述子，其中，线特征的维度与条带数m和条带的像素宽度w有关。
还需要说明的是，本申请中在计算点特征的点描述子时采用现有技术去计算。
作为一种优选地实施例，w＝7,m＝9，浮点类型的线描述子的维度为72维。
本申请的申请人通过实验测试表明，在w＝7,m＝9时，线描述子的性能最优，此时浮点类型的线描述子的维度为72维。因此，本申请设置w＝7,m＝9。
作为一种优选地实施例，点描述子为256维的二进制ORB特征描述子。
本申请中，采用ORB的灰度质心发来提取点特征并计算点描述子，得到的点描述子为点描述子为256维的二进制ORB特征描述子，解决了点描述子的旋转不变性。
作为一种优选地实施例，将线描述子的维度和数据类型转换为与点描述子的维度和数据类型相同，包括：
从72维的浮点类型的线描述子中依次选取32对基准数据对(yi,yi+1)，其中，i∈[a,1,2,...,a+63]，a∈[0,1,2,...,9]；
基于相邻的原则选取两组浮点数据(yi+1,yi+2,yi+3,yi+4)和(yi+2,yi+3,yi+4,yi+5)；
将两组浮点数据分别与基准数据对中的数据进行大小比较，得到比较结果π0(yi,Y0)和π1(yi+1,Y1)，进而得到256维的二进制的线描述子；
其中，
yi为72维的浮点类型的线描述子中的第i维的数值；yi+1为72维的浮点类型的线描述子中的第i+1维的数值；yi+2为72维的浮点类型的线描述子中的第i+2维的数值；yi+3为72维的浮点类型的线描述子中的第i+3维的数值；yi+4为72维的浮点类型的线描述子中的第i+4维的数值；yi+6为72维的浮点类型的线描述子中的第i+6维的数值。
具体地，考虑到线特征为72维的浮点类型的线特征，点特征为256维的二进制的点特征，点特征包括32个字节。为了提升线特征的计算效率，融合线特征与点特征包含的位姿信息，提高位姿估计精度，本实施例提供了一种将72维的浮点类型的线特征转换为256维的二进制的线特征的方法，请参照图4，图4为本发明提供的一种将线描述子的维度和数据类型转换为与点描述子的维度和数据类型相同的原理图。
首先，从72维的浮点类型的线描述子中基准数据对(yi,yi+1)，然后基于相邻的原则选择两组浮点数据(yi+1,yi+2,yi+3,yi+4)和(yi+2,yi+3,yi+4,yi+5)，然后将两组浮点数据(yi+1,yi+2,yi+3,yi+4)和(yi+2,yi+3,yi+4,yi+5)分别与基准数据对中的数据进行大小比较，若比基准数据大则为1，反之为0，进而得到比较结果π0(yi,Y0)和π1(yi+1,Y1)，则可以得到8维的进制的线描述子。然后将所有的i+2替换为i，并重复上述过程，则在选取完32对基准数据对(yi,yi+1)并执行上述过程后便可以得到256维的二进制的线描述子，其中，i∈[a,1,2,...,a+63]，a∈[0,1,2,...,9]，这里的a可以但不仅限为0，例如图4变为a等于0时对应的原理图。
可以理解的是，该种转换方式能够将72维的浮点类型的线特征转换为256维的二进制的线特征，且通过实验表明，转换后的线特征仍能够有效地表征线特征。
在得到256维的二进制的线特征后，可以但不仅限于采用汉明距离对二进制的线特征进行异或求和操作，从而实现对线特征的高效匹配，与采用浮点型线特征进行匹配相比，可以极大地减小工作量，提高位姿定位的实时性。
作为一种优选地实施例，基于转换后的线描述子确定与上一帧图像中的线特征匹配的线特征之后，还包括：
利用RANSAC(Random Sample Consensus，随机抽样一致性)算法对匹配的线特征进行错误点滤除。
考虑到通过上述方法得到的线特征可能存在误匹配，为了进一步提高匹配精度，本实施例中，在基于转换后的线描述子确定与上一帧图像中的线特征匹配的线特征之后，还利用RANSAC算法对匹配的线特征进行错误点滤除，从而提高匹配精度，进而提高后续的位姿计算精度。
当然，这里还可以采用其他算法进行错误点滤除，本申请在此不做特别地限定。
作为一种优选地实施例，将匹配的线特征转换为关键点特征，包括：
将线特征的中间像素点作为关键点特征。
本申请为了使点线特征进行深度融合，本实施例中，将上述匹配后的线特征转换为点特征，具体地，根据线特征的几何特点，利用线特征首尾端点的二维位置信息构造出线特征不同位置的坐标。
具体地，
其中，Plines表示线特征转换后的点特征的像素点坐标，Pstart表示线特征的首端点的像素点坐标，Pend表示线特征的尾端点的像素点坐标，本实施例中，n＝2。当然，这里的n还可以为其他数值，根据实际情况来定。
通过上述方式便可实现将线特征转换为点特征，后续便可将关键点特征和匹配的点特征作为一个点特征整体来确定确定设备的当前位姿。
本发明还提供了一种设备位姿计算装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述设备位姿计算方法的步骤。
对于本发明提供的一种设备位姿计算装置的介绍请参照上述方法实施例，本发明在此不再赘述。
请参照图5，图5为本发明提供的一种设备的结构示意图。
本发明还提供了一种设备，包括设备本体，还包括设置于设备本体上的视觉摄像机和如上述的设备位姿计算装置；
视觉摄像机用于采集设备所在场景的图像。
具体地，这里的设备可以但不仅限为VR头显、无人驾驶汽车、无人机和机器人等。采用本申请提供的方案，提高了VR头显等设备的内向外定位精度，提高了视觉里程计定位技术的适用性和精确性，有利于提高用户在使用VR头显等设备时的使用感受，拓展设备的应用场景。
对于本发明提供的一种设备的介绍请参照上述方法实施例，本发明在此不再赘述。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种设备位姿计算方法，其特征在于，包括：
获取设备所在场景的当前帧图像，并从所述当前帧图像中提取线特征和点特征；
计算所述线特征的线描述子和点特征的点描述子，并将所述线描述子的维度和数据类型转换为与所述点描述子的维度和数据类型相同；
基于转换后的线描述子确定与上一帧图像中的线特征匹配的线特征；基于点描述子确定与上一帧图像中的点特征匹配的点特征；
将匹配的所述线特征转换为关键点特征，基于所述关键点特征和匹配的所述点特征确定设备的当前位姿。
2.如权利要求1所述的设备位姿计算方法，其特征在于，从所述当前帧图像中提取线特征和点特征，包括：
对所述当前帧图像构建尺度金字塔；
从所述尺度金字塔的每层中基于灰度的梯度信息提取线特征和点特征。
3.如权利要求2所述的设备位姿计算方法，其特征在于，计算所述线特征的线描述子，包括：
对每层提取的线特征进行线特征重构，生成LineVec向量；
基于LineVec向量建立LSR线段支持域，其中，所述LSR线段支持域的条带数为m，条带的像素宽度为w；
基于条带数m，条带的像素宽度w、全局高斯函数及局部高斯函数确定线特征的浮点类型的线描述子；
其中，所述全局高斯函数为
所述局部高斯函数为
σg＝0.5(m·w-1)，σl＝w；
fg(i)为LSR线段支持域中的第i行的全局权重系数，di为LSR线段支持域中的第i行到中心行的距离，σg为全局高斯函数中的条带系数；
对于第j条带和第j条带的相邻条带第j-1条带和第j+1条带中的每一行，fl(k)为第k行的局部权重系数，dk为第k行到第j条带的中心行的距离，σl为局部高斯函数中的条带系数。
4.如权利要求3所述的设备位姿计算方法，其特征在于，w＝7,m＝9，所述浮点类型的线描述子的维度为72维。
5.如权利要求4所述的设备位姿计算方法，其特征在于，所述点描述子为256维的二进制ORB特征描述子。
6.如权利要求5所述的设备位姿计算方法，其特征在于，将所述线描述子的维度和数据类型转换为与所述点描述子的维度和数据类型相同，包括：
从72维的浮点类型的线描述子中依次选取32对基准数据对(yi,yi+1)，其中，i∈[a,1,2,...,a+63]，a∈[0,1,2,...,9]；
基于相邻的原则选取两组浮点数据(yi+1,yi+2,yi+3,yi+4)和(yi+2,yi+3,yi+4,yi+5)；
将两组浮点数据分别与基准数据对中的数据进行大小比较，得到比较结果π0(yi,Y0)和π1(yi+1,Y1)，进而得到256维的二进制的线描述子；
其中，
yi为72维的浮点类型的线描述子中的第i维的数值；yi+1为72维的浮点类型的线描述子中的第i+1维的数值；yi+2为72维的浮点类型的线描述子中的第i+2维的数值；yi+3为72维的浮点类型的线描述子中的第i+3维的数值；yi+4为72维的浮点类型的线描述子中的第i+4维的数值；yi+6为72维的浮点类型的线描述子中的第i+6维的数值。
7.如权利要求1所述的设备位姿计算方法，其特征在于，基于转换后的线描述子确定与上一帧图像中的线特征匹配的线特征之后，还包括：
利用RANSAC算法对匹配的线特征进行错误点滤除。
8.如权利要求1所述的设备位姿计算方法，其特征在于，将匹配的所述线特征转换为关键点特征，包括：
将所述线特征的中间像素点作为关键点特征。
9.一种设备位姿计算装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述设备位姿计算方法的步骤。
10.一种设备，其特征在于，包括设备本体，还包括设置于设备本体上的视觉摄像机和如权利要求9所述的设备位姿计算装置；
所述视觉摄像机用于采集设备所在场景的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010237621.7A CN111461141B (zh) | 2020-03-30 | 2020-03-30 | 一种设备位姿计算方法装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010237621.7A CN111461141B (zh) | 2020-03-30 | 2020-03-30 | 一种设备位姿计算方法装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111461141A true CN111461141A (zh) | 2020-07-28 |
| CN111461141B CN111461141B (zh) | 2023-08-29 |
Family
ID=71685066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010237621.7A Active CN111461141B (zh) | 2020-03-30 | 2020-03-30 | 一种设备位姿计算方法装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111461141B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780313A (zh) * | 2021-09-18 | 2021-12-10 | 东软睿驰汽车技术（沈阳）有限公司 | 线特征的提取方法、装置和电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529488A (zh) * | 2016-11-18 | 2017-03-22 | 北京联合大学 | 一种基于orb特征提取的车道线检测方法 |
| CN106897666A (zh) * | 2017-01-17 | 2017-06-27 | 上海交通大学 | 一种室内场景识别的闭环检测方法 |
| CN108242079A (zh) * | 2017-12-30 | 2018-07-03 | 北京工业大学 | 一种基于多特征视觉里程计和图优化模型的vslam方法 |
| CN108921896A (zh) * | 2018-06-15 | 2018-11-30 | 浙江大学 | 一种融合点线特征的下视视觉罗盘 |
| WO2019032304A1 (en) * | 2017-08-07 | 2019-02-14 | Standard Cognition Corp. | IDENTIFICATION AND FOLLOW-UP OF THE SUBJECT USING IMAGE RECOGNITION |
| US20190066330A1 (en) * | 2017-08-23 | 2019-02-28 | TuSimple | Feature extraction from 3d submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map |
| CN110033514A (zh) * | 2019-04-03 | 2019-07-19 | 西安交通大学 | 一种基于点线特征快速融合的重建方法 |
| WO2019140745A1 (zh) * | 2018-01-16 | 2019-07-25 | 广东省智能制造研究所 | 机器人定位方法及装置 |
| CN110060277A (zh) * | 2019-04-30 | 2019-07-26 | 哈尔滨理工大学 | 一种多特征融合的视觉slam方法 |
| US20190234746A1 (en) * | 2016-09-14 | 2019-08-01 | Zhejiang University | Method for simultaneous localization and mapping |
| CN110414534A (zh) * | 2019-07-01 | 2019-11-05 | 深圳前海达闼云端智能科技有限公司 | 图像特征的提取方法、装置、存储介质和电子设备 |
| CN110473258A (zh) * | 2019-07-24 | 2019-11-19 | 西北工业大学 | 基于点线统一框架的单目slam系统初始化算法 |
-
2020
- 2020-03-30 CN CN202010237621.7A patent/CN111461141B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190234746A1 (en) * | 2016-09-14 | 2019-08-01 | Zhejiang University | Method for simultaneous localization and mapping |
| CN106529488A (zh) * | 2016-11-18 | 2017-03-22 | 北京联合大学 | 一种基于orb特征提取的车道线检测方法 |
| CN106897666A (zh) * | 2017-01-17 | 2017-06-27 | 上海交通大学 | 一种室内场景识别的闭环检测方法 |
| WO2019032304A1 (en) * | 2017-08-07 | 2019-02-14 | Standard Cognition Corp. | IDENTIFICATION AND FOLLOW-UP OF THE SUBJECT USING IMAGE RECOGNITION |
| US20190066330A1 (en) * | 2017-08-23 | 2019-02-28 | TuSimple | Feature extraction from 3d submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map |
| CN108242079A (zh) * | 2017-12-30 | 2018-07-03 | 北京工业大学 | 一种基于多特征视觉里程计和图优化模型的vslam方法 |
| WO2019140745A1 (zh) * | 2018-01-16 | 2019-07-25 | 广东省智能制造研究所 | 机器人定位方法及装置 |
| CN108921896A (zh) * | 2018-06-15 | 2018-11-30 | 浙江大学 | 一种融合点线特征的下视视觉罗盘 |
| CN110033514A (zh) * | 2019-04-03 | 2019-07-19 | 西安交通大学 | 一种基于点线特征快速融合的重建方法 |
| CN110060277A (zh) * | 2019-04-30 | 2019-07-26 | 哈尔滨理工大学 | 一种多特征融合的视觉slam方法 |
| CN110414534A (zh) * | 2019-07-01 | 2019-11-05 | 深圳前海达闼云端智能科技有限公司 | 图像特征的提取方法、装置、存储介质和电子设备 |
| CN110473258A (zh) * | 2019-07-24 | 2019-11-19 | 西北工业大学 | 基于点线统一框架的单目slam系统初始化算法 |
Non-Patent Citations (3)
| Title |
|---|
| ZHANG L, ET AL: "An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency", pages 794 - 805 * |
| 商绵友: "基于几何约束的鲁棒图像配准", pages 17 * |
| 舒凯翔: "基于RGB-D图像的移动机器人三维地图构建与导航系统研究与设计", pages 22 - 33 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780313A (zh) * | 2021-09-18 | 2021-12-10 | 东软睿驰汽车技术（沈阳）有限公司 | 线特征的提取方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111461141B (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| CN106940704B (zh) | 一种基于栅格地图的定位方法及装置 | |
| CN111598993B (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| CN108629843B (zh) | 一种实现增强现实的方法及设备 | |
| WO2017041731A1 (en) | Markerless multi-user multi-object augmented reality on mobile devices | |
| CN107329962B (zh) | 图像检索数据库生成方法、增强现实的方法及装置 | |
| US9846974B2 (en) | Absolute rotation estimation including outlier detection via low-rank and sparse matrix decomposition | |
| CN108280858B (zh) | 多视图重建中的一种线性全局相机运动参数估计方法 | |
| CN108073857A (zh) | 动态视觉传感器dvs事件处理的方法及装置 | |
| CN111582220B (zh) | 一种基于移位图卷积神经网络骨骼点行为识别系统及其识别方法 | |
| CN114332415B (zh) | 基于多视角技术的输电线路廊道的三维重建方法及装置 | |
| CN113111751B (zh) | 一种自适应融合可见光与点云数据的三维目标检测方法 | |
| CN111798373A (zh) | 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法 | |
| CN113674400A (zh) | 基于重定位技术的光谱三维重建方法、系统及存储介质 | |
| CN111612024A (zh) | 特征提取方法、装置、电子设备及计算机可读存储介质 | |
| CN112465021A (zh) | 基于图像插帧法的位姿轨迹估计方法 | |
| CN113642393A (zh) | 基于注意力机制的多特征融合视线估计方法 | |
| CN114170290A (zh) | 图像的处理方法及相关设备 | |
| CN116883588A (zh) | 一种大场景下的三维点云快速稠密重建方法及系统 | |
| CN113592015B (zh) | 定位以及训练特征匹配网络的方法和装置 | |
| CN117237431A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
| CN113298871B (zh) | 地图生成方法、定位方法及其系统、计算机可读存储介质 | |
| CN111461141A (zh) | 一种设备位姿计算方法装置及设备 | |
| CN111311732B (zh) | 3d人体网格获取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |