CN111311632B - 一种物体位姿跟踪方法、装置及设备 - Google Patents
一种物体位姿跟踪方法、装置及设备 Download PDFInfo
- Publication number
- CN111311632B CN111311632B CN201811510743.8A CN201811510743A CN111311632B CN 111311632 B CN111311632 B CN 111311632B CN 201811510743 A CN201811510743 A CN 201811510743A CN 111311632 B CN111311632 B CN 111311632B
- Authority
- CN
- China
- Prior art keywords
- pose
- contour
- model
- calculating
- visual angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 claims abstract description 44
- 238000012937 correction Methods 0.000 claims abstract description 39
- 230000008859 change Effects 0.000 claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
一种物体位姿跟踪方法包括:获取物体的初始位姿,根据所述初始位姿确定物体相对于相机的第一可视角度;根据预先存储的3D模型与可视角度的对应关系,查找所述第一可视角度对应的第一3D模型;将所查找的第一3D模型按照初始位姿计算投影轮廓,得到投影轮廓的特征点;根据投影轮廓的特征点以及真实拍摄的轮廓特征点,计算位姿变化量;对所述位姿变化量进行迭代计算,得到位姿修正量,根据所述位姿修正量得到物体修正后的位姿。在计算过程中可以通过选择3D模型,从而通过较少特征点来实现计算速度的提高,使得执行更为及时,并且通过模型的选择可以有效的适应快速移动物体和存在大量相似特征的物体的位姿跟踪,有利于提高系统的鲁棒性。
Description
技术领域
本申请属于位姿跟踪领域,尤其涉及一种物体位姿跟踪方法、装置及设备。
背景技术
对于复杂度较高的物体,比如物体包括多个子零件,或者物体存在多个部分可以围绕主体做旋转或平移运动,比如物体,包括有履带、铲子等结构时,物体的位姿跟踪难度较大。
以特征点或特征直线等特征来进行跟踪时,可以完成对缓慢移动物体,或者非旋转物体位姿的有效跟踪,当物体运动速度增加,或者物体上存在大量相似的直线特征,容易造成跟踪系统的鲁棒性较差,容易丢失目标。如果选取的特征过多,则会使得计算时长大大的增加,影响其执行时间,导致移动端无法实时执行。
发明内容
有鉴于此,本申请实施例提供了一种物体位姿跟踪方法、装置及设备,以解决现有技术中的物体位姿跟踪系统在物体运动速度增加,或者物体上存在大量相似的直线特征,容易丢失目标,如果选取特征过多,计算时长增加,无法实时执行的问题。
本申请实施例的第一方面提供了一种物体位姿跟踪方法,所述物体位姿跟踪方法包括:
获取物体的初始位姿,根据所述初始位姿确定物体相对于相机的第一可视角度;
根据预先存储的3D模型与可视角度的对应关系,查找所述第一可视角度对应的第一3D模型;
将所查找的第一3D模型按照初始位姿计算投影轮廓,得到投影轮廓的特征点;
根据投影轮廓的特征点以及真实拍摄的轮廓特征点,计算位姿变化量;
对所述位姿变化量进行迭代计算,得到位姿修正量,根据所述位姿修正量得到物体修正后的位姿。
结合第一方面,在第一方面的第一种可能实现方式中,在所述根据所述位姿修正量得到修正后的物体位姿的步骤之后,所述方法还包括:
根据物体修正后的位姿作为下一帧的初始位姿,计算物体的下一帧所对应的位姿。
结合第一方面的第一种可能实现方式,在第一方面的第二种可能实现方式中,所述根据物体修正后的位姿作为下一帧的初始位姿,计算物体的下一帧所对应的位姿的步骤包括:
根据下一帧的初始位姿确定物体相对于相机的第二可视角度;
根据预先存储的3D模型与可视角度的对应关系,查找所述第二可视角度对应的第二3D模型;
如果所述第一3D模型和第二3D模型发生变化,则根据统计值对位姿参数进行修正。
结合第一方面,在第一方面的第三种可能实现方式中,所述将所查找的第一3D模型按照初始位姿计算投影轮廓,得到投影轮廓的特征点的步骤包括:
根据查找的第一3D模型以及初始位姿,将物体从世界坐标系投影到相机坐标系,得到相机坐标系图像;
根据相机内参,将相机坐标系图像转换为图像坐标坐标系的图像,根据所述图像坐标系的图像计算投影轮廓。
结合第一方面,在第一方面的第四种可能实现方式中,所述根据投影轮廓的特征点以及真实拍摄的轮廓特征点,计算位姿变化量的步骤包括:
根据真实拍摄的图像的RGB颜色强度的变化,确定当前帧的特征点;
根据当前帧的特征点,以及投影轮廓的特征点,计算各个特征点的变化偏差;
采用线性方程计算所述变化偏差对应的位姿变化量。
结合第一方面,在第一方面的第五种可能实现方式中,所述获取物体的初始位姿的步骤包括:
通过初始化算法确定所述物体的初始位置。
本申请实施例的第二方面提供了一种物体位姿跟踪装置,所述物体位姿跟踪装置包括:
可视角度确定单元,用于获取物体的初始位姿,根据所述初始位姿确定物体相对于相机的第一可视角度;
模型查找单元,用于根据预先存储的3D模型与可视角度的对应关系,查找所述第一可视角度对应的第一3D模型;
投影单元,用于将所查找的第一3D模型按照初始位姿计算投影轮廓,得到投影轮廓的特征点;
位姿变化量确定单元,用于根据投影轮廓的特征点以及真实拍摄的轮廓特征点,计算位姿变化量;
位姿修正单元,用于对所述位姿变化量进行迭代计算,得到位姿修正量,根据所述位姿修正量得到物体修正后的位姿。
结合第二方面,在第二方面的第一种可能实现方式中,所述装置还包括:
下一帧计算单元,用于根据物体修正后的位姿作为下一帧的初始位姿,计算物体的下一帧所对应的位姿。
本申请实施例的第三方面提供了一种物体位姿跟踪设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面任一项所述物体位姿跟踪方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述物体位姿跟踪方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:根据物体的初始位姿确定物体相对于相机的第一可视角度,根据所述第一可视角度确定对应的第一3D模型,根据所述位姿和第一3D模型计算投影轮廓,得到投影轮廓的特征点,根据投影轮廓的特征点,以及真实拍摄的轮廓的特征点,计算位姿变化量,根据所述位姿变化量进行迭代计算,得到位姿修正量,从而得到修正后的位姿,在计算过程中可以通过选择3D模型,从而通过较少特征点来实现计算速度的提高,使得执行更为及时,并且通过模型的选择可以有效的适应快速移动物体和存在大量相似特征的物体的位姿跟踪,有利于提高系统的鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种物体位姿跟踪方法的实现流程示意图;
图2是本申请实施例提供的一种计算位姿变化量的实现流程示意图;
图3是本申请实施例提供的一种计算下一帧所对应的位姿的实现流程示意图;
图4是本申请实施例提供的一种物体位姿跟踪装置的示意图;
图5是本申请实施例提供的物体位姿跟踪设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
如图1所示为本申请实施例提供的一种物体位姿跟踪方法的实现流程示意图,详述如下:
在步骤S101中,获取物体的初始位姿,根据所述初始位姿确定物体相对于相机的第一可视角度;
具体的,本申请所述物体的初始位姿,可以根据物体位姿的初始化算法获取,比如可以相机采集包括物体的图像,对包括物体的图像进行特征提取,根据所提取的特征进行位姿的估计,可以得到初始位姿,当然也并局限于此。所述初始位姿可以用于对物体位姿的跟踪计算,因此,需要通过单独的初始化算法,从而后续跟踪计算提供一个较为准确的计算基础。
在实时跟踪过程中,可以通过本申请所述物体位姿跟踪方法计算得到物体的位姿,并可将在第N帧所计算的位姿,作为在第N+1帧的位姿跟踪进的初始位姿,从而可以通过连贯的位姿跟踪计算,更为有效的物体的位姿。即通过图1中的步骤S104计算得到修正后的位姿后,将所述修正后的位姿作为下一帧计算的初始位姿,进一步计算物体下一帧的位姿,从而可以有效的减少对初始位姿的初始化计算次数,提高动作的执行效率。
根据所述初始位姿确定物体相对于相机的第一可视角度时,可以根据位姿与欧拉角的转换关系,计算当前物体相对于相机的偏航(YAW)方向的角度,根据所述偏航方向的角度即可确定物体相对于相机的第一可视角度。
在步骤S102中,根据预先存储的3D模型与可视角度的对应关系,查找所述第一可视角度对应的第一3D模型;
可以根据物体轮廓的特点,选择相应个数的3D模型,在轮廓重复性较多的角度,可以划分为较多的3D模型,每个3D模型对应一个可视角度范围。在物体位姿计算时,可以根据初始位姿,确定所述初始位姿对应的可视角度,根据所述可视角度所属的角度范围,快速的选择或查找到对应的3D模型,并且根据所选择的3D模型进行位姿变化量的计算时,针对性更强,有利于减少计算的复杂度的同时,还可以提高计算的准确度。
在步骤S103中,将所查找的第一3D模型按照初始位姿计算投影轮廓,得到投影轮廓的特征点;
当选定模型后,根据所选择的第一3D模型以及初始位姿,将物体从世界坐标系投影到相机坐标系,得到相机坐标系图像,然后再进一步根据相机的内部参数,将相机坐标系图像投影至图像坐标系,从而得到相机坐标系图像,即假定的图像,根据所述相机坐标系图像进行轮廓计算,得到投影轮廓,并可确定投影轮廓所包括的特征点。
在步骤S104中,根据投影轮廓的特征点以及真实拍摄的轮廓特征点,计算位姿变化量;
在确定投影轮廓的特征点后,为了确定位姿变化量,进一步对真实拍摄的图像进行轮廓提取,得到所提取的真实拍摄的图像的轮廓后,对所提取的真实拍摄的图像的轮廓进行特征点的计算,得到真实拍摄的图像的特征点。根据真实拍摄的图像的特征点,以及投影轮廓的特征点,可以计算各个特征点的变化偏差,根据所述特征点的变化偏差计算初始位姿相对于真实位姿的位姿变化量。具体可以如图2所示,包括:
在步骤S201中,根据真实拍摄的图像的RGB颜色强度的变化,确定当前帧的特征点;
根据真实拍摄的图像的RGB颜色强度的变化,对真实拍摄的图像的特征点进行查找,确定真实拍摄的图像的特征点。
在步骤S202中,根据当前帧的特征点,以及投影轮廓的特征点,计算各个特征点的变化偏差;
由于不同的位姿对应的轮廓的特征点的位置不同,通过对当前帧的特征点,以及投影轮廓的特征点,可以确定特征点的位置的变化,并根据所变化的位置,确定变化偏差。
在步骤S203中,采用线性方程计算所述变化偏差对应的位姿变化量。
根据所计算到的变化偏差,按照线性方向可以到位姿变化量,即位姿以何种方式变化,才能由初始位姿得到当前真实拍摄的轮廓。
在步骤S105中,对所述位姿变化量进行迭代计算,得到位姿修正量,根据所述位姿修正量得到物体修正后的位姿。
可以选用LM(莱文伯格-马夸特)算法,对所述位姿变化量进行迭代计算,即通过迭代算法反复迭代计算,得到迭代收敛进所对应的位姿修正量,根据所述位姿修正量对物体的初始位姿进行修正,得到物体修正后的位姿。
另外,作为本申请可选的一种实施方式,得到修正后的位姿后,可以作为下一帧的初始位姿,并且可以进一步包括如图3所示的位姿计算,具体包括:
在步骤S301中,根据下一帧的初始位姿确定物体相对于相机的第二可视角度;
根据位姿与欧拉角的转换关系,可以确定下一帧的初始位姿
在步骤S302中,根据预先存储的3D模型与可视角度的对应关系,查找所述第二可视角度对应的第二3D模型;
根据预先存储的可视角度与3D模型的对应关系,查找第二可视角度所属的角度范围,确定第二可视角度对应的第二3D模型。
在步骤S303中,如果所述第一3D模型和第二3D模型发生变化,则根据统计值对位姿参数进行修正。
如果第一3D模型与第二3D模型不同,则需要进行模型切换,由于不同的模型所选取的世界坐标系原点会有偏差,通过对位姿的6D参数进行修正。该修正可以通过实验的统计数据获取。
通过本申请所述物体位姿跟踪方法,能够在不同的视角区域内实现跟踪,且切换时的鲁棒性极强,即使切换前位姿估计稍有偏差,也能通过自身的迭代寻优不断对位姿进行修正而找到切换后所应处于的正确的位姿。根据实验结果可以确认,所建立的模型的尺寸准确的前提下,经与实际相对位姿对比,当前算法能够准确的给出物体的6自由度位姿(3维位置向量和3维姿态罗格里格斯向量)。
另外,本申请在确定当前帧轮廓的特征点时,可以使模型对应的轮廓内物体颜色与外部具有一定的区分度,从而能够使得位姿的鲁棒性更好。
因此,本申请所述物体位姿跟踪方法,能够取得较好的跟踪精度,相比于基于直线等特征的跟踪算法而言,在背景干扰较多,物体位姿变化较大的情况下整个跟踪系统的鲁棒性较强。相比于获取较多特征点的位姿跟踪方法,本申请所述物体位姿跟踪方法的计算更加简单,执行的效率更高。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图4为本申请实施例提供的一种物体位姿跟踪装置的结构示意图,详述如下:
所述物体位姿跟踪装置,包括:
可视角度确定单元401,用于获取物体的初始位姿,根据所述初始位姿确定物体相对于相机的第一可视角度;
模型查找单元402,用于根据预先存储的3D模型与可视角度的对应关系,查找所述第一可视角度对应的第一3D模型;
投影单元403,用于将所查找的第一3D模型按照初始位姿计算投影轮廓,得到投影轮廓的特征点;
位姿变化量确定单元404,用于根据投影轮廓的特征点以及真实拍摄的轮廓特征点,计算位姿变化量;
位姿修正单元405,用于对所述位姿变化量进行迭代计算,得到位姿修正量,根据所述位姿修正量得到物体修正后的位姿。
优选的,所述装置还包括:
下一帧计算单元,用于根据物体修正后的位姿作为下一帧的初始位姿,计算物体的下一帧所对应的位姿。
图4所述物体位姿跟踪装置,与图1所述的物体位姿跟踪方法对应。
图5是本申请一实施例提供的物体位姿跟踪设备的示意图。如图5所示,该实施例的物体位姿跟踪设备5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52,例如物体位姿跟踪程序。所述处理器50执行所述计算机程序52时实现上述各个物体位姿跟踪方法实施例中的步骤。或者,所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能。
示例性的,所述计算机程序52可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器51中,并由所述处理器50执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序52在所述物体位姿跟踪设备5中的执行过程。例如,所述计算机程序52可以被分割成:
可视角度确定单元,用于获取物体的初始位姿,根据所述初始位姿确定物体相对于相机的第一可视角度;
模型查找单元,用于根据预先存储的3D模型与可视角度的对应关系,查找所述第一可视角度对应的第一3D模型;
投影单元,用于将所查找的第一3D模型按照初始位姿计算投影轮廓,得到投影轮廓的特征点;
位姿变化量确定单元,用于根据投影轮廓的特征点以及真实拍摄的轮廓特征点,计算位姿变化量;
位姿修正单元,用于对所述位姿变化量进行迭代计算,得到位姿修正量,根据所述位姿修正量得到物体修正后的位姿。
所述物体位姿跟踪设备可包括,但不仅限于,处理器50、存储器51。本领域技术人员可以理解,图5仅仅是物体位姿跟踪设备5的示例,并不构成对物体位姿跟踪设备5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述物体位姿跟踪设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述物体位姿跟踪设备5的内部存储单元,例如物体位姿跟踪设备5的硬盘或内存。所述存储器51也可以是所述物体位姿跟踪设备5的外部存储设备,例如所述物体位姿跟踪设备5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述物体位姿跟踪设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述物体位姿跟踪设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (7)
1.一种物体位姿跟踪方法,其特征在于,所述物体位姿跟踪方法包括:
获取物体的初始位姿,根据所述初始位姿确定物体相对于相机的第一可视角度;
根据预先存储的3D模型与可视角度的对应关系,查找所述第一可视角度对应的第一3D模型;
将所查找的第一3D模型按照初始位姿计算投影轮廓,得到投影轮廓的特征点;根据投影轮廓的特征点以及真实拍摄的轮廓特征点,计算各个特征点的变化偏差,根据所述特征点的变化偏差,计算初始位姿相对于真实位姿的位姿变化量;其中,所述真实拍摄的轮廓特征点的获取方式为:对真实拍摄的图像进行轮廓提取,得到所提取的真实拍摄的图像的轮廓后,对所提取的真实拍摄的图像的轮廓进行特征点的计算,得到所述真实拍摄的轮廓特征点;
对所述位姿变化量进行迭代计算,得到位姿修正量,根据所述位姿修正量得到物体修正后的位姿;
在所述根据所述位姿修正量得到修正后的物体位姿的步骤之后,所述方法还包括:根据物体修正后的位姿作为下一帧的初始位姿,计算物体的下一帧所对应的位姿;
所述根据物体修正后的位姿作为下一帧的初始位姿,计算物体的下一帧所对应的位姿的步骤包括:根据下一帧的初始位姿确定物体相对于相机的第二可视角度;根据预先存储的3D模型与可视角度的对应关系,查找所述第二可视角度对应的第二3D模型;如果所述第一3D模型和第二3D模型发生变化,则根据统计值对位姿参数进行修正。
2.根据权利要求1所述的物体位姿跟踪方法,其特征在于,所述将所查找的第一3D模型按照初始位姿计算投影轮廓,得到投影轮廓的特征点的步骤包括:
根据查找的第一3D模型以及初始位姿,将物体从世界坐标系投影到相机坐标系,得到相机坐标系图像;
根据相机内参,将相机坐标系图像转换为图像坐标系的图像,根据所述图像坐标系的图像计算投影轮廓。
3.根据权利要求1所述的物体位姿跟踪方法,其特征在于,所述根据投影轮廓的特征点以及真实拍摄的轮廓特征点,计算各个特征点的变化偏差,根据所述特征点的变化偏差,计算初始位姿相对于真实位姿的位姿变化量的步骤包括:
根据真实拍摄的图像的RGB颜色强度的变化,确定当前帧的特征点;
根据当前帧的特征点,以及投影轮廓的特征点,计算各个特征点的变化偏差;
采用线性方程计算所述变化偏差对应的位姿变化量。
4.根据权利要求1所述的物体位姿跟踪方法,其特征在于,所述获取物体的初始位姿的步骤包括:
通过初始化算法确定所述物体的初始位置。
5.一种物体位姿跟踪装置,其特征在于,所述物体位姿跟踪装置包括:
可视角度确定单元,用于获取物体的初始位姿,根据所述初始位姿确定物体相对于相机的第一可视角度;
模型查找单元,用于根据预先存储的3D模型与可视角度的对应关系,查找所述第一可视角度对应的第一3D模型;
投影单元,用于将所查找的第一3D模型按照初始位姿计算投影轮廓,得到投影轮廓的特征点;
位姿变化量确定单元,用于根据投影轮廓的特征点以及真实拍摄的轮廓特征点,计算各个特征点的变化偏差,根据所述特征点的变化偏差,计算初始位姿相对于真实位姿的位姿变化量;其中,所述真实拍摄的轮廓特征点的获取方式为:对真实拍摄的图像进行轮廓提取,得到所提取的真实拍摄的图像的轮廓后,对所提取的真实拍摄的图像的轮廓进行特征点的计算,得到所述真实拍摄的轮廓特征点;
位姿修正单元,用于对所述位姿变化量进行迭代计算,得到位姿修正量,根据所述位姿修正量得到物体修正后的位姿;
下一帧计算单元,用于根据物体修正后的位姿作为下一帧的初始位姿,计算物体的下一帧所对应的位姿;
其中,所述根据物体修正后的位姿作为下一帧的初始位姿,计算物体的下一帧所对应的位姿的步骤包括:根据下一帧的初始位姿确定物体相对于相机的第二可视角度;根据预先存储的3D模型与可视角度的对应关系,查找所述第二可视角度对应的第二3D模型;如果所述第一3D模型和第二3D模型发生变化,则根据统计值对位姿参数进行修正。
6.一种物体位姿跟踪设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述物体位姿跟踪方法的步骤。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述物体位姿跟踪方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811510743.8A CN111311632B (zh) | 2018-12-11 | 2018-12-11 | 一种物体位姿跟踪方法、装置及设备 |
US16/548,868 US11170528B2 (en) | 2018-12-11 | 2019-08-23 | Object pose tracking method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811510743.8A CN111311632B (zh) | 2018-12-11 | 2018-12-11 | 一种物体位姿跟踪方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111311632A CN111311632A (zh) | 2020-06-19 |
CN111311632B true CN111311632B (zh) | 2023-12-01 |
Family
ID=70970992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811510743.8A Active CN111311632B (zh) | 2018-12-11 | 2018-12-11 | 一种物体位姿跟踪方法、装置及设备 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11170528B2 (zh) |
CN (1) | CN111311632B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI793579B (zh) * | 2020-07-08 | 2023-02-21 | 財團法人工業技術研究院 | 同時追蹤可移動物體與可移動相機的六自由度方位之方法與系統 |
CN113920189A (zh) | 2020-07-08 | 2022-01-11 | 财团法人工业技术研究院 | 同时追踪可移动物体与可移动相机的六自由度方位的方法与系统 |
CN112686950B (zh) * | 2020-12-04 | 2023-12-15 | 深圳市优必选科技股份有限公司 | 位姿估计方法、装置、终端设备及计算机可读存储介质 |
CN112907652B (zh) * | 2021-01-25 | 2024-02-02 | 脸萌有限公司 | 相机姿态获取方法、视频处理方法、显示设备和存储介质 |
CN113298870B (zh) * | 2021-05-07 | 2023-03-28 | 中国科学院深圳先进技术研究院 | 一种物体的姿态跟踪方法、装置、终端设备和存储介质 |
CN114170306B (zh) * | 2021-11-17 | 2022-11-04 | 埃洛克航空科技(北京)有限公司 | 图像的姿态估计方法、装置、终端及存储介质 |
CN115248040B (zh) * | 2022-09-22 | 2022-12-23 | 毫末智行科技有限公司 | 初始化定位方法、装置、终端及存储介质 |
CN117523010B (zh) * | 2024-01-05 | 2024-04-09 | 深圳市欧冶半导体有限公司 | 车辆的相机位姿确定方法、装置、计算机设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090069704A (ko) * | 2007-12-26 | 2009-07-01 | 주식회사 케이티 | 3차원 공간에서의 사람 움직임 추적 방법 및 장치 |
CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
JP2016192132A (ja) * | 2015-03-31 | 2016-11-10 | Kddi株式会社 | 画像認識ar装置並びにその姿勢推定装置及び姿勢追跡装置 |
CN106875431A (zh) * | 2017-02-10 | 2017-06-20 | 深圳前海大造科技有限公司 | 具有移动预测的图像追踪方法及扩增实境实现方法 |
CN108345821A (zh) * | 2017-01-24 | 2018-07-31 | 成都理想境界科技有限公司 | 面部追踪方法及设备 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8217961B2 (en) * | 2009-03-27 | 2012-07-10 | Mitsubishi Electric Research Laboratories, Inc. | Method for estimating 3D pose of specular objects |
EP2352127A1 (en) * | 2009-12-04 | 2011-08-03 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | Camera movement estimation |
KR101993384B1 (ko) * | 2012-10-24 | 2019-06-26 | 삼성전자주식회사 | 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템 |
JP2014106732A (ja) * | 2012-11-27 | 2014-06-09 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
US20140233800A1 (en) * | 2013-02-15 | 2014-08-21 | Samsung Electronics Co., Ltd. | Method of tracking object and electronic device supporting the same |
KR20140110584A (ko) * | 2013-03-08 | 2014-09-17 | 삼성전자주식회사 | 증강 현실 제공 방법, 저장 매체 및 휴대 단말 |
US20150199572A1 (en) * | 2014-01-16 | 2015-07-16 | Qualcomm Incorporated | Object tracking using occluding contours |
US10664975B2 (en) * | 2014-11-18 | 2020-05-26 | Seiko Epson Corporation | Image processing apparatus, control method for image processing apparatus, and computer program for generating a virtual image corresponding to a moving target |
JP6736257B2 (ja) * | 2015-04-02 | 2020-08-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
US10089790B2 (en) * | 2015-06-30 | 2018-10-02 | Ariadne's Thread (Usa), Inc. | Predictive virtual reality display system with post rendering correction |
CN105094335B (zh) * | 2015-08-04 | 2019-05-10 | 天津锋时互动科技有限公司 | 场景提取方法、物体定位方法及其系统 |
JP2017182274A (ja) * | 2016-03-29 | 2017-10-05 | セイコーエプソン株式会社 | 情報処理装置およびコンピュータープログラム |
JP2018081410A (ja) * | 2016-11-15 | 2018-05-24 | セイコーエプソン株式会社 | コンピュータープログラム |
US10380763B2 (en) * | 2016-11-16 | 2019-08-13 | Seiko Epson Corporation | Hybrid corner and edge-based tracking |
US10679376B2 (en) * | 2018-04-24 | 2020-06-09 | Microsoft Technology Licensing, Llc | Determining a pose of a handheld object |
CN109961523B (zh) * | 2019-04-18 | 2023-07-04 | 广州市百果园信息技术有限公司 | 虚拟目标的更新方法、装置、系统、设备及存储介质 |
CN111091597B (zh) * | 2019-11-18 | 2020-11-13 | 贝壳找房(北京)科技有限公司 | 确定图像位姿变换的方法、装置及存储介质 |
-
2018
- 2018-12-11 CN CN201811510743.8A patent/CN111311632B/zh active Active
-
2019
- 2019-08-23 US US16/548,868 patent/US11170528B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090069704A (ko) * | 2007-12-26 | 2009-07-01 | 주식회사 케이티 | 3차원 공간에서의 사람 움직임 추적 방법 및 장치 |
CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
JP2016192132A (ja) * | 2015-03-31 | 2016-11-10 | Kddi株式会社 | 画像認識ar装置並びにその姿勢推定装置及び姿勢追跡装置 |
CN108345821A (zh) * | 2017-01-24 | 2018-07-31 | 成都理想境界科技有限公司 | 面部追踪方法及设备 |
CN106875431A (zh) * | 2017-02-10 | 2017-06-20 | 深圳前海大造科技有限公司 | 具有移动预测的图像追踪方法及扩增实境实现方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200184682A1 (en) | 2020-06-11 |
CN111311632A (zh) | 2020-06-19 |
US11170528B2 (en) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111311632B (zh) | 一种物体位姿跟踪方法、装置及设备 | |
CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
CN107633536B (zh) | 一种基于二维平面模板的相机标定方法及系统 | |
CN111160298B (zh) | 一种机器人及其位姿估计方法和装置 | |
CN109598744B (zh) | 一种视频跟踪的方法、装置、设备和存储介质 | |
CN109410316B (zh) | 物体的三维重建的方法、跟踪方法、相关装置及存储介质 | |
CN111080526A (zh) | 航拍图像的农田面积的测算方法、装置、设备及介质 | |
CN112686950B (zh) | 位姿估计方法、装置、终端设备及计算机可读存储介质 | |
CN110807833B (zh) | 一种网状拓扑获得方法、装置、电子设备及存储介质 | |
CN110599586A (zh) | 一种半稠密场景重建方法、装置、电子设备及存储介质 | |
CN112927306B (zh) | 拍摄装置的标定方法、装置及终端设备 | |
CN108122280A (zh) | 一种三维点云的重建方法及装置 | |
CN115205383A (zh) | 相机位姿的确定方法、装置、电子设备及存储介质 | |
CN113112542A (zh) | 一种视觉定位方法、装置、电子设备及存储介质 | |
CN110930444B (zh) | 一种基于双边优化的点云匹配方法、介质、终端和装置 | |
CN109284062B (zh) | 一种触摸数据处理方法、装置、终端和介质 | |
CN113298870B (zh) | 一种物体的姿态跟踪方法、装置、终端设备和存储介质 | |
CN111179408B (zh) | 三维建模的方法及设备 | |
CN116977671A (zh) | 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 | |
CN111368860A (zh) | 重定位方法及终端设备 | |
CN112529943B (zh) | 一种物体检测方法、物体检测装置及智能设备 | |
CN113920196A (zh) | 视觉定位方法、装置及计算机设备 | |
CN109919998B (zh) | 卫星姿态确定方法、装置和终端设备 | |
CN112991463A (zh) | 相机标定方法、装置、设备、存储介质和程序产品 | |
CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |