CN106327529B - 一种剔除野点的方法和装置 - Google Patents

一种剔除野点的方法和装置 Download PDF

Info

Publication number
CN106327529B
CN106327529B CN201610645370.XA CN201610645370A CN106327529B CN 106327529 B CN106327529 B CN 106327529B CN 201610645370 A CN201610645370 A CN 201610645370A CN 106327529 B CN106327529 B CN 106327529B
Authority
CN
China
Prior art keywords
matrix
state
sample
image acquisition
alternative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610645370.XA
Other languages
English (en)
Other versions
CN106327529A (zh
Inventor
庞富民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Priority to CN201610645370.XA priority Critical patent/CN106327529B/zh
Publication of CN106327529A publication Critical patent/CN106327529A/zh
Application granted granted Critical
Publication of CN106327529B publication Critical patent/CN106327529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种剔除野点的方法和装置,用于实现提高野点剔除的效率,减少计算量的技术效果。所述方法包括:获取由与图像采集单元相对位置固定的惯性测量单元IMU检测到的检测数据;根据所述检测数据采集多个状态转移采样矩阵;基于多个所述状态转移采样矩阵,计算出多个备选运动模型;其中,所述备选运动模型用于表示所述图像采集单元可能发生的运动状态;以所述相邻两帧图像之间的多个匹配点对多个所述备选运动模型进行验证,并确定满足匹配点数量最多的所述备选运动模型为最优运动模型,将不满足所述最优运动模型的所述匹配点作为野点剔除。

Description

一种剔除野点的方法和装置
技术领域
本发明涉及图像处理领域,尤其涉及一种剔除野点的方法和装置。
背景技术
为剔除相邻图像间特征匹配野点,有相关技术采用随机采样一致算法进行处理。具体来讲,首先进行大量随机采样;然后,基于采样点,估计出多个表示相机拍摄相邻两张图像的运动参数的备选模型;接下来,利用每对匹配点,对每个备选模型进行验证,以确认备选模型的满足程度;最终,筛选出满足最多匹配点的备选模型,将不满足这个备选模型的匹配点作为野点剔除。
由上述描述可以看出,相关技术中剔除野点的方法不得不进行大量计算,进而导致处理效率低,且设备资源也被过多占用。
发明内容
本发明实施例提供了一种剔除野点的方法和装置,用于实现提高野点剔除的效率,减少计算量的技术效果。
第一方面,本发明提供了一种剔除野点的方法,包括:
获取由与图像采集单元相对位置固定的惯性测量单元IMU检测到的检测数据;
根据所述检测数据采集多个用于表示所述图像采集单元采集相邻两帧图像之间可能发生的运动状态的状态转移采样矩阵;
基于多个所述状态转移采样矩阵,计算出多个备选运动模型;其中,每个所述状态转移采样矩阵用于计算一个所述备选运动模型,所述备选运动模型用于表示所述图像采集单元可能发生的运动状态;
以所述相邻两帧图像之间的多个匹配点对多个所述备选运动模型进行验证,并确定满足匹配点数量最多的所述备选运动模型为最优运动模型,将不满足所述最优运动模型的所述匹配点作为野点剔除;所述匹配点为同一元素在所述相邻两帧图像中所对应的点。
可选的,根据所述检测数据采集多个用于表示所述图像采集单元采集相邻两帧图像之间可能发生的运动状态的状态转移采样矩阵,包括:
基于所述检测数据,根据IMU运动学公式,获得表示所述IMU检测出的图像采集单元的运动状态的状态转移矩阵
基于所述状态转移矩阵和预设的误差项exp(∈),基于以下公式获得待采集的状态转移矩阵Tsample-waiting
采集多个待采集的状态转移矩阵Tsample-waiting的函数值,以获得多个所述状态转移采样矩阵Tsample;其中,所述待采集的状态转移矩阵Tsample-waiting的一个函数值用于获得一个所述状态转移采样矩阵Tsample
可选的,述预设的误差项exp(∈)为服从(0,∑)正态分布的函数。
可选的,基于多个所述状态转移采样矩阵,计算出多个备选运动模型,包括:
从所述状态转移采样矩阵Tsample中提取出表示所述图像采集单元可能发生的旋转的转置矩阵,以及提取出表示所述图像采集单元可能发生的平移的平移矩阵;
基于所述平移矩阵和所述旋转矩阵,根据备用模型生成函数生成所述备选模型。
可选的,从所述状态转移采样矩阵Tsample中提取出表示所述图像采集单元可能发生的旋转的转置矩阵,以及提取出表示所述图像采集单元可能发生的平移的平移矩阵,包括:
提取所述状态转移采样矩阵Tsample前三行前三列的数据形成的第一子矩阵,并将所述第一子矩阵确定为所述转置矩阵R;
提取所述状态转移采样矩阵Tsample第四行前三列的数据形成的第二子矩阵,并将所述第二子矩阵确定为所述平移矩阵p;
基于所述平移矩阵和所述旋转矩阵,根据备用模型生成函数生成所述备选模型,包括:
根据下列备用模型生成函数生成所述备选运动模型E:
E=Rp
第二方面,本发明提供了一种剔除野点的装置,包括:
获取模块,用于获取由与图像采集单元相对位置固定的惯性测量单元IMU检测到的检测数据;
采集模块,用于根据所述检测数据采集多个用于表示所述图像采集单元采集相邻两帧图像之间可能发生的运动状态的状态转移采样矩阵;
计算模块,用于基于多个所述状态转移采样矩阵,计算出多个备选运动模型;其中,每个所述状态转移采样矩阵用于计算一个所述备选运动模型,所述备选运动模型用于表示所述图像采集单元可能发生的运动状态;
验证模块,用于以所述相邻两帧图像之间的多个匹配点对多个所述备选运动模型进行验证,并确定满足匹配点数量最多的所述备选运动模型为最优运动模型,将不满足所述最优运动模型的所述匹配点作为野点剔除;所述匹配点为同一元素在所述相邻两帧图像中所对应的点。
可选的,所述采集模块用于基于所述检测数据,根据IMU运动学公式,获得表示所述IMU检测出的图像采集单元的运动状态的状态转移矩阵基于所述状态转移矩阵和预设的误差项exp(∈),基于以下公式获得待采集的状态转移矩阵Tsample-waiting
采集多个待采集的状态转移矩阵Tsample-waiting的函数值,以获得多个所述状态转移采样矩阵Tsample;其中,所述待采集的状态转移矩阵Tsample-waiting的一个函数值用于获得一个所述状态转移采样矩阵Tsample
可选的,所述预设的误差项exp(∈)为服从(0,∑)正态分布的函数。
可选的,所述计算模块用于从所述状态转移采样矩阵Tsample中提取出表示所述图像采集单元可能发生的旋转的转置矩阵,以及提取出表示所述图像采集单元可能发生的平移的平移矩阵;基于所述平移矩阵和所述旋转矩阵,根据备用模型生成函数生成所述备选模型。
可选的,所述计算模块用于提取所述状态转移采样矩阵Tsample前三行前三列的数据形成的第一子矩阵,并将所述第一子矩阵确定为所述转置矩阵R;提取所述状态转移采样矩阵Tsample第四行前三列的数据形成的第二子矩阵,并将所述第二子矩阵确定为所述平移矩阵p;根据下列备用模型生成函数生成所述备选运动模型E:
E=Rp
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
在本发明实施例中,首先获取由与图像采集单元相对位置固定的惯性测量单元IMU检测到的检测数据;然后根据检测数据采集多个用于表示图像采集单元采集相邻两帧图像之间可能发生的运动状态的状态转移采样矩阵;接着,基于多个状态转移采样矩阵,计算出多个备选运动模型;最后,以相邻两帧图像之间的多个匹配点对多个备选运动模型进行验证,并确定满足匹配点数量最多的备选运动模型为最优运动模型,将不满足最优运动模型的匹配点作为野点剔除。由于本发明实施例中根据IMU的检测数据对图像采集单元采集单元的运动状态进行估计,所以计算出备选模型就不再是盲目的,也不需要再对大量采集数据进行计算。因此,提高了野点剔除的效率,减少了计算量。
附图说明
图1为本发明实施例中剔除野点的方法流程图;
图2为本发明实施例中剔除野点的装置结构示意图。
具体实施方式
本发明实施例提供了一种剔除野点的方法和装置,用于实现提高野点剔除的效率,减少计算量的技术效果。
为了解决上述技术问题,本发明提供的技术方案总体思路如下:
在本发明实施例中,首先获取由与图像采集单元相对位置固定的惯性测量单元IMU检测到的检测数据;然后根据检测数据采集多个用于表示图像采集单元采集相邻两帧图像之间可能发生的运动状态的状态转移采样矩阵;接着,基于多个状态转移采样矩阵,计算出多个备选运动模型;最后,以相邻两帧图像之间的多个匹配点对多个备选运动模型进行验证,并确定满足匹配点数量最多的备选运动模型为最优运动模型,将不满足最优运动模型的匹配点作为野点剔除。由于本发明实施例中根据IMU的检测数据对图像采集单元采集单元的运动状态进行估计,所以计算出备选模型就不再是盲目的,也不需要再对大量采集数据进行计算。因此,提高了野点剔除的效率,减少了计算量。
下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本发明第一方面提供了一种剔除野点的方法,请参考图1,该方法包括:
S101:获取由与图像采集单元相对位置固定的惯性测量单元IMU检测到的检测数据;
S102:根据所述检测数据采集多个用于表示所述图像采集单元采集相邻两帧图像之间可能发生的运动状态的状态转移采样矩阵;
S103:基于多个所述状态转移采样矩阵,计算出多个备选运动模型;
S104:以所述相邻两帧图像之间的多个匹配点对多个所述备选运动模型进行验证,并确定满足匹配点数量最多的所述备选运动模型为最优运动模型,将不满足所述最优运动模型的所述匹配点作为野点剔除。
具体来讲,本发明实施例中的IMU(惯性检测单元,Inertial Measurement Unit)设置在与图像采集单元相对位置固定的位置。由于图像采集单元和IMU相对位置固定,那么,当图像采集单元采集相邻两帧图像发生旋转和平移时,IMU也将发生类似的旋转和平移。例如,图像采集单元设置在平衡车的支撑杆上,则可以将IMU也固定在支撑杆上。当平衡车带动支撑杆运动,图像采集单元和IMU将发生类似的运动,所以IMU就可以检测到图像采集单元的平移数据和转置数据。
为了减少剔除野点的计算量,在S101中,获取IMU检测到的检测数据。在本发明实施例中,IMU与图像采集单元相对位置固定,所以,检测数据可以表示图像采集单元的运动状态。其中,本发明实施例中的运动状态包括旋转和平移。
然而,检测数据与真值之间存在一定误差,因此在S102中,将根据检测数据采集多个状态转移采样矩阵。在本发明实施例中,状态转移采样矩阵用于表示图像采集单元在采集相邻两帧图像之间可能发生的运动状态。因此,根据检测数据采集多个状态转移采样矩阵,也就是根据IMU对图像采集单元运动状态的检测,估计出图像采集单元可能发生的运动状态。
接着,在S103中,基于状态转移采样矩阵,计算出多个备选运动模型。本发明实施例中的备选运动模型也表示图像采集单元采集相邻两帧图像可能发生的运动状态。具体来讲,每个状态转移采样矩阵能够计算出一个备选运动模型。备选运动模型可以被选为最优运动模型的模型。其中,而最优运动模型所表示的运动状态,将被视为图像采集单元的真实运动状态。
接着,在S104中,利用相邻两帧图像之间的多个匹配点对每个备选运动模型进行验证,并统计出每个备选模型能够满足的匹配点数量。在本发明实施例中,匹配点为同一元素在相邻两帧图像中所对应的点。例如,空间中的A点在第N帧图像中对应着A1点,在第N+1帧图像中对应着A2点,则A1点和A2点就为匹配点。N为正整数。
下面,以匹配点A1点和A2点为例来介绍如何获得匹配点。首先在第N帧图像中获得用于描述A1点特征的向量。对于第N+1帧图像,需要获得描述每个点特征的向量。接着,获得A1点的向量与第N+1帧图像的每个向量之间的夹角。将夹角小于阈值的点,即A2点,和A1点作为一对匹配点。
在具体实现过程中,为了减少计算量,可以只比较与A1点在相同区域中点的向量,而不需要比较第N+1帧图像中所有向量。举例来说,A1点在第N帧图像左上角的1/4区域中,则比较A1点向量与第N+1帧图像左上角的1/4区域内的点的向量的夹角即可。另外,如果第N+1帧图像中存在至少两个点的向量与A1点向量的夹角均小于阈值,则选择夹角最小的点与A1点作为匹配点。举例来说,假设A2点和A3点的向量与A1点的向量的夹角分别为θ1和θ2,且θ1<θ2<θ,θ为阈值,则选择夹角更小的A2点作为A1的匹配点。
在验证备选运动模型时,将每一对匹配点一一带入每个备选运动模型进行验证。如果当前匹配点满足该备选运动模型,则该备选运动模型的满足数量加1,反之,如果不满足,该备选运动模型的满足数量不加1。
最终,将满足数量最高的备选模型作为最优运动模型,以最优运动模来表示图像采集单元在采集相邻两帧图像之间发生的真实运动状态。同时,将不满足最优运动模型的匹配点视为野点,并剔除。
由上述描述可以看出,由于本发明实施例中根据IMU的检测数据对图像采集单元采集单元的运动状态进行估计,所以算备选模型时就不再需要盲目的对所有可能性均进行计算。因此,减少了计算量,提高了野点剔除的效率。
进一步,在本发明实施例中,可以根据下列实现方式实现S102:
基于所述检测数据,根据IMU运动学公式,获得表示所述IMU检测出的图像采集单元的运动状态的状态转移矩阵
基于所述状态转移矩阵和预设的误差项exp(∈),基于以下公式获得待采集的状态转移矩阵Tsample-waiting
采集多个待采集的状态转移矩阵Tsample-waiting的函数值,以获得多个所述状态转移采样矩阵Tsample;其中,所述待采集的状态转移矩阵Tsample-waiting的一个函数值用于获得一个所述状态转移采样矩阵Tsample
具体来讲,将检测数据输入下列公式(1)-公式(5)进行处理,以获得四元数:
其中,
在上述公式(1)到公式(7)中,表示从全局坐标系到IMU本体坐标系旋转的四元数。Bω(t)表示t时刻IMU在本体坐标系下角速度,Gp(t)表示t时刻IMU检测到的在全局坐标系下的位移,Gv(t)表示全局坐标系下的速度,Ga(t)表示全局坐标系下的加速度,bg(t)和ba(t)表示IMU加速度器和陀螺仪的偏置量,则表示偏置量的噪声。ω表示ω的斜对阵矩阵。ωx表示绕x轴转动的角速度,ωy表示绕y轴转动的角速度,ωz表示绕z轴转动的角速度。
获得后,再按照四元数到转置矩阵的转换方式,转换得到旋转矩阵对于如何从四元数转换得到3×3的现有技术中有多种方式,这里就不在详细赘述了。另外,根据位移Gp(t)得到3×1的平移矩阵最终,获得4×4的状态转移矩阵
由于检测数据与真值之间存在一定误差,因此,接下来,在本发明实施例中,进一步在检测出的状态转移矩阵公式的基础上叠加上预设误差,并进行多个采样。为了方便处理,在本发明实施例中,将假设预设误差项服从正态分布,预设误差记为exp(∈)。其中,∈为∈的斜对阵矩阵,∈为误差小量。在本发明实施例中,预设误差exp(∈)服从期望为0,方差为∑的正态分布,即
∈~N(0,∑)。 公式(9)
其中,∑为6×6的矩阵,∈为6×1的矩阵,∑对角线上的数为∈中每个数的方差。具体为,∑第1行第1列的数为∈第1行的方差,∑第2行第2列的数为∈第2行的方差,∑第3行第3列的数为∈第3行的方差,…,∑第6行第6列的数为∈第6行的方差。而∑的具体取值则取决于IMU的实际器件参数和IMU动力学公式。
在采样时,首先基于公式(10)获得待采样的状态转移矩阵Tsample-waiting
然后,从Tsample-waiting的无数函数值中随机采样出多个函数值。其中,Tsample-waiting的函数值为矩阵,每个Tsample-waiting的函数值即为一个状态转移采样矩阵Tsample
另外,在本发明实施例中,S103中基于多个状态转移采样矩阵计算出多个备选运动模型,可以通过如下过程实现:
从所述状态转移采样矩阵Tsample中提取出表示所述图像采集单元可能发生的平移的平移矩阵,以及提取出表示所述图像采集单元可能发生的旋转的旋转矩阵;
基于所述平移矩阵和所述旋转矩阵,根据备用模型生成函数生成所述备选模型。
具体来讲,状态转移采样矩阵Tsample由叠加了误差的状态转移矩阵采样而来,如公式(8)所示,状态转移矩阵中包含检测出的转置数据和平移数据因此,采样获得的状态转移采样矩阵Tsample也包括有转置数据和平移数据。
进而,为获得表示旋转的转置矩阵,从状态转移采样矩阵Tsample提取出表示旋转的数据构成矩阵,进而获得转置矩阵。类似的,为获得表示平移的平移矩阵,从状态采样矩阵Tsample提取出表示平移的数据构成矩阵,进而获得平移矩阵。具体来讲,在本发明实施例中,从状态转移采样矩阵Tsample中提取出平移矩阵和转置矩阵,具体可以由如下方式实现:
提取所述状态转移采样矩阵Tsample前三行前三列的数据形成的第一子矩阵,并将所述第一子矩阵确定为所述转置矩阵R;
提取所述状态转移采样矩阵Tsample第四行前三列的数据形成的第二子矩阵,并将所述第二子矩阵确定为所述平移矩阵p。
具体来讲,采样获得的状态转移采样矩阵Tsample形如状态转移矩阵也是一个4×4矩阵,具体为
其中,Rsample表示Tsample中前三行前三列的数据,psample表示Tsample中第四行前三列的数据。
从公式(8)可以看出,状态转移矩阵的前三行前三列为转置数据,因此,对于公式(11)中的状态转移采样矩阵Tsample同理。故而,提取前三行前三列的数据形成第一子矩阵Rsample。第一子矩阵中的数据就是转置数据,因此令
Rsample=R, 公式(12)
将第一子矩阵确定为转置矩阵R。其中,转置矩阵R为3×3的矩阵。
类似的,从公式(8)可以看出,状态转移矩阵的第四行前三列为平移数据,因此,对于公式(11)中的状态采样矩阵Tsample,提取第四行前三列的数据形成第二子矩阵psample。第二子矩阵中的数据就是转置数据,因此令
psample=p, 公式(13)
将第二子矩阵确定为平移矩阵p。其中,平移矩阵p为3×1的矩阵。
需要说明的是,本领域技术人员应当理解,转置矩阵和平移矩阵表示检测到的旋转状态和平移状态,转置矩阵R和平移矩阵p表示可能的旋转状态和平移状态。
接下来,根据备选模型生成函数生成备选运动模型。在本发明实施例中,备选运动模型生成函数具体为
E=Rp。 公式(14)
E表示备选运动模型,p为p的斜对阵矩阵。根据上述公式(14),以及提取出的每个转置矩阵R和平移矩阵p,生成备选运动模型。其中,从一个状态转移采样矩阵Tsample中提取出的R和p用于生成一个备选运动模型E。
生成备选运动模型后,在S104,对每一个备选运动模型进行验证。具体来讲,将匹配点的图像坐标带入备选运动模型进行计算,如果技术结果满足预设条件,则表示当该匹配点满足当前备选运动模型,则当前备选模型的满足数量加1。反之,如果将匹配点的图像坐标带入备选运动模型后不满足预设条件,则表示该匹配点不满足当前备选运动模型,当前备选模型的满足数量不加1。
在本发明实施例中,预设条件具体为
(y′)TEy=0。 公式(15)
其中y′表示一对匹配点中一个点的图像坐标,y表示另一个点的图像坐标。换言之,预设条件为匹配点与备选运动模型的乘机为0。
通过上述预设条件,对备选模型一一进行验证。最终从多个备选模型中,选择满足数量最大的备选模型为最优备选模型,并将最优备选模型表示的运动状态视为图像采集单元采集相邻两帧图像所发生的真实运动状态。那么,不满足最优备选模型的匹配点就是野点,进而将野点剔除。
基于与前述实施例中剔除野点的方法同样的发明构思,本发明第二方面还提供一种剔除野点的装置,如图2所示,包括:
获取模块101,用于获取由与图像采集单元相对位置固定的惯性测量单元IMU检测到的检测数据;
采集模块102,用于根据所述检测数据采集多个用于表示所述图像采集单元采集相邻两帧图像之间可能发生的运动状态的状态转移采样矩阵;
计算模块103,用于基于多个所述状态转移采样矩阵,计算出多个备选运动模型;其中,每个所述状态转移采样矩阵用于计算一个所述备选运动模型,所述备选运动模型用于表示所述图像采集单元可能发生的运动状态;
验证模块104,用于以所述相邻两帧图像之间的多个匹配点对多个所述备选运动模型进行验证,并确定满足匹配点数量最多的所述备选运动模型为最优运动模型,将不满足所述最优运动模型的所述匹配点作为野点剔除;所述匹配点为同一元素在所述相邻两帧图像中所对应的点。
其中,采集模块102用于基于所述检测数据,根据IMU运动学公式,获得表示所述IMU检测出的图像采集单元的运动状态的状态转移矩阵基于所述状态转移矩阵和预设的误差项exp(∈),基于以下公式获得待采集的状态转移矩阵Tsample-waiting
采集多个待采集的状态转移矩阵Tsample-waiting的函数值,以获得多个所述状态转移采样矩阵Tsample;其中,所述待采集的状态转移矩阵Tsample-waiting的一个函数值用于获得一个所述状态转移采样矩阵Tsample
所述预设的误差项exp(∈)为服从(0,∑)正态分布的函数。
计算模块103则用于从所述状态转移采样矩阵Tsample中提取出表示所述图像采集单元可能发生的旋转的转置矩阵,以及提取出表示所述图像采集单元可能发生的平移的平移矩阵;基于所述平移矩阵和所述旋转矩阵,根据备用模型生成函数生成所述备选模型。
具体来讲,计算模块103用于提取所述状态转移采样矩阵Tsample前三行前三列的数据形成的第一子矩阵,并将所述第一子矩阵确定为所述转置矩阵R;提取所述状态转移采样矩阵Tsample第四行前三列的数据形成的第二子矩阵,并将所述第二子矩阵确定为所述平移矩阵p;根据下列备用模型生成函数生成所述备选运动模型E:
E=Rp
前述图1实施例中的剔除野点的方法的各种变化方式和具体实例同样适用于本实施例的剔除野点的装置,通过前述对剔除野点的方法的详细描述,本领域技术人员可以清楚的知道本实施例中剔除野点的装置的实施方法,所以为了说明书的简洁,在此不再详述。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
在本发明实施例中,首先获取由与图像采集单元相对位置固定的惯性测量单元IMU检测到的检测数据;然后根据检测数据采集多个用于表示图像采集单元采集相邻两帧图像之间可能发生的运动状态的状态转移采样矩阵;接着,基于多个状态转移采样矩阵,计算出多个备选运动模型;最后,以相邻两帧图像之间的多个匹配点对多个备选运动模型进行验证,并确定满足匹配点数量最多的备选运动模型为最优运动模型,将不满足最优运动模型的匹配点作为野点剔除。由于本发明实施例中根据IMU的检测数据对图像采集单元采集单元的运动状态进行估计,所以计算出备选模型就不再是盲目的,也不需要再对大量采集数据进行计算。因此,提高了野点剔除的效率,减少了计算量。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种剔除野点的方法,其特征在于,包括:
获取由与图像采集单元相对位置固定的惯性测量单元IMU检测到的检测数据;
根据所述检测数据采集多个用于表示所述图像采集单元采集相邻两帧图像之间发生的运动状态的状态转移采样矩阵;
基于多个所述状态转移采样矩阵,计算出多个备选运动模型;其中,每个所述状态转移采样矩阵用于计算一个所述备选运动模型,所述备选运动模型用于表示所述图像采集单元发生的运动状态;
以所述相邻两帧图像之间的多个匹配点对多个所述备选运动模型进行验证,并确定满足匹配点数量最多的所述备选运动模型为最优运动模型,将不满足所述最优运动模型的所述匹配点作为野点剔除;所述匹配点为同一元素在所述相邻两帧图像中所对应的点;
所述根据所述检测数据采集多个用于表示所述图像采集单元采集相邻两帧图像之间发生的运动状态的状态转移采样矩阵,包括:
基于所述检测数据,根据IMU运动学公式,获得表示所述IMU检测出的图像采集单元的运动状态的状态转移矩阵
基于所述状态转移矩阵和预设的误差项exp(∈),基于以下公式获得待采集的状态转移矩阵Tsample-waiting
采集多个待采集的状态转移矩阵Tsample-waiting的函数值,以获得多个所述状态转移采样矩阵Tsample;其中,所述待采集的状态转移矩阵Tsample-waiting的一个函数值用于获得一个所述状态转移采样矩阵Tsample
2.如权利要求1所述的方法,其特征在于,所述预设的误差项exp(∈)为服从(0,∑)正态分布的函数。
3.如权利要求1所述的方法,其特征在于,基于多个所述状态转移采样矩阵,计算出多个备选运动模型,包括:
从所述状态转移采样矩阵Tsample中提取出表示所述图像采集单元发生的旋转的转置矩阵,以及提取出表示所述图像采集单元发生的平移的平移矩阵;
基于所述平移矩阵和所述转置矩阵,根据备用模型生成函数生成备选模型。
4.如权利要求3所述的方法,其特征在于,从所述状态转移采样矩阵Tsample中提取出表示所述图像采集单元发生的旋转的转置矩阵,以及提取出表示所述图像采集单元发生的平移的平移矩阵,包括:
提取所述状态转移采样矩阵Tsample前三行前三列的数据形成的第一子矩阵,并将所述第一子矩阵确定为所述转置矩阵R;
提取所述状态转移采样矩阵Tsample第四行前三列的数据形成的第二子矩阵,并将所述第二子矩阵确定为所述平移矩阵p;
基于所述平移矩阵和所述转置矩阵,根据备用模型生成函数生成所述备选模型,包括:
根据下列备用模型生成函数生成所述备选运动模型E:
E=Rp
5.一种剔除野点的装置,其特征在于,包括:
获取模块,用于获取由与图像采集单元相对位置固定的惯性测量单元IMU检测到的检测数据;
采集模块,用于根据所述检测数据采集多个用于表示所述图像采集单元采集相邻两帧图像之间发生的运动状态的状态转移采样矩阵;
计算模块,用于基于多个所述状态转移采样矩阵,计算出多个备选运动模型;其中,每个所述状态转移采样矩阵用于计算一个所述备选运动模型,所述备选运动模型用于表示所述图像采集单元发生的运动状态;
验证模块,用于以所述相邻两帧图像之间的多个匹配点对多个所述备选运动模型进行验证,并确定满足匹配点数量最多的所述备选运动模型为最优运动模型,将不满足所述最优运动模型的所述匹配点作为野点剔除;所述匹配点为同一元素在所述相邻两帧图像中所对应的点;
所述采集模块用于基于所述检测数据,根据IMU运动学公式,获得表示所述IMU检测出的图像采集单元的运动状态的状态转移矩阵基于所述状态转移矩阵和预设的误差项exp(∈),基于以下公式获得待采集的状态转移矩阵Tsample-waiting
采集多个待采集的状态转移矩阵Tsample-waiting的函数值,以获得多个所述状态转移采样矩阵Tsample;其中,所述待采集的状态转移矩阵Tsample-waiting的一个函数值用于获得一个所述状态转移采样矩阵Tsample
6.如权利要求5所述的装置,其特征在于,所述预设的误差项exp(∈)为服从(0,∑)正态分布的函数。
7.如权利要求5所述的装置,其特征在于,所述计算模块用于从所述状态转移采样矩阵Tsample中提取出表示所述图像采集单元发生的旋转的转置矩阵,以及提取出表示所述图像采集单元发生的平移的平移矩阵;基于所述平移矩阵和所述转置矩阵,根据备用模型生成函数生成备选模型。
8.如权利要求7所述的装置,其特征在于,所述计算模块用于提取所述状态转移采样矩阵Tsample前三行前三列的数据形成的第一子矩阵,并将所述第一子矩阵确定为所述转置矩阵R;提取所述状态转移采样矩阵Tsample第四行前三列的数据形成的第二子矩阵,并将所述第二子矩阵确定为所述平移矩阵p;根据下列备用模型生成函数生成所述备选运动模型E:
E=RpΛ
CN201610645370.XA 2016-08-08 2016-08-08 一种剔除野点的方法和装置 Active CN106327529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610645370.XA CN106327529B (zh) 2016-08-08 2016-08-08 一种剔除野点的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610645370.XA CN106327529B (zh) 2016-08-08 2016-08-08 一种剔除野点的方法和装置

Publications (2)

Publication Number Publication Date
CN106327529A CN106327529A (zh) 2017-01-11
CN106327529B true CN106327529B (zh) 2019-04-02

Family

ID=57740718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610645370.XA Active CN106327529B (zh) 2016-08-08 2016-08-08 一种剔除野点的方法和装置

Country Status (1)

Country Link
CN (1) CN106327529B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106705965A (zh) * 2017-01-12 2017-05-24 苏州中德睿博智能科技有限公司 场景三维数据配准方法及导航系统误差校正方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156863A (zh) * 2011-05-16 2011-08-17 天津大学 跨摄像头的多运动目标跟踪方法
CN102236798A (zh) * 2011-08-01 2011-11-09 清华大学 一种图像匹配方法及其装置
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN103077539A (zh) * 2013-01-23 2013-05-01 上海交通大学 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN104036480A (zh) * 2014-06-20 2014-09-10 天津大学 基于surf算法的快速消除误匹配点方法
CN104469251A (zh) * 2013-09-23 2015-03-25 联想(北京)有限公司 图像采集方法及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156863A (zh) * 2011-05-16 2011-08-17 天津大学 跨摄像头的多运动目标跟踪方法
CN102236798A (zh) * 2011-08-01 2011-11-09 清华大学 一种图像匹配方法及其装置
CN102236798B (zh) * 2011-08-01 2012-12-05 清华大学 一种图像匹配方法及其装置
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN103020945B (zh) * 2011-09-21 2016-02-10 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN103077539A (zh) * 2013-01-23 2013-05-01 上海交通大学 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN104469251A (zh) * 2013-09-23 2015-03-25 联想(北京)有限公司 图像采集方法及电子设备
CN104036480A (zh) * 2014-06-20 2014-09-10 天津大学 基于surf算法的快速消除误匹配点方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Recursive 3-D Motion Estimation from a Monocula Image Sequence;T.J. Broida et al;《IEEE Transactions on Aerospace and Electronic Systems 》;19901231;第639-656页

Also Published As

Publication number Publication date
CN106327529A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
JP5594940B2 (ja) 実質的に不変な回転軸を検出するための方法および装置
CN107421534B (zh) 一种冗余式捷联惯导系统多故障隔离方法
CN108369246B (zh) Mems加速度计误差的识别和补偿
Mattner et al. Learn to swing up and balance a real pole based on raw visual input data
KR102335738B1 (ko) 디바이스의 회전각 결정 방법 및 이를 위한 장치
CN108132053B (zh) 一种行人轨迹构建方法、系统及惯性测量装置
US20130186202A1 (en) Device and method for recording at least one acceleration and a corresponding computer program and a corresponding computer-readable storage medium and also use of such a device
US9930312B2 (en) Apparatus and method of processing depth image using relative angle between image sensor and target object
CN107421541B (zh) 一种容错非接触式失效卫星的形态参数测算方法
KR20150138374A (ko) 병렬 검출과 추적, 및/또는 그룹화된 피처 모션 시프트 추적을 이용한 얼굴 인식
CN109093620B (zh) 一种双目相机辅助的空间非合作目标动力学参数辨识方法
CN109470209A (zh) 一种基于三轴加速度计的倾角测量方法
US20150030208A1 (en) System and a method for motion estimation based on a series of 2d images
CN106327529B (zh) 一种剔除野点的方法和装置
CN114626293A (zh) 预测碰撞仿真结果的方法、装置、设备及存储介质
CN106678362B (zh) 一种汽车档位学习判断方法和装置
Martinelli et al. Cooperative visual-inertial sensor fusion: The analytic solution
CN112363196B (zh) 车辆属性确定方法、装置、存储介质和电子设备
CN110290311A (zh) 用于视频防抖性能测评的抖动轨迹生成方法、装置及系统
Oh et al. Dynamic displacements‐based model updating with motion capture system
KR101575934B1 (ko) 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법
CN109212260A (zh) 一种运动频率计算方法和装置
CN110514199B (zh) 一种slam系统的回环检测方法及装置
CN108072371A (zh) 定位方法、定位装置和电子设备
JP5424224B2 (ja) 相対角度推定システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant