CN110992392A - 一种基于运动状态的关键帧选取方法及装置 - Google Patents
一种基于运动状态的关键帧选取方法及装置 Download PDFInfo
- Publication number
- CN110992392A CN110992392A CN201911142539.XA CN201911142539A CN110992392A CN 110992392 A CN110992392 A CN 110992392A CN 201911142539 A CN201911142539 A CN 201911142539A CN 110992392 A CN110992392 A CN 110992392A
- Authority
- CN
- China
- Prior art keywords
- key frame
- images
- matrix
- image
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010187 selection method Methods 0.000 title description 6
- 239000011159 matrix material Substances 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000013519 translation Methods 0.000 claims abstract description 34
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本申请涉及交通图像处理领域,特别是涉及一种基于运动状态的关键帧选取方法及装置。
背景技术
实时VO/VSLAM和来自运动的大规模结构(SFM)对有限的计算资源提出了严峻的挑战。为了克服这个问题并减少数据冗余,通常的方法是从序列图像或视频中选择一些关键帧而不是所有帧进行处理,这样可以在保证准确性和可靠性的前提下大大降低计算压力。同时,适当的关键帧选择策略还可以提高VO/VSLAM局部运动估计的准确性和一致性。所以,如何选择关键帧是提高视觉SLAM(simultaneous localization and mapping)算法精度及实时性的重要因素。
现有的关键帧的选取方法大致可以分为以下几类:a.以相同间隔或相等距离选取关键帧,并行跟踪和建图(PTAM)需要在插入关键帧时满足预设跟踪条件,前一个关键帧的距离需满足预设的平移和旋转角度;b.图像重叠的关键帧选择,当重叠区域的匹配点小于检测点的50%时,通过非线性优化的视觉惯性SLAM(OKVIS)生成关键帧,同时边缘化最远关键帧,保留最新的一组帧和另一组关键帧;c.基于视差的关键帧选择,如果跟踪特征的平均视差超过某个阈值,把该帧视为关键帧;d.基于图像内容索引的关键帧选择,建立当前帧的特征聚类空间,然后计算当前帧与下一帧之间的特征距离,并根据特征距离阈值选择关键帧。
以相同间隔的关键帧选取方法虽然容易实现,不需要太多额外的计算,但是灵活性不足。而其他的方法(如图像重叠,视差)性能好一些,但是特征会重复提取和匹配,视差与协方差的计算更加耗时,降低了实时性。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面,提供了一种基于运动状态的关键帧选取方法,包括:
初始化步骤:将相邻的若干组图像依次存储到关键帧序列F中,每组图像包含相邻的两帧图像,并对所述图像进行预处理,所述的关键帧序列F中的图像依次为f1至fn;
特征点匹配步骤:从关键帧序列F的图像中提取特征点,并将图像fi的特征点与图像fi+k的特征点进行匹配,若匹配到的特征点数未达到预设的阈值,则令k=k+1,然后将图像fi的特征点与图像fi+k的特征点进行匹配,以此类推,直到匹配到的特征点数达到预设的阈值为止,得到图像的帧间特征点对,i的初始值为3,k为间隔帧数,k的初始值为1;
分解步骤:根据得到的特征点对计算关键帧序列F中相邻帧间的基本矩阵E,并将基本矩阵E分解为旋转矩阵R和平移矢量若旋转矩阵R为奇异矩阵、或平移矢量的平移尺度超过预设的阈值,则重新计算基本矩阵E,直到旋转矩阵R为非奇异矩阵、且平移矢量的平移尺度未超过预设的阈值为止;
偏转角度计算步骤:将非奇异的旋转矩阵R按照坐标轴的方向分解,得到各个坐标轴的偏转角度;
关键帧选择步骤:若得到的各个坐标轴的偏转角度满足阈值条件,则将当前帧选作关键帧,并添加到最终的关键帧序列中,否则,令k=k+1,然后返回特征点提取步骤;若k=m时,得到的各个坐标轴的偏转角度仍不满足阈值条件,则令k=1且i=i+1,然后返回特征点提取步骤。
可选地,所述的关键帧选择步骤中的阈值条件为:α<mα||β<mβ||γ<mγ,其中,α、β和γ分别为欧拉角在X轴、Y轴和Z轴方向的偏转角度。
可选地,所述的分解步骤中,计算基本矩阵E所采用的方法为五点法与RANSAC算法。
可选地,所述特征点匹配步骤中,提取特征点所采用的方法为FAST方法。
可选地,所述方法所采用的数据集为KITTI数据集。
根据本申请的另一个方面,提供了一种基于运动状态的关键帧选取装置,包括:
初始化模块,其配置成将相邻的若干组图像依次存储到关键帧序列F中,每组图像包含相邻的两帧图像,并对所述图像进行预处理,所述的关键帧序列F中的图像依次为f1至fn;
特征点匹配模块,其配置成从关键帧序列F的图像中提取特征点,并将图像fi的特征点与图像fi+k的特征点进行匹配,若匹配到的特征点数未达到预设的阈值,则令k=k+1,然后将图像fi的特征点与图像fi+k的特征点进行匹配,以此类推,直到匹配到的特征点数达到预设的阈值为止,得到图像的帧间特征点对,i的初始值为3,k为间隔帧数,k的初始值为1;
分解模块,其配置成根据得到的特征点对计算关键帧序列F中相邻帧间的基本矩阵E,并将基本矩阵E分解为旋转矩阵R和平移矢量若旋转矩阵R为奇异矩阵、或平移矢量的平移尺度超过预设的阈值,则重新计算基本矩阵E,直到旋转矩阵R为非奇异矩阵、且平移矢量的平移尺度未超过预设的阈值为止;
偏转角度计算模块,其配置成将非奇异的旋转矩阵R按照坐标轴的方向分解,得到各个坐标轴的偏转角度;
关键帧选择模块,其配置成若得到的各个坐标轴的偏转角度满足阈值条件,则将当前帧选作关键帧,并添加到最终的关键帧序列中,否则,令k=k+1,然后返回特征点提取步骤;若k=m时,得到的各个坐标轴的偏转角度仍不满足阈值条件,则令k=1且i=i+1,然后返回特征点提取步骤。
可选地,所述的关键帧选择模块中的阈值条件为:α<mα||β<mβ||γ<mγ,其中,α、β和γ分别为欧拉角在X轴、Y轴和Z轴方向的偏转角度。
可选地,所述的分解模块中,计算基本矩阵E所采用的方法为五点法与RANSAC算法。
可选地,所述特征点匹配模块中,提取特征点所采用的方法为FAST方法。
可选地,所述装置所采用的数据集为KITTI数据集。
本申请的基于运动状态的关键帧选取方法及装置,由于通过一定时间间隔内的帧间姿态变化,进而预测对象的运动状态,然后执行关键帧选择,因此能够平衡关键帧灵活性和实时性,此外,上述方法及装置还能够评估角点跟踪的阈值与对象运动偏移角度对关键帧影响。
根据下文结合附图对本申请的具体实施例的详细描述,本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1是根据本申请一个实施例的一种基于运动状态的关键帧选取方法的示意性流程图;
图2是根据本申请一个实施例的一种基于运动状态的关键帧选取装置的示意性结构框图;
图3是根据本申请一个实施例的一种计算设备的示意性结构框图;
图4是根据本申请一个实施例的一种计算机可读存储介质的示意性结构框图。
具体实施方式
本申请实施例提供了一种基于运动状态的关键帧选取方法,所述方法采用的实验数据集为KITTI数据集(由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办),该数据集是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。KITTI数据采集平台包括2个灰度摄像机、2个彩色摄像机、一个Velodyne 3D激光雷达、4个光学镜头、以及1个GPS导航系统。整个数据集由389对立体图像和光流图(每张图像最多包含15辆车及30个行人,并且存在不同程度的遮挡)、39.2公里视觉测距序列以及超过200,0003D标注物体的图像组成。
车辆的位姿在这几种情况下发生变化:a.沿水平面行进时,绕Y轴的偏航角度的变化;b.上坡和下坡时绕X轴的俯仰角的变化;c.当发生横向抖动时,绕Z轴的滚动角的变化。像机的局部运动在短时间间隔内是一致的,然后根据位姿角的变化选择关键帧。
图1是根据本申请一个实施例的一种基于运动状态的关键帧选取方法的示意性流程图。所述方法一般性地可包括:
S1、初始化步骤:读取序列化图像f1、f2、……、fn;
初始化过程中,将第一帧图像和第二帧图像分别存储到F中,并跟踪下一帧,如果失败,则依次选择相邻的两帧存储到F中。
S2、特征点匹配步骤:采用FAST方法检测图像fi(i的初始值为3)中的特征点,然后跟踪图像fi+k(k的初始值为1)中的特征点,即将图像fi与图像fi+k进行特征点匹配,如果匹配到的特征点个数小于预设的阈值,则可以重新检测图像fi中的特征点,并重新将图像fi与图像fi+k进行特征点匹配,若再次匹配到的特征点个数仍然小于所述的阈值,则舍弃图像fi+k,增加间隔,即令k=k+1,然后将图像fi与新的图像fi+k进行特征点匹配……不断增加k的值,直到图像fi与某帧图像fq匹配到的特征点数达到阈值为止,得到图像fi与图像fq之间的特征点对。
假设两图片的坐标空间P={p1,p2,…,pn},Q={q1,q2,…,qn},在旋转和平移之后通过外部旋转元素(R|t)表示为:Q=RP+t,
其中,
这里的R称为旋转矩阵,也称为方向余弦矩阵(DCM),若R为奇异矩阵、或平移矢量的平移尺度超过预设的阈值(两个条件只要满足一个即可),则重新计算基本矩阵E,直到旋转矩阵R为非奇异矩阵、且平移矢量的平移尺度未超过预设的阈值为止;
S4、偏转角度计算步骤:计算欧拉角在三个坐标轴X、Y、Z方向的分量,得到的三个分量分别为螺距角α、航向角β、以及横摇角γ。矩阵R的计算公式如下:
其中,Rz(γ)表示绕Z轴的旋转角度,Ry(β)表示绕Y轴的旋转角度、Rx(α)表示绕X轴的旋转角度;
cα、cβ、cγ分别是cosα、cosβ、cosγ的缩写,sα是sinα的缩写sα、sβ、sγ分别是sinα、sinβ、sinγ的缩写;
然后可以得到如下的姿态角:
(1)当|r20|≤1-ξ时,姿态角可以表示如下:
其中,ξ是预设的一个足够小的正数,例如10-10;
(2)当r20>1-ξ,且β→π/2时,做一个近似cos(β)≈0和sin(β)≈1,那么姿态角可以近似表示为:
(3)当r20<1-ξ,且β→-π/2时,做一个近似cos(β)≈0和sin(β)≈-1,然后姿态角可以近似表示为:
S5、关键帧选择步骤:如果α<mα||β<mβ||γ<mγ,则将当前帧放入最终的关键帧序列F中,m为预设的间隔帧数的最大值,mα、mβ和mγ为预设的三个姿态角阈值;如果得到的三个偏转角α、β和γ不满足α<mα||β<mβ||γ<mγ,则令k=1且i=i+1,然后返回步骤S2。
上述基于运动状态的关键帧选取方法忽略了向前方向以外的大幅度运动,通过角点跟踪算法减轻轻微运动的约束,评估不连续帧间特征点的一致性,确定帧间姿态角度变化的阈值和间隔步长,保证角点跟踪没有丢失并且对象的运动状态被准确地恢复,能够平衡关键帧的灵活性和实时性。
本申请实施例还提供了一种基于运动状态的关键帧选取装置,所述装置采用的实验数据集为KITTI数据集(由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办),该数据集是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。KITTI数据采集平台包括2个灰度摄像机、2个彩色摄像机、一个Velodyne 3D激光雷达、4个光学镜头、以及1个GPS导航系统。整个数据集由389对立体图像和光流图(每张图像最多包含15辆车及30个行人,并且存在不同程度的遮挡)、39.2公里视觉测距序列以及超过200,0003D标注物体的图像组成。
车辆的位姿在这几种情况下发生变化:a.沿水平面行进时,绕Y轴的偏航角度的变化;b.上坡和下坡时绕X轴的俯仰角的变化;c.当发生横向抖动时,绕Z轴的滚动角的变化。像机的局部运动在短时间间隔内是一致的,然后根据位姿角的变化选择关键帧。
图2是根据本申请另一个实施例的一种基于运动状态的关键帧选取装置的示意结构框图。所述装置一般性地可包括:
初始化模块1:读取序列化图像f1、f2、……、fn,对关键帧序列F进行初始化,初始化过程中,将第一帧图像和第二帧图像分别存储到F中,并跟踪下一帧,如果失败,则依次选择相邻的两帧存储到F中。
特征点匹配模块2:该模块采用FAST方法检测图像fi(i的初始值为3)中的特征点,然后跟踪图像fi+k(k的初始值为1)中的特征点,即将图像fi与图像fi+k进行特征点匹配,如果匹配到的特征点个数小于预设的阈值,则可以重新检测图像fi中的特征点,并重新将图像fi与图像fi+k进行特征点匹配,若再次匹配到的特征点个数仍然小于所述的阈值,则舍弃图像fi+k,增加间隔,即令k=k+1,然后将图像fi与新的图像fi+k进行特征点匹配……不断增加k的值,直到图像fi与某帧图像fq匹配到的特征点数达到阈值为止,得到图像fi与图像fq之间的特征点对。
假设两图片的坐标空间P={p1,p2,…,pn},Q={q1,q2,…,qn},在旋转和平移之后通过外部旋转元素(R|t)表示为:Q=RP+t,
其中,
这里的R称为旋转矩阵,也称为方向余弦矩阵(DCM),若R为奇异矩阵、或平移矢量的平移尺度超过预设的阈值(两个条件只要满足一个即可),则重新计算基本矩阵E,直到旋转矩阵R为非奇异矩阵、且平移矢量的平移尺度未超过预设的阈值为止;
偏转角度计算模块4:计算欧拉角在三个坐标轴X、Y、Z方向的分量,得到的三个分量分别为螺距角α、航向角β、以及横摇角γ。矩阵R的计算公式如下:
其中,Rz(γ)表示绕Z轴的旋转角度,Ry(β)表示绕Y轴的旋转角度、Rx(α)表示绕X轴的旋转角度;
cα、cβ、cγ分别是cosα、cosβ、cosγ的缩写,sα是sinα的缩写sα、sβ、sγ分别是sinα、sinβ、sinγ的缩写;
然后可以得到如下的姿态角:
(1)当|r20|≤1-ξ时,姿态角可以表示如下:
其中,ξ是预设的一个足够小的正数,例如10-10;
(2)当r20>1-ξ,且β→π/2时,做一个近似cos(β)≈0和sin(β)≈1,那么姿态角可以近似表示为:
(3)当r20<1-ξ,且β→-π/2时,做一个近似cos(β)≈0和sin(β)≈-1,然后姿态角可以近似表示为:
关键帧选择模块5:如果α<mα||β<mβ||γ<mγ,则将当前帧放入最终的关键帧序列F中,m为预设的间隔帧数的最大值,mα、mβ和mγ为预设的三个姿态角阈值;如果得到的三个偏转角α、β和γ不满足α<mα||β<mβ||γ<mγ,则令k=1且i=i+1,然后返回特征点匹配模块2。
上述基于运动状态的关键帧选取模块忽略了向前方向以外的大幅度运动,通过角点跟踪算法减轻轻微运动的约束,评估不连续帧间特征点的一致性,确定帧间姿态角度变化的阈值和间隔步长,保证角点跟踪没有丢失并且对象的运动状态被准确地恢复,能够平衡关键帧的灵活性和实时性。
本申请实施例还提供了一种计算设备,参照图3,该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序,该计算机程序存储于存储器1120中的用于程序代码的空间1130,该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。
本申请实施例还提供了一种计算机可读存储介质。参照图4,该计算机可读存储介质包括用于程序代码的存储单元,该存储单元设置有用于执行根据本发明的方法步骤的程序1131′,该程序被处理器执行。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时,使得计算机执行根据本发明的方法步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成,所述的程序可以存储于计算机可读存储介质中,所述存储介质是非短暂性(英文:non-transitory)介质,例如随机存取存储器,只读存储器,快闪存储器,硬盘,固态硬盘,磁带(英文:magnetic tape),软盘(英文:floppy disk),光盘(英文:optical disc)及其任意组合。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种基于运动状态的关键帧选取方法,包括:
初始化步骤:将相邻的若干组图像依次存储到关键帧序列F中,每组图像包含相邻的两帧图像,并对所述图像进行预处理,所述的关键帧序列F中的图像依次为f1至fn;
特征点匹配步骤:从关键帧序列F的图像中提取特征点,并将图像fi的特征点与图像fi+k的特征点进行匹配,若匹配到的特征点数未达到预设的阈值,则令k=k+1,然后将图像fi的特征点与图像fi+k的特征点进行匹配,以此类推,直到匹配到的特征点数达到预设的阈值为止,得到图像的帧间特征点对,i的初始值为3,k为间隔帧数,k的初始值为1;
分解步骤:根据得到的特征点对计算关键帧序列F中相邻帧间的基本矩阵E,并将基本矩阵E分解为旋转矩阵R和平移矢量若旋转矩阵R为奇异矩阵、或平移矢量的平移尺度超过预设的阈值,则重新计算基本矩阵E,直到旋转矩阵R为非奇异矩阵、且平移矢量的平移尺度未超过预设的阈值为止;
偏转角度计算步骤:将非奇异的旋转矩阵R按照坐标轴的方向分解,得到各个坐标轴的偏转角度;
关键帧选择步骤:若得到的各个坐标轴的偏转角度满足阈值条件,则将当前帧选作关键帧,并添加到最终的关键帧序列中,否则,令k=k+1,然后返回特征点提取步骤;若k=m时,得到的各个坐标轴的偏转角度仍不满足阈值条件,则令k=1且i=i+1,然后返回特征点提取步骤。
2.根据权利要求1所述的方法,其特征在于,所述的关键帧选择步骤中的阈值条件为:α<mα||β<mβ||γ<mγ,其中,α、β和γ分别为欧拉角在X轴、Y轴和Z轴方向的偏转角度。
3.根据权利要求1或2所述的方法,其特征在于,所述的分解步骤中,计算基本矩阵E所采用的方法为五点法与RANSAC算法。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述特征点匹配步骤中,提取特征点所采用的方法为FAST方法。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法所采用的数据集为KITTI数据集。
6.一种基于运动状态的关键帧选取装置,包括:
初始化模块,其配置成将相邻的若干组图像依次存储到关键帧序列F中,每组图像包含相邻的两帧图像,并对所述图像进行预处理,所述的关键帧序列F中的图像依次为f1至fn;
特征点匹配模块,其配置成从关键帧序列F的图像中提取特征点,并将图像fi的特征点与图像fi+k的特征点进行匹配,若匹配到的特征点数未达到预设的阈值,则令k=k+1,然后将图像fi的特征点与图像fi+k的特征点进行匹配,以此类推,直到匹配到的特征点数达到预设的阈值为止,得到图像的帧间特征点对,i的初始值为3,k为间隔帧数,k的初始值为1;
分解模块,其配置成根据得到的特征点对计算关键帧序列F中相邻帧间的基本矩阵E,并将基本矩阵E分解为旋转矩阵R和平移矢量若旋转矩阵R为奇异矩阵、或平移矢量的平移尺度超过预设的阈值,则重新计算基本矩阵E,直到旋转矩阵R为非奇异矩阵、且平移矢量的平移尺度未超过预设的阈值为止;
偏转角度计算模块,其配置成将非奇异的旋转矩阵R按照坐标轴的方向分解,得到各个坐标轴的偏转角度;
关键帧选择模块,其配置成若得到的各个坐标轴的偏转角度满足阈值条件,则将当前帧选作关键帧,并添加到最终的关键帧序列中,否则,令k=k+1,然后返回特征点提取步骤;若k=m时,得到的各个坐标轴的偏转角度仍不满足阈值条件,则令k=1且i=i+1,然后返回特征点提取步骤。
7.根据权利要求6所述的装置,其特征在于,所述的关键帧选择模块中的阈值条件为:α<mα||β<mβ||γ<mγ,其中,α、β和γ分别为欧拉角在X轴、Y轴和Z轴方向的偏转角度。
8.根据权利要求6或7所述的装置,其特征在于,所述的分解模块中,计算基本矩阵E所采用的方法为五点法与RANSAC算法。
9.根据权利要求6-8中任一项所述的装置,其特征在于,所述特征点匹配模块中,提取特征点所采用的方法为FAST方法。
10.根据权利要求6-9中任一项所述的装置,其特征在于,所述装置所采用的数据集为KITTI数据集。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911142539.XA CN110992392A (zh) | 2019-11-20 | 2019-11-20 | 一种基于运动状态的关键帧选取方法及装置 |
US17/778,411 US20220398845A1 (en) | 2019-11-20 | 2020-11-19 | Method and device for selecting keyframe based on motion state |
PCT/CN2020/130050 WO2021098765A1 (zh) | 2019-11-20 | 2020-11-19 | 一种基于运动状态的关键帧选取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911142539.XA CN110992392A (zh) | 2019-11-20 | 2019-11-20 | 一种基于运动状态的关键帧选取方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110992392A true CN110992392A (zh) | 2020-04-10 |
Family
ID=70085393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911142539.XA Pending CN110992392A (zh) | 2019-11-20 | 2019-11-20 | 一种基于运动状态的关键帧选取方法及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220398845A1 (zh) |
CN (1) | CN110992392A (zh) |
WO (1) | WO2021098765A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111723713A (zh) * | 2020-06-09 | 2020-09-29 | 上海合合信息科技股份有限公司 | 一种基于光流法的视频关键帧提取方法及系统 |
CN111836072A (zh) * | 2020-05-21 | 2020-10-27 | 北京嘀嘀无限科技发展有限公司 | 视频处理方法、装置、设备和存储介质 |
WO2021098765A1 (zh) * | 2019-11-20 | 2021-05-27 | 北京影谱科技股份有限公司 | 一种基于运动状态的关键帧选取方法及装置 |
CN112911281A (zh) * | 2021-02-09 | 2021-06-04 | 北京三快在线科技有限公司 | 一种视频质量评价方法及装置 |
CN116758058A (zh) * | 2023-08-10 | 2023-09-15 | 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) | 一种数据处理方法、装置、计算机及存储介质 |
CN117649454A (zh) * | 2024-01-29 | 2024-03-05 | 北京友友天宇系统技术有限公司 | 双目相机外参自动校正方法、装置、电子设备及存储介质 |
CN117649454B (zh) * | 2024-01-29 | 2024-05-31 | 北京友友天宇系统技术有限公司 | 双目相机外参自动校正方法、装置、电子设备及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115273068B (zh) * | 2022-08-02 | 2023-05-12 | 湖南大学无锡智能控制研究院 | 一种激光点云动态障碍物剔除方法、装置及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108955687A (zh) * | 2018-05-31 | 2018-12-07 | 湖南万为智能机器人技术有限公司 | 移动机器人的综合定位方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463788B (zh) * | 2014-12-11 | 2018-02-16 | 西安理工大学 | 基于运动捕捉数据的人体运动插值方法 |
CN107027051B (zh) * | 2016-07-26 | 2019-11-08 | 中国科学院自动化研究所 | 一种基于线性动态系统的视频关键帧提取方法 |
CN106296693B (zh) * | 2016-08-12 | 2019-01-08 | 浙江工业大学 | 基于3d点云fpfh特征实时三维空间定位方法 |
CN110992392A (zh) * | 2019-11-20 | 2020-04-10 | 北京影谱科技股份有限公司 | 一种基于运动状态的关键帧选取方法及装置 |
-
2019
- 2019-11-20 CN CN201911142539.XA patent/CN110992392A/zh active Pending
-
2020
- 2020-11-19 WO PCT/CN2020/130050 patent/WO2021098765A1/zh active Application Filing
- 2020-11-19 US US17/778,411 patent/US20220398845A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108955687A (zh) * | 2018-05-31 | 2018-12-07 | 湖南万为智能机器人技术有限公司 | 移动机器人的综合定位方法 |
Non-Patent Citations (1)
Title |
---|
XIAOHU LIN等: ""An Automatic Key-Frame Selection Method for Monocular Visual Odometry of Ground Vehicle"", 《DIGITAL OBJECT IDENTIFIER》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021098765A1 (zh) * | 2019-11-20 | 2021-05-27 | 北京影谱科技股份有限公司 | 一种基于运动状态的关键帧选取方法及装置 |
CN111836072A (zh) * | 2020-05-21 | 2020-10-27 | 北京嘀嘀无限科技发展有限公司 | 视频处理方法、装置、设备和存储介质 |
CN111836072B (zh) * | 2020-05-21 | 2022-09-13 | 北京嘀嘀无限科技发展有限公司 | 视频处理方法、装置、设备和存储介质 |
CN111723713A (zh) * | 2020-06-09 | 2020-09-29 | 上海合合信息科技股份有限公司 | 一种基于光流法的视频关键帧提取方法及系统 |
CN111723713B (zh) * | 2020-06-09 | 2022-10-28 | 上海合合信息科技股份有限公司 | 一种基于光流法的视频关键帧提取方法及系统 |
CN112911281A (zh) * | 2021-02-09 | 2021-06-04 | 北京三快在线科技有限公司 | 一种视频质量评价方法及装置 |
CN112911281B (zh) * | 2021-02-09 | 2022-07-15 | 北京三快在线科技有限公司 | 一种视频质量评价方法及装置 |
CN116758058A (zh) * | 2023-08-10 | 2023-09-15 | 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) | 一种数据处理方法、装置、计算机及存储介质 |
CN116758058B (zh) * | 2023-08-10 | 2023-11-03 | 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) | 一种数据处理方法、装置、计算机及存储介质 |
CN117649454A (zh) * | 2024-01-29 | 2024-03-05 | 北京友友天宇系统技术有限公司 | 双目相机外参自动校正方法、装置、电子设备及存储介质 |
CN117649454B (zh) * | 2024-01-29 | 2024-05-31 | 北京友友天宇系统技术有限公司 | 双目相机外参自动校正方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20220398845A1 (en) | 2022-12-15 |
WO2021098765A1 (zh) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110992392A (zh) | 一种基于运动状态的关键帧选取方法及装置 | |
Strasdat et al. | Double window optimisation for constant time visual SLAM | |
CN110631554B (zh) | 机器人位姿的确定方法、装置、机器人和可读存储介质 | |
CN110363817B (zh) | 目标位姿估计方法、电子设备和介质 | |
CN110782494A (zh) | 一种基于点线融合的视觉slam方法 | |
CN110705478A (zh) | 人脸跟踪方法、装置、设备及存储介质 | |
WO2023016271A1 (zh) | 位姿确定方法、电子设备及可读存储介质 | |
US10055674B2 (en) | Confidence estimation for optical flow | |
CN108022254B (zh) | 一种基于征点辅助的时空上下文目标跟踪方法 | |
CN112115980A (zh) | 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法 | |
CN112785705B (zh) | 一种位姿获取方法、装置及移动设备 | |
CN111797688A (zh) | 一种基于光流和语义分割的视觉slam方法 | |
Ci et al. | Stereo visual odometry based on motion decoupling and special feature screening for navigation of autonomous vehicles | |
WO2023016182A1 (zh) | 位姿确定方法、装置、电子设备和可读存储介质 | |
Kong et al. | Local stereo matching using adaptive cross-region-based guided image filtering with orthogonal weights | |
Zhu et al. | PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios | |
CN113808203A (zh) | 一种基于lk光流法与orb-slam2的导航定位方法 | |
CN112115786A (zh) | 基于注意力U-net的单目视觉里程计方法 | |
CN113763468B (zh) | 一种定位方法、装置、系统及存储介质 | |
CN111583331B (zh) | 用于同时定位和地图构建的方法及装置 | |
CN113888603A (zh) | 基于光流跟踪和特征匹配的回环检测及视觉slam方法 | |
Miyama | Fast stereo matching with super-pixels using one-way check and score filter | |
Chen et al. | An Automatic key-frame selection method for visual odometry based on the improved PWC-NET | |
CN116228834B (zh) | 图像深度获取方法、装置、电子设备及存储介质 | |
CN116129332B (zh) | 多船舶目标的跟踪识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |