CN102243764A - 运动特征点检测方法及装置 - Google Patents

运动特征点检测方法及装置 Download PDF

Info

Publication number
CN102243764A
CN102243764A CN2010101734894A CN201010173489A CN102243764A CN 102243764 A CN102243764 A CN 102243764A CN 2010101734894 A CN2010101734894 A CN 2010101734894A CN 201010173489 A CN201010173489 A CN 201010173489A CN 102243764 A CN102243764 A CN 102243764A
Authority
CN
China
Prior art keywords
constantly
point
mentioned
unique point
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010101734894A
Other languages
English (en)
Other versions
CN102243764B (zh
Inventor
于红绯
刘威
袁淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Alpine Electronics Inc
Original Assignee
Neusoft Corp
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp, Alpine Electronics Inc filed Critical Neusoft Corp
Priority to CN201010173489.4A priority Critical patent/CN102243764B/zh
Publication of CN102243764A publication Critical patent/CN102243764A/zh
Application granted granted Critical
Publication of CN102243764B publication Critical patent/CN102243764B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种运动特征点检测方法及装置，适用于大视角相机。该运动特征点检测方法及装置获取由该大视角相机拍摄的图像，根据该图像获取t时刻和t-k时刻的特征点对，并分别建立t时刻和t-k时刻的虚拟相机坐标系及虚拟平面，通过特征点对在虚拟平面中的投影点位移方向来判断其是否为运动特征点。根据本发明的运动特征点检测方法及装置，不需要进行图像成像面的校正，避免了图像校正过程所带来的信息损失，而且算法简单，检测效果好，易于实现。

Description

运动特征点检测方法及装置
技术领域
本发明涉及适用于大角度相机的运动特征点检测方法及装置。
背景技术
对相机拍摄的运动目标进行检测的技术(以下称为运动目标检测技术)一直是计算机视觉领域的研究热点，广泛应用于视觉捕捉监控等诸多领域。其中，一般通过判断运动目标上的特征点是否为运动特征点，来进行运动目标检测。
在运动目标检测技术中，根据对运动目标进行拍摄的相机是否运动，运动目标检测可以分为静止相机下的运动目标检测和移动相机下的运动目标检测。以下，分别对这两种运动目标检测进行详细说明。
静止相机下的运动目标检测常用于交通监控、安防系统。具体而言，例如用于交通路口、机场、商店、停车场、商业大楼等公共场所的监控。静止相机下的运动目标检测相对容易实现，常用的实现方法有帧间差分法(inter-frame difference)、背景建模方法(background modeling)和光流方法(optical flow)等。
另一方面，移动相机下的运动目标检测可用于汽车辅助驾驶、机器人视觉等。随着人工智能、汽车自动化等技术的迅速发展，移动相机下的运动目标检测正在得到日益广泛的应用，有巨大的发展前景。但是，由于对运动目标进行拍摄的相机本身也在移动，而相机本身的移动会造成背景的运动，因此移动相机下的运动目标检测成为运动目标检测技术中的一个难点。具体而言，移动相机下的运动目标检测的关键在于，在运动相机所拍摄的图像中，如何区分物体的运动是由相机的移动造成的、还是由物体本身运动和相机运动共同造成的。对此，常用的方法有极线约束(epipolarconstraint)方法、光流(optical flow)方法和三维重建(3D reconstrction)方法。以下，分别对这几种方法进行详细说明。
首先，说明上述极线约束方法的原理。在运动相机所拍摄的图像的某一帧中，如果一个点在真实世界中是静止的，那么在下一帧图像中，该点出现的位置必然在该点所对应的极线(epipolar)上。反之，如果在下一帧图像中，该点出现的位置偏离极线，则可以判断出该点在真实世界中是运动的。由此，可以检测出图像中的特征点在真实世界中是否运动，并检测出具有这些特征点的目标在真实世界中是否运动。
接着，说明上述光流方法的原理。在光流方法中，对运动相机所拍摄的图像，计算该图像中每一个像素点的速度，由此得到该图像的光流场(optical flow field)。如果该图像中没有在真实世界中运动的目标时，该光流场连续。反之，若该图像中存在真实世界中的运动目标，则该运动目标所形成的光流与相邻的背景的光流有很大不同。由此，能够在运动相机所拍摄的图像中检测出在真实世界中运动的目标。
最后，说明上述三维重建方法的原理。在三维重建方法中，对运动相机所拍摄的图像，根据同一个点在多个图像中的位置关系，来恢复该点的三维坐标。如果不能够准确恢复该点的三维坐标，则判断该点是真实世界中的运动目标上的点。由此，可以检测出图像中的特征点在真实世界中是否运动，并检测出具有这些特征点的目标在真实世界中是否运动。
但是，以上三种移动相机下的运动目标检测都存在自身的问题。例如，上述极线约束方法由于要判断图像中的点与极线之间的位置关系，因此仅适用于普通相机的针孔显像模型，如果不符合针孔显像模型则无法使用。另外，光流方法由于要计算图像中每一个像素点的速度，因此计算量大，而且容易受到噪声的干扰。最后，三维重建方法由于要根据同一个点在多个图像中的位置关系来恢复该点的三维坐标，因此优选用于双目相机或三目相机，在单目移动相机的情况下，虽然可以使用相邻帧的图像来模拟双目相机，但显而易见，其精度受到很大影响，难以满足实际使用的要求。
特别是，近年来鱼眼相机、全景相机等大视角相机越来越受到人们的重视。其中，鱼眼相机的成像视角一般可达到180度左右，最大甚至能够达到220度，而全景相机的成像视角可以达到360度。这些大视角相机突破了传统平面相机成像视角小的缺点，在车载系统等中有广阔的应用前景。在大视角相机的这些具体应用中，例如在车载系统中，也需要移动相机下的运动目标检测技术。
然而，以上说明的各种移动相机下的运动目标检测技术都是基于普通平面相机提出的。在大视角相机的情况下，这些运动目标检测技术都遇到了困难。具体而言，如上所述，上述极线约束方法仅适用于普通相机的针孔显像模型，而在鱼眼相机等大视角相机下，由于图像中物体的真实形状发生扭曲失真，因此极线约束方法完全无法使用。另外，上述光流方法和三维重建方法虽然还可以使用，但在大视角相机的情况下，这些方法原有的计算量大、精度低的问题变得更加严重。
面对这种情况，一种普遍的想法是：把大视角相机所拍摄的大角度图像校正为平面图像，再对校正后的平面图像应用上述移动相机下的运动目标检测技术。但是，从大角度图像校正为平面图像的过程会造成成像视角的损失和像素的失真。对此，为了避免成像视角的损失，可以将大角度图像校正为多个平面图像，但是，需要处理的对象从一张原始图像变成了多张校正图像，增加了算法的复杂度和处理装置的运算负担。
如上所述，在大视角相机的应用日益普及的形势下，迫切需要一种适合移动大视角相机的运动特征点检测方法，以便在移动大视角相机所拍摄的图像中检测出运动特征点，或进一步检测出运动目标。
发明内容
本发明鉴于现有技术中的上述问题，目的在于提供一种运动特征点检测方法及装置，适用于移动大视角相机的运动特征点检测，不需要进行图像成像面的校正，避免了图像校正过程所带来的信息损失，而且算法简单，检测效果好，易于实现。
为了达到上述目的，本发明提供一种运动特征点检测方法，用于大视角相机，其特征在于，包括以下步骤：图像获取步骤，获取由上述大视角相机所拍摄的t时刻的图像和t-k时刻的图像；特征点对获取步骤，根据上述图像获取步骤所获取的上述t时刻的图像和t-k时刻的图像，获取该t时刻的图像和t-k时刻的图像中匹配的各特征点对
Figure GSA00000102330400031
j≥1；虚拟平面建立步骤，建立与t时刻对应的原始相机坐标系和与t-k时刻对应的原始相机坐标系，并旋转这两个原始相机坐标系以使它们的光轴方向都与这两个原始相机坐标系的各自的原点之间的连线方向一致，由此生成t时刻的虚拟相机坐标系和t-k时刻的虚拟相机坐标系，并与上述大视角相机的成像视角相对应，在t时刻的虚拟相机坐标系中建立t时刻的a个虚拟平面
Figure GSA00000102330400041
(1≤a≤6，i＝1，...，a)，在t-k时刻的虚拟相机坐标系中建立t-k时刻的a个虚拟平面投影点对运算步骤，根据上述特征点对获取步骤所获取的各特征点对
Figure GSA00000102330400043
j≥1、以及上述虚拟平面建立步骤所建立的t时刻和t-k时刻的虚拟相机坐标系和虚拟平面，对于每一个特征点对
Figure GSA00000102330400044
对其中t时刻的特征点
Figure GSA00000102330400045
分别连接以t时刻的虚拟相机坐标系的原点为端点并经过该特征点
Figure GSA00000102330400046
的射线，该射线与t时刻的虚拟平面
Figure GSA00000102330400047
的所有交点构成该特征点
Figure GSA00000102330400048
与上述t时刻的虚拟平面的交点集合，将该交点集合中与t时刻的虚拟相机坐标系的原点之间的距离最近的交点作为该特征点的投影点，并将该投影点所在的该t时刻的虚拟平面记为该特征点
Figure GSA000001023304000411
的投影平面
Figure GSA000001023304000412
m∈(1，...，a)，另外，对上述特征点对
Figure GSA000001023304000413
中t-k时刻的特征点
Figure GSA000001023304000414
将上述t时刻的特征点
Figure GSA000001023304000415
的投影平面
Figure GSA000001023304000416
所对应的t-k时刻的虚拟平面作为特征点
Figure GSA000001023304000417
的投影平面并连接以t-k时刻的虚拟相机坐标系的原点为端点并经过该特征点
Figure GSA000001023304000419
的射线，将该射线与该投影平面
Figure GSA000001023304000420
的交点作为该特征点
Figure GSA000001023304000421
的投影点；以及运动特征点判断步骤，根据上述投影点对运算步骤所计算的各特征点对
Figure GSA000001023304000422
j≥1中的特征点
Figure GSA000001023304000423
的投影点及特征点
Figure GSA000001023304000424
的投影点，对于每一个特征点对
Figure GSA000001023304000425
由特征点
Figure GSA000001023304000426
的投影点及特征点
Figure GSA000001023304000427
的投影点构成位移向量，并根据该位移向量的方向判断该特征点
Figure GSA000001023304000428
是否为运动的特征点，由此检测出上述大视角相机所拍摄的t时刻的图像中的运动特征点。
另外，本发明还提供一种运动特征点检测装置，用于大视角相机，其特征在于，包括：图像获取单元，获取由上述大视角相机所拍摄的t时刻的图像和t-k时刻的图像；特征点对获取单元，根据上述图像获取单元所获取的上述t时刻的图像和t-k时刻的图像，获取该t时刻的图像和t-k时刻的图像中匹配的各特征点对
Figure GSA000001023304000429
j≥1；虚拟平面建立单元，建立与t时刻对应的原始相机坐标系和与t-k时刻对应的原始相机坐标系，并旋转这两个原始相机坐标系以使它们的光轴方向都与这两个原始相机坐标系的各自的原点之间的连线方向一致，由此生成t时刻的虚拟相机坐标系和t-k时刻的虚拟相机坐标系，并与上述大视角相机的成像视角相对应，在t时刻的虚拟相机坐标系中建立t时刻的a个虚拟平面(1≤a≤6，i＝1，...，a)，在t-k时刻的虚拟相机坐标系中建立t-k时刻的a个虚拟平面
Figure GSA00000102330400052
投影点对运算单元，根据上述特征点对获取单元所获取的各特征点对
Figure GSA00000102330400053
j≥1、以及上述虚拟平面建立单元所建立的t时刻和t-k时刻的虚拟相机坐标系和虚拟平面，对于每一个特征点对
Figure GSA00000102330400054
对其中t时刻的特征点
Figure GSA00000102330400055
分别连接以t时刻的虚拟相机坐标系的原点为端点并经过该特征点
Figure GSA00000102330400056
的射线，该射线与t时刻的虚拟平面
Figure GSA00000102330400057
的所有交点构成该特征点
Figure GSA00000102330400058
与上述t时刻的虚拟平面
Figure GSA00000102330400059
的交点集合，将该交点集合中与t时刻的虚拟相机坐标系的原点之间的距离最近的交点作为该特征点
Figure GSA000001023304000510
的投影点，并将该投影点所在的该t时刻的虚拟平面记为该特征点
Figure GSA000001023304000511
的投影平面
Figure GSA000001023304000512
m∈(1，...，a)，另外，对上述特征点对
Figure GSA000001023304000513
中t-k时刻的特征点将上述t时刻的特征点
Figure GSA000001023304000515
的投影平面所对应的t-k时刻的虚拟平面作为特征点的投影平面
Figure GSA000001023304000518
并连接以t-k时刻的虚拟相机坐标系的原点为端点并经过该特征点的射线，将该射线与该投影平面
Figure GSA000001023304000520
的交点作为该特征点
Figure GSA000001023304000521
的投影点；运动特征点判断单元，根据上述投影点对运算单元所计算的各特征点对
Figure GSA000001023304000522
j≥1中的特征点
Figure GSA000001023304000523
的投影点及特征点
Figure GSA000001023304000524
的投影点，对于每一个特征点对
Figure GSA000001023304000525
由特征点
Figure GSA000001023304000526
的投影点及特征点
Figure GSA000001023304000527
的投影点构成位移向量，并根据该位移向量的方向判断该特征点
Figure GSA000001023304000528
是否为运动的特征点，由此检测出上述大视角相机所拍摄的t时刻的图像中的运动特征点。
根据本发明的运动特征点检测方法及装置，适用于移动大视角相机的运动特征点检测，不需要进行图像成像面的校正，避免了图像校正过程所带来的信息损失，而且算法简单，检测效果好，易于实现。
而且，在上述运动特征点检测方法中，也可以还包括：运动特征点集合获取步骤，根据上述运动特征点判断步骤判断为是运动的特征点的全部特征点
Figure GSA000001023304000529
获取运动特征点集合；以及运动目标区域生成步骤，根据上述运动特征点集合获取步骤所获取的运动特征点集合，生成上述大视角相机所拍摄的t时刻的图像中的运动目标区域。
而且，在上述运动特征点检测装置中，也可以还包括：运动特征点集合获取单元，根据上述运动特征点判断单元判断为是运动的特征点的全部特征点
Figure GSA00000102330400061
获取运动特征点集合；以及运动目标区域生成单元，根据上述运动特征点集合获取单元所获取的运动特征点集合，生成上述大视角相机所拍摄的t时刻的图像中的运动目标区域。
由此，在检测出大视角相机所拍摄的图像中的运动特征点的基础上，还能够检测出该图象中的运动目标。
而且，在上述运动特征点检测方法及装置中，也可以在计算投影点对的过程中，在判断特征点
Figure GSA00000102330400062
的投影平面
Figure GSA00000102330400063
时，不使用上述按照交点与t时刻的虚拟相机坐标系的原点之间的距离来判断的方式，而是按照上述以t时刻的虚拟相机坐标系的原点为端点并经过该特征点的射线与各个坐标轴之间的夹角来进行判断。
由此，可以根据具体情况来选择判断特征点
Figure GSA00000102330400065
的投影平面
Figure GSA00000102330400066
的方式，使本发明的应用更加方便灵活。
而且，在上述运动特征点检测方法及装置中，也可以在大视角相机为全景相机的情况下，在建立虚拟平面时，在t时刻的虚拟相机坐标系和t-k时刻的虚拟相机坐标系中分别建立6个虚拟平面。
另外，在上述运动特征点检测方法及装置中，也可以在上述大视角相机为鱼眼相机的情况下，在建立虚拟平面时，在t时刻的虚拟相机坐标系和t-k时刻的虚拟相机坐标系中，与该鱼眼相机的成像视角相对应，分别建立3个虚拟平面。
由此，根据相机的成像视角来适当地选择虚拟平面的数量，能够在运动特征点检测中尽可能地使算法简化，减少运算量，加快检测过程。
附图说明
图1是本发明的实施方式1所涉及的运动特征点检测装置1的结构图。
图2是本发明的实施方式1所涉及的运动特征点检测装置1的功能模块图。
图3是表示由本发明的实施方式1所涉及的运动特征点检测装置1执行的运动特征点检测的流程图。
图4是t时刻和t-k时刻的原始相机坐标系的示意图。
图5是对t时刻的原始相机坐标系进行旋转的示意图。
图6是t时刻和t-k时刻的虚拟相机坐标系的示意图。
图7是t时刻和t-k时刻的虚拟平面的示意图。
图8是虚拟平面中的投影点所形成的位移向量的示意图。
图9是本发明的实施方式2所涉及的运动特征点检测装置10的功能模块图。
图10是表示由本发明的实施方式2所涉及的运动特征点检测装置20执行的动作的流程图。
图11是举例说明特征点聚类的说明图。
符号说明
1、10  运动特征点检测装置
2  大视角相机
11  输入接口
12  处理器
13  存储器
121 图像获取单元
122 特征点对获取单元
123 虚拟平面建立单元
124 投影点对运算单元
125 运动特征点判断单元
126 运动特征点集合获取单元
127 运动目标区域生成单元
具体实施方式
以下结合附图具体说明本发明的各实施方式。其中，以下实施方式只是用于说明本发明的优选实施方式，不对本发明的保护范围进行限定。
<实施方式1>
以下，结合图1具体说明本发明的实施方式1所涉及的运动特征点检测装置1的结构。另外，图中的宽箭头表示数据传输的方向，下同。
图1是本发明的实施方式1所涉及的运动特征点检测装置1的结构图。如图1所示，运动特征点检测装置1构成为包括输入接口11、处理器12和存储器13。以下，具体说明该运动特征点检测装置1的各硬件结构。
输入接口11用于传输数据，与大视角相机2的数据输出端口连接，从大视角相机2的数据输出端口获取该大视角相机2所拍摄的图像数据等数据。该输入接口11例如可以是通用的数据传输接口，也可以是与大视角相机2的数据输出端口对应的专用的数据传输接口。
处理器12用于执行运动特征点检测装置1所需的运算并进行相应的控制。具体而言，处理器12从输入接口11获取由大视角相机2的数据输出端口输出的图像数据等数据，对该图像数据进行运动特征点检测，并生成由大视角相机所拍摄的图像中的运动特征点。该处理器12例如可以是CPU(中央处理单元)、MPU(微处理器)等硬件结构，通过执行预先设定的程序来进行处理，对其具体结构不做特别限定。
存储器13用于存储运动特征点检测所需的数据，例如存储处理器12的处理所需的数据、以及处理器12的处理所产生的数据。具体而言，处理器12例如将运动特征点检测中产生的中间数据暂时存储在存储器13中，或将检测出的运动特征点存储在存储器13中。该存储器13例如可以是硬盘存储器、RAM(随机读取存储器)、闪存等通用的存储器。
以下，结合图2具体说明本发明的实施方式1所涉及的运动特征点检测装置1的功能模块图。
图2是本发明的实施方式1所涉及的运动特征点检测装置1的功能模块图。如图2所示，通过由上述处理器12执行预先设定的程序，能够基于以下功能模块来实现本实施方式所涉及的运动特征点检测装置1。即，运动特征点检测装置1通过图像获取单元121、特征点对获取单元122、虚拟平面建立单元123、投影点对运算单元124以及运动特征点判断单元125来实现。以下，具体说明上述各功能模块的功能。
图像获取单元121获取由大视角相机2所拍摄的t时刻的图像和t-k时刻的图像，并将t时刻的图像和t-k时刻的图像发送给特征点对获取单元122。
特征点对获取单元122获取t时刻的图像和t-k时刻的图像中匹配的特征点对
Figure GSA00000102330400091
j≥1，并将获取的特征点对
Figure GSA00000102330400092
j≥1发送给投影点对运算单元124。关于特征点对的具体获取方法留待后述。
虚拟平面建立单元123建立与t时刻和t-k时刻分别对应的两个原始相机坐标系，并旋转这两个原始相机坐标系，以使它们的光轴方向与这两个原始相机坐标系的各自的原点之间的连线的方向一致，由此生成t时刻的虚拟相机坐标系和t-k时刻的虚拟相机坐标系，并建立与这两个虚拟相机坐标系分别对应的虚拟平面
Figure GSA00000102330400093
和
Figure GSA00000102330400094
关于建立坐标系和虚拟平面的具体方法留待后述。
投影点对运算单元124根据由特征点对获取单元122获取的特征点对
Figure GSA00000102330400095
j≥1、以及由虚拟平面建立单元123建立的t时刻和t-k时刻的虚拟相机坐标系和虚拟平面
Figure GSA00000102330400096
和
Figure GSA00000102330400097
对于特征点对
Figure GSA00000102330400098
中t时刻的每一个特征点
Figure GSA00000102330400099
分别连接以t时刻所对应的虚拟相机坐标系的原点为端点并经过该特征点
Figure GSA000001023304000910
的射线，该射线与t时刻的虚拟平面
Figure GSA000001023304000911
的所有交点构成该特征点
Figure GSA000001023304000912
与上述t时刻的虚拟平面的交点集合，将该交点集合中与t时刻所对应的虚拟相机坐标系的原点最近的交点作为该特征点
Figure GSA000001023304000913
的投影点，并将该投影点所在的该t时刻的虚拟平面记为该特征点
Figure GSA000001023304000914
的投影平面
Figure GSA000001023304000915
m∈(1，...，6)。另外，投影点对运算单元124对于上述特征点对中t-k时刻的每一个特征点
Figure GSA000001023304000916
将t时刻的特征点
Figure GSA000001023304000917
所在的投影平面
Figure GSA000001023304000918
所对应的t-k时刻的虚拟平面作为特征点
Figure GSA000001023304000919
的投影平面
Figure GSA000001023304000920
并连接以t-k时刻的虚拟相机坐标系的原点为端点并经过该特征点
Figure GSA000001023304000921
的射线，将该射线与投影平面的交点作为该特征点
Figure GSA000001023304000923
的投影点。最后，投影点对运算单元124将运算出的特征点对
Figure GSA000001023304000924
j≥1中的每一个特征点的投影点及每一个特征点
Figure GSA000001023304000926
的投影点发送至运动特征点判断单元125。
运动特征点判断单元125从投影点对运算单元124接收特征点对
Figure GSA000001023304000927
j≥1中的每一个特征点的投影点及每一个特征点
Figure GSA000001023304000929
的投影点，由特征点
Figure GSA000001023304000930
的投影点及特征点
Figure GSA000001023304000931
的投影点构成位移向量，根据该位移向量的方向判断该特征点
Figure GSA000001023304000932
是否为运动的特征点。关于运动特征点的判断方法留待后述。
以下，结合图3具体说明由本发明的实施方式1所涉及的运动特征点检测装置1执行的运动特征点检测的具体流程。
图3是表示由本发明的实施方式1所涉及的运动特征点检测装置1执行的运动特征点检测的流程图。如图3所示，通过用于实现本实施方式的运动特征点检测装置1的各功能模块，该运动特征点检测装置1所执行的运动特征点检测具体包括以下步骤。
(步骤S11)
由图像获取单元121获取由大视角相机2所拍摄的t时刻的图像和t-k时刻的图像，并将t时刻的图像和t-k时刻的图像发送给特征点对获取单元122。
(步骤S12)
特征点对获取单元122对接收到的t时刻的图像，进行Harris(哈里斯)特征点检测，得到t时刻的特征点关于此处的特征点检测方法，可以利用现有技术中的任何一种特征点检测技术，只要该特征点检测技术能够有效地提取出特征点并且满足所要求的运算效率就可以，不限定为Harris特征点检测。
然后，特征点对获取单元122对接收到的t-k时刻的图像，采用Lucasand Kanade’s(卢卡斯和卡纳德)特征点跟踪方法，得到t-k时刻的图像中的与t时刻的特征点
Figure GSA00000102330400102
匹配的特征点关于此处的特征点匹配方法，可以利用现有技术中的任何一种特征点匹配技术，只要该特征点匹配技术能够有效地得到匹配特征点并且满足所要求的运算效率就可以，不限定为Lucas and Kanade’s特征点跟踪方法。
由此，特征点对获取单元122得到多个特征点对j≥1，并发送给投影点对运算单元124。
(步骤S13)
虚拟平面建立单元123建立与t时刻和t-k时刻分别对应的两个原始相机坐标系。具体而言，以相机的光心为坐标系原点o，建立原始相机坐标系O-XYZ，其中，OZ轴与相机光轴重合。如图4所示，在t-k时刻，以相机的光心作为坐标系原点Ot-k，建立t-k时刻的原始相机坐标系Ot-k-Xt-kYt-kZt-k，其中，Ot-k-Zt-k与相机光轴重合。另外，在t时刻，以相机的光心作为坐标系原点Ot，建立t时刻的原始相机坐标系Ot-XtYtZt，其中，Ot-Zt与相机光轴重合。
另外，通过传感器或经典方法得到相机的运动参数α，β，γ，T，其中T＝(Tx，Ty，Tz)，依次为自车从t-k时刻运动到t时刻绕X，Y，Z轴的旋转角和沿X，Y，Z轴方向的平移量。上述传感器可以使用速度传感器或陀螺仪传感器等，不做特别限定。另外，上述经典方法可以使用光流方法、运动恢复结构(Structure from Motion，SFM)的方法等，也不做特别限定。
接着，如图5所示，将坐标系Ot-XtYtZt依次绕Z，Y，X轴旋转-γ，-β，-α角度，得到坐标系Ot”-Xt”Yt”Zt”。
然后，如图6所示，将坐标系Ot-k-Xt-kYt-kZt-k绕向量(Tx，Ty，Tz)×(0，0，1)旋转角度
Figure GSA00000102330400111
得到Ot-k’-Xt-k’Yt-k’Zt-k’。
同样，如图6所示，将坐标系Ot”-Xt”Yt”Zt”绕向量(Tx，Ty，Tz)×(0，0，1)旋转角度
Figure GSA00000102330400112
得到Ot’-Xt’Yt’Zt’。
这样，得到了t时刻的虚拟相机坐标系Ot’-XtYtZt和t-k时刻的虚拟相机坐标系Ot-k’-Xt-k’Yt-k’Zt-k’。其中，t时刻的虚拟相机坐标系Ot’-Xt’Yt’Zt’以t时刻的原始相机坐标系Ot-XtYtZt的原点Ot作为原点，t-k时刻的虚拟相机坐标系Ot-k’-Xt-k’Yt-k’Zt-k’以t-k时刻的原始相机坐标系Ot -k-Xt-kYt-kZt-k的原点Ot-k作为原点。而且，t时刻的虚拟相机坐标系Ot’-Xt’Yt’Zt’的Zt’轴和t-k时刻的虚拟相机坐标系Ot-k’-Xt-k’Yt-k’Zt-k’的Zt-k’轴均与相机光心连线Ot-k-Ot重合。
接着，如图9所示，在t时刻的虚拟相机坐标系Ot’-XtYtZt和t-k时刻的虚拟相机坐标系Ot-k’-Xt-k’Yt-k’Zt-k’中分别建立虚拟平面和
Figure GSA00000102330400114
其中，在各自的虚拟相机坐标系Ot’-XtYtZk和Ot-k’-Xt-k’Yt -k’Zt-k’中，虚拟平面的方程在i＝1时分别为X＝1，在i＝2时分别为X＝-1，在i＝3时分别为Z＝1，在i＝4时分别为Z＝-1，在i＝5时分别为Y＝1，在i＝6时分别为Y＝-1。
(步骤S14)
投影点对运算单元124根据由特征点对获取单元122获取的特征点对
Figure GSA00000102330400121
j≥1以及由虚拟平面建立单元123建立的t时刻的虚拟相机坐标系Ot’-XtYtZt和t-k时刻的虚拟相机坐标系Ot-k’-Xt-k’Yt-k’Zt-k’，计算该特征点对
Figure GSA00000102330400122
j≥1中的特征点
Figure GSA00000102330400123
在t时刻的虚拟相机坐标系Ot’-XtYtZt下的坐标、以及特征点
Figure GSA00000102330400124
在t-k时刻的虚拟相机坐标系Ot-k’-Xt-k’Yt-k’Zt -k’下的坐标。
以下对这一过程进行具体说明。首先，以大视角相机2所拍摄的图像的左上角为原点建立图像坐标系o-uv。设空间中一点P(x，y，z)在图像中的成像点p(u，v)，即，p(u，v)＝M(P(x，y，z))，映射关系函数M可以由相机校正算法得到。但是，图像中的成像点p(u，v)到空间中点P(x，y，z)的映射却不是唯一的，射线OP上所有的点都是可能的映射点。因此，定义点的空间归一化坐标，即：对于空间中除原点以外的任意一点P(x，y，z)，它的空间归一化坐标为Ps(xs，ys，zs)，当且仅当
(式1)
x s y s z s = k x y z , k > 0
其中， x s 2 + y s 2 + z s 2 = 1
根据上述定义可知，射线OP上除O点外的点的空间归一化坐标是相同的，由映射M可以求出由大视角相机2所拍摄的图像中的点到空间归一化点的映射关系，令此映射关系为M′，有Ps(xs，ys，zs)＝M′(p(u，v))。
按照以上空间归一化坐标的定义，分别计算特征点
Figure GSA00000102330400127
以及特征点
Figure GSA00000102330400128
的空间归一化坐标
Figure GSA00000102330400129
和
Figure GSA000001023304001210
接着，分别计算
Figure GSA000001023304001211
在t时刻的虚拟相机坐标系Ot’-XtYtZt下的坐标
Figure GSA000001023304001212
以及
Figure GSA000001023304001213
在t-k时刻的虚拟相机坐标系Ot-k’-Xt-k’Yt-k’Zt-k’下的坐标
Figure GSA000001023304001214
计算公式如下：
(式2)
x s , j t &prime; y s , j t &prime; z s , j t &prime; = R - 1 r - 1 x s , j t y s , j t z s , j t x s , j t - k &prime; y s , j t - k &prime; z s , j t - k &prime; = R - 1 x s , j t - k y s , j t - k z s , j t - k
r = cos &gamma; cos &beta; cos &gamma; sin &beta; sin &alpha; - sin &gamma; cos &alpha; cos &gamma; sin &beta; cos &alpha; + sin &gamma; sin &alpha; sin &gamma; cos &beta; sin &gamma; sin &beta; sin &alpha; + cos &gamma; cos &alpha; sin &gamma; sin &beta; cos &alpha; - cos &gamma; sin &alpha; - sin &beta; cos &beta; sin &alpha; cos &beta; cos &alpha;
R = n 1 2 + ( 1 - n 1 2 ) cos &theta; n 1 n 2 ( 1 - cos &theta; ) - n 3 sin &theta; n 1 n 3 ( 1 - cos &theta; ) + n 2 sin &theta; n 1 n 2 ( 1 - cos &theta; ) + n 3 sin &theta; n 2 2 + ( 1 - n 2 2 ) cos &theta; n 2 n 3 ( 1 - cos &theta; ) - n 1 sin &theta; n 1 n 3 ( 1 - cos &theta; ) - n 2 sin &theta; n 2 n 3 ( 1 - cos &theta; ) + n 1 sin &theta; n 3 2 + ( 1 - n 3 2 ) cos &theta;
其中，
( n 1 , n 2 , n 3 ) = ( T x , T y , T z ) &times; ( 0,0,1 ) | ( T x , T y , T z ) &times; ( 0,0,1 ) | &theta; = arctg T x 2 + T y 2 T z
然后，投影点对运算单元124根据由虚拟平面建立单元123建立的虚拟平面和
Figure GSA00000102330400136
计算特征点
Figure GSA00000102330400137
和
Figure GSA00000102330400138
各自的投影点和投影平面。
具体而言，在t时刻的虚拟相机坐标系Ot’-XtYtZt下，对于每个坐标
Figure GSA00000102330400139
将该坐标
Figure GSA000001023304001310
与坐标原点Ot’连接，得到射线Ot’
Figure GSA000001023304001311
将射线Ot’
Figure GSA000001023304001312
与虚拟平面
Figure GSA000001023304001313
的交点作为该坐标
Figure GSA000001023304001314
的投影点。其中，如果存在多个交点，则将距离原点Ot’最近的交点作为投影点。将由此得到的投影点作为该特征点
Figure GSA000001023304001315
的投影点并将该投影点所在的该t时刻的虚拟平面作为该特征点
Figure GSA000001023304001317
的投影平面
Figure GSA000001023304001318
m∈(1，...，6)。
接着，在t-k时刻的虚拟相机坐标系Ot-k’-Xt-k’Yt-k’Zt-k’下，对于每个坐标将t时刻的特征点
Figure GSA000001023304001320
所在的投影平面
Figure GSA000001023304001321
所对应的t-k时刻的虚拟平面作为坐标
Figure GSA000001023304001322
的投影平面
Figure GSA000001023304001323
这里，所谓对应，指的是t时刻的特征点
Figure GSA000001023304001324
所在的投影平面
Figure GSA000001023304001325
与t-k时刻的虚拟平面的投影平面
Figure GSA000001023304001326
中m相等，也就是说两个投影平面在各自坐标系下的方程相同。然后，将坐标
Figure GSA000001023304001327
与坐标原点Ot-k’连接，得到射线将该射线与投影平面
Figure GSA000001023304001330
的交点作为该坐标的投影点，也就是特征点
Figure GSA000001023304001332
的投影点
Figure GSA000001023304001333
最后，投影点对运算单元124将特征点对
Figure GSA00000102330400141
j≥1中的每一个特征点的上述投影点
Figure GSA00000102330400143
及每一个特征点的上述投影点发送至运动特征点判断单元125。
(步骤S15)
运动特征点判断单元125从投影点对运算单元124接收特征点对
Figure GSA00000102330400146
j≥1中的每一个特征点
Figure GSA00000102330400147
的投影点
Figure GSA00000102330400148
及每一个特征点
Figure GSA00000102330400149
的投影点
Figure GSA000001023304001410
由此判断该特征点
Figure GSA000001023304001411
是否为运动的特征点。以下详细说明具体判断方法。
在建立虚拟平面时，已经将t和t-k两个时刻的原始相机坐标系Ot-XtYtZt和Ot-k-Xt-kYt-kZt-k做了适当旋转而得到虚拟相机坐标系Ot’-Xt’Yt’Zt’和Ot-k’-Xt-k’Yt-k’Zt-k’。在虚拟相机坐标系Ot’-Xt’Yt’Zt’和Ot-k’-Xt-k’Yt-k’Zt -k’之间，只存在沿Z轴的平移。因此，如果空间静止点被投影到了与直线Ot’Ot-k’平行的虚拟平面
Figure GSA000001023304001412
和
Figure GSA000001023304001413
(m∈1、2、5、6)上，则该空间静止点的投影点与
Figure GSA000001023304001415
所形成的位移向量也应与Ot’Ot-k’平行，方向为水平向右或水平向左。此外，如果空间静止点被被投影到了与直线Ot’Ot-k’平行的虚拟平面
Figure GSA000001023304001416
和
Figure GSA000001023304001417
(m∈3，4)上，则该空间静止点的投影点
Figure GSA000001023304001418
与
Figure GSA000001023304001419
所形成的位移向量为指向虚拟平面的中心或由中心向外。其中，在m＝3和m＝4时，该空间静止点的投影点与
Figure GSA000001023304001421
所形成的位移向量的指向恰好相反。图8是虚拟平面中的投影点所形成的位移向量的示意图。在图8(A)中，示出了在虚拟平面(m＝1)中的投影点
Figure GSA000001023304001422
与
Figure GSA000001023304001423
所形成的位移向量。在图8(B)中，示出了在虚拟平面(m＝3)中的投影点
Figure GSA000001023304001424
与
Figure GSA000001023304001425
所形成的位移向量。这里，假设相机平移时Tz＞0。
上述判断方法例如通过下述具体方法来实现。
首先，根据自车运动参数可求得坐标系Ot’-Xt’Yt’Zt’的坐标原点Ot’在坐标系Ot-k’-Xt-k’Yt-k’Zt-k’中的坐标为
Figure GSA000001023304001426
设特征点
Figure GSA000001023304001427
的投影点
Figure GSA000001023304001428
在坐标系Ot’-Xt’Yt’Zt’中的3维坐标表示为(x′t，y′t，z′t)，特征点
Figure GSA000001023304001429
的投影点在坐标系Ot-k’-Xt-k’Yt-k’Zt-k’中的3维坐标表示为(x′t-k，y′t-k，z′t-k)。
接着，计算特征点的投影点
Figure GSA000001023304001432
与特征点
Figure GSA000001023304001433
的投影点
Figure GSA000001023304001434
所形成的位移向量与标准方向的夹角φ，其中0≤φ≤180°。具体而言，包括以下情况：
1.在特征点
Figure GSA00000102330400151
的投影平面
Figure GSA00000102330400152
和特征点
Figure GSA00000102330400153
的投影平面
Figure GSA00000102330400154
中，如果m∈1、2，则φ为向量(0，y′t-y′t-k，z′t-z′t-k)与向量
Figure GSA00000102330400155
的夹角。
2.在特征点
Figure GSA00000102330400156
的投影平面
Figure GSA00000102330400157
和特征点
Figure GSA00000102330400158
的投影平面
Figure GSA00000102330400159
中，如果m＝3，则φ为向量(x′t-x′t-k，y′t-y′t-k，0)与向量(x′t-0，y′t-0，0).sign(Tz)的夹角。
3.在特征点的投影平面
Figure GSA000001023304001511
和特征点的投影平面
Figure GSA000001023304001513
中，如果m＝4，则φ为向量(x′t-x′t-k，y′t-y′t-k，0)与-(x′t-0，y′t-0，0).sign(Tz)的夹角。
4.在特征点
Figure GSA000001023304001514
的投影平面
Figure GSA000001023304001515
和特征点
Figure GSA000001023304001516
的投影平面中，如果m∈5、6，则φ为向量(x′t-x′t-k，0，z′t-z′t-k)与向量的夹角。
在上述情况中，如果φ≥Thre1，则特征点
Figure GSA000001023304001519
为运动特征点。其中，Thre1为预先设定的角度阈值。例如，Thre1可以设定为15度。但该角度阈值并不限定为15度，可以根据实际情况灵活选择。
这样，运动特征点判断单元125按照上述过程来判断各特征点
Figure GSA000001023304001520
是否为运动特征点，由此得到在大视角相机2所拍摄的图像中的运动特征点。
以上，结合附图具体说明了本发明的实施方式1所涉及的运动特征点检测装置1的结构、功能模块以及由该运动特征点检测装置1执行的运动特征点检测方法的具体流程。根据本发明的实施方式1所涉及的运动特征点检测方法及装置，适用于移动大视角相机的运动特征点检测，不需要进行图像成像面的校正，避免了图像校正过程所带来的信息损失，而且算法简单，检测效果好，易于实现。
<实施方式2>
本发明的实施方式2所涉及的运动特征点检测装置10构成为包括输入接口11、处理器12和存储器13，与实施方式1相同，在此不做赘述。
图9是本发明的实施方式2所涉及的运动特征点检测装置10的功能模块图。如图9所示，通过由上述处理器12执行预先设定的程序，能够基于以下功能模块来实现本实施方式所涉及的运动特征点检测装置10。即，运动特征点检测装置10通过图像获取单元121、特征点对获取单元122、虚拟平面建立单元123、投影点对运算单元124、运动特征点判断单元125’、运动特征点集合获取单元126以及运动目标区域生成单元127来实现。也就是说，在实施方式1的运动特征点检测装置1的基础上增加了运动特征点集合获取单元126以及运动目标区域生成单元127。
以下，具体说明上述各功能模块的功能。其中，图像获取单元121、特征点对获取单元122、虚拟平面建立单元123和投影点对运算单元124与实施方式1相同，在此不做赘述。
运动特征点判断单元125’与实施方式1相同地检测出由大视角相机2拍摄的t时刻的图像中被判断为是运动的特征点的各特征点
Figure GSA00000102330400161
并将这些运动特征点
Figure GSA00000102330400162
发送至运动特征点集合获取单元126。
运动特征点集合获取单元126从运动特征点判断单元125接收被判断为是运动的特征点的各特征点
Figure GSA00000102330400163
由此得到运动特征点集合，并将运动特征点集合发送至运动目标区域生成单元127。
运动目标区域生成单元127从运动特征点集合获取单元126接收运动特征点集合，并根据该运动特征点集合生成大视角相机所拍摄的t时刻的图像中的运动目标区域。关于运动目标区域的具体生成方法留待后述。
以下，结合图10具体说明由本发明的实施方式2所涉及的运动特征点检测装置10执行的动作的具体流程。如图10所示，运动特征点检测装置10的动作流程中，步骤S11～S14都与实施方式1相同，在此不做赘述。
(步骤S15’)
运动特征点判断单元125’与实施方式1相同地检测出由大视角相机2拍摄的t时刻的图像中被判断为是运动的特征点的各特征点
Figure GSA00000102330400164
并将这些运动特征点
Figure GSA00000102330400165
发送至运动特征点集合获取单元126。
(步骤S16)
运动特征点集合获取单元126根据被判断为是运动的特征点的各特征点
Figure GSA00000102330400166
得到运动特征点集合，并将该运动特征点集合发送至运动目标区域生成单元127。
(步骤S17)
运动目标区域生成单元127接收该运动特征点集合，并根据该运动特征点集合生成大视角相机所拍摄的t时刻的图像中的运动目标区域。例如可以对该运动特征点集合中的全部运动特征点进行特征点聚类，来得到运动目标区域。具体而言，例如可以采用以下方法。
即，对由大视角相机2拍摄的图像进行无重叠子块分割。在每一个子块(sub block)中，计算上述运动特征点集合中的运动特征点占总特征点数量的比率λ，当λ≥Thre3时标记该子块。其中，阈值Thre3例如可以设定为0.5。但是，该阈值Thre3不限定为0.5，也可以根据实际情况灵活选择。
然后，对所有被标记的子块进行8连通区域增长，由此得到运动目标区域。其中，所谓8连通区域，指的是如果某子块的上下左右的4个相邻子块以及对角线方向(左上、左下、右上、右下)的4个子块这8个子块。
以下举例说明上述特征点聚类。图11是举例说明特征点聚类的说明图。图11(A)示出了运动目标区域生成单元127接收的运动特征点集合中的全部运动特征点。通过如上所述的特征点聚类方法，按照距离聚类生成了图11(B)所示的运动目标区域。
以上，结合附图具体说明了本发明的实施方式2所涉及的运动特征点检测装置10的结构、功能模块以及由该运动特征点检测装置10执行的运动特征点检测方法的具体流程。根据本发明的实施方式2所涉及的运动特征点检测方法及装置，在检测出由移动大视角相机所拍摄的运动特征点的基础上，还能够进一步检测出该图像中的运动目标。不需要进行图像成像面的校正，避免了图像校正过程所带来的信息损失，而且算法简单，检测效果好，易于实现。
但是，本实施方式并不限于此，例如还可以进行以下变形。
例如，在上述实施方式1、2中，具体说明了由特征点对获取单元122执行的步骤S12和由虚拟平面建立单元123执行的步骤S13。其中，步骤12和步骤13既可以先后执行，也可以并行，不做特别限定。通过并行地进行这两个步骤，能够节省运算时间，加快检测过程。
另外，在上述实施方式1、2中，虚拟平面建立单元123在t时刻的虚拟相机坐标系Ot’-XtYtZt和t-k时刻的虚拟相机坐标系Ot-k’-Xt-k’Yt-k’Zt-k’中分别建立6个虚拟平面和由此，能够适用于全景相机(成像视角例如为360度)。但是，在实际应用中，也可以根据相机的具体成像视角、以及所关心的运动特征点检测区域，灵活选择建立虚拟平面的个数。例如，在常用的鱼眼相机中，仅在相机前侧的水平方向成像视角达到180度。此时，在t时刻的虚拟相机坐标系Ot’-XtYtZt和t-k时刻的虚拟相机坐标系Ot-k’-Xt-k’Yt-k’Zt-k’中，虚拟平面建立单元123可以仅分别建立前、左、右3个虚拟平面，即i＝1，2，3，在i＝1时X＝1，在i＝2时X＝-1，在i＝3时Z＝1。由此，能够进一步减少运算量，加快检测过程。
另外，在上述实施方式1、2中，由于在投影点对运算单元124的运算中使用了以上说明的归一化方法，所以虚拟平面建立单元123所建立的虚拟平面
Figure GSA00000102330400183
和
Figure GSA00000102330400184
的方程为i＝1时X＝1，在i＝2时X＝-1，在i＝3时Z＝1，在i＝4时Z＝-1，在i＝5时Y＝1，在i＝6时Y＝-1。但是，根据投影点对运算单元124的运算方法不同，也可以适当地选择虚拟平面的方程，并不限定于上述情况。另外，在适用于常用的鱼眼相机而建立3个虚拟平面时，以上说明了在i＝1时X＝1、在i＝2时X＝-1、在i＝3时Z＝1的例子，但同样也可以根据投影点对运算单元124的运算方法而适当地选择虚拟平面的方程。
另外，在上述实施方式1、2中，投影点对运算单元124在决定特征点
Figure GSA00000102330400185
的投影点
Figure GSA00000102330400186
和投影平面
Figure GSA00000102330400187
m∈(1，...，6)时，如果射线Ot’
Figure GSA00000102330400188
与虚拟平面
Figure GSA00000102330400189
存在多个交点，则将距离原点Ot’最近的交点作为投影点，并将该投影点所在的该t时刻的虚拟平面作为该特征点的投影平面m∈(1，...，6)。但是，此时也可以不按照上述交点与原点Ot’的距离，而按照上述射线Ot’与各个坐标轴之间的夹角，通过预先设定阈值来决定。具体而言，例如可以设定当射线Ot’
Figure GSA000001023304001813
与其所在的虚拟相机坐标系Ot’-XtYtZt的Xt轴正方向夹角小于或等于45度时，判断为该特征点
Figure GSA000001023304001814
的投影平面为
Figure GSA000001023304001815
(虚拟平面方程X＝1)，另外，当射线Ot’
Figure GSA000001023304001816
与其所在的虚拟相机坐标系Ot’-XtYtZt的Xt轴负方向夹角小于或等于45度时，判断为该特征点
Figure GSA000001023304001817
的投影平面为
Figure GSA00000102330400191
(虚拟平面方程X＝-1)，其他各投影平面也可以类似地确定。而且，阈值也可以不设定为45度，而是根据需要灵活调节。由此，能够与实际情况相应地选择投影平面的判断方法和判断阈值，使本发明的应用更加方便灵活。
另外，根据上述实施方式1、2，如果运动目标沿着光心方向移动，则可能存在物体虽然运动也检测不出来的情况。在这种情况下，可以将实施方式1、2与现有技术中通用的方法结合使用。
以上具体说明了本发明的具体实施方式和部分变形例，但本发明不限于这些实施方式和变形例。在本发明的发明实质范围内，可以进行各种变形和组合，这些变形和组合都包括在本发明的保护范围之中。

Claims (10)

1.一种运动特征点检测方法，用于大视角相机，其特征在于，包括以下步骤：
图像获取步骤，获取由上述大视角相机所拍摄的t时刻的图像和t-k时刻的图像；
特征点对获取步骤，根据上述图像获取步骤所获取的上述t时刻的图像和t-k时刻的图像，获取该t时刻的图像和t-k时刻的图像中匹配的各特征点对
Figure FSA00000102330300011
j≥1；
虚拟平面建立步骤，建立与t时刻对应的原始相机坐标系和与t-k时刻对应的原始相机坐标系，并旋转这两个原始相机坐标系以使它们的光轴方向都与这两个原始相机坐标系的各自的原点之间的连线方向一致，由此生成t时刻的虚拟相机坐标系和t-k时刻的虚拟相机坐标系，并与上述大视角相机的成像视角相对应，在t时刻的虚拟相机坐标系中建立t时刻的a个虚拟平面
Figure FSA00000102330300012
(1≤a≤6，i＝1，...，a)，在t-k时刻的虚拟相机坐标系中建立t-k时刻的a个虚拟平面
Figure FSA00000102330300013
投影点对运算步骤，根据上述特征点对获取步骤所获取的各特征点对
Figure FSA00000102330300014
j≥1、以及上述虚拟平面建立步骤所建立的t时刻和t-k时刻的虚拟相机坐标系和虚拟平面，对于每一个特征点对
Figure FSA00000102330300015
对其中t时刻的特征点
Figure FSA00000102330300016
分别连接以t时刻的虚拟相机坐标系的原点为端点并经过该特征点的射线，该射线与t时刻的虚拟平面
Figure FSA00000102330300018
的所有交点构成该特征点
Figure FSA00000102330300019
与上述t时刻的虚拟平面的交点集合，将该交点集合中与t时刻的虚拟相机坐标系的原点之间的距离最近的交点作为该特征点
Figure FSA000001023303000111
的投影点，并将该投影点所在的该t时刻的虚拟平面记为该特征点
Figure FSA000001023303000112
的投影平面
Figure FSA000001023303000113
m∈(1，...，a)，另外，对上述特征点对
Figure FSA000001023303000114
中t-k时刻的特征点
Figure FSA000001023303000115
将上述t时刻的特征点
Figure FSA000001023303000116
的投影平面
Figure FSA000001023303000117
所对应的t-k时刻的虚拟平面作为特征点
Figure FSA000001023303000118
的投影平面并连接以t-k时刻的虚拟相机坐标系的原点为端点并经过该特征点的射线，将该射线与该投影平面
Figure FSA000001023303000121
的交点作为该特征点
Figure FSA000001023303000122
的投影点；以及
运动特征点判断步骤，根据上述投影点对运算步骤所计算的各特征点对
Figure FSA00000102330300021
j≥1中的特征点
Figure FSA00000102330300022
的投影点及特征点
Figure FSA00000102330300023
的投影点，对于每一个特征点对
Figure FSA00000102330300024
由特征点
Figure FSA00000102330300025
的投影点及特征点
Figure FSA00000102330300026
的投影点构成位移向量，并根据该位移向量的方向判断该特征点
Figure FSA00000102330300027
是否为运动的特征点，由此检测出上述大视角相机所拍摄的t时刻的图像中的运动特征点。
2.如权利要求1记载的运动特征点检测方法，其特征在于，还包括：
运动特征点集合获取步骤，根据上述运动特征点判断步骤判断为是运动的特征点的全部特征点
Figure FSA00000102330300028
获取运动特征点集合；以及
运动目标区域生成步骤，根据上述运动特征点集合获取步骤所获取的运动特征点集合，生成上述大视角相机所拍摄的t时刻的图像中的运动目标区域。
3.如权利要求1记载的运动特征点检测方法，其特征在于，
在上述投影点对运算步骤中，在判断特征点
Figure FSA00000102330300029
的投影平面
Figure FSA000001023303000210
时，不使用上述按照交点与t时刻的虚拟相机坐标系的原点之间的距离来判断的方式，而是按照上述以t时刻的虚拟相机坐标系的原点为端点并经过该特征点
Figure FSA000001023303000211
的射线与各个坐标轴之间的夹角来进行判断。
4.如权利要求1记载的运动特征点检测方法，其特征在于，
在上述大视角相机为全景相机的情况下，在上述虚拟平面建立步骤中，在t时刻的虚拟相机坐标系和t-k时刻的虚拟相机坐标系中分别建立6个虚拟平面。
5.如权利要求1记载的运动特征点检测方法，其特征在于，
在上述大视角相机为鱼眼相机的情况下，在上述虚拟平面建立步骤中，在t时刻的虚拟相机坐标系和t-k时刻的虚拟相机坐标系中，与该鱼眼相机的成像视角相对应，分别建立3个虚拟平面。
6.一种运动特征点检测装置，用于大视角相机，其特征在于，包括：图像获取单元，获取由上述大视角相机所拍摄的t时刻的图像和t-k时刻的图像；
特征点对获取单元，根据上述图像获取单元所获取的上述t时刻的图像和t-k时刻的图像，获取该t时刻的图像和t-k时刻的图像中匹配的各特征点对
Figure FSA00000102330300031
j≥1；
虚拟平面建立单元，建立与t时刻对应的原始相机坐标系和与t-k时刻对应的原始相机坐标系，并旋转这两个原始相机坐标系以使它们的光轴方向都与这两个原始相机坐标系的各自的原点之间的连线方向一致，由此生成t时刻的虚拟相机坐标系和t-k时刻的虚拟相机坐标系，并与上述大视角相机的成像视角相对应，在t时刻的虚拟相机坐标系中建立t时刻的a个虚拟平面(1≤a≤6，i＝1，...，a)，在t-k时刻的虚拟相机坐标系中建立t-k时刻的a个虚拟平面
Figure FSA00000102330300033
投影点对运算单元，根据上述特征点对获取单元所获取的各特征点对
Figure FSA00000102330300034
j≥1、以及上述虚拟平面建立单元所建立的t时刻和t-k时刻的虚拟相机坐标系和虚拟平面，对于每一个特征点对
Figure FSA00000102330300035
对其中t时刻的特征点
Figure FSA00000102330300036
分别连接以t时刻的虚拟相机坐标系的原点为端点并经过该特征点
Figure FSA00000102330300037
的射线，该射线与t时刻的虚拟平面的所有交点构成该特征点
Figure FSA00000102330300039
与上述t时刻的虚拟平面的交点集合，将该交点集合中与t时刻的虚拟相机坐标系的原点之间的距离最近的交点作为该特征点
Figure FSA000001023303000311
的投影点，并将该投影点所在的该t时刻的虚拟平面记为该特征点
Figure FSA000001023303000312
的投影平面
Figure FSA000001023303000313
m∈(1，...，a)，另外，对上述特征点对
Figure FSA000001023303000314
中t-k时刻的特征点将上述t时刻的特征点
Figure FSA000001023303000316
的投影平面所对应的t-k时刻的虚拟平面作为特征点
Figure FSA000001023303000318
的投影平面
Figure FSA000001023303000319
并连接以t-k时刻的虚拟相机坐标系的原点为端点并经过该特征点的射线，将该射线与该投影平面
Figure FSA000001023303000321
的交点作为该特征点
Figure FSA000001023303000322
的投影点；
运动特征点判断单元，根据上述投影点对运算单元所计算的各特征点对
Figure FSA000001023303000323
j≥1中的特征点
Figure FSA000001023303000324
的投影点及特征点的投影点，对于每一个特征点对
Figure FSA000001023303000326
由特征点
Figure FSA000001023303000327
的投影点及特征点
Figure FSA000001023303000328
的投影点构成位移向量，并根据该位移向量的方向判断该特征点
Figure FSA000001023303000329
是否为运动的特征点，由此检测出上述大视角相机所拍摄的t时刻的图像中的运动特征点。
7.如权利要求6记载的运动特征点检测装置，其特征在于，还包括：运动特征点集合获取单元，根据上述运动特征点判断单元判断为是运动的特征点的全部特征点
Figure FSA00000102330300041
获取运动特征点集合；以及
运动目标区域生成单元，根据上述运动特征点集合获取单元所获取的运动特征点集合，生成上述大视角相机所拍摄的t时刻的图像中的运动目标区域。
8.如权利要求6记载的运动特征点检测装置，其特征在于，
上述投影点对运算单元在判断特征点
Figure FSA00000102330300042
的投影平面时，不使用上述按照交点与t时刻的虚拟相机坐标系的原点之间的距离来判断的方式，而是按照上述以t时刻的虚拟相机坐标系的原点为端点并经过该特征点
Figure FSA00000102330300044
的射线与各个坐标轴之间的夹角来进行判断。
9.如权利要求6记载的运动特征点检测装置，其特征在于，
在上述大视角相机为全景相机的情况下，上述虚拟平面建立单元在t时刻的虚拟相机坐标系和t-k时刻的虚拟相机坐标系中分别建立6个虚拟平面。
10.如权利要求6记载的运动特征点检测装置，其特征在于，
在上述大视角相机为鱼眼相机的情况下，上述虚拟平面建立单元在t时刻的虚拟相机坐标系和t-k时刻的虚拟相机坐标系中，与该鱼眼相机的成像视角相对应，分别建立3个虚拟平面。
CN201010173489.4A 2010-05-13 2010-05-13 运动特征点检测方法及装置 Expired - Fee Related CN102243764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010173489.4A CN102243764B (zh) 2010-05-13 2010-05-13 运动特征点检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010173489.4A CN102243764B (zh) 2010-05-13 2010-05-13 运动特征点检测方法及装置

Publications (2)

Publication Number Publication Date
CN102243764A true CN102243764A (zh) 2011-11-16
CN102243764B CN102243764B (zh) 2015-07-15

Family

ID=44961802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010173489.4A Expired - Fee Related CN102243764B (zh) 2010-05-13 2010-05-13 运动特征点检测方法及装置

Country Status (1)

Country Link
CN (1) CN102243764B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685866A (zh) * 2012-09-05 2014-03-26 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置
CN104764520A (zh) * 2015-04-10 2015-07-08 上海理工大学 低帧率相机大视场振动测量装置
CN105635719A (zh) * 2014-11-20 2016-06-01 三星电子株式会社 用于校准图像的方法和设备
CN106157367A (zh) * 2015-03-23 2016-11-23 联想(北京)有限公司 三维场景重建方法和设备
CN108280444A (zh) * 2018-02-26 2018-07-13 江苏裕兰信息科技有限公司 一种基于车辆环视图的快速运动物体检测方法
CN109186969A (zh) * 2018-07-28 2019-01-11 西安交通大学 一种伺服进给运动动态性能视觉检测方法
CN109902725A (zh) * 2019-01-31 2019-06-18 北京达佳互联信息技术有限公司 移动目标的检测方法、装置及电子设备和存储介质
CN110556000A (zh) * 2018-06-04 2019-12-10 义硕智能股份有限公司 人工智慧交通检测系统
CN110956065A (zh) * 2019-05-11 2020-04-03 初速度（苏州）科技有限公司 一种用于模型训练的人脸图像处理方法及装置
CN111754543A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统
CN111860270A (zh) * 2020-07-13 2020-10-30 辽宁石油化工大学 一种基于鱼眼相机的障碍物检测方法及装置
WO2022073290A1 (zh) * 2020-10-08 2022-04-14 深圳市精锋医疗科技有限公司 手术机器人及其图形化控制装置、图形化显示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1968405A (zh) * 2005-11-14 2007-05-23 耿征 广角或超广角全方位视觉监控方法和系统
WO2008146114A2 (en) * 2007-06-01 2008-12-04 Toyota Jidosha Kabushiki Kaisha Measurement device, measurement method, program, and computer readable medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1968405A (zh) * 2005-11-14 2007-05-23 耿征 广角或超广角全方位视觉监控方法和系统
WO2008146114A2 (en) * 2007-06-01 2008-12-04 Toyota Jidosha Kabushiki Kaisha Measurement device, measurement method, program, and computer readable medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAIN,N. ET AL.: "Fast Feature Point Detector", 《IEEE INTERNATIONAL CONFERENCE ON SIGNAL IMAGE TECHNOLOGY AND INTERNET BASED SYSTEMS，2008》 *
夏一民 等: "基于多尺度下特征点的检测", 《计算机工程与设计》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685866A (zh) * 2012-09-05 2014-03-26 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置
CN103685866B (zh) * 2012-09-05 2016-12-21 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置
CN105635719A (zh) * 2014-11-20 2016-06-01 三星电子株式会社 用于校准图像的方法和设备
US11140374B2 (en) 2014-11-20 2021-10-05 Samsung Electronics Co., Ltd. Method and apparatus for calibrating image
US10506213B2 (en) 2014-11-20 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for calibrating image
CN106157367A (zh) * 2015-03-23 2016-11-23 联想(北京)有限公司 三维场景重建方法和设备
CN106157367B (zh) * 2015-03-23 2019-03-08 联想(北京)有限公司 三维场景重建方法和设备
CN104764520A (zh) * 2015-04-10 2015-07-08 上海理工大学 低帧率相机大视场振动测量装置
CN104764520B (zh) * 2015-04-10 2018-04-20 上海理工大学 低帧率相机大视场振动测量方法
CN108280444A (zh) * 2018-02-26 2018-07-13 江苏裕兰信息科技有限公司 一种基于车辆环视图的快速运动物体检测方法
CN110556000A (zh) * 2018-06-04 2019-12-10 义硕智能股份有限公司 人工智慧交通检测系统
CN109186969A (zh) * 2018-07-28 2019-01-11 西安交通大学 一种伺服进给运动动态性能视觉检测方法
CN109902725A (zh) * 2019-01-31 2019-06-18 北京达佳互联信息技术有限公司 移动目标的检测方法、装置及电子设备和存储介质
WO2020156341A1 (zh) * 2019-01-31 2020-08-06 北京达佳互联信息技术有限公司 移动目标的检测方法、装置及电子设备和存储介质
US11176687B2 (en) 2019-01-31 2021-11-16 Beijing Dajia Internet Information Technology Co., Ltd Method and apparatus for detecting moving target, and electronic equipment
CN111754543A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统
CN111754543B (zh) * 2019-03-29 2024-03-29 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统
CN110956065A (zh) * 2019-05-11 2020-04-03 初速度（苏州）科技有限公司 一种用于模型训练的人脸图像处理方法及装置
CN110956065B (zh) * 2019-05-11 2022-06-10 魔门塔(苏州)科技有限公司 一种用于模型训练的人脸图像处理方法及装置
CN111860270A (zh) * 2020-07-13 2020-10-30 辽宁石油化工大学 一种基于鱼眼相机的障碍物检测方法及装置
CN111860270B (zh) * 2020-07-13 2023-05-12 辽宁石油化工大学 一种基于鱼眼相机的障碍物检测方法及装置
WO2022073290A1 (zh) * 2020-10-08 2022-04-14 深圳市精锋医疗科技有限公司 手术机器人及其图形化控制装置、图形化显示方法

Also Published As

Publication number Publication date
CN102243764B (zh) 2015-07-15

Similar Documents

Publication Publication Date Title
CN102243764B (zh) 运动特征点检测方法及装置
CN111983639B (zh) 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法
Chen et al. Cooper: Cooperative perception for connected autonomous vehicles based on 3d point clouds
WO2021004312A1 (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
WO2021004548A1 (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN107636679B (zh) 一种障碍物检测方法及装置
Won et al. Omnimvs: End-to-end learning for omnidirectional stereo matching
CN111986506B (zh) 基于多视觉系统的机械式停车位泊车方法
Scaramuzza et al. Absolute scale in structure from motion from a single vehicle mounted camera by exploiting nonholonomic constraints
Saurer et al. Homography based visual odometry with known vertical direction and weak manhattan world assumption
CN105205459B (zh) 一种图像特征点类型的识别方法和装置
Seok et al. Rovo: Robust omnidirectional visual odometry for wide-baseline wide-fov camera systems
CN105225482A (zh) 基于双目立体视觉的车辆检测系统和方法
CN102692236A (zh) 基于rgb-d相机的视觉里程计方法
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
CN105509733A (zh) 非合作空间圆目标的相对位姿测量方法
WO2019104571A1 (zh) 图像处理方法和设备
JP2004086779A (ja) 障害物検出装置及びその方法
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN114693754A (zh) 一种基于单目视觉惯导融合的无人机自主定位方法与系统
Wang et al. LF-VIO: A visual-inertial-odometry framework for large field-of-view cameras with negative plane
KR102361133B1 (ko) 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치
KR102372298B1 (ko) 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150715

Termination date: 20210513