CN104204721B - 单个相机距离估计 - Google Patents

单个相机距离估计 Download PDF

Info

Publication number
CN104204721B
CN104204721B CN201380016569.0A CN201380016569A CN104204721B CN 104204721 B CN104204721 B CN 104204721B CN 201380016569 A CN201380016569 A CN 201380016569A CN 104204721 B CN104204721 B CN 104204721B
Authority
CN
China
Prior art keywords
image
feature
ground
motion
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380016569.0A
Other languages
English (en)
Other versions
CN104204721A (zh
Inventor
卢克·马特尔
杰弗里·拉伦德
罗伯特·拉加尼尔勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flying Carle semiconductor Canada Co.
NXP Canadian Ex-plosives Ltd.
Original Assignee
Cognivue Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognivue Corp filed Critical Cognivue Corp
Publication of CN104204721A publication Critical patent/CN104204721A/zh
Application granted granted Critical
Publication of CN104204721B publication Critical patent/CN104204721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Abstract

用于估计到对象或特征的距离的系统和方法。距离估计跨越由单个相机拍摄到的图像追踪特征并且使用地面运动的估计来确定到追踪到的特征的距离估计。

Description

单个相机距离估计
技术领域
当前的描述涉及从由单个相机拍摄到的图像确定到对象的距离，尤其是，涉及被用于车辆中以确定到障碍物的距离的系统。
背景技术
在车辆中使用相机系统变得越来越常见。相机系统可以提供来自车辆不同位置的视野。例如，相机可用于提供盲点视野或者后视野以便在倒车时辅助驾驶员。
在没有额外传感器的情况下，难以从由单个相机拍摄到的图像确定到对象的距离。由此，如果相机系统用于提供到对象的距离信息，例如，在倒车时到停放车辆的距离，则需要额外的传感器，包括使用声呐的测距传感器、或者用于提供立体信息的额外相机。这些额外的传感器可能昂贵且增加了系统的安装耗时。
期望的是具有能够提供到一个或多个对象的距离信息的单个相机系统。
发明内容
根据本公开，提供了用于确定从安装到车辆的相机至障碍物的距离的方法，该方法包括：跨越两个或更多连续图像追踪多个特征；基于跨越两个或更多连续图像追踪到的多个特征的各自的运动和地面运动估计从追踪到的多个特征中识别离地特征；以及基于投影到地平面的、由相机拍摄到的图像中的特征的运动和地面运动估计，为多个特征中的每个离地特征计算到相机的距离。
根据本公开，还提供了用于执行存储在存储器中的指令的处理器，该处理器用于确定从安装到车辆的相机至障碍物的距离，该指令将该处理器配置成跨越两个或更多连续图像追踪多个特征；基于跨越两个或更多连续图像追踪到的多个特征的各自的运动和地面运动估计，从追踪到的多个特征识别离地特征；以及对于每个离地特征，基于投影到地平面的、由相机拍摄到的图像中的特征的运动和地面运动估计计算到相机的距离。
根据本公开，还提供了用于确定对于障碍物的距离的系统，该系统包括安装到车辆的相机、用于存储指令的存储器、和用于执行指令的处理器。处理器是用于在相机被安装到车辆时确定从相机至障碍物的距离。指令将系统配置成跨越两个或更多连续图像追踪多个特征；基于多个跨越两个或更多连续图像追踪到的多个特征的各自的运动和地面运动估计；以及对于每个离地特征，基于投影到地平面的、由相机拍摄到的图像中的特征的运动和地面运动估计计算到相机的距离。
附图说明
本文中参照附图对实施方式进行了描述，在附图中：
图1以示意图示出使用单个相机估计到对象的距离的环境；
图2以线条图示出使用由单个相机拍摄到的图像估计到位于地面之上的对象的距离的表示；
图3以线条图示出使用由单个相机拍摄到的图像估计到位于地上的对象的距离的表示；
图4示出用于估计到障碍物的距离的单个相机在车辆系统中的使用；
图5以框图示出用于使用单个相机估计到对象的距离的系统的示意性实施方式；
图6以框图示出使用单个相机估计到对象的距离的系统的另一示意性实施方式；
图7以示意图示出不失真的拍摄图像与相应的俯视图像之间的变换；
图8以示意图示出输入图像与俯视图像之间的关联；
图9示出从由单个图像拍摄装置拍摄到的图像确定到障碍物的距离的方法；以及
图10以框图示出使用单个相机估计到对象的距离的系统的又一示意性实施方式。
具体实施方式
图1示出使用单个相机估计到对象的距离的环境的示意图。如图所示，环境100包括第一车辆102，第一车辆102包括用于拍摄连续图像的相机104。车辆102被示出为沿着方向106朝第二车辆108移动。相机104被定位成指向运动的方向106。图1所示的状态可以表示倒车进入停车位的通常情况。由相机104拍摄到的图像可以被呈现给车辆102的驾驶员以辅助驾驶员停放车辆102。除了来自相机104的图像以外，还需要向驾驶员提供与到停放车辆108的距离‘D’有关的信息。一旦距离D被估计，则其可通过多种方式被提供给驾驶员，包括在拍摄图像的顶部重叠地显示距离信息、提供距离D的语音通知或警报。附加地或可选地，估计的距离信息可被用于辅助驾驶员控制车辆102，例如，通过如果距离D小且车辆仍快速倒车则施加制动。
如本文中进一步描述的那样，由单个相机拍摄到的图像被处理以估计到对象的距离。被估计距离的对象将位于地面之上并且对于车辆而言如同存在有障碍物。图像的处理将定位图像中的点或特征并且使用点或特征的运动来估计现实世界中相应对象的高度和到相机的距离。位于地平面上方的特征或点可以被识别并且用于估计到被认为是障碍物的相应对象的距离。
图2以线条图示出了使用由单个相机拍摄到的图像来估计到位于地面之上的对象的距离的表示。图2(A)示出了在第一次拍摄到图像时相机204和对象202的位置，图2(B)示出了在第二次拍摄到图像时相机204'和对象202的位置。
在图2中，相机为定位在地面之上已知的高度‘h’处。对象202被定位在距离相机水平距离‘d’和地面之上高度‘z’处，并且被假设为静止的。对象202从相机的视角向地面的投影位于表观对象位置206处。表观对象位置206位于与对象202相比距离相机更远的水平距离‘dap’处。因相似三角形208和210，到表观对象位置的水平距离通过下式得出：
dap＝szd (1)
其中：
因为
通过上述，可知对象从相机视角向地面的投影的表观对象位置dap与实际对象位置d成正比，并且比例为sz。如图2(B)中所示，当相机移动距离‘x’时，被投影到地上的表观对象位置移动x'的表观距离。假设对象的高度z保持恒定，并且取(1)的相对于时间的一阶导数，投影到地平面的对象的、相对于相机的表观速度vap与对象的水平速度v成正比，并且比例为sz。
vap＝szv (3)
通过(2)和(3)，当速度v和vap已知时，对象的实际高度z通过下式得出：
通过(1)和(3)，当速度v和vap已知时，对象到相机的水平距离通过下式得出：
通过(4)和(5)，可知从相机至对象的距离可以通过由单个相机拍摄到的连续图像确定。为了确定距离，相机的实际水平速度和对象从相机视角向地平面的投影的表观速度应是已知的。虽然相对于速度进行了描述，但是应明确，连续图像之间的时间不是关键所在。由此，只要连续图像中的对象存在足够位移(如投影到地平面)，即可确定到对象的距离。
如果对象是静止的，则相机相对于对象的水平速度与相机自身的水平速度在大小上将是相等的。因为相机被安装到车辆，所以相机速度将与车辆速度相等。由此，相机的速度可以通过确定车辆速度的传感器确定。虽然能够通过传感器确定相机的速度，但是也能够通过由相机拍摄到的图像来确定速度，正如本文中将进一步描述的那样。
图3以线条图示出了使用由单个相机拍摄到的图像估计到位于地上的对象的距离的表示。图3(A)示出了第一次由相机位置304拍摄到的位于地上的对象，图3(B)示出了第二次由相机位置304'拍摄到的同一个对象302。因为对象302位于地上，所以对象向地面的投影将具有与实际对象的速度相同的速度。地面对象的速度通过下式得出：
其中：
结合(6)和(7)，确定了地面点的速度与相机的速度相同：
由此，能够通过地上的点的速度确定相机的速度，而相机的速度可用于计算位于地面之上的对象的实际速度。进一步通过(3)，假设所有的对象都位于地上或者位于地面之上，当被投影到地平面时对象的实际速度将总是小于或等于对象的表观速度，即，当对象从相机的视点被投影到地平面时，地面之上的对象将看似比地上的对象更快地移动。
图4示出了用于估计对于障碍物的距离的单个相机在车辆系统中的使用。在图4中，示出了4个对象，即，两个地面对象402、404和两个离地对象406、408。相机拍摄对象位置的图像。图像可以被处理以将所有的点从相机的视点投影到地平面。由此产生了俯视图410，俯视图410示出了对象402、404、406、408各自的地面投影位置A、A'、B、B'。
如图4(B)所示，当相机在连续拍摄图像之间移动距离x时，投影点A、A'、B、B'移动的量将取决于相应对象在地面之上的高度。也就是说，地上的点将移动相对应的量x，而地面之上的点将移动量αx，其中α基于对象在地面之上的高度和相机在地面之上的高度。
通过图4，可知，如果与对象相关联的相应点跨越连续的帧或图像被追踪到，则能够确定点和相关联的对象的速度。一旦点的速度被确定，则实际速度v和表观速度vap可以被确定。作为一个示例，实际速度可以简单地通过追踪点的最小速度确定。一旦v和vap被确定，则可以根据等式(4)和(5)确定到与点对应的对象的水平距离以及该对象在地面之上的高度。应注意，两个等式(4)和(5)均包括速度的比率，由此，无需知道帧之间经过的实际时间。图5以框图示出了使用单个相机估计到对象的距离的系统的示意性实施方式。系统500包括相机502，相机502从地面之上已知高度拍摄连续图像。相机以已知帧速率拍摄图像以使得连续图像之间的时间是已知的。可预期的是相机502的帧速率可以有所不同。系统500还包括处理装置504，处理装置504被示出为包括用于执行存储在存储器510中的指令508的中央处理器(CPU)506的通用计算装置。处理装置可以包括用于将处理装置504耦接至其它部件的输入/输出(I/O)部件512，其中其它部件包括相机。处理装置502也可以包括用于存储信息的非易失性(NV)存储器514，其中信息可能包括指令508。当指令508被CPU 506执行时，指令508将处理装置504配置成提供距离估计部件516，距离估计部件516通过由单个相机拍摄到的连续图像提供到对象的距离的估计。
距离估计部件516接收连续图像，跨越图像追踪特征并且确定到与追踪到的特征相对应的对象的距离。特征可以被认为是围绕图像的能够在连续图像中定位的点的小区域。距离估计部件516包括特征追踪部件518，特征追踪部件518跨越连续图像定位并追踪特征。距离估计部件516还可以包括离地特征检测部件520，离地特征检测部件520确定追踪到的特征是否对应于离地特征。离地特征检测部件520可以使用跨越连续图像追踪到的特征中的每个的表观运动(无论是速度还是距离)以及相机运动522。相机运动522可以通过外部装置或传感器提供，或者可以通过连续图像估计，正如本文中将进一步描述的那样。
确定为离地的追踪到的特征可以由到对象距离估计部件524使用，其中到对象距离估计部件524使用相机运动524以及确定的离地特征的表观速度来确定从相机至与离地特征相对应的对象的距离。到对象的距离可以根据等式(4)和(5)估计。
一旦对于与追踪到的离地特征对应的对象的距离被确定，则信息可以多种方式被呈现或使用。例如，最近对象可以被确定并且距离信息可以被显示在拍摄图像的叠层上。虽然已就与位于地面之上的对象对应的离地特征描述了距离估计，但是可以预期的是到地上对象的距离也可以被估计。
将明确，距离估计部件500可以多种方式实现。多种可能的实施方式将在下面被进一步描述，尽管其它实现方式也是可能的。
图6示出了使用单个相机估计到对象的距离的系统的另一示意性实施方式的框图。距离估计部件600可以提供距离估计部件516的功能。虽然未在图6中示出，但是距离估计部件600可以被实现在处理装置中，例如图5的通用计算装置504。距离估计部件600包括图像变换部件602、追踪器管理器604、一个或多个追踪器606、平移估计部件608、离地点检测器610、和到对象距离确定部件612。
与来自单个相机的视频流的连续帧对应的输入图像被提供至图像变换部件602。图像变换部件包括图像失真部件614和视图变换部件616。图像失真部件614校正接收到的图像的镜头失真。例如，广角镜头可以提供可能不失真的“鱼眼”图像。不失真图像被提供至位于地面之上已知距离处的视图变换部件616，视图变换部件616将由相机拍摄到的不失真图像变换成俯视图。俯视图与不失真的拍摄图像对应，其中不失真的拍摄图像具有从相机的视点投影到地平面的图像中的所有点。视图变换部件616可以只将不失真的拍摄图像中的一部分变换成俯视图。
图7中示出了不失真的拍摄图像与相对应的俯视图之间的变换。图7(A)以线条图示出了由安装到车辆的相机拍摄到的道路702的拍摄图像700。车辆的一部分704在拍摄图像中可以是可视的。待被变换成俯视图的兴趣区域(ROI)被示出为虚线框706。图7(B)示出了与ROI 706对应的俯视图710。
通过由相对于地面倾斜的相机拍摄到的图像生成俯视图包括扭曲图像使其呈现为从上方拍摄。图7示出了不失真的拍摄图像与相对应的俯视图之间的变换。图7(A)以线条图示出了由安装到车辆的相机拍摄到的道路702的拍摄图像700。不失真图像校正拍摄图像中的镜头失真。车辆的一部分704在拍摄图像中可以是可视的。待被变换成俯视图的兴趣区域(ROI)被示出为虚线框706。图7(B)示出了与ROI 706对应的俯视图710。
生成俯视图意味着确定俯视图与由图像拍摄装置拍摄到的倾斜的图像之间的像素对像素映射。这种映射从概念上细分为图8中所示的四个步骤。
1–俯视像素(A)被映射成地面(B)上的点；
2–地面(B)上的点被映射成不失真图像平面(C)上的点；
3–不失真点(C)被映射成理想的图像平面(D)上的该点失真的位置；以及
4–理想的图像平面(D)上的失真点被映射成输入图像(E)中的像素。
选择这种概念性分解是因为其针对现实世界中点与距离提供输入图像或俯视图中的点与距离之间的关系。在图8中，(A)和(E)是使用像素坐标的图像，(C)和(D)是相机坐标系中的图像平面，并(B)是世界坐标系中的地平面。
1–将俯视图映射到地平面
俯视图是地平面的缩放和移动的表示。从俯视图(A)至地平面(B)的映射是如下形式的单应矩阵：
这种变换具有与相机矩阵相同的形式，相机矩阵反映出俯视图模仿直线向下朝向地面的虚拟相机的事实。
从俯视图(x,y)至地面的映射随后可通过下式得出：
m1(x,y)＝(sxx+tx,syx+ty) (10)。
2–将地平面映射到不失真的图像平面
从地平面(B)至不失真的图像平面(C)的映射通过下式得出：
这种单应矩阵专门取决于相机在世界坐标中的取向和位置。从地面点(X,Y)至不失真的图像平面(C)的映射随后通过下式得出：
m2(X,Y)＝(p1/p3,p2/p3) (12)，
其中：
3–将不失真的图像平面映射到失真的图像平面
从不失真的图像平面(C)至失真的图像平面(D)的精确形式取决于在校准相机时使用的失真模型。例如，可以使用用于补偿径向和切向失真的失真模型。在这种失真模型中，存在有六个径向失真系数(k1…k6)和两个切向失真系数(p1,p2)。从不失真的图像平面(C)中的点(x,y)至失真的图像平面(D)的映射通过下式得出：
m3(x,y)＝(Dx(x,y),Dy(x,y)) (14)，
其中：
Dx(x,y)＝krx+2p1xy+p2(3x2+y2)，
Dy(x,y)＝kry+p1(x2+3y2)+2p2xy，
和r＝x2+y2。
4–将失真的图像平面映射到输入图像
将失真的图像平面映射到输入图像涉及固有相机参数。设相机矩阵为如下：
随后，失真的图像平面中的点(x,y)被映射到输入图像像素，该映射可通过下式得出：
m4(x,y)＝(fxx+cx,fyy+cy) (16)。
整体俯视图至输入图像的映射
对于宽度w和高度h的俯视图而言，俯视像素至输入像素的映射通过下式得出。
对于x＝0,1,...,w-1和y＝0,1,...,h-1，(x',y')＝m4(m3(m2(m1(x,y)))) (17)。
也就是说，俯视图中的像素(x,y)被映射成输入图像中的像素(x',y')。因为俯视图很少映射到输入像素的中心，所以双线性插值法可以被用于估计任何给定的俯视图像素的值。
下面将对用于在输入图像与俯视图之间映射的参数进行进一步描述。
为了确定H1的元素，所观看地面的面积被定义。在不失一般性的情况下，世界地平面被设为Z＝0平面，并且地面ROI与X轴和Y轴对齐。地面ROI可以通过其左上角(X0,Y0)、其宽度W和高度H定义。
另外，俯视图尺寸被定义。如果俯视图具有宽度w和高度h，则：
sx＝W/w，sy＝H/h，tx＝X0，ty＝Y0 (18)
一般，单应矩阵H2取决于相机相对于世界坐标系的取向和位置。因为其使地面与不失真的图像平面关联，所以无论是相机矩阵还是失真系数都不能用H2做什么。地面ROI也独立于H2。只有相机的物理定位有关系。
如上述记载，世界地平面是Z＝0平面。此外，Z轴向下朝向至地面以使得直线指向地面的相机的指向将使其z轴与世界的z轴对齐。
对于位于地面之上高度hc处的相机而言，相机被定位在世界坐标中的处。因为Z轴指向地面，所以Z坐标是负的。
相机的光学轴线通过绕着X轴反转而倾斜远离世界Z轴。θ的倾斜角通过下面的变换获得：
通过这种方案，θ＝0意味着相机直线指向下以使得光学轴线与世界Z轴对齐，θ＝90意味着相机指向水平线以使得光学轴线与世界负Y轴对齐，θ＝180意味着相机直线指向上以使得光学轴线与世界负Z轴对齐。
此外，摆角可以被应用到相机以在地平线在拍摄图像中并不是水平时补偿图像。的摆角是通过在相机坐标系中绕着z轴线旋转而获得的：
相机的组合旋转矩阵是倾斜然后摆动：
设P＝[X,Y,Z,1]T为点在世界中的齐次坐标，并且设Q为点在相机坐标系中的坐标。如果矢量被定义为则从世界坐标至相机坐标的变换通过下式得出：
将R的第i列表示为则(22)可被重写成：
因为地上的所有点具有0的Z坐标，所以刚性变换被降低至单应矩阵：
然而，所以将地平面相关至不失真的图像平面的单应矩阵通过下式得出：
返回图6，追踪器管理部件604管理多个追踪器606。每个追踪器可以是用于跨越连续图像追踪特征或点的特征追踪器，其中连续图像可以是如上所述地生成的俯视图。每个追踪器606包括窗618，窗618是围绕待被追踪器追踪到的特征的点或中心的兴趣区域。每个追踪器也包括待被追踪的点的速度620的估计。追踪器包括用于追踪特征的功能622以及用于估计追踪点的速度的功能624。速度估计功能624可以通过2D等速卡尔曼滤波器提供。
每个追踪器的窗通过在当前的图像中的窗的当前中心的N x M个像素内进行详尽的模板匹配而被更新。特征追踪可以计算搜索区域的每个点处的标准化平方差。追踪器的窗618随后被移动至产生最小的标准化平方差的点。新的窗中心用于更新卡尔曼滤波器并且更新对于追踪到的点的速度估计。
为了简单起见，对详尽的搜索进行了描述。如果有足够的处理能力可用，则可以使用更有效的方法，如均值漂移或金字塔式KLT追踪器。
如上所述，追踪器606可以跨越连续图像追踪特征。追踪器管理器604管理多个追踪器，正如下面将描述的那样。追踪器管理器保持当前追踪器的列表626。追踪器管理器604在接收每个连续图像后进行追踪器管理，并且追踪器更新部件628更新追踪器列表626上的追踪器。
一旦列表626上的所有追踪器被更新，则追踪器删除部件630移除任何噪音追踪器以及位于图像的边缘附近的追踪器，其中噪音追踪器是无规律地移动的追踪器。追踪器删除部件630更新追踪器图632，其中追踪器图632是指示哪里存在追踪器哪里不存在追踪器的掩模。例如，追踪器图可以是存在追踪器窗的区域为黑色而没有追踪器窗占据的区域时为白色的图像。
在追踪器图的追踪器删除和更新后，追踪器创建部件634处理当前图像以检测在当前图像中追踪的良好特征，或者更具体地，如追踪器图632所指示的那样在当前图像中的当前不存在追踪器的部分中进行追踪。对追踪的良好特征的检测可以通过多种方式提供。例如，开源计算机视觉(OpenCV)提供了功能OpenCV::goodFeaturesToTrack()，该功能在图像中确定被视为追踪特征的强大角落。包括OpenCV::goodFeaturesToTrack()的、用于确定特征的一些功能可以提供图像中的“最好”追踪特征。如果超过一定的阈值，则这些功能可以被修改为仅仅提供特征。在OpenCV::goodFeaturesToTrack()的情况下，功能被修改为使得用于待被接受的角落的质量标准是绝对的，而不是相对于最佳观察角落。通过这种方式，如果追踪器图中的余下部分中不存在好的角落，则无角落被返回，而它们将不会被修改。对于每个良好追踪特征，新的追踪器被创建并且追踪器列表626和追踪器图632被相应地更新。
非瞬时追踪器识别部件636将已存在于追踪器列表上的用于大于0的连续帧的任何追踪器添加到非瞬时追踪器列表638。非瞬时列表上的追踪器被认为是稳定的并且被用于随后的处理。
平移估计部件608处理非瞬时列表638上的追踪器以提供相机运动的估计。假设车辆运动是严格平移，即，不存在转角。作为唯一的结果，俯视图中的竖直运动需要被考虑，从而简化了描述。应注意，该运动被称为相对于俯视图的竖直运动，因为其对应于沿着俯视图的y轴线的运动。俯视图中的竖直运动可以对应于现实世界中的水平运动。平移估计部件608可以合并因转角导致的用于估计旋转部件的功能。进一步假设俯视图的下半部分中的大多数点属于在地上。由此，这些点的平移可以被用于确定相机的运动。
鉴于上述假设，对于地平面的运动估计简单地是当前俯视图的下半部分中的非瞬时追踪器列表638上的所有追踪器的平均竖直速度。如果当前俯视图的下半部分中的大多数追踪到的点位于地平面上，则算法算出准确的障碍物距离。然而，如果当前俯视图的下半部分中的大多数追踪到的点位于地平面上方，则地面速度估计将是过量的，并且算出的障碍物对相机的距离也将是过量的。
平移估计部件608进一步处理非瞬时列表638上的追踪器以确保可以通过非瞬时追踪器确定可靠的距离估计。追踪器处理部件640可以处理俯视图的下半部分中的非瞬时追踪器以基于追踪器的速度计算追踪器的平均表观竖直平移，并且为了完整性计算平均表观水平平移。处理部件640还设置用于描述地面运动、速度、估计的两个布尔标记。第一标记是isDefined 642，如果俯视图的下半部分中存在有足够的追踪器以给出可靠的地面平移估计，该标记设为真。其被设为：
isDefined＝(N>10)。
其中，N是位于俯视图的下半部分中的非瞬时追踪器的数量。N被设成大于10；然而，可预期的是，N可以是其它值，无论是更小或更大。
第二标记为isMoving，如果在俯视图的下半部分中的非瞬时追踪器中观察到足够的地面运动以获得可靠的离地点检测，该标记设为真。其被设为：
isMoving＝(vy>10)。
其中，vy为下半非瞬时追踪器的平均竖直速度。卡尔曼滤波器使用Δt＝0.1。由此，设vy>10相当于断言竖直速度大于一个像素/帧。只有正的竖直速度被考虑并由此，检测器仅在车辆倒车时被激活。应注意“竖直”是指俯视图的y轴中的运动。
一旦平移估计部件608已提供平均竖直地面速度以及设置标记isMoving和isDefined，追踪离地对象的点的追踪器被确定。
这种假设对于某些应用而言是可接受的；然而，另一种方案是使用随机采样一致性(RANdom SAmple Consensus；RANSAC)方法寻找平移运动模型参数。RANSAC方法可以确定并且从运动模型移除异常值以仅仅包括遵循地面运动的追踪器。
离地点检测器610处理非瞬时追踪器并且确定哪些对应于离地点。离地点检测包括确定每个非瞬时追踪器是位于地平面上还是离开地平面。如上述参照图2、3和4的描述，离地点将具有比地上点的速度大的速度。由此，在没有可靠的地面运动估计的情况下可能不能够可靠地检测离地点。由此，如果isDefined标记未被设置，则不进行离地点检测。
如果isDefined被设置，则离地点被确定。设vg为通过平移估计部件608确定的被估计的平均竖直地面速度，设v为追踪器的竖直速度620。理论上，只有必要使vg>0以确定离地点。然而，因噪音导致vg应比一些阈值大。如上述定义，当地面运动isMoving标记为真时满足这种条件。
理论上，离地点由条件v/vg>1指示。也就是说，然而，离开地面的点因近似失真模型而呈现出比地上点移动得快，并且其它噪音阈值被使用。例如，离地点的可靠检测已使用v/vg>1.4实现，v/vg>1.4与检测相机高度的二分之一上方的检测点对应。由此，如果如下等式成立，则追踪器被检测为“离地”：
其中：
vg是估计的地面速度；以及
v是进行处理的追踪器的估计速度。
离地点检测器确定与代表障碍物的离地点对应的追踪器。通过所确定的离地追踪器，到现实世界中的相应障碍物的距离可以被确定。
到对象距离确定部件612的距离确定到被确定离地点中的每个的相应对象的水平距离。考虑已被确定为离地点的点追踪器。其在俯视图像中具有当前竖直速度v和位置q。竖直地面速度又是vg。设H为将俯视图坐标变换成世界坐标的单应矩阵。该单应矩阵是由图像变换部件使用的，并且是已知的。在单应世界坐标中离地点的地面投影的位置通过下式得出：
P＝HQ (26),
其中：
Q＝[qx qy 1]T (27)。
地面投影的世界位置随后通过下式得出：
P＝[P1/P3 P2/P3]T (28)。
随后，根据上述，离地点到相机的实际距离通过下式得出：
并且到障碍物的距离通过下式得出：
dy＝|p'y| (30)。
到对象距离确定部件612可以进一步从所有离地点返回到对象的最小确定距离。换言之，其将最近的障碍物返回至相机。
上面已描述了系统和方法以估计对象离相机的距离。在上面的描述中，为了描述的清晰起见，仅考虑了相机位置的平移。应明确，地面运动估计也可以考虑旋转，从而在车辆转弯和倒车时允许系统和方法提供到对象距离的估计。另外，应明确，除了上述的具体实施方式以外，其它实施方式也可以被实现。下面可选的实施方式进一步被描述。在下面描述的实施方式中，特征点跨越“快照”被追踪。快照与来自相机的输入视频的被选择的帧对应。快照是用于对象位置的三维重建的帧或图像。通过使用快照，相对于跨越每个拍摄图像追踪图像，距离估计甚至是在车辆的速度小时也能够提供估计，因为在追踪到的点之间将存在足够距离。
图9示出了通过由单个图像拍摄装置拍摄的图像确定到障碍物的距离的方法。方法900从图像拍摄装置接收图像(902)并且生成相对应的俯视图(904)。俯视图可以如上所述地被生成。一旦当前俯视图被生成，则特征被追踪到(906)。特征使用先前的俯视图(908)和先前的被追踪到的特征的列表而被追踪到(910)。被追踪到的特征在新的俯视图中被搜索以追踪特征的新位置。一旦特征在当前的俯视图中被追踪到，则被追踪到的特征的当前的特征列表被生成(912)。当前的特征列表可在先前特征列表的基础上移除噪音或不稳定的特征和添加适于追踪的新特征。一旦当前特征列表被生成，则快照被管理(914)。
快照被管理以确定新的快照是否应通过当前的俯视图生成。关于快照是否应被生成的确定可以基于待在当前俯视图与先前的俯视图之间被追踪到的特征的运动的平均而被确定。如果特征的平均运动超过阈值，则新的快照被生成。快照被用于估计地面运动并且确定障碍物的距离估计。确定新的快照是否被生成(916)，或者更具体地，初始快照随后的新的快照是否被生成。如果新的快照未被生成(在916处为否)，则方法返回至接收另一个图像(902)。如果新的快照被生成(在916处为是)，则对于地面运动的估计被确定(918)。地面运动估计基于跨越快照追踪到的特征的运动而被确定。地面运动估计被用于生成运动参数列表(920)。运动参数列表描述快照之间的二维刚性变换的参数。一旦运动参数列表被生成，则其被用于当前待被追踪的标记当前待被追踪(924)的特征(922)。特别是，特征标记确定被标记为障碍物的离地特征。一旦离地特征被标记，则对于障碍物特征中的每个的距离被确定(926)，并且对于最接近障碍物的特征可以被提供(928)。方法900随后接收下一个图像以进行处理(902)。
图10以框图示出了距离估计部件的又一示意性实施方式。距离估计部件1000与距离估计部件600相似，然而，距离估计部件1000包括快照管理器和允许地面运动的估计的地面运动估计模块，其中地面运动包括旋转。距离估计系统1000包括从图像拍摄装置接收图像并生成相对应的俯视图的图像变换部件1002。俯视图可以如上所述地被生成。俯视图被提供至在俯视图中定位并追踪特征的追踪器管理部件1004。追踪器管理器1004可以使用作用于追踪特征的多个追踪器部件1006。追踪器管理器1004将追踪到的特征提供至用于确定新的快照是否应通过当前的俯视图被生成的快照管理器部件1008。当新的快照被生成时，地面运动估计(GME)部件1010通过快照估计地面运动参数。地面运动参数可以被提供至障碍物识别器部件1012。障碍物识别器将每个追踪到的特征定位在三维空间中并且确定特征是否为障碍物。如果特征为障碍物，则相关联的障碍物的状态可以被相应地设置。
如图10所示，追踪器管理器部件1004管理多个追踪器1006。追踪器1006中的每个可以包括用于提供每个快照中的特征位置的快照矢量1034，从而提供了跨越快照的特征的运动的指令。追踪器1006也可以包括可以由障碍物识别器部件1012设置的状态1036。
追踪器1006中的每个可以是用于跨越连续图像追踪特征的模板追踪器。追踪器1006中的每个包括窗1032，窗1032是围绕特征的兴趣区域。窗1032被用作在随后的图像中的特征的搜索的模板。15x15像素模板尺寸被使用，尽管其它模板尺寸也可以被使用。为了从一个图像至下一个图像追踪图像，搜索新的图像以寻求与来自先前帧的特征的模板最佳匹配的像素片段。这是通过在新的图像上滑动模板并且计算衡量模板与新的图像中的补丁之间的差异性的度量来进行的。
可以使用模板匹配算法，其获取模板和待被搜索的图像并且返回对比图像。当模板的左上角处于(x,y)时，在(x,y)处的对比图像值是模板与图像之间的对比度量的值。像素之间的平方差之和可以被用作对比度量。正式地，对于坐落在搜索图像I中的(x,y)处的模板T而言，平方差之和通过下式得出：
搜索图像可以被限制成围绕先前的图像中的模板中心的31x31像素窗。这种限制不仅可以被用于避免对整个图像的昂贵搜索，而且可以被用作帧之间的特征位移上的明确约束。对比图像中的具有最小值的位置是新的模板位置。
如上所述，追踪器1006可以追踪连续图像中的特征。追踪器管理器1004管理多个追踪器，正如下面将进一步描述的那样。追踪器管理器保持当前追踪器的列表1026。追踪器管理器1004在接收每个连续图像后进行追踪器管理。追踪器更新部件1020更新追踪器列表1026上的追踪器。更新追踪器1006使追踪器更新被追踪特征的位置，从而使用连续图像。
一旦列表1026上的所有追踪器被更新，则追踪器删除部件1022移除任何噪音追踪器(即，无规律地的追踪器)以及位于图像的边缘附近的追踪器。追踪器删除部件1022更新追踪器图1028，追踪器图1028是指示追踪器是否存在的掩模。例如，追踪器图1028可以是存在追踪器窗的区域为黑色而不存在追踪器窗的区域为白色的图像。
在删除和更新追踪器图的追踪器之后，追踪器创建部件1024处理俯视图以检测当前图像中的良好追踪特征，或者更具体地，在当前图像中的不存在如由追踪器图1028指示的当前追踪器的部分中进行追踪。对于良好追踪特征的检测可以通过多种方式提供。例如，开源计算机视觉(OpenCV)提供功能OpenCV::goodFeaturesToTrack()，该功能在图像中确定被视为用于追踪特征的强大角落。包括OpenCV::goodFeaturesToTrack()的用于确定特征的一些功能可以提供在图像中用于“最好”追踪特征。如果超过一定的阈值，则这些功能可以被修改为仅仅提供特征。在OpenCV::goodFeaturesToTrack()的情况下，功能被修改以使得用于待被接受的角落的质量标准是绝对的，而不是相对于最佳观察角落。通过这种方式，如果追踪器图中的余下部分中不存在好的角落，则无角落被返回，而它们将不会被修改。对于每个良好追踪特征，新的追踪器被创建并且追踪器列表1026和追踪器图1028被相应地更新。
追踪器管理器1004提供用于管理快照创建的快照管理器1008的更新的追踪器列表1026。不是每对图像都适于三维创建，两个视图必需是足够不同以便能够从两个图像中的点对应中提取相机运动。如何精确地“区别开”视图必需取决于场景中的点的几何图形和追踪精度。视频的哪个帧将被用于重建三维场景是被快照管理器选择的。用于重建三维场景所选择的图像被称为快照。
从概念上说，快照被生成处的比率应与车辆速度成正比。也就是说，相比于车辆慢速移动，当车辆快速移动时快照应更频繁地被生成。在车辆停止的限制中，没有快照应被拍摄。
一旦足够的点被追踪，则初始快照被生成。在每个连续帧处，除非它们已事先被检测为障碍物，否则俯视图上的点被假设成位于地上，并且如上所述通过地平面与俯视图之间的单应矩阵在地上被变换成世界坐标。对于具有在当前帧与先前的快照之间的移位(约0.1m)的所有特征而言，平均的位移被计算。对于这种偏置的平均的理由是用于避免在地面位移的估计中并入静态点，静态点例如可能，是因车辆的阴影所导致。如果平均的位移超过某一阈值，则新的快照被生成。0.2m的平均的位移阈值被使用，尽管其它值也可以被使用。
通过简单地将已事先被检测并且被识别为障碍物的点投影到地面(即，将它们的Z坐标设置为0)并且应用地平面与俯视图之间的相同的单应矩阵变换，这些点可以被包括在平均位移计算中。这样一来，如果障碍物将填满视野，从而阻挡地面，则车辆运动仍可以被估计。
一旦新的快照被生成，车辆的地面运动可以被估计并且三维场景被重建，从而获得对于任何存在的障碍物估计的距离。
一旦新的快照被生成，除了初始快照以外，其被用于确定地面运动的估计。地面运动估计基于包括异常值的对应特征的适当组提供刚性旋转参数的估计。为了估计地面运动参数，成对的快照被用于对比被选择为提供地面运动的良好估计的追踪特征的运动。
为了实现鲁棒的地面运动估计，应确定哪个快照应与其它快照进行对比。也应确定，对于给定的两个快照，哪些特征应被包括在估计中。也应确定，对于俯视图上的特征的位置，哪些是其对地平面的相应投影。一旦这种信息被确定，则地面运动的估计可以被确定。
随着图像被拍摄，在保持恒定地面位移(例如，0.2m)的前提下从一个快照至下一个快照选择快照。因此，车辆越快地移动，则更频繁地拍摄快照，反之亦然。
设通过快照选择模块生成的快照的列表为{t0,t1,…,tk}，其中，t1是第i个快照的帧数。为了获得最新快照tk中的特征的三维位置，在快照对{tk,tk-1}、{tk,tk-2}…{tk,t0}之间估计地面运动以获得对于i＝0…k的地面运动参数{θi,txi,tyi}的列表。因为快照是基于观察到的地面点位移而拍摄的，所以当前快照与过去快照之间的运动很可能足够大到允许三维重建。
考虑一对快照{tA,tB}，其中，tB>tA。在所有当前追踪到的特征中，自帧tA起已存在的那些特征形成用于快照对的GME特征列表。GME特征列表的每个特征在每个快照tA与tB之间具有地面投影{gA j,gB j}。通过该列表，只有在两个图像之间已充分移动的特征被用于地面运动估计。这是为了避免并入地面运动估计中的静态特征。然而，通常情况下，大多数追踪到的特征都是静态的，如耀眼的光、阴影，并且经常追踪到车辆保险杠。0.1m的最小位移阈值可用于选择用于包含在GME特征列表上的特征。
一旦特征已被选择为包含在GME特征列表上，则它们从特征的俯视图坐标(以像素为单位)变换成地平面坐标(以米为单位)。给出了俯视图中的像素x，其对于地面的投影通过下式得出：
g＝H1x (32)，
其中，H1是在(9)中定义的俯视图至地面的单应矩阵。现在，这将是所有特征处于地上的情况。然而，通常情况下，大多数特征处于地面之上并且已经事先被检测到。为了利用这些离地特征，等式(32)在使用离地特征时被修改。等式可以被修改成：
g＝(1/sz)H1x (33)，
其中，sz是通过等式(2)得出的。
通过投影到地平面的特征位置，能够估计地面运动参数。如上所述，地面运动可以被建模为二维刚性变换{θ,tx,ty}，即，二维旋转Rθ和平移t，其中，
刚性运动使在当前时间(xA)时相对于车辆的地面点关联至其在过去的一些时间(xB)时的位置：
xB＝Rθx1+t (35)。
如果至少两个地面点被追踪到，则能够估计未知的运动参数{θ,tx,ty}。给出一组相对应的地面点{gA j,gB j}，其中，gA j是当前帧中的第j个特征的二维地面坐标，gB j是其过去一些帧处的地面坐标。拟合该组所选特征的线性最小平方可以被执行以获得地面的合适仿射变换{α',β',tx',ty'}：
仿射模型可以通过迭代牛顿-高斯(Newton-Gauss)方法被精炼(refine)成真刚性运动模型{θ,tx,ty}，从而将{cos-1(α'),tx',ty'}用作初始猜测：
运动估计程序可以被封入RANSAC处理中以使得异常值(即，不正常地追踪到的点)不被包括在最终估计中。
一旦运动参数已被估计，则世界坐标中的特征位置可以被确定。追踪到的特征中的每个可以被标记为离地特征或者不被标记，并且如果其是离地特征，则相机位置至其的距离被确定。到离地特征的距离被描述；然而，应明确到地上特征的距离也可以使用上述的处理来确定。
如上所述，当相机经历刚性运动{θ,tx,ty}时，被投影到地上的表观对象位置根据下式移动：
szxB＝Rθ(szxA)+t (38)。
对于sz的最小平方解通过下式得出：
其中，u≡xB-RθxA (39)。
然而，对于使该表达式生效，(a)地面位移必需是足够的；(b)特征位移必需是足够的；以及(c)特征的运动必需符合地面的运动。这些条件可以在数学上表示为如下：
(a)||t||>ε (40)
(b)||u||>ε (41)
(c)
其中，ε和εθ是系统阈值，并且不等式(39)的左侧是u和t之间的角度的余弦。特征的三维位置和随后的障碍物检测仅在这些条件被满足时被进行。
通过考虑该组刚性运动{θi,ti,}i＝1..k和具有{x0,x1,…xk}的俯视快照中的相应点的特征，对于sz的最小平方解相对于所有运动为如下：
其中，如果满足上面记载的标准，则和δi＝1，并且在其它情况下为0。为了增加对于sz的估计的鲁棒性，RANSAC处理可以从估计中移除异常值。
点在车辆坐标系中的位置随后通过下式得出：
特征可被处理以使离地特征被标记成障碍物。障碍物可以被认为是相对于车辆位于碰撞区域内的地面之上特征。应明确，障碍物也可以通过其它方式定义。由于噪音和追踪错误，就如何能够敏感地检测这种特征而言，存在有实际限制。阈值szMax＝1.4被定义，并且障碍物被定义为具有sz>szMax的任何特征。阈值szMax＝1.4转换成检测具有比相机高度高0.28倍的高度的障碍物。由此，例如，对于离地1m的相机而言，28cm或更高的障碍物可以被检测到。对于szMax而言，可以使用其它阈值。
标记障碍物的每个特征具有在车辆坐标系中计算出的三维位置P＝[X,Y,Z]T。如果车辆的保险杠被置于原点处，则障碍物到车辆的距离为||Y||。所有障碍物的到对象最小确定距离可以被返回。换言之，其将最近的障碍物返回给相机。
上面描述的系统和方法提供用于使用由单个相机拍摄到的图像提供从相机至障碍物的距离的估计的能力。本文中描述的系统和方法已参照多种示例进行了描述。应明确，多种示例中的部件可以被组合到一起，或者示例中的部件可以被移除或被修改。如上所述，系统可以被实现在如本文所述配置成提供功能的、包括处理单元和存储单元的一个或多个硬件部件中。此外，计算机可读存储器例如电子存储装置、磁存储装置和/或光存储装置可以存储用于将一个或多个硬件部件配置成提供本文所述的功能的计算机可读指令。

Claims (29)

1.一种用于确定从安装到车辆的相机到障碍物的距离的方法，所述方法包括：
跨越两个或更多连续图像追踪多个图像特征；
基于跨越两个或更多连续图像追踪到的多个图像特征的各自的运动和地面运动估计将追踪到的多个图像特征识别出离地特征，被识别的多个离地特征中的每一个都与位于地面之上的障碍物的至少一部分相对应；以及
对于所述多个图像特征中的多个离地特征中的每一个，基于投影到地平面的、由所述相机拍摄到的图像中的相应离地特征的运动和所述地面运动估计计算从所述障碍物的对应于所述相应离地特征的部分到所述相机的距离。
2.如权利要求1所述的方法，还包括：
对于由所述相机拍摄到的每个图像，通过将拍摄到的图像投影到所述地平面来生成相应的连续图像。
3.如权利要求1所述的方法，还包括：
基于跨越所述两个或更多连续图像的多个追踪到的图像特征的运动确定所述地面运动估计。
4.如权利要求1所述的方法，还包括：
将所述连续图像中的一个图像识别为在确定所述地面运动估计中使用的快照。
5.如权利要求4所述的方法，还包括：识别新的快照，所述识别新的快照包括：
确定所述连续图像中的所述一个图像的下一个图像与最后识别的快照之间的、追踪到的图像特征的平均位移是否超过阈值；以及
当所述平均位移超过阈值时，将所述连续图像中的所述下一个图像识别为所述新的快照。
6.如权利要求5所述的方法，其中，所述平均位移使用具有超过最小阈值的位移的、追踪到的图像特征来确定。
7.如权利要求5所述的方法，还包括：
基于跨越两个或更多连续快照的多个追踪到的图像特征的运动，确定所述地面运动估计。
8.如权利要求7所述的方法，其中，确定所述地面运动估计包括：
确定描述当前快照与一个或多个先前快照之间的运动的地面运动参数的估计，所述地面运动参数基于{θ,tx,ty}定义二维刚性变换，
其中：
θ是所述相机的旋转；
tx是所述相机在第一方向上的平移；以及
ty是所述相机在与所述第一方向垂直的第二方向上的平移。
9.如权利要求8所述的方法，其中，确定所述地面运动参数的估计包括：
使用用于确定地面运动估计的、所述多个追踪到的图像特征的线性最小平方拟合将所述地面运动近似为近似仿射变换；以及
使用迭代牛顿-高斯方法精炼所述近似仿射变换。
10.如权利要求1所述的方法，其中，识别离地特征包括：
如果跨越连续图像的相应图像特征的运动大于所述地面运动估计，则将所述相应图像特征识别为离地特征。
11.如权利要求2所述的方法，还包括：
基于跨越所述两个或更多连续图像的多个追踪到的图像特征的运动确定所述地面运动估计。
12.如权利要求2所述的方法，还包括：
从所述连续图像中的一个或多个图像生成一个或多个快照。
13.如权利要求6所述的方法，还包括：
基于跨越所述两个或更多连续图像的多个追踪到的图像特征的运动确定所述地面运动估计。
14.如权利要求3所述的方法，其中识别离地特征包括：
如果跨越连续图像的相应图像特征的运动大于所述地面运动估计，则将所述相应图像特征识别为离地特征。
15.一种用于执行存储在存储器中的指令的处理器，所述处理器用于确定从安装到车辆的相机到障碍物的距离，所述指令将所述处理器配置成：
跨越两个或更多连续图像追踪多个图像特征；
基于跨越两个或更多连续图像追踪到的多个图像特征的各自的运动和地面运动估计将追踪到的多个图像特征识别出离地特征，被识别的多个离地特征中的每一个都与位于地面之上的障碍物的至少一部分相对应；以及
对于所述多个离地特征中的每一个，基于投影到地平面的、由所述相机拍摄到的所述图像中的相应离地特征的运动和所述地面运动估计计算从所述障碍物的对应于所述相应离地特征的部分到所述相机的距离。
16.如权利要求15所述的处理器，其中，所述指令当被所述处理器执行时，还将所述处理器配置成：
对于由所述相机拍摄到的每个图像，通过所述图像投影到所述地平面来生成相应的连续图像。
17.如权利要求15所述的处理器，其中，所述指令当被所述处理器执行时，还将所述处理器配置成：
基于跨越所述两个或更多连续图像的多个追踪到的图像特征的运动确定所述地面运动估计。
18.如权利要求15所述的处理器，其中，所述指令当被所述处理器执行时，还将所述处理器配置成：
从所述连续图像中的一个或多个图像生成一个或多个快照。
19.如权利要求18所述的处理器，其中，生成新的快照包括：
确定所述连续图像中的所述一个或多个图像的下一个图像与最后识别的快照之间的、追踪到的图像特征的平均位移是否超过阈值；以及
当所述平均位移超过阈值时，将所述连续图像中的所述下一个图像识别为所述新的快照。
20.如权利要求19所述的处理器，其中，所述平均位移使用具有超过最小阈值的位移的、追踪到的图像特征来确定。
21.如权利要求19所述的处理器，其中，所述指令当被所述处理器执行时，还将所述处理器配置成：
基于跨越两个或更多连续快照的多个追踪到的图像特征的运动，确定所述地面运动估计。
22.如权利要求21所述的处理器，其中，确定所述地面运动估计包括：
确定描述当前快照与一个或多个先前快照之间的运动的地面运动参数的估计，所述地面运动参数基于{θ,tx,ty}定义二维刚性变换，
其中：
θ是所述相机的旋转；
tx是所述相机在第一方向上的平移；以及
ty是所述相机在与所述第一方向垂直的第二方向上的平移。
23.如权利要求22所述的处理器，其中，确定所述地面运动参数的估计包括：
使用用于确定地面运动估计的、所述多个追踪到的图像特征的线性最小平方拟合将所述地面运动近似为近似仿射变换；以及
使用迭代牛顿-高斯方法精炼所述近似仿射变换。
24.如权利要求15所述的处理器，其中识别离地特征包括：
如果跨越连续图像的相应图像特征的运动大于所述地面运动估计，则将所述相应图像特征识别为离地特征。
25.如权利要求16所述的处理器，其中，所述指令当被所述处理器执行时，还将所述处理器配置成：
基于跨越所述两个或更多连续图像的多个追踪到的图像特征的运动确定所述地面运动估计。
26.如权利要求16所述的处理器，其中，所述指令当被所述处理器执行时，还将所述处理器配置成：
从所述连续图像中的一个或多个图像生成一个或多个快照。
27.如权利要求20所述的处理器，其中，所述指令当被所述处理器执行时，还将所述处理器配置成：
基于跨越所述两个或更多连续图像的多个追踪到的图像特征的运动确定所述地面运动估计。
28.如权利要求19所述的处理器，其中识别离地特征包括：
如果跨越连续图像的相应图像特征的运动大于所述地面运动估计，则将所述相应图像特征识别为离地特征。
29.一种用于确定到障碍物的距离的系统，所述系统包括：
相机，待被安装到车辆；
存储器，用于存储指令；以及
处理器，用于执行指令，当所述相机被安装到所述车辆时，所述处理器用于确定从所述相机至障碍物的距离，所述指令将所述系统配置成：
跨越两个或更多连续图像追踪多个图像特征；
基于跨越两个或更多连续图像追踪到的多个图像特征的各自的运动和地面运动估计将追踪到的多个图像特征识别出离地特征，被识别的多个离地特征中的每一个都与位于地面之上的障碍物的至少一部分相对应；以及
对于所述多个离地特征中的每一个，基于投影到地平面的、由所述相机拍摄到的图像中的相应离地特征的运动和所述地面运动估计计算从所述障碍物的对应于所述相应离地特征的部分到所述相机的距离。
CN201380016569.0A 2012-02-28 2013-02-27 单个相机距离估计 Active CN104204721B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/208,919 2012-02-28
US13/208,919 US10008002B2 (en) 2012-02-28 2012-02-28 Single-camera distance estimation
PCT/CA2013/000172 WO2013126989A1 (en) 2012-02-28 2013-02-27 Single-camera distance estimation

Publications (2)

Publication Number Publication Date
CN104204721A CN104204721A (zh) 2014-12-10
CN104204721B true CN104204721B (zh) 2017-09-12

Family

ID=49002455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380016569.0A Active CN104204721B (zh) 2012-02-28 2013-02-27 单个相机距离估计

Country Status (4)

Country Link
US (1) US10008002B2 (zh)
KR (1) KR101961001B1 (zh)
CN (1) CN104204721B (zh)
WO (1) WO2013126989A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330471B2 (en) * 2013-02-14 2016-05-03 Qualcomm Incorporated Camera aided motion direction and speed estimation
GB2579445B (en) 2013-03-12 2020-09-16 Opternative Inc Computerized refraction and astigmatism determination
US9322647B2 (en) 2013-03-28 2016-04-26 International Business Machines Corporation Determining camera height using distributions of object heights and object image heights
US9305219B2 (en) * 2014-01-23 2016-04-05 Mitsubishi Electric Research Laboratories, Inc. Method for estimating free space using a camera system
US9165361B1 (en) * 2014-03-13 2015-10-20 Raytheon Company Video tracking with jitter, slewing, or zoom
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
CN107111598B (zh) * 2014-12-19 2020-09-15 深圳市大疆创新科技有限公司 使用超声深度感测的光流成像系统以及方法
EP3048558A1 (en) 2015-01-21 2016-07-27 Application Solutions (Electronics and Vision) Ltd. Object detecting method and object detecting apparatus
US9532709B2 (en) 2015-06-05 2017-01-03 Jand, Inc. System and method for determining distances from an object
US9770165B2 (en) 2015-08-13 2017-09-26 Jand, Inc. Systems and methods for displaying objects on a screen at a desired visual angle
EP3408610A4 (en) 2016-01-25 2020-01-01 Topcon Positioning Systems, Inc. METHOD AND DEVICE FOR OPTICAL SINGLE CAMERA MEASUREMENTS
JP6564713B2 (ja) * 2016-02-01 2019-08-21 三菱重工業株式会社 自動運転制御装置、車両及び自動運転制御方法
EP3433131B1 (en) 2016-03-23 2023-07-12 Netradyne, Inc. Advanced path prediction
US10318826B2 (en) * 2016-10-07 2019-06-11 Ford Global Technologies, Llc Rear obstacle detection and distance estimation
US10914813B2 (en) * 2018-08-21 2021-02-09 Aptiv Technologies Limited Classifying potentially stationary objects tracked by radar
CN111353337A (zh) * 2018-12-21 2020-06-30 厦门歌乐电子企业有限公司 一种障碍物识别装置及方法
US20220218198A1 (en) * 2019-03-15 2022-07-14 Biotrillion, Inc. Method and system for measuring pupillary light reflex with a mobile phone
US11248914B2 (en) * 2019-06-20 2022-02-15 Lyft, Inc. Systems and methods for progressive semantic mapping
CN115699792A (zh) * 2020-06-05 2023-02-03 索尼集团公司 固态成像装置、控制固态成像装置的方法和移动体
CN117893695B (zh) * 2024-03-15 2024-06-04 浙江托普云农科技股份有限公司 任意株高三维重建方法、系统及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441073A (zh) * 2007-11-23 2009-05-27 佛山市顺德区顺达电脑厂有限公司 车距侦测装置与方法
CN201380816Y (zh) * 2008-12-29 2010-01-13 广东铁将军防盗设备有限公司 自动导航汽车和车辆避障告警系统及其相应的电路
CN101713644A (zh) * 2008-10-01 2010-05-26 通用汽车环球科技运作公司 使用单个照相机的眼睛检测系统
CN102084218A (zh) * 2008-07-07 2011-06-01 三菱电机株式会社 车辆行驶环境检测装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3167752B2 (ja) * 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
JP3515926B2 (ja) * 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
KR20040050739A (ko) * 2002-12-09 2004-06-17 한국전자통신연구원 모바일 레이저 스캐닝 데이터를 이용한 3차원 지형지물추출 및 분류 시스템 및 그 방법
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US20100245571A1 (en) * 2006-04-24 2010-09-30 Northrop Grumman Corporation Global hawk image mosaic
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4978938B2 (ja) * 2006-09-13 2012-07-18 パイオニア株式会社 距離測定装置及び方法、並びにコンピュータプログラム
FR2938228B1 (fr) * 2008-11-10 2010-11-05 Peugeot Citroen Automobiles Sa Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile
US8352111B2 (en) * 2009-04-06 2013-01-08 GM Global Technology Operations LLC Platoon vehicle management
US11488322B2 (en) * 2010-12-08 2022-11-01 Cognex Corporation System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
TWI475515B (zh) * 2011-04-13 2015-03-01 Univ Nat Taiwan 產生立體影片之深度圖的方法
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441073A (zh) * 2007-11-23 2009-05-27 佛山市顺德区顺达电脑厂有限公司 车距侦测装置与方法
CN102084218A (zh) * 2008-07-07 2011-06-01 三菱电机株式会社 车辆行驶环境检测装置
CN101713644A (zh) * 2008-10-01 2010-05-26 通用汽车环球科技运作公司 使用单个照相机的眼睛检测系统
CN201380816Y (zh) * 2008-12-29 2010-01-13 广东铁将军防盗设备有限公司 自动导航汽车和车辆避障告警系统及其相应的电路

Also Published As

Publication number Publication date
US10008002B2 (en) 2018-06-26
US20130222589A1 (en) 2013-08-29
CN104204721A (zh) 2014-12-10
WO2013126989A1 (en) 2013-09-06
KR101961001B1 (ko) 2019-03-21
KR20150008056A (ko) 2015-01-21

Similar Documents

Publication Publication Date Title
CN104204721B (zh) 单个相机距离估计
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN105678748B (zh) 三维监控系统中基于三维重构的交互式标定方法和装置
Tardif et al. Monocular visual odometry in urban environments using an omnidirectional camera
JP6002126B2 (ja) 画像ベースの測位のための方法および装置
US8744169B2 (en) Voting strategy for visual ego-motion from stereo
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
US20040125207A1 (en) Robust stereo-driven video-based surveillance
JP2014032666A (ja) 周囲状況に対するカメラの姿勢を求めるための方法
CN106981074A (zh) 用于估计相机相对于路面的取向的方法和装置
CN111862673A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN108151713A (zh) 一种单目vo快速位姿估计方法
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
Kirchhof et al. Detection of moving objects in airborne thermal videos
He et al. Three-point-based solution for automated motion parameter estimation of a multi-camera indoor mapping system with planar motion constraint
Grinstead et al. Vehicle-borne scanning for detailed 3D terrain model generation
Diskin et al. Dense 3D point-cloud model using optical flow for a monocular reconstruction system
Cheda et al. Camera egomotion estimation in the ADAS context
Aliakbarpour et al. Geometric exploration of virtual planes in a fusion-based 3D data registration framework
Ross et al. Mobile robot mosaic imaging of vehicle undercarriages using catadioptric vision
Knoblauch et al. Factorization of correspondence and camera error for unconstrained dense correspondence applications
Gakne et al. Skyline-based positioning in urban canyons using a narrow fov upward-facing camera
Miled et al. Robust obstacle detection based on dense disparity maps
Swank Localization using visual odometry and a single downward-pointing camera
Solbrig et al. Online annotation of airborne surveillance and reconnaissance videos

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Ontario, Canada

Patentee after: NXP Canadian Ex-plosives Ltd.

Address before: Ontario, Canada

Patentee before: Flying Carle semiconductor Canada Co.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20171124

Address after: Ontario, Canada

Patentee after: Flying Carle semiconductor Canada Co.

Address before: Quebec

Patentee before: Cognivi

TR01 Transfer of patent right