CN108007436A - 计算机视觉系统中的碰撞时间估计 - Google Patents

计算机视觉系统中的碰撞时间估计 Download PDF

Info

Publication number
CN108007436A
CN108007436A CN201710971461.7A CN201710971461A CN108007436A CN 108007436 A CN108007436 A CN 108007436A CN 201710971461 A CN201710971461 A CN 201710971461A CN 108007436 A CN108007436 A CN 108007436A
Authority
CN
China
Prior art keywords
positions
institute
camera
detection object
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710971461.7A
Other languages
English (en)
Inventor
普拉什汉特·拉马纳特普尔·维斯瓦纳特
迪帕克·库马尔·波达尔
索耶·纳戈尔里
马努·马修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of CN108007436A publication Critical patent/CN108007436A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)

Abstract

本申请案涉及在计算机视觉系统中进行碰撞时间估计。本发明提供一种用于在计算机视觉系统中估计所检测物体的碰撞时间TTC的方法，所述方法包含：确定(200)所述计算机视觉系统中的相机的三维3D位置；基于由所述相机捕获的图像中的所述所检测物体的2D位置及对应于所述图像的所估计地平面而确定(202)所述所检测物体的3D位置；基于所述相机的所述3D位置及所述所检测物体的所述3D位置而计算(204)所述相机的相对3D位置、所述相对3D位置的速度及所述相对3D位置的加速度，其中所述相机的所述相对3D位置是相对于所述所检测物体的所述3D位置来说的；及基于所述相对3D位置、所述速度及所述加速度而计算(206)所述所检测物体的所述TTC。

Description

计算机视觉系统中的碰撞时间估计
技术领域
本发明的实施例大体来说涉及计算机视觉系统，且更具体来说涉及计算机视觉系统中的碰撞时间估计。
背景技术
所估计碰撞时间(TTC)在高级驾驶员辅助系统(ADAS)及自主驾驶中是重要信息，这是因为TTC用于例如前方碰撞警告(FCW)、自动紧急制动(AEB)及自动巡航控制(ACC)等安全关键应用中。可将TTC定义为物体与所述物体的路径中的障碍物碰撞所花费的时间，或者在移动运载工具的情形中，定义为直到运载工具将与运载工具的轨迹中的物体碰撞时的所估计时间。TTC的许多当前计算方法是基于传感器形态，例如雷达及激光雷达。激光雷达可对于消费型运载工具来说受成本过高限制，且雷达的角分辨率可能不理想。
发明内容
本发明的实施例涉及在计算机视觉系统中估计碰撞时间。在一个方面中，提供一种用于在计算机视觉系统中估计所检测物体的碰撞时间(TTC)的方法，所述方法包含：确定所述计算机视觉系统中的相机的三维(3D)位置；基于由所述相机捕获的图像中的所述所检测物体的2D位置及对应于所述图像的所估计地平面而确定所述所检测物体的3D位置；基于所述相机的所述3D位置及所述所检测物体的所述3D位置而计算所述相机的相对3D位置、所述相对3D位置的速度及所述相对3D位置的加速度，其中所述相机的所述相对3D位置是相对于所述所检测物体的所述3D位置来说的；及基于所述相对3D位置、所述速度及所述加速度而计算所述所检测物体的所述TTC。
在一个方面中，提供一种计算机视觉系统，所述计算机视觉系统包含：单眼相机，其经配置以捕获场景的二维(2D)图像；物体检测组件，其经配置以检测所述2D图像中的物体；及碰撞时间(TTC)组件，其经配置以估计由所述物体检测组件检测到的物体的TTC，其中所述TTC组件经配置以确定对应于所述2D图像的所述相机的三维(3D)位置；基于所述图像中的所述所检测物体的2D位置及对应于所述图像的所估计地平面而确定所述所检测物体的3D位置；基于所述相机的所述3D位置及所述所检测物体的所述3D位置而计算所述相机的相对3D位置、所述相对3D位置的速度及所述相对3D位置的加速度，其中所述相机的所述相对3D位置是相对于所述所检测物体的所述3D位置来说的；及基于所述相对3D位置、所述速度与所述加速度而计算所述所检测物体的所述TTC。
在一个方面中，提供一种用于在计算机视觉系统中估计所检测物体的碰撞时间(TTC)的方法，所述方法包含：计算所检测物体距所述计算机视觉系统中所包括的相机的距离，其中所述所检测物体位于所述相机的视场中；计算所述相机的相对三维(3D)位置沿所述所检测物体的方向的经推测速度，其中所述相机的所述相对3D位置是相对于所述所检测物体的3D位置来说的；计算所述相机的所述相对3D位置沿所述所检测物体的所述方向的经推测加速度；及基于所述距离、所述经推测速度及所述经推测加速度而计算所述TTC。
在一个方面中，一种用于确定所检测物体是否位于运载工具的轨迹中的方法，所述方法包含：确定所述所检测物体的渐进角，其中所述渐进角是所述运载工具中所包括的相机的速度向量与相机-物体向量之间的角度，其中所述所检测物体位于所述相机的视场中；及将所述渐进角与角度阈值进行比较以确定所述所检测物体是否位于所述轨迹中。
附图说明
现在将仅以实例方式且参考附图来描述特定实施例：
图1是用于估计碰撞时间(TTC)的系统的框图；
图2是用于计算图1的系统中的所估计TTC的方法的流程图；
图3是用于估计物体的TTC的方法的流程图；
图4是图解说明对物体的轨迹的估计的实例；且
图5是实例性多处理器单芯片系统(SOC)的高级框图，所述多处理器单芯片系统经配置以用于基于单眼相机的汽车安全应用中。
具体实施方式
现在将参考附图详细地描述本发明的特定实施例。为一致性起见，各图中的相似元件是由相似参考编号指示。
本发明的实施例提供基于由安装于运载工具上的前向单眼相机捕获的帧而估计移动运载工具与运载工具的轨迹中的物体的碰撞时间(TTC)。更具体来说，使用一下信息来估计TTC：例如所检测物体距运载工具的距离、所检测物体的相对加速度及速度及所检测物体中的任一者是否在碰撞路径中(即，位于运载工具的轨迹中)。
图1是用于估计TTC的系统100的框图。由安装于运载工具中的前向单眼相机(未展示)捕获的图像输入到系统100。系统100包含物体检测组件102、运动恢复结构(SfM)组件104、地平面估计组件106及碰撞时间(TTC)组件108。
将物体检测组件102耦合到相机以接收图像。物体检测组件102经配置以在每一输入图像中检测相机的视场(FOV)中的物体，且针对每一所检测到的物体输出指示图像中的二维(2D)位置的边界框和独特识别符。物体检测组件102可使用任何适合的实时物体检测技术。在一些实施例中，物体检测组件102经配置以检测FOV中的运载工具和行人。
将SfM组件104耦合到相机以接收图像。SfM组件104经配置以产生三维(3D)点云，所述三维点云在相机的FOV中表示对应于每一输入图像的3D环境。SfM组件104进一步经配置以产生相机姿态矩阵来作为产生3D点云的一部分。众所周知，相机姿态矩阵是4x4矩阵，所述4x4矩阵包含：3x3旋转矩阵，其指示相机已以6个自由度旋转了多少；及平移向量，其指示相机已沿x、y及z方向移动了多少。由SfM组件104产生的相机姿态矩阵是相对姿态矩阵，其指示相机从先前图像平移及旋转的任何改变。SfM组件104可使用任何适合的实时SfM技术。举例来说，可在2016年6月20日提出申请的美国专利申请案第15/197,749号“用于计算机视觉系统中的实时运动恢复结构的方法和系统(Method and System for Real TimeStructure from Motion in a Computer Vision System)”中找到适合的SfM技术的实例，所述申请案以引用的方式并入本文中。
将地平面估计组件106耦合到SfM组件104以接收3D点云。地平面估计组件106经配置以基于3D点云而估计地平面。地平面估计组件106可使用任何适合的实时地平面估计技术。举例来说，可在2016年9月2日提出申请的美国专利申请案第15/255,832号“计算机视觉系统中的地平面估计(Ground Plane Estimation in a Computer Vision System)”中找到适合的地平面估计技术的实例，所述申请案以引用的方式并入本文中。
将TTC组件108耦合到物体检测组件102以接收所检测物体的边界框和识别符，耦合到SfM组件104以接收相机姿态矩阵，且耦合到地平面估计组件106以接收所估计地平面。TTC组件108经配置以使用所接收到的信息来估计运载工具的轨迹中的物体的TTC。参考图2和图3的方法阐释TTC组件108的操作。
图2是用于估计TTC的方法的流程图，所述方法可由图1的系统中的TTC组件108来执行。首先，基于从SfM组件104接收到的相机姿态矩阵而确定200相机的3D位置。为了确定相机的3D位置，从相机姿态矩阵提取平移向量。如先前所述，平移向量包含相机相对于先前图像的X、Y及Z坐标的改变。使用前平移向量及当前平移向量来获得绝对相机位置[Xc,Yc,Zc]。将相机位置提供到卡尔曼(Kalman)滤波器，卡尔曼滤波器经配置以跟踪相机位置，但由于依赖于相机图像来计算相机姿态矩阵因此相机姿态可能存在误差。卡尔曼滤波器是其中基于恒定加速度而预测输出测量的恒定加速度模型。卡尔曼滤波器的输出是经滤波的相机位置[Xc,Yc,Zc]’、指示相机位置的改变速率(速度)的速度向量[Vxc,Vyc,Vzc]及指示相机速度的改变速率(加速度)的加速度向量[Axc,Ayc,Azc]。
还针对从物体检测组件102接收的所检测物体中的每一者而确定202所检测物体的3D位置。如先前所述，物体检测组件102输出每一所检测物体的独特识别符及边界框。每一边界框是由边界框的拐角的2D坐标来表示。出于确定所检测物体的3D位置目的，使用对应边界框的底部的中点的2D坐标以得出物体的2D位置，这是因为边界框的底部应该是在地平面上。
使用上文所描述的对应边界框的底部处的2D位置及由地平面估计组件106提供的地平面方程式来计算所检测物体在地面上的3D位置。用于图像的地平面方程式呈AX+BY+CZ＝1形式，其中A、B及C是由地平面估计组件106确定的地平面的系数，且X、Y及Z是3D坐标。通过求解以下方程式来确定物体的X、Y及Z而计算具有2D坐标x、y的所检测物体的3D位置：
AX+BY+CZ＝1
Xf/Z＝x
Yf/Z＝y
其中f是给定焦距(针孔相机模型)。
由于所检测物体的边界框在图像与图像之间可能有所跳跃及/或在物体与地面相交的情况下无法覆盖所述物体的底部，因此使用卡尔曼滤波器来跟踪每一3D物体位置[Xo,Yo,Zo]以减少噪声。卡尔曼滤波器中的每一者是其中基于恒定加速度而预测输出测量的恒定加速度模型。每一卡尔曼滤波器中的输出是物体的经滤波3D位置[Xo,Yo,Zo]’、指示物体位置的改变速率(速度)的速度向量[Vxo,Vyo,Vzo]及指示物体速度的改变速率(加速度)的加速度向量[Axo,Ayo,Azo]。
由于所估计的地平面系数[A,B,C]也可能有误差，因此也使用卡尔曼滤波器来跟踪所述系数。卡尔曼滤波器是其中基于恒定速度而预测输出测量的恒定速度模型。卡尔曼滤波器的输出是经滤波系数[A,B,C]’及指示系数的改变速率(速度)的速度向量[VA,VB,VC]。可由地平面估计组件106或TTC组件108应用卡尔曼滤波器。
接着，计算204相对于每一3D物体位置的3D相机位置。即，针对每一所检测物体，从经滤波3D相机位置[Xc,Yc,Zc]’减去经滤波3D物体位置[Xo,Yo,Zo]’以确定相对于3D物体位置的3D相机位置[Xr,Yr,Zr]。使用卡尔曼滤波器跟踪相对位置[Xr,Yr,Zr]中的每一者。卡尔曼滤波器中的每一者是其中基于恒定加速度而预测输出测量的恒定加速度模型。每一卡尔曼滤波器的输出是经滤波3D相对位置[Xr,Yr,Zr]’、指示3D相对位置的改变速率(速度)的速度向量[Vxr,Vyr,Vzr]及指示3D相对位置的速度的改变速率(加速度)的加速度向量[Axr,Ayr,Azr]。
接着，基于对应于每一所检测物体的经滤波3D相对位置[Xr,Yr,Zr]’、速度向量[Vxr,Vyr,Vzr]及加速度向量[Axr,Ayr,Azr]而计算所述物体的碰撞时间(TTC)。下文参考图3的方法描述计算物体的TTC。
还检查208所检测物体中的每一个的轨迹以确定任何物体是否位于运载工具的轨迹中。如果所检测物体中无一者位于运载工具的轨迹中，那么方法终止。如果确定任一物体位于运载工具的轨迹中，那么输出210那个物体的TTC且方法终止。如果物体的渐进角θ小于预定角度阈值，那么确定所检测物体位于运载工具的轨迹中。可通过求得相机速度向量与相机-物体向量之间的角度来确定所检测物体的渐进角，如渐进角通过以下方程式给出
θ＝absolute(acos((u*v)/(mod(u)*mod(v))))
其中u和v是两个向量。可使用角度阈值的任何适合值且可根据经验确定所述值。在一些实施例中，角度阈值可介于0度与10度之间。角度阈值可(例如)基于相机与预期车道宽度之间的位置。
由于在同一车道中较靠近相机的物体具有比在同一车道中距相机较远的物体更高的渐进角θ可变性，因此在一些实施例中可使用基于距离的角度阈值方法。基于距离的角度阈值方法是基于预定角度阈值，使得随着物体距相机的距离增大，角度阈值从预定角度阈值逐渐减小。参考图3的方法阐释对物体距相机的距离的计算。
举例来说，假设预定角度阈值为8度。可如下应用基于距离的阈值。如果到物体的距离小于3米，那么使用全跨度的预定角度阈值(即，8°)来进行轨迹检查。如果到物体的距离介于3米与6米之间，那么使用75％的预定角度阈值(即，6°)来进行轨迹检查。如果到物体的距离介于6米与12米之间，那么使用50％的预定角度阈值(即，4°)来进行轨迹检查。如果到物体的距离大于12米，那么使用25％的预定角度阈值(即，2°)来进行轨迹检查。
可使用任何适合的距离范围、距离范围数目和/或每一距离范围的预定角度阈值减小量。可根据经验确定距离范围、距离范围数目及/或阈值减小量。
图4是图解说明基于距离的阈值的实例。在此实例中，如由边界框指示，已在地面上检测到五个物体。由相机位置与物体之间的箭头展示每一物体的相机-物体向量。还展示所跟踪的相机速度向量Vc。如先前所描述，基于相机速度向量及相机-物体向量而确定每一物体的渐进角。在此实例中，由于仅θ1<角度阈值，因此仅对应于此渐进角的物体位于运载工具的轨迹中。
图3是用于计算物体的碰撞时间的方法的流程图。输入到此方法的是对应于物体的经滤波3D相对位置[Xr,Yr,Zr]’、速度向量[Vxr,Vyr,Vzr]及加速度向量[Axr,Ayr,Azr]。首先，计算300物体距相机的距离。可按照以下方程式计算距离d
d＝norm([Xr,Yr,Zr]’)。
沿物体方向推测302相机的相对速度。可按照以下方程式计算经推测速度v
v＝[Vxr,Vyr,Vzr]x([Xr,Yr,Zr]’/norm([Xr,Yr,Zr]’))。
此外，沿物体方向推测304相机的相对加速度。可按照以下方程式计算经推测加速度a
a＝[Axr,Ayr,Azr]x([Xr,Yr,Zr]’/norm([Xr,Yr,Zr]’))。
接着，按照以下方程式计算碰撞时间TTC
如果a＝0，那么TTC＝d/v
否则，TTC＝min[(-v(+-)sqrt(v2+2ad))/a]。
图5是实例性多处理器单芯片系统(SOC)500的高级框图，多处理器单芯片系统500经配置以用于基于单眼相机的ADAS中。特定来说，实例性SOC 500是可从德州仪器公司(Texas Instruments,Inc)获得TDA3X SOC的实施例。本文中提供对SOC 500的组件的高级描述。可在以下文件中找到对实例性组件的更详细的描述：M.莫迪(M.Mody)等人的“高性能前置摄像头ADAS在TI’s TDA3X平台上的应用(High Performance Front Camera ADASApplications on TI’s TDA3X Platform)”、2015年12月16日到19日在印度班加罗尔(Bangalore,India)举行的2015电气与电子工程师协会第22届高性能计算国际会议的会议记录(Proceedings of 2015 IEEE 22nd International Conference on HighPerformance Computing)第456到463页及德州仪器公司2014年10月发售的SPRT704A“用于高级驾驶员辅助系统(ADAS)的TDA3x SOC处理器的技术简介(TDA3x SOC Processors forAdvanced Driver Assist Systems(ADAS)Technical Brief)”第1到6页，上述文件以引用的方式并入本文中。
SOC 500包含经由高速互连件522耦合的双通用处理器(GPP)502、双数字信号处理器(DSP)504及视觉处理器506。SOC 500进一步包含直接存储器存取(DMA)组件508、耦合到单眼相机524的相机捕获组件510、显示器管理组件514、芯片上随机存取存储器(RAM)516(例如，计算机可读媒体)及各种输入/输出(I/O)外围设备520，上述组件经由互连件522全部耦合到处理器。另外，SOC 500包含安全组件518，安全组件518包含能够符合汽车安全要求的安全相关功能性。此功能性可包含支持对数据的CRC(循环冗余检查)、用于漂移检测的时钟比较器、误差信令、视窗化监视定时器及损坏及故障的SOC自检。实施如本文中所描述的碰撞时间估计的软件可存储于存储器516中，且可在SOC 500的一或多个可编程处理器上执行。
其它实施例
虽然已参考有限数目个实施例描述本发明，但是受益于本发明的所属领域的技术人员将了解，可设想不背离本文中所揭示的本发明的范围的其它实施例。
举例来说，本文中已描述其中计算所有所检测物体的TTC的实施例。所属领域的技术人员将理解其中仅计算运载工具的轨迹中的所检测物体的TTC的实施例。
在另一实例中，本文中已描述其中相机姿态矩阵是相对姿态矩阵，其指示相机从先前图像平移及旋转的任何改变的实施例。所属领域的技术人员将理解其中相对于原点计算相机姿态矩阵的实施例。
在另一实例中，本文中已描述其中计算相机姿态矩阵以作为确定3D点云的一部分的实施例。所属领域的技术人员将理解其中(举例来说)使用惯性测量单元或运载工具的里程表来确定相机姿态的实施例。
在另一实例中，本文中已描述其中使用卡尔曼滤波器的实施例。所属领域的技术人员将理解其中使用其它滤波器类型(例如，粒子滤波器或平均值平均滤波器)的实施例。
在另一实例中，本文中已描述其中使用所检测物体的边界框的底部的中点作为所检测物体的2D位置的实施例。所属领域的技术人员将理解其中可使用沿着边界框的底部的其它适合位置的实施例。在这些实施例中，用于轨迹检查的角度阈值可不同于在使用中点位置时使用的角度阈值。
在另一实例中，本文中已描述其中假定所检测物体是其它运载工具的一些实施例。所属领域的技术人员将理解其中所检测物体可包含(举例来说)行人、自行车及障碍物(例如电线杆、道路碎石等)的实施例。
在另一实例中，本文中已参考汽车安全系统描述实施例。所属领域的技术人员将理解针对其它计算机视觉应用(举例来说，工业应用、机器人学及消费型应用，例如真空吸尘器)的实施例。举例来说，TTC可用于确定在传送带上移动的物体是否有问题。可使用本文中所描述的相同计算组件来计算在传送带上移动的物体的相对速度，其中参考平面将是传送带而非地平面。
如本文中所使用，术语“运载工具”也可用来表示其它类型的装置，例如机器人、工业装置、消费型装置等，在这些装置中计算TTC是有益的。
在另一实例中，本文中已描述其中TTC估计被实施为在多处理器SOC中的处理器上执行的软件指令的实施例。所属领域的技术人员将理解，地平面估计可被实施为软件、固件与硬件的任何适合组合。举例来说，可以一或多个硬件加速度器、特殊应用集成电路(ASIC)、现场可编程门阵列(FPGA)等实施功能性中的一些。
实施本文中所描述的所有或部分方法的软件指令可首先存储于计算机可读媒体中且由一或多个处理器加载并执行。在一些情形中，可经由可移动计算机可读媒体、经由来自其它数字系统上的计算机可读媒体的发射路径等散布软件指令。计算机可读媒体的实例包含不可写入存储媒体(例如，只读存储器装置)、可写入存储媒体(例如，磁盘、快闪存储器、存储器)或上述各项的组合。
尽管本文中可以循序方式呈现且描述方法步骤，但可同时执行、可组合及/或可以与图中所展示及/或本文中所描述的次序不同的次序执行图中所展示及本文中所描述的步骤中的一或多者。因此，实施例不应被视为限于图中所展示及/或本文中所描述的特定排序。
在说明及权利要求书通篇使用特定术语来指代特定系统组件。如所属领域的技术人员将了解，在不背离所描述功能性的情况下可以不同名称提及及/或可以本文中未展示的方式组合系统中的组件。本文件并不打算在名称而非功能不同的组件之间进行区分。在说明书中且在权利要求书中，术语“包含”及“包括”是以开放式的方式使用，因此应被解释为意指“包含但不限于…”。此外，术语“耦合”及其派生词打算意指间接连接、直接连接、光学连接及/或无线电连接。因此，如果第一装置耦合到第二装置，那么连接(举例来说)可以是通过直接电连接、通过经由其它装置及连接的间接电连接、通过光学电连接及/或通过线电连接。
因此认为，随附权利要求书将涵盖在本发明的范围内的对实施例的这些修改。

Claims (25)

1.一种用于在计算机视觉系统中估计所检测物体的碰撞时间TTC的方法，所述方法包括：
确定所述计算机视觉系统中所包括的相机的三维3D位置；
基于由所述相机捕获的图像中的所述所检测物体的2D位置及对应于所述图像的所估计地平面而确定所述所检测物体的3D位置；
基于所述相机的所述3D位置及所述所检测物体的所述3D位置而计算所述相机的相对3D位置、所述相对3D位置的速度及所述相对3D位置的加速度，其中所述相机的所述相对3D位置是相对于所述所检测物体的所述3D位置来说的；及
基于所述相对3D位置、所述速度及所述加速度而计算所述所检测物体的所述TTC。
2.根据权利要求1所述的方法，其进一步包括确定所述所检测物体是否位于包括所述相机的运载工具的轨迹中，所述确定包括将所述所检测物体的渐进角与角度阈值进行比较。
3.根据权利要求2所述的方法，其中比较渐进角包括将所述渐进角与基于所述所检测物体距所述相机的距离而确定的角度阈值进行比较。
4.根据权利要求3所述的方法，其中所述角度阈值是预定角度阈值的百分比，其中所述百分比随着所述距离增大而减小。
5.根据权利要求4所述的方法，其中比较渐进角包括：
如果所述距离小于第一预定距离，那么将所述渐进角与所述预定角度阈值进行比较；
如果所述距离介于所述第一预定距离与第二预定距离之间，那么将所述渐进角与所述预定角度阈值的第一百分比进行比较，其中所述第二预定距离大于所述第一预定距离；
如果所述距离介于所述第二预定距离与第三预定距离之间，那么将所述渐进角与所述预定角度阈值的第二百分比进行比较，其中所述第三预定距离大于所述第二预定距离且所述第二百分比大于所述第一百分比；及
如果所述距离大于所述第三预定距离，那么将所述渐进角与所述预定角度阈值的第三百分比进行比较，其中所述第三百分比大于所述第二百分比。
6.根据权利要求5所述的方法，其中所述第一百分比为25％，所述第二百分比为50％，且所述第三百分比为75％。
7.根据权利要求1所述的方法，其中所述所检测物体的所述2D位置是对应于所述所检测物体的边界框的底部两个拐角之间的中点。
8.根据权利要求1所述的方法，其中依据对应于所述图像的相机姿态矩阵而确定所述相机的所述3D位置。
9.根据权利要求1所述的方法，其中计算所述TTC进一步包括：基于对所述相机的所述相对3D位置沿所述所检测物体的方向的所述速度的推测及对所述相机的所述相对3D位置沿所述所检测物体的方向的所述加速度的推测而计算所述TTC。
10.一种计算机视觉系统，其包括：
单眼相机，其经配置以捕获场景的二维2D图像；
物体检测组件，其经配置以检测所述2D图像中的物体；及
碰撞时间TTC组件，其经配置以估计由所述物体检测组件检测到的物体的TTC，其中所述TTC组件经配置以
确定对应于所述2D图像的所述相机的三维3D位置；
基于所述图像中的所述所检测物体的2D位置及对应于所述图像的所估计地平面而确定所述所检测物体的3D位置；
基于所述相机的所述3D位置及所述所检测物体的所述3D位置而计算所述相机的相对3D位置、所述相对3D位置的速度及所述相对3D位置的加速度，其中所述相机的所述相对3D位置是相对于所述所检测物体的所述3D位置来说的；及
基于所述相对3D位置、所述速度及所述加速度而计算所述所检测物体的所述TTC。
11.根据权利要求10所述的计算机视觉系统，其中所述TTC组件进一步经配置以确定所述所检测物体是否位于包括所述相机的运载工具的轨迹中，所述确定包括将所述所检测物体的渐进角与角度阈值进行比较。
12.根据权利要求11所述的计算机视觉系统，其中所述TTC组件进一步经配置以将所述渐进角与基于所述所检测物体距所述相机的距离而确定的角度阈值进行比较。
13.根据权利要求10所述的计算机视觉系统，其中所述所检测物体的所述2D位置是对应于所述所检测物体的边界框的底部两个拐角之间的中点。
14.根据权利要求10所述的计算机视觉系统，其进一步包括经配置以产生对应于所述2D图像的3D点云的运动恢复结构组件。
15.根据权利要求14所述的计算机视觉系统，其进一步包括经配置以基于所述3D点云而产生所述所估计地平面的地平面估计组件。
16.根据权利要求10所述的计算机视觉系统，其中所述TTC组件进一步经配置以基于对所述相机的所述相对3D位置沿所述所检测物体的方向的所述速度的推测及对所述相机的所述相对3D位置沿所述所检测物体的方向的所述加速度的推测而计算所述TTC。
17.一种用于在计算机视觉系统中估计所检测物体的碰撞时间TTC的方法，所述方法包括：
计算所述所检测物体距所述计算机视觉系统中所包括的相机的距离，其中所述所检测物体位于所述相机的视场中；
计算所述相机的相对三维3D位置沿所述所检测物体的方向的经推测速度，其中所述相机的所述相对3D位置是相对于所述所检测物体的3D位置来说的；
计算所述相机的所述相对3D位置沿所述所检测物体的所述方向的经推测加速度；及
基于所述距离、所述经推测速度及所述经推测加速度而计算所述TTC。
18.根据权利要求17所述的方法，其中计算所述TTC进一步包括：
当所述经推测加速度为零时，将所述TTC计算为所述距离除以所述经推测速度；及
当所述经推测加速度非零时，将所述TTC计算为min[(-v(+-)sqrt(v2+2ad))/a]，其中v是所述经推测速度，a是所述经推测加速度，且d是所述距离。
19.根据权利要求17所述的方法，其进一步包括：
确定所述相机的3D位置；
基于由所述相机捕获的二维2D图像中的所述所检测物体的2D位置及对应于所述2D图像的所估计地平面而确定所述所检测物体的所述3D位置；及
基于所述相机的所述3D位置及所述所检测物体的所述3D位置而计算所述相机的所述相对3D位置、所述相对3D位置的速度及所述相对3D位置的加速度，其中所述相机的所述相对3D位置是相对于所述所检测物体的所述3D位置来说的。
20.根据权利要求19所述的方法，其中计算所述经推测速度包括将所述经推测速度计算为所述相机的所述相对3D位置与所述相对3D位置的所述速度的乘积除以所述距离，且计算所述经推测加速度包括将所述经推测加速度计算为所述相机的所述相对3D位置与所述相对3D位置的所述加速度的乘积除以所述距离。
21.一种用于确定所检测物体是否位于运载工具的轨迹中的方法，所述方法包括：
确定所述所检测物体的渐进角，其中所述渐进角为所述运载工具中所包括的相机的速度向量与相机-物体向量之间的角度，其中所述所检测物体位于所述相机的视场中；及
将所述渐进角与角度阈值进行比较以确定所述所检测物体是否位于所述轨迹中。
22.根据权利要求21所述的方法，其中基于所述所检测物体距所述相机的距离而确定所述角度阈值。
23.根据权利要求22所述的方法，其中所述角度阈值为预定角度阈值的百分比，其中所述百分比随着所述距离增大而减小。
24.根据权利要求23所述的方法，其中比较所述渐进角包括：
如果所述距离小于第一预定距离，那么将所述渐进角与所述预定角度阈值进行比较；
如果所述距离介于所述第一预定距离与第二预定距离之间，那么将所述渐进角与所述预定角度阈值的第一百分比进行比较，其中所述第二预定距离大于所述第一预定距离；
如果所述距离介于所述第二预定距离与第三预定距离之间，那么将所述渐进角与所述预定角度阈值的第二百分比进行比较，其中所述第三预定距离大于所述第二预定距离且所述第二百分比大于所述第一百分比；及
如果所述距离大于所述第三预定距离，那么将所述渐进角与所述预定角度阈值的第三百分比进行比较，其中所述第三百分比大于所述第二百分比。
25.根据权利要求24所述的方法，其中所述第一百分比为25％，所述第二百分比为50％，且所述第三百分比为75％。
CN201710971461.7A 2016-10-19 2017-10-18 计算机视觉系统中的碰撞时间估计 Pending CN108007436A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/298,218 2016-10-19
US15/298,218 US10248872B2 (en) 2016-10-19 2016-10-19 Estimation of time to collision in a computer vision system

Publications (1)

Publication Number Publication Date
CN108007436A true CN108007436A (zh) 2018-05-08

Family

ID=61902273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710971461.7A Pending CN108007436A (zh) 2016-10-19 2017-10-18 计算机视觉系统中的碰撞时间估计

Country Status (2)

Country Link
US (3) US10248872B2 (zh)
CN (1) CN108007436A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002039A (zh) * 2018-07-06 2018-12-14 达闼科技（北京）有限公司 避障提醒方法、相关装置及计算机可读存储介质
CN109074490A (zh) * 2018-07-06 2018-12-21 深圳前海达闼云端智能科技有限公司 通路检测方法、相关装置及计算机可读存储介质
CN111332287A (zh) * 2020-03-11 2020-06-26 合肥鑫晟光电科技有限公司 一种驾驶辅助方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10248872B2 (en) 2016-10-19 2019-04-02 Texas Instruments Incorporated Estimation of time to collision in a computer vision system
US10552691B2 (en) * 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
JP6613511B2 (ja) * 2018-01-18 2019-12-04 本田技研工業株式会社 運転評価システム、およびプログラム。
US10611369B2 (en) * 2018-02-01 2020-04-07 GM Global Technology Operations LLC Systems and methods for collision detection in autonomous vehicles
DE102018208278A1 (de) * 2018-05-25 2019-11-28 Robert Bosch Gmbh Betriebsassistenzverfahren, Steuereinheit, Betriebsassistenzsystem und Arbeitsvorrichtung
DE102018113325A1 (de) * 2018-06-05 2019-12-05 Connaught Electronics Ltd. Verfahren und computergestütztes Ortsbestimmungssystem zum Bestimmen des Ortes mindestens einer Struktur mittels eines bildgebenden Sensors
EP3825980A4 (en) * 2018-07-16 2022-03-02 OmniVision Sensor Solution (Shanghai) Co., Ltd METHOD OF CALCULATION OF OBJECT AND VEHICLE COLLISION TIME, CALCULATION DEVICE AND VEHICLE
JP2022036537A (ja) * 2020-08-24 2022-03-08 富士通株式会社 移動体速度導出方法及び移動体速度導出プログラム
CN113096424B (zh) * 2021-03-25 2022-05-31 武汉光庭信息技术股份有限公司 一种行人横穿的车辆自动紧急制动方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7495550B2 (en) * 2005-12-28 2009-02-24 Palo Alto Research Center Incorporated Method and apparatus for rear-end collision warning and accident mitigation
US20100305857A1 (en) * 2009-05-08 2010-12-02 Jeffrey Byrne Method and System for Visual Collision Detection and Estimation
CN102997900A (zh) * 2011-09-15 2013-03-27 歌乐株式会社 外界识别方法、装置以及车辆系统
WO2016017822A1 (ja) * 2014-08-01 2016-02-04 株式会社デンソー 衝突予想時間算出装置および衝突予想時間算出方法
CN105574552A (zh) * 2014-10-09 2016-05-11 东北大学 一种基于单目视觉的车辆测距与碰撞预警方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2085279B1 (en) * 2008-01-29 2011-05-25 Ford Global Technologies, LLC A system for collision course prediction
DE102008062916A1 (de) * 2008-12-23 2010-06-24 Continental Safety Engineering International Gmbh Verfahren zur Ermittlung einer Kollisionswahrscheinlichkeit eines Fahrzeuges mit einem Lebewesen
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
JP5905846B2 (ja) * 2013-03-29 2016-04-20 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム
DE112013007129B4 (de) * 2013-05-31 2021-08-12 Toyota Jidosha Kabushiki Kaisha Bewegungstrajektorienvorhersagevorrichtung und Bewegungstrajektorienvorhersageverfahren
US9189689B2 (en) * 2013-10-30 2015-11-17 Nec Laboratories America, Inc. Robust scale estimation in real-time monocular SFM for autonomous driving
JP6338871B2 (ja) * 2014-01-31 2018-06-06 株式会社デンソーテン レーダ装置、車両制御システム及び信号処理方法
US9367922B2 (en) * 2014-03-06 2016-06-14 Nec Corporation High accuracy monocular moving object localization
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
JP6344260B2 (ja) * 2015-02-20 2018-06-20 株式会社デンソー 障害物検出装置
JP6504042B2 (ja) * 2015-12-17 2019-04-24 株式会社デンソー 制御装置、制御方法
US10156441B2 (en) 2016-01-05 2018-12-18 Texas Instruments Incorporated Ground plane estimation in a computer vision system
US9805274B2 (en) * 2016-02-03 2017-10-31 Honda Motor Co., Ltd. Partially occluded object detection using context and depth ordering
US9925979B2 (en) * 2016-06-06 2018-03-27 Robert Bosch Gmbh Autonomous braking failure management in pedestrian protection
US10248872B2 (en) * 2016-10-19 2019-04-02 Texas Instruments Incorporated Estimation of time to collision in a computer vision system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7495550B2 (en) * 2005-12-28 2009-02-24 Palo Alto Research Center Incorporated Method and apparatus for rear-end collision warning and accident mitigation
US20100305857A1 (en) * 2009-05-08 2010-12-02 Jeffrey Byrne Method and System for Visual Collision Detection and Estimation
CN102997900A (zh) * 2011-09-15 2013-03-27 歌乐株式会社 外界识别方法、装置以及车辆系统
WO2016017822A1 (ja) * 2014-08-01 2016-02-04 株式会社デンソー 衝突予想時間算出装置および衝突予想時間算出方法
CN105574552A (zh) * 2014-10-09 2016-05-11 东北大学 一种基于单目视觉的车辆测距与碰撞预警方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002039A (zh) * 2018-07-06 2018-12-14 达闼科技（北京）有限公司 避障提醒方法、相关装置及计算机可读存储介质
CN109074490A (zh) * 2018-07-06 2018-12-21 深圳前海达闼云端智能科技有限公司 通路检测方法、相关装置及计算机可读存储介质
WO2020006764A1 (zh) * 2018-07-06 2020-01-09 深圳前海达闼云端智能科技有限公司 通路检测方法、相关装置及计算机可读存储介质
US10997439B2 (en) 2018-07-06 2021-05-04 Cloudminds (Beijing) Technologies Co., Ltd. Obstacle avoidance reminding method, electronic device and computer-readable storage medium thereof
CN111332287A (zh) * 2020-03-11 2020-06-26 合肥鑫晟光电科技有限公司 一种驾驶辅助方法及系统

Also Published As

Publication number Publication date
US20180107883A1 (en) 2018-04-19
US10248872B2 (en) 2019-04-02
US20210287021A1 (en) 2021-09-16
US20200026933A1 (en) 2020-01-23
US10977502B2 (en) 2021-04-13
US11615629B2 (en) 2023-03-28

Similar Documents

Publication Publication Date Title
CN108007436A (zh) 计算机视觉系统中的碰撞时间估计
JP5944781B2 (ja) 移動体認識システム、移動体認識プログラム、及び移動体認識方法
US8744169B2 (en) Voting strategy for visual ego-motion from stereo
CN107016705A (zh) 计算机视觉系统中的地平面估计
US9862318B2 (en) Method to determine distance of an object from an automated vehicle with a monocular device
JP6328327B2 (ja) 画像処理装置及び画像処理方法
Rodríguez Flórez et al. Multi-modal object detection and localization for high integrity driving assistance
US10187630B2 (en) Egomotion estimation system and method
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
EP2256690A1 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
Emani et al. Obstacle detection and distance estimation for autonomous electric vehicle using stereo vision and DNN
US20140049644A1 (en) Sensing system and method for detecting moving objects
US20200311967A1 (en) Information processing device and computer-readable recording medium recording object information generation program
Badino et al. Stereo-based free space computation in complex traffic scenarios
JP2021154969A (ja) 障害物検知装置、障害物検知方法、および、プログラム
Frémont et al. Visual confirmation of mobile objects tracked by a multi-layer lidar
Yang et al. Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera
US10783350B2 (en) Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera
AR et al. On using a low-density flash lidar for road vehicle tracking
Abad et al. Parking space detection
Wong et al. Shared-use motion vector algorithm for moving objects detection for automobiles
Klappstein et al. Detectability of moving objects using correspondences over two and three frames
Grinberg et al. Feature-based probabilistic data association and tracking
Burschka Monocular navigation in large scale dynamic environments
Mathew Radar and Vision Sensor Fusion for Vehicle Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination