CN101910781B - 移动状态推测装置 - Google Patents

移动状态推测装置 Download PDF

Info

Publication number
CN101910781B
CN101910781B CN2008801224746A CN200880122474A CN101910781B CN 101910781 B CN101910781 B CN 101910781B CN 2008801224746 A CN2008801224746 A CN 2008801224746A CN 200880122474 A CN200880122474 A CN 200880122474A CN 101910781 B CN101910781 B CN 101910781B
Authority
CN
China
Prior art keywords
point
unique point
candidate
moving
vehicle
Prior art date
Application number
CN2008801224746A
Other languages
English (en)
Other versions
CN101910781A (zh
Inventor
内田尚秀
白石达也
Original Assignee
丰田自动车株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007-332275 priority Critical
Priority to JP2007332275A priority patent/JP4337929B2/ja
Application filed by 丰田自动车株式会社 filed Critical 丰田自动车株式会社
Priority to PCT/JP2008/073375 priority patent/WO2009081920A1/ja
Publication of CN101910781A publication Critical patent/CN101910781A/zh
Application granted granted Critical
Publication of CN101910781B publication Critical patent/CN101910781B/zh

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Abstract

移动状态推测装置(100)包括:候补特征点提取单元(10),提取在第一时点本车辆上搭载的图像传感器(2)拍摄的图像内的候补特征点;位置关系获取单元(11),取得候补特征点的实际位置与本车辆之间的位置关系;特征点选择单元(12),根据位置关系从候补特征点中选择特征点;对应点提取单元(13),提取在第二时点图像传感器(2)拍摄的图像内的与所述特征点对应的对应点;以及移动状态推测单元(14),根据特征点的坐标和对应点的坐标推测本车辆从第一时点至第二时点的移动状态。

Description

移动状态推测装置
技术领域
[0001] 本发明涉及一种根据图像传感器拍摄的图像推测搭载了该图像传感器的移动体的移动状态的移动状态推测装置。
背景技术
[0002] 过去,根据单眼摄像机推测本车辆的位置及姿态的移动体周边监视装置为人们所熟知(例如,参照专利文献1)。
[0003] 所述移动体周边监视装置从在汽车移动期间搭载在所述本车辆上的单眼摄像机在第一时点拍摄的图像中提取路面上的四个以上的特征点,跟踪所述特征点并从所述单眼摄像机在第二时点拍摄的图像中提取与所述路面上的特征点对应的对应点,根据所述特征点的二维坐标及所述对应点的二维坐标计算出单应性,从而导出第一时点的单眼摄像机的位置及姿态、与第二时点的单眼摄像机的位置及姿态之间的相对变化。
[0004] 其结果,所述移动体周边监视装置能够推测搭载了所述单眼摄像机的本车辆的位置及姿态。
[0005] 专利文献1 :日本特开2004-198211号公报发明内容
[0006] 但是,在专利文献1中,虽然记载了所述移动体周边监视装置从由单眼摄像机拍摄的路面上的白线、凹凸、台阶以及花纹等中提取四个以上的特征点,但是关于这些特征点的选择方法却没有任何记载。其结果是,所述移动体周边监视装置有时由于提取出距离或方向上有偏差的特征点而使本车辆的位置及姿态的推测精度降低。
[0007] 另外,专利文献1中记载的移动体周边监视装置,有时还将单眼摄像机拍摄的其他车辆等移动体上的点作为特征点提取而使本车辆的位置及姿态的推测精度降低。
[0008] 鉴于上述考虑,本发明的目的在于提供一种移动状态推测装置,其根据移动体上搭载的图像传感器拍摄的图像,更高精度地实现所述移动体的移动状态的推测。
[0009] 为了实现上述目的,第一技术方案的移动状态推测装置的特征在于,包括:候补特征点提取单元,提取在第一时点移动体上搭载的图像传感器拍摄的图像内的候补特征点; 位置关系获取单元,取得所述候补特征点的实际位置与所述移动体之间的位置关系;特征点选择单元,根据所述位置关系从候补特征点中选择特征点;对应点提取单元,提取在第二时点所述图像传感器拍摄的图像内的与所述特征点对应的对应点;以及移动状态推测单元,根据所述特征点的坐标和所述对应点的坐标推测所述移动体从第一时点至第二时点的移动状态。
[0010] 另外,第二技术方案是如第一技术方案所述的移动状态推测装置,其特征在于,所述位置关系包括:候补特征点的实际位置与所述移动体之间的距离、从所述移动体看到的候补特征点的实际位置的方向、或候补特征点的实际位置相对于所述移动体的相对速度。
[0011] 另外,第三技术方案是如第一或第二技术方案所述的移动状态推测装置,其特征在于,所述特征点选择单元判断候补特征点是否处于静止,并从处于静止的候补特征点中选择特征点。
[0012] 另外,第四技术方案是如第一至第三的任意一项技术方案所述的移动状态推测装置,其特征在于,所述特征点选择单元以使各特征点的实际位置与所述移动体之间的距离之差分别在规定值以上的方式选择特征点。
[0013] 另外,第五技术方案是第一至第四的任意一项技术方案所述的移动状态推测装置,其特征在于,所述特征点选择单元以使从所述移动体看到的各特征点的实际位置的方向间的角度在规定值以上的方式选择特征点。
[0014] 另外,“特征点”是指为了生成单应性使用的图像内的坐标点(像素),是在规定条件下从候补特征点中选择的坐标点(像素)。另外,坐标系例如以图像传感器拍摄的图像的左下角的像素为原点(0,0),而原点右侧的像素成为坐标(1,0),原点上侧的像素成为坐标
(0,1) O
[0015] 另外,“候补特征点”是指能够成为特征点的图像内的坐标点(像素),例如相邻的像素之间的亮度差为规定值以上的像素、与规定的亮度图案一致的像素群的中心像素等、 能够根据规定条件从图像中提取的像素所表示的坐标点。
[0016] 另外,“对应点”是指在一个图像内作为特征点选择的坐标点(像素)所表示的被拍摄物体的、在其他图像中的坐标点(像素),例如,通过图案映射处理将像素群的亮度图案与其他图像内的亮度图案进行匹配,从而提取所述对应点,所述像素群含有在一个图像内选择的特征点作为其中心像素。另外,亮度图案也可以是基于颜色图案等其他特性值的图案。
[0017] 另外,“位置关系”是指关于包含特征点的候补特征点的实际位置与搭载了拍摄图像的图像传感器的移动体之间的相对位置的信息,例如包括:包含特征点的候补特征点的实际位置与本车辆之间的距离、从本车辆看到的候补特征点的实际位置的方向、候补特征点的实际位置相对于本车辆的相对速度等。
[0018] 根据上述手段,本发明能够提供一种移动状态推测装置,其能够更高精度地实现基于移动体上搭载的图像传感器拍摄的图像的、所述移动体的移动状态的推测。
附图说明
[0019] 图1是表示本发明的移动状态推测装置的构成例的图。
[0020] 图2A是从多个候补特征点选择特征点的方法的说明图(其1)。
[0021] 图2B是从多个候补特征点选择特征点的方法的说明图(其2)。
[0022] 图2C是从多个候补特征点选择特征点的方法的说明图(其3)。
[0023] 图3是表示移动状态推测处理的流程的流程图。
[0024] 标号说明
[0025] 1控制装置
[0026] 2 图像传感器
[0027] 3测距传感器
[0028] 4车速传感器
[0029] 5转向角传感器[0030] 6 显示装置[0031] 7 声音输出装置[0032] 10 候补特征点提取单元[0033] 11 位置关系获取单元[0034] 12 特征点选择单元[0035] 13 对应点提取单元[0036] 14 移动状态推测单元[0037] 100 移动状态推测装置[0038] Dl ‘ 〜D3间隔距离[0039] α、 β实际方向间的角度[0040] Pl 第一特征点[0041] Ρ2 第二特征点[0042] Ρ3 第三特征点[0043] Vl 本车辆[0044] V2 停止中的其他车辆[0045] V3 行驶中的其他车辆
具体实施方式
[0046] 以下,参照附图说明用于实施本发明的最佳实施方式。
[0047] 实施例
[0048] 图1是表示本发明的移动状态推测装置的构成例的图,移动状态推测装置100 是推测车辆的平移或旋转之类的移动状态的车载装置,具有控制装置1,控制装置1通过 CAN(ControIler Area Network :控制器局域网)等的车载LAN与图像传感器2、测距传感器3、车速传感器4、转向角传感器5、显示装置6以及声音输出装置7连接。
[0049]控制装置 1 是具有 CPU (Central Processing Unit :中央处理器)、RAM (Random Access Memory :随机存取存储器)、ROM (Read Only Memory :只读存储器)等的计算机,例如,将分别与候补特征点提取单元10、位置关系获取单元11、特征点选择单元12、对应点提取单元13以及移动状态推测单元14对应的程序存储在ROM中,并使CPU执行与各单元对应的处理。
[0050] 图像传感器2是用于取得车辆周边的图像的传感器,例如具有CXD (Charge Coupled Device :电荷華禹合器件)、CMOS (Complementary Metal Oxide Semiconductor :互补金属氧化物半导体)等的拍摄元件的摄像机,也可以是能够夜间摄影的红外线摄像机或能够测定到被拍摄物体的距离的立体摄像机。
[0051] 图像传感器2例如在使拍摄方向固定的状态下设置在驾驶室内的后视镜附近,将以规定间隔拍摄的图像输出到控制装置1。
[0052] 测距传感器3是用于取得关于本车辆周边物体与本车辆之间的相对位置的信息的传感器,例如在前隔栅或前保险杠附近固定设置的毫米波传感器、激光雷达传感器、超声波传感器等,朝向本车辆周边发射电波、光或超声波,根据直到接收到所述反射波的时间或由多普勒效应产生的所述反射波的频率差计算出本车辆周边的物体与本车辆之间的距离、本车辆周边的物体的相对速度,并将计算出的值输出至控制装置1。
[0053] 车速传感器4是测定本车辆的速度的传感器,例如,MR (Magnetic Resistance :磁阻)元件将安装在各车轮上且与各车轮一起旋转的磁铁的磁场变化作为磁阻读取,并将其作为与旋转速度成正比例的脉冲信号提取,从而检测车轮的旋转速度及车辆的速度,并将检测出的值输出至控制装置1。
[0054] 转向角传感器5是用于测定与车轮的转向角相关的转向轴的旋转角的传感器,例如,通过MR元件读取埋入转向轴的磁铁的磁阻而检测转向轴的旋转角,并将检测出的值输出至控制装置1。
[0055] 显示装置6是用于显示各种信息的装置,例如液晶显示器,显示图像传感器2取得的图像、各种文本信息。
[0056] 声音输出装置7是用于将各种信息以声音输出的装置,例如车载扬声器,以声音输出报警声、语音提示。
[0057] 接着,说明控制装置1所具有的各种单元。
[0058] 候补特征点提取单元10是用于提取候补特征点的单元,例如,对图像传感器2拍摄的本车辆周边的图像实施灰色标度化处理、二值化处理、边缘检测处理等的图像处理,提取出候补特征点。
[0059] 候补特征点提取单元10例如将与邻接的像素之间的亮度差为规定值以上的像素、与规定的亮度图案一致的像素群的中心像素等作为候补特征点提取,并将其位置(坐标值)存储在RAM中。
[0060] 位置关系获取单元11是用于取得候补特征点的实际位置与本车辆的实际位置之间的相对位置关系的单元,例如,根据测距传感器3的输出,取得候补特征点提取单元10 提取的候补特征点的实际位置与测距传感器3(本车辆)之间的距离(以下称为“间隔距离”)、从测距传感器3(本车辆)看的候补特征点的实际位置的方向(以下称为“实际方向”)、候补特征点的实际位置相对于测距传感器3 (本车辆)的相对速度等。
[0061] 另外,位置关系获取单元11将在每个候补特征点取得的间隔距离、实际方向以及相对速度与特征点提取单元10存储的候补特征点的坐标值建立关联而存储在RAM中。
[0062] 特征点选择单元12是用于从候补特征点中选择特征点的单元,例如,根据位置关系获取单元11取得的候补特征点的实际位置相对于测距传感器3 (本车辆)的相对速度, 将其实际位置在移动体(例如,步行者或行驶中的其他车辆等)上的候补特征点从后续处理中使用的候补特征点中除去,仅将其实际位置在静止体(例如,道路标示、道路标识、护栏、信号灯或停止中的其他车辆等)上的候补特征点作为后续处理中使用的候补特征点提取。
[0063] 候补特征点的实际位置在移动体上的情况下,假设将所述候补特征点作为特征点选择时,由于区别所述特征点的移动与本车辆的移动困难,结果,降低了本车辆移动状态的推测精度。
[0064] 其后,特征点选择单元12例如根据候补特征点的实际位置与测距传感器3 (本车辆)之间的距离即间隔距离,将所述间隔距离最小的候补特征点作为第一特征点选择。
[0065] 另外,特征点选择单元12也可以将间隔距离最大的候补特征点作为第一特征点选择,也可以根据从测距传感器3(本车辆)看的候补特征点的实际位置的方向即实际方向,将所述实际方向在规定角度(例如,设本车辆前方为0度而顺时针使角度增大时的0 度)以上且角度最近的候补特征点作为第一特征点选择。
[0066] 另外,特征点选择单元12根据相对于第一特征点的间隔距离与相对于其他候补特征点的间隔距离,将所述间隔距离与相对于第一特征点的间隔距离之间的差为规定值以上且为最小值的候补特征点作为第二候补特征点选择。
[0067] 以后,特征点选择单元12同样地像第三特征点、第四特征点、第五特征点这样继续选择特征点,直到选择了为了生成单应性所需要的足够数量的特征点。
[0068] 另外,特征点选择单元12也可以根据相对于第一特征点的实际方向与相对于其他候补特征点的实际方向,将所述实际方向与相对于第一特征点的实际方向之间的角度为规定值以上且为最小值的候补特征点作为第二候补特征点选择。
[0069] 这种情况下也同样地,特征点选择单元12像选择第二特征点一样,选择第三特征点、第四特征点、第五特征点,继续选择特征点直到选择了为了生成单应性所需要的足够数量的特征点。
[0070] 另外,特征点选择单元12也可以将间隔距离及实际方向双方都满足规定条件的候补特征点作为特征点选择,或者,也可以将图像传感器2拍摄的图像分割为多个小区分, 从各区分中存在的候补特征点选择规定数量的特征点。
[0071] 图2A〜图2C是用于说明从多个候补特征点选择特征点的方法的图,图2A表示如下状态:移动状态推测装置100在其他车辆V2及V3上提取候补特征点(图中X记号), 取得各候补特征点的实际位置相对于本车辆Vl的相对速度,将行驶中的其他车辆V3上的候补特征点Cl从后续处理中使用的候补特征点中除去,而仅将停止中的其他车辆V2上的候补特征点C2作为后续处理中使用的候补特征点保持。
[0072] 另外,图2B表示如下状态:移动状态推测装置100在护栏上提取候补特征点(图中X记号),取得本车辆Vl与各候补特征点的实际位置之间的间隔距离,在将间隔距离最小的候补特征点作为第一特征点Pl的基础上,以使相对于第一特征点Pl的间隔距离Dl与相对于第二特征点P2的间隔距离D2之间的差、以及相对于第二特征点P2的间隔距离D2 与相对于第三特征点P3的间隔距离D3之间的差为规定值以上的方式,选择了第二特征点 P2及第三特征点P3。另外,第四特征点(未图示)以后的特征点也同样地被选择。
[0073] 另外,图2C表示如下状态:移动状态推测装置100在道路标示(行车道分界线) 上提取候补特征点(图中X记号),取得从本车辆Vi看到的各候补特征点的实际位置的实际方向,在将实际方向为0度以上的且最接近0度的候补特征点作为第一特征点选择的基础上,以使相对于第一特征点Pl的实际方向与相对于第二特征点P2的实际方向之间的角度α、以及相对于第二特征点Ρ2的实际方向与相对于第三特征点Ρ3的实际方向之间的角度β为规定值以上的方式,选择了第二特征点Ρ2及第三特征点Ρ3。另外,第四特征点(未图示)以后的特征点也同样地被选择。
[0074] 另外,特征点选择单元12在选择了为算出单应性所需要的足够数量的特征点时, 将包含与这些特征点对应的像素的像素群(例如,5像素X 5像素)的亮度图案存储到RAM 中,后述的对应点提取单元13能够通过图案映射从其他图像提取与这些特征点对应的对应点。
[0075] 对应点提取单元13是用于提取对应点的单元,例如,使用图案映射处理,将图像传感器2拍摄的图像且与特征点提取单元10用于提取候补特征点的图像(以下称为“第一图像”)不同的图像(以下称为“第二图像”,第二图像是例如取得第一图像再经过规定时间之后图像传感器2所拍摄的图像)中的亮度图案与特征点选择单元12存储在RAM中的各特征点的亮度图案进行匹配,由此提取与由特征点选择单元12选择的各特征点对应的对应点。
[0076] 对应点提取单元13例如也可以根据车速传感器4及转向角传感器5的输出大致推测本车辆的移动状态,从而限定成为使用各亮度图案的图案映射处理的对象的图像范围。这是为了使图案映射处理的效率提高。
[0077] 另外,对应点提取单元13在提取对应点(与各特征点对应的对应点,在此,为了与下述的二次对应点相区别,特别称为“一次对应点”)时,也可以将包含与这些一次对应点对应的像素的像素群(例如,5像素X5像素)的亮度图案存储到RAM中,对应点提取单元13 还能够通过图案映射从其他图像中提取与这些一次对应点对应的另外的其他对应点(二次对应点)。
[0078] 据此,移动状态推测装置100能够通过像特征点、一次对应点、二次对应点、三次对应点这样依次跟踪特征点,继续推测从取得选择所述特征点所使用的图像的时刻起的本车辆的移动状态。
[0079] 移动状态推测单元14是用于推测本车辆的移动状态的单元,例如,使用特征点选择单元12选择的特征点的二维坐标与对应点提取单元13提取的对应点的二维坐标生成单应性,推测从图像传感器2拍摄候补特征点提取单元10用于提取候补特征点的第一图像的时点起直至图像传感器2拍摄对应点提取单元13用于提取对应点的第二图像的时点的本车辆的平移及旋转的状态。
[0080] 控制装置1例如在根据测距传感器3的输出检测出在离本车辆规定范围内的障碍物(例如,路缘石、水泥墙等)的时点使本车辆移动状态的推测开始,其后,在本车辆左右转弯时,即使在所述障碍物从图像传感器2的拍摄范围中脱离时,也能够根据推测的本车辆的移动状态判断本车辆与所述障碍物有无接触的可能性。
[0081] 然后,控制装置1在判断为本车辆与所述障碍物接触的可能性高时,将警告信息显示在显示装置6上,或者使报警声从声音输出装置7输出,从而唤起驾驶员的注意。
[0082] 另外,控制装置1也可以根据推测的本车辆的移动状态,将表示本车辆与所述障碍物之间的位置关系的疑似图像显示在显示装置6上,对于应该避免与所述障碍物接触的本车辆的驾驶操作进行支援。
[0083] 接着,参照图3详细说明移动状态推测装置100推测本车辆移动状态的处理(以下称为“移动状态推测处理”)。图3是表示移动状态推测处理的流程的流程图,移动状态推测装置100的控制装置1例如在操作方向指示灯之后直至本车辆完成左右转弯期间,反复执行所述移动状态推测处理。
[0084] 另外,移动状态推测装置100也可以在车速不到规定值时或者换挡位置设置在 “R(后退),,位置时等检测出本车辆与障碍物接触的可能性高的状态时,反复执行所述移动状态推测处理。
[0085] 最初,控制装置1取得在时刻Tl图像传感器2拍摄的图像数据(步骤Si),将在由候补特征点提取单元10对所述图像数据实施各种图像处理的基础上邻接的图像的亮度差为规定值以上的一对图像中亮度大的图像作为候补特征点提取(步骤S2)。
[0086] 其后,控制装置1通过位置关系获取单元11根据测距传感器3输出的值取得各候补特征点的实际位置与测距传感器3的位置之间的相对位置关系(步骤S3),将相对速度、 间隔距离以及实际方向与各候补特征点的坐标值建立对应而存储在RAM中。
[0087] 其后,控制装置1通过特征点选择单元12根据位置关系获取单元11取得的各候补特征点的实际位置的相对速度、车速传感器4输出的本车辆的速度以及转向角传感器5 输出的本车辆的转向角(行驶方向)判断各候补特征点的实际位置是静止还是移动,将其实际位置在移动体上的候补特征点从后续处理中使用的候补特征点中除去,另一方面, 仅将所述实际位置在静止体上的候补特征点作为后续处理中使用的候补特征点保持原样 (步骤S4)。
[0088] 其后,控制装置1通过特征点选择单元12根据位置关系获取单元11取得的各候补特征点的实际位置的间隔距离,将所述实际位置的间隔距离最短的候补特征点作为第一特征点选择(步骤S5)。
[0089] 其后,控制装置1通过特征点选择单元12以第一特征点的实际位置的间隔距离为基准,以使间隔距离彼此之差在规定值以上的方式依次选择其他特征点(步骤S6)。
[0090] 在为了算出单应性而选择了所需要的足够数量的特征点时,控制装置1通过特征点选择单元12将包含与这些特征点对应的像素的规定像素范围(例如,5X5像素)的亮度图案存储到RAM中(步骤S7),能够从其后拍摄的其他图像中提取对应点。
[0091] 接着,控制装置1取得在时刻T2(时刻Τ2在时刻Tl之后)图像传感器2拍摄的图像数据(步骤S8),在由对应点提取单元13对所述图像数据实施与步骤Sl相同的图像处理的基础上,根据车速传感器4及转向角传感器5的输出,对每个亮度图案限定成为对每个特征点存储的亮度图案的图案映射处理的对象的像素范围(步骤S9)。这是为了使图案映射处理的效率提高。另外,对应点提取单元13也可以仅根据各特征点的坐标限定成为对象的像素范围,也可以不限定成为对象的像素范围而执行图案映射处理。
[0092] 其后,控制装置1通过对应点提取单元13对于按每个亮度图案限定的像素范围执行各亮度图案的图案映射处理,将可匹配的亮度图案的中心像素作为与所述特征点对应的对应点提取(步骤S10)。
[0093] 最后,控制装置1通过移动状态推测单元14根据特征点选择单元12选择的各特征点的二维坐标与对应点提取单元13提取的各对应点的二维坐标算出单应性,推测从时刻Tl至时刻Τ2之间产生的本车辆的平移及旋转的状态(步骤Sll),暂且结束所述移动状态推测处理。
[0094] 这样,移动状态推测装置100兼用图像传感器2的输出与测距传感器3的输出而选择所述实际位置在距离、方向上没有偏差的特征点,根据这些特征点的坐标与对应于这些特征点的对应点的坐标算出单应性,由此能够高精度地推测图像传感器2的移动状态, 进而推测本车辆的移动状态。
[0095] 由于在特征点的实际位置有偏差时,容易受到选择这些特征点时混入的、起因于本车辆或被拍摄物体的振动、图像处理中的误差等的噪音的影响,因此能够通过使特征点的实际位置在距离、方向上分散来缓和这些噪音的影响。
[0096] 其他[0097] 以上详细说明了本发明的优选实施例,但是本发明并不限于上述实施例,可以在没有脱离本发明的范围内,在上述实施例中添加各种变形及替换。
[0098] 例如,在上述实施例中,移动状态推测装置100根据测距传感器3的输出取得候补特征点的实际位置的间隔距离、实际方向以及相对速度,但是也可以根据能够测定到被拍摄物体的距离的立体摄像机的输出取得候补特征点的实际位置的间隔距离、实际方向以及相对速度。这时,移动状态推测装置100能够省略测距传感器3。
[0099] 另外,在上述实施例中是推测车辆的移动状态,但是也可以推测工业机器人、船舶、二轮机动车、航空器等其他移动体的移动状态。此时,也可以在推测前后左右的平面上的移动状态之外还推测向上下方向的移动状态。
[0100] 另外,在上述实施例中,对应点提取单元13为了提取与特征点对应的对应点而使用图案映射处理,但是,如果能够提取对应点则也可以使用其他任何方法,例如,也可以利用光流提取对应点
[0101] 另外,本申请主张基于2007年12月25日申请的日本专利申请2007-332275号的优先权,该日本申请的全部内容通过参照引用在本申请中。

Claims (5)

1. 一种移动状态推测装置,其特征在于,包括:候补特征点提取单元,提取在第一时点移动体上搭载的图像传感器拍摄的图像内的候补特征点;位置关系取得单元,取得所述候补特征点的实际位置与所述移动体之间的位置关系;特征点选择单元,根据所述位置关系从候补特征点中选择特征点;对应点提取单元,提取在第二时点所述图像传感器拍摄的图像内的与从所述候补特征点中选择的所述特征点对应的对应点;以及移动状态推测单元,根据从所述候补特征点中选择的所述特征点的坐标和所述对应点的坐标推测所述移动体从第一时点至第二时点的移动状态。
2.如权利要求1所述的移动状态推测装置,其特征在于,所述位置关系包括:候补特征点的实际位置与所述移动体之间的距离、从所述移动体看到的候补特征点的实际位置的方向、或候补特征点的实际位置相对于所述移动体的相对速度。
3.如权利要求1所述的移动状态推测装置,其特征在于,所述特征点选择单元判断候补特征点是否处于静止,并从处于静止的候补特征点中选择特征点。
4.如权利要求1所述的移动状态推测装置,其特征在于,所述特征点选择单元以使从所述候补特征点中选择的各特征点的实际位置与所述移动体之间的距离之差分别在规定值以上的方式选择特征点。
5.如权利要求1所述的移动状态推测装置,其特征在于,所述特征点选择单元以使从所述移动体看到的从所述候补特征点中选择的各特征点的实际位置的方向间的角度在规定值以上的方式选择特征点。
CN2008801224746A 2007-12-25 2008-12-24 移动状态推测装置 CN101910781B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007-332275 2007-12-25
JP2007332275A JP4337929B2 (ja) 2007-12-25 2007-12-25 移動状態推定装置
PCT/JP2008/073375 WO2009081920A1 (ja) 2007-12-25 2008-12-24 移動状態推定装置

Publications (2)

Publication Number Publication Date
CN101910781A CN101910781A (zh) 2010-12-08
CN101910781B true CN101910781B (zh) 2012-02-22

Family

ID=40801220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801224746A CN101910781B (zh) 2007-12-25 2008-12-24 移动状态推测装置

Country Status (5)

Country Link
US (1) US8559674B2 (zh)
JP (1) JP4337929B2 (zh)
CN (1) CN101910781B (zh)
DE (1) DE112008003486B4 (zh)
WO (1) WO2009081920A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9691281B2 (en) * 2010-03-24 2017-06-27 Telenav, Inc. Navigation system with image assisted navigation mechanism and method of operation thereof
JP5182594B2 (ja) * 2010-03-31 2013-04-17 アイシン・エィ・ダブリュ株式会社 画像処理システム
DE102010063133A1 (de) * 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
US9147260B2 (en) 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
US9020187B2 (en) 2011-05-27 2015-04-28 Qualcomm Incorporated Planar mapping and tracking for mobile devices
DE102011109491A1 (de) * 2011-08-04 2013-02-07 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrunterstützungsvorrichtung zur Unterstützung der Befahrung enger Fahrwege
JP5727356B2 (ja) * 2011-11-30 2015-06-03 日立オートモティブシステムズ株式会社 物体検知装置
EP2701093B1 (en) * 2012-08-20 2016-06-22 Honda Research Institute Europe GmbH Sensing system and method for detecting moving objects
US9227563B2 (en) * 2012-09-14 2016-01-05 Bendix Commercial Vehicle Systems Llc Backward movement indicator apparatus for a vehicle
WO2014101219A1 (zh) * 2012-12-31 2014-07-03 青岛海信信芯科技有限公司 一种动作识别方法及电视机
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
JP5949861B2 (ja) * 2014-09-05 2016-07-13 トヨタ自動車株式会社 車両の接近物体検出装置及び車両の接近物体検出方法
JP6234349B2 (ja) 2014-09-16 2017-11-22 株式会社東芝 移動体位置推定装置、移動体位置推定方法及び移動体位置推定プログラム
US9802539B2 (en) 2015-04-01 2017-10-31 Robert Bosch Gmbh Distance and direction estimation of a target point from a vehicle using monocular video camera
WO2016176600A1 (en) 2015-04-30 2016-11-03 Google Inc. Rf-based micro-motion tracking for gesture tracking and recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
CN105004336A (zh) * 2015-07-10 2015-10-28 中国科学院深圳先进技术研究院 一种机器人的定位方法
JP2017034444A (ja) 2015-07-31 2017-02-09 オリンパス株式会社 撮像装置および撮像方法
JP6499047B2 (ja) * 2015-09-17 2019-04-10 株式会社東芝 計測装置、方法及びプログラム
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN105353379B (zh) * 2015-11-30 2017-10-20 燕山大学 一种多移动体的防碰撞测距权利分配方法
JP6564713B2 (ja) * 2016-02-01 2019-08-21 三菱重工業株式会社 自動運転制御装置、車両及び自動運転制御方法
JP6786264B2 (ja) * 2016-05-27 2020-11-18 株式会社東芝 情報処理装置、情報処理方法、および車両
KR20180011552A (ko) * 2016-07-25 2018-02-02 현대모비스 주식회사 어라운드 뷰 생성 장치 및 그 방법
KR20180114723A (ko) * 2017-04-11 2018-10-19 현대자동차주식회사 차량 및 차량 후진 시 충돌방지 보조 방법
WO2020137313A1 (ja) * 2018-12-28 2020-07-02 パナソニックIpマネジメント株式会社 位置測定装置
US10949886B2 (en) * 2019-03-12 2021-03-16 Xevo Inc. System and method for providing content to a user based on a predicted route identified from audio or images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4672175B2 (ja) * 2000-05-26 2011-04-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
JP3784761B2 (ja) * 2002-09-24 2006-06-14 日信工業株式会社 車両用前後加速度センサの異常判定装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2006350897A (ja) * 2005-06-20 2006-12-28 Toyota Central Res & Dev Lab Inc 運動計測装置
JP4670709B2 (ja) * 2006-03-31 2011-04-13 株式会社デンソー 車両用衝突検知システム
JP4889351B2 (ja) * 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
JP2007332275A (ja) 2006-06-15 2007-12-27 Dainippon Printing Co Ltd 液晶組成物、カラーフィルタおよび液晶表示装置

Also Published As

Publication number Publication date
US20100226544A1 (en) 2010-09-09
US8559674B2 (en) 2013-10-15
WO2009081920A1 (ja) 2009-07-02
JP4337929B2 (ja) 2009-09-30
JP2009156611A (ja) 2009-07-16
CN101910781A (zh) 2010-12-08
DE112008003486B4 (de) 2017-06-22
DE112008003486T5 (de) 2010-12-30

Similar Documents

Publication Publication Date Title
US20210001774A1 (en) Method for determining misalignment of a vehicular camera
US10086870B2 (en) Trailer parking assist system for vehicle
US20190308609A1 (en) Vehicular automated parking system
DE102014116140B4 (de) Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
CN106054174B (zh) 使用雷达和摄像机用于横越交通应用的融合方法
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
US20190039518A1 (en) Vehicular vision system
CN107424116B (zh) 基于侧环视相机的泊车位检测方法
US9538144B2 (en) Full speed lane sensing using multiple cameras
CN105313782B (zh) 车辆行驶辅助系统及其方法
JP6246867B2 (ja) 静止標的から走行補正
CN103237685B (zh) 盲区显示装置及方法
JP5276637B2 (ja) 車線推定装置
JP6231345B2 (ja) 車両用発進支援装置
US8766816B2 (en) System for monitoring the area around a vehicle
US10528055B2 (en) Road sign recognition
EP2429877B1 (en) Camera system for use in vehicle parking
CN105984464B (zh) 车辆控制装置
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法
JP3630100B2 (ja) 車線検出装置
WO2014192137A1 (ja) 移動軌跡予測装置及び移動軌跡予測方法
CN107798699A (zh) 用立体图像进行深度图估计
US7103213B2 (en) Method and apparatus for classifying an object
JP5096836B2 (ja) 車両の周囲を画像化する方法およびそのためのシステム

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
C14 Grant of patent or utility model