CN101910781B - 移动状态推测装置 - Google Patents
移动状态推测装置 Download PDFInfo
- Publication number
- CN101910781B CN101910781B CN2008801224746A CN200880122474A CN101910781B CN 101910781 B CN101910781 B CN 101910781B CN 2008801224746 A CN2008801224746 A CN 2008801224746A CN 200880122474 A CN200880122474 A CN 200880122474A CN 101910781 B CN101910781 B CN 101910781B
- Authority
- CN
- China
- Prior art keywords
- unique point
- point
- candidate
- state estimation
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 230000003068 static effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 abstract description 14
- 238000000034 method Methods 0.000 description 15
- 238000013507 mapping Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000004888 barrier function Effects 0.000 description 8
- 210000000162 simple eye Anatomy 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
移动状态推测装置(100)包括：候补特征点提取单元(10)，提取在第一时点本车辆上搭载的图像传感器(2)拍摄的图像内的候补特征点；位置关系获取单元(11)，取得候补特征点的实际位置与本车辆之间的位置关系；特征点选择单元(12)，根据位置关系从候补特征点中选择特征点；对应点提取单元(13)，提取在第二时点图像传感器(2)拍摄的图像内的与所述特征点对应的对应点；以及移动状态推测单元(14)，根据特征点的坐标和对应点的坐标推测本车辆从第一时点至第二时点的移动状态。
Description
技术领域
本发明涉及一种根据图像传感器拍摄的图像推测搭载了该图像传感器的移动体的移动状态的移动状态推测装置。
背景技术
过去，根据单眼摄像机推测本车辆的位置及姿态的移动体周边监视装置为人们所熟知(例如，参照专利文献1)。
所述移动体周边监视装置从在汽车移动期间搭载在所述本车辆上的单眼摄像机在第一时点拍摄的图像中提取路面上的四个以上的特征点，跟踪所述特征点并从所述单眼摄像机在第二时点拍摄的图像中提取与所述路面上的特征点对应的对应点，根据所述特征点的二维坐标及所述对应点的二维坐标计算出单应性，从而导出第一时点的单眼摄像机的位置及姿态、与第二时点的单眼摄像机的位置及姿态之间的相对变化。
其结果，所述移动体周边监视装置能够推测搭载了所述单眼摄像机的本车辆的位置及姿态。
专利文献1：日本特开2004-198211号公报
发明内容
但是，在专利文献1中，虽然记载了所述移动体周边监视装置从由单眼摄像机拍摄的路面上的白线、凹凸、台阶以及花纹等中提取四个以上的特征点，但是关于这些特征点的选择方法却没有任何记载。其结果是，所述移动体周边监视装置有时由于提取出距离或方向上有偏差的特征点而使本车辆的位置及姿态的推测精度降低。
另外，专利文献1中记载的移动体周边监视装置，有时还将单眼摄像机拍摄的其他车辆等移动体上的点作为特征点提取而使本车辆的位置及姿态的推测精度降低。
鉴于上述考虑，本发明的目的在于提供一种移动状态推测装置，其根据移动体上搭载的图像传感器拍摄的图像，更高精度地实现所述移动体的移动状态的推测。
为了实现上述目的，第一技术方案的移动状态推测装置的特征在于，包括：候补特征点提取单元，提取在第一时点移动体上搭载的图像传感器拍摄的图像内的候补特征点；位置关系获取单元，取得所述候补特征点的实际位置与所述移动体之间的位置关系；特征点选择单元，根据所述位置关系从候补特征点中选择特征点；对应点提取单元，提取在第二时点所述图像传感器拍摄的图像内的与所述特征点对应的对应点；以及移动状态推测单元，根据所述特征点的坐标和所述对应点的坐标推测所述移动体从第一时点至第二时点的移动状态。
另外，第二技术方案是如第一技术方案所述的移动状态推测装置，其特征在于，所述位置关系包括：候补特征点的实际位置与所述移动体之间的距离、从所述移动体看到的候补特征点的实际位置的方向、或候补特征点的实际位置相对于所述移动体的相对速度。
另外，第三技术方案是如第一或第二技术方案所述的移动状态推测装置，其特征在于，所述特征点选择单元判断候补特征点是否处于静止，并从处于静止的候补特征点中选择特征点。
另外，第四技术方案是如第一至第三的任意一项技术方案所述的移动状态推测装置，其特征在于，所述特征点选择单元以使各特征点的实际位置与所述移动体之间的距离之差分别在规定值以上的方式选择特征点。
另外，第五技术方案是第一至第四的任意一项技术方案所述的移动状态推测装置，其特征在于，所述特征点选择单元以使从所述移动体看到的各特征点的实际位置的方向间的角度在规定值以上的方式选择特征点。
另外，“特征点”是指为了生成单应性使用的图像内的坐标点(像素)，是在规定条件下从候补特征点中选择的坐标点(像素)。另外，坐标系例如以图像传感器拍摄的图像的左下角的像素为原点(0，0)，而原点右侧的像素成为坐标(1，0)，原点上侧的像素成为坐标(0，1)。
另外，“候补特征点”是指能够成为特征点的图像内的坐标点(像素)，例如相邻的像素之间的亮度差为规定值以上的像素、与规定的亮度图案一致的像素群的中心像素等、能够根据规定条件从图像中提取的像素所表示的坐标点。
另外，“对应点”是指在一个图像内作为特征点选择的坐标点(像素)所表示的被拍摄物体的、在其他图像中的坐标点(像素)，例如，通过图案映射处理将像素群的亮度图案与其他图像内的亮度图案进行匹配，从而提取所述对应点，所述像素群含有在一个图像内选择的特征点作为其中心像素。另外，亮度图案也可以是基于颜色图案等其他特性值的图案。
另外，“位置关系”是指关于包含特征点的候补特征点的实际位置与搭载了拍摄图像的图像传感器的移动体之间的相对位置的信息，例如包括：包含特征点的候补特征点的实际位置与本车辆之间的距离、从本车辆看到的候补特征点的实际位置的方向、候补特征点的实际位置相对于本车辆的相对速度等。
根据上述手段，本发明能够提供一种移动状态推测装置，其能够更高精度地实现基于移动体上搭载的图像传感器拍摄的图像的、所述移动体的移动状态的推测。
附图说明
图1是表示本发明的移动状态推测装置的构成例的图。
图2A是从多个候补特征点选择特征点的方法的说明图(其1)。
图2B是从多个候补特征点选择特征点的方法的说明图(其2)。
图2C是从多个候补特征点选择特征点的方法的说明图(其3)。
图3是表示移动状态推测处理的流程的流程图。
标号说明
1 控制装置
2 图像传感器
3 测距传感器
4 车速传感器
5 转向角传感器
6 显示装置
7 声音输出装置
10 候补特征点提取单元
11 位置关系获取单元
12 特征点选择单元
13 对应点提取单元
14 移动状态推测单元
100 移动状态推测装置
D1～D3 间隔距离
α、β 实际方向间的角度
P1 第一特征点
P2 第二特征点
P3 第三特征点
V1 本车辆
V2 停止中的其他车辆
V3 行驶中的其他车辆
具体实施方式
以下，参照附图说明用于实施本发明的最佳实施方式。
实施例
图1是表示本发明的移动状态推测装置的构成例的图，移动状态推测装置100是推测车辆的平移或旋转之类的移动状态的车载装置，具有控制装置1，控制装置1通过CAN(Controller Area Network：控制器局域网)等的车载LAN与图像传感器2、测距传感器3、车速传感器4、转向角传感器5、显示装置6以及声音输出装置7连接。
控制装置1是具有CPU(Central Processing Unit：中央处理器)、RAM(Random Access Memory：随机存取存储器)、ROM(Read OnlyMemory：只读存储器)等的计算机，例如，将分别与候补特征点提取单元10、位置关系获取单元11、特征点选择单元12、对应点提取单元13以及移动状态推测单元14对应的程序存储在ROM中，并使CPU执行与各单元对应的处理。
图像传感器2是用于取得车辆周边的图像的传感器，例如具有CCD(Charge Coupled Device：电荷耦合器件)、CMOS(ComplementaryMetal Oxide Semiconductor：互补金属氧化物半导体)等的拍摄元件的摄像机，也可以是能够夜间摄影的红外线摄像机或能够测定到被拍摄物体的距离的立体摄像机。
图像传感器2例如在使拍摄方向固定的状态下设置在驾驶室内的后视镜附近，将以规定间隔拍摄的图像输出到控制装置1。
测距传感器3是用于取得关于本车辆周边物体与本车辆之间的相对位置的信息的传感器，例如在前隔栅或前保险杠附近固定设置的毫米波传感器、激光雷达传感器、超声波传感器等，朝向本车辆周边发射电波、光或超声波，根据直到接收到所述反射波的时间或由多普勒效应产生的所述反射波的频率差计算出本车辆周边的物体与本车辆之间的距离、本车辆周边的物体的相对速度，并将计算出的值输出至控制装置1。
车速传感器4是测定本车辆的速度的传感器，例如，MR(MagneticResistance：磁阻)元件将安装在各车轮上且与各车轮一起旋转的磁铁的磁场变化作为磁阻读取，并将其作为与旋转速度成正比例的脉冲信号提取，从而检测车轮的旋转速度及车辆的速度，并将检测出的值输出至控制装置1。
转向角传感器5是用于测定与车轮的转向角相关的转向轴的旋转角的传感器，例如，通过MR元件读取埋入转向轴的磁铁的磁阻而检测转向轴的旋转角，并将检测出的值输出至控制装置1。
显示装置6是用于显示各种信息的装置，例如液晶显示器，显示图像传感器2取得的图像、各种文本信息。
声音输出装置7是用于将各种信息以声音输出的装置，例如车载扬声器，以声音输出报警声、语音提示。
接着，说明控制装置1所具有的各种单元。
候补特征点提取单元10是用于提取候补特征点的单元，例如，对图像传感器2拍摄的本车辆周边的图像实施灰色标度化处理、二值化处理、边缘检测处理等的图像处理，提取出候补特征点。
候补特征点提取单元10例如将与邻接的像素之间的亮度差为规定值以上的像素、与规定的亮度图案一致的像素群的中心像素等作为候补特征点提取，并将其位置(坐标值)存储在RAM中。
位置关系获取单元11是用于取得候补特征点的实际位置与本车辆的实际位置之间的相对位置关系的单元，例如，根据测距传感器3的输出，取得候补特征点提取单元10提取的候补特征点的实际位置与测距传感器3(本车辆)之间的距离(以下称为“间隔距离”)、从测距传感器3(本车辆)看的候补特征点的实际位置的方向(以下称为“实际方向”)、候补特征点的实际位置相对于测距传感器3(本车辆)的相对速度等。
另外，位置关系获取单元11将在每个候补特征点取得的间隔距离、实际方向以及相对速度与特征点提取单元10存储的候补特征点的坐标值建立关联而存储在RAM中。
特征点选择单元12是用于从候补特征点中选择特征点的单元，例如，根据位置关系获取单元11取得的候补特征点的实际位置相对于测距传感器3(本车辆)的相对速度，将其实际位置在移动体(例如，步行者或行驶中的其他车辆等)上的候补特征点从后续处理中使用的候补特征点中除去，仅将其实际位置在静止体(例如，道路标示、道路标识、护栏、信号灯或停止中的其他车辆等)上的候补特征点作为后续处理中使用的候补特征点提取。
候补特征点的实际位置在移动体上的情况下，假设将所述候补特征点作为特征点选择时，由于区别所述特征点的移动与本车辆的移动困难，结果，降低了本车辆移动状态的推测精度。
其后，特征点选择单元12例如根据候补特征点的实际位置与测距传感器3(本车辆)之间的距离即间隔距离，将所述间隔距离最小的候补特征点作为第一特征点选择。
另外，特征点选择单元12也可以将间隔距离最大的候补特征点作为第一特征点选择，也可以根据从测距传感器3(本车辆)看的候补特征点的实际位置的方向即实际方向，将所述实际方向在规定角度(例如，设本车辆前方为0度而顺时针使角度增大时的0度)以上且角度最近的候补特征点作为第一特征点选择。
另外，特征点选择单元12根据相对于第一特征点的间隔距离与相对于其他候补特征点的间隔距离，将所述间隔距离与相对于第一特征点的间隔距离之间的差为规定值以上且为最小值的候补特征点作为第二候补特征点选择。
以后，特征点选择单元12同样地像第三特征点、第四特征点、第五特征点这样继续选择特征点，直到选择了为了生成单应性所需要的足够数量的特征点。
另外，特征点选择单元12也可以根据相对于第一特征点的实际方向与相对于其他候补特征点的实际方向，将所述实际方向与相对于第一特征点的实际方向之间的角度为规定值以上且为最小值的候补特征点作为第二候补特征点选择。
这种情况下也同样地，特征点选择单元12像选择第二特征点一样，选择第三特征点、第四特征点、第五特征点，继续选择特征点直到选择了为了生成单应性所需要的足够数量的特征点。
另外，特征点选择单元12也可以将间隔距离及实际方向双方都满足规定条件的候补特征点作为特征点选择，或者，也可以将图像传感器2拍摄的图像分割为多个小区分，从各区分中存在的候补特征点选择规定数量的特征点。
图2A～图2C是用于说明从多个候补特征点选择特征点的方法的图，图2A表示如下状态：移动状态推测装置100在其他车辆V2及V3上提取候补特征点(图中×记号)，取得各候补特征点的实际位置相对于本车辆V1的相对速度，将行驶中的其他车辆V3上的候补特征点C1从后续处理中使用的候补特征点中除去，而仅将停止中的其他车辆V2上的候补特征点C2作为后续处理中使用的候补特征点保持。
另外，图2B表示如下状态：移动状态推测装置100在护栏上提取候补特征点(图中×记号)，取得本车辆V1与各候补特征点的实际位置之间的间隔距离，在将间隔距离最小的候补特征点作为第一特征点P1的基础上，以使相对于第一特征点P1的间隔距离D1与相对于第二特征点P2的间隔距离D2之间的差、以及相对于第二特征点P2的间隔距离D2与相对于第三特征点P3的间隔距离D3之间的差为规定值以上的方式，选择了第二特征点P2及第三特征点P3。另外，第四特征点(未图示)以后的特征点也同样地被选择。
另外，图2C表示如下状态：移动状态推测装置100在道路标示(行车道分界线)上提取候补特征点(图中×记号)，取得从本车辆V1看到的各候补特征点的实际位置的实际方向，在将实际方向为0度以上的且最接近0度的候补特征点作为第一特征点选择的基础上，以使相对于第一特征点P1的实际方向与相对于第二特征点P2的实际方向之间的角度α、以及相对于第二特征点P2的实际方向与相对于第三特征点P3的实际方向之间的角度β为规定值以上的方式，选择了第二特征点P2及第三特征点P3。另外，第四特征点(未图示)以后的特征点也同样地被选择。
另外，特征点选择单元12在选择了为算出单应性所需要的足够数量的特征点时，将包含与这些特征点对应的像素的像素群(例如，5像素×5像素)的亮度图案存储到RAM中，后述的对应点提取单元13能够通过图案映射从其他图像提取与这些特征点对应的对应点。
对应点提取单元13是用于提取对应点的单元，例如，使用图案映射处理，将图像传感器2拍摄的图像且与特征点提取单元10用于提取候补特征点的图像(以下称为“第一图像”)不同的图像(以下称为“第二图像”，第二图像是例如取得第一图像再经过规定时间之后图像传感器2所拍摄的图像)中的亮度图案与特征点选择单元12存储在RAM中的各特征点的亮度图案进行匹配，由此提取与由特征点选择单元12选择的各特征点对应的对应点。
对应点提取单元13例如也可以根据车速传感器4及转向角传感器5的输出大致推测本车辆的移动状态，从而限定成为使用各亮度图案的图案映射处理的对象的图像范围。这是为了使图案映射处理的效率提高。
另外，对应点提取单元13在提取对应点(与各特征点对应的对应点，在此，为了与下述的二次对应点相区别，特别称为“一次对应点”)时，也可以将包含与这些一次对应点对应的像素的像素群(例如，5像素×5像素)的亮度图案存储到RAM中，对应点提取单元13还能够通过图案映射从其他图像中提取与这些一次对应点对应的另外的其他对应点(二次对应点)。
据此，移动状态推测装置100能够通过像特征点、一次对应点、二次对应点、三次对应点这样依次跟踪特征点，继续推测从取得选择所述特征点所使用的图像的时刻起的本车辆的移动状态。
移动状态推测单元14是用于推测本车辆的移动状态的单元，例如，使用特征点选择单元12选择的特征点的二维坐标与对应点提取单元13提取的对应点的二维坐标生成单应性，推测从图像传感器2拍摄候补特征点提取单元10用于提取候补特征点的第一图像的时点起直至图像传感器2拍摄对应点提取单元13用于提取对应点的第二图像的时点的本车辆的平移及旋转的状态。
控制装置1例如在根据测距传感器3的输出检测出在离本车辆规定范围内的障碍物(例如，路缘石、水泥墙等)的时点使本车辆移动状态的推测开始，其后，在本车辆左右转弯时，即使在所述障碍物从图像传感器2的拍摄范围中脱离时，也能够根据推测的本车辆的移动状态判断本车辆与所述障碍物有无接触的可能性。
然后，控制装置1在判断为本车辆与所述障碍物接触的可能性高时，将警告信息显示在显示装置6上，或者使报警声从声音输出装置7输出，从而唤起驾驶员的注意。
另外，控制装置1也可以根据推测的本车辆的移动状态，将表示本车辆与所述障碍物之间的位置关系的疑似图像显示在显示装置6上，对于应该避免与所述障碍物接触的本车辆的驾驶操作进行支援。
接着，参照图3详细说明移动状态推测装置100推测本车辆移动状态的处理(以下称为“移动状态推测处理”)。图3是表示移动状态推测处理的流程的流程图，移动状态推测装置100的控制装置1例如在操作方向指示灯之后直至本车辆完成左右转弯期间，反复执行所述移动状态推测处理。
另外，移动状态推测装置100也可以在车速不到规定值时或者换挡位置设置在“R(后退)”位置时等检测出本车辆与障碍物接触的可能性高的状态时，反复执行所述移动状态推测处理。
最初，控制装置1取得在时刻T1图像传感器2拍摄的图像数据(步骤S1)，将在由候补特征点提取单元10对所述图像数据实施各种图像处理的基础上邻接的图像的亮度差为规定值以上的一对图像中亮度大的图像作为候补特征点提取(步骤S2)。
其后，控制装置1通过位置关系获取单元11根据测距传感器3输出的值取得各候补特征点的实际位置与测距传感器3的位置之间的相对位置关系(步骤S3)，将相对速度、间隔距离以及实际方向与各候补特征点的坐标值建立对应而存储在RAM中。
其后，控制装置1通过特征点选择单元12根据位置关系获取单元11取得的各候补特征点的实际位置的相对速度、车速传感器4输出的本车辆的速度以及转向角传感器5输出的本车辆的转向角(行驶方向)判断各候补特征点的实际位置是静止还是移动，将其实际位置在移动体上的候补特征点从后续处理中使用的候补特征点中除去，另一方面，仅将所述实际位置在静止体上的候补特征点作为后续处理中使用的候补特征点保持原样(步骤S4)。
其后，控制装置1通过特征点选择单元12根据位置关系获取单元11取得的各候补特征点的实际位置的间隔距离，将所述实际位置的间隔距离最短的候补特征点作为第一特征点选择(步骤S5)。
其后，控制装置1通过特征点选择单元12以第一特征点的实际位置的间隔距离为基准，以使间隔距离彼此之差在规定值以上的方式依次选择其他特征点(步骤S6)。
在为了算出单应性而选择了所需要的足够数量的特征点时，控制装置1通过特征点选择单元12将包含与这些特征点对应的像素的规定像素范围(例如，5×5像素)的亮度图案存储到RAM中(步骤S7)，能够从其后拍摄的其他图像中提取对应点。
接着，控制装置1取得在时刻T2(时刻T2在时刻T1之后)图像传感器2拍摄的图像数据(步骤S8)，在由对应点提取单元13对所述图像数据实施与步骤S1相同的图像处理的基础上，根据车速传感器4及转向角传感器5的输出，对每个亮度图案限定成为对每个特征点存储的亮度图案的图案映射处理的对象的像素范围(步骤S9)。这是为了使图案映射处理的效率提高。另外，对应点提取单元13也可以仅根据各特征点的坐标限定成为对象的像素范围，也可以不限定成为对象的像素范围而执行图案映射处理。
其后，控制装置1通过对应点提取单元13对于按每个亮度图案限定的像素范围执行各亮度图案的图案映射处理，将可匹配的亮度图案的中心像素作为与所述特征点对应的对应点提取(步骤S10)。
最后，控制装置1通过移动状态推测单元14根据特征点选择单元12选择的各特征点的二维坐标与对应点提取单元13提取的各对应点的二维坐标算出单应性，推测从时刻T1至时刻T2之间产生的本车辆的平移及旋转的状态(步骤S11)，暂且结束所述移动状态推测处理。
这样，移动状态推测装置100兼用图像传感器2的输出与测距传感器3的输出而选择所述实际位置在距离、方向上没有偏差的特征点，根据这些特征点的坐标与对应于这些特征点的对应点的坐标算出单应性，由此能够高精度地推测图像传感器2的移动状态，进而推测本车辆的移动状态。
由于在特征点的实际位置有偏差时，容易受到选择这些特征点时混入的、起因于本车辆或被拍摄物体的振动、图像处理中的误差等的噪音的影响，因此能够通过使特征点的实际位置在距离、方向上分散来缓和这些噪音的影响。
其他
以上详细说明了本发明的优选实施例，但是本发明并不限于上述实施例，可以在没有脱离本发明的范围内，在上述实施例中添加各种变形及替换。
例如，在上述实施例中，移动状态推测装置100根据测距传感器3的输出取得候补特征点的实际位置的间隔距离、实际方向以及相对速度，但是也可以根据能够测定到被拍摄物体的距离的立体摄像机的输出取得候补特征点的实际位置的间隔距离、实际方向以及相对速度。这时，移动状态推测装置100能够省略测距传感器3。
另外，在上述实施例中是推测车辆的移动状态，但是也可以推测工业机器人、船舶、二轮机动车、航空器等其他移动体的移动状态。此时，也可以在推测前后左右的平面上的移动状态之外还推测向上下方向的移动状态。
另外，在上述实施例中，对应点提取单元13为了提取与特征点对应的对应点而使用图案映射处理，但是，如果能够提取对应点则也可以使用其他任何方法，例如，也可以利用光流提取对应点
另外，本申请主张基于2007年12月25日申请的日本专利申请2007-332275号的优先权，该日本申请的全部内容通过参照引用在本申请中。
Claims (5)
1.一种移动状态推测装置，其特征在于，包括：
候补特征点提取单元，提取在第一时点移动体上搭载的图像传感器拍摄的图像内的候补特征点；
位置关系取得单元，取得所述候补特征点的实际位置与所述移动体之间的位置关系；
特征点选择单元，根据所述位置关系从候补特征点中选择特征点；
对应点提取单元，提取在第二时点所述图像传感器拍摄的图像内的与从所述候补特征点中选择的所述特征点对应的对应点；以及
移动状态推测单元，根据从所述候补特征点中选择的所述特征点的坐标和所述对应点的坐标推测所述移动体从第一时点至第二时点的移动状态。
2.如权利要求1所述的移动状态推测装置，其特征在于，
所述位置关系包括：候补特征点的实际位置与所述移动体之间的距离、从所述移动体看到的候补特征点的实际位置的方向、或候补特征点的实际位置相对于所述移动体的相对速度。
3.如权利要求1所述的移动状态推测装置，其特征在于，
所述特征点选择单元判断候补特征点是否处于静止，并从处于静止的候补特征点中选择特征点。
4.如权利要求1所述的移动状态推测装置，其特征在于，
所述特征点选择单元以使从所述候补特征点中选择的各特征点的实际位置与所述移动体之间的距离之差分别在规定值以上的方式选择特征点。
5.如权利要求1所述的移动状态推测装置，其特征在于，
所述特征点选择单元以使从所述移动体看到的从所述候补特征点中选择的各特征点的实际位置的方向间的角度在规定值以上的方式选择特征点。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007-332275 | 2007-12-25 | ||
| JP2007332275A JP4337929B2 (ja) | 2007-12-25 | 2007-12-25 | 移動状態推定装置 |
| PCT/JP2008/073375 WO2009081920A1 (ja) | 2007-12-25 | 2008-12-24 | 移動状態推定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101910781A CN101910781A (zh) | 2010-12-08 |
| CN101910781B true CN101910781B (zh) | 2012-02-22 |
Family
ID=40801220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008801224746A Expired - Fee Related CN101910781B (zh) | 2007-12-25 | 2008-12-24 | 移动状态推测装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8559674B2 (zh) |
| JP (1) | JP4337929B2 (zh) |
| CN (1) | CN101910781B (zh) |
| DE (2) | DE112008004291B4 (zh) |
| WO (1) | WO2009081920A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11592909B2 (en) | 2015-10-06 | 2023-02-28 | Google Llc | Fine-motion virtual-reality or augmented-reality control using radar |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9691281B2 (en) * | 2010-03-24 | 2017-06-27 | Telenav, Inc. | Navigation system with image assisted navigation mechanism and method of operation thereof |
| JP5182594B2 (ja) * | 2010-03-31 | 2013-04-17 | アイシン・エィ・ダブリュ株式会社 | 画像処理システム |
| DE102010063133A1 (de) * | 2010-12-15 | 2012-06-21 | Robert Bosch Gmbh | Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs |
| US9147260B2 (en) * | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
| US9020187B2 (en) | 2011-05-27 | 2015-04-28 | Qualcomm Incorporated | Planar mapping and tracking for mobile devices |
| DE102011109491A1 (de) * | 2011-08-04 | 2013-02-07 | GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) | Fahrunterstützungsvorrichtung zur Unterstützung der Befahrung enger Fahrwege |
| JP5727356B2 (ja) * | 2011-11-30 | 2015-06-03 | 日立オートモティブシステムズ株式会社 | 物体検知装置 |
| EP2701093B1 (en) * | 2012-08-20 | 2016-06-22 | Honda Research Institute Europe GmbH | Sensing system and method for detecting moving objects |
| US9227563B2 (en) * | 2012-09-14 | 2016-01-05 | Bendix Commercial Vehicle Systems Llc | Backward movement indicator apparatus for a vehicle |
| WO2014101219A1 (zh) * | 2012-12-31 | 2014-07-03 | 青岛海信信芯科技有限公司 | 一种动作识别方法及电视机 |
| JP6683605B2 (ja) * | 2013-10-07 | 2020-04-22 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | 車両の少なくとも１つの機能を制御するための位置又は運動情報を提供するための方法及びシステム |
| US9575560B2 (en) | 2014-06-03 | 2017-02-21 | Google Inc. | Radar-based gesture-recognition through a wearable device |
| US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
| US9778749B2 (en) | 2014-08-22 | 2017-10-03 | Google Inc. | Occluded gesture recognition |
| JP5949861B2 (ja) * | 2014-09-05 | 2016-07-13 | トヨタ自動車株式会社 | 車両の接近物体検出装置及び車両の接近物体検出方法 |
| JP6234349B2 (ja) | 2014-09-16 | 2017-11-22 | 株式会社東芝 | 移動体位置推定装置、移動体位置推定方法及び移動体位置推定プログラム |
| US9600080B2 (en) | 2014-10-02 | 2017-03-21 | Google Inc. | Non-line-of-sight radar-based gesture recognition |
| US9802539B2 (en) | 2015-04-01 | 2017-10-31 | Robert Bosch Gmbh | Distance and direction estimation of a target point from a vehicle using monocular video camera |
| EP3521853B1 (en) * | 2015-04-30 | 2021-02-17 | Google LLC | Rf-based micro-motion tracking for gesture tracking and recognition |
| US10088908B1 (en) | 2015-05-27 | 2018-10-02 | Google Llc | Gesture detection and interactions |
| CN105004336A (zh) * | 2015-07-10 | 2015-10-28 | 中国科学院深圳先进技术研究院 | 一种机器人的定位方法 |
| JP2017034444A (ja) * | 2015-07-31 | 2017-02-09 | オリンパス株式会社 | 撮像装置および撮像方法 |
| JP6499047B2 (ja) * | 2015-09-17 | 2019-04-10 | 株式会社東芝 | 計測装置、方法及びプログラム |
| CN105353379B (zh) * | 2015-11-30 | 2017-10-20 | 燕山大学 | 一种多移动体的防碰撞测距权利分配方法 |
| JP6564713B2 (ja) * | 2016-02-01 | 2019-08-21 | 三菱重工業株式会社 | 自動運転制御装置、車両及び自動運転制御方法 |
| JP6786264B2 (ja) | 2016-05-27 | 2020-11-18 | 株式会社東芝 | 情報処理装置、情報処理方法、および車両 |
| KR102528004B1 (ko) * | 2016-07-25 | 2023-05-02 | 현대모비스 주식회사 | 어라운드 뷰 생성 장치 및 그 방법 |
| KR102313026B1 (ko) * | 2017-04-11 | 2021-10-15 | 현대자동차주식회사 | 차량 및 차량 후진 시 충돌방지 보조 방법 |
| WO2020137313A1 (ja) * | 2018-12-28 | 2020-07-02 | パナソニックＩｐマネジメント株式会社 | 位置測定装置 |
| US10949886B2 (en) * | 2019-03-12 | 2021-03-16 | Xevo Inc. | System and method for providing content to a user based on a predicted route identified from audio or images |
| JP7227112B2 (ja) * | 2019-09-27 | 2023-02-21 | 日立Astemo株式会社 | 物体検出装置、走行制御システム、および走行制御方法 |
| JP2023078640A (ja) * | 2021-11-26 | 2023-06-07 | トヨタ自動車株式会社 | 車両撮影システムおよび車両撮影方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4672175B2 (ja) * | 2000-05-26 | 2011-04-20 | 本田技研工業株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
| JP3784761B2 (ja) * | 2002-09-24 | 2006-06-14 | 日信工業株式会社 | 車両用前後加速度センサの異常判定装置 |
| JP2004198211A (ja) * | 2002-12-18 | 2004-07-15 | Aisin Seiki Co Ltd | 移動体周辺監視装置 |
| JP2006350897A (ja) * | 2005-06-20 | 2006-12-28 | Toyota Central Res & Dev Lab Inc | 運動計測装置 |
| JP4670709B2 (ja) * | 2006-03-31 | 2011-04-13 | 株式会社デンソー | 車両用衝突検知システム |
| JP4889351B2 (ja) * | 2006-04-06 | 2012-03-07 | 株式会社トプコン | 画像処理装置及びその処理方法 |
| JP2007332275A (ja) | 2006-06-15 | 2007-12-27 | Dainippon Printing Co Ltd | 液晶組成物、カラーフィルタおよび液晶表示装置 |
-
2007
- 2007-12-25 JP JP2007332275A patent/JP4337929B2/ja not_active Expired - Fee Related
-
2008
- 2008-12-24 DE DE112008004291.8T patent/DE112008004291B4/de active Active
- 2008-12-24 CN CN2008801224746A patent/CN101910781B/zh not_active Expired - Fee Related
- 2008-12-24 DE DE112008003486.9T patent/DE112008003486B4/de not_active Expired - Fee Related
- 2008-12-24 US US12/682,976 patent/US8559674B2/en active Active
- 2008-12-24 WO PCT/JP2008/073375 patent/WO2009081920A1/ja active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11592909B2 (en) | 2015-10-06 | 2023-02-28 | Google Llc | Fine-motion virtual-reality or augmented-reality control using radar |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112008003486B4 (de) | 2017-06-22 |
| WO2009081920A1 (ja) | 2009-07-02 |
| US8559674B2 (en) | 2013-10-15 |
| DE112008003486T5 (de) | 2010-12-30 |
| JP4337929B2 (ja) | 2009-09-30 |
| US20100226544A1 (en) | 2010-09-09 |
| CN101910781A (zh) | 2010-12-08 |
| DE112008004291B4 (de) | 2023-12-07 |
| JP2009156611A (ja) | 2009-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101910781B (zh) | 移动状态推测装置 | |
| CN112292711B (zh) | 关联lidar数据和图像数据 | |
| CN106952308B (zh) | 运动物体的位置确定方法及系统 | |
| CN107507131B (zh) | 基于单摄像头的360度全景倒车影像生成方法 | |
| JP5399027B2 (ja) | 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス | |
| JP4714104B2 (ja) | 物体傾き検出装置 | |
| WO2015156821A1 (en) | Vehicle localization system | |
| JP7077910B2 (ja) | 区画線検出装置及び区画線検出方法 | |
| EP3364336B1 (en) | A method and apparatus for estimating a range of a moving object | |
| JP2011065219A (ja) | 道路曲率推定装置 | |
| WO2015182147A1 (ja) | ステレオカメラ装置およびステレオカメラ装置を設置した車両 | |
| JP6496619B2 (ja) | 車両用駐車支援装置 | |
| JP2001043495A (ja) | ステレオ式車外監視装置 | |
| US20110304734A1 (en) | Method and apparatus for operating a video-based driver assistance system in a vehicle | |
| JP2018073275A (ja) | 画像認識装置 | |
| CN112308899B (zh) | 一种挂车角度识别方法及装置 | |
| JP6826010B2 (ja) | カメラ運動推定装置、カメラ運動推定方法及びプログラム | |
| JP2009014645A (ja) | 車両用距離測定装置 | |
| US12106492B2 (en) | Computer vision system for object tracking and time-to-collision | |
| JP2020201746A (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
| JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
| JP5957182B2 (ja) | 路面上パターン認識方法および車両用情報記録装置 | |
| WO2008037473A1 (en) | Park assist system visually marking up dangerous objects | |
| CN115346191A (zh) | 用于校准的方法和设备 | |
| JP4144464B2 (ja) | 車載用距離算出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120222 |