CN106461403B - 物体检测装置及物体检测方法 - Google Patents

物体检测装置及物体检测方法 Download PDF

Info

Publication number
CN106461403B
CN106461403B CN201480079086.XA CN201480079086A CN106461403B CN 106461403 B CN106461403 B CN 106461403B CN 201480079086 A CN201480079086 A CN 201480079086A CN 106461403 B CN106461403 B CN 106461403B
Authority
CN
China
Prior art keywords
vehicle
error
self
detection zone
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480079086.XA
Other languages
English (en)
Other versions
CN106461403A (zh
Inventor
山井大贵
西内秀和
安藤敏之
佐藤宏
松尾治夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN106461403A publication Critical patent/CN106461403A/zh
Application granted granted Critical
Publication of CN106461403B publication Critical patent/CN106461403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)

Abstract

物体检测装置(100)对车辆的周围进行拍摄并取得图像(11)，基于车辆从初期位置的移动量，检测车辆的自身位置(12)，根据车辆的周围的物体在地图上的位置信息及自身位置推定物体相对于车辆的相对位置(13)。根据物体相对于车辆的相对位置，设定图像中的物体的检测区域(14)，从检测区域检测物体(15)。而且，基于车辆从初期位置的移动量来推定自身位置所包含的误差(16)，根据误差，调整物体的检测区域的大小(14)。

Description

物体检测装置及物体检测方法
技术领域
本发明涉及物体(object)检测装置及物体检测方法。
背景技术
目前，已知有根据车辆前方的图像数据检测交通用显示器的图像处理系统(专利文献1)。专利文献1中，通过检测车辆的位置及姿势，预测交通用显示器的位置，基于该预测位置，对图像数据决定图像处理区域，从图像处理区域检测交通用显示器。由此，减轻图像处理的负担。
现有技术文献
专利文献
专利文献1:(日本)特开2007－241469号公报
但是，专利文献1的图像处理系统在决定图像处理区域时，未考虑检测出的车辆的位置及姿势所包含的误差。该误差根据车辆周围的状况而大幅度地变化。如果误差大，则交通用显示器会偏离图像处理区域，不能检测出交通用显示器。另一方面，如果图像处理区域过宽，则误检测出交通用显示器以外的物体的可能性变高。
发明内容
本发明是鉴于上述课题而创立的，其目的在于，提供一种能高精度地检测物体的物体检测装置及物体检测方法。
本发明的一方式的物体检测装置对车辆的周围进行拍摄并取得图像，基于车辆从初期位置的移动量，检测车辆的自身位置，根据车辆的周围的物体在地图上的位置信息及自身位置来推定物体相对于车辆的相对位置。根据物体相对于车辆的相对位置，设定图像中的物体的检测区域，从检测区域检测出物体。而且，基于车辆从初期位置的移动量来推定自身位置所包含的误差，并根据误差调整物体的检测区域的大小。
附图说明
图1是表示向实施方式的物体检测装置100输入和从实施方式的物体检测装置100输出的信息的块图；
图2是表示实施方式的物体检测装置100的构成及数据流的块图；
图3是表示图2的自身位置检测部12的构成及数据流的块图；
图4是表示图2的检测区域设定部14的构成及数据流的块图；
图5(a)是表示车辆51的坐标相对于车辆51从地上陆标向行进方向的移动量(距离)的误差的图，图5(b)是表示车辆51的姿势相对于车辆51从地上陆标向各旋转方向(侧滚方向、俯仰方向、横摆方向)的移动量(角度)的误差的图；
图6(a)是表示在设置了地上陆标LM1～LM3的直线道路LD1行驶的车辆51A～51C的图，图6(b)是表示误差推定部16推定的误差的图表，图6(c)是表示自身位置检测部12检测出的自身位置的图表；
图7(a)是表示在设置了地上陆标LM1的直线道路LD1行驶的车辆51A～51C的图，图7(b)是表示误差推定部16推定的误差的图表；
图8(a)是表示在设置了地上陆标LM1、LM2的弯道LD2行驶的车辆51A、51B的图，图8(b)是表示误差推定部16推定的误差的图表，图8(c)是表示自身位置检测部12检测的自身位置的图表；
图9(a)是表示在设置了地上陆标LM1的弯道LD2行驶的车辆51A、51B的图，图9(b)是表示误差推定部16推定的误差的图表；
图10是表示图像(Img)上的二维坐标(xl，yl)的平面图，表示未考虑误差的物体的坐标(G1)和产生最大误差的情况下的物体的坐标(G2)；
图11是比较图10所示的检测区域(Z1)的大小的图表；
图12是表示使用了物体检测装置100的物体检测方法的一例的流程图。
具体实施方式
以下，基于多个附图说明本发明的实施方式。对相同的部件上标注相同的符号并省略再次的说明。
(第一实施方式)
参照图1，说明向实施方式的物体检测装置100的输入和从实施方式的物体检测装置100的输出的信息。物体检测装置100根据通过搭载于车辆51的摄像部(摄像机)拍摄的图像检测设置于道路周边的物体。物体固定于地上，例如，包含信号机、道路标识。本例中取信号机为例继续说明。
向物体检测装置100输入地图信息D02、陆标(landmark)信息D01、摄像机信息D03。地图信息D02中预先包含在实际环境和地图之间有对应关系的物体的位置信息。陆标信息D01为计算出实际环境上的车辆51的自身位置而使用。陆标中包含设置于地上的特征物(地上陆标)、及发送车辆51可接收的GPS信号的GPS卫星。第一实施方式中，以地上陆标为例进行说明。陆标信息D01中包含例如地上陆标的位置信息。摄像机信息D03为从摄像部选出车辆51的周围(例如前方)的映像而使用。物体检测装置100基于这些信息D01～D03，输出物体的一例即信号机的识别结果作为信号机信息D04。
参照图2，说明实施方式的物体检测装置100的构成及数据流。物体检测装置100具备摄像部11、自身位置检测部12、物体位置推定部13、检测区域设定部14、物体检测部15、误差推定部16。
摄像部11搭载于车辆51，对车辆51的周围进行拍摄并取得图像。摄像部11是具备固体摄像元件、例如CCD及CMOS的摄像机，取得可进行图像处理的图像。摄像部11基于摄像机信息D03，设定图像的视场角、摄像机的垂直方向及水平方向的角度，输出取得的图像作为图像数据D08。
自身位置检测部12根据基于陆标信息D01的车辆51从地图信息D02上的初期位置的移动量，检测车辆51的自身位置。陆标信息D01是通过例如车载的摄像机或激光雷达等传感装置检测出的地上陆标(店铺、名胜、观光点)相对于车辆51的相对位置的信息。在地图信息D02中预先登录有地上陆标的位置信息。通过对照陆标信息D01和地上陆标的相对位置的信息，可以检测车辆51的自身位置。在此，“位置”中包含坐标及姿势。具体而言，地上陆标的位置中包含地上陆标的坐标及姿势，车辆51的位置中包含车辆51的坐标及姿势。自身位置检测部12输出成为基准的坐标系的坐标(x,y,z)、及各坐标轴的旋转方向即姿势(俯仰、横摆、侧滚)作为自身位置信息D05。
物体位置推定部13根据地图信息D02和自身位置信息D05，推定物体相对于车辆51的相对位置。在地图信息D02中预先登录有物体的位置信息(坐标信息)。根据物体的坐标和车辆51的坐标及姿势，可以求出物体相对于车辆51的相对坐标。物体位置推定部13输出推定出的物体的相对位置作为相对位置信息D06。
误差推定部16基于车辆从初期位置的移动量推定通过自身位置检测部12检测出的自身位置所包含的误差。误差推定部16的详细内容参照图5～图9后述。
检测区域设定部14根据物体的相对位置，设定图像中的物体的检测区域。摄像部11由于固定于车辆51上，所以如果确定摄像部11摄像的视场角，则在图像中可以特定要摄像物体的图像上的位置。检测区域设定部14基于该图像上的位置，设定图像中的物体的检测区域。
检测区域设定部14根据通过误差推定部16推定的误差，调整物体的检测区域的大小。检测区域设定部14输出设定及调整了的检测区域作为检测区域信息D09。检测区域设定部14的详细内容参照图10～图11后述。
物体检测部15从设定及调整了的检测区域检测出物体。具体而言，对于包含于检测区域的图像数据D08实施用于检测出物体的图像处理。图像处理的方法没有特别说明。例如，在物体是信号机的情况，可以使用基于商用电源的交流周期的同步检波处理、或色相及形状的类似判定处理来检测出信号机具有的信号灯。除此之外，可以应用其它用于检测物体的已知的图像处理。通过不对图像数据D08整体而对其一部分(检测区域)实施图像处理，可以减轻用于物体检测的信息处理负担，可以快速地检测出物体。物体检测部15输出物体的检测结果作为物体信息D04。
此外，自身位置检测部12、物体位置推定部13、误差推定部16、检测区域设定部14、及物体检测部1可以使用具备CPU、存储器、及输入输出部的微型控制器实现。具体而言，CPU通过执行预先安装的计算机程序，构成微型控制器具备的多个信息处理部(12～16)。微型控制器具备的存储器的一部分构成存储地图信息D02的地图数据库。此外，微型控制器也可以兼用为用于车辆的其它控制(例如，自动驾驶控制)的ECU。
参照图3，说明图2的自身位置检测部12的构成及数据流。自身位置检测部12具备初期位置检测部21、移动量加法部22。初期位置检测部21使用陆标信息D01检测车辆51的初期位置。初期位置是指可以检测车辆51的自身位置的位置，是可以从陆标信息D01直接求出的车辆51的位置，即坐标及姿势。此外，具有设置于道路侧，检测在设置的道路区间行驶的车辆的位置的装置，在通过道路车辆间通信等而得到自车辆的位置信息的情况下，通过从道路侧的车辆位置检测装置接收车辆51的位置，得到可以检测车辆51的自身位置的位置。
移动量加法部22通过在由初期位置检测部21检测出的初期位置累积加上车辆的移动量而计算出的车辆51的自身位置。例如，在通过传感装置检测有地上陆标的情况，不累积加上车辆的移动量，自身位置检测部12检测初期位置的信息作为自身位置信息D05。另一方面，在没有检测到地上陆标的情况下，自身位置检测部12输出将车辆的移动量与最后检测的初期位置累积相加所得的位置的信息作为自身位置信息D05。车辆的移动量的推定方法没有特别说明，可以使用已知的方法进行。例如，移动量加法部22使用里程计、雷达装置、陀螺仪传感器、横摆传感器、转向角传感器，可以推定每单位时间的车辆的移动量即坐标及姿势的变化量。
此外，对于图3的自身位置检测部12的构成，图2的误差推定部16基于通过移动量加法部22累积相加的车辆51的移动量来推定自身位置的误差。通过移动量加法部22推定的车辆的移动量的精度与使用陆标检测的初期位置的精度相比低。通过在初期位置上累积加上车辆的移动量，还同时累积相加自身位置所包含的误差。因此，根据从使用陆标检测出的初期位置的移动量，车辆的自身位置所包含的误差大幅度地变化。通过基于从初期位置的移动量推定误差，可以高精度地推定误差。详细内容参照图5～图9后述。
参照图4，说明图2的检测区域设定部14的构成及数据流。检测区域设定部14具备物体位置误差推定部31、坐标转换部32、区域决定部34。
物体位置误差推定部31根据自身位置所包含的误差，推定在物体的相对位置产生的误差。具体而言，向物体位置误差推定部31输入相对位置信息D06和误差信息D07。而且，在车辆51的坐标及姿势分别产生了通过误差推定部16推定的误差的情况下，推定物体相对于车辆51的相对坐标上产生的误差。物体位置误差推定部31输出物体的相对坐标上产生的误差作为物体位置误差信息D11。
坐标转换部32将物体的相对坐标及其误差分别向拍摄了物体的图像上的坐标转换。具体而言，向坐标转换部32输入相对位置信息D06及物体位置误差信息D11。坐标转换部32基于摄像部11具有的透镜光学系，进行将物体的三维坐标(x，y，z)转换为图像上的二维坐标(xl，yl)的坐标转换处理。坐标转换方法没有特别说明，可以使用已知的方法。坐标转换部32输出未考虑误差的物体的二维坐标、及产生最大误差的情况下的物体的二维坐标作为透镜坐标信息D12。
区域决定部34基于未考虑误差的坐标和产生最大误差的情况下的坐标之差，决定检测区域的大小，基于未考虑误差的坐标决定检测区域的中心坐标。详细内容参照图10后述。检测区域的大小及中心坐标作为检测区域信息D09而输出。
参照图5～图9，对基于通过移动量加法部22累积相加的车辆51的移动量推定的自身位置的误差进行说明。图5(a)的横轴表示车辆51自初期位置向行进方向(z方向)的移动距离，图5(a)的纵轴表示车辆51的坐标所包含的误差(gx、gy、gz)。gz表示车辆51的行进方向的误差，gx表示车辆51的宽度方向的误差，gy表示车辆51的高度方向的误差。
车辆51的坐标所包含的误差(gx、gy、gz)与从初期位置的移动距离成比例地增加。在从初期位置的移动距离为零的情况，误差(gx、gy、gz)也为零。此外，图5(a)中，初期位置检测部21检测的初期位置所包含的误差未考虑。车辆51的坐标通过对初期位置累积加上每单位时间的坐标的变化量而计算出。因此，如果从初期位置的移动距离长，则累积相加的坐标的变化量也增加，因此，车辆51的坐标所包含的误差(gx、gy、gz)也增加。相对于向z方向(行进方向)的移动距离，车辆51的宽度方向的误差(gx)最大，车辆的高度方向的误差(gy)最小。
图5(b)的横轴表示车辆51从初期位置向各旋转方向(侧滚方向、俯仰方向、横摆方向)的移动量(角度的变化量)，图5(b)的纵轴表示车辆51的姿势所包含的误差(gr、gp、gya)。gr表示车辆51的侧滚方向的误差，gp表示车辆51的俯仰方向的误差，gya表示车辆51的横摆方向的误差。
车辆51的姿势所包含的误差(gr、gp、gya)与在初期位置的车辆51从姿势(初期姿势)的变化量成比例地增加。在从初期姿势的变化量为零的情况，产生预先设定的误差(gr、gp、gya)。即，图5(b)中考虑初期位置检测部21检测的初期姿势所包含的误差。车辆51的姿势通过对初期姿势累积加上每单位时间的姿势的变化量而计算出。因此，如果从初期姿势的变化量增大，则累积相加的姿势的变化量也增大，因此，车辆51的姿势所包含的误差(gr、gp、gya)也增大。相对于向各旋转方向的变化量，侧滚方向及俯仰方向的误差(gr、gp)最大，横摆方向的误差(gya)最小。在横摆方向上旋转的情况下，仅在横摆方向产生误差(gya)。对于侧滚方向及俯仰方向而言也同样。
接着，按照图6～图9所示的道路形状及地上陆标的具体的实例，说明误差推定部16推定的误差、及自身位置检测部12检测的自身位置。
图6(a)表示在设置有地上陆标LM1～LM3的直线道路LD1行驶的车辆51A～51C。图6(b)是表示误差推定部16推定的误差的图表，图6(c)是表示自身位置检测部12检测的自身位置的图表。车辆51A表示最接近于地上陆标LM1时的车辆的位置。车辆51B及51C也同样，表示最接近于地上陆标LM2及LM3时的车辆的位置。另外，作为物体Tgt的一例的信号机从车辆51A、51B及51C向行进方向离开200m、120m、及40m。
在车辆51A、51B及51C的各地点，自身位置检测部12不累积运算车辆的移动量，而能将车辆51的初期位置保持不变作为自身位置而计算出。因此，如图6(b)所示，在车辆51A、51B及51C的各地点，误差推定部16推定的误差与初期位置检测部21检测的初期姿势所包含的误差相等。此外，因为在直线道路LD1行驶，所以如图6(c)所示，自身位置检测部12检测出的自身位置仅在行进方向(z方向)的坐标(z)变化。图6(c)所示的坐标是以物体Tgt为原点的坐标。单位分别为gx[m]、gy[m]、gz[m]、gp[°]、gya[°]、gr[°]、x[m]、y[m]、z[m]、俯仰[°]、横摆[°]、侧滚[°]。
与之相对，图7(a)表示在直线道路LD1上仅设置有地上陆标LM1的实例。自身位置检测部12在车辆51A的地点，不累积运算车辆的移动量，而能将车辆51的初期位置保持不变作为自身位置而计算出。因此，如图7(b)所示，在车辆51A的地点，产生与图6(b)同样的坐标及姿势的误差。但是，因为没有设置地上陆标LM2及LM3，所以车辆51B及51C的自身位置通过累积加上从车辆51A的移动量而计算出。因此，车辆51B及51C的坐标的误差与图6(b)不同。误差推定部16参照图5(a)所示的数据，根据从车辆51A的移动量(80m、160m)计算出坐标的误差。从车辆51A的移动量越大，坐标(gx、gy、gz)的误差越大。此外，本实例中，车辆51在各旋转方向没有移动，所以车辆51B及51C的姿势的误差与图6(b)相同。
图8(a)表示在设置了地上陆标LM1、LM2的弯道LD2上行驶的车辆51A、51B。图8(b)是表示误差推定部16推定的误差的图表，图8(c)是表示自身位置检测部12检测出的自身位置的图表。车辆51A及51B表示最接近于地上陆标LM1及LM2时的车辆的位置。
在车辆51A及51B的各地点，自身位置检测部12不累积运算车辆的移动量，而能将车辆51的初期位置保持不变作为自身位置而计算出。因此，如图8(b)所示，在车辆51A及51B的各地点，误差推定部16推定的误差与初期位置检测部21检测出的初期姿势所包含的误差相等。图8(c)所示的坐标是以物体Tgt为原点的坐标。
与之相对，图9(a)表示在弯道LD2上仅设置有地上陆标LM1的实例。自身位置检测部12在车辆51A的地点，不累积运算车辆的移动量，而能将车辆51的初期位置保持不变作为自身位置而计算出。因此，如图9(b)所示，在车辆51A的地点，产生与图8(b)同样的坐标及姿势的误差。但是，由于没有设置地上陆标LM2，所以车辆51B的自身位置通过累积加上自车辆51A的移动量而计算出。在车辆51A至车辆51B之间，车辆51向横摆方向进行90°旋转移动。误差推定部16参照图5(b)所示的数据，根据从车辆51A的移动量来计算出横摆方向的误差(gya)。如图9(b)所示，车辆51B的横摆方向的误差(gya)增加。另外，在车辆51A至车辆51B之间，不仅车辆的姿势变化，而且车辆的坐标也变化，但在图9的实例中只考虑姿势的变化，坐标的变化未考虑。
参照图10，说明决定检测区域的大小及中心坐标的方法的一例。图10是表示图像(Img)上的二维坐标(xl，yl)的平面图。坐标(G1)表示通过坐标转换部32进行了坐标转换的未考虑误差的物体的二维坐标。坐标(G2)表示通过坐标转换部32进行了坐标转换的产生了最大的误差的情况的物体的二维坐标。坐标(G1)和坐标(G2)之差(Xm、Ym)相当于通过坐标转换部32进行了坐标转换的物体的相对坐标所包含的误差。
检测区域设定部14以坐标(G1)为中心坐标，相对于物体的大小，设定具有在X方向及Y方向分别加上2×Xm及2×Ym的长度的4边的检测区域(Z1)。由此，即使是产生最大的误差的情况，物体的坐标(G2)也收敛于检测区域(Z1)内，因此，可使物体难以脱离检测区域。另外，因为没有过度扩大检测区域(Z1)，所以不易误检测物体以外的事物，且可以在降低运算负荷的状态下检测物体。
或者，检测区域设定部14也可以从预先准备的多个不同的大小的检测区域(Z1)中选择最接近的大小的检测区域(Z1)。
参照图11，比较图6～图9所示的实例的检测区域(Z1)的大小。在此，将图6的车辆51C及图8的车辆51B的检测区域(Z1)的大小分别作为基准值(x)。在图6的车辆51B，自身位置(坐标及姿势)所包含的误差与图6的车辆51C的情况相同，但至物体的距离不同。因此，检测区域(Z1)的大小为基准值(x)的3倍。在图7的车辆51B，因为没有地上陆标，所以产生因移动量的累积相加造成的误差。因此，检测区域(Z1)的大小更大，成为基准值(x)的5倍。在图7的车辆51C，移动量的累积相加造成的误差进一步增加，但至物体的距离缩小。因此，检测区域(Z1)的大小变小，成为基准值(x)的2倍。同样地，在图9的车辆51B，因为产生移动量的累积相加造成的误差，所以检测区域(Z1)的大小成为基准值(x)的2倍。
这样，如果距物体的距离变远，则横摆方向及俯仰方向的误差(gya、gp)的影响增加，需要大的检测区域。另外，如果与物体的距离变近，则坐标的误差(gx、gy、gz)的影响增加，因此，由于陆标信息的有无而在检测区域(Z1)的大小上产生差异。
参照图12说明使用物体检测装置100的物体检测方法的一例。
在步骤S01中，摄像部11基于摄像机信息D03对车辆51的周围进行拍摄并取得图像。进入步骤S03，自身位置检测部12根据陆标信息D01求出车辆51的初期位置后，基于车辆51从初期位置的移动量，检测车辆51的自身位置，并输出检测出的自身位置作为自身位置信息D05。
进入步骤S05，物体位置推定部13根据地图信息D02和自身位置信息D05推定物体相对于车辆51的相对位置。进入步骤S07，误差推定部16基于自身位置来推定步骤S03中检测出的自身位置所包含的误差(Ds)。具体而言，参照图5(a)及(b)，根据从初期位置的移动量(距离或角度)推定车辆51的自身位置所包含的误差(gx、gy、gz、gr、gp、gya)。
进入步骤S09，判断推定出的误差(Ds)是否比规定的阈值(Dth)大。在误差(Ds)比阈值(Dth)更大的情况下(S09中为是)，在物体的相对位置产生的误差也增大，因此，根据误差调整检测区域(Z1)的大小的必要性提高。因此，进入步骤S13，物体位置误差推定部31根据自身位置所包含的误差，推定在物体的相对位置产生的误差。
此外，阈值(Dth)可以对车辆的坐标所包含的误差(gx、gy、gz)及车辆的姿势所包含的误差(gr、gp、gya)分别进行设定。而且，在各误差中的任一个比阈值大的情况下，可以在步骤S09判断为是。或者，在全部的误差比阈值大的情况，也可以在步骤S09判断为是。
进入步骤S15，坐标转换部32将物体的相对坐标及其误差如图10所示那样分别转换为拍摄到物体的图像(Img)上的坐标(xl，yl)。进入步骤S17，区域决定部34基于未考虑误差的坐标(G1)和产生最大的误差的情况下的坐标(G2)的差(Xm、Ym)，如图11所示设定检测区域(Z1)的大小。进入步骤S19，区域决定部34基于未考虑误差的坐标(G1)来决定检测区域(Z1)的中心坐标。由此，决定检测区域(Z1)。
另一方面，在误差(Ds)为阈值(Dth)以下的情况下(S09中为否)，在物体的相对位置产生的误差也减小。因此，根据误差调整检测区域(Z1)的大小的必要性也低。于是，进入步骤S11，对在步骤S05推定出的物体的相对位置进行坐标转换，求出未考虑误差的坐标(G1)。进入步骤S19，基于未考虑误差的坐标(G1)，决定检测区域(Z1)的中心坐标。该情况下的检测区域(Z1)的大小是预先设定的值，例如是图11的基准值(x)。即，在误差(Ds)为阈值(Dth)以下的情况下，不根据误差(Ds)调整检测区域(Z1)的大小地决定检测区域(Z1)。
进入步骤S21，判断从上次的误差(Ds)的变化量是否为规定的基准值以上。如果误差(Ds)的变化量为规定的基准值以上(S21中为是)，则进入步骤S23，区域决定部34作为检测区域信息D09的一例，在存储器中存储检测区域的大小的调整量。如果误差(Ds)的变化量不足规定的基准值(S21中为否)，则区域决定部34不更新检测区域的大小的调整量。然后，进入步骤S25，物体检测部15对设定及调整了的检测区域中所包含的图像数据D08实施用于检测出物体的图像处理。
如以上说明，根据第一实施方式，得到以下的作用效果。
基于该车辆从初期位置的移动量推定车辆51的自身位置所包含的误差(Ds)，根据误差(Ds)调整物体的检测区域(Z1)的大小。由此，可以考虑误差(Ds)来调整物体的检测区域(Z1)的大小。因此，根据车辆周围的状况，即使误差(Ds)大幅度地变化，也能够根据误差(Ds)来设定适当大小的检测区域(Z1)。例如，如果误差大，则扩大检测区域，可使物体难以脱离检测区域。另一方面，如果误差小，则缩小检测区域，可能难以误检测物体以外的事物。另外，也减轻了图像处理的负担。这样，通过考虑车辆的自身位置所包含的误差来适当调整物体的检测区域的大小，可以高精度地检测物体。即使在产生误差的情况下，通过确保物体的识别所需要的检测区域且以最低限度使检测区域变窄，由此，也能够在降低运算负荷的状态下检测出物体。
根据在使用陆标(例如，地上陆标LM1～LM3)检测的初期位置累积相加的移动量，车辆51的自身位置所包含的误差(Ds)大幅度地变化。通过基于从初期位置的移动量推定误差，可以高精度地推定误差。
通过对照地上的特征物(地上陆标LM1～LM3)的位置信息和地图信息D02，可以高精度地检测自身位置。因此，可以基于从陆标至自身位置的移动量来高精度地推定误差(Ds)。
自身位置检测部12检测车辆的坐标及车辆的姿势作为自身位置。误差推定部16基于车辆向行进方向的移动量，推定车辆的坐标所包含的误差，并基于向车辆的旋转方向的移动量，推定车辆的姿势所包含的误差。由此，可以正确地推定车辆的自身位置所包含的误差(Ds)，因此，也能够正确地推定误差(Ds)引起的在物体的相对位置产生的误差。
区域决定部34在误差(Ds)的变化量为规定的基准值以上的情况下，保持检测区域的大小的调整量。由此，可以保持最新的检测区域信息D09。
(第二实施方式)
第二实施方式中，作为用于检测自身位置的陆标，以发送车辆51可接收的GPS信号的GPS卫星为例进行说明。自身位置检测部12接收GPS信号作为陆标信息D01，根据GPS信号检测车辆51的初期位置(初期坐标及初期姿势)。
GPS信号有时因车辆51周围的状况，例如在车辆周围具有大量建筑物的状况而被隔断，车辆51不能接收GPS信号。该情况下，自身位置检测部12通过在由初期位置检测部21检测的初期位置上累积加上车辆的移动量，从而计算出车辆51的自身位置。
图3的初期位置检测部21使用GPS信号检测车辆51的初期位置。初期位置是指根据GPS信号可以直接求出的车辆51的位置、即坐标及姿势。移动量加法部22在没有接收GPS信号的情况下，通过在根据最后接收到的GPS信号求出的初期位置累积加上车辆的移动量，计算出车辆51的自身位置。
例如，在接收到GPS信号的情况下，不累积加上车辆的移动量，自身位置检测部12检测初期位置的信息作为自身位置信息D05。另一方面，在没有接收到GPS信号的情况下，自身位置检测部12输出在最后检测到的初期位置累积相加车辆的移动量的位置的信息作为自身位置信息D05。
在图6(a)～图9(a)所示的实例中，最接近于地上陆标LM1～LM3的车辆51A～51C的位置相当于接收GPS信号来检测车辆51的初期位置的地点。
其它关于物体检测装置100及物体检测方法的构成与第一实施方式相同，省略说明。
如以上说明，自身位置检测部12使用GPS卫星作为陆标来检测自身位置，误差推定部16基于从最后接收到由GPS卫星发送的信号时的车辆的位置至自身位置的移动量来推定误差。由此，通过使用从GPS卫星发送的GPS信号，可以高精度地检测初期位置。因此，基于接收GPS信号后至自身位置的移动量，可以高精度地推定误差(Ds)。
以上，按照实施例说明了本发明的内容，但本发明不限定于这些记载，可进行各种变形及改进对于本领域技术人员来说是不言而喻的。
例如，自身位置检测部12也可以使用地上陆标及GPS卫星这双方作为陆标来检测自身位置。该情况下，误差推定部16只要基于最后检测到地上陆标后或接收到GPS信号后至自身位置的移动量来推定误差(Ds)即可。
另外，在地上陆标和车辆51之间进行通信的情况下，与使用GPS卫星的情况同样地，可以通过通信而得到地上陆标和车辆51的相对位置关系。该情况下，误差推定部16只要基于最后从地上陆标接收到位置后至自身位置的移动量来推定误差(Ds)即可。
另外，具有设置于道路侧，在设置的道路区间检测行驶的车辆的位置的装置，有时通过道路车辆间通信等得到自身车辆的位置信息。该情况下，自身位置检测部12也可以通过道路车辆间通信等利用道路侧的车辆位置检测装置检测车辆51的自身位置。该情况下，误差推定部16只要基于最后从道路侧的车辆位置检测装置接收到车辆51的位置(初期位置)后至自身位置的移动量来推定误差(Ds)即可。
符号说明
11 摄像部
12 自身位置检测部
13 物体位置推定部
14 检测区域设定部
15 物体检测部
16 误差推定部
21 初期位置检测部
22 移动量加法部
Z1 检测区域

Claims (6)

1.一种物体检测装置，其特征在于，具备：
摄像部，其搭载于车辆，对所述车辆的周围进行拍摄并取得图像；
自身位置检测部，其基于所述车辆从初期位置的移动量，检测所述车辆的自身位置；
物体位置推定部，其根据所述车辆的周围的物体在地图上的位置信息和所述自身位置，推定所述物体相对于所述车辆的相对位置；
检测区域设定部，其根据所述物体相对于所述车辆的相对位置，特定所述物体在图像上的位置，并基于所述在图像上的位置，设定所述图像上的所述物体的检测区域；
物体检测部，其从所述检测区域检测出所述物体；
误差推定部，其基于所述车辆从初期位置至所述自身位置的移动量，推定通过所述自身位置检测部检测出的所述自身位置所包含的误差，
所述检测区域设定部根据通过所述误差推定部推定的所述误差，调整所述物体的检测区域的大小。
2.如权利要求1所述的物体检测装置，其特征在于，
所述自身位置检测部具备：
初期位置检测部，其使用陆标检测所述车辆的初期位置；
移动量加法部，其通过在所述初期位置累积加上所述车辆的移动量而计算出所述自身位置，
所述误差推定部基于所述车辆从初期位置至所述自身位置的所述车辆的移动量推定所述误差。
3.如权利要求2所述的物体检测装置，其特征在于，
所述初期位置检测部使用GPS卫星作为陆标来检测所述初期位置，
所述误差推定部基于所述车辆从最后接收到从GPS卫星发送的信号时的所述初期位置至所述自身位置的移动量，来推定所述误差。
4.如权利要求1～3中任一项所述的物体检测装置，其特征在于，
所述自身位置检测部检测所述车辆的坐标及所述车辆的姿势作为所述自身位置，
所述误差推定部基于所述车辆向行进方向的移动量，推定所述车辆的坐标所包含的误差，基于所述车辆向旋转方向的移动量，推定所述车辆的姿势所包含的误差。
5.如权利要求1～3中任一项所述的物体检测装置，其特征在于，
所述检测区域设定部在所述误差的变化量为规定的基准值以上的情况下，保持检测区域的大小的调整量。
6.一种物体检测方法，使用具备搭载于车辆的摄像部、自身位置检测部、物体位置推定部、检测区域设定部、物体检测部、误差推定部的物体检测装置，其特征在于，
使用所述摄像部，对所述车辆的周围进行拍摄并取得图像，
所述自身位置检测部基于所述车辆从初期位置的移动量，检测所述车辆的自身位置，
所述物体位置推定部根据所述车辆的周围的物体在地图上的位置信息和所述自身位置，推定所述物体相对于所述车辆的相对位置，
所述检测区域设定部根据所述物体相对于所述车辆的相对位置，特定所述物体在图像上的位置，并基于所述在图像上的位置，设定所述图像上的所述物体的检测区域，
所述误差推定部基于所述车辆从初期位置至所述自身位置的移动量推定所述自身位置所包含的误差，
所述检测区域设定部根据所述误差，调整所述物体的检测区域的大小，
所述物体检测部从所述检测区域检测出所述物体。
CN201480079086.XA 2014-05-20 2014-05-20 物体检测装置及物体检测方法 Active CN106461403B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/063351 WO2015177865A1 (ja) 2014-05-20 2014-05-20 物標検出装置及び物標検出方法

Publications (2)

Publication Number Publication Date
CN106461403A CN106461403A (zh) 2017-02-22
CN106461403B true CN106461403B (zh) 2019-02-15

Family

ID=54553563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480079086.XA Active CN106461403B (zh) 2014-05-20 2014-05-20 物体检测装置及物体检测方法

Country Status (8)

Country Link
US (1) US9767372B2 (zh)
EP (1) EP3147629B1 (zh)
JP (1) JP6222353B2 (zh)
CN (1) CN106461403B (zh)
BR (1) BR112016026372B1 (zh)
MX (1) MX355397B (zh)
RU (1) RU2633641C1 (zh)
WO (1) WO2015177865A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6361366B2 (ja) * 2014-08-18 2018-07-25 株式会社デンソー 物体認識装置
EP3104189B1 (en) * 2015-06-11 2020-09-30 Veoneer Sweden AB Misalignment estimation for a vehicle radar system
JP6756101B2 (ja) * 2015-12-04 2020-09-16 トヨタ自動車株式会社 物体認識装置
JP6380422B2 (ja) * 2016-02-05 2018-08-29 トヨタ自動車株式会社 自動運転システム
CA3031723C (en) * 2016-07-26 2020-06-23 Nissan Motor Co., Ltd. Self-position estimation method and self-position estimation device
DE102017220139A1 (de) * 2017-11-13 2019-05-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bereitstellen einer Position wenigstens eines Objekts
US12060074B2 (en) * 2018-03-30 2024-08-13 Toyota Motor Europe System and method for adjusting external position information of a vehicle
US10839522B2 (en) * 2018-05-11 2020-11-17 Toyota Research Institute, Inc. Adaptive data collecting and processing system and methods
JPWO2020137313A1 (zh) * 2018-12-28 2020-07-02
CN112149659B (zh) * 2019-06-27 2021-11-09 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
JP7227112B2 (ja) * 2019-09-27 2023-02-21 日立Astemo株式会社 物体検出装置、走行制御システム、および走行制御方法
BR112022008335A2 (pt) 2019-11-12 2022-07-26 Nissan Motor Método de reconhecimento de sinal de trânsito e dispositivo de reconhecimento de sinal de trânsito
EP3825731B1 (de) * 2019-11-21 2022-01-05 Sick Ag Optoelektronischer sicherheitssensor und verfahren zur sicheren bestimmung der eigenen position
EP3929690A1 (en) 2020-06-22 2021-12-29 Carnegie Robotics, LLC A method and a system for analyzing a scene, room or venueby determining angles from imaging elements to visible navigation elements
EP3929613A1 (en) * 2020-06-22 2021-12-29 Carnegie Robotics, LLC A method for navigating a movable device along an inclined surface
EP3988899B1 (en) * 2020-10-23 2024-05-22 Atlantic Inertial Systems Limited Terrain referenced navigation system
CN115993089B (zh) * 2022-11-10 2023-08-15 山东大学 基于pl-icp的在线四舵轮agv内外参标定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005038402A1 (ja) * 2003-10-21 2005-04-28 Waro Iwane ナビゲーション装置
WO2008075438A1 (ja) * 2006-12-21 2008-06-26 Pioneer Corporation ナビゲーション装置、マップマッチング方法、及び、マップマッチングプログラム
CN101346603A (zh) * 2006-05-17 2009-01-14 丰田自动车株式会社 对象物识别装置
JP2009259215A (ja) * 2008-03-18 2009-11-05 Zenrin Co Ltd 路面標示地図生成方法
CN103201593A (zh) * 2011-06-13 2013-07-10 松下电器产业株式会社 噪声模式取得装置以及具备该噪声模式取得装置的位置检测装置
CN103210279A (zh) * 2011-11-15 2013-07-17 松下电器产业株式会社 位置推测装置、位置推测方法以及集成电路

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2526876B2 (ja) * 1986-11-17 1996-08-21 日本電装株式会社 車両走行位置表示装置
RU2109344C1 (ru) * 1993-08-06 1998-04-20 Николай Николаевич Токарев Способ обнаружения движущихся целей и устройство для его осуществления
JP3449240B2 (ja) * 1998-09-24 2003-09-22 株式会社デンソー 車両用現在位置検出装置、車両用現在位置表示装置、ナビゲーション装置および記録媒体
JP4763250B2 (ja) * 2004-04-09 2011-08-31 株式会社デンソー 物体検出装置
WO2005122113A1 (en) * 2004-06-07 2005-12-22 Sharp Kabushiki Kaisha Information display control device, navigation device, controlling method of information display control device, control program of information display control device, and computer-readable storage medium
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
JP4631750B2 (ja) 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP5162103B2 (ja) * 2006-05-15 2013-03-13 トヨタ自動車株式会社 支援制御装置
EP1906339B1 (en) * 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device
JP2008287572A (ja) 2007-05-18 2008-11-27 Sumitomo Electric Ind Ltd 車両運転支援システム、運転支援装置、車両及び車両運転支援方法
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
JP5372680B2 (ja) * 2009-09-24 2013-12-18 日立オートモティブシステムズ株式会社 障害物検知装置
WO2013133129A1 (ja) * 2012-03-06 2013-09-12 日産自動車株式会社 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005038402A1 (ja) * 2003-10-21 2005-04-28 Waro Iwane ナビゲーション装置
CN101346603A (zh) * 2006-05-17 2009-01-14 丰田自动车株式会社 对象物识别装置
WO2008075438A1 (ja) * 2006-12-21 2008-06-26 Pioneer Corporation ナビゲーション装置、マップマッチング方法、及び、マップマッチングプログラム
JP2009259215A (ja) * 2008-03-18 2009-11-05 Zenrin Co Ltd 路面標示地図生成方法
CN103201593A (zh) * 2011-06-13 2013-07-10 松下电器产业株式会社 噪声模式取得装置以及具备该噪声模式取得装置的位置检测装置
CN103210279A (zh) * 2011-11-15 2013-07-17 松下电器产业株式会社 位置推测装置、位置推测方法以及集成电路

Also Published As

Publication number Publication date
EP3147629A4 (en) 2017-04-05
EP3147629A1 (en) 2017-03-29
CN106461403A (zh) 2017-02-22
EP3147629B1 (en) 2019-07-10
MX355397B (es) 2018-04-18
US20170177958A1 (en) 2017-06-22
JPWO2015177865A1 (ja) 2017-04-20
MX2016014733A (es) 2017-03-06
BR112016026372A2 (zh) 2017-08-15
RU2633641C1 (ru) 2017-10-16
US9767372B2 (en) 2017-09-19
WO2015177865A1 (ja) 2015-11-26
JP6222353B2 (ja) 2017-11-08
BR112016026372B1 (pt) 2022-03-03

Similar Documents

Publication Publication Date Title
CN106461403B (zh) 物体检测装置及物体检测方法
CN102292249B (zh) 用于获得处于车辆前方的行车道的道路轮廓的方法
KR101997436B1 (ko) 차량 모션 데이터를 사용하는 자동차 카메라에 의한 오브젝트 위치 측정
CN110859044B (zh) 自然场景中的集成传感器校准
CN107615201B (zh) 自身位置估计装置及自身位置估计方法
CN106463051B (zh) 信号机识别装置以及信号机识别方法
JP4814669B2 (ja) ３次元座標取得装置
JP6656886B2 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
TW202001924A (zh) 基於雙目影像更新高解析度地圖的系統和方法
US10150485B2 (en) Method and device for processing image data, and driver-assistance system for a vehicle
KR101220527B1 (ko) 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
JP6070206B2 (ja) 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム
US9898669B2 (en) Traveling road surface detection device and traveling road surface detection method
CN106463064A (zh) 物体识别装置和使用该物体识别装置的车辆行驶控制装置
JP2013008328A (ja) 車両周囲監視装置
CN110162032B (zh) 车辆地图数据采集系统和方法
JP2009074861A (ja) 移動量計測装置及び位置計測装置
JP6135972B2 (ja) 標定方法、標定プログラム、及び標定装置
EP4173285A1 (en) Motion-based online calibration of a multi-camera
JP5587250B2 (ja) 測距装置
JP2021081272A (ja) 位置推定装置および位置推定用コンピュータプログラム
JP2020118575A (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
KR100792852B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리추출방법
JP6398217B2 (ja) 自己位置算出装置及び自己位置算出方法
JP2014044730A (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant