CN104509099B - 三维物体检测装置以及三维物体检测方法 - Google Patents

三维物体检测装置以及三维物体检测方法 Download PDF

Info

Publication number
CN104509099B
CN104509099B CN201380040039.XA CN201380040039A CN104509099B CN 104509099 B CN104509099 B CN 104509099B CN 201380040039 A CN201380040039 A CN 201380040039A CN 104509099 B CN104509099 B CN 104509099B
Authority
CN
China
Prior art keywords
mentioned
dimensional body
camera lens
detected result
adjacent vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380040039.XA
Other languages
English (en)
Other versions
CN104509099A (zh
Inventor
深田修
早川泰久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN104509099A publication Critical patent/CN104509099A/zh
Application granted granted Critical
Publication of CN104509099B publication Critical patent/CN104509099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

一种三维物体检测装置，具备：第1三维物体检测单元(33)，其基于摄像图像来检测三维物体；光源检测单元(34)，其检测存在于本车辆后方的光源；第2三维物体检测单元(35)，其基于光源来检测三维物体；三维物体判断单元(37)，其判断三维物体是否为邻近车辆；白浊度计算单元(38)，其基于摄像图像来计算镜头白浊度；以及控制单元(37)，其在镜头白浊度为规定的判断值以上的情况下，至少基于第2三维物体检测单元的检测结果来判断三维物体是否为邻近车辆，在镜头白浊度未达到判断值的情况下，至少基于第1三维物体检测单元的检测结果来判断三维物体是否为邻近车辆。

Description

三维物体检测装置以及三维物体检测方法
技术领域
本发明涉及一种三维物体检测装置以及三维物体检测方法。
本申请要求2012年7月27日申请的日本专利申请的特愿2012-166519的优先权，针对文献参照中确认进入的指定国，通过参照上述申请所记载的内容来引入本申请中，并作为本申请的记载的一部分。
背景技术
以往以来，已知一种将在不同时刻拍摄得到的两张摄像图像变换为鸟瞰视点图像并基于变换后的两张鸟瞰视点图像的差分来检测三维物体的技术(参照专利文献1)。
专利文献1：日本特开2008-227646号公报
发明内容
发明要解决的问题
当基于由摄像机拍摄得到的摄像图像来检测存在于与本车辆的行驶车道邻近的邻近车道的三维物体作为邻近车辆时，在水垢等异物附着在摄像机的镜头上而镜头处于白浊状态的情况下，由于附着于镜头的水垢等异物，来自被摄体的光束的一部分被遮挡或者进行漫反射，从而无法适当地拍摄邻近车辆，其结果，有时无法适当地检测邻近车辆。
本发明要解决的问题在于，提供一种即使在水垢等异物附着在镜头上而镜头处于白浊的情况下也能够适当地检测邻近车辆的三维物体检测装置。
用于解决问题的方案
本发明在具备基于摄像图像来检测三维物体的第1三维物体检测单元以及基于存在于本车辆后方的光源来检测三维物体的第2三维物体检测单元的三维物体检测装置中，计算镜头白浊度，在镜头白浊度为规定的判断值以上的情况下，至少基于第2三维物体检测单元的检测结果来判断三维物体是否为邻近车辆，在镜头白浊度小于判断值的情况下，至少基于第1三维物体检测单元的检测结果来判断三维物体是否为邻近车辆，由此解决上述问题。
发明的效果
通常，在镜头处于白浊状态的情况下，与第1三维物体检测单元的检测结果相比，第2三维物体检测单元的检测结果的检测精度更高，相反，在镜头未处于白浊状态的情况下，与第2三维物体检测单元的检测结果相比，第1三维物体检测单元的检测结果的检测精度更高。根据本发明，能够与镜头白浊度相应地使用第1三维物体检测单元的检测结果和第2三维物体检测单元的检测结果，因此能够与镜头白浊的程度相应地适当检测邻近车辆。
附图说明
图1是搭载有三维物体检测装置的车辆的概要结构图。
图2是表示图1的车辆的行驶状态的俯视图。
图3是表示计算机的详细内容的框图。
图4是用于说明对位部的处理的概要的图，(a)是表示车辆的移动状态的俯视图，(b)是表示对位的概要的图像。
图5是表示三维物体检测部生成差分波形的情形的概要图。
图6是表示差分波形和用于检测三维物体的阈值α的一例的图。
图7是表示由三维物体检测部分割出的小区域的图。
图8是表示由三维物体检测部获得的直方图的一例的图。
图9是表示三维物体检测部的加权的图。
图10是表示由三维物体检测部获得的直方图的其它例的图。
图11是用于说明本实施方式所涉及的镜头白浊度的计算方法的图。
图12是用于说明本实施方式所涉及的镜头的白浊度的一例的图。
图13是表示第1实施方式所涉及的邻近车辆检测处理的流程图(之一)。
图14是表示第1实施方式所涉及的邻近车辆检测处理的流程图(之二)。
图15是表示第1实施方式所涉及的白浊度计算处理的流程图。
图16是表示第2实施方式所涉及的计算机的详细内容的框图。
图17是表示车辆的行驶状态的图，(a)是表示检测区域等的位置关系的俯视图，(b)是表示实际空间中的检测区域等的位置关系的立体图。
图18是用于说明第2实施方式所涉及的亮度差计算部的动作的图，(a)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图，(b)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。
图19是用于说明第2实施方式所涉及的亮度差计算部的详细动作的图，(a)是表示鸟瞰视点图像中的检测区域的图，(b)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图。
图20是表示用于说明边缘检测动作的图像例的图。
图21是表示边缘线和边缘线上的亮度分布的图，(a)是表示在检测区域中存在三维物体(邻近车辆)的情况下的亮度分布的图，(b)是表示在检测区域中不存在三维物体的情况下的亮度分布的图。
图22是表示第2实施方式所涉及的邻近车辆检测处理的流程图(之一)。
图23是表示第2实施方式所涉及的邻近车辆检测处理的流程图(之二)。
图24是表示第2实施方式所涉及的白浊度计算处理的流程图。
具体实施方式
<第1实施方式>
图1是搭载了本实施方式所涉及的三维物体检测装置1的车辆的概要结构图。本实施方式所涉及的三维物体检测装置1的目的在于检测本车辆V1在车道变更时有可能接触的存在于邻近车道的其它车辆(以下也称为邻近车辆V2)。如图1所示，本实施方式所涉及的三维物体检测装置1具备摄像机10、车速传感器20以及计算机30。
摄像机10如图1所示那样在本车辆V1后方的高度h的地方以光轴相对于水平向下形成角度θ的方式安装于车辆V1。摄像机10从该位置拍摄本车辆V1的周围环境中的规定区域。车速传感器20用于检测本车辆V1的行驶速度，并根据例如由检测车轮转速的车轮速度传感器检测出的车轮速度来计算车速。计算机30进行存在于本车辆后方的邻近车道的邻近车辆的检测。
图2是表示图1的本车辆V1的行驶状态的俯视图。如该图所示，摄像机10以规定的视角a拍摄车辆后方。此时，摄像机10的视角a被设定为除了能够拍摄到本车辆V1所行驶的车道以外还能够拍摄到其左右的车道(邻近车道)的视角。能够拍摄的区域包括本车辆V1的后方的、本车辆V1的行驶车道的左右相邻的邻近车道上的检测对象区域A1、A2。此外，本实施方式中的车辆后方不仅包括车辆的正后方，还包括车辆的后侧的侧方。根据摄像机10的视角来设定所拍摄的车辆后方的区域。作为一例，能够设定成：在将沿着车长方向的车辆的正后方设为零度的情况下，包括从正后方向起的左右0度～90度、优选0度～70度等的区域。
图3是表示图1的计算机30的详细内容的框图。此外，在图3中，为了明确连接关系，还图示了摄像机10、车速传感器20。
如图3所示，计算机30具备视点变换部31、对位部32、第1三维物体检测部33、车头灯检测部34、第2三维物体检测部35、白浊度计算部36以及三维物体判断部37。下面，说明各自的结构。
视点变换部31输入由摄像机10拍摄得到的规定区域的摄像图像数据，将所输入的摄像图像数据视点变换为鸟瞰视点状态的鸟瞰图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下俯视的虚拟摄像机的视点观看的状态。能够例如日本特开2008-219063号公报所记载的那样执行该视点变换。将摄像图像数据视点变换为鸟瞰视点图像数据是因为基于如下原理能够识别平面物体和三维物体，该原理为三维物体所特有的铅垂边缘通过视点变换为鸟瞰视点图像数据而被变换为通过特定的定点的直线群。
对位部32依次输入由视点变换部31的视点变换获得的鸟瞰视点图像数据，并将所输入的不同时刻的鸟瞰视点图像数据的位置进行对位。图4是用于说明对位部32的处理的概要的图，(a)是表示本车辆V1的移动状态的俯视图，(b)是表示对位的概要的图像。
如图4的(a)所示，设为当前时刻的本车辆V1位于P1，前一时刻的本车辆V1位于P1’。另外，设为邻近车辆V2位于本车辆V1的后侧方向并与本车辆V1处于并列行驶状态，当前时刻的邻近车辆V2位于P2，前一时刻的邻近车辆V2位于P2’。并且，设为本车辆V1在一时刻移动了距离d。此外，前一时刻可以是从当前时刻起相隔预先决定时间(例如一个控制周期)的过去时刻，也可以是相隔任意时间的过去时刻。
在这样的状态中，当前时刻的鸟瞰视点图像PBt如图4的(b)所示那样。在该鸟瞰视点图像PBt中，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是邻近车辆V2(位置P2)发生倾倒。另外，前一时刻的鸟瞰视点图像PBt-1也同样地，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是邻近车辆V2(位置P2’)发生倾倒。如已经记述的那样，是因为三维物体的铅垂边缘(除了严格意义上的铅垂边缘以外还包括在三维空间中从路面立起的边缘)通过变换为鸟瞰视点图像数据的视点变换处理而表现为沿着倾倒方向的直线群，与此相对地，路面上的平面图像不包括铅垂边缘，因此即使进行视点变换也不会产生那样的倾倒。
对位部32在数据上执行如上所述的鸟瞰视点图像PBt、PBt-1的对位。此时，对位部32使前一时刻的鸟瞰视点图像PBt-1偏移来使位置与当前时刻的鸟瞰视点图像PBt相一致。图4的(b)的左侧的图像和中央的图像表示偏移了移动距离d’后的状态。该偏移量d’是与图4的(a)所示的本车辆V1的实际的移动距离d对应的鸟瞰视点图像数据上的移动量，基于来自车速传感器20的信号和从前一时刻至当前时刻的时间来决定。
此外，在本实施方式中，对位部32将不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，获得对位后的该鸟瞰视点图像，但是能够以与检测对象的种类、所要求的检测精度相应的精度进行该“对位”处理。例如可以是以同一时刻和同一位置为基准进行对位的严格的对位处理，也可以是掌握各鸟瞰视点图像的坐标这样的程度缓和的对位处理。
另外，在对位之后，对位部32取鸟瞰视点图像PBt、PBt-1的差分，生成差分图像PDt的数据。在此，在本实施方式中，对位部32为了对应照度环境的变化，将鸟瞰视点图像PBt、PBt-1的像素值之差绝对值化，在该绝对值为规定的差分阈值th以上时将差分图像PDt的像素值设为“1”，在绝对值小于规定的差分阈值th时将差分图像PDt的像素值设为“0”，由此能够生成如图4的(b)的右侧所示那样的差分图像PDt的数据。
第1三维物体检测部33基于图4的(b)所示的差分图像PDt的数据来生成差分波形。具体地说，第1三维物体检测部33在设定于本车辆V1的左右后方的检测区域生成差分波形。另外，在本实施方式中，第1三维物体检测部33在每次摄像图像PDt生成时，基于所生成的差分图像PDt的数据来生成差分波形。即，第1三维物体检测部33以摄像图像的拍摄周期(帧频)重复生成差分波形。
在此，本例的三维物体检测装置1的目的在于计算本车辆V1在车道变更时有可能接触的邻近车辆V2的移动距离。因此，在本例中，如图2所示，在本车辆V1的左右后方设定矩形状的检测区域A1、A2。此外，这样的检测区域A1、A2可以根据相对于本车辆V1的相对位置进行设定，也可以将白线的位置作为基准进行设定。在以白线的位置为基准进行设定的情况下，三维物体检测装置1例如利用已有的白线识别技术等即可。
另外，在本例中，如图2所示那样设定的检测区域A1、A2的在本车辆V1侧的边(沿着行驶方向的边)被识别为触地线L1、L2。通常，触地线是指三维物体接触地面的线，但是在本实施方式中不是接触地面的线而是如上述那样进行设定。此外，在这种情况下，从经验上看本实施方式所涉及的触地线与本来基于邻近车辆V2的位置求出的触地线之差也不会过大，从而在实际使用上没有问题。
图5是表示第1三维物体检测部33生成差分波形的情形的概要图。如图5所示，第1三维物体检测部33根据由对位部32计算出的差分图像PDt(图4的(b)的右图)中的相当于检测区域A1、A2的部分来生成差分波形DWt。此时，第1三维物体检测部33沿着通过视点变换而三维物体倾倒的方向生成差分波形DWt。此外，在图5所示的例子中，为了方便仅使用检测区域A1进行说明，但是关于检测区域A2，也以相同的过程生成差分波形DWt。
具体地说，首先第1三维物体检测部33在差分图像PDt的数据上定义三维物体倾倒的方向上的线La。然后，第1三维物体检测部33对线La上示出规定的差分的差分像素DP的个数进行计数。在本实施方式中，关于示出规定的差分的差分像素DP，用“0”、“1”表现差分图像PDt的像素值，表示“1”的像素作为差分像素DP被计数。
第1三维物体检测部33在对差分像素DP的个数进行计数之后，求出线La与触地线L1的交点CP。然后，第1三维物体检测部33将交点CP与计数数进行对应，基于交点CP的位置来决定横轴位置、即在图5的右图的上下方向轴上的位置，并且根据计数数决定纵轴位置、即图5的右图的左右方向轴上的位置，绘制出交点CP处的计数数。
以下同样地，第1三维物体检测部33对三维物体倾倒的方向上的线Lb、Lc···进行定义，来对差分像素DP的个数进行计数，基于各交点CP的位置决定横轴位置、根据计数数(差分像素DP的个数)决定纵轴位置来进行绘制。第1三维物体检测部33依次重复上述内容并进行频数分布化来如图5右图所示那样生成差分波形DWt。
在此，差分图像PDt的数据上的差分像素PD是在不同时刻的图像中存在变化的像素，换言之，可以说是存在三维物体的部分。因此，在存在三维物体的部分，沿着三维物体倾倒的方向对像素数进行计数并进行频数分布化，由此生成差分波形DWt。特别地，由于沿着三维物体倾倒的方向对像素数进行计数，因此根据针对三维物体来说在高度方向上的信息来生成差分波形DWt。
此外，如图5左图所示，三维物体倾倒的方向上的线La和线Lb与检测区域A1相重叠的距离不同。因此，当假设检测区域A1被差分像素DP填满时，线La上的差分像素DP的个数多于线Lb上的差分像素DP的个数。因此，第1三维物体检测部33在根据差分像素DP的计数数决定纵轴位置的情况下，基于三维物体倾倒的方向上的线La、Lb与检测区域A1相重叠的距离来进行标准化。当列举具体例时，在图5左图中，在线La上有6个差分像素DP，在线Lb上有5个差分像素DP。因此，在图5中根据计数数决定纵轴位置时，第1三维物体检测部33将计数数除以重叠距离等来进行标准化。由此，如差分波形DWt所示那样，与三维物体倾倒的方向上的线La、Lb对应的差分波形DWt的值大致相同。
在生成差分波形DWt之后，第1三维物体检测部33基于所生成的差分波形DWt来进行存在于邻近车道的三维物体的检测。在此，图6是用于说明第1三维物体检测部33检测三维物体的方法的图，示出了差分波形DWt和用于检测三维物体的阈值α的一例。第1三维物体检测部33如图6所示那样判断所生成的差分波形DWt的峰值是否为与该差分波形DWt的峰位置对应的规定的阈值α以上，由此在判断检测区域A1、A2中是否存在三维物体。然后，在差分波形DWt的峰值小于规定的阈值α的情况下，第1三维物体检测部33判断为检测区域A1、A2中不存在三维物体，另一方面，在差分波形DWt的峰值为规定的阈值α以上的情况下，第1三维物体检测部33判断为检测区域A1、A2中存在三维物体。
在检测出三维物体之后，第1三维物体检测部33通过当前时刻的差分波形DWt与前一时刻的差分波形DWt-1的对比来计算由第1三维物体检测部33检测出的三维物体的相对移动速度。即，第1三维物体检测部33根据差分波形DWt、DWt-1的时间变化来计算三维物体相对于本车辆V1的相对移动速度。
详细地说，第1三维物体检测部33如图7所示那样将差分波形DWt分割成多个小区域DWt1～DWtn(n为2以上的任意整数)。图7是表示由第1三维物体检测部33分割出的小区域DWt1～DWtn的图。小区域DWt1～DWtn例如图7所示那样以相互重叠的方式进行分割。例如小区域DWt1与小区域DWt2重叠，小区域DWt2与小区域DWt3重叠。
接着，第1三维物体检测部33按各小区域DWt1～DWtn求出偏移量(差分波形的横轴方向(图7的上下方向)的移动量)。在此，根据前一时刻的差分波形DWt-1与当前时刻的差分波形DWt之差(横轴方向的距离)求出偏移量。此时，第1三维物体检测部33按各小区域DWt1～DWtn，在使前一时刻的差分波形DWt-1沿横轴方向移动时，判断出与当前时刻的差分波形DWt的误差最小的位置(横轴方向的位置)，求出差分波形DWt-1的原来的位置与误差最小的位置的在横轴方向上的移动量来作为偏移量。然后，第1三维物体检测部33对按各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。
图8是表示由第1三维物体检测部33获得的直方图的一例的图。如图8所示，各小区域DWt1～DWtn与前一时刻的差分波形DWt-1的误差最小的移动量即偏移量稍微产生偏差。因此，第1三维物体检测部33将包含偏差的偏移量制作成直方图，根据直方图计算移动距离。此时，第1三维物体检测部33根据直方图的极大值计算三维物体(邻近车辆V2)的移动距离。即，在图8所示的例子中，第1三维物体检测部33将表示直方图的极大值的偏移量计算为移动距离τ*。这样，在本实施方式中，即使偏移量产生偏差，也能够根据其极大值来计算准确性更高的移动距离。此外，移动距离τ*是三维物体(邻近车辆V2)相对于本车辆的相对移动距离。因此，第1三维物体检测部33在计算绝对移动距离的情况下，基于所获得的移动距离τ*和来自车速传感器20的信号来计算绝对移动距离。
这样，在本实施方式中，根据在不同时刻生成的差分波形DWt的误差最小时的差分波形DWt的偏移量计算三维物体(邻近车辆V2)的移动距离，由此根据波形这样的一维的信息的偏移量计算移动距离，从而能够在计算移动距离时抑制计算成本。另外，通过将不同时刻生成的差分波形DWt分割成多个小区域DWt1～DWtn，能够获得多个表示三维物体的各个部分的波形，由此能够针对三维物体的各个部分求出偏移量，从而能够根据多个偏移量求出移动距离，因此能够提高移动距离的计算精度。另外，在本实施方式中，根据包含高度方向的信息的差分波形DWt的时间变化来计算三维物体的移动距离，由此与仅关注于1个点的移动的情况相比，时间变化前的检测部分和时间变化后的检测部分由于包含高度方向的信息进行确定，因此容易得到三维物体中相同的部分，根据相同部分的时间变化来计算移动距离，从而能够提高移动距离的计算精度。
此外，在制作成直方图时，第1三维物体检测部33也可以针对多个小区域DWt1～DWtn中的每一个进行加权，与权重相应地对按各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。图9是表示第1三维物体检测部33的加权的图。
如图9所示，小区域DWm(m为1以上、n-1以下的整数)是平坦的。即，小区域DWm的示出规定的差分的像素数的计数的最大值与最小值之差小。第1三维物体检测部33针对这样的小区域DWm将权重减小。这是因为关于平坦的小区域DWm没有特征，从而在计算偏移量时误差变大的可能性高。
另一方面，小区域DWm+k(k为n-m以下的整数)有大量的起伏。即，小区域DWm的示出规定的差分的像素数的计数的最大值与最小值之差大。第1三维物体检测部33针对这样的小区域DWm将权重增大。这是因为关于有很多起伏的小区域DWm+k具有特征，从而能够正确地进行偏移量的计算的可能性高。通过像这样进行加权，能够提高移动距离的计算精度。
此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形DWt分割成了多个小区域DWt1～DWtn，但是在移动距离的计算精度要求不那么高的情况下，也可以不分割成小区域DWt1～DWtn。在这种情况下，第1三维物体检测部33根据差分波形DWt与差分波形DWt-1的误差变为最小时的差分波形DWt的偏移量来计算移动距离。即，求出前一时刻的差分波形DWt-1与当前时刻的差分波形DWt的偏移量的方法不限定于上述内容。
此外，在本实施方式中，第1三维物体检测部33求出本车辆V1(摄像机10)的移动速度，根据求出的移动速度求出关于静止物体的偏移量。在求出静止物体的偏移量之后，第1三维物体检测部33忽略直方图的极大值中的相当于静止物体的偏移量之后计算三维物体的移动距离。
图10是表示由第1三维物体检测部33获得的直方图的另一例的图。在摄像机10的视角内除了三维物体以外还存在静止物体的情况下，在所获得的直方图中出现两个极大值τ1、τ2。在这种情况下，两个极大值τ1、τ2中的某一方是静止物体的偏移量。因此，第1三维物体检测部33根据移动速度求出关于静止物体的偏移量，忽略相当于该偏移量的极大值，采用剩下的一方的极大值计算三维物体的移动距离。由此，能够防止因静止物而导致三维物体的移动距离的计算精度降低的情形。
此外，在即使忽略相当于静止物体的偏移量也存在多个极大值的情况下，设想在摄像机10的视角内存在多个三维物体。但是，在检测区域A1、A2内存在多个三维物体的情形是非常少见的。因此，第1三维物体检测部33中止移动距离的计算。由此，在本实施方式中，能够防止计算出如存在多个极大值那样的错误的移动距离的情形。
然后，第1三维物体检测部33基于三维物体的移动速度来判断存在于邻近车辆的三维物体是否为邻近车辆V2。例如，第1三维物体检测部33判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V1的相对移动速度是否为+60km/h以下，在满足双方的情况下，判断为存在于邻近车道的三维物体是邻近车辆V2，检测出邻近车辆V2。
此外，设为第1三维物体检测部33通过判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V1的相对移动速度是否为+60km/h以下来检测存在于邻近车道的邻近车辆V2的结构是基于以下的理由。即，在本实施方式中将本车辆V1的左右后方设为检测区域A1、A2，重点在于在本车辆V1进行车道变更的情况下是否有接触的可能性，因此，当以使本实施方式的系统在高速道路上工作的情形为前提时，在邻近车辆V2的速度小于10km/h的情况下，即使存在邻近车辆V2，在进行车道变更时由于位于距本车辆V1很远的后方，因此即使不将这样的三维物体检测为邻近车辆V2也很少会成为问题。同样地，在邻近车辆V2相对于本车辆V1的相对移动速度超过+60km/h的情况下(即，邻近车辆V2以比本车辆V1的速度大60km/h的速度移动的情况下)，在进行车道变更时，由于在本车辆V1的前方移动，因此即使不将这样的三维物体检测为邻近车辆V2也很少会成为问题。
另外，根据摄像机10的安装误差，有可能存在将静止物体的绝对移动速度检测出是数km/h的情况，但是通过判断邻近车辆V2的绝对移动速度是否为10km/h以上，能够减少将静止物体判断为是邻近车辆V2的可能性。并且，有可能由于噪声而导致将邻近车辆V2相对于本车辆V的相对速度检测为超过+60km/h的速度，因此，通过判断相对速度是否为+60km/h以下，能够减少因噪声引起的错误检测的可能性。此外也可以是，在邻近车辆V2的绝对移动速度不为负、不为0km/h的情况下，第1三维物体检测部33将存在于邻近车道的三维物体判断为邻近车辆V2。
返回图3，车头灯检测部34基于由摄像机10拍摄得到的摄像图像，来检测存在于本车辆V1的后方的、作为邻近车辆V2的车头灯的候选的光源。具体地说，车头灯检测部34检测与周边的明亮度之差为规定值以上且为规定面积以上的大小的图像区域，来作为与邻近车辆V2的车头灯对应的候选区域，由此检测作为邻近车辆V2的车头灯的候选的光源。
第2三维物体检测部35判断由车头灯检测部34检测出的光源是否与邻近车辆V2的车头灯对应。具体地说，第2三维物体检测部35首先计算由车头灯检测部34检测出的光源与邻近车辆V2的车头灯对应的确定性，来作为确信度。
例如，与行驶于与本车辆V1的行驶车道邻近的邻近车道的邻近车辆V2的车头灯相比，行驶于本车辆V1的行驶车辆的隔一车道的下一邻近车道的下一邻近车辆的车头灯、设置于路外的街灯等光源被检测为在远离本车辆V1的位置。因此，沿车宽方向从本车辆V1至光源的距离越短，则第2三维物体检测部35能够将由车头灯检测部34检测出的光源是邻近车辆V2的车头灯的确信度计算得越高。另外，由车头灯检测部34检测出的光源的大小越大，则能够判断为光源存在于距本车辆V1越近的位置处，因此由车头灯检测部34检测出的光源的大小越大，则第2三维物体检测部35能够将由车头灯检测部34检测出的光源是邻近车辆V2的车头灯的确信度计算得越高。并且，街灯等光源是静止物并不移动，与此相对，邻近车辆V2是移动的，因此邻近车辆V2的车头灯的移动速度比街灯等静止物的光源的移动速度快。另外，与邻近车辆V2的车头灯相比，下一邻近车辆的车头灯被检测为在距本车辆V1较远的位置处，因此与下一邻近车辆的车头灯的移动速度相比，邻近车辆V2的车头灯的移动速度倾向于更快。因此，第2三维物体检测部35基于由车头灯检测部34检测出的光源的位置的变化来计算光源的移动速度，光源的移动速度越快，则能够将该光源是邻近车辆V2的车头灯的确信度计算得越高。
然后，在由车头灯检测部34检测出的光源是邻近车辆V2的车头灯的确信度为规定值以上的情况下，第2三维物体检测部35判断为在邻近车道存在邻近车辆V2，检测出邻近车辆V2。
白浊度计算部36计算水垢等异物附着在摄像机10的镜头上而镜头白浊(在镜头表面上形成有白色的薄膜)的程度，来作为镜头的白浊度。下面，说明白浊度计算部36计算镜头的白浊度的方法。
首先，白浊度计算部36检测由第1三维物体检测部33生成的差分波形DWt的超过规定的判断阈值的峰的数量。例如，在图6所示的例子中，在判断阈值是与阈值α相同的值的情况下，白浊度计算部36将超过规定的判断阈值的差分波形DWt的峰的数量检测为“3”。此外，在本实施方式中，以规定的周期(例如，摄像图像的拍摄周期)生成差分波形DWt，白浊度计算部36在每次差分波形DWt生成时检测所生成的差分波形DWt的超过规定的判断阈值的峰的数量。即，白浊度计算部36以差分波形DWt生成的周期(摄像图像的拍摄周期)检测超过规定的判断阈值的峰的数量。此外，上述判断阈值不限定于与阈值α相同的值，能够预先通过实验等适当地设定。
然后，白浊度计算部36基于超过规定的判断阈值的差分波形DWt的峰的数量，来计算与该差分波形DWt相应的帧得分。具体地说，在差分波形DWt的峰的数量为3以上、且能够判断为检测出三维物体(邻近车辆V2)的程度越高，则白浊度计算部36将帧得分计算得越高。例如，在下述的表1所示的例子中，白浊度计算部36在规定的帧中生成的差分波形DWt的峰的数量为0个～2个的情况下，判断为未检测出邻近车辆V2，将得分计算为0分，在3个～4个的情况下，判断为存在检测出邻近车辆V2的可能性，将得分计算为1分。并且，在差分波形DWt的峰的数量为5个～6个的情况下，判断为检测出邻近车辆V2的可能性高，将得分计算为2分，在7个以上的情况下，判断为检测出邻近车辆V2的可能性更高，将得分计算为3分。然后，将由白浊度计算部36计算出的帧得分与进行计算的时刻相关联地存储到计算机30所具备的存储器(未图示)。
[表1]
差分波形的峰的数量 0个～2个 3个～4个 5个～6个 7个以上
帧得分 0分 1分 2分 3分
接着，白浊度计算部36将与在规定时间内生成的差分波形DW对应的帧得分合计，计算帧得分的合计值。例如，在如图11所示那样以0.1秒周期生成差分波形DWt的情况下，白浊度计算部36能够从存储器获取在2.5秒内生成的25帧的帧得分，计算该25帧的帧得分的合计分。此外，图11是用于说明镜头白浊度的计算方法的图，在各时刻t1、时刻t2、时刻t3…计算出与各差分波形DWt相应的帧得分。
然后，白浊度计算部36基于在规定时间内计算出的帧得分的合计分来计算表示镜头白浊的程度的检测得分。具体地说，白浊度计算部36以如下方式计算检测得分：镜头白浊的程度越高，则使检测得分越高。例如，在下述的表2所示的例子中，在帧得分的合计分为0分的情况下，能够判断为未检测出三维物体(邻近车辆V2)，因此白浊度计算部36判断为水垢等异物附着在镜头上而镜头处于白浊状态的可能性高，将检测得分计算为“+5”。另外，相反，在帧得分的合计分为10以上的情况下，能够判断为检测出邻近车辆V2的可能性高，因此白浊度计算部36判断为镜头未处于白浊状态的可能性高，将检测得分计算为“-3”。
[表2]
帧得分的合计分 0分 1分～2分 3分～5分 6分～9分 10分以上
检测得分 +5 +3 +1 -1 -3
此外，如上述的表1、2所示，白浊度计算部36对帧得分和检测得分设置上限。即，如表1所示，在规定的判断阈值以上的差分波形的峰的数量为7个以上的情况下，白浊度计算部36将帧得分一律计算为“3”，另外，如表2所示，在帧得分的合计分为10以上的情况下，白浊度计算部36将检测得分一律计算为“-3”。由此，例如能够有效防止以下情形：在邻近车辆V2是车身长的卡车等而易于检测出较多差分波形的峰的数量(例如即使在镜头处于白浊状态的情况下也检测出7个以上的差分波形的峰)的情况下，尽管镜头实际上处于白浊状态，但是将检测得分检测得低，而判断为镜头未处于白浊状态。
并且，白浊度计算部36以差分波形DWt生成的周期(例如，摄像图像的拍摄周期)重复计算检测得分。例如，在图11所示的例子中，白浊度计算部36首先在时刻t25计算时刻t1至时刻t25的25帧的检测得分DS1，之后，在时刻t26，计算时刻t2至时刻t26的25帧的检测得分DS2。同样地，每次将对应的帧得分错开一个周期，来计算检测得分DS3、DS4、…。
并且，白浊度计算部36对计算出的检测得分进行累计，计算检测得分的累计值来作为镜头的白浊度。在此，图12是表示镜头的白浊度的一例的图，图12的上图表示邻近车辆V2的车头灯的检测定时，图12的下图表示镜头白浊度的时间推移的一例。在本实施方式中，如图12所示，在由车头灯检测部34检测出邻近车辆V2的车头灯的情况下，白浊度计算部36开始上述的检测得分的计算，在检测出邻近车辆V2的车头灯的期间，白浊度计算部36重复进行检测得分的计算，计算检测得分的累计值来作为镜头的白浊度。此外，在图12所示的例子中，考虑检测出邻近车辆V2的车头灯之后的规定时间(例如检测出车头灯之后的2秒)的帧得分来计算检测得分，因此从检测出邻近车辆V2的车头灯的时刻tx稍后的时刻tx+1起开始计算镜头的白浊度。
即，白浊度计算部36在邻近车辆V2的车头灯被检测出而开始检测得分的计算的情况下，以检测出邻近车辆V2的车头灯的时刻为基准时刻，基于在从比该基准时刻向前微小时间的时刻起至比基准时刻向后规定时间的时刻为止的时间内计算出的帧得分的合计值来计算检测得分，由此开始镜头白浊度的计算。例如，在图11所示的例子中，以0.1秒周期进行帧得分的计算，在时刻t5检测出邻近车辆V2的车头灯。在这种情况下，白浊度计算部36以检测出邻近车辆V2的车头灯的时刻t5为基准时刻，基于在从比该基准时刻t5向前0.5秒(微小时间前)的时刻t1起至比该基准时刻t5向后2秒的时刻t25为止的这2.5秒内计算出的25帧的帧得分的合计分来计算检测得分。然后，在检测出邻近车辆V2的车头灯之后，在正在检测邻近车辆V2的车头灯的期间，白浊度计算部36一边使基准时刻从检测出邻近车辆V2的车头灯的时刻t5起每次错开一个周期地变为时刻t6、t7…，一边基于从比该基准时刻向前0.5秒的时刻起至比该基准时刻向后2秒的时刻为止的这2.5秒内计算出的25帧的帧得分的合计分，重复计算检测得分。
另外，如图12所示，在检测出邻近车辆V2的车头灯之后，白浊度计算部36在邻近车辆V2的车头灯变为未检测出的时刻tx+2停止白浊度的计算，在再次检测出邻近车辆V2的车头灯之前，将白浊度保持为该值。之后，当检测出第二辆邻近车辆V2的车头灯时(时刻tx+3)，重新开始镜头的白浊度的计算，在邻近车辆V2的车头灯再次变为未检测出的时刻tx+4之前，重复计算镜头的白浊度。
此外，在本实施方式中，如图12所示，能够对镜头的白浊度的值设置下限值S0和上限值S2。例如，在上述的表1、表2所示的例子中，能够将下限值S0设为0，将上限值S2设为100。通过像这样对镜头的白浊度设置下限值S0，例如，即使在由于容易检测出多的差分波形的峰的卡车等邻近车辆V2存在于探测区域内A1、A2内因而尽管镜头实际上处于白浊状态但检测得分被计算为低的值从而镜头的白浊度(即检测得分的累计值)以低的值推移的情况下，当卡车等邻近车辆V2离开探测区域A1、A2而所计算的检测得分变化为高的值时，在比较短的时间内镜头的白浊度(即检测得分的累计值)就会成为高的值，因此能够适当地判断出镜头处于白浊状态。另外同样地，通过对镜头的白浊度设置上限值S2，即使在尽管镜头实际上未处于白浊状态但由于周围不存在邻近车辆V2因而镜头的白浊度以高的值推移的情况下，当检测出邻近车辆V2时，在比较短的时间内镜头的白浊度就会成为低的值，因此能够适当地判断出镜头未处于白浊状态。
返回图3，三维物体判断部37基于由第1三维物体检测部33检测出的邻近车辆V2的检测结果以及由第2三维物体检测部35检测出的邻近车辆V2的检测结果来判断是否存在邻近车辆V2。
具体地说，在由第1三维物体检测部33检测出邻近车辆V2的情况下，三维物体判断部37将第1三维物体检测部33的检测结果计算为“1”，在第1三维物体检测部33未检测出邻近车辆V2的情况下，三维物体判断部37将第1三维物体检测部33的检测结果计算为“0”。同样地，在由第2三维物体检测部35检测出邻近车辆V2的情况下，三维物体判断部37将第2三维物体检测部35的检测结果计算为“1”，在第2三维物体检测部35未检测出邻近车辆V2的情况下，三维物体判断部37将第2三维物体检测部35的检测结果计算为“0”。
然后，如下述式1所示，三维物体判断部37基于由白浊度计算部36计算出的镜头的白浊度对第1三维物体检测部33的检测结果(第一检测结果)和第2三维物体检测部35的检测结果(第二检测结果)进行加权，判断加权后的第1三维物体检测部33的检测结果(第一检测结果)与第2三维物体检测部35的检测结果(第二检测结果)的合计值是否为规定的车辆判断阈值sc以上。
[式1]
第一检测结果×Wc1+第二检测结果×Wc2≥车辆判断阈值sc
此外，Wc1是针对第1三维物体检测部33的检测结果(第一检测结果)的权重，Wc2是针对第2三维物体检测部35的检测结果(第二检测结果)的权重。
在此，在镜头的白浊度高的情况下，由于附着于镜头的水垢等异物，来自被摄体的光束的一部分被遮挡或者进行漫反射，从而无法适当地拍摄邻近车辆V2的像，其结果，无法适当地生成因邻近车辆V2引起的差分波形DWt。因此，在镜头处于白浊状态的情况下，基于差分波形DWt的第1三维物体检测部的检测结果的检测精度倾向于变低。与此相对，即使在镜头处于白浊状态的情况下，亮度高的邻近车辆V2的车头灯的像也不容易受到其影响，能够以比较高的精度获得基于车头灯的第2三维物体检测部33的检测结果。因此，镜头的白浊度越高，则三维物体判断部37越相对减小第1三维物体检测部33的检测结果的权重Wc1、并且越相对增大第2三维物体检测部35的检测结果的权重Wc2。另外，在镜头上未附着水垢等异物而镜头未处于白浊状态的情况下，倾向于检测邻近车辆V2的车身来作为差分波形的第1三维物体检测部33的检测结果的检测精度比第2三维物体检测部35的检测结果的检测精度高。因此，镜头的白浊度越低，则三维物体判断部37越相对增大第1三维物体检测部33的检测结果的权重Wc1、并且越相对减小第2三维物体检测部35的检测结果的权重Wc2。
例如，在图12所示的例子中，在将下限值S0设为0、将上限值S2设为100的情况下，三维物体判断部37能够在镜头的白浊度超过规定的值S1(例如50)的情况下，判断为镜头处于白浊状态，另一方面，在镜头的白浊度未超过规定的值S1(例如50)的情况下，判断为镜头未处于白浊状态。在这种情况下，三维物体判断部37能够在镜头的白浊度超过规定的值S1(例如50)的情况下判断为镜头处于白浊状态，镜头的白浊度越高，则越减小第1三维物体检测部33的检测结果的权重Wc1、并且越增大第2三维物体检测部35的检测结果的权重Wc2。另一方面，三维物体判断部37能够在镜头的白浊度未超过规定的值S1(例如50)的情况下判断为镜头未处于白浊状态，镜头的白浊度越低，则越增大第1三维物体检测部33的检测结果的权重Wc1、并且越减小第2三维物体检测部35的检测结果的权重Wc2。
然后，在基于上述式1的判断的结果是第1三维物体检测部33的检测结果(第一检测结果)与第2三维物体检测部35的检测结果(第二检测结果)的合计值为规定的车辆判断阈值sc以上的情况下，三维物体判断部37判断为存在邻近车辆V2，另一方面，在第1三维物体检测部33的检测结果(第一检测结果)与第2三维物体检测部35的检测结果(第二检测结果)的合计值小于规定的车辆判断阈值sc的情况下，三维物体判断部37判断为不存在邻近车辆V2。
接着，参照图13和图14来说明本实施方式所涉及的邻近车辆检测处理。图13和图14是表示第1实施方式的邻近车辆检测处理的流程图。在本实施方式中，该邻近车辆检测处理是与后述的白浊度计算处理并行地执行的。另外，本实施方式的邻近车辆检测处理以规定的周期(例如，0.1秒周期)重复进行。此外，下面为了方便，说明以检测区域A1为对象的处理，但是关于检测区域A2，也执行相同的处理。
如图13所示，首先，由计算机30从摄像机10获取摄像图像的数据(步骤S101)，由视点变换部31基于所获取的摄像图像的数据来生成鸟瞰视点图像PBt的数据(步骤S102)。
接着，对位部32将鸟瞰视点图像PBt的数据和前一时刻的鸟瞰视点图像PBt-1的数据进行对位，生成差分图像PDt的数据(步骤S103)。具体地说，对位部32将鸟瞰视点图像PBt、PBt-1的像素值之差绝对值化，在该绝对值为规定的差分阈值th以上时，将差分图像PDt的像素值设为“1”，在绝对值小于规定的差分阈值th时，将差分图像PDt的像素值设为“0”。之后，第1三维物体检测部33从差分图像PDt的数据对像素值为“1”的差分像素DP的个数进行计数，生成差分波形DWt(步骤S104)。
在步骤S105中，由第1三维物体检测部33判断在步骤S104中生成的差分波形DWt的峰值是否为规定的阈值α以上。在差分波形DWt的峰值不是阈值α以上的情况下、即几乎没有差分的情况下，认为在摄像图像内不存在三维物体。因此，在判断为差分波形DWt的峰值不是阈值α以上的情况下(步骤S105＝“否”)，进入图14所示的步骤S118，第1三维物体检测部33判断为不存在三维物体而不存在邻近车辆V2。然后，返回到步骤S101，重复图13和图14所示的处理。
另一方面，在判断为差分波形DWt的峰值为阈值α以上的情况下(步骤S105＝“是”)，由第1三维物体检测部33判断为在邻近车道存在三维物体，进入步骤S106，由第1三维物体检测部33将差分波形DWt分割成多个小区域DWt1～DWtn(步骤S106)，针对分割出的各小区域DWt1～DWtn进行加权(步骤S107)。然后，计算各小区域DWt1～DWtn的偏移量，考虑权重来生成直方图(步骤S108)。
然后，第1三维物体检测部33基于直方图来计算三维物体相对于本车辆V1的移动距离、即相对移动距离(步骤S109)。接着，第1三维物体检测部33根据相对移动距离来计算三维物体的绝对移动速度(步骤S110)。此时，第1三维物体检测部33对相对移动距离进行时间微分来计算相对移动速度，并且加上由车速传感器20检测出的本车车速来计算绝对移动速度。
接着，在步骤S111中，由第1三维物体检测部33进行邻近车辆V2的检测。具体地说，第1三维物体检测部33判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V1的相对移动速度是否为+60km/h以下，由此判断存在于邻近车道的三维物体是否为邻近车辆V2。然后，在满足双方的情况下，第1三维物体检测部33判断为存在于邻近车道的三维物体是邻近车辆V2，检测出存在于邻近车道的邻近车辆V2。另一方面，在有任一方不满足的情况下，判断为存在于邻近车道的三维物体不是邻近车辆V2，未检测出邻近车辆V2。
在步骤S112中，由车头灯检测部34进行作为邻近车辆V2的车头灯的候选的光源的检测。具体地说，车头灯检测部34基于由摄像机10拍摄得到的摄像图像，将与周边的明亮度之差为规定值以上且规定面积以上的大小的图像区域检测为邻近车辆V2的车头灯的候选区域，由此检测作为邻近车辆V2的车头灯的候选的光源。
在步骤S113中，由第2三维物体检测部基于在步骤S112中检测出的作为邻近车辆V2的车头灯的候选的光源来进行邻近车辆V2的检测。具体地说，第2三维物体检测部35计算在步骤S112中检测出的光源是邻近车辆V2的车头灯的确信度，在计算出的确信度为规定值以上的情况下，判断为存在于邻近车道的三维物体是邻近车辆V2，检测出存在于邻近车道的邻近车辆V2。此外，在步骤S112中未检测出作为邻近车辆V2的车头灯的候选的光源的情况下，或者在步骤S112中检测出的光源是邻近车辆V2的车头灯的确信度低于规定值的情况下，判断为存在于邻近车道的三维物体不是邻近车辆V2，未检测出邻近车辆V2。
在步骤S114中，由三维物体判断部37获取通过后述的白浊度计算处理而计算出的镜头白浊度。然后，在步骤S115中，由三维物体判断部37基于在步骤S114中获取到的镜头白浊度对在步骤S111中获得的第1三维物体检测部33的检测结果以及在步骤S113中获得的第2三维物体检测部35的检测结果进行加权。具体地说，如上述式1所示，镜头白浊度越高，则三维物体判断部37越减小第1三维物体检测部33的检测结果的权重Wc1、并且越增大第2三维物体检测部35的检测结果的权重Wc2。
然后，在步骤S116中，由三维物体判断部37如上述式1所示那样判断在步骤S115中加权后的检测结果的合计值是否超过规定的车辆判断阈值sc。在加权后的第1三维物体检测部33的检测结果与第2三维物体检测部35的检测结果的合计值超过规定的车辆判断阈值sc的情况下，进入步骤S117，判断为存在邻近车辆V2。另一方面，在未超过规定的车辆判断阈值的情况下，进入步骤S118，判断为不存在邻近车辆V2。
此外，在本实施方式中重点在于本车辆V1在进行车道变更的情况下是否有接触的可能性，因此在步骤S117中检测出邻近车辆V2的情况下，也可以向本车辆的驾驶员发出警告音，或者通过规定的显示装置进行相当于警告的显示。
接着，参照图15来说明本实施方式所涉及的白浊度计算处理。图15是表示第1实施方式所涉及的白浊度计算处理的流程图。此外，以下说明的白浊度计算处理是以规定的周期(例如，0.1秒周期)执行的。另外，以下说明的白浊度计算处理是与上述的邻近车辆检测处理并行地进行的，在上述的邻近车辆检测处理中，在检测邻近车辆V2时使用在该白浊度计算处理中计算出的镜头的白浊度。
首先，在步骤S201中，由白浊度计算部36关于在上述的邻近车辆检测处理中生成的差分波形DWt，进行超过规定的判断阈值的峰的数量的检测。例如，在图6所示的例子中，在将规定的判断阈值设为与阈值α相同的值的情况下，白浊度计算部36将超过规定的判断阈值的差分波形DWt的峰的数量检测为“3”。
然后，在步骤S202中，由白浊度计算部36如上述的表1所示那样基于在步骤S201中检测出的差分波形DWt的峰的数量来计算帧得分。例如，在步骤S201中，在超过规定的判断阈值的峰的数量被检测为“3”的情况下，白浊度计算部36按照上述的表1将帧得分计算为“1”。然后，白浊度计算部36将计算出的帧得分存储到存储部30所具备的存储器。
在步骤S203中，由白浊度计算部36判断是否检测出邻近车辆V2的车头灯。在此，在本实施方式中，由车头灯检测部34重复进行作为邻近车辆V2的车头灯的候选的光源的检测，在车头灯检测部34的检测的结果是检测出作为邻近车辆V2的车头灯的候选的光源的情况下，白浊度计算部36认为检测出邻近车辆V2的车头灯，进入步骤S204。另一方面，在车头灯检测部34未检测出作为邻近车辆V2的车头灯的候选的光源的情况下，认为未检测出邻近车辆V2的车头灯，返回步骤S201，重复帧得分的计算。
在步骤S204中，由白浊度计算部36进行在规定时间内计算出的帧得分的合计分的计算。在此，在步骤S202中计算出帧得分被存储在计算机30所具备的存储器中，因此白浊度计算部36能够抽出存储器中存储的帧得分中的在规定时间内计算出的帧得分，来计算帧得分的合计分。例如，如图11所示，白浊度计算部36在邻近车辆V2的车头灯被检测出而开始计算镜头的白浊度时，以检测出邻近车辆V2的车头灯的时刻t5为基准时刻，例如计算从比该基准时刻t5向前0.5秒(微小时间前)的时刻t0起至比该基准时刻t5向后2秒的时刻t25为止这2.5秒内的25帧的帧得分的合计分。另外，在开始计算镜头的白浊度之后，如图11所示，一边使基准时刻每次错开一个周期，一边计算从比基准时刻向前0.5秒(微小时间前)的时刻起至比基准时刻向后2秒为止这2.5秒内的25帧的帧得分的合计分。
在步骤S205中，由白浊度计算部36基于在步骤S204中计算出的帧得分的合计分来如上述的表2那样计算检测得分。例如，在上述的表2所示的例子中，在帧得分的合计分是5分的情况下，将检测得分计算为“+1”。
在步骤S206中，由白浊度计算部36如图12所示那样对在步骤S205中计算出的检测得分进行累计，计算检测得分的累计值来作为镜头的白浊度。在后述的邻近车辆检测处理中使用所计算出的镜头的白浊度。
另外，在水垢等异物附着在镜头上而镜头处于白浊状态的情况下，难以基于差分波形DWt来检测相对于本车辆V1的邻近车辆V2，鉴于这一点，本实施方式检测邻近车辆V2的车头灯，基于邻近车辆V2的车头灯来检测邻近车辆V2。因此，能够设为在邻近车辆V2打开车头灯的条件下，例如仅在夜间进行图13和图14所示的白浊度计算处理的结构。由此，在白天能够减轻检测邻近车辆V2时的运算负荷。此外，白浊度计算部36例如能够在由摄像机10拍摄到的摄像图像整体的亮度为规定值以下的情况下判断为是夜间。另外，白浊度计算部36也能够基于照度计、时刻来判断是否为夜间。
如以上那样，在第1实施方式中，对根据鸟瞰视点图像的差分图像来生成差分波形并基于该差分波形来检测邻近车辆V2的第1三维物体检测部33的检测结果以及基于车头灯来检测邻近车辆V2的第2三维物体检测部35的检测结果进行与镜头的白浊度相应的加权，基于加权后的检测结果来判断是否存在邻近车辆V2。在此，如上所述，在镜头处于白浊状态的情况下倾向于，与基于差分波形来检测邻近车辆V2的第1三维物体检测部33的检测结果相比，基于车头灯来检测邻近车辆V2的第2三维物体检测部35的检测结果的可靠性高，相反地，在镜头未处于白浊状态的情况下倾向于，与基于车头灯来检测邻近车辆V2的第2三维物体检测部35的检测结果相比，基于差分波形来检测邻近车辆V2的第1三维物体检测部33的检测结果的可靠性高。因此，在本实施方式中，镜头的白浊度越高，则越减小第1三维物体检测部33的检测结果的权重、并且越增大第2三维物体检测部35的检测结果的权重，来判断是否存在邻近车辆V2，由此能够适当地检测邻近车辆V2。
另外，在第1实施方式中，在计算镜头的白浊度时，超过规定的判断阈值的差分波形的峰的数量越多，则判断为检测出三维物体(邻近车辆V2)的可能性越高，将帧得分计算得越高。而且，当在规定时间内计算出的帧得分的合计值越低时，判断为处于镜头越难以检测出三维物体(邻近车辆V2)的状态、即镜头白浊的状态，将检测得分计算得高，将检测得分的累计值计算为镜头的白浊度。这样，在本实施方式中，通过基于实际生成的差分波形来判断是否能够检测出三维物体(邻近车辆V2)，能够适当地计算镜头白浊的程度来作为镜头白浊度。特别是，在本实施方式中，在检测出邻近车辆V2的车头灯的情况下，能够判断为邻近车辆V2存在于邻近车道而能够检测出因邻近车辆V2引起的差分波形，因此，通过基于因邻近车辆V2引起的差分波形来判断是否存在邻近车辆V2，能够判断是否由于镜头处于白浊状态而无法检测邻近车辆V2，由此，能够适当地计算镜头的白浊度。
并且，在本实施方式中，在检测出邻近车辆V2的车头灯而开始计算镜头的白浊度时，如图11所示，以检测出邻近车辆V2的车头灯的时刻为基准时刻，基于在该基准时刻后计算出的帧得分来计算检测得分镜头的白浊度。这是由于，通常情况下在邻近车辆V2的车头灯的后方检测到邻近车辆V2的车身，因此，能够在检测出邻近车辆V2的车头灯之后检测因邻近车辆V2引起的差分波形，从而能够将能够检测邻近车辆V2的程度计算为帧得分。另外，在本实施方式中，在检测出邻近车辆V2的车头灯而开始计算镜头的白浊度时，如图11所示，考虑在检测出邻近车辆V2的车头灯的时刻的微小时间前计算出的帧得分，来计算检测得分。这是由于也有时会在检测出邻近车辆V2的车头灯之前检测到邻近车辆V2的车身。
<第2实施方式>
接着，说明第2实施方式所涉及的三维物体检测装置1a。如图16所示，第2实施方式所涉及的三维物体检测装置1a具备计算机30a以代替第1实施方式的计算机30，除了如以下说明的那样进行动作以外，其它与第1实施方式相同。在此，图16是表示第2实施方式所涉及的计算机30a的详细内容的框图。
如图16所示，第2实施方式所涉及的三维物体检测装置1a具备摄像机10和计算机30a，计算机30a由视点变换部31、亮度差计算部38、边缘线检测部39、第1三维物体检测部33a、车头灯检测部34、第2三维物体检测部35、白浊度计算部36a以及三维物体判断部37构成。下面，说明第2实施方式所涉及的三维物体检测装置1a的各结构。此外，视点变换部31、车头灯检测部34、第2三维物体检测部35以及三维物体判断部37与第1实施方式结构相同，因此省略其说明。
图16是表示图16的摄像机10的撮像范围等的图，图16的(a)是俯视图，图16的(b)表示本车辆V1后侧方的实际空间中的立体图。如图16的(a)所示，摄像机10被形成为规定的视角a，从本车辆V1拍摄包含在该规定的视角a中的后侧方。摄像机10的视角a与图2所示的情况同样地被设定成在摄像机10的摄像范围内，除了包含本车辆V1所行驶的车道以外还包含相邻的车道。
本例的检测区域A1、A2在俯视图(鸟瞰视点的状态)中呈梯形状，这些检测区域A1、A2的位置、大小以及形状基于距离d1～d4决定。此外，该图所示的例子的检测区域A1、A2不限于梯形状，也可以是如图2所示那样在鸟瞰视点的状态下为矩形等其它的形状。
在此，距离d1是从本车辆V1到触地线L1、L2的距离。触地线L1、L2是指存在于与本车辆V所行驶的车道相邻的车道的三维物体接触地面的线。在本实施方式中，目的是检测在本车辆V1的后侧方行驶于与本车辆V1的车道相邻的左右车道的邻近车辆V2等(包含二轮车等)。因此，能够事先根据本车辆V1至白线W的距离d11和从白线W至预测为邻近车辆V2所行驶的位置的距离d12，来大致固定地决定作为邻近车辆V2的触地线L1、L2的位置的距离d1。
另外，关于距离d1，不限于决定为固定的情况，也可以设为可变。在这种情况下，计算机30a通过白线识别等技术来识别白线W相对于本车辆V1的位置，根据识别出的白线W的位置来决定距离d11。由此，使用所决定的距离d11以可变的方式设定距离d1。在以下的本实施方式中，由于邻近车辆V2行驶的位置(距白线W的距离d12)和本车辆V1行驶的位置(距白线W的距离d11)大致固定，因此设为固定地决定距离d1。
距离d2是从本车辆V1的后端部沿车辆行进方向延伸的距离。以检测区域A1、A2至少收容在摄像机10的视角a内的方式决定该距离d2。特别地，在本实施方式中，距离d2被设定为与由视角a划分出的范围相连。距离d3是表示检测区域A1、A2的在车辆行进方向上的长度的距离。该距离d3基于作为检测对象的三维物体的大小来决定。在本实施方式中，由于检测对象是邻近车辆V2等，因此距离d3被设定为包含邻近车辆V2的长度。
距离d4是如图16的(b)所示那样表示被设定成在实际空间中包含邻近车辆V2等的轮胎的高度的距离。距离d4在鸟瞰视点图像中设为图16的(a)所示的长度。此外，距离d4也能够设为不包含鸟瞰视点图像中相比于左右的邻近车道的下一邻近车道(即，隔一车道的邻近车道)的长度。这是因为如果包含与本车辆V1的车道隔一车道的邻近车道，则无法区分是在作为本车辆V1所行使的车道的本车道的左右邻近车道内存在邻近车辆V2、还是在隔一车道的邻近车道内存在另一邻近车辆。
如以上那样决定距离d1～距离d4，由此决定检测区域A1、A2的位置、大小以及形状。具体地说，根据距离d1，决定形成梯形的检测区域A1、A2的上边b1的位置。根据距离d2，决定上边b1的起点位置C1。根据距离d3，决定上边b1的终点位置C2。根据从摄像机10向起点位置C1延伸的直线L3，决定形成梯形的检测区域A1、A2的侧边b2。同样地，根据从摄像机10向终点位置C2延伸的直线L4，决定形成梯形的检测区域A1、A2的侧边b3。根据距离d4，决定形成梯形的检测区域A1、A2的下边b4的位置。这样，由各边b1～b4包围的区域设为检测区域A1、A2。该检测区域A1、A2如图16的(b)所示那样在本车辆V1后侧方的实际空间中形成为正方形(长方形)。
亮度差计算部38为了检测鸟瞰视点图像中包含的三维物体的边缘，而针对由视点变换部31进行视点变换得到的鸟瞰视点图像数据进行亮度差的计算。亮度差计算部38针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素间的亮度差。亮度差计算部38能够通过仅设定一条在实际空间中的铅垂方向延伸的铅垂虚拟线的方法以及设定两条铅垂虚拟线的方法中的任一个方法来计算亮度差。
在此说明设定两条铅垂虚拟线的具体方法。亮度差计算部38针对进行视点变换得到的鸟瞰视点图像设定与实际空间中在铅垂方向延伸的线段相当的第一铅垂虚拟线以及与第一铅垂虚拟线不同并与实际空间中在铅垂方向延伸的线段相当的第二铅垂虚拟线。亮度差计算部38沿着第一铅垂虚拟线和第二铅垂虚拟线连续地求出第一铅垂虚拟线上的点与第二铅垂虚拟线上的点的亮度差。以下，详细说明该亮度差计算部38的动作。
亮度差计算部38如图17的(a)所示那样设定与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第一铅垂虚拟线La(以下称为关注线La)。另外，亮度差计算部38设定与关注线La不同并与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第二铅垂虚拟线Lr(以下称为参照线Lr)。在此，参照线Lr被设置于与关注线La分离实际空间中的规定距离的位置处。此外，与实际空间中在铅垂方向延伸的线段相当的线是指在鸟瞰视点图像中从摄像机10的位置Ps起呈放射状扩展的线。该呈放射状扩展的线是沿着在变换为鸟瞰视点时三维物体倾倒的方向的线。
亮度差计算部38在关注线La上设定关注点Pa(第一铅垂虚拟线上的点)。另外，亮度差计算部38在参照线Lr上设定参照点Pr(第二铅垂虚拟线上的点)。这些关注线La、关注点Pa、参照线Lr、参照点Pr在实际空间中形成图17的(b)所示的关系。如从图17的(b)显而易见地，关注线La和参照线Lr是在实际空间中在铅垂方向延伸的线，关注点Pa和参照点Pr是在实际空间中被设定为大致相同的高度的点。此外，关注点Pa和参照点Pr并不一定需要是严格上的相同的高度，关注点Pa和参照点Pr被视为相同高度的程度的误差是允许的。
亮度差计算部38求出关注点Pa与参照点Pr的亮度差。假设关注点Pa与参照点Pr的亮度差大时，认为在关注点Pa与参照点Pr之间存在边缘。特别是，为了检测存在于检测区域A1、A2的三维物体，针对鸟瞰视点图像将铅垂虚拟线设定为在实际空间中在铅垂方向延伸的线段，因此在关注线La与参照线Lr的亮度差高的情况下，在关注线La的设定处存在三维物体的边缘的可能性高。因此，图16所示的边缘线检测部39根据关注点Pa与参照点Pr的亮度差来检测边缘线。
更详细地说明这一点。图18是表示亮度差计算部38的详细动作的图，图18的(a)表示鸟瞰视点状态的鸟瞰视点图像，图18的(b)是将图18的(a)所示的鸟瞰视点图像的一部分B1放大后的图。此外，关于图18，仅图示检测区域A1进行说明，关于检测区域A2，也以相同的过程计算亮度差。
在摄像机10拍摄到的摄像图像内拍摄有邻近车辆V2的情况下，如图18的(a)所示那样，在鸟瞰视点图像内的检测区域A1出现邻近车辆V2。如图18的(b)示出图18的(a)中的区域B1的放大图那样，设为在鸟瞰视点图像上，在邻近车辆V2的轮胎的橡胶部分上设定了关注线La。在该状态中，亮度差计算部38首先设定参照线Lr。参照线Lr被设定在实际空间中沿铅垂方向距关注线La规定的距离的位置处。具体地说，在本实施方式所涉及的三维物体检测装置1a中，参照线Lr被设定在实际空间中与关注线La相距10cm的位置处。由此，参照线Lr在鸟瞰视点图像上例如被设定在与邻近车辆V2的轮胎的橡胶相距相当于10cm的距离的邻近车辆V2的轮胎的轮辋(wheel)上。
接着，亮度差计算部38在关注线La上设定多个关注点Pa1～PaN。在图18的(b)中，为了便于说明，设定了六个关注点Pa1～Pa6(以下，在表示任意的点的情况下，仅称为关注点Pai)。此外，在关注线La上设定的关注点Pa的个数可以是任意的。在以下的说明中，设为在关注线La上设定了N个关注点Pa进行说明。
接着，亮度差计算部38将各参照点Pr1～PrN设定成在实际空间中与各关注点Pa1～PaN相同的高度。而且，亮度差计算部38计算相同高度的关注点Pa与参照点Pr的亮度差。由此，亮度差计算部38针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置(1～N)中的每个位置计算两个像素间的亮度差。亮度差计算部38例如计算第一关注点Pa1与第一参照点Pr1之间的亮度差，计算第二关注点Pa2与第二参照点Pr2之间的亮度差。由此，亮度差计算部38沿着关注线La和参照线Lr连续地求出亮度差。即，亮度差计算部38依次求出第三～第N关注点Pa3～PaN与第三～第N参照点Pr3～PrN的亮度差。
亮度差计算部38在检测区域A1内移动关注线La的同时重复执行上述的参照线Lr的设定、关注点Pa和参照点Pr的设定、亮度差的计算这样的处理。即，亮度差计算部38在实际空间中沿触地线L1的延伸方向以相同的距离改变关注线La和参照线Lr各自的位置的同时重复执行上述的处理。亮度差计算部38例如将在前次处理中成为参照线Lr的线设定为关注线La，针对该关注线La设定参照线Lr，依次求出亮度差。
这样，根据在实际空间中处于大致相同高度的关注线La上的关注点Pa和参照线Lr上的参照点Pr求出亮度差，由此能够明确地检测出存在在铅垂方向上延伸的边缘的情况下的亮度差。另外，为了进行在实际空间中在铅垂方向上延伸的铅垂虚拟线之间的亮度比较，即使通过变换为鸟瞰视点图像而三维物体与距路面的高度相应地被拉长，也不会影响三维物体的检测处理，能够提高三维物体的检测精度。
返回图16，边缘线检测部39根据由亮度差计算部38计算出的连续的亮度差来检测边缘线。例如在图18的(b)所示的情况下，第一关注点Pa1和第一参照点Pr1位于相同的轮胎部分，因此亮度差小。另一方面，第二关注点～第六关注点Pa2～Pa6位于轮胎的橡胶部分，第二参照点～第六参照点Pr2～Pr6位于轮胎的轮辋部分。因而，第二关注点～第六关注点Pa2～Pa6与第二参照点～第六参照点Pr2～Pr6的亮度差变大。因此，边缘线检测部39能够检测出在亮度差大的第二关注点～第六关注点Pa2～Pa6与第二参照点～第六参照点Pr2～Pr6之间存在边缘线。
具体地说，边缘线检测部39在检测边缘线时，首先按照下述的式1，根据第i个关注点Pai(坐标(xi，yi))与第i个参照点Pri(坐标(xi’，yi’))的亮度差来对第i个关注点Pai赋予属性。
[式2]
I(xi，yi)＞I(xi’，yi’)+t时
s(xi，yi)＝1
I(xi，yi)＜I(xi’，yi’)-t时
s(xi，yi)＝-1
在上述以外的情况时
s(xi，yi)＝0
在上述式2中，t表示边缘阈值，I(xi，yi)表示第i个关注点Pai的亮度值，I(xi’，yi’)表示第i个参照点Pri的亮度值。根据上述式2，在关注点Pai的亮度值高于参照点Pri加上阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘1’。另一方面，在关注点Pai的亮度值低于从参照点Pri减去边缘阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘﹣1’。在关注点Pai的亮度值与参照点Pri的亮度值为除此以外的关系的情况下，关注点Pai的属性s(xi，yi)为‘0’。
接着，边缘线检测部39基于下述式3，根据沿着关注线La的属性s的连续性c(xi，yi)判断关注线La是否为边缘线。
[式3]
s(xi，yi)＝s(xi+1，yi+1)时(且除了0＝0)，
c(xi，yi)＝1
在上述以外的情况时，
c(xi，yi)＝0
在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s(xi+1，yi+1)相同的情况下，连续性c(xi，yi)为‘1’。在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s(xi+1，yi+1)不同的情况下，连续性c(xi，yi)为‘0’。
接着，边缘线检测部39关于关注线La上的全部关注点Pa的连续性c求出总和。边缘线检测部39通过将求出的连续性c的总和除以关注点Pa的个数N，来对连续性c进行标准化。而且，在进行了标准化而得到的值超过阈值θ的情况下，边缘线检测部39将关注线La判断为边缘线。此外，阈值θ是预先通过实验等设定的值。
即，边缘线检测部39基于下述式4判断关注线La是否为边缘线。而且，边缘线检测部39关于描绘在检测区域A1上的全部关注线La判断是否为边缘线。
[式4]
∑c(xi，yi)/N＞θ
这样，在第2实施方式中，基于关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差来对关注点Pa赋予属性，基于沿着关注线La的属性的连续性c来判断该关注线La是否为边缘线，因此能够将亮度高的区域与亮度低的区域的边界检测为边缘线，从而按照人的自然的感觉进行边缘检测。详细地说明该效果。图20是表示对边缘线检测部39的处理进行说明的图像例的图。该图像例是表示亮度高的区域和亮度低的区域反复的条纹图案的第一条纹图案101与表示亮度低的区域和亮度高的区域反复的条纹图案的第二条纹图案102相邻的图像。另外，该图像例为第一条纹图案101的亮度高的区域与第二条纹图案102的亮度低的区域相邻，并且第一条纹图案101的亮度低的区域与第二条纹图案102的亮度高的区域相邻。位于该第一条纹图案101与第二条纹图案102的边界的部位103根据人的感觉而倾向于不认为是边缘。
与此相对地，由于亮度低的区域与亮度高的区域相邻，因此如果仅依据亮度差检测边缘，则导致该部位103被识别为边缘。但是，边缘线检测部39除了部位103处的亮度差以外，仅在该亮度差的属性存在连续性的情况下将部位103判断为边缘线，因此边缘线检测部39能够抑制将以人的感觉不识别为边缘线的部位103识别为边缘线的错误判断，从而能够按照人的感觉进行边缘检测。
返回图16，第1三维物体检测部33a根据由边缘线检测部39检测出的边缘线的量来检测三维物体。如上述那样，本实施方式所涉及的三维物体检测装置1a检测在实际空间中在铅垂方向延伸的边缘线。检测出在铅垂方向延伸的边缘线多的情况就是在检测区域A1、A2存在三维物体的可能性高的情况。因此，第1三维物体检测部33a基于由边缘线检测部39检测出的边缘线的量来检测三维物体。具体地说，第1三维物体检测部33a判断由边缘线检测部39检测出的边缘线的量是否为规定的阈值β以上，在边缘线的量为规定的阈值β以上的情况下，判断为由边缘线检测部39检测出的边缘线是三维物体的边缘线。
并且，第1三维物体检测部33a在检测三维物体之前，判断由边缘线检测部39检测出的边缘线是否为正确的边缘线。第1三维物体检测部33a判断沿着边缘线上的鸟瞰视点图像的边缘线的亮度变化是否为规定的阈值tb以上。在边缘线上的鸟瞰视点图像的亮度变化为阈值tb以上的情况下，判断为该边缘线是由于错误判断而检测出的。另一方面，在边缘线上的鸟瞰视点图像的亮度变化小于阈值tb的情况下，判断为该边缘线是正确的边缘线。此外，该阈值tb是通过实验等预先设定的值。
图21是表示边缘线的亮度分布的图，图21的(a)表示在检测区域A1内存在作为三维物体的邻近车辆V2的情况下的边缘线和亮度分布，图21的(b)表示在检测区域A1内不存在三维物体的情况下的边缘线和亮度分布。
如图21的(a)所示，设为判断为在鸟瞰视点图像中设定于邻近车辆V2的轮胎橡胶部分的关注线La是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化平缓。这是由于由摄像机10拍摄到的图像被视点变换为鸟瞰视点图像，由此邻近车辆的轮胎在鸟瞰视点图像内被拉长。另一方面，如图21的(b)所示，设为鸟瞰视点图像中被设定在描绘于路面上的“50”这样的白色文字部分上的关注线La被错误判断为是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化为起伏大的变化。这是因为在边缘线上混杂有白色文字中的亮度高的部分和路面等的亮度低的部分。
根据如以上那样的关注线La上的亮度分布的差异，第1三维物体检测部33a判断边缘线是否为由于错误判断而检测出的。例如，在将由摄像机10获取到的摄像图像变换为鸟瞰视点图像的情况下，存在该摄像图像中包含的三维物体以被拉长的状态出现在鸟瞰视点图像中的倾向。在如上述那样在邻近车辆V2的轮胎被拉长的情况下，由于轮胎这一个部位被拉长，因此形成被拉长的方向上的鸟瞰视点图像的亮度变化小的倾向。对于此，在将描绘在路面上的文字等错误判断为边缘线的情况下，在鸟瞰视点图像中混合包含文字部分这样的亮度高的区域和路面部分这样的亮度低的区域。在这种情况下，在鸟瞰视点图像中，被拉长的方向的亮度变化有变大的倾向。因此，在沿着边缘线的亮度变化为规定的阈值tb以上的情况下，第1三维物体检测部33a判断为该边缘线是由于错误判断而检测出的、该边缘线不是因三维物体而产生的边缘线。由此，抑制路面上的“50”这样的白色文字、路肩的杂草等被判断为边缘线，从而抑制三维物体的检测精度下降。另一方面，在沿着边缘线的亮度变化小于规定的阈值tb的情况下，第1三维物体检测部33a判断为该边缘线是三维物体的边缘线，从而判断为存在三维物体。
具体地说，第1三维物体检测部33a通过下述式5、式6中的任一个来计算边缘线的亮度变化。该边缘线的亮度变化相当于实际空间中的铅垂方向的评价值。下述式5通过关注线La上的第i个亮度值I(xi，yi)与相邻的第i+1个亮度值I(xi+1，yi+1)的差分的平方的合计值来评价亮度分布。下述式6通过关注线La上的第i个亮度值I(xi，yi)和相邻的第i+1个亮度值I(xi+1，yi+1)的差分的绝对值的合计值来评价亮度分布。
[式5]
铅垂对应方向的评价值＝∑[{I(xi，yi)-I(xi+1，yi+1)}2]
[式6]
铅垂对应方向的评价值＝Σ|I(xi，yi)-I(xi+1，yi+1)|
此外，不限于式6，也可以如下述式7那样，利用阈值t2将相邻的亮度值的属性b进行二值化，来将该二值化得到的属性b关于全部的关注点Pa进行总和。
[式7]
铅垂对应方向的评价值＝Σb(xi，yi)
其中，|I(xi，yi)-I(xi+1，yi+1)|＞t2时，
b(xi，yi)＝1
在上述以外的情况时，
b(xi，yi)＝0
在关注点Pai的亮度值与参照点Pri的亮度值的亮度差的绝对值大于阈值t2的情况下，该关注点Pa(xi，yi)的属性b(xi，yi)为‘1’。在除此以外的关系的情况下，关注点Pai的属性b(xi，yi)为‘0’。该阈值t2是为了判断关注线La不在相同的三维物体上而通过实验等预先设定的。而且，第1三维物体检测部33a将关于关注线La上的全部关注点Pa的属性b进行总和来求出铅垂对应方向的评价值，由此判断边缘线是否为因三维物体而产生的边缘线、否存在三维物体是。
第2实施方式所涉及的白浊度计算部36a基于从以规定的周期(帧频)获得的各鸟瞰视点图像检测出的边缘线的个数，按各帧计算帧得分。例如，白浊度计算部36a如下述的表3所示那样，在检测出的边缘线的个数为0个～2个的情况下，判断为未检测出邻近车辆V2，将得分计算为0分，在3个～4个的情况下，判断为存在检测出邻近车辆V2的可能性，将得分计算为1分。并且，在边缘线的个数为5个～6个的情况下，判断为检测出邻近车辆V2的可能性高，将得分计算为2分，在7个以上的情况下，判断为检测出邻近车辆V2的可能性更高，将得分计算为3分。
[表3]
边缘线的个数 0个～2个 3个～4个 5个～6个 7个以上
帧得分 0分 1分 2分 3分
另外，白浊度计算部36a基于在规定时间内生成的帧得分来计算检测得分，对计算出的检测得分逐渐累计，由此将检测得分的累计值计算为镜头的白浊度。此外，关于检测得分和镜头的白浊度的计算方法，能够与第1实施方式同样地进行。
接着，参照图22和图23来说明第2实施方式所涉及的邻近车辆检测方法。图22和图23是表示第2实施方式所涉及的邻近车辆检测方法的详细内容的流程图。在本实施方式中，该邻近车辆检测处理是与后述的白浊度计算处理并行地执行的。另外，本实施方式的邻近车辆检测处理以规定的周期(例如，0.1秒周期)重复进行。此外，下面为了方便，说明以检测区域A1为对象的处理，但是关于检测区域A2，也执行相同的处理。
在步骤S301中，由摄像机10进行由视角a和安装位置确定的规定区域的拍摄，由计算机30a获取由摄像机10拍摄得到的摄像图像P的图像数据。接着，视点变换部31在步骤S302中对获取到的图像数据进行视点变换，来生成鸟瞰视点图像数据。
接着，亮度差计算部38在步骤S303中在检测区域A1上设定关注线La。此时，亮度差计算部38将与在实际空间中在铅垂方向延伸的线相当的线设定为关注线La。接着，亮度差计算部38在步骤S304中在检测区域A1上设定参照线Lr。此时，亮度差计算部38将与实际空间中在铅垂方向延伸的线段相当且与关注线La在实际空间中相距规定距离的线设定为参照线Lr。
接着，亮度差计算部38在步骤S305中在关注线La上设定多个关注点Pa。此时，亮度差计算部38设定在边缘线检测部39检测边缘时不会成为问题的程度的个数的关注点Pa。另外，在步骤S306中，亮度差计算部38将参照点Pr设定成在实际空间中关注点Pa和参照点Pr处于大致相同的高度。由此，关注点Pa和参照点Pr在大致水平方向上排列，容易检测在实际空间中在铅垂方向延伸的边缘线。
接着，在步骤S307中，亮度差计算部38计算在实际空间中处于相同高度的关注点Pa与参照点Pr的亮度差。然后，边缘线检测部39基于由亮度差计算部38计算出的亮度差，按照上述式1来计算各关注点Pa的属性s。
接着，在步骤S308中，边缘线检测部39按照上述式2来计算各关注点Pa的属性s的连续性c。然后，在步骤S309中，边缘线检测部39按照上述式3，判断将连续性c的总和标准化得到的值是否大于阈值θ。然后，在判断为标准化得到的值大于阈值θ的情况下(步骤S309＝是)，在步骤S310中，边缘线检测部39将该关注线La检测为边缘线。然后，处理转移到步骤S311。在判断为标准化得到的值不大于阈值θ的情况下(步骤S309＝否)，边缘线检测部39不将该关注线La检测为边缘线，处理转移到步骤S311。
在步骤S311中，计算机30a判断是否关于检测区域A1上可设定的全部关注线La执行了上述的步骤S303～步骤S310的处理。在判断为尚未关于全部的关注线La进行上述处理的情况下(步骤S311＝否)，将处理返回步骤S303，重新设定关注线La，并重复进行步骤S311为止的处理。另一方面，在判断为关于全部的关注线La进行了上述处理的情况下(步骤S311＝是)，处理转移到步骤S312。
在步骤S312中，第1三维物体检测部33a关于在步骤S310中检测出的各边缘线计算沿着该边缘线的亮度变化。第1三维物体检测部33a按照上述式5、式6、式7中的任一个来计算边缘线的亮度变化。接着，在步骤S313中，第1三维物体检测部33a去除边缘线中的亮度变化为规定的阈值tb以上的边缘线。即，判断为亮度变化大的边缘线不是正确的边缘线，在检测三维物体时不使用该边缘线。这是为了抑制如上述那样检测区域A1中包含的路面上的文字、路肩的杂草等被检测为边缘线的情形。因而，规定的阈值tb是指预先通过实验等求出的基于因路面上的文字、路肩的杂草等而产生的亮度变化设定的值。另一方面，第1三维物体检测部33a将边缘线中的亮度变化小于规定的阈值tb的边缘线判断为三维物体的边缘线，由此检测以邻近车辆方式存在的三维物体。
接着，在步骤S314中，由第1三维物体检测部33a进行邻近车辆V2的检测。具体地说，第1三维物体检测部33a判断在步骤S310中检测出的边缘线的量是否为规定的阈值β以上，由此判断在邻近车道是否存在邻近车辆V2。在此，阈值β是预先通过实验等求出而设定的值，例如在设定四轮车作为检测对象的三维物体的情况下，预先通过实验等基于在检测区域A1内出现的四轮车的边缘线的个数来设定该阈值β。然后，在边缘线的量为阈值β以上的情况下，第1三维物体检测部33a判断为在检测区域A1内存在邻近车辆V2，检测出存在于邻近车道的邻近车辆V2。另一方面，在边缘线的量不为阈值β以上的情况下，第1三维物体检测部33a判断为在检测区域A1内不存在邻近车辆V2，未检测出邻近车辆V2。
步骤S315～S317与第1实施方式的步骤S112～S114同样地，进行作为邻近车辆V2的车头灯的候选的光源的检测(步骤S315)，由第2三维物体检测部35基于所检测出的作为邻近车辆V2的车头灯的候选的光源来检测邻近车辆V2(步骤S316)。然后，获取通过后述的白浊度计算处理而计算出的镜头白浊度(步骤S317)。
然后，在步骤S318中，由三维物体判断部37基于在步骤S317中获取到的镜头白浊度对在步骤S314中获得的第1三维物体检测部33a的检测结果以及在步骤S316中获得的第2三维物体检测部35的检测结果进行加权。具体地说，如上述式1所示那样，镜头白浊度越高，则三维物体判断部37越减小第1三维物体检测部33a的检测结果的权重Wc1、并且越增大第2三维物体检测部35的检测结果的权重Wc2。
接着，在步骤S319中，由三维物体判断部37如上述式1所示那样判断在步骤S318加权后的检测结果的合计值是否超过规定的车辆判断阈值sc，在加权后的第1三维物体检测部33a的检测结果与第2三维物体检测部35的检测结果的合计值超过规定的车辆判断阈值sc的情况下，进入步骤S320，判断为存在邻近车辆V2。另一方面，在不超过规定的车辆判断阈值sc的情况下，进入步骤S321，判断为不存在邻近车辆V2。
接着，参照图24来说明第2实施方式所涉及的白浊度计算处理。图24是表示第2实施方式所涉及的白浊度计算处理的流程图。此外，以下说明的白浊度计算处理是以规定的周期(例如，0.1秒周期)执行的。另外，以下说明的白浊度计算处理是与上述的邻近车辆检测处理并行地进行的，在上述的邻近车辆检测处理中，在检测邻近车辆V2时使用在该白浊度计算处理中计算出的镜头的白浊度。
在步骤S401中，由白浊度计算部36检测在上述的邻近车辆检测处理中检测出的边缘线的个数。然后，在步骤S402中，如上述的表1所示，基于在步骤S401中检测出的边缘线的个数来计算帧得分。
步骤S403～S406进行与第1实施方式的步骤S203～S206同样的处理。即，判断是否检测出邻近车辆V2的车头灯(步骤S403)，在检测出邻近车辆V2的车头灯的情况下(步骤S403＝是)，计算在规定时间内计算出的帧得分的合计分(步骤S404)。然后，基于计算出的帧得分的合计分，如上述的表2所示那样计算检测得分(步骤S405)，并计算检测得分的累计值来作为镜头的白浊度(步骤S406)。此外，在未检测出邻近车辆V2的车头灯的情况下(步骤S403＝否)，重复计算帧得分。然后，在图22和图23所示的邻近车辆检测处理中使用在步骤S406中计算出的镜头的白浊度。
如以上那样，在第2实施方式中，对检测邻近车辆V2的边缘并基于该边缘来检测邻近车辆V2的第1三维物体检测部33a的检测结果以及基于车头灯来检测邻近车辆V2的第2三维物体检测部35的检测结果进行与镜头的白浊度相应的加权，基于加权后的检测结果来判断是否存在邻近车辆V2。具体地说，镜头的白浊度越高，则越减小第1三维物体检测部33的检测结果的权重、并且越增大第2三维物体检测部35的检测结果的权重，来判断是否存在邻近车辆V2。由此，在第2实施方式中，除了第1实施方式的效果以外，在基于从摄像图像检测出的边缘来检测邻近车辆V2的情况下，也能够根据镜头白浊的程度来适当地检测邻近车辆V2。
此外，以上说明的实施方式是为了易于理解本发明而记载的，并不是为了限定本发明而记载的。因而，为以下宗旨：上述的实施方式所公开的各要素也包括属于本发明的技术范围的所有设计变更、等价物。
例如，在上述的实施方式中，例示了以下结构：如上述式1所示，基于镜头的白浊度对第1三维物体检测部33的检测结果和第2三维物体检测部35的检测结果加权，在加权后的第1三维物体检测部33的检测结果与第2三维物体检测部35的检测结果的合计值为规定的车辆判断阈值sc以上的情况下，判断为存在邻近车辆V2，但是不限定于该结构，例如也可以设为以下结构：基于镜头的白浊度来变更用于检测三维物体的差分阈值th、边缘阈值t。具体地说，也可以设为以下结构：镜头的白浊度越高，则越将差分阈值th或边缘阈值t变更为低的值，使得容易检测出三维物体。在这种情况下，即使在镜头处于白浊状态的情况下，也容易检测出三维物体，因此能够适当地检测存在于邻近车道的邻近车辆V2。另外，同样地，也可以设为以下结构：镜头的白浊度越高，则越将用于检测三维物体的阈值α、阈值β降低。并且，还可以设为以下结构：镜头的白浊度越高，则越将阈值θ、阈值t2、阈值tb等变更得容易检测出三维物体。另外，也可以设为以下结构：检测出的镜头的白浊度越高，则越将从摄像机10输出的像素值(或亮度值)提高。在这种情况下，容易检测差分像素DP、边缘，因此促进了三维物体(邻近车辆V2)的检测，其结果，即使在镜头处于白浊状态的情况下，也能够适当地检测邻近车辆V2。
并且，在上述的第1实施方式中，例示了以下结构：在三维物体的移动速度满足规定的条件的情况下，将三维物体检测为邻近车辆V2，但是例如也可以设为以下结构：在镜头的白浊度高的情况下，使上述的条件缓和，由此促进邻近车辆V2的检测。例如，在上述的实施方式中，在三维物体的绝对移动速度为10km/h以上且三维物体相对于本车辆V1的相对移动速度为+60km/h以下的情况下，将三维物体判断为邻近车辆V2，但是也可以设为以下结构：在镜头的白浊度高的情况下，例如在三维物体的绝对移动速度为5km/h以上且三维物体相对于本车辆V1的相对移动速度为+70km/h以下的情况下，判断为三维物体是邻近车辆V2。
另外，除了上述的实施方式以外，也能够设为以下结构：在镜头的白浊度变为规定值以上的情况下，认为镜头处于白浊状态而无法适当地检测邻近车辆V2，在这种情况下，不进行邻近车辆V2的检测。例如，也能够设为以下结构：在图12所示的例子中，在镜头的白浊度达到作为上限值S2的100的情况下、或者镜头的白浊度变为接近上限值S2的80以上的情况下，不进行邻近车辆V2的检测。
并且，在上述的实施方式中，例示了以下结构：在检测出邻近车辆V2的车头灯而开始计算镜头白浊度时，基于在包括检测出邻近车辆V2的车头灯的时刻前的微小时间的规定时间内计算出的帧得分，来计算检测得分，但是不限定于该结构，例如也可以设为以下结构：仅基于在检测出邻近车辆V2的车头灯后的规定时间内计算出的帧得分，来计算检测得分。例如，也可以设为以下结构：在图11所示的例子中，基于从检测出邻近车辆V2的车头灯的时刻t5至时刻t30的25帧的帧得分来计算检测得分，由此计算检测得分DS1。
除此以外，在上述的实施方式中，例示了水垢等异物附着在摄像机10的镜头上而镜头处于白浊状态的情况来进行说明，但是异物并不限定于水垢，能够也包括雨滴、泥水等。
此外，上述的实施方式的摄像机10相当于本发明的摄像单元，视点变换部31相当于本发明的图像变换单元，对位部32、第1三维物体检测部33、33a、亮度差计算部38、边缘线检测部39相当于本发明的第1三维物体检测单元，车头灯检测部34相当于本发明的光源检测单元，第2三维物体检测部35相当于本发明的第2三维物体检测单元，三维物体判断部37相当于本发明的控制单元，白浊度计算部36、36a相当于本发明的白浊度计算单元。
附图标记说明
1、1a：三维物体检测装置；10：摄像机；20：车速传感器；30、30a：计算机；31：视点变换部；32：对位部；33、33a：第1三维物体检测部；34：车头灯检测部；35：第2三维物体检测部；36、36a：白浊度计算部；37：三维物体判断部；38：亮度差计算部；39：边缘线检测部；a：视角；A1、A2：检测区域；CP：交点；DP：差分像素；DWt、DWt’：差分波形；DWt1～DWm、DWm+k～DWtn：小区域；L1、L2：触地线；La、Lb：三维物体倾倒的方向上的线；P：摄像图像；PBt：鸟瞰视点图像；PDt：差分图像；V1：本车辆；V2：邻近车辆。

Claims (17)

1.一种三维物体检测装置，其特征在于，具备：
摄像单元，其具备使本车辆后方的影像成像的镜头；
第1三维物体检测单元，其基于由上述摄像单元获得的摄像图像来检测三维物体；
光源检测单元，其基于由上述摄像单元获得的上述摄像图像来检测存在于本车辆后方的光源；
第2三维物体检测单元，其基于由上述光源检测单元检测出的上述光源来检测三维物体；
白浊度计算单元，其基于上述摄像图像来计算上述镜头白浊的程度作为镜头白浊度；以及
控制单元，其在上述镜头白浊度为规定的判断值以上的情况下，至少基于上述第2三维物体检测单元的检测结果来判断上述三维物体是否为存在于与本车辆的行驶车道邻近的邻近车道的邻近车辆，在上述镜头白浊度未达到上述判断值的情况下，至少基于上述第1三维物体检测单元的检测结果来判断上述三维物体是否为上述邻近车辆。
2.根据权利要求1所述的三维物体检测装置，其特征在于，
上述第1三维物体检测单元具有图像变换单元，该图像变换单元将由上述摄像单元获得的上述摄像图像视点变换为鸟瞰视点图像，
上述第1三维物体检测单元将由上述图像变换单元获得的不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，获取该对位后的上述不同时刻的上述鸟瞰视点图像的差分图像，在上述差分图像上，沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向，对示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，基于该差分波形信息来检测上述三维物体，
上述白浊度计算单元基于在规定时间内生成的上述差分波形信息的峰值中的具有规定阈值以上的值的峰值的数量，来计算上述镜头白浊度。
3.根据权利要求2所述的三维物体检测装置，其特征在于，
上述镜头白浊度越高，则上述控制单元越相对减小上述第1三维物体检测单元的检测结果的权重、并且越相对增大上述第2三维物体检测单元的检测结果的权重，上述控制单元基于加权后的上述第1三维物体检测单元的检测结果和上述第2三维物体检测单元的检测结果，来判断上述三维物体是否为上述邻近车辆。
4.根据权利要求2或3所述的三维物体检测装置，其特征在于，
在上述光源检测单元检测出上述光源的情况下，上述白浊度计算单元开始上述镜头白浊度的计算。
5.根据权利要求4所述的三维物体检测装置，其特征在于，
上述白浊度计算单元在开始上述镜头白浊度的计算时，以检测出上述光源的时刻为基准来设定上述规定时间，基于在上述规定时间内生成的上述差分波形信息的峰值中的具有上述规定阈值以上的值的峰值的数量，来进行上述镜头白浊度的计算。
6.根据权利要求4所述的三维物体检测装置，其特征在于，
上述白浊度计算单元在开始上述镜头白浊度的计算时，使检测出上述光源的时刻之前的微小时间包含在上述规定时间内，来计算上述镜头白浊度。
7.根据权利要求2所述的三维物体检测装置，其特征在于，
上述白浊度计算单元基于在上述差分波形信息中具有上述规定阈值以上的值的峰值的数量来计算第一得分，基于在上述规定时间内计算出的上述第一得分的合计值来计算第二得分，将计算出的上述第二得分的累计值计算为上述镜头白浊度。
8.根据权利要求7所述的三维物体检测装置，其特征在于，
上述白浊度计算单元对上述第一得分或上述第二得分设置上限。
9.根据权利要求1所述的三维物体检测装置，其特征在于，
上述第1三维物体检测单元具有图像变换单元，该图像变换单元将由上述摄像单元获得的上述摄像图像视点变换为鸟瞰视点图像，
上述第1三维物体检测单元从由上述图像变换单元获得的上述鸟瞰视点图像沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向检测边缘信息，基于该边缘信息来检测三维物体，
上述白浊度计算单元基于在规定时间内检测出的上述边缘信息所包含的边缘线的量，来计算上述镜头白浊度。
10.根据权利要求9所述的三维物体检测装置，其特征在于，
上述镜头白浊度越高，则上述控制单元越相对减小上述第1三维物体检测单元的检测结果的权重、并且越相对增大上述第2三维物体检测单元的检测结果的权重，上述控制单元基于加权后的上述第1三维物体检测单元的检测结果和上述第2三维物体检测单元的检测结果，来判断上述三维物体是否为上述邻近车辆。
11.根据权利要求9或10所述的三维物体检测装置，其特征在于，
在上述光源检测单元检测出上述光源的情况下，上述白浊度计算单元开始上述镜头白浊度的计算。
12.根据权利要求11所述的三维物体检测装置，其特征在于，
上述白浊度计算单元在开始上述镜头白浊度的计算时，以检测出上述光源的时刻为基准来设定上述规定时间，基于在上述规定时间内检测出的上述边缘信息所包含的边缘线的量，来进行上述镜头白浊度的计算。
13.根据权利要求11所述的三维物体检测装置，其特征在于，
上述白浊度计算单元在开始上述镜头白浊度的计算时，使检测出上述光源的时刻之前的微小时间包含在上述规定时间内，来计算上述镜头白浊度。
14.根据权利要求9所述的三维物体检测装置，其特征在于，
上述白浊度计算单元基于上述边缘信息所包含的上述边缘线的量来计算第一得分，基于在上述规定时间内计算出的上述第一得分的合计值来计算第二得分，将计算出的上述第二得分的累计值计算为上述镜头白浊度。
15.根据权利要求14所述的三维物体检测装置，其特征在于，
上述白浊度计算单元对上述第一得分或上述第二得分设置上限。
16.一种三维物体检测方法，将拍摄本车辆后方得到的摄像图像视点变换为鸟瞰视点图像，将不同时刻的上述鸟瞰视点图像的位置以鸟瞰视点进行对位，获取该对位后的上述不同时刻的上述鸟瞰视点图像的差分图像，在上述差分图像上，沿着视点变换为上述鸟瞰视点图像时三维物体倾倒的方向，对示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，基于该差分波形信息来检测三维物体，输出该检测结果作为第一检测结果，并且基于上述摄像图像来检测存在于本车辆后方的光源，基于上述光源来检测三维物体，输出该检测结果作为第二检测结果，基于上述第一检测结果和上述第二检测结果来判断上述三维物体是否为存在于与本车辆的行驶车道邻近的邻近车道的邻近车辆，该三维物体检测方法的特征在于，
基于在规定时间内生成的上述差分波形信息的峰值中的具有规定阈值以上的值的峰值的数量来计算镜头白浊的程度作为镜头白浊度，在上述镜头白浊度为规定的判断值以上的情况下，基于上述第一检测结果和上述第二检测结果中的至少上述第二检测结果来判断上述三维物体是否为上述邻近车辆，在上述镜头白浊度未达到上述判断值的情况下，基于上述第一检测结果和上述第二检测结果中的至少上述第一检测结果来判断上述三维物体是否为上述邻近车辆。
17.一种三维物体检测方法，将拍摄本车辆后方得到的摄像图像视点变换为鸟瞰视点图像，从上述鸟瞰视点图像沿着视点变换为上述鸟瞰视点图像时三维物体倾倒的方向检测边缘信息，基于该边缘信息来检测三维物体，输出该检测结果作为第一检测结果，并且基于上述摄像图像来检测存在于本车辆后方的光源，基于上述光源来检测三维物体，输出该检测结果作为第二检测结果，基于上述第一检测结果和上述第二检测结果来判断上述三维物体是否为存在于与本车辆的行驶车道邻近的邻近车道的邻近车辆，该三维物体检测方法的特征在于，
基于在规定时间内检测出的上述边缘信息所包含的边缘线的量来计算镜头白浊的程度作为镜头白浊度，在上述镜头白浊度为规定的判断值以上的情况下，基于上述第一检测结果和上述第二检测结果中的至少上述第二检测结果来判断上述三维物体是否为上述邻近车辆，在上述镜头白浊度未达到上述判断值的情况下，基于上述第一检测结果和上述第二检测结果中的至少上述第一检测结果来判断上述三维物体是否为上述邻近车辆。
CN201380040039.XA 2012-07-27 2013-07-25 三维物体检测装置以及三维物体检测方法 Active CN104509099B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012166519 2012-07-27
JP2012-166519 2012-07-27
PCT/JP2013/070223 WO2014017601A1 (ja) 2012-07-27 2013-07-25 立体物検出装置および立体物検出方法

Publications (2)

Publication Number Publication Date
CN104509099A CN104509099A (zh) 2015-04-08
CN104509099B true CN104509099B (zh) 2016-06-01

Family

ID=49997408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380040039.XA Active CN104509099B (zh) 2012-07-27 2013-07-25 三维物体检测装置以及三维物体检测方法

Country Status (10)

Country Link
US (1) US9589193B2 (zh)
EP (1) EP2879383B1 (zh)
JP (1) JP5943077B2 (zh)
CN (1) CN104509099B (zh)
BR (1) BR112015001747B1 (zh)
IN (1) IN2015KN00408A (zh)
MX (1) MX336987B (zh)
MY (1) MY156197A (zh)
RU (1) RU2576315C1 (zh)
WO (1) WO2014017601A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2540849C2 (ru) * 2010-08-19 2015-02-10 Ниссан Мотор Ко., Лтд. Устройство обнаружения трехмерного объекта и способ обнаружения трехмерного объекта
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
JP6499047B2 (ja) * 2015-09-17 2019-04-10 株式会社東芝 計測装置、方法及びプログラム
JP6975945B2 (ja) * 2016-02-24 2021-12-01 パナソニックＩｐマネジメント株式会社 判定装置、判定方法、プログラムおよびプログラムを記録した記録媒体
CN108509848B (zh) * 2018-02-13 2019-03-05 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统
JP7205234B2 (ja) * 2019-01-07 2023-01-17 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN110562178A (zh) * 2019-09-06 2019-12-13 广州扬名信息科技有限公司 车内感应传输系统
JP7204942B2 (ja) * 2019-11-28 2023-01-16 三菱電機株式会社 物体認識装置、物体認識方法及び物体認識プログラム
EP3968274A1 (en) * 2020-09-14 2022-03-16 Tata Consultancy Services Limited Method and system for asset inspection using unmanned aerial vehicles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862620A (zh) * 2006-06-12 2006-11-15 黄席樾 高速公路汽车行驶智能检测预警方法及其预警系统
JP2008064630A (ja) * 2006-09-07 2008-03-21 Hitachi Ltd 付着物検知機能付き車載用撮像装置
CN102055956A (zh) * 2009-11-02 2011-05-11 通用汽车环球科技运作公司 车载三维视频系统及用其监测车辆周围环境的方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3856276B2 (ja) * 1999-07-08 2006-12-13 三菱自動車工業株式会社 車両の走行監視装置
DE10322087A1 (de) 2003-05-15 2004-12-02 Daimlerchrysler Ag Verfahren zur Erkennung und Lokalisierung von Verschmutzungen auf der Optik eines Kamerasystems
JP4326999B2 (ja) * 2003-08-12 2009-09-09 株式会社日立製作所 画像処理システム
JP3775409B2 (ja) * 2003-10-29 2006-05-17 ブラザー工業株式会社 画像読取装置
JP2006003662A (ja) * 2004-06-17 2006-01-05 Nikon Corp 蛍光顕微鏡装置
JP4130435B2 (ja) * 2004-11-30 2008-08-06 本田技研工業株式会社 撮像装置の異常検知装置
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
EP1837803A3 (en) * 2006-03-24 2008-05-14 MobilEye Technologies, Ltd. Headlight, taillight and streetlight detection
JP4906437B2 (ja) * 2006-08-22 2012-03-28 アルパイン株式会社 周辺監視システム
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2008227646A (ja) 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
RU2441283C2 (ru) * 2009-04-10 2012-01-27 Учреждение Российской академии наук Центр информационных технологий в проектировании РАН Оптико-электронное устройство предупреждения столкновений транспортного средства
JP5251927B2 (ja) * 2010-06-21 2013-07-31 日産自動車株式会社 移動距離検出装置及び移動距離検出方法
RU2432276C1 (ru) * 2010-07-07 2011-10-27 Осман Мирзаевич Мирза Способ наблюдения за дорожной ситуацией с движущегося транспортного средства (варианты)
JP5883732B2 (ja) 2012-07-03 2016-03-15 クラリオン株式会社 環境認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862620A (zh) * 2006-06-12 2006-11-15 黄席樾 高速公路汽车行驶智能检测预警方法及其预警系统
JP2008064630A (ja) * 2006-09-07 2008-03-21 Hitachi Ltd 付着物検知機能付き車載用撮像装置
CN102055956A (zh) * 2009-11-02 2011-05-11 通用汽车环球科技运作公司 车载三维视频系统及用其监测车辆周围环境的方法

Also Published As

Publication number Publication date
EP2879383B1 (en) 2020-02-26
IN2015KN00408A (zh) 2015-07-17
JPWO2014017601A1 (ja) 2016-07-11
JP5943077B2 (ja) 2016-06-29
MX2015001226A (es) 2015-04-10
US20150324651A1 (en) 2015-11-12
EP2879383A1 (en) 2015-06-03
MY156197A (en) 2016-01-20
RU2576315C1 (ru) 2016-02-27
EP2879383A4 (en) 2015-12-16
WO2014017601A1 (ja) 2014-01-30
MX336987B (es) 2016-02-09
CN104509099A (zh) 2015-04-08
US9589193B2 (en) 2017-03-07
BR112015001747A2 (pt) 2019-12-31
BR112015001747B1 (pt) 2021-11-16

Similar Documents

Publication Publication Date Title
CN104509099B (zh) 三维物体检测装置以及三维物体检测方法
CN104509100B (zh) 三维物体检测装置以及三维物体检测方法
CN104509101A (zh) 三维物体检测装置和三维物体检测方法
JP6254084B2 (ja) 画像処理装置
JP4670805B2 (ja) 運転支援装置、及びプログラム
CN104685866A (zh) 三维物体检测装置以及三维物体检测方法
CN104508722A (zh) 车载用周围环境识别装置
WO2018059586A1 (zh) 车辆识别方法、装置及车辆
CN104508726A (zh) 三维物体检测装置和三维物体检测方法
CN104012081B (zh) 三维物体检测装置
CN104246821A (zh) 三维物体检测装置和三维物体检测方法
CN104106105A (zh) 立体物检测装置
CN104509102A (zh) 三维物体检测装置和异物检测装置
JP5982298B2 (ja) 障害物検出装置および障害物検出方法
US20150235093A1 (en) Moving Object Recognition Apparatus
CN104115188A (zh) 立体物检测装置
CN103718214A (zh) 移动体检测装置和移动体检测方法
CN104508728A (zh) 三维物体检测装置
CN104094311A (zh) 立体物检测装置
CN104115204A (zh) 立体物检测装置
CN104115203A (zh) 立体物检测装置
JPH09106500A (ja) 車輌の運転支援装置
CN112735163B (zh) 确定目标物体静止状态的方法、路侧设备、云控平台
CN113569812A (zh) 未知障碍物的识别方法、装置和电子设备
JP5832850B2 (ja) 車線監視システム及び車線監視方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant