CN102227758A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN102227758A
CN102227758A CN2009801477157A CN200980147715A CN102227758A CN 102227758 A CN102227758 A CN 102227758A CN 2009801477157 A CN2009801477157 A CN 2009801477157A CN 200980147715 A CN200980147715 A CN 200980147715A CN 102227758 A CN102227758 A CN 102227758A
Authority
CN
China
Prior art keywords
road
place ahead
dimensional thing
test section
white line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801477157A
Other languages
English (en)
Other versions
CN102227758B (zh
Inventor
志磨健
樋口未来
村松彰二
门司龙彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Publication of CN102227758A publication Critical patent/CN102227758A/zh
Application granted granted Critical
Publication of CN102227758B publication Critical patent/CN102227758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18145—Cornering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/16—Curve braking control, e.g. turn control within ABS control algorithm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2220/00—Monitoring, detecting driver behaviour; Signalling thereof; Counteracting thereof
    • B60T2220/02—Driver type; Driving style; Driver adaptive features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2260/00—Interaction of vehicle brake system with other systems
    • B60T2260/08—Coordination of integrated systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Regulating Braking Force (AREA)

Abstract

本发明提供摄像装置，即使在难以进行道路的白线和道路旁立体物的检测的状况下，也能够推定本车前方的道路线形，或判定是否需要在弯道之前控制刹车以使本车减速。具有拍摄本车(106)的行驶道路前方的多个拍摄部(107、108)的摄像装置(105)，包括：基于由多个拍摄部(107、108)拍摄的图像，对行驶道路(102)的消失点附近存在的前方立体物(101)进行检测的前方立体物检测部(114)；和基于由前方立体物检测部(114)检测到的检测结果，推定行驶道路(102)中的远距离部分的道路线形的道路线形推定部(113)。

Description

摄像装置
技术领域
本发明涉及具有拍摄本车的行驶道路前方的多个拍摄部的摄像装置。
背景技术
为了实现车辆的安全行驶，一直在研究开发着检测车辆周围的危险事态，自动控制车辆的转向、加速、刹车以避免危险事态的装置，并且已经搭载在一部分车辆上。
其中，将为了以适当的速度进入存在于本车行驶道路前方的弯道，而在弯道之前自动地调整制动力以使车辆减速的弯道前自动减速控制装置搭载在车辆上，对于防止弯道行驶中的道路偏离事故是有效的。
作为实现弯道前自动减速控制的一个方法，有检测弯道的线形(形状)的方法。专利文献1中记载了根据车载摄像机(camera)拍摄的图像检测道路的白线，根据该白线计算行驶道路的曲率的技术。此外，专利文献2中记载了用车载雷达检测沿着道路旁设置的护栏等立体物，来识别本车前方的弯道的形状的技术。
专利文献1：日本特开2001-10518号公报
专利文献2：日本特开2001-256600号公报
发明内容
发明要解决的课题
但是，在专利文献1记载的技术中，在本车行驶道路上不存在白线的情况，和因磨损等造成白线难以识别的情况下，无法检测到本车的行驶道路前方的道路形状。此外，在行驶速度为高速的情况下，需要掌握更远处的弯道的形状，即行驶道路中远距离部分的道路线形，但根据车载摄像机拍摄的图像难以高精度地检测远方的白线的曲率。
此外，在道路旁不存在立体物的情况下，根据专利文献2记载的技术，无法检测本车的行驶道路前方的道路线形。从而，根据专利文献1和专利文献2的技术，可能发生本车前方存在弯道却进行了不存在弯道的误判定，和不存在弯道却进行了存在弯道的误判定，因此无法用车辆控制装置进行合适的自动刹车控制。
本发明鉴于上述要点，其目的在于，提供一种摄像装置，即使在难以检测道路的白线和道路旁立体物的状况下，也能够推定本车的行驶道路前方的道路线形，或者判定是否需要在弯道之前控制刹车来使本车减速。
解决课题的方法
鉴于上述课题完成的本发明的摄像装置的特征在于：基于由多个拍摄部拍摄的图像，对行驶道路的消失点附近存在的前方立体物进行检测，基于该检测结果推定行驶道路中远距离部分的道路线形。
发明的效果
根据本发明的摄像装置，对车辆前方的消失点附近的前方立体物进行检测，基于该检测结果推定行驶道路中远距离部分的道路线形，因此即使在难以检测行驶道路的白线和道路旁立体物的状况下，也能够在进入需要刹车控制的弯道之前进行自动减速控制。
此外，根据本发明的摄像装置，对车辆前方的消失点附近的前方立体物进行检测，计算前方立体物的分布，基于该前方立体物的分布、从本车到前方立体物的距离和本车的车速，判定是否需要进行本车的刹车控制，因此能够在进入需要刹车控制的弯道之前，进行自动减速控制。
本说明书包括作为本申请的优先权基础的日本专利申请2008-304957的说明书和/或附图记载的内容。
附图说明
图1是说明本实施方式的概要的图。
图2是表示距离信息计算部进行的处理的内容的流程图。
图3是表示白线检测部进行的处理的内容的流程图。
图4是表示行驶路面计算部进行的处理的内容的流程图。
图5是表示道路旁检测部进行的处理的内容的流程图。
图6是表示前方立体物检测部进行的处理的内容的流程图。
图7是表示前方弯道推定部进行的处理的内容的流程图。
图8是表示刹车控制判定部进行的处理的内容的流程图。
图9是对立体摄像装置中左右图像的对应点进行说明的图。
图10是说明求取左右图像的对应点的方法的图。
图11是说明在立体摄像装置中计算视差的方法的图。
图12是说明距离图像的内容的图。
图13是说明求取前方立体物的分布的方法的图。
图14是说明刹车控制判定部进行的处理的内容的图。
图15是说明白线的检测方法的图。
图16是对从uv坐标系到xz坐标系的变换进行说明的图。
图17是对道路线形的计算进行说明的图。
图18是对道路线形的计算进行说明的图。
附图标记说明
101……前方立体物，102……道路，103……白线，104……道路旁立体物，105……立体摄像装置，106……车辆，107……左拍摄部，108……右拍摄部，109……距离信息计算部，110……白线检测部，111……行驶路面计算部，112……道路旁检测部，113……前方弯道推定部(道路线形推定部)，114……前方立体物检测部，115……刹车控制学习数据，116……刹车控制判定部，117……车辆控制装置
具体实施方式
接着，使用附图在以下详细说明本发明的实施方式。本实施方式中说明的是，应用于使用车辆106上搭载的立体摄像装置105的图像来推定本车的行驶道路前方的道路线形的系统的情况。
首先，使用图1说明本发明的概要。图1中，符号105为车辆106上搭载的立体摄像装置(摄像装置)。立体摄像装置105具有以车辆106的行驶道路前方作为拍摄范围，对行驶道路前方存在的立体物进行检测的结构。对于立体摄像装置105的详细的结构在后文叙述。
立体摄像装置105，如图1所示，当本车即车辆106在道路102上行驶时，对于道路102上的白线103、沿着道路102设置的护栏等道路旁立体物104和行驶道路前方的消失点附近存在的前方立体物101，检测其种类和三维位置。
然后，基于检测结果，判定道路102是否在前方转弯，并将该弯道的形状的推定值或是否需要自动刹车控制的判定信息，传递给车辆106上搭载的车辆控制装置117。
车辆控制装置117，基于从立体摄像装置105接收到的车辆106前方的弯道形状的推定值或是否需要自动刹车控制的判定信息，进行刹车的自动控制，将车辆106减速以使其能够安全地在前方的弯道行驶。
接着，使用图1，对立体摄像装置105的详细的结构在以下进行说明。立体摄像装置105，作为其结构要素，具有左拍摄部107和右拍摄部108、距离信息计算部109、白线检测部110、行驶路面计算部111、道路旁检测部112、前方立体物检测部114、前方弯道推定部113和刹车控制判定部116。
左拍摄部107和右拍摄部108成对地设置，拍摄车辆106的前方，以道路102、白线103、护栏等沿着道路102的立体物104和道路102前方的远方的立体物101作为拍摄范围。
左拍摄部107、右拍摄部108均由透镜和CCD构成，使用能够拍摄上述拍摄范围的设计。左拍摄部107和右拍摄部108的设置方式使得将它们相互连接的线与道路102面平行并且在与车辆106的前进方向正交的方向上。左拍摄部107和右拍摄部108之间的距离d根据将自车辆106什么程度的距离作为检测范围来确定。
图2是表示在距离信息计算部109进行的处理的内容的流程图。距离信息计算部109基于由左拍摄部107和右拍摄部108拍摄的各图像，计算有无前方立体物101和从车辆106到前方立体物101的距离。
首先，在左图像输入处理S201，接收由左拍摄部107拍摄到的图像数据。接着，在右图像输入处理S202，接收由右拍摄部108拍摄到的图像数据。此处，可以将左图像输入处理S201和右图像输入处理S202作为并行处理同时进行。
接着，在对应点计算处理S203，对左图像输入处理S201和右图像输入处理S202中取得的左右2个图像数据进行比较，确定拍摄同一物体的部分。例如，如图9所示，当对道路102上的物体(立体物)901用立体摄像装置105拍摄时，左拍摄部107和右拍摄部108拍摄的图像，分别如左图像902、右图像903所示。
此处，同一物体901，在左图像902中被拍摄在符号904的位置上，在右图像903中被拍摄在符号905的位置上，在图像的横方向产生d1的偏移。因此，需要确定被拍摄在左图像902的符号904的位置上的物体901，在右图像903中被拍摄在何处。
对于确定左图像902中拍摄的特定的物体在右图像903中被拍摄在何处的方法，使用图10说明。在图10中，关于左图像902、右图像903的坐标系，设横方向为u轴1001，纵方向为v轴1002。
首先，在左图像902中，在uv坐标系中，设定由(u1，v1)、(u1，v2)、(u2，v1)、(u2，v2)包围的矩形的搜索区域1003。接着在右图像903中，对于由(U，v1)、(U，v2)、(U+(u2-u1)，v1)、(U+(u2-u1)，v2)包围的矩形的搜索区域1004，使U的值从u＝0增加至u＝u3，来使搜索区域1004朝向图像的右方(图10中箭头所示的方向)扫描。
然后，对搜索区域1003内的图像与搜索区域1004内的图像的相关值进行比较，在与左图像902的搜索区域1003相关性最高的右图像903的搜索区域1005的位置(u4，v1)、(u4，v2)、(u4+(u2-u1)，v1)、(u4+(u2-u1)，v2)，视为拍摄到与搜索区域1004中拍摄的物体为同一物体的901。此处，搜索区域1003内的各像素与搜索区域1005内的各像素对应。
而当对右图像903的搜索区域1004进行扫描时，不存在相关值为某个固定值以上的区域的情况下，视为没有与左图像902的搜索区域1003对应的右图像903内的对应点。
接着，使左图像902的搜索区域偏移到1006的位置，进行同样的处理。像这样，对左图像902的搜索区域在整个左图像902内扫描，对于左图像902的所有像素，求取右图像903内的对应点。在未找到对应点的情况下，视为没有对应点。
接着针对图2的流程图中的距离计算处理S204，说明其处理的详细内容。该处理中，对于上述的对应点计算处理S203中求得的拍摄同一物体901的左图像902与右图像903的对应点，计算各对应点位于距离立体摄像装置105什么程度的位置上。
首先，使用图11，说明计算左图像902与右图像903的对应点1101自摄像机的距离D的方法。在图11中，左拍摄部107为由透镜1102和拍摄面1103组成的焦距为f、光轴为1108的摄像机，右拍摄部108为由透镜1104和拍摄面1105组成的焦距为f、光轴为1109的摄像机。
在这两个摄像机前方存在点1101的情况下，点1101被拍摄成左拍摄部107的拍摄面1103的点1106(自光轴1108距离为d2)，在左图像902中为点1106(自光轴1108距离d4像素的位置)。同样，位于摄像机前方的点1101，被拍摄成右拍摄部108的拍摄面1105的点1107(自光轴1109距离为d3)，在右图像903中为点1107(自光轴1109距离d5像素的位置)。
像这样，同一物体1101在左图像902中被拍摄在从光轴1108向左d4像素的位置，在右图像903中被拍摄在从光轴1109向右d5的位置，产生d4+d5像素的视差。因此，设左拍摄部107的光轴1108与点1101的距离为x时，根据下式，能够求得从立体摄像装置105到点1101的距离D。
根据点1101与左拍摄部的关系可得d2:f＝x:D，
根据点1101与右拍摄部的关系可得d3:f＝(d-x):D，
从而得到D＝f*d/(d2+d3)＝f*d/{(d4+d5)*a}。此处，a为拍摄面1103、1105的拍摄元件的尺寸。
对于上述对应点计算处理S203中计算出的所有对应点实施上述距离计算。其结果，能够求得图12所示的距离图像。图12为左拍摄部107拍摄到的图像902。在上述对应点计算处理S203中，能够对图像902中的白线103、前方立体物101等具有图像特征的部分，求取左右图像902、903的对应点。
然后，在该距离计算处理S204中，如图12所示，能够求出白线103、前方立体物101与立体摄像装置105之间的距离。例如拍摄到白线103的像素1201、1202、1203的部分的距离为x1[m]、x2[m]、x3[m]。像这样，将针对对应点计算处理S203中算出的所有的对应点(像素)求得距离的数据称为距离图像。对于没有对应点的像素，视为没有距离数据。
然后，在图2的流程图的距离信息输出处理S205中，将该距离图像输出并保存在未图示的存储部中。最后，在图2的流程图的分支处理S206中，在存在来自左拍摄部107、右拍摄部108的图像输入信号的情况下，返回处理S201。在分支处理S206中，在没有来自左拍摄部107、右拍摄部108的图像输入信号的情况下，等待图像输入信号输入距离信息计算部109。
图3是表示白线检测部110进行的处理的内容的流程图。白线检测部110基于由左拍摄部107或者右拍摄部108拍摄的图像计算道路102上白线103的有无·位置·形状。首先，在左图像输入处理S301中，从立体摄像装置105的左拍摄部107输入拍摄车辆106的前方而得的图像。图像为灰度图像(浓淡图像)。
接着在边缘提取处理S302中，从左图像输入处理S301中输入的图像902中，提取具有道路102上的白线103的特征的边缘。例如，如图15所示，为了提取由左拍摄部107拍摄的道路102上的白线103的边缘，在左图像902中，设定区域处理窗1502(在图15中由虚线包围)。
在使左图像902的坐标系为图像的横方向为u轴1001、纵方向为v轴1002的情况下，处理窗1502是u轴1001方向上为图像902的横向的尺寸、v轴1002方向上为数像素的矩形。在该处理窗1502中，计算u轴方向的图像亮度的梯度，作为白线的边缘提取亮度梯度为某个固定值以上的部分。
在图15的图像902中，作为白线103的边缘，提取处理窗1502与白线103的交点部分1503、1504、1505。使处理窗1502在v轴1002方向上扫描，来对图像902整体进行提取白线边缘的处理。
接着在边缘方向判定处理S303中，将上述边缘提取处理S302中提取的所有白线103的边缘分组，将朝向消失点的方向的组判定为白线103的候补(候选)。此处消失点为立体摄像装置105的光轴方向(图13(b)的1304)。
接着在连续性判定处理S304中，对于上述边缘方向判定处理S303中分组后的白线候补，判定各相邻的边缘的连续性，将连续的边缘的组作为白线的候补。关于连续性的判定，其条件为，在图15的uv坐标系中，相邻边缘的u坐标值和v坐标值的差均较小。
而后在白线判定处理S305中，将上述连续性判定处理S304中分组后的白线候补的边缘，俯视变换为从上方来看车辆106的xz坐标系(图13(b))。然后，对于俯视变换后的边缘中车辆106的左侧的边缘(图13(b)的x值为负的区域)，使用最小二乘法等手法，拟合为
直线方程(z＝a3*x+b3或者x＝c3)，
或者
曲线方程(x＝r3*cosθ+x09，z＝r3*sinθ+z09)，
与直线方程一致的部分，将白线103表现为直线方程，与曲线方程一致的部分，将白线103表现为曲线方程。
与直线、曲线方程均不一致的情况下判定为这些边缘的组不是白线。对于上述俯视变换后的边缘中车辆106的右侧的边缘(图13(b)的x值为正的区域)，也进行同样的处理。
接着在白线检测结果输出处理S306中，输出上述白线判定处理S305中计算出的左右的白线103的方程。在到前一处理为止仍未检测出白线103的情况下，输出为无白线。
最后，在图3的流程图的分支处理S307中，在存在来自左拍摄部107的图像输入信号的情况下，返回处理S301。在分支处理S307中，在没有来自左拍摄部107的图像输入信号的情况下，等待图像输入信号输入白线检测部110。
图4是表示行驶路面计算部111进行的处理的内容的流程图。行驶路面计算部111基于来自白线检测部110和距离信息计算部109的信息，检测道路102的上下左右的倾斜。
首先，在白线检测结果取得处理S401中，输入由立体摄像装置105的白线检测部110进行的连续性判定处理(图3的304)中检测到的作为白线103的候补的边缘的坐标值(图15的uv坐标系)。
接着在距离信息取得处理S402中，输入由立体摄像装置105的距离信息计算部109进行的距离信息输出处理(图2的205)中输出的距离图像。
而后在白线·距离信息匹配处理S403中，将上述白线检测结果取得处理S401中取得的作为白线103的候补的边缘的坐标值，叠加到上述距离信息取得处理S402中取得的距离图像上。其结果，对作为白线103的候补的边缘，能够取得其与立体摄像装置105的距离。
接着在行驶路面计算处理S404中，使用道路102上存在白线103这一信息，计算表示道路102的上下左右的倾斜的行驶路面的方程。计算方程时，在追加了与图13(b)的xz平面垂直的轴y轴的xyz空间中进行计算。最后，在行驶路面计算结果输出处理S405中，输出上述行驶路面计算处理S404中计算出的行驶路面的方程。
图5是表示道路旁检测部112进行的处理的内容的流程图。道路旁检测部112，基于来自行驶路面计算部111和距离信息计算部109的信息，检测道路旁立体物104的有无·位置·形状。
首先，在行驶路面计算结果取得处理S501中，输入由立体摄像装置105的行驶路面计算部111进行的行驶路面计算结果输出处理(图4的S405)。接着在距离信息取得处理S502中，输入由立体摄像装置105的距离信息计算部109进行的距离信息输出处理(图2的S205)中输出的距离图像。
接着在道路旁立体物提取处理S504中，对上述距离信息取得处理S502取得的距离图像，和上述行驶路面计算结果取得处理S501取得的行驶路面进行比较，提取出自行驶路面具有某固定值以上高度的立体物。进而从提取的立体物中，将位于距光轴方向为行车道宽度一半的距离附近、向着消失点的方向的立体物分组，作为道路旁立体物的候补。
接着在立体物连续性判定处理S505中，对于上述道路旁立体物提取处理S504中分组后的道路旁立体物的候补，判定各相邻的立体物的连续性，将连续的边缘的组作为道路旁立体物104(参照图1)。关于连续性的判定，其条件为，在图15的uv坐标系，相邻的立体物的u坐标值和v坐标值的差均较小。
而后在道路旁计算处理S506中，进行计算表示道路旁立体物104的有无·位置·形状的方程的处理。此处，关于上述立体物连续性判定处理S505中提取的道路旁立体物104，俯视变换为从上方来看车辆106的xz坐标系(图13(b))。
接着，对于俯视变换后的立体物信息中车辆106的左侧(图13(b)中x值为负的区域)的道路旁立体物104，使用最小二乘法等手法，拟合为
直线方程(z＝a3*x+b3或者x＝c3)，或者
曲线方程(x＝r3*cosθ+x09，z＝r3*sinθ+z09)，
与直线方程一致的部分，将道路旁立体物104表现为直线方程，与曲线方程一致的部分，将道路旁立体物104表现为曲线方程。
与直线、曲线方程均不一致的情况下，最终判定为不是道路旁立体物104。对于上述俯视变换后的道路旁立体物104中车辆106的右侧(图13(b)中x值为正的区域)的道路旁立体物104，也进行同样的处理。最后，在道路旁检测结果输出处理S507中，输出上述道路旁计算处理S506中计算出的道路旁立体物104的方程。
图6是表示前方立体物检测部114进行的处理的内容的流程图。前方立体物检测部114基于来自距离信息计算部109的信息，计算道路102的消失点附近存在的前方立体物101的有无·位置。
首先，在距离信息取得处理S601中，输入由立体摄像装置105的距离信息计算部109输出的距离图像。此处的距离图像，在距离信息计算部109的流程图(图2)的距离信息输出处理S205中输出，对于拍摄为图像的各像素的数据，记载了距离摄像装置105的距离信息。
而后在前方立体物检测范围计算处S603中，计算在图13(a)所示的拍摄车辆106前方的左图像902(图像的横方向为u轴1001，纵方向为v轴1002)中检测前方立体物101的处理窗1305的位置。处理窗1305设定在行驶路102的消失点附近，其形状为矩形。
在白线检测部110检测出白线103的情况下，行驶路102的消失点为检测到的白线103的延长方向。在白线检测部110没有检测到白线103的情况下，为拍摄车辆106的前方的左图像902的光轴方向。处理窗1305的大小为能够纳入道路102的消失点方向的前方立体物101的程度的大小，本实施方式中，u轴1001方向的长度设定为图像的横向尺寸的1/3左右，v轴1002方向的长度设定为图像的纵向尺寸的1/5左右。
接着在前方立体物检测处理S604中，检测上述前方立体物检测范围计算处理S603中计算出的图13(a)的处理窗1305的范围内的立体物101。为此，对于处理窗1305内的所有像素，从上述距离信息取得处S601中取得的距离图像中，提取uv坐标值相同的像素的距离数据。没有距离数据的情况下，视为该像素无距离数据。
而后在移动物体除去处S607中，将上述前方立体物检测处理S604中检测到的立体物中在道路102上行驶的前方车辆、相向车辆作为噪声除去。为此，提取检测到的立体物的时序的数据，根据立体物的距离数据的变化和本车辆106的速度数据的变化，计算检测到的立体物与本车辆106的相对速度。在计算出的相对速度为接近本车辆106的值，并且，该相对速度的绝对值大于本车辆106的速度的绝对值的情况下，将检测到的立体物作为相向车辆除去。此外，在计算出的相对速度为远离本车辆106的值的情况下，将检测到的立体物作为前方车辆除去。
接着在前方立体物分布计算处理S605中，对于上述前方立体物检测处理S604中提取的图13(a)的处理窗1305内的距离数据，求取从上方来看车辆106的坐标系中的分布。图13(b)是将图13(a)的左图像902俯视变换使其成为从上方来看车辆106的坐标系的图，设车辆106的前进方向为z轴1304，与车辆的前进方向正交的车宽方向为x轴1311。
此处，将处理窗1305内的各像素的距离数据(自摄像机的距离)，投影到图13(b)的xz平面。投影的点为图13(b)的1301内的各点。此外，各像素的距离数据为图13(b)的坐标系中的z值。
图16是表示求取各像素的x值的方法的图。图16中，左拍摄部107是由透镜1102和拍摄面1103组成的焦距为f、光轴为z轴1603的摄像机，图13(b)的z轴1304和图16的z轴1603一致。
此外，当将包括图16的拍摄面1103，与z轴1603正交的垂直轴作为x轴1604时，图16的x轴1604与图13(b)的x轴1311一致。因此，图13(b)的1301内的各点的x值，与图16的点1601的x值X1相同。此处，点1601被拍摄在拍摄面1602的自光轴1603距离为X2的位置上。即，当设拍摄面1103的拍摄元件的尺寸的x轴1604方向上的尺寸为a时，点1601被拍摄在左图像902的自光轴1603距离为X3＝X2/a的像素的位置1605上。此处，设点1601与摄像机的透镜1102之间的距离为D1时，
能够用X2:f＝X1:D1
的表达式表示，从而，
X1＝D1*X2/f＝D1*X3*a/f。
此处，当设图13(a)的前方立体物101的图像902上的u轴的值为U1，图像902的u轴方向的尺寸为U2像素时，图16的X3等价于图13(a)的|U2/2-U1|。
此外图16的D1等价于图13(b)的1301内的点的距离数据(z值)。根据以上结果，能够将图13(a)的前方立体物101投影到图13(b)的坐标系，结果成为1301内的各点的xz坐标值。
接着，对于投影到图13(b)的xz坐标系的前方立体物101的分布1301，计算其线形的方向。为此，计算通过投影到xz坐标系的前方立体物101的各点附近的线段1306。
当使线段1306的表达式在xz坐标系中为z＝ax+b的情况下，以使前方立体物101的分布1301内的各点与z＝ax+b的距离的平方和最小的方式确定a和b。进而，提取1301内分布的各点的存在范围的x值，x1≤x≤x2。
最后在前方立体物分布信息输出处理S606中，将上述前方立体物分布计算处理S605中计算出的表达式z＝ax+b和x的范围x1≤x≤x2输出并保存。此外，同时也将前方立体物检测处理S604中计算出的与前方立体物101相关的各点的距离信息输出并保存。
图7是表示前方弯道推定部113进行的处理的内容的流程图。前方弯道推定部(道路线形推定部)113，基于来自白线检测部110和道路旁检测部112的信息，推定车辆前方的弯道的形状(道路的线形)。
首先在白线检测结果取得处理S701中，接收与白线检测部110的白线检测结果输出处理S306(图3)中输出的车辆106前方的白线103的位置和形状相关的数据。接着，在道路旁检测结果取得处理S702中，接收与道路旁检测部112的道路旁检测结果输出处理S507中输出的沿着车辆106前方的道路102的道路旁立体物104的位置和形状相关的数据。
而后，在近距离道路线形计算处理S703中，使用上述白线检测结果取得处理S701和道路旁检测结果取得处理S702中取得的数据，计算道路102中距离车辆106较近的部分即近距离部分的道路线形。
在存在白线检测结果、不存在道路旁检测结果的情况下，仅根据白线检测结果计算近距离部分的道路线形。而在不存在白线检测结果、存在道路旁检测结果的情况下，仅根据道路旁检测结果计算近距离部分的道路线形。在白线检测结果、道路旁检测结果双方均不存在的情况下，不进行本处理，前进至下一步。
图17是从上方来看车辆106和道路102的图，与图13(b)相同，用xz坐标系表现。此处，图17中的符号1701、1702为白线检测结果。
白线检测结果1701为能够用直线方程1705(z＝a1*x+b1或者x＝c1(x01≤x≤x02))表现的部分，白线检测结果1702为能够用曲线方程1706(x＝r1*cosθ+x03，z＝r1*sinθ+z03(θ01≤θ≤θ02))表现的部分。
图17所示的例子的情况下，上述直线方程1705和曲线方程1706合起来为近距离部分的道路线形。在白线检测结果仅有直线的情况下，近距离部分的道路线形仅为直线方程1705。此外，在白线检测结果仅有曲线的情况下，近距离部分的道路线形仅为曲线方程1706。
此外，在如图17的白线检测结果1704所示，同时检测到与白线1701、1702成对的白线1704的情况下，将它们一起输出。进而，本处理中，在近距离部分的道路线形的表达式包括z≥z05的部分的情况(距离车辆106较远的部分)下，删除z≥z05的部分后输出。此处z05为根据白线检测结果的可靠度、白线检测结果的历史记录等来看，白线检测结果具有可靠性的临界点。此外，在输出近距离部分的道路线形时，对于算出的道路线形，也输出距离车辆106最远的点1703的坐标值(x04，z04)。
另一方面，在白线检测结果和道路旁检测结果两者都存在的情况下，使用白线检测结果和道路旁检测结果两者来计算近距离部分的道路线形。图18是从上方来看车辆106和道路102的图，与图13(b)相同，用xz坐标系表现。此处，1801和1802为白线检测结果，1803为道路旁检测结果。
对于白线检测结果1801和1802，与上述图17相同，白线检测结果1801为能够用直线表现的部分，白线检测结果1802为能够用曲线表现的部分，根据检测结果，也存在为1801、1802中任一方的情况。
道路检测结果1803，也与白线检测结果1801、1802相同，用直线方程1804(z＝a2*x+b2或者x＝c2(x05≤x≤x06))，或者曲线方程1805(x＝r2*cosθ+x07，z＝r2*sinθ+z07(θ03≤θ≤θ04))表现。
在本处理中，将上述白线检测结果1801、1802、道路检测结果1803的方程一起输出作为近距离部分的道路线形。并且，与图17的情况相同，在近距离部分的道路线形的表达式包括z≥z05的部分的情况下(距离车辆106较远的部分)，删除z≥z05的部分后输出。而且，在输出近距离部分的道路线形时，也输出计算出的道路线形中距离车辆106最远的点1806的坐标值(x08，z08)。
接着，在前方立体物分布信息取得处理S705中，接收前方立体物检测部114的前方立体物分布信息输出处理S606(图6)中输出的关于前方立体物101的分布的数据。
接着，在远距离道路线形推定处S706中，使用上述前方立体物分布信息取得处理S705中取得的信息，推定道路102中远距离部分的道路线形。在图13(b)中，点1307、1308为上述近距离道路线形计算处理S703中计算出的近距离道路线形的距离车辆106最远的最远点(图17的1703，图18的1806)。
另一方面，前方立体物分布信息为图13(b)的线段1306(表达式z＝ax+b和x的范围x1≤x≤x2)。使用上述最远点1307、1308、线段1306的信息，推定远距离道路线形。此处，首先输出线段1306的端点(1309、1310)的坐标。接着计算连接最远点1307和端点1309的曲线、连接最远点1307和端点1310的曲线、连接最远点1308和端点1309的曲线、连接最远点1308和端点1310的曲线的方程。使曲线方程为圆的方程，将与图17、图18所示的方程1702、1803相连接作为约束条件。
此处，在不存在近距离道路线形计算结果的情况下，最远点1307的坐标值(x08，z08)在设行车道的标准宽度为L1时为x08＝-L1/2、z08＝z05(上述近距离道路线形计算处理S703中计算出的值)，同样，最远点1308的坐标值(x08，z09)为x09＝L1/2、z09＝z05。进而，作为与方程1702、1803相当的表达式，设通过最远点1307的表达式为x＝x08，通过最远点1308的表达式为x＝x09，假设近距离道路线形为直线来进行本处理。
最后，在前方弯道信息输出处理S708中，将上述近距离道路线形计算处理S703中求出的直线、曲线方程中的曲线方程，和远距离道路线形推定处理S705中求出的曲线方程分别输出到车辆106上搭载的车辆控制装置117。
图8是表示刹车控制判定部116进行的处理的内容的流程图。刹车控制判定部116基于来自前方立体物检测部114的信息判定是否需要车辆106的自动刹车控制。
首先，在前方立体物检测信息取得处理S801中，接收由前方立体物检测部114的前方立体物分布信息输出处理S606(图6)输出的关于前方立体物101的数据。
接着在学习数据取得处理S802中，输入刹车控制学习数据115。此处对刹车控制学习数据115进行说明。该学习数据是学习了上述前方立体物检测信息取得处理S801中取得的前方立体物的分布(图13(b)的线段1306的方程)、从车辆106到前方立体物(图13(b)的线段1306)的距离、车辆106的速度和车辆106的驾驶者的刹车操作开/关(On/Off)的关系而得的。
即，图14所示的动态贝叶斯网络中，A(t)1402是作为前方立体物的分布的输出的图13(b)的线段1306的倾斜，D(t)1403是从图13(b)的车辆106到线段1306的距离，S(t)1404是车辆106的速度，B(t)1401是车辆106的驾驶者(司机)进行的刹车操作的开/关的几率。
此外，A(t+1)、D(t+1)、S(t+1)、B(t+1)分别为A(t)、D(t)、S(t)、B(t)的时序的数据。即，在动态贝叶斯网络中，B(t)相当于“状态”，A(t)、D(t)、S(t)相当于“观测值”。通过学习这些值，能够分别如P(B(t+1)|B(t))、P(A(t)|B(t))、P(D(t)|B(t))、P(S(t)|B(t))所示地求得先验几率(先验概率)。这些先验几率作为刹车控制学习数据115，在将本装置搭载在产品上之前事先生成。此外，将本装置搭载在产品上后，还能够基于驾驶者的手动刹车操作的历史记录数据，更新刹车控制学习数据115的内容。
接着在刹车控制几率计算处理S803中，使用上述学习数据取得处理S802中取得的刹车控制学习数据115，和当前的观测值A(t)、D(t)、S(t)，计算在这些各观测值的状态下，是否存在与车辆106的驾驶者手动进行刹车控制的可能性相关的几率B(t)。
在该几率B(t)的值高于预先设定的基准值的情况下，则车辆106的驾驶者在观测值A(t)、D(t)、S(t)的状态下进行刹车操作的可能性较高，最好进行自动刹车控制。
最后，在刹车控制判定输出处理S804中，将上述刹车控制几率计算处理S803中计算出的是否最好进行自动刹车控制的判定，以刹车开/关几率B(t)的形式，输出到车辆106上搭载的车辆控制装置117。
接着，说明车辆106上搭载的车辆控制装置117进行的处理。车辆控制装置117进行在弯道之前控制刹车以使本车减速的自动刹车控制，接收来自立体摄像装置105的前方弯道推定部113和刹车控制判定部116的数据。
接收的数据的内容中，来自前方弯道推定部113的是关于车辆106前方的弯道的线形的数据，在图7的流程图的前方弯道信息输出处理S707中输出。另一方面，从刹车控制判定部116接收的数据是与车辆106是否需要进行自动刹车控制相关的几率数据，在图8的流程图的刹车控制判定输出处理S804中输出。
车辆控制装置117具有的CPU，基于这些来自立体摄像装置105的数据，将是否进行自动刹车控制的信号，发送到未图示的刹车装置的致动器。
在存在前方弯道推定部113和刹车控制判定部116两者的数据的情况下，基于前方弯道推定部113的数据，判断是否进行自动刹车控制。在只存在某一个的数据的情况下，基于接收到的数据进行判断。在两者均无数据的情况下，不执行自动刹车控制。
根据上述立体摄像装置105，基于前方立体物检测部114的前方立体物101的检测结果，能够推定道路102的远距离部分的道路线形，或者道路102的远距离部分和近距离部分的道路线形。从而，不会产生白线103和道路旁立体物104难以检测的状况或受到其有无的影响，能够在进入需要刹车控制的弯道之前进行自动减速控制。
此外，因为是基于前方立体物检测部114的前方立体物101的检测结果来判断是否进行刹车控制的，所以车辆控制装置117能够在进入需要刹车控制的弯道之前进行自动刹车控制。
本发明不限于上述实施方式，在不脱离本发明的主旨的范围内能够进行各种变更。例如，在上述实施方式中，作为道路旁立体物104的示例说明了护栏的情况，但也可以将与道路102之间设有高低差部的人行道检测为道路旁立体物。

Claims (7)

1.一种具有拍摄本车的行驶道路前方的多个拍摄部的摄像装置，其特征在于，包括：
基于由所述多个拍摄部拍摄的图像，对所述行驶道路的消失点附近存在的前方立体物进行检测的前方立体物检测部；和
基于由该前方立体物检测部检测到的检测结果，推定所述行驶道路中的远距离部分的道路线形的道路线形推定部。
2.如权利要求1所述的摄像装置，其特征在于：
所述前方立体物检测部，对所述前方立体物进行检测，并计算该检测到的前方立体物的分布，
所述道路线形推定部，基于由所述前方立体物检测部计算出的所述前方立体部的分布，推定所述远距离部分的道路线形。
3.如权利要求1或者2所述的摄像装置，其特征在于，包括：
对所述行驶道路的白线进行检测的白线检测部，
所述道路线形推定部，基于由所述白线检测部检测到的检测结果，推定所述行驶道路中的近距离部分的道路线形。
4.如权利要求1或者2所述的摄像装置，其特征在于，包括：
对沿着所述行驶道路的道路旁配置的道路旁立体物进行检测的道路旁检测部，
所述道路线形推定部，基于由所述道路旁检测部检测到的检测结果，推定所述行驶道路中的近距离部分的道路线形。
5.如权利要求1或者2所述的摄像装置，其特征在于，包括：
对所述行驶道路的白线进行检测的白线检测部；和
对沿着所述行驶道路的道路旁配置的道路旁立体物进行检测的道路旁检测部，
所述道路线形推定部，基于由所述白线检测部检测到的检测结果和由所述道路旁检测部检测到的检测结果中的至少一者，推定所述行驶道路中的近距离部分的道路线形。
6.一种具有拍摄本车的行驶道路前方的多个拍摄部的摄像装置，其特征在于，包括：
基于由所述多个拍摄部拍摄的图像，对所述行驶道路的消失点附近存在的前方立体物进行检测，并计算所述前方立体物的分布的前方立体物检测部；和
基于由该前方立体物检测部计算出的所述前方立体物的分布、从所述本车到所述前方立体物的距离和所述本车的车速，判定是否需要进行所述本车的刹车控制的刹车控制判定部。
7.如权利要求6所述的摄像装置，其特征在于：
具有对所述前方立体物的分布、从所述本车到所述前方立体物的距离、所述本车的车速和车辆驾驶者的刹车操作的关系进行预先学习而得的刹车控制学习数据，
所述刹车控制判定部，基于所述刹车控制学习数据、所述前方立体物的分布、从所述本车到所述前方立体物的距离和所述本车的车速的各观测值，计算关于是否存在所述车辆驾驶者进行刹车控制的可能性的几率，在该几率高于预先设定的基准值的情况下，判定为需要进行所述刹车控制。
CN200980147715.7A 2008-11-28 2009-11-19 摄像装置 Active CN102227758B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008304957A JP5074365B2 (ja) 2008-11-28 2008-11-28 カメラ装置
JP2008-304957 2008-11-28
PCT/JP2009/069613 WO2010061773A1 (ja) 2008-11-28 2009-11-19 カメラ装置

Publications (2)

Publication Number Publication Date
CN102227758A true CN102227758A (zh) 2011-10-26
CN102227758B CN102227758B (zh) 2015-02-25

Family

ID=42225649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980147715.7A Active CN102227758B (zh) 2008-11-28 2009-11-19 摄像装置

Country Status (5)

Country Link
US (2) US20110261168A1 (zh)
EP (1) EP2372669B1 (zh)
JP (1) JP5074365B2 (zh)
CN (1) CN102227758B (zh)
WO (1) WO2010061773A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366156A (zh) * 2012-04-09 2013-10-23 通用汽车环球科技运作有限责任公司 道路结构检测和跟踪
WO2015010451A1 (zh) * 2013-07-22 2015-01-29 浙江大学 一种从单幅图像检测道路的方法
CN104520894A (zh) * 2012-06-19 2015-04-15 丰田自动车株式会社 路旁物检测装置
CN104781829A (zh) * 2012-08-29 2015-07-15 罗伯特·博世有限公司 用于识别车辆在车道上的位置的方法和设备
CN104937648A (zh) * 2013-01-25 2015-09-23 丰田自动车株式会社 道路环境识别系统
CN107209998A (zh) * 2015-01-21 2017-09-26 株式会社电装 车道线识别装置
CN107305688A (zh) * 2016-04-15 2017-10-31 株式会社理光 检测道路消失点的方法、装置和系统
CN107845290A (zh) * 2016-09-21 2018-03-27 意法半导体股份有限公司 交叉路口警报方法、处理系统、交叉路口警报系统及车辆
CN109543636A (zh) * 2018-11-29 2019-03-29 连尚（新昌）网络科技有限公司 一种用于检测道路急弯的方法与设备
CN110088803A (zh) * 2016-12-26 2019-08-02 日立汽车系统株式会社 摄像装置
CN110198871A (zh) * 2017-02-16 2019-09-03 日立汽车系统株式会社 车载控制装置
CN110462682A (zh) * 2017-03-30 2019-11-15 三菱电机株式会社 物体检测装置以及车辆

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9118816B2 (en) * 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
US9409554B2 (en) * 2011-07-19 2016-08-09 Continental Teves Ag & Co. Ohg Method for improving the driving stability
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
JP5916444B2 (ja) * 2012-03-08 2016-05-11 日立建機株式会社 鉱山用車両
JP5492242B2 (ja) * 2012-03-29 2014-05-14 富士重工業株式会社 車両用運転支援装置
SE537647C2 (sv) * 2012-03-29 2015-09-08 Scania Cv Ab Förfarande och system för bedömning av förarbeteende vid bromsning av fordon
JP5930806B2 (ja) * 2012-03-30 2016-06-08 富士通テン株式会社 検知装置、及び検知方法
JP2014026396A (ja) * 2012-07-25 2014-02-06 Ricoh Co Ltd 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム
JP5754470B2 (ja) * 2012-12-20 2015-07-29 株式会社デンソー 路面形状推定装置
EP2747055B1 (en) * 2012-12-21 2016-05-04 Mikael Bäckström Method and system for generating a driver support product for a racing driver
US8897548B2 (en) * 2013-04-02 2014-11-25 National Chung Cheng University Low-complexity method of converting image/video into 3D from 2D
DE112015002483T5 (de) * 2014-05-28 2017-02-23 Kyocera Corporation Objektdetektionsvorrichtung und Fahrzeug, das mit einer Objektdetektionsvorrichtung versehen ist
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
JP6548893B2 (ja) * 2014-11-18 2019-07-24 日立オートモティブシステムズ株式会社 走行路認識装置及びそれを用いた走行支援システム
DE102015200182A1 (de) * 2015-01-09 2016-07-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion einer Durchfahrt eines Kraftfahrzeuges durch ein Verkehrszeichentor
CN108027976B (zh) 2015-09-11 2021-10-29 富士胶片株式会社 行驶支援装置以及基于行驶支援装置的行驶支援方法
JP6607764B2 (ja) * 2015-11-04 2019-11-20 日立オートモティブシステムズ株式会社 撮像装置
JP6726052B2 (ja) * 2015-11-20 2020-07-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理方法およびプログラム
KR102502451B1 (ko) 2016-01-07 2023-02-22 삼성전자주식회사 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치
US20170309181A1 (en) * 2016-04-26 2017-10-26 Hyundai Motor Company Apparatus for recognizing following vehicle and method thereof
EP3489928A4 (en) * 2016-07-22 2020-03-25 Hitachi Automotive Systems, Ltd. DEVICE FOR CALCULATING TRAVEL LIMITS AND DRIVING AID SYSTEM THEREFOR
CN106407893B (zh) * 2016-08-29 2019-11-22 东软集团股份有限公司 一种检测车道线的方法、装置和设备
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
US10670725B2 (en) * 2017-07-25 2020-06-02 Waymo Llc Determining yaw error from map data, lasers, and cameras
JP7053211B2 (ja) * 2017-10-04 2022-04-12 株式会社Soken 運転支援装置
CN108256446B (zh) * 2017-12-29 2020-12-11 百度在线网络技术（北京）有限公司 用于确定道路中的车道线的方法、装置和设备
KR20200113915A (ko) * 2019-03-27 2020-10-07 주식회사 만도 차량 제어 장치 및 방법
JP7359715B2 (ja) 2020-02-14 2023-10-11 株式会社Soken 道路形状推定装置
KR20230046838A (ko) 2021-09-30 2023-04-06 코스맥스 주식회사 아크릴레이트계 공중합체를 포함하는 메이크업용 화장료 조성물

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981734A (ja) * 1995-09-08 1997-03-28 Mitsubishi Electric Corp 画像処理装置
CN1218355A (zh) * 1998-11-24 1999-06-02 杨更新 汽车自动驾驶系统
JPH11213138A (ja) * 1998-01-30 1999-08-06 Fuji Heavy Ind Ltd 車外監視装置
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
JP2001010518A (ja) 1999-06-25 2001-01-16 Honda Motor Co Ltd 車両用操舵制御装置
JP3427809B2 (ja) 2000-03-09 2003-07-22 株式会社デンソー 車両用道路形状認識方法及び装置、記録媒体
JP4230124B2 (ja) * 2001-04-20 2009-02-25 富士重工業株式会社 車両運動制御装置
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
JP2008304957A (ja) 2007-06-05 2008-12-18 Renesas Technology Corp 生産計画調整システムおよび生産計画調整方法
JP2009041972A (ja) * 2007-08-07 2009-02-26 Toshiba Corp 画像処理装置及びその方法
JP4801821B2 (ja) * 2007-09-21 2011-10-26 本田技研工業株式会社 道路形状推定装置
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981734A (ja) * 1995-09-08 1997-03-28 Mitsubishi Electric Corp 画像処理装置
JPH11213138A (ja) * 1998-01-30 1999-08-06 Fuji Heavy Ind Ltd 車外監視装置
CN1218355A (zh) * 1998-11-24 1999-06-02 杨更新 汽车自动驾驶系统
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366156B (zh) * 2012-04-09 2016-08-17 通用汽车环球科技运作有限责任公司 道路结构检测和跟踪
CN103366156A (zh) * 2012-04-09 2013-10-23 通用汽车环球科技运作有限责任公司 道路结构检测和跟踪
CN104520894A (zh) * 2012-06-19 2015-04-15 丰田自动车株式会社 路旁物检测装置
CN104781829A (zh) * 2012-08-29 2015-07-15 罗伯特·博世有限公司 用于识别车辆在车道上的位置的方法和设备
CN104781829B (zh) * 2012-08-29 2018-05-01 罗伯特·博世有限公司 用于识别车辆在车道上的位置的方法和设备
CN104937648A (zh) * 2013-01-25 2015-09-23 丰田自动车株式会社 道路环境识别系统
WO2015010451A1 (zh) * 2013-07-22 2015-01-29 浙江大学 一种从单幅图像检测道路的方法
CN107209998A (zh) * 2015-01-21 2017-09-26 株式会社电装 车道线识别装置
CN107305688B (zh) * 2016-04-15 2020-10-27 株式会社理光 检测道路消失点的方法、装置和系统
CN107305688A (zh) * 2016-04-15 2017-10-31 株式会社理光 检测道路消失点的方法、装置和系统
CN107845290B (zh) * 2016-09-21 2021-07-27 意法半导体股份有限公司 交叉路口警报方法、处理系统、交叉路口警报系统及车辆
CN107845290A (zh) * 2016-09-21 2018-03-27 意法半导体股份有限公司 交叉路口警报方法、处理系统、交叉路口警报系统及车辆
CN110088803A (zh) * 2016-12-26 2019-08-02 日立汽车系统株式会社 摄像装置
CN110088803B (zh) * 2016-12-26 2023-05-12 日立安斯泰莫株式会社 摄像装置
CN110198871A (zh) * 2017-02-16 2019-09-03 日立汽车系统株式会社 车载控制装置
CN110198871B (zh) * 2017-02-16 2021-10-15 日立汽车系统株式会社 车载控制装置
US11760322B2 (en) 2017-02-16 2023-09-19 Hitachi Astemo, Ltd. On-vehicle control device
CN110462682A (zh) * 2017-03-30 2019-11-15 三菱电机株式会社 物体检测装置以及车辆
CN110462682B (zh) * 2017-03-30 2023-05-02 三菱电机株式会社 物体检测装置以及车辆
CN109543636A (zh) * 2018-11-29 2019-03-29 连尚（新昌）网络科技有限公司 一种用于检测道路急弯的方法与设备

Also Published As

Publication number Publication date
EP2372669B1 (en) 2020-08-19
CN102227758B (zh) 2015-02-25
US20110261168A1 (en) 2011-10-27
EP2372669A4 (en) 2013-10-30
US20140118504A1 (en) 2014-05-01
EP2372669A1 (en) 2011-10-05
JP2010128949A (ja) 2010-06-10
JP5074365B2 (ja) 2012-11-14
WO2010061773A1 (ja) 2010-06-03

Similar Documents

Publication Publication Date Title
CN102227758A (zh) 摄像装置
US11816991B2 (en) Vehicle environment modeling with a camera
CN108351207B (zh) 立体相机装置
CN102555940B (zh) 行驶支援系统、行驶支援程序及行驶支援方法
US20210365699A1 (en) Geometry-aware instance segmentation in stereo image capture processes
JP5471310B2 (ja) 運転解析システム
US9399463B2 (en) Automatic tracking collision avoidance system and method thereof
US20190152487A1 (en) Road surface estimation device, vehicle control device, and road surface estimation method
KR101613667B1 (ko) ３차원 카메라를 이용한 차종 분류장치
WO2017145605A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US20210394749A1 (en) Arithmetic operation device for vehicle
US20170344021A1 (en) Information processing apparatus, vehicle, and information processing method
JP6936098B2 (ja) 対象物推定装置
JP3961584B2 (ja) 区画線検出装置
JP6456499B2 (ja) 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法
JP6815963B2 (ja) 車両用外界認識装置
CN112061138A (zh) 车辆偏心率映射
US20200193184A1 (en) Image processing device and image processing method
US11734845B2 (en) System and method for self-supervised monocular ground-plane extraction
CN112861599A (zh) 用于对道路上的对象进行分类的方法和设备、计算机程序及存储介质
US11551457B2 (en) Vehicle external environment recognition apparatus
CN112400094B (zh) 物体探测装置
JP7134780B2 (ja) ステレオカメラ装置
CN111824163A (zh) 用于确定道路的曲线的方法和设备
JP2019160251A (ja) 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Ibaraki

Patentee after: Hitachi astemo Co.,Ltd.

Address before: Ibaraki

Patentee before: HITACHI AUTOMOTIVE SYSTEMS, Ltd.

CP01 Change in the name or title of a patent holder