CN110949254A - 车辆的行驶环境检测装置及行驶控制系统 - Google Patents

车辆的行驶环境检测装置及行驶控制系统 Download PDF

Info

Publication number
CN110949254A
CN110949254A CN201910481468.XA CN201910481468A CN110949254A CN 110949254 A CN110949254 A CN 110949254A CN 201910481468 A CN201910481468 A CN 201910481468A CN 110949254 A CN110949254 A CN 110949254A
Authority
CN
China
Prior art keywords
camera
image processing
stereo
image
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910481468.XA
Other languages
English (en)
Inventor
由川辉
皆川雅俊
吉村礁太
高桥一辉
茂木启辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of CN110949254A publication Critical patent/CN110949254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供车辆的行驶环境检测装置及行驶控制系统。不仅准确检测存在于车辆的前方的对象物，还准确检测存在于前方的左右的对象物来计算行驶控制所需的距离信息。利用第一立体图像处理部对在车辆的车宽方向上配置的立体照相机的图像进行处理来计算水平方向的视差，生成距离图像。另外，利用第二立体图像处理部对在车高方向上配置的立体照相机的图像分别进行处理来计算垂直方向的视差，生成距离图像。然后，利用图像综合部对立体照相机的各距离图像进行综合，不仅获取存在于车辆的前方的多个对象物的距离信息，还获取存在于前方的左右的多个对象物的距离信息，识别行驶环境。行驶控制装置基于根据综合图像信息识别到行驶环境来实施行驶控制。

Description

车辆的行驶环境检测装置及行驶控制系统
技术领域
本发明涉及基于由立体照相机拍摄了车辆的外部环境而得的图像来识别车辆的行驶环境的车辆的行驶环境检测装置及行驶控制系统。
背景技术
在汽车等车辆中，利用照相机拍摄前方的车外风景并通过图像处理来识别行驶环境，针对前方障碍物的碰撞避免和/或针对前行车辆的跟随控制、针对摇晃和车道偏离的警报控制和/或转向控制等针对驾驶员的各种辅助控制得到实用化，另外，无需驾驶员进行驾驶操作的自动驾驶技术也得到实用化。
特别是如专利文献1所公开，在使用立体照相机的图像识别技术中，能够计算到对象物为止的距离信息并三维地识别对象物，能够进行包括车辆的自动驾驶的高级的驾驶辅助。
现有技术文献
专利文献
专利文献1：日本特开平7-192199号公报
发明内容
技术问题
在专利文献1中，在车辆搭载有近距离用和远距离用的2组立体照相机，可以检测到在行进方向上的广范围的对象物。然而，针对在车辆前方的左右存在的多个对象物，例如在本车辆前方的前行车辆的侧方行驶的两轮车辆和/或自行车、路边的行人等，考虑到照相机存在盲区，可以说专利文献1的技术未必足够。
特别是，在由配置于车辆左右的2台照相机构成的立体照相机中，有时会出现隐藏在物体后面等而虽然显示在一个照相机的图像中但是没有显示在另一个照相机的图像中的区域，即所谓的遮挡区域，使得局部无法计算距离信息。该遮挡的问题仅通过单纯地使照相机的视野广角化是无法解决的，如果产生距离信息的局部缺失，则难以进行顺畅的行驶控制。
本发明是鉴于上述情况而完成的，目的在于提供不仅能够准确地检测存在于车辆的前方的对象物，还能够准确地检测存在于前方的左右的对象物并计算行驶控制所需的距离信息的车辆的行驶环境检测装置及行驶控制系统。
技术方案
本发明的一个方式的车辆的行驶环境检测装置基于拍摄了车辆的外部环境而得的车外图像来识别车辆的行驶环境，上述车辆的行驶环境检测装置具备：第一立体照相机，其由在车辆的车宽方向上配置的第一照相机和第二照相机构成；第二立体照相机，其由上述第一立体照相机的上述第一照相机和相对于上述第一照相机在车高方向上配置的第三照相机构成；第三立体照相机，其由上述第一立体照相机的上述第二照相机和相对于上述第二照相机在车高方向上配置的第四照相机构成；第一立体图像处理部，其对由上述第一立体照相机拍摄到的图像进行立体图像处理来计算距离信息；第二立体图像处理部，其对由上述第二立体照相机拍摄到的图像进行立体图像处理来计算距离信息；第三立体图像处理部，其对由上述第三立体照相机拍摄到的图像进行立体图像处理来计算距离信息；以及图像综合部，其综合上述第一立体图像处理部的图像处理信息、上述第二立体图像处理部的图像处理信息和上述第三立体图像处理部的图像处理信息来识别上述行驶环境。
本发明的一个方式的车辆的行驶控制系统具备行驶控制装置，上述行驶控制装置基于由上述方式的车辆的行驶环境检测装置中的上述图像综合部识别到的上述行驶环境实施包括加减速和转向的行驶控制。
发明效果
根据本发明，不仅能够准确地检测存在于车辆的前方的对象物，还能够准确地检测存在于前方的左右的对象物而计算行驶控制所需的距离信息。
附图说明
图1是表示车辆的行驶控制系统的构成图。
图2是表示车载的多组立体照相机的配置的说明图。
图3是通过立体照相机进行的测距的说明图。
图4是表示立体照相机的遮挡区域的说明图。
图5是表示各立体照相机的检测区域的说明图。
图6是表示前行车辆跟随行驶中的各立体照相机的检测对象的说明图。
图7是表示行驶控制系统的动作的流程图。
符号说明
ST1：第一立体照相机
ST2：第二立体照相机
ST3：第三立体照相机
1a：第一照相机
1b：第二照相机
1c：第三照相机
1d：第四照相机
2A、2B、2C、2D：图像检测部
3A：第一立体图像处理部
3B：第二立体图像处理部
3C：第三立体图像处理部
3D：异常时图像处理部
4：图像综合部
10：行驶环境检测装置
50：行驶控制装置
100：行驶控制系统
具体实施方式
以下，参照附图说明本发明的实施方式。在图1中，符号100表示车辆C(参照图2)的行驶控制系统，以检测车辆C的行驶环境的行驶环境检测装置10、以及实施行驶控制的行驶控制装置50为主要部分而构成，所述行驶控制包含基于来自行驶环境检测装置10的信息的驾驶辅助和/或自动驾驶。行驶环境检测装置10对利用从不同的视角对同一对象物进行拍摄的立体照相机拍摄到的车辆C的车外风景的图像进行处理而计算直到对象物为止的距离，将基于算出的距离而识别到的对象物的大小和/或形状等信息输出到行驶控制装置50。
在车辆C搭载有多组立体照相机，在本实施方式中，主要搭载有作为检测对象的区域不同的3组立体照相机ST1、ST2、ST3。各立体照相机ST1、ST2、ST3分别是由具有CCD和/或CMOS等拍摄元件且快门速度能够同步的2台照相机构成的双眼图像的立体照相机，彼此的光轴平行并以预定的基线长度固定，例如设置于车室内上部的前窗内侧。
具体而言，如图2所示，在车辆C搭载第一照相机1a、第二照相机1b、第三照相机1c、第四照相机1d这4台照相机，将第一照相机1a、第二照相机1b、第三照相机1c、第四照相机1d这4台照相机中的2台照相机组合而构成在通常的状态下使用的3组立体照相机，即第一立体照相机ST1、第二立体照相机ST2、第三立体照相机ST3。应予说明，以下，将第一照相机1a、第二照相机1b、第三照相机1c、第四照相机1d简称为照相机1a、1b、1c、1d，将第一立体照相机ST1、第二立体照相机ST2、第二立体照相机ST3简称为立体照相机ST1、ST2、ST3。
立体照相机ST1是将照相机1a、1b这2台照相机在车辆C的车宽方向上配置而以车辆前方的主要范围为检测范围的主立体照相机。另外，立体照相机ST2、ST3是相对于立体照相机ST1的照相机1a、1b而将照相机1c、1d在车辆C的高度方向上配置而构成的、用于补偿立体照相机ST1的未检测区域的副立体照相机。应予说明，如后所述，4台照相机中的除了立体照相机ST1、ST2、ST3以外的组合、包含1台照相机单独的单眼图像在内，用作异常发生时的紧急用的照相机。
详细而言，立体照相机ST1由以车辆C的车宽方向(横向)为水平方向并以基线长L1配置的焦点距离f的照相机1a、1b构成。在本实施方式中，照相机1a、1b被机械调节和电调节为，成为彼此的光轴平行而使拍摄面一致并且彼此的拍摄面的横轴方向(水平扫描线方向)一致(不相互旋转)的配置。
另外，立体照相机ST2以车辆C的高度方向(纵向)作为垂直方向，由立体照相机ST1的一个照相机1a和在垂直方向上配置于照相机1a的下方的照相机1c构成。在本实施方式中，照相机1c被机械调节和电调节为，成为以与照相机1a相同的焦点距离f且使彼此的光轴平行地使拍摄面一致并且彼此的拍摄面的纵轴方向(垂直扫描线方向)一致(不相互旋转)的配置。
同样地，立体照相机ST3以车辆C的高度方向作为垂直方向，由立体照相机ST1的另一个照相机1b和在垂直方向上配置于照相机1b的下方的焦点距离f的照相机1d构成。在本实施方式中，照相机1b、1d以与照相机1a、1c同样的关系配置，照相机1a、1c的基线长与照相机1b、1d的基线长以成为相同的基线长L2的方式配置。应予说明，照相机1c与照相机1d的光轴间隔成为与照相机1a与照相机1b的基线长L1相同的间隔。
这样的4台照相机1a、1b、1c、1d以不妨碍驾驶员的视野的方式例如设置于车室内上部的前窗内侧的支柱附近。对于各照相机1a、1b、1c、1d，各照相机彼此介由撑条等固定或者介由撑条等固定于窗端部的支柱和/或顶棚前端的车体部件。
行驶环境检测装置10与各照相机1a、1b、1c、1d相对应地具备图像检测部2A、2B、2C、2D、第一立体图像处理部3A、第二立体图像处理部3B、第三立体图像处理部3C、异常时图像处理部3D、图像综合部4。行驶控制装置50根据基于来自图像综合部4的信息的行驶环境来实施最佳的行驶控制。
图像检测部2A、2B、2C、2D对照相机进行预处理和各种校正处理来检测立体图像处理的原始图像。该原始图像由以图像的左下角为原点，以水平方向为i坐标轴，以垂直方向为j坐标轴的i-j坐标系表示，将一方作为立体图像处理时的基准图像，将另一方作为比较图像，在输入图像存储器的预定的地址处存储一对照相机图像(数字图像)。
图像检测部2A、2B、2C、2D中的处理除了处理对象为照相机的图像以外，基本上是相同的处理。即，图像检测部2A对立体照相机ST1(照相机1a、1b)的图像进行处理，图像检测部2B对立体照相机ST2(照相机1a、1c)的图像进行处理，图像检测部2C对立体照相机ST3(照相机1b、1d)的图像进行处理。另外，图像检测部2D在发生异常时作为立体照相机对能够正常使用的照相机的图像进行处理。
作为针对照相机进行的预处理，例如有照相机的电子快门控制、放大器的增益/偏移的控制和调节、通过查找表(LUT)进行的包括γ校正等在内的亮度校正和/或阴影校正等。另外，作为针对照相机的图像进行的校正处理，有图像处理坐标的设定、图像尺寸调节、设定存储器地址控制等中的各种参数的参数设定、用于与一对拍摄图像相对应地校正包括透镜畸变的光学的位置偏移的仿射校正、进行噪声除去处理等的滤波校正等。
第一立体图像处理部3A针对立体照相机ST1(照相机1a、1b)的一对图像进行立体匹配处理，计算到对象物为止的距离。众所周知，在通过立体法进行的距离测量中，如图3所示，如果将相对于由立体照相机ST1拍摄到的基准图像的比较图像的对应点的偏移量(视差)记为d(d＝比较图像侧的像素偏移量dpL+基准图像侧的像素偏移量dpR)，将拍摄基准图像的基准照相机与拍摄比较图像的比较照相机之间的光轴间隔(基线长)记为L，将透镜的焦点距离记为f，则从透镜中心到对象物P为止的距离Z如下所示，可以通过从基于三角测量原理的(1)式的关系导出的(2)式而求出。
Z：L＝f：dp…(1)
Z＝L×f/dp…(2)
第一立体图像处理部3A通过立体匹配处理求出基准图像与比较图像的对应位置的像素偏移量(视差)，生成具有距离数据的距离图像。作为立体匹配处理，使用例如公知的区域搜索法评价基准图像与比较图像的相关度，作为其评价函数，计算基准图像的小区域(主区块)与比较图像的小区域(子区块)的差值(绝对值)的总和SAD(SAD：Sum of AbsoluteDifference：绝对差值和)。
对于SAD的评价函数的值而言，在由以水平方向为i坐标，以垂直方向为j坐标的正交坐标定义图像平面上的位置，将搜索彼此的相关度的区块作为i×j(i＝0～n，j＝0～n)的搜索区块时，如以下的(3)式所示，通过在i轴(极线)上分别错开预定的移位值来计算而算出基准图像的主区块M(i,j)与比较图像的子区块S(i,j)的SAD值。
SAD＝Σ│M(i,j)-S(i,j)│…(3)
然后，求出评价函数SAD变得最小的位置作为主区块与子区块的相关度最高的对应位置(一致点)，给予一致点处的主区块与子区块的1个像素单位的偏移量(水平扫描方向的主区块的位置与子区块的位置之差)具有1个像素单位的分辨率的视差(像素视差)。针对每个区块算出的视差的集合作为形成距离图像的距离数据而保存。
应予说明，作为像素值，通常大多使用各像素的亮度值。另外，由于基于像素视差的距离信息随着到对象物的距离增大而分辨率降低，所以根据需要进行求出1个像素单位以下的分辨率的子像素级别下的视差的处理。
此时，在不断变化的行驶环境下，利用主要使用的立体照相机ST1拍摄前方的情况下，有时会出现因为隐藏在物体后面等而虽然显示在照相机1a、1b的一个照相机的图像中但是没有显示在另一个照相机的图像中的遮挡区域的情况。如果出现该遮挡区域，则产生与一个图像的某个点相对应的点不存在于另一个图像中，发生错误匹配而导致无法检测视差等现象。
例如，如图4所示，在利用立体照相机ST1对在本车辆C的前方行驶的前行车辆C1进行拍摄的情况下，如果前行车辆C1处于比较接近本车辆C的位置，则会产生一个照相机1b的拍摄视野的侧端的区域被前行车辆C1的后部遮挡而成为阴影的区域Roc，无法检测到在前行车辆C1的侧方行驶的两轮车C2。此时，如果利用立体照相机ST1的另一个照相机1a则捕获到两轮车C2，能够确定两轮车C2，但是结果是作为立体照相机ST1，无法计算两轮车C2的距离。
对此，第二立体图像处理部3B、第三立体图像处理部3C分别计算立体照相机ST2(照相机1a、1c)的一对图像产生的垂直方向的视差、立体照相机ST3(照相机1b、1d)的一对图像产生的垂直方向的视差，能够计算存在于有因立体照相机ST1而成为遮挡区域的可能性的左右侧方的区域的对象物的距离。第二立体图像处理部3B、第三立体图像处理部3C中的立体图像处理除了相对于第一立体照相机图像处理部3A，除了作为处理对象的图像和视差搜索方向不同以外，其余基本上相同。
第二立体图像处理部3B、第三立体图像处理部3C即使在立体照相机ST1的视野内，在像护栏、建筑物和/或围栏的混凝土壁、铺装道路的路面等那样，在横向上形状和/或色彩(亮度)的图像特征量的变化比预定的阈值小，容易产生对应点的错误匹配的状况下，也会使用纵向的立体照相机ST2、ST3来搜索对应点，由此，能够降低错误匹配。
异常时图像处理部3D在立体照相机ST1、ST2、ST3中的任一个发生无法正常进行立体匹配的图像异常的情况下，使用组合了正常的照相机的立体图像，或者由单独的照相机得到的单眼图像来计算对象物的距离。例如，在车宽方向的主立体照相机ST1发生图像异常的情况下，组合立体照相机ST1的下方的照相机1c、1d用作代替立体照相机ST1的紧急用的立体照相机，来进行立体图像处理。
此时，在立体照相机ST1的照相机1a异常且照相机1b正常的情况下，使用由车宽方向的照相机1c、1d构成的立体照相机和车高方向的副立体照相机ST3来进行立体图像处理。因照相机1a的异常而无法使用的副立体照相机ST2的功能可以通过单眼的照相机1c来补偿。
相反，在立体照相机ST1的照相机1b异常且照相机1a正常的情况下，使用由照相机1c、1d构成的立体照相机和副立体照相机ST2来进行立体图像处理。因照相机1b的异常而无法使用的副立体照相机ST3的功能可以通过单眼的照相机1d来补偿。
通过单眼的照相机1c或照相机1d得到的对象物的距离可以使用单眼图像处理的公知的技术来计算。例如，通过图像的边缘提取和/或图案匹配、图像的光流等，在单眼图像上提取对象物的区域，使用根据照相机的设置位置和/或角度表示图像上的各像素与何种距离的位置相对应的距离转换表，将图像上的区域的位置转换为实际空间上的位置。
另外，在车高方向的立体照相机ST2、ST3这两方均发生异常且异常的照相机彼此上下相对的情况下，通过构成使用相对于车宽方向倾斜方向的2台照相机(照相机1a和照相机1d，或者照相机1b和照相机1c)的立体照相机甚至构成由3台照相机组成的多眼立体照相机，从而即使在异常发生时也能够计算对象物的视差。其中，由于立体图像处理的计算负荷增加，另外对象物的检测范围变窄，所以作为立体照相机的采用是有限的。
图像综合部4综合来自第一立体图像处理部3A、第二立体图像处理部3B、第三立体图像处理部3C的图像处理信息来生成综合图像，识别行驶环境。另外，图像综合部4在异常发生时，相对于正常的图像处理信息合并来自异常时图像处理部3D的图像处理信息并向行驶控制装置50输出。
图像处理信息的综合主要是综合第一立体图像处理部3A、第二立体图像处理部3B、第三立体图像处理部3C的各距离图像的处理。图像综合部4是通过将综合到的距离图像上的点坐标变换成以本车辆的车宽方向即左右方向为X轴，以车高方向为Y轴，以车长方向即距离方向为Z轴的实际空间上的点，三维地识别在本车辆的前方行驶的前行车辆和/或障碍物等对象物，使用距离信息来检测对象物的大小。对象物的大小作为在同一对象物的等距离的部位间的水平方向的距离而检测，例如，将前行车辆的制动灯间的距离和/或左右端之间的距离作为前行车辆的大小而检测，将白线的粗度(宽度)作为白线的大小而检测。
此时，距离图像的综合是通过以第一立体图像处理部3A的距离图像为主，且合并第二立体图像处理部3B和第三立体图像处理部3C的距离图像来扩大检测区域的处理。这时，图像综合部4对于第一立体图像处理部3A、第二立体图像处理部3B、第三立体图像处理部3C指示各自的视差搜索的范围，可以实现计算负荷的降低并且扩大检测区域。
即，如图5所示，图像综合部4相对于由主立体照相机ST1得到的对象物的检测区域Rm1，设定根据本来的大小缩小副立体照相机ST2、ST3的检测区域，与视差检测方向正交的车宽方向的外侧的检测区域Rm2、Rm3，指示视差搜索的范围。这些检测区域Rm2、Rm3是考虑到在主立体照相机ST1的检测区域Rm1内可能产生在左右侧方的遮挡区域和/或道路状况等行驶环境等而设定的，在检测区域Rm1的两侧重叠预定的区域Rov而配置。
由此，例如如图6所示，本车辆C在单侧两车道的道路RD的行驶中，前方的前行车辆C1、道路的白线Lw等能够通过对通常的横向配置的立体照相机ST1的图像进行处理而检测到。另外，路边的亮度变化小的侧壁W、在前行车辆C1的侧方行驶的两轮车C2、相邻车道的前行车辆C3等根据通常的立体照相机ST1的图像难以检测的对象物分别能够通过对纵向配置的立体照相机ST2、ST3的图像进行处理而检测到。由此，能够包含本车辆的行驶车道并将对象物的检测区域扩大到邻接车道和/或路边侧。
此时，如果在交通拥堵时本车辆C与前行车辆C1的车间距离变小，如果仅用通常的立体照相机ST1，则前方的白线Lw会被前行车辆C1遮挡，因此，以往采用对于前行车辆的跟随行驶。在对于该前行车辆的跟随行驶中，成为沿着前行车辆C1的行驶轨迹的行驶，本车辆的行为容易受到前行车辆的行为影响。
与此相比，在本实施方式中，利用配置于横向配置的立体照相机ST1的两侧的纵向的立体照相机ST2、ST3，能够检测到通过立体照相机ST1无法检测到的左右的白线Lw。由此，即使在接近于前行车辆C1的低速的交通拥堵行驶时，也能够进行沿着车道的行驶，能够进行不受到前行车辆C1的行为影响的稳定的行驶。
应予说明，来自针对立体照相机ST2的第二立体图像处理部3B、针对立体照相机ST3的第三立体图像处理部3C的图像处理信息可以仅在针对立体照相机ST1的第一立体图像处理部3A的距离图像中产生因遮挡而产生的缺损部分的情况下合并。图像综合部4例如对在每个搜索区块算出的视差进行比较，判断向同一区块的匹配等来检测因遮挡而产生的距离信息的缺失，使用与距离信息缺失的部分相对应的第二立体图像处理部3B或者第三立体图像处理部3B的图像处理信息来补全缺失的距离信息。
相对于以上的行驶环境检测装置10，基于来自行驶环境检测装置10的信息进行行驶控制的行驶控制装置50基于在车辆的车宽方向上配置的立体照相机ST1、和与立体照相机ST1共有一部分并在纵向上配置的两侧部的立体照相机ST2、ST3的图像处理信息，掌握包含本车辆的行驶车道在内而不仅是存在于前方，而是存在于邻接车道和/或路边的广范围的对象物的大小和/或距离，实施包括加减速和转向在内的行驶控制。
例如，行驶控制装置50基于由行驶环境检测装置10识别到的行驶环境的识别信息来计算作为本车辆的跟随行驶的对象的目标点的轨迹，以将该目标点的轨迹作为目标路径并以设定车速行驶的方式进行控制。对于作为跟随行驶的对象的目标点而言，例如在将本车辆的行驶位置维持在车道中央的控制(车道维持控制)中设定为作为车道划分线的左右的白线的道路宽度方向的中央位置，在跟随本车辆前方的前行车辆行驶的控制(前行车辆跟随控制)中设定为前行车辆的车宽方向的中央位置。
行驶控制装置50以计算这样的目标点的轨迹而设定目标路径，以设定车速沿着该目标路径行驶的方式利用未图示的发动机、变速器、制动器来执行加减速控制，并且介由转向装置执行转向控制，以本车辆的车宽方向的中心位置与目标路径上的目标点一致的方式控制当前的转向角。
应予说明，在通过行驶控制装置50进行的行驶控制中，除了使用由立体照相机ST1、ST2、ST3得到的图像识别信息以外，还使用基于来自GNSS(Global NavigationSatellite System：全球导航卫星系统)卫星等多个导航卫星的信号的本车位置的测位信息、以及将道路形状和/或道路间的连接关系等静态的信息和通过基础设施通信收集的交通信息等动态的信息以多个层级保持的多维地图(动态地图)等地图信息等。
接下来，使用图7所示的流程图对使用立体照相机ST1～ST3的行驶控制系统100的动作进行说明。应予说明，图7的流程图表示使用构成立体照相机ST1～ST3的4台照相机中的任一个的情况的动作，在4台照相机都产生异常的情况下，停止行驶控制而转移到通过驾驶员的操作进行的手动驾驶模式。
首先，行驶控制系统100在最初的步骤S1中，在行驶环境检测装置10中检测由立体照相机ST1、ST2、ST3拍摄到的立体图像。接下来，进入步骤S2，行驶环境检测装置10对立体照相机ST1、ST2、ST3的各立体图像进行立体匹配，搜索各立体图像的对应点而生成具有对象物的距离信息的距离图像。
接下来，进入步骤S3，行驶环境检测装置10调查立体照相机ST1、ST2、ST3的各立体图像中是否产生无法正常执行立体匹配的图像异常。其结果，在立体照相机ST1、ST2、ST3的立体图像全部正常的情况下，从步骤S3进入步骤S4，在立体照相机ST1、ST2、ST3的立体图像中的任一个产生异常的情况下，从步骤S3进入步骤S6。
在立体照相机ST1、ST2、ST3的立体图像全部正常的情况下，行驶环境检测装置10在步骤S4中将由立体照相机ST1、ST2、ST3的立体图像生成的距离图像综合，并将由综合图像识别到的行驶环境信息发送到行驶控制装置50。在后续步骤S5中，行驶控制装置50基于由综合图像信息识别到的行驶环境来实施行驶控制。
另一方面，在步骤S3中，在有图像异常的情况下，行驶环境检测装置10在步骤S6中调查可否使用正常的照相机构成立体照相机。在能够利用正常的照相机构成立体照相机的情况下，例如在立体照相机ST1产生图像异常且能够组合立体照相机ST1的下方的照相机1c、1d来构成代替立体照相机ST1的立体照相机的情况下，在步骤S7中，排除异常的照相机而用其他组合构成立体照相机实施立体图像处理。
另一方面，在步骤S6中，在正常的照相机仅为1台，或者正常的照相机无法作为通常的检测水平方向或者垂直方向的视差的立体照相机使用，无法构成立体照相机的情况下，行驶环境检测装置10在步骤S8中使用单眼的照相机图像进行图像处理，将由该单眼图像信息识别到的行驶环境信息发送到行驶控制装置50。在单眼图像的图像处理中，可以根据图像的边缘提取、图案匹配、光流等计算距离，行驶控制装置50基于由单眼图像信息识别到的行驶环境来实施行驶控制。
这样，在本实施方式中，由于将基于利用在车辆的车宽方向上配置的立体照相机ST1得到的水平方向的视差的距离信息、以及基于利用在车辆的车高方向上配置的左右的立体照相机ST2、ST3得到的垂直方向的视差的距离信息综合来识别行驶环境，所以即使横向配置的立体照相机ST1发生因照相机的死角等而引起的距离信息的缺失，也可以利用纵向配置的立体照相机ST2、ST3来补全距离信息，并且能够扩大横向的识别区域。由此，不仅能够准确地检测存在于车辆的前方的对象物，还能够准确地检测存在于侧方的多个对象物而算出行驶控制所需要的距离信息，能够进行最佳的行驶控制。

Claims (10)

1.一种车辆的行驶环境检测装置，其特征在于，基于拍摄车辆的外部环境而得的车外图像来识别车辆的行驶环境，所述车辆的行驶环境检测装置具备：
第一立体照相机，其由在车辆的车宽方向上配置的第一照相机和第二照相机构成；
第二立体照相机，其由所述第一立体照相机的所述第一照相机和相对于所述第一照相机在车高方向上配置的第三照相机构成；
第三立体照相机，其由所述第一立体照相机的所述第二照相机和相对于所述第二照相机在车高方向上配置的第四照相机构成；
第一立体图像处理部，其对由所述第一立体照相机拍摄到的图像进行立体图像处理来计算距离信息；
第二立体图像处理部，其对由所述第二立体照相机拍摄到的图像进行立体图像处理来计算距离信息；
第三立体图像处理部，其对由所述第三立体照相机拍摄到的图像进行立体图像处理来计算距离信息；以及
图像综合部，其综合所述第一立体图像处理部的图像处理信息、所述第二立体图像处理部的图像处理信息和所述第三立体图像处理部的图像处理信息来识别所述行驶环境。
2.根据权利要求1所述的车辆的行驶环境检测装置，其特征在于，所述图像综合部在以所述第一立体图像处理部的图像处理信息为主，所述第一立体图像处理部的图像处理信息中有距离信息的缺失的情况下，使用所述第二立体图像处理部或者所述第三立体图像处理部的图像处理信息补全所述缺失。
3.根据权利要求1或2所述的车辆的行驶环境检测装置，其特征在于，所述第二立体图像处理部计算与利用所述第一立体图像处理部算出距离信息的对象物不同的对象物的距离信息，
第三立体图像处理部计算与利用所述第一立体图像处理部计算距离信息的对象物和利用所述第二立体图像处理部计算距离信息的对象物不同的对象物的距离信息。
4.根据权利要求1或2所述的车辆的行驶环境检测装置，其特征在于，所述第二立体图像处理部和所述第三立体图像处理部计算所述车宽方向的图像特征量的变化比预定的阈值小的对象物的距离信息。
5.根据权利要求3所述的车辆的行驶环境检测装置，其特征在于，所述第二立体图像处理部和所述第三立体图像处理部计算所述车宽方向的图像特征量的变化比预定的阈值小的对象物的距离信息。
6.根据权利要求1或2所述的车辆的行驶环境检测装置，其特征在于，所述车辆的行驶环境检测装置还具备异常时图像处理部，所述异常时图像处理部在所述第一照相机、所述第二照相机、所述第三照相机和所述第四照相机中的至少一个发生异常的情况下，对组合正常的照相机而构成的立体照相机的立体图像或者正常的一个照相机的单眼图像进行处理并输出到所述图像综合部。
7.根据权利要求3所述的车辆的行驶环境检测装置，其特征在于，所述车辆的行驶环境检测装置还具备异常时图像处理部，所述异常时图像处理部在所述第一照相机、所述第二照相机、所述第三照相机和所述第四照相机中的至少一个发生异常的情况下，对组合正常的照相机而构成的立体照相机的立体图像或者正常的一个照相机的单眼图像进行处理并输出到所述图像综合部。
8.根据权利要求4所述的车辆的行驶环境检测装置，其特征在于，所述车辆的行驶环境检测装置还具备异常时图像处理部，所述异常时图像处理部在所述第一照相机、所述第二照相机、所述第三照相机和所述第四照相机中的至少一个发生异常的情况下，对组合正常的照相机而构成的立体照相机的立体图像或者正常的一个照相机的单眼图像进行处理并输出到所述图像综合部。
9.根据权利要求5所述的车辆的行驶环境检测装置，其特征在于，所述车辆的行驶环境检测装置还具备异常时图像处理部，所述异常时图像处理部在所述第一照相机、所述第二照相机、所述第三照相机和所述第四照相机中的至少一个发生异常的情况下，对组合正常的照相机而构成的立体照相机的立体图像或者正常的一个照相机的单眼图像进行处理并输出到所述图像综合部。
10.一种车辆的行驶控制系统，其特征在于，具备行驶控制装置，所述行驶控制装置基于由权利要求1～9中任一项所述的图像综合部识别到的所述行驶环境实施包括加减速和转向的行驶控制。
CN201910481468.XA 2018-09-27 2019-06-04 车辆的行驶环境检测装置及行驶控制系统 Pending CN110949254A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-182786 2018-09-27
JP2018182786A JP2020051942A (ja) 2018-09-27 2018-09-27 車両の走行環境検出装置及び走行制御システム

Publications (1)

Publication Number Publication Date
CN110949254A true CN110949254A (zh) 2020-04-03

Family

ID=69781722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910481468.XA Pending CN110949254A (zh) 2018-09-27 2019-06-04 车辆的行驶环境检测装置及行驶控制系统

Country Status (4)

Country Link
US (1) US10984258B2 (zh)
JP (1) JP2020051942A (zh)
CN (1) CN110949254A (zh)
DE (1) DE102019120796A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11560692B2 (en) 2018-01-31 2023-01-24 Komatsu Ltd. Work machine

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
WO2022144963A1 (ja) * 2020-12-28 2022-07-07 本田技研工業株式会社 車両制御装置、車両制御システム、車両制御方法、およびプログラム
JP7315988B1 (ja) 2022-01-13 2023-07-27 誠一 杉田 移動体の走行制御システム
DE102022201279B3 (de) 2022-02-08 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erfassen einer Umgebung eines Fahrzeugs, Kameravorrichtung und Fahrzeug

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3522317B2 (ja) 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
US9103671B1 (en) * 2007-11-29 2015-08-11 American Vehicular Sciences, LLC Mapping techniques using probe vehicles
JP6417729B2 (ja) * 2014-06-09 2018-11-07 株式会社リコー 画像処理装置、画像処理方法、プログラム、視差データの生産方法、機器制御システム
EP3043202B1 (en) * 2015-01-09 2019-07-24 Ricoh Company, Ltd. Moving body system
JP2018013985A (ja) * 2016-07-21 2018-01-25 Ｋｙｂ株式会社 物体検知装置
JP7196063B2 (ja) * 2017-03-31 2022-12-26 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、および撮像制御装置の制御方法、並びに移動体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11560692B2 (en) 2018-01-31 2023-01-24 Komatsu Ltd. Work machine

Also Published As

Publication number Publication date
JP2020051942A (ja) 2020-04-02
US20200104604A1 (en) 2020-04-02
US10984258B2 (en) 2021-04-20
DE102019120796A1 (de) 2020-04-02

Similar Documents

Publication Publication Date Title
CN110949254A (zh) 车辆的行驶环境检测装置及行驶控制系统
JP4956452B2 (ja) 車両用環境認識装置
JP5863536B2 (ja) 車外監視装置
US8611609B2 (en) Lane line estimating apparatus
JP3630100B2 (ja) 車線検出装置
US20090190827A1 (en) Environment recognition system
JP5371725B2 (ja) 物体検出装置
JP4937933B2 (ja) 車外監視装置
CN104949619A (zh) 车辆用立体图像处理装置
JP6577661B2 (ja) 路面変位検出装置およびサスペンション制御方法
CN110088801B (zh) 可行驶区域检测装置以及行驶辅助系统
JP5027710B2 (ja) 車両用環境認識装置および先行車追従制御システム
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2016053748A (ja) 運転支援装置および運転支援方法
CN109522779B (zh) 图像处理装置
JP2009186301A (ja) 車両用物体検出装置
JP7232005B2 (ja) 車両の走行環境検出装置及び走行制御システム
WO2017158982A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム
JP2006072757A (ja) 物体検出装置
JP2013161187A (ja) 物体認識装置
JP6891082B2 (ja) 物体距離検出装置
WO2020036039A1 (ja) ステレオカメラ装置
JP7250211B2 (ja) 処理装置
JP6515547B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム
WO2023053477A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200403