CN110876053A - 图像处理装置、驾驶支援系统及记录介质 - Google Patents

图像处理装置、驾驶支援系统及记录介质 Download PDF

Info

Publication number
CN110876053A
CN110876053A CN201910110978.6A CN201910110978A CN110876053A CN 110876053 A CN110876053 A CN 110876053A CN 201910110978 A CN201910110978 A CN 201910110978A CN 110876053 A CN110876053 A CN 110876053A
Authority
CN
China
Prior art keywords
image
reference line
parallax
unit
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910110978.6A
Other languages
English (en)
Inventor
大木豊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Original Assignee
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Electronic Devices and Storage Corp filed Critical Toshiba Corp
Publication of CN110876053A publication Critical patent/CN110876053A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

实施方式提供一种实现偏航角的精度较高的修正的图像处理装置、驾驶支援系统及保存有图像处理程序的记录介质。实施方式的图像处理装置具备基准线检测部、视差计算部、基准线修正部和外部参数计算部。基准线检测部关于包括第1图像及第2图像的立体图像，检测上述第1图像的第1基准线及第2基准线。视差计算部计算上述第1图像与上述第2图像之间的视差。基准线修正部将上述第2图像的第1基准线的位置修正。外部参数计算部，基于检测出的上述第1图像中的上述第1基准线与上述第2基准线的距离、以及上述第1图像的上述第1基准线与上述第2图像的修正后的上述第1基准线的视差，计算在图像的修正中使用的外部参数。

Description

图像处理装置、驾驶支援系统及记录介质
本申请基于日本特许申请2018－164818号(申请日：2018年9月3日)主张优先权，这里引用其全部内容。
技术领域
本发明的实施方式涉及图像处理装置、驾驶支援系统及保存有图像处理程序的记录介质。
背景技术
周知有基于由立体相机取得的立体图像的对应的点，根据相机彼此的位置关系和各图像上的对应点的位置来计测对象物的三维位置的技术。该技术被用在车载用的驾驶员辅助系统、便携设备、游戏机等的各种各样的领域中。该立体相机有因温度、振动或老化等导致光轴等偏差的情况。作为用来将这样的偏差修正的1种手段，有图像的矫正(rectification)(平行化)。
周知有通过检测由各个相机摄影的特征点的y方向(与相机的摄像部彼此排列的x方向交叉的方向)的偏差来进行矫正的技术。在关于横滚(roll)角和俯仰(pitch)角有变动的情况下，由于表现为y成分的偏差，所以矫正较容易。但是，对y成分的影响较小的偏航(yaw)角的变动带来的影响难以根据该y成分的偏差来检测，因噪声等其他因素而误差变大的可能性较高。
发明内容
所以，本发明的实施方式提供一种实现偏航角的精度较高的修正的图像处理装置，驾驶支援系统及保存有图像处理程序的记录介质。
一技术方案的图像处理装置具备基准线检测部、视差计算部、基准线修正部和外部参数计算部。基准线检测部关于包括第1图像及第2图像的立体图像，检测上述第1图像的第1基准线及第2基准线。视差计算部计算上述第1图像与上述第2图像之间的视差。基准线修正部将上述第2图像的第1基准线的位置修正。外部参数计算部，基于检测出的上述第1图像中的上述第1基准线与上述第2基准线的距离、以及上述第1图像的上述第1基准线与上述第2图像的修正后的上述第1基准线的视差，计算在图像的修正中使用的外部参数。
附图说明
图1是表示有关一实施方式的驾驶支援系统的功能的框图。
图2是表示有关一实施方式的图像处理装置的处理的流程图。
图3是表示有关一实施方式的白线检测处理的流程图。
图4是表示有关一实施方式的白线边沿、视差、白线宽度的一例的图。
图5是表示有关一实施方式的驾驶支援系统的功能的框图。
图6是表示有关一实施方式的图像处理装置的处理的流程图。
图7是表示有关一实施方式的白线估算处理的流程图。
图8是表示有关一实施方式的图像处理装置的硬件结构的一例的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。在参照的图中，有对相同的部分或具有同样的功能的部分赋予相同的标号或类似的标号，将其重复的说明省略的情况。此外，图面的尺寸比率有为了说明的方便而与实际的比率不同的情况、或将结构的一部分从图面中省略的情况。此外，各框图中表示的数据流是作为一例表示的。即，以下说明的实施方式不表示没有其他数据流，此外，根据情况，也有图示的数据流不是必须的结构的情况。
在相机的校准中需要的参数大体上划分为存在两种，即内部参数和外部参数。内部参数是关于透镜等的相机固有的特性的参数，外部参数是表示相机的设置状态(位置、姿势等)的参数。以下说明的实施方式主要是关于进行作为外部参数的偏航角的估算的图像处理装置的实施方式。
(第1实施方式)
图1是表示有关第1实施方式的驾驶支援系统1的功能的框图。驾驶支援系统1具备立体相机10、图像处理装置20、驾驶支援装置30和输出装置40，是由立体图像生成三维信息，支援车辆的驾驶的系统。例如，该驾驶支援系统1构成搭载在汽车中的车载系统的一部分。即，立体相机10、图像处理装置20、驾驶支援装置30、输出装置40也可以分别搭载在汽车中。
立体相机10具备第1相机100和第2相机102。这些相机作为摄像元件而具备例如CCD(电荷耦合器件，Charged Coupled Device)图像传感器、CMOS(互补金属氧化物半导体，Complementary Metal Oxide Semiconductor)图像传感器等。第1相机100摄像第1图像，第2相机摄像第2图像。作为一例，设与第1相机100的摄像面垂直的方向为z方向，设二维排列的摄像元件的接近于铅直方向的方向为y方向，设与其垂直的摄像元件的方向即接近于水平方向的方向为x方向。通常，第1相机100和第2相机102在接近于水平方向的方向即x方向上以规定的距离排列。例如，这些相机被搭载在汽车上，取得驾驶中及停止中的道路等的立体图像。
在实施方式的说明中，以第1相机100取得的第1图像为基准进行计算等，但并不限于此，也可以以第2相机102取得的第2图像作为基准。即，第1相机100和第2相机102是对称的关系，作为基准的图像根据设计等其他的缘由而能够适当地替换。
图像处理装置20至少具备外部参数取得部200和图像修正部220，对由立体相机10摄像的第1图像和第2图像进行图像处理。除此以外，也可以具备判断是否进行基于由外部参数取得部200取得的参数的修正的修正判断部、进行各种滤波的滤波部、进行仿射变换的仿射变换部、生成图像金字塔(pyramid)的金字塔处理部、进行三维图像的构成的三维图像处理部等，关于系统中需要的图像处理的模组。此外，也可以具备保存各种数据的存储部230。
外部参数取得部200取得上述的外部参数并输出。图像修正部220基于外部参数取得部200输出的外部参数，进行立体图像的校准及其他需要的图像处理。
外部参数取得部200具备白线检测部202、视差计算部204、白线修正部206和外部参数计算部208。
白线检测部202在被输入的图像中检测描绘于道路上的白线。白线检测例如将图像在x方向上扫描并提取边沿，基于该边沿附近的颜色的差异检测出白线。并不限于此，例如也可以在使用坎尼(Canny)滤波器后进行霍夫(Hough)变换，再进行阈值处理以确认白线等，只要能够检测出白线，通过怎样的方法都可以。
白线的检测，是指像这样在图像中检测作为构成白线的两方的边沿的线段、射线或直线。即，检测从道路向白线的边沿及从白线向道路的边沿的两者。图像处理装置20能够任意地选择检测出的白线边沿中的用于处理的直线。在以下的说明中，使用第1图像中的存在于图像左侧的白线的内侧的边沿(第1基准线)及存在于图像右侧的白线的内侧的边沿(第2基准线)的2条直线、以及第2图像中的存在于图像左侧的白线的内侧的边沿(第1基准线)。只不过是作为一例而选择这些直线，即使使用白线的边沿中的其他的边沿，也能够同样地处理。
视差计算部204计算第1图像及第2图像的视差。视差例如通过从双方的图像提取特征点，并求出该特征点彼此的x坐标的差来计算。视差计算部204求出关注的区域的视差，例如，既可以预先设定白线可能存在的ROI(感兴趣区域，Region of Interest)来计算该区域内的视差，也可以生成图像整体的视差即视差图像。并不限于这些，只要能够计算第1图像和第2图像中的对应的白线边沿彼此、例如第1基准线彼此的视差就可以。作为另一例，也可以将过去帧的视差存储在存储部230中而使用该视差。在此情况下，也可以将当前帧中最终被修正后的图像彼此的视差存储到存储部230中，以便能够在将来的帧中使用。
白线修正部206根据检测出的第1图像的白线等或计算出的第1图像与第2图像之间的视差等的信息，将第2图像的白线的位置修正。例如，通过使用横滚单应性(homography)矩阵，对已经检测出的第2图像的白线执行单应性变换，将第2图像的白线的位置修正，该单应性矩阵利用关于估算的横滚角、俯仰角的参数表示。
外部参数计算部208计算外部参数。特别是，在本实施方式中，以较高的精度计算偏航角。外部参数计算部208不仅是偏航角，还计算横滚角、俯仰角及其他的外部参数。另外，外部参数的计算也可以不是直接求出横滚角、俯仰角、偏航角等，而是计算使用这些外部参数的图像的变换矩阵等的过程。进而，也可以不是生成变换矩阵，而是生成表示变换前后的图像的像素映射的变换表。该变换表也可以保存在存储部230中。这样，外部参数计算部208也可以不是计算外部参数本身，而是计算由该外部参数生成的变换矩阵。
图像修正部220基于外部参数计算部208输出的与外部参数相关的参数、以及由立体相机10摄影的图像，执行驾驶支援所需要的图像修正。该图像修正也可以包括例如基于外部参数的矫正、使用矫正后的图像的第1图像及第2图像的校准。此外，也可以具备判断是否使用外部参数计算部208输出的外部参数进行修正的修正判断部。
例如，使用修正后的图像，输出距离图像、物体识别图像等。这些图像也可以不构成为图像，也可以是罗列了与像素对应的距离信息的数据、或者是表示识别了物体的区域的数据。即，图像修正部输出的结果并不一定是图像数据，也可以是由修正后的图像得到的数据。
驾驶支援装置30基于图像修正部220输出的数据，对驾驶支援所需要的数据进行处理，经由输出装置40向驾驶员或连接在网络上的服务器等输出。此外，作为其他例，也可以向驾驶记录仪等输出修正后的图像。
输出装置40是将由驾驶支援装置30处理后的数据输出的设备，例如具备显示器、触摸板、扬声器、存储器、硬盘、或网络接口、与CAN(控制器局域网络，Controller AreaNetwork)的通信接口等。输出装置40通过来自驾驶支援装置30的指令，向显示器、扬声器等输出支援信息，或保存数据至存储器、硬盘等，或经由网络向大数据提供数据，或输出用来进行经由CAN的汽车的控制等的信号。
图2是表示有关本实施方式的处理的流程的流程图。使用该流程图，对各结构的处理进行更详细的说明。第1相机100设置在左侧，将作为左侧的图像的第1图像摄像，第2相机102设置在右侧，将作为右侧的图像的第2图像摄影，但并不限于此，左右的位置也可以相反。
首先，白线检测部202在由第1相机100及第2相机102的各个相机摄影的第1图像及第2图像中进行白线的检测(S100)。白线的检测例如使用各种滤波器等执行。
图3是表示白线检测的处理的一例的流程图。首先，使用坎尼滤波器、拉普拉斯(Laplacian)滤波器等制作边沿图像(S200)。接着，对边沿图像应用霍夫变换等，提取线段(S202)。接着，提取作为白线有效的部分(S204)。所述的作为白线有效的部分，例如基于以下条件来进行判定：1.具有阈值以上的长度；2.将线段延长后的下端包含在某个区域内；3.线段的斜率为阈值以内。接着，根据消失点等的信息来检测白线(S206)。例如，如果是接近于平行的白线，则构成白线的2个边沿和处于图像的相反侧的成对的白线的2个边沿这4个线段的延长线在消失点交叉。这样，在具有消失点或4条直线在规定的范围内的区域中分别交叉那样的情况下，检测出该线段群作为白线的边沿。
白线的检测并不限于这些，例如也可以着眼于亮度而提取作为白线的边沿的特征点，将处于直线上的部分连接来检测，或者也可以向预先已学习提取白线的机械学习模型输入图像来检测白线。
回到图2，在白线的检测后，视差计算部204计算第1图像、第2图像间的视差(S102)。视差的计算采用通常的方法执行。视差计算部204例如通过按照区域使用SAD(绝对差值和，Sum of Absolute Difference)、NCC(归一化互相关，Normalized CrossCorrelation)等的模板匹配方法来进行视差的计算。
另外，在视差的计算中，既可以使用已经检测到的白线，也可以不使用。例如，在求出了第1图像及第2图像的相互对应的白线的式子的情况下，也可以使用这些白线的式子来计算视差。另一方面，在不使用白线的信息的情况下，S100和S102的步骤也可以交换。此外，在图2中，将S100和S102顺序地执行，但并不限于此，也可以进行并行处理。
接着，白线修正部206将第2图像的白线位置修正(S104)。白线位置的修正使用单应性变换来执行。白线修正部206基于到当前的帧为止已经求出的关于横滚角、俯仰角的参数生成单应性矩阵，对第2图像中的白线进行单应性变换。在此情况下，也可以回溯过去，关于规定数量帧的横滚角、俯仰角进行规定的统计处理，用于当前帧的处理。这些数据也可以储存在存储部230中，以在需要的时候使用。
关于横滚角、俯仰角的参数也可以由白线修正部206计算。在此情况下，例如使用Hartley("Theory and practice of projective rectification，"InternationalJournal of Computer Vision，1999，Vol.35，pp.115－127)，Fusiello("Quasi－Euclidean uncalibrated epipolar rectification，"19th International Conferenceon Pattern recognition，2008，pp.1－4)，Diverdi("Geometric calibration formobile，stereo，autofucus cameras，"IEEE Winter Conference on Applications ofComputer Vision，2016，pp.1－8)的方法求出各参数，生成单应性矩阵。
第2图像中的白线的单应性变换例如从存在于左方的白线边沿(第1基准线)上的点中任意地提取2点，取得对该2点应用单应性矩阵而变换后的点的坐标。根据所取得的点的坐标，计算左方的白线的边沿的直线的式。这样，不是将图像整体变换，而是通过将直线上的点变换，至少计算出变换后的第1基准线的式而将第2图像的白线(第1基准线)的位置修正。即，在该步骤中，图像的输出不是必须的，只要输出表示2条直线中的至少1条的式子、或2条直线中的至少1条直线上的点(2点以上)的坐标就足够。
接着，外部参数计算部208计算与外部参数相关的参数(S106)。外部参数计算部208特别计算与偏航角关联的参数。
图4是用来说明有关本实施方式的外部参数计算的一例的图。在图4中，第1图像是从第1相机100取得的图像，第2图像是对从第2相机102取得的图像进行了白线位置修正的图像。第2图像为了说明而表示出全部的对象，但如上述那样，只要有作为对象的白线的边沿的直线的式子，就能够进行以下的说明的处理。此外，图中的Xn(n是整数)表示所示的点的x成分。
白线通常以对彼此平行。所以，通过如以下这样进行优化，进行外部参数的修正。另外，所述的平行，不需要是严格地平行。
如图所示，在第1图像、第2图像中，将白线的y方向通过单应性变换进行修正，以使距摄像面相同距离者成为相同的y成分。例如，设第1图像中的作为左方的白线边沿的第1基准线L1上的1点、与相同的y成分所对应的作为右方的白线边沿的第2基准线L2上的1点的距离为白线宽度D1。即，将具有相同的y成分的第1基准线和第2基准线的各点彼此的距离设为白线宽度。如果设各点的x成分为X1、X2，则作为D1＝X2－X1给出。此外，如果设与左方的点对应的第2图像的点、即第1基准线R1上的点的x成分为X3，则将该边沿上的点的视差表示为X1－X3。同样，使用左方的白线边沿L1上的点，表示为D2＝X5－X4，视差＝X4－X6。进而，对于任意的个数的左方的白线边沿L1上的点，计算白线宽度和视差。该视差的计算也可以由视差计算部204基于上述的运算来进行。
在计算出白线宽度和视差后，通过将以下的式子优化，能够使用由偏航角表示的参数的非线性优化方法进行优化。
[式1]
Figure BDA0001968122710000081
更具体地讲，通过将参数优化以使由式1表示的值接近于0，进行偏航角的优化。这里，白线宽度1、视差1表示某个y成分Y1对应的白线宽度和视差，白线宽度2、视差2表示不同的y成分Y2对应的白线宽度和视差。例如，在从L1上选择10个点的情况下，关于从这些10个点提取2个点的全部的组合进行上式的{}2的计算，并求出它们的和。然后将偏航角的参数优化，以使由上述的式子表示的值变小。这意味着进行优化，以使得在消失点(白线宽度＝0的点)上视差成为0。
由外部参数计算部208计算偏航角的参数并输出后，图像处理装置20执行在其他的驾驶支援中需要的图像处理。将处理后的图像向驾驶支援装置30输出，由驾驶支援装置30适当地进行处理，经由输出装置40向驾驶员等的用户输出，或作为控制汽车的信号输出。
另外，在图4中，虽设第1基准线为左侧的白线边沿，第2基准线为右侧的白线边沿而进行说明，但并不限于此。也可以设右侧的白线边沿作为第1基准线，。第1基准线、第2基准线由于是作为修正的基准的直线，所以将哪个作为基准的直线作为第1基准线、第2基准线都可以。
根据需要，也可以将计算出的当前帧的外部参数为了反映到下个帧以后而保存到存储部230中。此外，不仅是外部参数，也可以将白线边沿上的点的信息、与该点对应的白线宽度、视差等的信息存储到存储部230中。也可以使用这些存储的数据来进行下个帧以后的运算。例如，在白线检测部202进行白线检测时，通过从该点的周边的区域中检测边沿，还能够削减计算成本、运算时间。关于视差也是同样的，在视差计算部204计算视差时，通过基于已经得到的视差进行第1图像和第2图像的解析，同样能够削减计算成本等。
在在存储部230中存储外部参数，并反映到下个帧以后的情况下，也可以涉及规定数量的过去帧而进行该外部参数的统计处理。通过进行统计处理，能够使超过统计性的误差容许值那样的检测错误或优化错误的影响变小。所述的统计处理，是平均值、方差值、标准差值、协方差值等，但并不限于这些，也可以是中值、众数等，进而也可以是其他的能够统计性地使用的值。例如，也可以使用这些统计值，生成关于上述的S104的白线位置修正的参数。
此外，视差的计算也可以不在S102的时候进行。即，在图2中，S102的步骤可以省略。在此情况下，也可以在S106中，基于在S100中检测到的第1图像的白线的位置和在S104中修正后的第2图像的白线的位置来计算视差，执行外部参数的计算。这样，各步骤可以适当地移动到需要在该步骤中取得的信息的步骤之前。
如以上这样，根据本实施方式，能够不是将图像整体修正，而是将白线的信息修正来计算外部参数。这样，通过仅将白线的信息修正，能够抑制计算成本、存储成本，进而，例如在驾驶支援中能够实时地进行修正。
更具体地讲，为了求出偏航角的正确的修正值，需要使用矫正后的图像，因此需要横滚角、俯仰角的修正值，但在横滚角和俯仰角的稳定的修正中需要多个帧的情况较多。如果在横滚角、俯仰角计算后取得偏航角的修正值，则延迟变长，所以为了避免该情况，将过去的帧的图像预先保存在存储器中，并根据保存的信息执行偏航角的修正。根据本实施方式，不需要将这样的过去的帧的图像保存，而能够削减存储器的消耗量。此外，在偏航角的估算中也需要多个帧的情况较多，在此情况下延迟进一步增大。根据本实施方式，还能够避免与这样的偏航角的估算有关的延迟的增大。
(第2实施方式)
在上述的第1实施方式中，需要在第2图像中进行白线的检测，但在本实施方式中，不进行第2图像中的白线的检测而计算外部参数。
图5是表示有关本实施方式的驾驶支援系统1的功能的框图。图像处理装置20的外部参数取得部200还具备白线估算部210。
白线估算部210根据白线检测部202检测出的第1图像的第1基准线、第2基准线和视差计算部204计算出的视差，估算第2图像的第1基准线。
图6是表示有关本实施方式的图像处理装置20的处理的流程图。
首先，白线检测部202在第1图像中检测白线(S300)。接着，视差计算部204计算第1图像和第2图像的视差(S302)。与上述实施方式同样，这些处理既可以以相反的顺序处理，也可以并行处理。
接着，白线估算部210基于第1图像中的白线边沿的检测结果和视差，进行第2图像中的白线的估算(S304)。例如，对根据图4所示的第1图像的第1基准线L1估算第2图像的第1基准线R1的情况进行说明。
图7是表示第2图像中的白线的估算处理的流程图。首先，提取若干构成白线检测部202检测出的第1图像的第1基准线的点(S400)。该提取例如从图像的底边起沿y方向按照每5个像素提取。并不限于此，只要用任意的方法提取2个以上的任意数量的点就可以。白线检测部202提取边沿处的特征点而检测白线，例如在基于道路面和白线面的亮度差、微分值等提取特征点来检测白线的情况下，也可以将该特征点本身作为该任意数量的点。
接着，对于提取出的多个点，利用视差估算存在于第2图像上的第1基准线上的点(S402)。更具体地讲，对于提取出的第1图像上的各点，通过利用该点处的视差信息计算第2图像上的与该点对应的点来进行估算。该估算由于使用计算出的视差执行，所以在第2图像中不一定被估算在直线上。
所以，接着对估算出的点进行回归分析等，例如利用最小二乘法估算白线边沿，即在此情况下的第1基准线R1的式子(S404)。另外，该白线的估算与上述实施方式的白线的修正同样，不需要生成估算出的图像，只要至少计算第1基准线R1的式子就足够。
白线估算部210如上述那样，基于检测出的第1图像的白线边沿的信息和计算出的第1图像、第2图像间的视差，估算第2图像的白线边沿、至少1条基准线中的信息。
回到图6，接着，白线修正部206将第2图像的白线位置，例如至少第1基准线R1修正(S306)。具体而言，进行与上述实施方式的S104同样的处理。并且，外部参数计算部208计算外部参数(S308)。外部参数的计算进行与上述实施方式的S106同样的处理。
如以上这样，根据本实施方式，能够不执行第2图像的白线检测，并且与上述实施方式同样不生成修正图像，而执行外部参数计算处理。由于白线检测的处理通常与其他处理相比为成本较高的处理，所以根据本实施方式，能够进一步削减计算成本。
图8是表示各实施方式的图像处理装置20的硬件安装的例子的框图。图像处理装置20具备处理器71、主存储装置72、辅助存储装置73、网络接口74和设备接口75，能够作为将它们经由总线76连接的设备7实现。设备7既可以是其自身能够独立地起动的计算机装置，也可以是组装或连接在独立地起动的计算机装置上的加速装置。
另外，虽然图8的设备7具备一个各构成要素，但也可以具备多个相同的构成要素。此外，虽然表示出了1台设备7，但也可以将软件安装到多个计算机装置中，该多个计算机装置分别执行软件的不同的一部分的处理。
处理器71是作为包括设备的控制装置及运算装置的处理电路而动作的电子电路。处理器71基于从设备7的内部结构的各装置等输入的数据及程序进行运算处理，将运算结果及控制信号向各装置等输出。具体而言，处理器71通过执行设备7的OS(操作系统)或应用等而控制构成设备7的各构成要素。处理器71只要能够进行上述的处理就可以，没有特别限定。图像处理装置20及其各构成要素由处理器71实现。
主存储装置72是存储处理器71执行的命令及各种数据等的存储装置，存储在主存储装置72中的信息被处理器71直接读出。辅助存储装置73是主存储装置72以外的存储装置。另外，这些存储装置是指能够保存电子信息的任意的电子零件，既可以是存储器，也可以是存储设备。此外，存储器有易失性存储器和非易失性存储器，是哪种都可以。在图像处理装置20内用来保存各种数据的存储器也可以由主存储装置72或辅助存储装置73实现。例如，存储部230也可以安装在该主存储装置72或辅助存储装置73中。作为其他例，在设备7中还具备加速装置的情况下，也可以将存储部230安装在该加速装置所具备的存储器内。
网络接口74是用来通过无线或有线与通信网络8连接的接口。网络接口74只要使用适合于已有的通信规格者就可以。也可以通过网络接口74与经由通信网络8通信连接的外部装置9A进行信息的交换。
外部装置9A例如包括立体相机、运动捕捉器、输出目标设备、外部的传感器、输入源设备等。此外，外部装置9A也可以是具有图像处理装置20的构成要素的一部分的功能的装置。并且，设备7也可以将图像处理装置20的处理结果的一部分如云服务器那样经由通信网络8收发。
设备接口75是与外部装置9B直接连接的USB(通用串行总线，Universal SerialBus)等的接口。外部装置9B既可以是外部存储介质，也可以是存储装置。存储部230也可以由外部装置9B实现。
外部装置9B也可以是输出装置。输出装置例如既可以是用来显示图像的显示装置，也可以是输出声音等的装置等。例如，有LCD(液晶显示器，Liquid Crystal Display)、CRT(阴极射线显像管，Cathode Ray Tube)、PDP(等离子显示器，Plasma Display Panel)、扬声器等，但并不限于这些。此外，也可以是经由CAN控制的汽车的构成要素。
另外，外部装置9B也可以是输入装置。输入装置具备键盘、鼠标、触摸板等的设备，将由这些设备输入的信息向设备7给出。来自输入装置的信号被向处理器71输出。
这样，在上述的全部的记载中，既可以图像处理装置20的至少一部分由硬件构成，也可以由软件构成并通过软件的信息处理而CPU等进行实施。在由软件构成的情况下，也可以将实现图像处理装置20及其至少一部分的功能的程序保存到软盘或CD－ROM等的存储介质中，使计算机读入并执行。存储介质并不限定于磁盘或光盘等的可拆装的介质，也可以是硬盘装置或存储器等的固定型的存储介质。即，也可以将软件的信息处理使用硬件资源具体地安装。进而，也可以将软件的处理安装到FPGA等的电路中而由硬件执行。
例如，通过计算机将存储在计算机可读取的存储介质中的专用的软件读出，能够将计算机做成上述实施方式的装置。存储介质的种类没有被特别限定。此外，通过计算机将经由通信网络下载的专用的软件安装，能够将计算机做成上述实施方式的装置。这样，将软件的信息处理使用硬件资源具体地安装。
说明了本发明的几个实施方式，但这些实施方式是作为例子提示的，不是要限定发明的范围。这些新的实施方式能够以其他各种各样的形态实施，在不脱离发明的主旨的范围内能够进行各种各样的省略、替换、变更。这些实施方式及其变形包含在发明的范围或主旨中，并且包含在权利要求书所记载的发明和其等价的范围中。
例如，在上述全部的实施方式中，为了说明的简单，基于检测到的白线取得视差及该白线之间的宽度，但并不限于此。代替白线，也可以是橙线、绿线、蓝线等其他颜色的线，也可以是道牙、导轨、道路侧方的墙壁、设置在道路上的反光路标等，只要是构成为平行的直线状的东西就可以。进而，只要是在第1图像及第2图像中在相同的线中能够取得视差者，也可以不是白线之间的宽度，而取得道牙和白线的宽度等，其他物体之间存在的区域的宽度。这样，作为基准线也可以不使用白线，在此情况下，白线检测部202是基准线检测部，白线修正部206是基准线修正部，白线估算部210为基准线估算部。

Claims (11)

1.一种图像处理装置，
具备：
基准线检测部，关于包括第1图像及第2图像的立体图像，检测上述第1图像的第1基准线及第2基准线；
视差计算部，计算上述第1图像与上述第2图像之间的视差；
基准线修正部，将上述第2图像的第1基准线的位置修正；以及
外部参数计算部，基于检测出的上述第1图像中的上述第1基准线与上述第2基准线的距离、以及上述第1图像的上述第1基准线与上述第2图像的修正后的上述第1基准线的视差，计算在图像的修正中使用的外部参数。
2.如权利要求1所述的图像处理装置，上述基准线修正部通过单应性变换将上述第2图像的上述第1基准线的位置修正。
3.如权利要求1所述的图像处理装置，
上述基准线修正部不生成上述第2图像的修正后的图像，而将上述第2图像的上述第1基准线的位置修正。
4.如权利要求1所述的图像处理装置，
上述外部参数计算部通过非线性优化来计算上述外部参数。
5.如权利要求1所述的图像处理装置，
上述基准线检测部不检测上述第2图像的上述第1基准线及第2基准线，而检测上述第1图像的上述第1基准线及上述第2基准线，
该图像处理装置还具备基准线估算部，上述基准线估算部基于由上述基准线检测部检测出的上述第1图像的上述第1基准线和由上述视差计算部计算出的视差，估算上述第2图像的上述第1基准线的位置，
上述基准线修正部基于上述第2图像的估算出的上述第1基准线，将上述第2图像的上述第1基准线的位置修正。
6.如权利要求5所述的图像处理装置，
对上述第1图像的属于上述第1基准线的多个点，上述基准线估算部基于各个点所对应的由上述视差计算部计算出的视差，估算上述第2图像中的对应的多个点的位置，基于估算出的多个点估算上述第2图像的上述第1基准线。
7.如权利要求1所述的图像处理装置，
上述基准线检测部检测上述第1图像的上述第1基准线及上述第2基准线，并且检测上述第2图像的上述第1基准线；
上述基准线修正部将检测出的上述第2图像的上述第1基准线的位置修正。
8.如权利要求1～7中任一项所述的图像处理装置，
还具备图像修正部，上述图像修正部基于由上述外部参数计算部计算出的上述外部参数将上述第1图像及上述第2图像修正。
9.一种驾驶支援系统，
具备：
立体相机，具备取得上述第1图像的第1相机和取得上述第2图像的第2相机；
权利要求8所述的图像处理装置，基于由上述第1相机摄像的上述第1图像及由上述第2相机摄像的上述第2图像，计算上述外部参数，将上述第1图像及上述第2图像修正；以及
驾驶支援装置，基于上述图像处理装置的输出，输出支援驾驶的信息。
10.一种驾驶支援系统，
具备：
立体相机，具备取得第1图像的第1相机和取得第2图像的第2相机，取得立体图像；
基准线检测部，在上述立体图像中，至少检测上述第1图像的第1基准线及第2基准线；
视差计算部，计算上述第1图像与上述第2图像之间的视差；
基准线修正部，将上述第2图像的第1基准线的位置修正；
外部参数计算机构，基于检测出的上述第1图像中的上述第1基准线与上述第2基准线的距离、以及上述第1图像的上述第1基准线与上述第2图像的被修正后的上述第1基准线的视差，计算在图像的修正中使用的外部参数；
图像修正部，基于上述外部参数进行图像的修正；以及
驾驶支援部，基于修正后的图像，输出支援驾驶的信息。
11.一种记录介质，
保存有图像处理程序，所述图像处理程序使计算机作为以下机构发挥功能：
基准线检测机构，在包括第1图像及第2图像的立体图像中，至少检测上述第1图像的第1基准线及第2基准线；
视差计算机构，计算上述第1图像与上述第2图像之间的视差；
基准线修正机构，将上述第2图像的第1基准线的位置修正；以及
外部参数计算机构，基于检测出的上述第1图像中的上述第1基准线与上述第2基准线的距离、以及上述第1图像的上述第1基准线与上述第2图像的修正后的上述第1基准线的视差，计算在图像的修正中使用的外部参数。
CN201910110978.6A 2018-09-03 2019-02-12 图像处理装置、驾驶支援系统及记录介质 Pending CN110876053A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018164818A JP6956051B2 (ja) 2018-09-03 2018-09-03 画像処理装置、運転支援システム、画像処理方法及びプログラム
JP2018-164818 2018-09-03

Publications (1)

Publication Number Publication Date
CN110876053A true CN110876053A (zh) 2020-03-10

Family

ID=65717716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910110978.6A Pending CN110876053A (zh) 2018-09-03 2019-02-12 图像处理装置、驾驶支援系统及记录介质

Country Status (4)

Country Link
US (1) US11880993B2 (zh)
EP (1) EP3617937A1 (zh)
JP (1) JP6956051B2 (zh)
CN (1) CN110876053A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7329951B2 (ja) * 2019-04-01 2023-08-21 キヤノン株式会社 画像処理装置およびその制御方法
US11080544B1 (en) * 2020-04-24 2021-08-03 StradVision, Inc. Method and device for calibrating pitch of camera on vehicle and method and device for continual learning of vanishing point estimation model to be used for calibrating the pitch
CN113298698B (zh) * 2021-04-30 2024-02-02 成都东方盛行电子有限责任公司 一种用于非编工程中人脸关键点的祛眼袋方法
EP4254355A1 (de) 2022-03-31 2023-10-04 Volkswagen Ag Verfahren zum freigeben eines assistierten fahrstreifenwechsels für ein kraftfahrzeug

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1087626A2 (en) * 1999-09-22 2001-03-28 Fuji Jukogyo Kabushiki Kaisha Distance correcting apparatus in a surrounding monitoring system
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
CN102450005A (zh) * 2009-05-27 2012-05-09 爱信精机株式会社 校正目标检测装置、检测校正目标的校正目标检测方法以及用于校正目标检测装置的程序
CN103703490A (zh) * 2011-06-29 2014-04-02 Nec软件系统科技有限公司 用于产生三维特征数据的设备、用于产生三维特征数据的方法、以及其上记录有用于产生三维特征数据的程序的记录介质
CN104428624A (zh) * 2012-06-29 2015-03-18 富士胶片株式会社 三维测定方法、装置及系统、以及图像处理装置
CN104949619A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆用立体图像处理装置
CN107433905A (zh) * 2016-05-27 2017-12-05 通用汽车环球科技运作有限责任公司 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4863922B2 (ja) * 2007-04-18 2012-01-25 三洋電機株式会社 運転支援システム並びに車両
DE102008026876A1 (de) * 2008-06-05 2009-12-10 Hella Kgaa Hueck & Co. Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
JP5588812B2 (ja) * 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
JP2012248004A (ja) * 2011-05-27 2012-12-13 Toshiba Corp 画像処理装置、画像認識装置及び方法
US9361699B2 (en) * 2012-06-27 2016-06-07 Imec Taiwan Co. Imaging system and method
US20140063199A1 (en) * 2012-09-05 2014-03-06 Samsung Electro-Mechanics Co., Ltd. Electronic device and depth calculating method of stereo camera image using the same
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
JP6322024B2 (ja) 2014-03-28 2018-05-09 株式会社Ｓｕｂａｒｕ 車外監視装置
JP6353289B2 (ja) 2014-06-23 2018-07-04 株式会社Ｓｏｋｅｎ 測距補正装置
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
WO2016203989A1 (ja) 2015-06-17 2016-12-22 ソニー株式会社 画像処理装置および画像処理方法
US10339390B2 (en) * 2016-02-23 2019-07-02 Semiconductor Components Industries, Llc Methods and apparatus for an imaging system
KR20180087944A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 장치
US11049218B2 (en) * 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US10776609B2 (en) * 2018-02-26 2020-09-15 Samsung Electronics Co., Ltd. Method and system for facial recognition
JP6895403B2 (ja) 2018-03-20 2021-06-30 株式会社東芝 画像処理装置、運転支援システム、及び画像処理方法
KR20200036335A (ko) * 2018-09-28 2020-04-07 삼성전자주식회사 차로를 결정하는 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1087626A2 (en) * 1999-09-22 2001-03-28 Fuji Jukogyo Kabushiki Kaisha Distance correcting apparatus in a surrounding monitoring system
CN102450005A (zh) * 2009-05-27 2012-05-09 爱信精机株式会社 校正目标检测装置、检测校正目标的校正目标检测方法以及用于校正目标检测装置的程序
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
CN103703490A (zh) * 2011-06-29 2014-04-02 Nec软件系统科技有限公司 用于产生三维特征数据的设备、用于产生三维特征数据的方法、以及其上记录有用于产生三维特征数据的程序的记录介质
CN104428624A (zh) * 2012-06-29 2015-03-18 富士胶片株式会社 三维测定方法、装置及系统、以及图像处理装置
CN104949619A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆用立体图像处理装置
CN107433905A (zh) * 2016-05-27 2017-12-05 通用汽车环球科技运作有限责任公司 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法

Also Published As

Publication number Publication date
US20200074660A1 (en) 2020-03-05
JP2020038101A (ja) 2020-03-12
EP3617937A1 (en) 2020-03-04
US11880993B2 (en) 2024-01-23
JP6956051B2 (ja) 2021-10-27

Similar Documents

Publication Publication Date Title
CN108367714B (zh) 填充由镜子或其他车辆部件遮挡的周围视野区域
CN110876053A (zh) 图像处理装置、驾驶支援系统及记录介质
JP3868876B2 (ja) 障害物検出装置及び方法
JP3951984B2 (ja) 画像投影方法、及び画像投影装置
KR101913168B1 (ko) 에고모션 추정 시스템 및 방법
JP6353289B2 (ja) 測距補正装置
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
US10659762B2 (en) Stereo camera
US20130002861A1 (en) Camera distance measurement device
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
JP2015106785A (ja) カメラ校正装置
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN111508027A (zh) 摄像机外参标定的方法和装置
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
CN103546678A (zh) 用于校正后置摄像机的图像畸变的装置和方法
JP2015184929A (ja) 立体物検出装置、立体物検出方法、および立体物検出プログラム
JP6396499B2 (ja) 三次元情報の規模測定
JP5240517B2 (ja) 車載カメラの校正装置
WO2021070415A1 (ja) 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
CN111260538B (zh) 基于长基线双目鱼眼相机的定位及车载终端
JP2017020942A (ja) 推定装置及び推定プログラム
JP2009077022A (ja) 運転支援システム及び車両

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200310

WD01 Invention patent application deemed withdrawn after publication