CN113424021A

CN113424021A - 图像处理装置

Info

Publication number: CN113424021A
Application number: CN202080012454.4A
Authority: CN
Inventors: 的野春树; 大里琢马
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-02-12
Filing date: 2020-02-03
Publication date: 2021-09-21
Anticipated expiration: 2040-02-03
Also published as: JP7134113B2; CN113424021B; WO2020166403A1; JP2020128955A

Abstract

本发明提供一种能够评价每个像素的测定值的可靠度的图像处理装置。图像存储部(330)至少存储图像(I0)(第一图像)和图像(I1)(第二图像)。偏移赋予部(391)对图像(I1)(第二图像)赋予纵向的偏移。移动量计算部(340)(测定值计算部)在赋予偏移的前后，根据图像(I0)(第一图像)的像素和与其对应的图像(I1)(第二图像)的像素计算移动量(测定值)。移动量的差计算部(360)(差分计算部)计算赋予偏移的前后的移动量(测定值)的差分。可靠度计算部(370)根据移动量(测定值)的差分计算每个像素的可靠度。

Description

图像处理装置

技术领域

本发明涉及一种图像处理装置。

背景技术

作为本技术领域的背景技术，有专利文献1。在该公报中，作为课题，记载了“在不导致本电路规模和运算时间的增大的情况下再校正校准偏移。”，作为解决方法，记载了“在包含校准偏移再校正部15的对应点搜索部9进行的对应点的搜索处理中，使用校准偏移再校正部15的校准偏移再校正处理中得到的数据，对通过校准校正后的左右的摄像机立体平行化后图像间的偏移量进行再校正。这样，能够在不增大距离测量装置1中的内部硬件的电路规模和运算时间的情况下提高测量精度。另外，使上述右摄像机立体平行化后图像上下偏移，对左右的摄像机立体平行化后图像的上下方向的偏移进行再校正。这样，能够降低容易成为问题的上下方向的校准偏移。在这种情况下，可以在搜索对应点时可靠地找到右摄像机立体平行化后的图像的最佳位置。”。

现有技术文献

专利文献

专利文献1：日本专利特开2013-113600号公报

发明内容

发明要解决的问题

在上述专利文献1中，记载了“将被发现对应点的像素在左摄像机立体平行化后图像中的关注的像素区域的全部像素中所占的比例(％)作为上述识别率来计算”，叙述了按照该识别率成为最大的方式对上下的偏移进行校正，但存在无法对每个像素计算可靠度的问题。另外，根据图像的图案，存在即使识别率高，也包含误差的问题。

本发明的目的在于提供一种能够评价每个像素的测定值的可靠度的图像处理装置。

解决问题的技术手段

为了达到上述目的，本发明具备：图像存储部，其至少存储第一图像和第二图像；偏移赋予部，其对所述第二图像赋予纵向的偏移；测定值计算部，其在赋予所述偏移前后基于所述第一图像的像素和与其对应的所述第二图像的像素来计算测定值；差分计算部，其计算赋予所述偏移前后的所述测定值的差分；以及可靠度计算部，其基于所述测定值的差分来计算每个像素的可靠度。

发明的效果

根据本发明，能够评价每个像素的测定值的可靠度。上述以外的课题、构成以及效果通过以下的实施方式的说明而变得明确。

附图说明

图1是关于在立体摄像机中产生垂直方向偏移的情况下的视差误差的说明图。

图2是表示车辆控制系统的构成的说明图。

图3是表示第1实施例的图像处理装置的构成的说明图。

图4是表示第2～第3实施例的图像处理装置的构成的说明图。

图5是表示第4～第5实施例的图像处理装置的构成的说明图。

图6是表示第1～第5实施例的图像处理装置的处理的流程图。

具体实施方式

以下，使用附图对包含本发明的第1～第5实施例的图像处理装置的系统的构成以及动作进行说明。

(视差误差和距离误差)

首先，使用图1说明由产生垂直方向偏移的立体摄像机系统拍摄到的斜线形的对象物的视差误差和距离误差。

作为推定对象的三维位置的单元，已知有立体摄像机系统。立体摄像机系统将摄像机配置在多个位置，从不同的多个视点对同一对象物进行拍摄，根据得到的图像中的视觉表现(見え方)的偏差、即视差来计算到对象物体的距离。在使用2台摄像机的一般的立体摄像机系统中，该变换用以下的式(1)表示。

[式1]

这里，Z[mm]表示到对象物体的距离，f[mm]表示焦距，w[mm/px]表示像素间距，B[mm]表示摄像机间的距离(基线长度)，D[px]表示视差。

在计算视差时，将从多个位置(视点)拍摄到的图像水平排列，搜索相对于左图像内的特定点在右图像内拍摄同一点的位置。为了高效地实施该搜索，一般事先实施平行化处理。

所谓平行化是指图像的纵向的对位。即，是以左右图像中的同一点被拍摄在同一高度的方式校正图像的处理。在平行化后的图像中，在搜索对应点时，只要搜索某一水平列即可，处理效率高。然而，由于组装时的误差或老化，平行化用的参数产生变化，即使是实施了平行化处理的左右图像，在垂直方向上也存在偏移。此时，特别是在拍摄倾斜方向的直线那样的区域中，由于在不同的高度拍摄到非常相似的纹理，所以会检测出错误的对应点，在三维位置上产生误差。

图1是在垂直方向上产生dj[px]的偏移时的视差误差dD[px]的说明图。表示左图像100LA和右图像100RA之间没有产生高度偏移的情况。相对于左图像100LA中的搜索对象121，从右图像100RA中搜索拍摄同一物体的位置而进行匹配，能够将匹配得到的匹配对象122与搜索对象121的图像位置的偏移量作为视差。

另一方面，表示左图像100LB和右图像100RB之间产生了高度偏移的情况。能够将匹配对象123相对于同样的搜索对象121的图像位置的偏移量作为视差。此时122和123之间的位置的偏移作为视差误差dD[px]而产生。如果将直线相对于水平的倾斜度设为θ[rad]，则视差误差dD由以下的式(2)表示。

[式2]

即，在产生某垂直偏移dj时，视差误差dD成为直线的斜率θ的函数，可知θ越接近0、即越接近水平，dD越大。

另外，这里根据式(1)，产生视差误差dD时的距离误差dZ[mm]由以下的式(3)表示。

[式3]

由于f、B、w由摄像机固定，所以可知视差D越小，伴随视差误差dD的距离误差dZ越大。另一方面，在D相对于dD足够大的情况下，dZ变小，因此可以忽略对物体的检测和测距的影响。

以上说明了立体摄像机系统的情况，但这对于通过一个摄像机计算时刻不同的两张图像的对应点的系统也同样。

[第1实施例](单眼摄像机的例子)

以下，使用附图说明实施例。

首先，使用图2说明使用了搭载有物体探测装置的摄像机的车辆控制系统的概要。另外，图2是从侧面观察车辆200时的示意图，摄像机201(单眼摄像机)、方向盘204(包括操舵执行器、舵角传感器等)以及车轮205(包括制动执行器、驱动机构等)与车辆控制部202连接。

摄像机201安装在车辆200上。在摄像机201上搭载有物体探测装置，例如测量到前方的物体210(例如电线杆)的距离、相对速度并发送到车辆控制部202。车辆控制部202根据接收到的距离、相对速度来控制制动器、加速踏板、方向盘。

接着，使用图3说明图像处理装置300的概要。

图3表示本发明的第1实施例中的图像处理装置300的构成。图像处理装置300由CPU310、存储器320、图像输入部390、图像存储部330、移动量计算部340、移动量的差计算部360、可靠度计算部370、物体探测部380、偏移赋予部391以及外部输出部350构成。

另外，作为一例，图像输入部390、图像存储部330、移动量计算部340、移动量的差计算部360、可靠度计算部370、物体探测部380、偏移赋予部391以及外部输出部350通过FPGA(Field Programmable Gate Array：现场可编程门阵列)等逻辑电路构成。

图像输入部390是用于输入外部的影像数据输出装置(未图示)输出的数据的接口。通过图像输入部390输入的数据存储在存储器320中。在本实施例中，假设连续地传送图像的情况，图像存储部330按时间序列存储所输入的图像。

偏移赋予部391对所输入的图像进行使图像的位置移动的图像处理，在图像存储部330中还存储由偏移赋予部391进行了图像处理后的图像。

移动量计算部340针对存储在图像存储部330中的时刻不同的2张图像，针对每个像素或每个部分区域搜索对应点，计算图像上的移动量。作为计算方法，例如已知有被称为光流(optical flow)的方法。

移动量的差计算部360求出由移动量计算部340使用时刻T0的图像I0、时刻T1的未赋予偏移的图像I1、时刻T1的由上述偏移赋予部391赋予了偏移的图像I2中的、I0和I1生成的流与使用I0和I2生成的流的移动量的差分。

可靠度计算部370将由移动量计算部340生成的流的移动量的差分与所赋予的偏移抵消后的结果为，差分大的像素的可靠度低，差分小的像素的可靠度高，输出可靠度。

物体探测部380基于在偏移赋予部391没有赋予偏移的情况下的移动量计算部340的输出结果和可靠度计算部370的输出结果，对可靠度高的像素、且移动量大的像素进行分组，由此检测物体。

此时，通过使用可靠度高的像素，能够进行误检测少的物体探测。另外，在包含可靠度低的像素进行分组并求出移动量的大小时，如果仅使用可靠度高的像素，则能够无遗漏地进行物体探测，另一方面，能够准确地求出移动量。这样，通过对每个像素求出移动量和可靠度，能够兼顾物体探测的检测率和物体的移动方向的推定精度。

外部输出部350输出由物体探测部380检测到的物体的位置和移动方向。如果将外部输出部350的输出结果用于车辆的控制，则对于碰撞可能性高的物体，能够根据到碰撞为止的时间和距离来控制制动操作或方向盘操作，进行避免碰撞的控制。

这样，在为了避免车辆的碰撞而利用的情况下，需要更准确地预测物体的位置和移动方向，特别是如果错误预测移动方向，则有可能导致不必要的制动操作，这是危险的。因此，移动方向的预测需要高精度的移动量的计算。

接着，使用图6说明本实施例的图像处理装置300的动作。另外，图像存储部330至少存储图像I0(第一图像)和图像I1(第二图像)。

偏移赋予部391对图像I1(第二图像)赋予纵向的偏移(S10)。移动量计算部340(测定值计算部)在赋予偏移的前后，根据图像I0(第一图像)的像素和与其对应的图像I1(第二图像)的像素计算移动量(测定值)(S15)。移动量的差计算部360(差分计算部)计算赋予偏移的前后的移动量(测定值)的差分(S20)。可靠度计算部370根据移动量(测定值)的差分计算每个像素的可靠度(S25)。

由此，能够评价每个像素的测定值的可靠度。另外，也可以检测与起因于倾斜形状的误差大的测定值相关联的像素。

在本实施例中，图像I0(第一图像)和图像I1(第二图像)是由单眼摄像机拍摄的时间序列(时刻T1、T2)的图像。移动量计算部340(测定值计算部)计算每个像素的移动量作为测定值。由此，能够评价每个像素的移动量的可靠度。另外，能够检测与误差大的移动量相关联的像素。

根据上述的本实施例，能够通过赋予偏移来检测不能准确计算移动量的不稳定的区域，通过除去不稳定的区域而计算移动量，能够进行高精度的移动量计算。

[第2实施例](立体摄像机的例子)

以基于立体摄像机的障碍物检测系统为例进行说明。本实施例是在第1实施例中说明的图2的摄像机201成为立体摄像机的情况的例子。

图4表示本发明的第2实施例中的图像处理装置的构成。

图像处理装置400由CPU410、存储器420、图像输入部490、平行化部430、视差计算部440、视差的差计算部460、可靠度计算部470、物体探测部480、偏移赋予部491、以及外部输出部450构成。

图像输入部490是用于输入外部的影像数据输出装置(未图示)输出的数据的接口。在立体摄像机的情况下，当以在相同时间拍摄左和右的方式输入同步的影像时，可以更精确地求出距离。

由图像输入部490输入的数据被存储在存储器420中。平行化部430进行校正安装位置或透镜引起的变形等的处理，以使输入的左右图像平行。

偏移赋予部491对平行化部430的校正量在铅垂方向上赋予偏移。平行化部430生成由偏移赋予部491赋予了偏移的多个图像和未赋予偏移的图像。假定仅对左右图像中的一个图像进行偏移赋予，有意使一个图像偏移。在此，作为偏移的种类，说明赋予正负两种偏移的例子。

视差计算部440分别处理赋予了上述偏移的多个图像和未赋予的图像，计算视差。

在本实施例中，左图像(第一图像)和右图像(第二图像)是由立体摄像机拍摄的一对图像。视差计算部440(测定值计算部)计算每个像素的视差作为测定值。可靠度计算部470根据视差(测定值)的差分计算每个像素的可靠度。由此，能够评价每个像素的视差的可靠度。另外，可以检测与由倾斜形状引起的误差大的视差相关联的像素。

视差的差计算部460比较所述视差计算部440输出的赋予了偏移的图像和未赋予偏移的图像，针对每个像素求出视差的差分。作为视差的差计算部460的输出结果的例子，有输出该比较图像的视差的偏差、或是输出视差的差分的和。

可靠度计算部470根据视差的差计算部460输出的结果，对每个像素求出差分图像的方差，作为可靠度输出。视差的方差大的可靠度低，方差小的可靠度高。这里示出了求出方差的例子，但也可以是视差的差分的绝对值和等，只要是表示即使赋予偏移视差也不变化的像素的可靠度高、赋予偏移则视差变化的像素的可靠度低的指标即可。

即，可靠度计算部470根据视差(测定值)的方差或视差(测定值)的差分的绝对值和，计算每个像素的可靠度。由此，能够提高每个像素的可靠度的可靠性。另外，可靠度计算部470也可以根据到与像素对应的对象物的距离(测定值)的方差或距离(测定值)的差分的绝对值和来计算每个像素的可靠度。由此，能够评价每个像素的距离的可靠度。在此，测定值(移动量、视差、距离等)的差分越大，可靠度越小。由此，能够根据测定值的差分来评价每个像素的测定值的可靠度。

物体探测部480通过使用在视差计算部440中未被赋予偏移的图像执行三维分组处理来检测对象。此时，参照可靠度计算部470输出的结果，进行仅使用可靠度高的视差数据进行分组的处理，由此能够防止误检测。

也就是说，物体探测部480使用可靠度超过阈值的视差(测定值)来进行分组，并且探测对象。由此，能够防止物体的误探测。

[第3实施例](周期性地赋予偏移的例子)

在第2实施例的图像处理装置400中，由偏移赋予部491指定多个偏移，平行化部430分别生成未赋予偏移的图像和赋予了偏移的图像，分别由视差计算部440计算视差。在第3实施例中，表示相对于时间序列周期性地切换赋予偏移或不赋予偏移的例子。

即，在本实施例中，偏移赋予部491周期性地赋予偏移。可靠度计算部470将对象区域中的视差(测定值)的方差的时间序列变动作为可靠度输出。由此，能够评价对象区域的测定值的可靠度。

物体探测部480按时间顺序对赋予了正偏移的视差图像、未赋予偏移的视差图像和赋予了负偏移的视差图像执行三维分组处理。分组后的结果稳定时，可靠度高，分组后的结果不稳定时，可靠度低。在此，所谓稳定是指，例如在检测如汽车那样大小难以按时间序列变化的对象的情况下，大小相同的情况为稳定，大小按时间序列变化的情况为不稳定。

这样，通过在生成视差图像时的一方的平行化图像上按时间序列附加偏移，也能够判断是否误检测了探测到的物体，生成视差图像的处理每1帧进行1次即可，所以能够在不增加计算量的情况下实现。

[实施例4](图像诊断部的例子)

对图5进行说明。在本实施例中，除了第2实施例的构成之外，还具备图像诊断部501。对图像诊断部501进行说明。事先测量对于输入图像的可靠度计算部470的可靠度为多少，并事先保持该阈值。图像诊断部501基于可靠度计算部470输出的结果(可靠度)和所述阈值，在可靠度超过阈值的情况下，从外部输出部450通知异常。

即，图像诊断部501在对象区域的视差(测定值)的方差超过阈值的情况下，诊断为对象区域的视差(测定值)异常。由此，能够判定对象区域的视差(测定值)的异常。

在通知了异常的情况下，车辆控制系统向驾驶员通知异常状态，中止制动控制和操舵控制，能够防止误动作。通过根据上述可靠度相对于上述阈值的富余度分阶段地停止系统，能够进行操舵操作停止、紧急制动等继续控制这样的控制，能够兼顾便利性和可靠性。

[实施例5](检测透镜变形的例子)

在第4实施例中，事先测量对于特定场景的可靠度计算部470的可靠度为多少，并事先保持该阈值。

当在特定场景中再次拍摄图像时，如果可靠度存在差异，则可以检测到除铅垂偏移以外的偏移的产生。

由此，能够分离摄像机是在铅垂方向上偏离还是因其他原因而偏离，能够更准确地求出图像的校正量。另外，通过分别对铅垂方向的偏移或其他原因引起的偏移设定异常判定的阈值，能够对意外的构造偏移进行异常判断，对铅垂偏移保留判断等，进行更细致的诊断。

另外，本发明不限定于上述的实施例，包含各种变形例。例如，上述的实施例是为了容易理解地说明本发明而详细说明的例子，并不一定限定于具备所说明的全部构成。另外，可以将某实施例的构成的一部分置换为其他实施例的构成，另外，也可以在某实施例的构成中加入其他实施例的构成。另外，对于各实施例的构成的一部分，能够进行其他构成的追加、删除、置换。

另外，上述各构成的一部分或全部可以通过硬件来实现，也可以通过处理器执行程序来实现。另外，控制线和信息线表示在说明上被认为是必要的，在产品上未必表示全部的控制线和信息线。实际上也可以认为几乎全部的构成相互连接。

另外，本发明的实施例也可以是以下的方式。

(1).一种图像处理装置，其特征在于，具备：偏移附加部，其对图像附加偏移；移动量计算部，其计算时间序列的所述图像的每个像素的移动量；以及可靠度计算部，其根据偏移量计算所述每个像素的可靠度。

(2).一种图像处理装置，其特征在于，具备：多个拍摄部，其得到图像；视差计算部，其根据所述图像计算视差；偏移附加部，其在计算所述视差时附加铅垂方向的偏移；差分计算部，其计算所述视差的差分；以及可靠度计算部，其根据所述视差的差计算可靠度。

(3).根据(1)、(2)所述的图像处理装置，其特征在于，所述偏移附加部周期性地附加所述偏移，计算特定区域的距离或移动量的方差，所述可靠度计算部将所述方差的时间序列变动作为所述可靠度输出。

(4).根据(1)至(3)所述的图像处理装置，其特征在于，具有图像诊断部，计算所述偏移附加部附加的偏移量和特定区域的距离或移动量的方差，在特定区域的距离或移动量超过预先保持的阈值的情况下，所述图像诊断部检测异常。

符号说明

210…物体(电线杆)

200…车辆(汽车)

300、400、500…图像处理装置。

Claims

1.一种图像处理装置，其特征在于，具备：

图像存储部，其至少存储第一图像和第二图像；

偏移赋予部，其对所述第二图像赋予纵向的偏移；

测定值计算部，其在赋予所述偏移的前后，根据所述第一图像的像素和与其对应的所述第二图像的像素计算测定值；

差分计算部，其计算赋予所述偏移的前后的所述测定值的差分；以及

可靠度计算部，其根据所述测定值的差分计算每个像素的可靠度。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述第一图像和所述第二图像是由单眼摄像机拍摄到的时序图像，

所述测定值计算部计算每个像素的移动量作为所述测定值。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述第一图像和所述第二图像是由立体摄像机拍摄到的一对图像，

所述测定值计算部计算每个像素的视差作为所述测定值。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述偏移赋予部周期性地赋予所述偏移，

所述可靠度计算部将对象区域中的所述测定值的方差的时间序列变动作为所述可靠度输出。

5.根据权利要求4所述的图像处理装置，其特征在于，

具备图像诊断部，在所述对象区域的所述测定值的方差超过阈值的情况下，所述图像诊断部诊断为所述对象区域的所述测定值异常。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述可靠度计算部根据所述测定值的方差或所述测定值的差分的绝对值和，计算每个像素的所述可靠度。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述测定值是到与像素对应的对象物的距离。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述测定值的差分越大，所述可靠度越小。

9.根据权利要求3所述的图像处理装置，其特征在于，

具备物体探测部，所述物体探测部使用所述可靠度超过阈值的测定值进行分组，探测物体。