CN111868784A - 车载立体摄像机 - Google Patents

Abstract

本发明提供一种在拍摄产生不良情况的情况下能够继续自动驾驶的车载立体摄像机。对由一对拍摄部以具有相互重复的区域的方式摄像到的一对拍摄图像(301、302)进行获取(S201)，判定在一对拍摄图像的至少一方中是否存在异常区域，在存在异常区域的情况下，诊断异常区域对物体识别部的物体识别处理带来的影响度(S202)，根据影响度来变更物体识别处理的处理内容(S203)。

Description

车载立体摄像机

技术领域

本发明涉及一种车载立体摄像机。

背景技术

在专利文献1中公开了如下技术：分别对由多个摄像装置以具有重复区域的方式拍摄到的拍摄图像进行获取，在获取到的多个拍摄图像中分别提取重复区域，在提取出的多个重复区域中分别提取图像特征，另外，对多个重复区域中的图像特征进行比较，判定这些图像特征是否类似，在不类似的情况下判定为摄像装置发生了故障。并且，说明了以下情况：在存在被确定为发生故障的摄像机的情况下，进行故障保护设定，输出不利用发生故障的摄像机的拍摄图像的指示。

现有技术文献

专利文献

专利文献1：日本专利特开2016-15638号公报

发明内容

发明要解决的问题

例如，在根据立体摄像机的传感信息进行自动驾驶的过程中，在立体摄像机上附着有遮蔽物而妨碍视野的情况下、在立体摄像机发生了故障的情况下，也要求维持行驶控制所需的传感功能，直到驾驶者接过驾驶为止继续进行自动驾驶。

本发明是鉴于上述问题而提出的，其目的在于，提供一种在拍摄产生不良情况的情况下能够继续自动驾驶的车载立体摄像机。

用于解决问题的技术手段

解决上述问题的本发明的车载立体摄像机的特征在于，具备：

拍摄图像获取部，其对由一对拍摄部以具有相互重复的区域的方式拍摄到的一对拍摄图像进行获取；

物体识别部，其进行使用所述一对拍摄图像来识别物体的物体识别处理；以及

影响度诊断部，其判定在所述一对拍摄图像的至少一方中是否存在异常区域，在存在所述异常区域的情况下，诊断所述异常区域对所述物体识别部的所述物体识别处理带来的影响度，

所述物体识别部根据所述影响度来变更所述物体识别处理的处理内容。

发明的效果

根据本发明，能够得到在拍摄产生不良情况的情况下能够继续自动驾驶的车载立体摄像机。根据本说明书的描述、附图，与本发明关联的其他特征将变得明确。另外，上述以外的问题、构成及效果通过以下的实施方式的说明而明确。

附图说明

图1是说明本发明的第1实施方式的车载立体摄像机的构成的功能框图。

图2是说明本发明的第1实施方式的车载立体摄像机的控制处理的流程图。

图3是说明通过异常检测处理诊断异常的影响度的方法的具体例的图。

图4是说明物体识别处理的内容的流程图。

图5是说明物体识别处理的其他实施例的流程图。

图6是具有异常区域和正常区域的一方的拍摄图像的示意图。

图7是说明物体识别处理的其他实施例的流程图。

图8是说明正常动作的表的一例的图。

图9是说明存在异常区域时的表的一例的图。

图10是存在异常区域时的左图像和右图像的示意图。

图11是立体视觉的视差图像的示意图。

图12是表示异常区域的单目视觉的补充状态的示意图。

图13是说明在异常时切换硬件的构成的方法的图。

具体实施方式

下面，使用附图说明本发明的实施方式。

图1是说明本发明的实施方式的车载立体摄像机的构成的功能框图。

本实施方式的车载立体摄像机搭载于自身车辆，具有基于拍摄自身车辆的前方所得的图像进行行人、其他车辆等的物体识别的构成。由车载立体摄像机检测出的物体识别的信息被输出到自身车辆的行驶控制部105，用于自动制动控制、自动行驶控制或者自动驻车控制等各种车辆行驶控制。

如图1所示，车载立体摄像机具有一对拍摄部(拍摄单元)101、102以及控制部。一对拍摄部101、102以具有相互重复的区域的方式对车辆前方进行拍摄。在本实施方式中，一对拍摄部101、102与车载立体摄像机一体地构成，但也可以作成与车载立体摄像机分体设置而将拍摄图像供给至车载立体摄像机的构成。

控制部具有：在正常时进行立体视觉的物体识别的第一物体识别部103；和在异常时进行单目视觉的物体识别的第二物体识别部104。第一物体识别部103具有：根据一对拍摄图像来计算视差的单元111、根据视差来算出距离的单元112以及根据距离信息来进行物体识别的单元113。第二物体识别部104具有：检测由任意一方的拍摄部拍摄到的拍摄图像中的异常的单元121；使用由另一个拍摄单元拍摄到的拍摄图像来执行单目处理的单元122；以及基于该结果来进行物体识别的单元123。

图2是说明本实施方式的车载立体摄像机的控制处理的流程图。

在控制部中，首先，进行拍摄图像获取处理(S201)，对由一对拍摄部以具有相互重复的区域的方式拍摄到的一对拍摄图像进行获取。然后，进行检测一对拍摄图像的至少一方是否有异常的异常检测处理(S202)。在S202的异常检测处理中，判定在一对拍摄图像的至少一方中是否存在异常区域，在存在异常区域的情况下，进行影响度诊断处理，该拍摄图像获取处理对异常区域对物体识别部的物体识别处理带来的影响度进行诊断。然后，进行使用一对拍摄图像来识别物体的物体识别处理(S203)。在S203的物体识别处理中，进行根据通过影响度诊断处理诊断出的影响度来变更物体识别处理的处理内容的处理。

图3是说明通过异常检测处理诊断异常的影响度的方法的具体例的图。

在图3所示的例子中，在左右一对拍摄图像中，右图像302上有污渍303，左图像301上没有污渍。在这种情况下，通过异常检测处理，判定为右图像302存在异常，存在异常区域。然后，为了诊断物体识别的影响度，将左图像301和右图像302相互比较，推定污渍303的大小和透明度。影响度受污渍303的大小和透明度的影响，污渍越大或透明度越低，影响度越大，污渍越小或透明度越高，影响度越小。

在异常检测处理中，算出左图像301和右图像302的差，在污渍部分的差大的情况下，能够判断为附着有污渍303。例如，虽然能够从单眼摄像机的单一图像中检测出泥、尘埃等明显的污渍，但难以检测出附着在摄像机透镜上的雨滴等浅污渍。另一方面，由于立体摄像机能够得到左右两个同样的图像，所以也能够检测出浅污渍。

例如，在如透明度(1)那样污渍的透明度高的情况下，诊断为在物体识别处理中物体的误检测、不检测少，影响度小。另外，在如透明度(5)那样污渍的透明度低的情况下，在物体识别处理中物体的误检测、不检测的可能性变高。即，诊断为误检测、不检测的风险高，影响度大。图3所示的右图像302的污渍303是雨滴等浅污渍，相当于透明度(3)。

图4是说明S203的物体识别处理的内容的流程图。

在物体识别处理中，根据由影响度诊断处理诊断出的影响度，来变更物体识别处理的处理内容。例如，在步骤S401中，判定是否存在异常区域。然后，在不存在异常区域的情况下(S401中“否”)，转移到步骤S403，进行使用了一对拍摄图像的立体视觉的物体识别。

另一方面，在存在异常区域的情况下(S401中“是”)，为了诊断其影响度而转移到步骤S402以后。在步骤S402中，判断影响度是否小于预先设定的阈值，在诊断为影响度小于预先设定的阈值的情况下(S402中“是”)，转移到步骤S403，进行使用了一对拍摄图像的立体视觉的物体识别。

然后，在诊断为影响度为阈值以上的情况下(S402中“否”)，转移到步骤S404，进行仅使用了任意另一方的拍摄图像的单目视觉的物体识别处理。例如，在将图3所示的透明度(3)作为阈值的情况下，由于透明度(1)和透明度(2)比阈值小，所以进行左图像301和右图像302的立体视觉的物体识别处理，由于透明度(3)-(5)为阈值以上，所以进行左图像301的单目视觉的物体识别处理。

根据上述的物体识别处理，在一方的拍摄图像有异常而其影响度为阈值以上的情况下，将物体识别处理的内容从使用了一对拍摄图像的立体视觉变更为仅使用了另一方的拍摄图像的单目视觉，所以虽然识别性能可能降低，但能够维持最低限度的功能，能够继续物体识别。因此，在根据立体摄像机的传感信息进行自动驾驶的过程中，在立体摄像机上附着有遮蔽物而妨碍视野的情况下、在立体摄像机发生了故障的情况下，也能够维持行驶控制所需的传感功能，直到驾驶者接过驾驶为止继续自动驾驶。

图5是说明物体识别处理的其他实施例的流程图，是与图4对应的图。

在本实施例中，特征在于，设为仅将拍摄图像的异常区域通过单目视觉的物体识别处理来补充的构成。从步骤S501到步骤S503的处理内容与图4所示的实施例的步骤S401到步骤S403相同。在步骤S504中，进行使用了从一方的拍摄图像中除去异常区域后的正常区域的图像、和另一方的拍摄图像的与一方的拍摄图像的正常区域对应的正常区域的图像的立体视觉的物体识别、和使用了另一方的拍摄图像的与一方的拍摄图像的异常区域对应的正常区域的图像的单目视觉的物体识别。

图6是具有异常区域和正常区域的一方的拍摄图像的示意图。一方的拍摄图像601具有正常拍摄的正常区域602、603和具有影响度为阈值以上的污渍的异常区域604。另一方的拍摄图像611没有污渍，具有与一方的拍摄图像601的区域602～604对应的正常区域612～614。

在该情况下，进行使用了一方的拍摄图像601的正常区域602、603和另一方的拍摄图像611的正常区域612、613的立体视觉的物体识别处理。然后，对于一方的拍摄图像601的异常区域604，进行使用了与一方的拍摄图像601的异常区域604对应的另一方的拍摄图像611的正常区域614的图像的单目视觉的物体识别处理。

根据上述的物体识别处理，对于正常区域602、603，能够在与另一方的拍摄图像611之间进行视差计算。因此，对于发生了异常的一方的拍摄图像601的一部分，能够保留进行立体视觉的物体识别的正常路径。因此，能够以与异常时的损伤对应的水平维持功能。

另外，在上述的实施例中，说明了仅在一方的拍摄图像601中存在异常区域的情况，但不限于此，也能够适用于在一方的拍摄图像601和另一方的拍摄图像611双方中存在异常区域的情况。例如，在一方的拍摄图像601的区域604和另一方的拍摄图像611的区域612分别是异常区域的情况下，也可以对一方的拍摄图像601的区域604使用另一方的拍摄图像的正常区域614进行单目视觉的物体识别，对另一方的拍摄图像611的区域612使用一方的拍摄图像的正常区域602进行单目视觉的物体识别。

图7是说明物体识别处理的其他实施例的流程图，是与图5对应的图。本实施例的特征在于，在拍摄图像中存在异常的情况下，根据影响度来变更针对异常区域的物体识别处理。

例如，在步骤S701中，判定是否存在异常区域。然后，在不存在异常区域的情况下(S701中“否”)，为了执行第一物体识别处理而转移到步骤S703，进行使用了一对拍摄图像的立体视觉的物体识别。然后，在存在异常区域的情况下(S701中为“是”)，为了诊断其影响度而转移到步骤S702以后。

在步骤S702中，判断影响度是否小于预先设定的阈值，在诊断为影响度小于预先设定的阈值的情况下(在S702中为“是”)，为了执行第二物体识别处理而转移到步骤S704，在诊断为影响度为阈值以上的情况下(在S702中为“否”)，为了执行第三物体识别处理而转移到步骤S705。

在步骤S704中，对正常区域彼此进行立体视觉的物体识别。并且，对于异常区域，通过与正常区域的立体视觉不同的处理，计测立体物的位置。作为不同的处理，例如可以举出通过纹理的相关处理进行匹配的方法、通过边缘信息、亮度的梯度进行匹配的方法。例如，在一方的拍摄图像中存在影响度小于阈值的异常区域的情况下，对与异常区域对应的另一方的拍摄图像的正常区域进行匹配。

在步骤S705中，对正常区域彼此进行立体视觉的物体识别。并且，对于异常区域，进行仅使用正常的另一方的拍摄图像的单目视觉的物体识别。例如，在一方的拍摄图像中存在影响度为阈值以上的异常区域的情况下，对与异常区域对应的另一方的拍摄图像的正常区域进行单目视觉的物体识别。在物体识别处理中，在通过步骤S704或步骤S705在异常区域中检测到物体的情况下，创建将该物体放入异常区域的位置而补充的表。

图8是说明正常动作的表的一例的图，图9是说明存在异常区域时的表的一例的图。例如，在步骤S701中判断为不存在异常区域且在步骤S703中进行了立体视觉的物体识别的情况下，创建图8所示的表。在图8所示的表中，示出了通过立体视觉识别出的物体的信息，检测物体ID(1)～(5)、各物体的三维坐标位置、各物体的尺寸。

此外，在异常区域存在于一方的拍摄图像中的情况下，仅通过立体视觉的物体识别，物体ID(3)、(4)不被检测，表如图9的(a)所示。在本实施例中，对异常区域进行匹配、单目视觉的物体识别并补充。如图9的(b)所示，补充后的物体ID(3)、(4)的位置Xa3、Ya3、Za3、Xa4、Ya4、Za4和尺寸Sa2、Sa4被放入表中。

图10是存在异常区域时的左图像和右图像的示意图，图11是立体视觉的视差图像的示意图，图12是表示异常区域的单目视觉的补充状态的示意图。

在左图像901和右图像902中，显示有道路标识903和先行车辆904，该道路标识903表示配置在自身车辆的行驶车道的侧方的限制速度，该先行车辆904在自身车辆的前方朝向与自身车辆相同的方向移动。而且，右图像902中显示的先行车辆904，由于附着在右侧的拍摄部上的泥污905，其一部分完全隐藏。因此，如图11所示，在进行了立体视觉的物体识别的情况下，对于作为正常区域的道路标识903和先行车辆904的一部分，求出距离自身车辆的间隔距离、即位置，从而能够进行物体检测，但对于被泥污905隐藏的异常区域906，在立体视觉中不能求出位置。

与此相对，在本实施例中，如图12所示，使用左拍摄图像901补充右拍摄图像902的异常区域，生成右拍摄图像902的被污染遮蔽的部分的图像907。图像907例如通过处理左拍摄图像901来推定先行车辆904的尺寸而生成。然后，如图12所示，使用补充了异常区域的右拍摄图像902和左拍摄图像901来进行物体识别。

图13是说明在异常时切换硬件的构成的方法的图。

车载立体摄像机具有：第一处理电路部，其进行如下处理作为立体视觉的物体识别：计算一对拍摄图像的视差，基于视差算出拍摄图像中的距离信息，并基于距离信息检测物体；以及第二处理电路部，其进行如下处理作为单目视觉的物体识别：提取拍摄图像中的特征点，并基于特征点识别物体。第一处理电路部构成图1所示的第一物体识别部，第二处理电路部构成图1所示的第二物体识别部。

本实施方式的车载立体摄像机具有CPU、存储器、以及FPGA电路等硬件。如图13所示，硬件包括图像输入电路1301、仿射电路1302和左右图像视差计算电路1303，作为用于在正常时进行立体视觉的物体识别的电路，并且通过软件执行CPU的视差(三维信息)处理来检测物体。然后，在异常时，将左右图像视差计算电路1303切换为特征提取电路1304作为进行单目视觉的物体识别的电路，并且通过CPU所进行的基于机器学习特征点而实现的识别处理(软件处理)来检测物体。

在本实施例中，通过变更硬件的使用构成，切换为执行立体视觉的物体识别处理的构成和执行单目视觉的物体识别处理的构成的某一方。例如，在一方的拍摄图像中存在异常的情况下，使立体视觉的物体识别处理停止，切换为单目视觉的物体识别处理。此时，进行(1)将FPGA电路的立体视觉处理电路改写为单目视觉处理用的硬件加速器，(2)变更存储器的使用区域，(3)变更CPU的使用构成(多核的构成等)。因此，能够节约仅在异常时使用的硬件，能够减小硬件规模。

以上，对本发明的实施方式进行了详述，但本发明不限于上述实施方式，在不脱离权利要求书所记载的本发明的精神的范围内，可以进行各种设计变更。例如，上述的实施方式是为了容易理解地说明本发明而详细说明的，不一定限定于具备说明的全部的构成。另外，可以将某实施方式的构成的一部分置换为其他实施方式的构成，另外，也可以在某实施方式的构成上加上其他实施方式的构成。进而，对于各实施方式的构成的一部分，能够进行其他构成的追加、删除、置换。

符号说明

301 左图像

302 右图像

303 污渍

601 一方的拍摄图像

602、603 正常区域

604 异常区域

611 另一方的拍摄图像

612～614 正常区域

901 左图像

902 右图像

903 道路标识

904 先行车辆

905 泥污

S201 拍摄图像获取处理(拍摄图像获取部)

S202 异常检测处理(影响度诊断部)

S203 物体识别处理(物体识别部)。

Claims (6)

1.一种车载立体摄像机，其特征在于，具备：

拍摄图像获取部，其对由一对拍摄部以具有相互重复的区域的方式拍摄到的一对拍摄图像进行获取；

物体识别部，其进行使用所述一对拍摄图像来识别物体的物体识别处理；以及

影响度诊断部，其判定在所述一对拍摄图像的至少一方中是否存在异常区域，在存在所述异常区域的情况下，诊断所述异常区域对所述物体识别部的所述物体识别处理带来的影响度，

所述物体识别部根据所述影响度来变更所述物体识别处理的处理内容。

2.根据权利要求1所述的车载立体摄像机，其特征在于，

所述物体识别部进行以下处理：

在由所述影响度诊断部诊断为在所述一对拍摄图像的任意一个中都不存在所述异常区域的情况下，或者在诊断为所述影响度小于预先设定的阈值的情况下，进行使用了所述一对拍摄图像的立体视觉的物体识别，

在由所述影响度诊断部诊断为在所述一对拍摄图像的任意一方的拍摄图像中存在所述异常区域且所述影响度在所述阈值以上的情况下，进行仅使用了任意另一方的拍摄图像的单目视觉的所述物体识别处理。

3.根据权利要求1所述的车载立体摄像机，其特征在于，

所述物体识别部进行以下处理：

在由所述影响度诊断部诊断为在所述一对拍摄图像的任意一个中都不存在所述异常区域的情况下，或者在诊断为所述影响度小于预先设定的阈值的情况下，进行使用了所述一对拍摄图像的立体视觉的物体识别，

在由所述影响度诊断部诊断为在所述一对拍摄图像的任意一方的拍摄图像中存在所述异常区域且所述影响度在所述阈值以上的情况下，

进行使用了从所述一方的拍摄图像中除去所述异常区域后的正常区域的图像和所述一对拍摄图像的另一方的拍摄图像的立体视觉的物体识别、以及使用了所述另一方的拍摄图像中的与所述异常区域对应的区域的图像的单目视觉的物体识别。

4.根据权利要求2或3所述的车载立体摄像机，其特征在于，

所述物体识别部包括：

第一处理电路部，其进行以下处理作为所述立体视觉的物体识别：计算所述一对拍摄图像的视差，根据该视差算出所述拍摄图像中的距离信息，并根据该距离信息检测物体；以及

第二处理电路部，其进行以下处理作为所述单目视觉的物体识别：提取所述拍摄图像中的特征点并根据该特征点识别物体。

5.根据权利要求2～4中任一项所述的车载立体摄像机，其特征在于，

通过变更硬件的使用构成，切换为执行所述立体视觉的物体识别处理的构成和执行所述单目视觉的物体识别处理的构成中的任意一方。

6.根据权利要求1～4中任一项所述的车载立体摄像机，其特征在于，

所述异常区域的影响度是所述拍摄图像中的所述异常区域的大小或透明度的至少一方。

Images