CN105245869A - 故障检测设备及故障检测程序 - Google Patents

Abstract

本发明提供了故障检测设备以及故障检测程序。在故障检测设备中，获取单元获取由多个成像器件捕获的多个图像，所述多个成像器件的曝光能够被单独地控制。所述多个图像包括表示图像交叠的区域的交叠区域。区域提取单元从由获取单元获取的多个图像中提取多个交叠区域。特征提取单元从由区域提取单元提取的多个交叠区域中提取图像特征。此外，比较单元在多个交叠区域之间比较图像特征，并且相似度确定单元基于由比较单元进行比较的结果来确定图像特征是否相似。当相似度确定单元确定图像特征不相似时，故障确定单元确定出成像器件中的故障。

Description

故障检测设备及故障检测程序

技术领域

本公开内容涉及检测成像器件的故障的故障检测设备以及故障检测程序。

背景技术

常规技术中，已知通过使用立体相机进行成像的成像器件。例如，日本专利第4953498号公开了一种对下述进行检测的成像器件：由于一些不良环境条件如背光下成像而不能适当地进行成像。

然而，根据上述成像器件，存在以下问题：该成像器件不能识别是由于不良环境条件还是由于该成像器件的故障而不能进行成像。

发明内容

从而，期望提供检测成像器件的故障的故障检测设备以及故障检测程序。

在根据本公开内容的故障检测设备中，获取单元获取由多个成像器件捕获的多个图像，多个成像器件的曝光能够被单独地控制。所述多个图像均包括表示图像交叠的区域的交叠区域。区域提取单元从由获取单元获取的多个图像中提取多个交叠区域。特征提取单元从由区域提取单元提取的多个交叠区域中提取图像特征。此外，比较单元在多个交叠区域之间比较图像特征，并且相似度确定单元基于由比较单元进行比较的结果来确定图像特征是否相似。当相似度确定单元确定出图像特征不相似时，故障确定单元确定出成像器件中的故障。

具体地，在根据本公开内容的故障检测设备中，通过使用即使当捕获图像是从不同的成像器件获取时在交叠区域也很可能存在相似的图像特征的特性，来基于图像特征是否相似进行故障确定。从而，根据本公开内容的故障检测设备，可以尽量地检测出成像器件的故障。

可以任意尽可能多地对各个权利要求的描述进行组合。在这一点上，可以排除一部分配置，只要获得本公开内容的本质即可。

附图说明

在附图中：

图1是示出了根据本公开内容的一种实施方式的故障检测设备的总体配置的框图；

图2是示出了由根据该实施方式的控制单元中的CPU执行的故障判定过程的流程图；

图3是示出了交叠区域的说明图；

图4是示出了当与右相机对应的图像特征和左相机的图像特征相似时的亮度直方图的说明图；

图5是示出了当与右相机对应的图像特征和左相机的图像特征不相似时的亮度直方图的说明图；以及

图6是示出了根据其他实施方式的故障判定过程的流程图。

具体实施方式

参照附图，在下文中描述了本公开内容的实施方式。

[实施方式的配置]

根据本公开内容的故障检测设备1被安装在车辆(自身车辆)如客车上。故障检测设备1包括检测多个相机中的任一个相机是否有故障的功能。

如图1所示，故障检测设备1包括控制单元10、左相机21、右相机22、照度传感器23和图像处理单元26。左相机21和右相机22被配置为下述众所周知的立体相机，所述立体相机具有基于自身车辆的行驶方向的成像区域，并且所述立体相机被布置成彼此间隔开预定距离。

此外，左相机21和右相机22被布置成使得可以从车厢内部捕获沿自身车辆的行驶方向的车厢外部的图像。左相机21和右相机22被配置成根据从控制单元10发送的命令来设置相机的设定值(图像参数)如曝光控制量或增益。

左相机21和右相机22以预定周期反复捕获图像，并且将所捕获的图像发送至控制单元10。此外，当从控制单元10接收到命令输出测试图案的命令时，左相机21和右相机22将预先存储在相机中的测试图案代替所捕获的图像输出至控制单元10。

照度传感器23被配置为检测自身车辆周围的亮度的众所周知的照度传感器。照度传感器23将亮度的检测结果发送至控制单元10。图像处理单元26从控制单元10获取关于由左相机21和右相机22捕获的图像以及相机的故障的信息，并且对于由没有故障的相机捕获的图像执行图像处理。图像处理单元26从所捕获的图像中提取行人、其他车辆、标志等，并且测量对象与自身车辆之间的距离。

控制单元10被配置为设置有CPU11以及诸如ROM和RAM的存储器12的计算机。CPU11基于存储在存储器12中的程序(包括故障判定程序)来执行各种处理。应当注意的是，控制单元10接收表示刮水器的操作状态的信号。

[根据实施方式的处理]

在如上所述配置的故障检测设备1中，控制单元10执行如图2所示的故障判定过程。该故障判定过程确定左相机21或右相机22是否有故障。该故障检测过程在自身车辆被供电时被激活，并且以每个恒定的周期反复地被执行。

在该过程中，将表示判定的数量的变量n设置成1(S110)。变量n用于确定判定的数量是否达到识别相机的故障所需的数量N，数量N被预先设置。

随后，该处理将用于设置相同的图像参数的命令发送至左相机21和右相机22(S120)。对于图像参数，例如，设置成与由照度传感器23检测的结果对应的值。

随后，该处理确定刮水器是否正在操作(S135)。该处理可以通过确定是否接收到表示刮水器的活动状态的信号来实现。即使刮水器是活动的，当刮水器的位置在左相机21和右相机22的成像区域外部时，该处理也可以确定刮水器不是正在操作。

当刮水器正在操作(S135：是)时，该处理进行至步骤S210，稍后将对步骤S210进行描述。当刮水器不是正在操作时，该处理获取交叠区域(S140)。

交叠区域表示例如在左相机21和右相机22的各自捕获的图像之间成像区域交叠的区域。在交叠区域中，由于相似的对象由两个相机捕获，所以图像特征很可能相似。

随后，在下一个步骤中，从各个图像的交叠区域获取图像特征(S150)。关于图像特征，例如，针对配置交叠区域的相应像素来分析亮度值，并且按每个亮度值对像素进行排序，以获得如图4和图5所示的直方图。

在如图4和图5所示的直方图的水平轴中，亮度值的左端是0，并且亮度值随着其接近水平轴的右端而增大。直方图的垂直轴表示被分类到同一亮度值的像素的数量。

随后，该处理比较图像特征(S160)。该处理确定左相机21的交叠区域中的图像特征与右相机22的交叠区域中的图像特征是否相似。在如图4所示的示例中，示出了左相机21的交叠区域中的图像特征的直方图[A]的形状与示出了右相机22的交叠区域中的图像特征的直方图[B]的形状相似。

同时，在如图5所示的示例中，示出了左相机21的交叠区域中的图像特征的直方图[C]的形状与示出了右相机22的交叠区域中的图像特征的直方图[D]的形状完全互不相同，即不相似。从而，例如通过计算表示直方图的近似曲线的函数以确定这些近似曲线的各自函数的系数的差异是否在允许范围内来确定直方图是否相似。

随后，该处理执行测试图案检查(S170)。该处理命令左相机21和右相机22输出测试图案以获取相应的测试图案，从而确定测试图案是否表示正常。

可以通过平均亮度值或是否测试图案包括预定形状等来确定测试图案是否正常。由于相机21和22总是在正常条件下输出相同的测试图案，所以如果测试图案包括有缺陷的图案，则该处理能够确定出相机有故障。

随后，该处理将图像特征之间的比较结果以及在测试图案中是否存在故障的确定结果存储在存储器12中(S180)。然后，该处理将变量n与用于确定故障的数量N进行比较(S210)。

当变量n小于数量N(S210：否)时，该处理将变量n增大并且返回至步骤S120。此外，当变量n大于或等于N(S210：是)时，该处理确定是否发生了故障以及有故障的相机(S230)。

对于是否存在故障，例如，该处理识别出确定图像特征不相似的次数大于或等于参考值(例如，大于80％)，从而检测出相机中的任意相机的故障。此外，当在多个相机的测试图案中检测出的故障的数量大于或等于参考值(例如，80％)时，该处理可以识别出多个相机有故障。

接下来，在步骤S240处，该处理确定是否存在已经在其中识别出故障的相机。如果存在有故障的相机(S240：是)，则该处理执行故障安全处理(S250)。

在故障安全处理中，例如，该处理输出不使用由有故障的相机捕获的图像的命令。根据该实施方式，该命令被发送至图像处理单元26。在完成这样的处理之后，该处理终止故障判定过程。

在步骤S240中，当没有识别出有故障的相机时(S240：否)，该处理执行正常操作设定(S260)。在正常操作设定中，该处理不输出不使用由特定相机捕获的图像的命令，而是使用由所有相机捕获的图像来执行处理。在完成这样的处理之后，该处理终止故障判定过程。

[本实施方式的优点]

在详细描述的故障检测设备1中，控制单元10获取由多个成像器件捕获的相应图像，在多个成像器件中可以单独地控制曝光，所述图像具有表示交叠的图像区域的交叠区域。控制单元10在获取的多个图像中提取相应的交叠区域，并且在提取的多个交叠区域中提取图像特征(亮度和颜色的分布(直方图)、在区域中检测到的对象的类型)。控制单元10在多个交叠区域中比较图像特征，确定这些图像特征是否相似，并且当这些图像特征不相似时确定出成像器件有故障。

具体地，在故障检测设备1中，即使在图像是由不同的成像器件捕获的情况下，通过使用在交叠区域中具有相似的图像特征的可能性高的特性，也基于图像特征是否相似来执行故障判定过程。根据上述故障检测设备1，可以顺利地检测成像器件的故障。

此外，在上述故障检测设备1中，控制单元10基于构成多个交叠区域的相应像素的亮度或颜色来生成每个交叠区域的直方图，并且在多个直方图之间比较直方图，从而确定图像特征是否相似。

根据上述故障检测设备1，与诸如图案匹配方法的图像处理方法相比，可以降低在确定相似度时的处理负荷。此外，在上述故障检测设备1中，多个成像器件被配置成：当从外部装置接收到测试输出信号时，输出预先准备的测试图像代替捕获的图像，并且控制单元10将测试输出信号发送至多个成像器件中的每一个成像器件，确定从所述多个成像器件输出的测试图像是否正常，并且确定出输出异常测试图像的成像器件有故障。

根据故障检测设备1，可以在不使用照度的情况下识别出有故障的成像器件。上述故障检测设备1中的控制单元10获取刮水器的操作状态，并且从不包括刮水器的获取图像中提取交叠区域。

根据上述故障检测设备1，避免了图像特征由于捕获的图像中包括的刮水器而变化。此外，在上述故障检测设备1中，控制单元10反复获取多个图像，在反复获取的多个图像中提取相应的交叠区域和图像特征，并且确定图像特征是否相似。然后，当控制单元多次确定出反复获取的多个图像的特征不相似时，控制单元10确定出在成像器件中发生了故障。

根据上述故障检测设备1，控制单元10在不仅一次而且多次确定出图像特征不相似的情况下确定出在成像器件中发生了故障。因此，可以避免由于暂时确定出图像特征不相似而进行的错误确定。

在故障检测设备1中，当确定出成像器件中的故障时，控制单元10进行以下应用，该应用使用捕获的图像来执行预先设置的故障安全处理。

根据上述故障检测设备1，在使用捕获的图像的处理中执行故障安全处理，从而将该处理控制到更安全的方面。

此外，在上述故障检测设备1中，控制单元10执行在不使用发生了故障的成像器件情况下的处理作为故障安全处理。根据上述故障检测设备1，由于不使用发生了故障的成像器件，所以可以避免由于使用有故障的成像器件而导致的错误操作。

在上述故障检测设备1中，控制单元10控制多个成像器件以在相同的曝光条件下捕获图像，并且获取在相同的曝光条件下捕获的多个图像。根据故障检测设备1，可以在相同的曝光条件下捕获图像，使得获取图像特征的条件可以是相同的条件。因此，可以提高确定故障的精确度。

[其他实施方式]

本公开内容不限于上述实施方式。用于上述实施方式的附图标记也适当地用于权利要求。使用这些附图标记是为了更容易地理解公开内容，而不是为了限制根据各个权利要求的公开内容的技术范围。此外，在上述实施方式的单个要素中包括的功能可以被划分成多个要素，或者在多个要素中包括的功能可以被集成为单个要素。此外，根据上述实施方式的配置中的至少一些配置可以由使用相似的功能的公众已知的配置来替换。此外，可以省略根据上述实施方式的配置中的一些配置，只要能够获得相同的效果和优点即可。而且，可以将上述实施方式的配置中的一些配置添加至上述实施方式的其他配置。此外，上述实施方式的其他配置可以用上述实施方式的配置中的一些配置来替换。应当注意的是，在权利要求的范围中描述的术语所标识的技术构思中包括的各个方面都是根据本公开内容的实施方式。

除了上述故障检测设备1以外，本公开内容还可以通过各种模式来实现，如具有故障检测设备1作为其要素的系统、用于使计算机用作故障检测设备1的程序、存储有该程序的计算机介质或故障检测方法。

例如，在上述故障检测设备1中，当图像特征不相似时，控制单元10获取成像器件周围的亮度，将多个交叠区域处的相应实际亮度值与交叠区域处的基于预先准备的亮度的参考亮度值进行比较。然后，控制单元10可以确定出具有与参考亮度值相差远的实际亮度值的成像器件有故障。具体地，代替步骤S170，控制单元10可以执行步骤S310的处理。

换言之，预先准备了根据成像器件周围的亮度而获得的亮度值(例如，平均亮度值)或亮度值的范围(参考亮度值(包括范围))。该处理确定是否获得了与由照度传感器23进行的检测结果对应的捕获图像的亮度值(实际亮度值，例如，平均亮度值)。然后，该处理确定出具有与参考值相差远的亮度值的成像器件为故障装置。

根据故障检测设备，由于该处理针对每个捕获图像确定是否实际上获得了根据亮度而要获得的亮度值，所以可以识别出有故障的成像器件。此外，在根据上述实施方式的步骤S150中，对图像特征采用直方图。然而，该步骤不限于该配置。例如，可以将通过使用图案匹配处理进行的对象识别结果中产生的相似度用作图像特征。在这种情况下，在步骤S160的处理中，例如，可以将识别的对象如人、其他车辆、交通障碍、交通标志、树等的数量进行比较。

此外，根据上述实施方式，使用了两个相机，即左相机21和右相机22。然而，只要存在交叠区域，就可以使用三个或更多个相机。在这种情况下，不一定存在由所有相机共享的交叠区域，但是可以存在由各个相机与至少一个相机产生的交叠区域。此外，各个相机不限于各个相机被平行布置的立体相机。

[实施方式的配置与本公开内容的要素之间的对应关系]

由上述实施方式中的控制单元10执行的处理中的步骤S120处的处理与曝光控制装置对应。上述实施方式的步骤S130处的处理与图像获取装置对应。上述实施方式的步骤S135处的处理与刮水器状态获取装置对应。上述实施方式的步骤S140处的处理与区域提取装置对应。

此外，根据上述实施方式的步骤S150处的处理与特征提取装置对应。根据上述实施方式的步骤S160处的处理与相似度确定装置对应。根据上述实施方式的步骤S230处的处理与故障确定装置对应。根据上述实施方式的步骤S240和步骤S250处的处理与故障安全装置对应。

Claims (10)

1.一种检测成像器件(21，22)的故障的故障检测设备(1)，包括：

获取装置(S130)，所述获取装置(S130)用于获取由多个成像器件捕获的多个图像，所述多个成像器件的曝光能够被单独地控制，所述多个图像包括表示图像交叠的区域的交叠区域；

区域提取装置(S140)，所述区域提取装置(S140)用于从由所述获取装置获取的所述多个图像中提取多个交叠区域；

特征提取装置(S150)，所述特征提取装置(S150)用于从由所述区域提取装置提取的所述多个交叠区域中提取图像特征；

比较装置(S160)，所述比较装置(S160)用于在所述多个交叠区域之间比较所述图像特征；

相似度确定装置(S160)，所述相似度确定装置(S160)用于基于由所述比较装置进行比较的结果来确定所述图像特征是否相似；以及

故障确定装置(S230)，当所述相似度确定装置确定出所述图像特征不相似时，所述故障确定装置(S230)用于确定出所述成像器件中的故障。

2.根据权利要求1所述的故障检测设备，其中，

所述特征提取装置被配置成：基于构成所述多个交叠区域的相应像素的亮度或颜色来生成每个交叠区域的直方图，并且在多个直方图之间比较直方图，从而确定所述图像特征是否相似。

3.根据权利要求1或2所述的故障检测设备，其中，

所述多个成像器件被配置成：当从外部装置接收到测试输出信号时，输出预先准备的测试图像代替所捕获的图像；以及

所述故障确定装置被配置成：将所述测试输出信号发送至所述多个成像器件中的每一个成像器件，确定从所述多个成像器件输出的所述测试图像是否正常，并且确定出输出异常测试图像的成像器件有故障。

4.根据权利要求1或2所述的故障检测设备，其中，

所述故障检测设备包括用于获取所述成像器件周围的亮度的亮度获取装置(S310)；以及

所述故障确定装置被配置成：当所述图像特征不相似时，将所述多个交叠区域处的相应的实际亮度值与交叠区域处的基于预先准备的亮度的参考亮度值进行比较，并且确定出具有与所述参考亮度值相差远的实际亮度值的成像器件有故障。

5.根据权利要求1至4中任一项所述的故障检测设备，其中，

所述故障检测设备被安装在车辆上，并且包括用于获取刮水器的操作状态的刮水器状态获取装置(S135)；以及

所述区域提取装置被配置成：从不包括所述刮水器的获取图像中提取所述交叠区域。

6.根据权利要求1至4中任一项所述的故障检测设备，其中，

所述获取装置被配置成反复获取多个图像；

所述区域提取装置、所述特征提取装置和所述相似度确定装置被配置成：在所反复获取的多个图像中提取相应的交叠区域和图像特征，并且确定所述图像特征是否相似；以及

所述故障确定装置被配置成：当多次确定出所反复获取的多个图像的特征不相似时，确定出在所述成像器件中发生了故障。

7.根据权利要求1至6中任一项所述的故障检测设备，其中，

所述故障检测设备包括故障安全装置(S240，S250)，当确定出所述成像器件中的故障时，所述故障安全装置(S240，S250)用于进行以下应用，所述应用使用所捕获的图像来执行预先设置的故障安全处理。

8.根据权利要求7所述的故障检测设备，其中，

所述故障安全装置被配置成：执行不使用发生了故障的成像器件的情况下的处理作为故障安全处理。

9.根据权利要求7所述的故障检测设备，其中，

所述故障检测设备包括曝光控制装置(S120)，所述曝光控制装置(S120)用于控制多个成像器件在相同的曝光条件下捕获图像；以及

所述获取装置被配置成获取在所述相同的曝光条件下捕获的多个图像。

10.一种故障检测程序，所述故障监测程序使计算机用作根据权利要求1至9中任一项所述的故障检测设备中包括的各个装置。