CN117584853A - 车辆及其控制方法 - Google Patents

Abstract

本发明涉及车辆及其控制方法。实施方案的车辆包括：摄像机、前处理器、图像处理器以及确定单元，所述前处理器配置为在通过摄像机获取的车辆外部区域的图像中设置感兴趣区域(ROI)；所述图像处理器配置为在图像的各帧中获取属于ROI的像素的亮度值；所述确定单元配置为基于亮度值确定图像的各帧是否具有低亮度。

Description

车辆及其控制方法

技术领域

本发明涉及车辆及其控制方法。

背景技术

配备有自动驾驶系统或高级驾驶辅助系统(ADAS)的车辆必须安装多个多摄像机(multi-camera)，车辆通过摄像机识别物体并且获取与物体相关的信息。

ADAS和自动驾驶系统在基于摄像机识别物体方面具有共同点，但在几乎没有驾驶员干预的自动驾驶系统中，必须确保能够区分并准确识别各种物体的性能。

在自动驾驶情况下，图像识别必然存在局限性。例如，在自动驾驶过程中，可能会出现在摄像机上有水、镜头的一部分被灰尘飞溅物覆盖，或者由于光线而难以识别物体或空间的情况。

此外，可能存在由于低亮度导致图像识别性能不可靠的情况。在诸如光源不足的夜间自动驾驶和在光线不足的室内/地下停车场自动停车的情况下，图像识别性能不可靠。

发明内容

本发明的实施方案提供了一种车辆及其控制方法，其能够在自动驾驶和停车情况下确定照明环境是否为低亮度，当确定出照明环境为低亮度时，可以让驾驶员或用户更加专心，而不是无条件信任图像识别性能，从而确保安全的自动驾驶和停车系统。

本发明的其它实施方案将部分地在下面的描述中进行阐述，并且部分地从描述中将是显而易见的，或者可以通过实践本发明来习得。

根据本发明的实施方案，车辆包括：摄像机、前处理器、图像处理器以及确定单元，所述摄像机配置为获取车辆的外部图像；所述前处理器配置为在通过摄像机获取的图像中设置感兴趣区域(ROI)；所述图像处理器配置为在图像的各帧中获取属于ROI的像素的亮度值；所述确定单元配置为基于亮度值确定图像的各帧是否具有低亮度。

图像处理器可以在图像的各帧中针对ROI的所有像素生成亮度值和概率值的累积分布函数，确定单元可以基于累积分布函数确定图像的各帧是否具有低亮度。

图像处理器可以从累积分布函数确定能够确定图像是否具有低亮度的多个亮度值和概率值的对，确定单元可以基于多个亮度值和概率值的对来确定图像的各帧是否具有低亮度。

前处理器可以将通过摄像机获取的图像中不包括能够看见车辆的车身的区域的区域设置为ROI。

前处理器可以将包括在累积分布函数中的亮度值的上限值限制为预定值。

前处理器可以将图像中位于车辆的预定距离内的区域的亮度值乘以大于1的第一值。

前处理器可以将图像的预定第一比例的上部区域的亮度值乘以小于1的第二值。

车辆可以进一步包括后处理器，其配置为基于车辆的应急灯闪烁时间段来确定图像的各帧是否具有低亮度。

后处理器可以确定在图像的特定帧之前、与车辆的应急灯闪烁时间段一样长的时间内包括的多个帧之中被确定为低亮度的帧的比例，并且基于确定结果来确定特定帧是否具有低亮度。

当在特定帧之前、与车辆的应急灯闪烁时间段一样长的时间内被确定为低亮度的帧的比例等于或大于预定第二比例时，后处理器可以确定出特定帧具有低亮度。

根据本发明的实施方案，车辆的控制方法包括：获取车辆的外部图像；在获取的图像中设置感兴趣区域(ROI)；在图像的各帧中获取属于ROI的像素的亮度值；基于亮度值确定图像的各帧是否具有低亮度。

控制方法可以进一步包括：在图像的各帧中针对ROI的所有像素生成亮度值和概率值的累积分布函数，其中，确定图像的各帧是否具有低亮度可以包括：基于累积分布函数确定图像的各帧是否具有低亮度。

控制方法可以进一步包括：从累积分布函数确定能够确定图像是否具有低亮度的多个亮度值和概率值的对，其中，确定图像的各帧是否具有低亮度可以包括基于多个亮度值和概率值的对来确定图像的各帧是否具有低亮度。

ROI的设置可以包括：将获取的图像中不包括能够看见车辆的车身的区域的区域设置为ROI。

累积分布函数的生成可以包括将包括在累积分布函数中的亮度值的上限值限制为预定值。

控制方法可以进一步包括：将图像中位于车辆的预定距离内的区域的亮度值乘以大于1的第一值。

控制方法可以进一步包括：将图像的预定第一比例的上部区域的亮度值乘以小于1的第二值。

控制方法可以进一步包括：基于车辆的应急灯闪烁时间段来确定图像的各帧是否具有低亮度。

基于车辆的应急灯闪烁时间段来确定图像的各帧是否具有低亮度可以包括：确定在图像的特定帧之前、与车辆的应急灯闪烁时间段一样长的时间内包括的多个帧之中被确定为低亮度的帧的比例，并且基于确定结果确定特定帧是否具有低亮度。

基于车辆的应急灯闪烁时间段来确定图像的各帧是否具有低亮度可以包括：当在特定帧之前、与车辆的应急灯闪烁时间段一样长的时间内被确定为低亮度的帧的比例等于或大于预定第二比例时，确定出特定帧具有低亮度。

附图说明

通过将实施方案的下述描述与所附附图相结合，本发明的这些和/或其他特征将变得清晰和更容易理解，其中：

图1是示出根据实施方案的安装于车辆的摄像机单元的示意图；

图2是根据实施方案的车辆的控制框图；

图3是示出根据实施方案的亮度值和概率值的累积分布函数的曲线图；

图4是示出根据实施方案的非低亮度环境的情况的曲线图；

图5是示出根据实施方案的低亮度环境的情况的曲线图；

图6是示出根据实施方案的侧摄像机的视角的示意图；

图7是示出根据实施方案的累积分布函数的上限的限制的示意图；

图8是用于解释根据实施方案的基于摄像机的视场范围和光源进行权重赋予的示意图；

图9是根据实施方案的车辆的控制框图；

图10是用于示出根据实施方案的考虑应急灯闪烁时间段的示意图；以及

图11是根据实施方案的车辆的控制方法的流程图。

具体实施方式

在整个说明书中，相似的附图标记指代相似的元件。本说明书没有描述实施方案的所有组件，并且将省略本发明的技术领域内的一般内容或实施方案之间的重复内容。在本说明书中使用的术语“构件”、“模块”和“装置”可以实施为软件或硬件，也可以将多个“构件”、“模块”和“装置”实施为一个组件，或者一个“构件”、“模块”和“装置”包括根据实施方案的多个组件的。

在本说明书中描述的实施方案和附图中示出的配置是本发明的优选示例，并且在提交本申请时可以存在可以取代本说明书中的实施方案和附图的各种修改。

在本文中使用的术语用于描述实施方案的目的，并不旨在约束和/或限制本发明。例如，本文中的单数表述可以包括复数表述，除非上下文另有明确规定。此外，术语“包含”、“包括”、“具有”等旨在表示存在说明书中描述的特征、数值、步骤、操作、元件、部件或其组合，并且不排除存在或添加一个或更多个其他特征、数值、步骤、操作、元件、部件或其组合。

此外，诸如“......单元”、“......部件”、“......区块”、“......构件”、“......模块”等的术语可以表示用于处理至少一个功能或操作的单元。例如，这些术语可以指代诸如现场可编程门阵列(FPGA)/专用集成电路(ASIC)的至少一个硬件、存储在存储器中的至少一个软件或者由处理器处理的至少一个程序。

术语“第一”、“第二”等用于区分一个元件与另一个元件，这些元件不受上述术语的限制。

在各个步骤中，为了便于解释，使用标号，标号不描述步骤的顺序，可以与指定的顺序不同地执行各个步骤，除非上下文明确说明特定顺序。

公开的实施方案可以以存储可由计算机执行的指令的记录介质的形式实施。所述指令可以以程序代码的形式存储，当由处理器执行时，可以创建程序模块以执行公开的实施方案的操作。所述记录介质可以实现为计算机可读记录介质。

计算机可读记录介质包括存储可由计算机读取的指令的任何类型的记录介质。例如，记录介质可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁带、磁盘、闪存、光学数据存储装置等。

在下文中，将参考所附附图详细描述根据一个方面的用户接口装置、具有该用户接口装置的车辆及该车辆的控制方法的实施方案。

图1是示出根据实施方案的安装于车辆的摄像机单元的示意图。

车辆1可以包括摄像机单元110以实施自动驾驶系统，并且摄像机单元110可以包括前摄像机111、侧摄像机112和后摄像机113。

尽管在图1中仅示出了摄像机，但除了摄像机之外，还一起安装了雷达和激光雷达，从而可以利用传感器融合方法识别物体。

前摄像机111可以安装于前挡风玻璃或前保险杠，以确保面向车辆1的前方的视场。在这种情况下，前摄像机111可以检测前方视场中的移动物体或侧前方视场中的障碍物。前摄像机111将从前方视场获取的图像信号发送至处理器，以使处理器处理前方图像数据。

侧摄像机112可以对称地安装于B柱等，以确保面向车辆1的侧面的视场。侧摄像机112设置于车辆1的左侧和右侧，并且可以检测在车辆1的侧面并排行进的移动物体或接近车辆1的行人。侧摄像机112将从侧向视场获取的图像信号发送至处理器，以使处理器处理侧向图像数据。

后摄像机113可以安装于后挡风玻璃或后保险杠，以确保面向车辆1的后方的视场。在这种情况下，后摄像机113可以检测后方视场中的移动物体或侧后方视场中的障碍物。后摄像机113将从后方视场获取的图像信号发送至处理器，以使处理器处理后方图像数据。

如上所述，将摄像机单元110示例为总共包括四个摄像机，但不限于此，可以包括更多个摄像机(例如，6个摄像机、8个摄像机和12个摄像机)以提高识别性能。此外，根据车辆1的结构，当然可以改变每个摄像机的位置以确保最佳视场。

摄像机单元110可以包括多个镜头和图像传感器。摄像机单元110可以通过实施为广角摄像机来确保相对于车辆1的全向视场。

图2是根据实施方案的车辆的控制框图。

除了上述摄像机单元110之外，车辆1可以进一步包括前处理器(preprocessor)120、图像处理器130和确定单元150。

前处理器120可以处理从摄像机单元110获取的图像数据。例如，前处理器120可以针对通过摄像机单元110获取的图像设置感兴趣区域(region of interest，ROI)。

图像处理器130可以在通过摄像机单元110获取的图像的各帧中获取属于ROI的像素的亮度值。

此外，图像处理器130可以在图像的各帧中针对ROI的所有像素生成亮度值和概率值的累积分布函数。

确定单元150可以基于亮度值确定图像的各帧是否具有低亮度。

当根据低亮度确定而确定出特定帧为低亮度时，确定单元150可以不信任包括这样的帧的图像的识别结果。

确定单元150可以通过不信任在低亮度环境中获取的图像的识别结果来防止发生基于与实际情况不同的识别结果的控制。

图3是示出根据实施方案的亮度值和概率值的累积分布函数的曲线图，图4和图5是用于解释根据累积分布函数从多个对确定低亮度的曲线图。

图像处理器130可以在图像的各帧中针对ROI的所有像素生成亮度值和概率值的累积分布函数，并且确定单元150可以基于累积分布函数确定图像的各帧是否具有低亮度。

具体地，图像处理器130可以从累积分布函数确定能够确定图像是否具有低亮度的多个亮度值和概率值的对(a plurality of pairs of brightness values andprobability values)。

参考图3，由实线指示的部分表示非低亮度的环境中的帧的分布函数，由虚线指示的部分表示低亮度的环境中的帧的分布函数。

图像处理器130可以确定能够在实线指示的部分与虚线指示的部分之间的边界确定图像的低亮度的多个亮度值和概率值的对。

以图3作为示例，可以确定出对(v1，p1)，(v2，p2)和(v3，p3)。

图3示出了确定出三对，但这仅是示例，只要能够确定图像是否具有低亮度，对亮度值和概率值的对的数量没有限制。

确定单元150可以基于多个亮度值和概率值的对来确定图像的各帧是否具有低亮度。

参考图4，可以看出，帧的亮度值和概率值的分布函数位于对(v1，p1)、(v2，p2)和(v3，p3)的右侧。

相应地，确定单元150可以确定出相应的帧不具有低亮度。

参考图5，可以看出，帧的亮度值和概率值的分布函数位于对(v1，p1)、(v2，p2)和(v3，p3)的左侧。

相应地，确定单元150可以确定出相应的帧具有低亮度。

以这种方式，生成累积分布函数，以确定多个亮度值和概率值的对，从而可以确定各帧是否具有低亮度。

由于确定为具有低亮度的帧被确定为在图像识别中不可靠，不能用于图像识别。

图6是示出根据实施方案的侧摄像机的视角的示意图。

如上所述，前处理器120可以在通过摄像机单元110获取的图像中设置ROI。

具体地，前处理器120可以将通过摄像机单元110获取的图像中不包括能够看见车辆1的车身的区域的区域设置为ROI。

在生成帧的累积分布函数时，可能会在受到由车辆1的车身引起的亮度变化的影响时输出不可靠的结果。

因此，前处理器120可以通过在由摄像机单元110获取的图像中排除能够看见车辆的车身的区域来生成仅针对车身以外的部分的累积分布函数。

在这种情况下，可以应用掩模滤波器模块，使得不会生成针对能够看见车身的部分的累积分布函数。

如图6所示，将除了图像下端的能够看见车辆1的侧面的部分以外的部分设置为ROI，并且可以仅针对相应的ROI生成累积分布函数。

图7是示出根据实施方案的累积分布函数的上限的限制的示意图。

当由摄像机单元110拍摄的图像中存在单独光源时(即，当摄像机单元110拍摄到诸如路灯和日光灯的光源时)，光源可能对确定低亮度具有很大的影响，需要在确定低亮度时排除光源。

作为分析普通光源的亮度值的结果，检测到大多数光源的亮度值在超过200的区域中，因此前处理器120可以将包括在累积分布函数中的亮度值的上限值限制为预定值。

也就是说，可以限制累积分布函数中累积的亮度值的范围的上限。在本文中，预定值可以是从大多数光源检测到的亮度值200。

如图7所示，可以通过在累积分布函数中不包括亮度值超过200的部分来防止由影响低亮度确定的单独光源引起的误差。

图8是用于解释根据实施方案的基于摄像机的视场范围和光源进行权重赋予的示意图。

在图像识别中，由于将位于车辆1的近距离内的物体和空间确定为比位于远距离的物体和空间更重要，因此有必要对位于车辆1的一定距离内的物体和空间赋予权重。

相应地，前处理器120可以将图像中位于车辆1的预定距离内的区域的亮度值乘以大于1的第一值。在本文中，预定距离可以是3m，第一值可以是1.2。

通过对位于距离车辆1的预定距离内的区域的亮度值赋予权重以给出更高的权重，可以针对位于短距离的相对更重要的物体和空间做出更准确的确定。

此外，单独光源(室内吊灯、路灯、天空等)通常位于拍摄的图像的上端的空间中。由于这种单独光源会影响低亮度的确定，因此有必要使由于该光源而产生的亮度值最小化。

相应地，前处理器120可以将图像的预定第一比例的上部区域的亮度值乘以小于1的第二值。第一比例可以为10％，即，上部区域对应于图像的10％，第二值可以为0.8。

通过对位于拍摄的图像的上部空间的区域的亮度值赋予权重以给出更低的权重，可以通过使单独光源的影响最小化来做出更准确的确定。

图9是根据实施方案的车辆的控制框图，图10是用于示出根据实施方案的考虑应急灯闪烁时间段的示意图。

车辆1可以进一步包括后处理器140，以基于车辆1的应急灯闪烁时间段来确定图像的各帧是否具有低亮度。

在低亮度情况下，可能存在亮度瞬间增大的帧。例如，在低亮度环境下，在诸如打开应急灯或者经过路灯下的情况下，亮度可能会瞬间增大。

此时，如果将此刻的帧确定为不在低亮度环境中，可能无法在图像识别中获得可靠的结果。也就是说，在这种情况下，考虑环境亮度的背景来最终确定亮度是合理的。

由于车辆1的应急灯闪烁是在一定时间段内进行的，可以考虑这一点来最终确定特定帧是否具有低亮度。

因此，后处理器140可以确定在图像的特定帧之前、与车辆1的应急灯闪烁时间段一样长的时间内包括的多个帧之中被确定为低亮度的帧的比例，并且可以基于确定结果确定特定帧是否具有低亮度。

具体地，当在特定帧之前、与车辆1的应急灯闪烁时间段一样长的时间内被确定为低亮度的帧的比例等于或大于预定第二比例时，后处理器140可以确定出特定帧具有低亮度。

例如，当车辆1的应急灯闪烁时间段为2秒时，后处理器140可以确定在特定帧之前的2秒内被确定为低亮度的帧的比例。

在此，预定第二比例可以是40％，相应地，当在特定帧之前的2秒内被确定为低亮度的帧的比例为40％或更高时，后处理器140可以确定出特定帧具有低亮度。

相反，当在特定帧之前的2秒内被确定为低亮度的帧的比例小于40％时，后处理器140可以确定出特定帧不对应于低亮度环境。

也就是说，如此，通过考虑环境亮度的背景最终确定是否为低亮度，可以获得更可靠的结果。

图11是根据实施方案的车辆的控制方法的流程图。

当从摄像机单元110获取车辆1的外部图像(步骤1101)时，前处理器120可以处理从摄像机单元110获取的图像数据。例如，前处理器120可以针对通过摄像机单元110获取的图像设置感兴趣区域(ROI)(步骤1103)。

图像处理器130可以在通过摄像机单元110获取的图像的各帧中获取属于ROI的像素的亮度值，并且还可以在图像的各帧中针对ROI的所有像素生成亮度值和概率值的累积分布函数。

确定单元150可以基于亮度值确定图像的各帧是否具有低亮度。

具体地，图像处理器130可以在图像的各帧中针对ROI的所有像素生成亮度值和概率值的累积分布函数(步骤1105)，确定单元150可以基于累积分布函数确定图像的各帧是否具有低亮度(步骤1107)。

具体地，图像处理器130可以从累积分布函数确定能够确定图像是否具有低亮度的多个亮度值和概率值的对，确定单元150可以基于多个亮度值和概率值的对来确定图像的各帧是否具有低亮度。

以这种方式，可以生成累积分布函数，相应地，可以确定多个亮度值和概率值的对，从而可以确定各帧是否具有低亮度。

由于确定为具有低亮度的帧被确定为在图像识别中不可靠，不能用于图像识别。

从上文可以明显看出，根据本发明的实施方案的车辆及其控制方法可以在自动驾驶和停车情况下确定照明环境是否为低亮度，当确定出照明环境为低亮度时，可以让驾驶员或用户更加专心，而不是无条件信任图像识别性能，从而确保安全的自动驾驶和停车系统。

已经参考所附附图对公开的实施方案进行了上述描述。本领域技术人员将理解，可以在不脱离由所附权利要求限定的本发明的精神和范围的情况下，在形式和细节方面作出各种改变。公开的实施方案是说明性的，不应解释为限制性的。

Claims (20)

1.一种车辆，其包括：

摄像机；

前处理器，其配置为在通过摄像机获取的车辆外部区域的图像中设置感兴趣区域；

图像处理器，其配置为在图像的各帧中获取属于所述感兴趣区域的像素的亮度值；以及

确定单元，其配置为基于所述亮度值确定图像的各帧是否具有低亮度。

2.根据权利要求1所述的车辆，其中：

所述图像处理器配置为在图像的各帧中针对所述感兴趣区域的所有像素生成亮度值和概率值的累积分布函数；

所述确定单元配置为基于所述累积分布函数确定图像的各帧是否具有低亮度。

3.根据权利要求2所述的车辆，其中：

所述图像处理器配置为从累积分布函数确定能够帮助确定图像是否具有低亮度的多个亮度值和概率值的对；

所述确定单元配置为基于多个亮度值和概率值的对来确定图像的各帧是否具有低亮度。

4.根据权利要求2所述的车辆，其中，所述前处理器配置为将包括在累积分布函数中的亮度值的上限值限制为预定值。

5.根据权利要求2所述的车辆，其中，所述前处理器配置为将图像中位于车辆的预定距离内的区域的亮度值乘以大于1的第一值。

6.根据权利要求2所述的车辆，其中，所述前处理器配置为将图像的预定第一比例的上部区域的亮度值乘以小于1的第二值。

7.根据权利要求2所述的车辆，其进一步包括后处理器，所述后处理器配置为基于车辆的应急灯闪烁时间段来确定图像的各帧是否具有低亮度。

8.根据权利要求7所述的车辆，其中，所述后处理器配置为：

确定在图像的特定帧之前的设定时间内包括的多个帧之中被确定为低亮度的帧的比例，所述设定时间小于或等于车辆的应急灯闪烁时间段；

基于确定结果来确定特定帧是否具有低亮度。

9.根据权利要求8所述的车辆，其中，当在特定帧之前的设定时间内被确定为低亮度的帧的比例等于或大于预定第二比例时，所述后处理器配置为确定出特定帧具有低亮度。

10.根据权利要求1所述的车辆，其中，所述前处理器配置为将通过摄像机获取的图像中不包括能够看见车辆的车身的区域的区域设置为感兴趣区域。

11.一种车辆的控制方法，所述控制方法包括：

获取车辆外部区域的图像；

在图像中设置感兴趣区域；

在图像的各帧中获取属于所述感兴趣区域的像素的亮度值；

基于所述亮度值确定图像的各帧是否具有低亮度。

12.根据权利要求11所述的控制方法，进一步包括：在图像的各帧中针对所述感兴趣区域的所有像素生成亮度值和概率值的累积分布函数，

其中，确定图像的各帧是否具有低亮度包括基于所述累积分布函数确定图像的各帧是否具有低亮度。

13.根据权利要求12所述的控制方法，进一步包括：从累积分布函数确定能够帮助确定图像是否具有低亮度的多个亮度值和概率值的对，

其中，确定图像的各帧是否具有低亮度包括基于多个亮度值和概率值的对来确定图像的各帧是否具有低亮度。

14.根据权利要求12所述的控制方法，其中，生成累积分布函数包括：将包括在累积分布函数中的亮度值的上限值限制为预定值。

15.根据权利要求12所述的控制方法，进一步包括：将图像中位于车辆的预定距离内的区域的亮度值乘以大于1的第一值。

16.根据权利要求12所述的控制方法，进一步包括：将图像的预定第一比例的上部区域的亮度值乘以小于1的第二值。

17.根据权利要求12所述的控制方法，进一步包括：基于车辆的应急灯闪烁时间段来确定图像的各帧是否具有低亮度。

18.根据权利要求17所述的控制方法，其中，基于车辆的应急灯闪烁时间段来确定图像的各帧是否具有低亮度包括：

确定在图像的特定帧之前的设定时间内包括的多个帧之中被确定为低亮度的帧的比例，所述设定时间小于或等于车辆的应急灯闪烁时间段；

基于确定结果来确定特定帧是否具有低亮度。

19.根据权利要求18所述的控制方法，其中，基于车辆的应急灯闪烁时间段来确定图像的各帧是否具有低亮度包括：当在特定帧之前的设定时间内被确定为低亮度的帧的比例等于或大于预定第二比例时，确定出特定帧具有低亮度。

20.根据权利要求11所述的控制方法，其中，设置感兴趣区域包括：将图像中不包括能够看见车辆的车身的区域的区域设置为感兴趣区域。