CN115985218A - 一种基于视觉监控的汽车座舱自适应调光系统以及方法 - Google Patents

Abstract

本发明提供了一种基于视觉监控的汽车座舱自适应调光系统以及方法，其可以根据当前环境的亮度情况进行补光改善采集到的图像质量，并且可以实现根据当前环境的亮度情况自适应调节座舱内的车载显示屏亮度，改善驾乘体验，系统包括第一、第二、第三车内监测摄像头和驾驶员监测摄像头；根据来自驾驶员视觉监测装置的图像数据得到当前环境的亮度情况；汽车座舱监控控制器将当前环境的亮度情况与设定的光线昏暗阈值进行判断，根据判断结果通知驾驶员视觉监测装置开启红外补光灯；汽车座舱监控控制器将当前环境的亮度情况发送给车载显示屏；车载显示屏根据接收到的当前环境的亮度情况调节亮度。

Description

一种基于视觉监控的汽车座舱自适应调光系统以及方法

技术领域

本发明涉及座舱监控技术领域，具体涉及一种基于视觉监控的汽车座舱自适应调光系统以及方法。

背景技术

座舱视觉监控系统是依赖摄像头的图像输入，利用深度学习算法，实时对驾驶员以及乘员进行人脸识别、疲劳监测、注意力监测以及行为动作监测等进行监测。图像质量就成为了整个座舱视觉监控系统关键的一环。在正常用车环境中，存在光线比较暗的情况，为了确保采集到的图像质量，那么就需要利用红外灯进行补光，如何准确、实时的获取当前环境下车辆座舱中的亮度情况是当前亟需解决的一个问题，在不增加额外的感光传感器的情况下解决该问题非常具有应用前景；随着汽车智能化程度的提升，汽车搭载的显示屏也越来也多，不同环境下显示屏的亮度也有自适应的需求。

发明内容

针对上述问题，本发明提供了一种基于视觉监控的汽车座舱自适应调光系统以及方法，其可以根据当前环境的亮度情况进行补光改善采集到的图像质量，并且可以实现根据当前环境的亮度情况自适应调节座舱内的车载显示屏亮度，改善驾乘体验。

其技术方案是这样的:一种基于视觉监控的汽车座舱自适应调光系统，其特征在于，包括：驾驶员视觉监测装置、车载显示屏和汽车座舱监控控制器，其特征在于：

所述驾驶员视觉监测装置包括：第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头和驾驶员监测摄像头，所述第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头采用IR-RGB摄像头，所述驾驶员监测摄像头采用IR摄像头；

所述汽车座舱监控控制器接收驾驶员视觉监测装置采集的图像对驾驶员以及乘员进行监控，所述汽车座舱监控控制器根据来自驾驶员视觉监测装置的图像数据得到当前环境的亮度情况；所述汽车座舱监控控制器将当前环境的亮度情况与设定的光线昏暗阈值进行判断，根据判断结果通知驾驶员视觉监测装置开启红外补光灯；汽车座舱监控控制器将当前环境的亮度情况发送给车载显示屏；车载显示屏根据接收到的当前环境的亮度情况调节亮度。

进一步的，所述驾驶员监测摄像头安装于车内驾驶员侧的A柱；所述第一车内监测摄像头安装于车内后视镜；所述第二车内监测摄像头安装于车内驾驶员侧B柱；所述第三车内监测摄像头安装于车内副驾驶员侧B柱。

进一步的，所述车载显示屏包括仪表屏、中控屏和头枕屏。

进一步的，所述驾驶员视觉监测装置的第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头和驾驶员监测摄像头共用一个集成于汽车座舱监控控制器的SOC芯片上的ISP芯片进行图像处理。

进一步的，所述第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头用于检测乘员区域，所述汽车座舱监控控制器对所述第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头采集的图像数据中的乘员的行为动作进行图像识别，根据识别结果联动车控功能；所述汽车座舱监控控制器对所述驾驶员监测摄像头采集的图像数据中的驾驶员进行图像识别，进行人脸识别、疲劳监测、注意力监测。

一种基于视觉监控的汽车座舱自适应调光方法，其特征在于，基于上述的基于视觉监控的汽车座舱自适应调光系统实现，包括以下步骤：

驾驶员视觉监测装置采集图像数据并发送给汽车座舱监控控制器；

汽车座舱监控控制器根据来自驾驶员视觉监测装置的图像数据得到当前环境的亮度情况；

汽车座舱监控控制器将当前环境的亮度情况与设定的光线昏暗阈值进行判断，根据判断结果通知驾驶员视觉监测装置开启红外补光灯；

汽车座舱监控控制器将当前环境的亮度情况发送给车载显示屏；

车载显示屏根据接收到的当前环境的亮度情况调节亮度。

进一步的，在不同光线强度下，采集摄像头的图像，对图像的RAW数据进行统计，计算出图像的G分量和IR分量的平均值，G分量和IR分量的平均值分别用于表示图像的G分量和IR分量的灰度均值，得到图像数据的灰度均值与光线强度的映射关系，根据映射关系划分得到不同亮度等级，汽车座舱监控控制器将采集得到的图像的亮度等级发送给车载显示屏，车载显示屏的亮度根据亮度等级进行自适应亮度调节。

进一步的，当前环境的亮度情况与设定的光线昏暗阈值如下判断：

汽车座舱监控控制器接收驾驶员视觉监测装置的摄像头采集的RAW数据，将每帧RAW数据进行统计，计算出图像的G分量和IR分量的平均值，G分量和IR分量的平均值分别用于表示图像的G分量和IR分量的灰度均值；

当G平均值小于IR平均值时，认为光线昏暗，打开红外补光灯；

当G平均值大于IR平均值时，将G分量和IR分量做差结合相机的gain参数以及shutter参数通过计算得到亮度估计值，当亮度估计值小于光线昏暗阈值，认为光线昏暗，打开红外补光灯；当亮度估计值大于光线昏暗阈值，认为光线正常，关闭红外补光灯。

进一步的，当驾驶员监测摄像头开启红外补光灯进行红外曝光时，第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头不允许进行曝光。

一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行上述的基于视觉监控的汽车座舱自适应调光方法。

本发明提供的基于视觉监控的汽车座舱自适应调光系统以及方法，利用驾驶员视觉监测装的摄像头采集的图像数据得到当前环境的亮度情况，进而控制摄像头红外灯的开启以及关闭，确保采集到的图像质量，座舱视觉监控系统可以更好的进行人脸识别、疲劳监测、注意力监测以及行为动作监测等监测行为；本发明节约了摄像头成本，摄像头无需使用额外的光感元器件。并且建立了摄像头的图像数据与光线强度的映射关系，根据映射关系划分得到不同亮度等级，可以通过汽车座舱监控控制器输出，进而可作为中控屏、仪表屏、头枕屏等屏幕亮度的自适应控制依据，改善驾驶员和乘员的驾乘体验。

附图说明

图1为实施例中的基于视觉监控的汽车座舱自适应调光系统的组成框图；

图2为实施例中的基于视觉监控的汽车座舱自适应调光系统的摄像头设置位置的示意图；

图3为实施例中的基于视觉监控的汽车座舱自适应调光方法的步骤示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

如背景技术中所示，为了确保座舱视觉监控系统采集到的图像质量，在不增加额外的感光传感器的情况下，准确、实时的获取当前环境下车辆座舱中的亮度情况，并且实现不同环境下车载显示屏的亮度自适应调节非常具有实际意义。

针对于此，见图1，本发明提供了一种基于视觉监控的汽车座舱自适应调光系统，包括：驾驶员视觉监测装置、车载显示屏和汽车座舱监控控制器300，车载显示屏包括仪表屏201、中控屏202以及头枕屏203；

驾驶员视觉监测装置包括：第一车内监测摄像头101、第二车内监测摄像头102、第三车内监测摄像头103和驾驶员监测摄像头104，其中，第一车内监测摄像头101、第二车内监测摄像头102、第三车内监测摄像头103采用IR-RGB摄像头，驾驶员监测摄像头104采用IR摄像头；第一车内监测摄像头101、第二车内监测摄像头102、第三车内监测摄像头103支持IR模式、RGB模式，驾驶员监测摄像头104支持IR模式，IR模式代表灰度图，RGB模式代表正常彩色图片；

见图2，驾驶员视觉监测装置在车内安装四个摄像头，驾驶员监测摄像头104安装于车内驾驶员侧的A柱，第一车内监测摄像头101安装于车内后视镜上，第二车内监测摄像头102安装于驾驶员侧B柱，第三车内监测摄像头103安装于副驾驶员侧B柱，通过实施例中的第一车内监测摄像头101、第二车内监测摄像头102、第三车内监测摄像头103和驾驶员监测摄像头104的安装位置的设置，可以准确的获得座舱内驾乘人员的图像，相比传统的单摄像头的方案获得的图像数据更全面，汽车座舱监控控制器，车载显示屏的仪表屏，中控屏以及头枕屏根据实车设计进行相应的适配。第一车内监测摄像头101、第二车内监测摄像头102、第三车内监测摄像头103可以用于检测乘员区域，对乘员的一些行为动作进行图像识别，进而联动车控功能，譬如：乘员抽烟，主动打开车窗；监控乘员手势，进行手势切歌，点赞，拍照等功能；乘员打电话，主动关闭车窗，降低空调风量。

汽车座舱监控控制器接收驾驶员视觉监测装置采集的图像，基于深度学习算法，对驾驶员以及乘员进行监控，包括进行人脸识别、疲劳监测、注意力监测以及行为动作监测等监测行为；同时，汽车座舱监控控制器根据来自摄像头的图像数据得到当前环境的亮度情况；汽车座舱监控控制器将当前环境的亮度情况与设定的光线昏暗阈值进行判断，根据判断结果通知驾驶员视觉监测装置开启红外补光灯；汽车座舱监控控制器将当前环境的亮度情况发送给车载显示屏；车载显示屏根据接收到的当前环境的亮度情况调节亮度。

在本发明的一个实施例中，驾驶员视觉监测装置的第一车内监测摄像头101、第二车内监测摄像头102、第三车内监测摄像头103和驾驶员监测摄像头104共用一个集成于汽车座舱监控控制器的SOC芯片上的ISP芯片进行图像处理，四个摄像头共用一个集成于控制器SOC芯片上的ISP芯片进行图像处理，节省了摄像头的ISP芯片，降低了成本。

见图3，在本发明的实施例中，还提供了一种基于视觉监控的汽车座舱自适应调光方法，基于上述的基于视觉监控的汽车座舱自适应调光系统实现，具体包括以下步骤：

步骤1：驾驶员视觉监测装置采集图像数据并发送给汽车座舱监控控制器；

步骤2：汽车座舱监控控制器根据来自驾驶员视觉监测装置的图像数据得到当前环境的亮度情况；

步骤3：汽车座舱监控控制器将当前环境的亮度情况与设定的光线昏暗阈值进行判断，根据判断结果通知驾驶员视觉监测装置开启红外补光灯；

步骤4：汽车座舱监控控制器将当前环境的亮度情况发送给车载显示屏；

步骤5：车载显示屏根据接收到的当前环境的亮度情况调节亮度。

在一个实施例中，在步骤1中，驾驶员视觉监测装置的第一车内监测摄像头101、第二车内监测摄像头102、第三车内监测摄像头103可以用于检测乘员区域，驾驶员监测摄像头104采集驾驶员的图像数据；

在步骤2中，汽车座舱监控控制器接收驾驶员视觉监测装置的摄像头采集的RAW数据，将每帧RAW数据进行统计，计算出图像的G分量和IR分量的平均值，G分量和IR分量的平均值分别用于表示图像的G分量和IR分量的灰度均值；

在步骤3中，当前环境的亮度情况与设定的光线昏暗阈值如下判断：

当G平均值小于IR平均值时，认为光线昏暗，打开红外补光灯；

当G平均值大于IR平均值时，将G分量和IR分量做差结合相机的gain参数以及shutter参数通过计算得到亮度估计值，gain、shutter参数越大图像越亮，不同sensor处理方式不同，基本上就是统计完的平均值，对gain以及shutter进行除法运算；

当亮度估计值小于光线昏暗阈值，认为光线昏暗，打开红外补光灯；当亮度估计值大于光线昏暗阈值，认为光线正常，关闭红外补光灯，通过逻辑上对驾驶员监测摄像头以及车内监测摄像头红外灯的控制，提供了更好质量的图像效果。

在步骤4中，车内监测摄像头的亮度还可以通过进行标定，划分为不同亮度等级。标定的具体过程为在不同光线强度下，采集摄像头的图像，对图像的RAW数据进行统计，计算出图像的G分量和IR分量的平均值，G分量和IR分量的平均值分别用于表示图像的G分量和IR分量的灰度均值，得到图像数据的灰度均值与光线强度的映射关系；根据映射关系划分得到不同亮度等级，汽车座舱监控控制器将采集得到的图像的亮度等级通过can总线发送给仪表屏、中控屏、头枕屏等；映射关系就是根据灰度均值，然后出列映射表出，不同环境光采样，然后统计平均灰度值范围，据此决定哪个范围灰度值对应哪种环境光强，做出亮度等级输出.

在步骤5中，车载显示屏的亮度根据亮度等级进行自适应亮度调节，给用户以更好的观感体验，通过计算得到的光线等级可以通过控制器输出，可以作为汽车座舱内其他屏幕的亮度控制依据。

实施例中，在步骤3中，还会对驾驶员监测摄像头以及车内监测摄像头做曝光时序控制，当驾驶员监测摄像头进行红外曝光时，第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头不允许进行曝光。因为驾驶员监测摄像头的红外灯会影响车内监测摄像头的图像，造成车内监测摄像头偏色，进而对识别效果产生不良影响，并且当用户去查看车内监控摄像头的图像时，肉眼看到也是偏色的图像，使用体验会变差。同理，当车内监测摄像头中某个摄像头处于光线不足的环境下，第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头的其中一个的红外灯开启，进入IR模式，另外两个摄像头也同步切换为IR模式。用此种方法可以提高图像的效果质量，进而提高进行监测的识别效果。

在本发明的实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序，程序用于执行上述的基于视觉监控的汽车座舱自适应调光方法。

存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。

处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、或计算机程序产品的流程图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中指定的功能。

以上对本发明所提供的基于视觉监控的汽车座舱自适应调光方法、系统、计算机可读存储介质的应用进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于视觉监控的汽车座舱自适应调光系统，其特征在于，包括：驾驶员视觉监测装置、车载显示屏和汽车座舱监控控制器，其特征在于：

所述驾驶员视觉监测装置包括：第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头和驾驶员监测摄像头，所述第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头采用IR-RGB摄像头，所述驾驶员监测摄像头采用IR摄像头；

所述汽车座舱监控控制器接收驾驶员视觉监测装置采集的图像对驾驶员以及乘员进行监控，所述汽车座舱监控控制器根据来自驾驶员视觉监测装置的图像数据得到当前环境的亮度情况；所述汽车座舱监控控制器将当前环境的亮度情况与设定的光线昏暗阈值进行判断，根据判断结果通知驾驶员视觉监测装置开启红外补光灯；汽车座舱监控控制器将当前环境的亮度情况发送给车载显示屏；车载显示屏根据接收到的当前环境的亮度情况调节亮度。

2.根据权利要求1所述的一种基于视觉监控的汽车座舱自适应调光系统，其特征在于：所述驾驶员监测摄像头安装于车内驾驶员侧的A柱；所述第一车内监测摄像头安装于车内后视镜；所述第二车内监测摄像头安装于车内驾驶员侧B柱；所述第三车内监测摄像头安装于车内副驾驶员侧B柱。

3.根据权利要求1所述的一种基于视觉监控的汽车座舱自适应调光系统，其特征在于：所述车载显示屏包括仪表屏、中控屏和头枕屏。

4.根据权利要求1所述的一种基于视觉监控的汽车座舱自适应调光系统，其特征在于：所述驾驶员视觉监测装置的第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头和驾驶员监测摄像头共用一个集成于汽车座舱监控控制器的SOC芯片上的ISP芯片进行图像处理。

5.根据权利要求1所述的一种基于视觉监控的汽车座舱自适应调光系统，其特征在于：所述第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头用于检测乘员区域，所述汽车座舱监控控制器对所述第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头采集的图像数据中的乘员的行为动作进行图像识别，根据识别结果联动车控功能；所述汽车座舱监控控制器对所述驾驶员监测摄像头采集的图像数据中的驾驶员进行图像识别，进行人脸识别、疲劳监测、注意力监测。

6.一种基于视觉监控的汽车座舱自适应调光方法，其特征在于，由权利要求1所述的的基于视觉监控的汽车座舱自适应调光系统实现，包括以下步骤：

驾驶员视觉监测装置采集图像数据并发送给汽车座舱监控控制器；

汽车座舱监控控制器根据来自驾驶员视觉监测装置的图像数据得到当前环境的亮度情况；

汽车座舱监控控制器将当前环境的亮度情况与设定的光线昏暗阈值进行判断，根据判断结果通知驾驶员视觉监测装置开启红外补光灯；

汽车座舱监控控制器将当前环境的亮度情况发送给车载显示屏；

车载显示屏根据接收到的当前环境的亮度情况调节亮度。

7.根据权利要求6所述的一种基于视觉监控的汽车座舱自适应调光方法，其特征在于：在不同光线强度下，采集摄像头的图像，对图像的RAW数据进行统计，计算出图像的G分量和IR分量的平均值，G分量和IR分量的平均值分别用于表示图像的G分量和IR分量的灰度均值，得到图像数据的灰度均值与光线强度的映射关系，根据映射关系划分得到不同亮度等级，汽车座舱监控控制器将采集得到的图像的亮度等级发送给车载显示屏，车载显示屏的亮度根据亮度等级进行自适应亮度调节。

8.根据权利要求6所述的一种基于视觉监控的汽车座舱自适应调光方法，其特征在于：当前环境的亮度情况与设定的光线昏暗阈值如下判断：

汽车座舱监控控制器接收驾驶员视觉监测装置的摄像头采集的RAW数据，将每帧RAW数据进行统计，计算出图像的G分量和IR分量的平均值，G分量和IR分量的平均值分别用于表示图像的G分量和IR分量的灰度均值；

当G平均值小于IR平均值时，认为光线昏暗，打开红外补光灯；

当G平均值大于IR平均值时，将G分量和IR分量做差结合相机的gain参数以及shutter参数通过计算得到亮度估计值，当亮度估计值小于光线昏暗阈值，认为光线昏暗，打开红外补光灯；当亮度估计值大于光线昏暗阈值，认为光线正常，关闭红外补光灯。

9.根据权利要求6所述的一种基于视觉监控的汽车座舱自适应调光方法，其特征在于：当驾驶员监测摄像头开启红外补光灯进行红外曝光时，第一车内监测摄像头、第二车内监测摄像头、第三车内监测摄像头不允许进行曝光。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行权利要求1所述的基于视觉监控的汽车座舱自适应调光方法。

Images