CN111107247B

CN111107247B - 一种曝光方法、一种图像系统及图像系统协同工作的方法

Info

Publication number: CN111107247B
Application number: CN202010120943.3A
Authority: CN
Inventors: 吴问华; 汪中华; 李源; 方贵民; 张学国
Original assignee: Shanghai Fullhan Microelectronics Co ltd
Current assignee: Shanghai Fullhan Microelectronics Co ltd
Priority date: 2020-02-26
Filing date: 2020-02-26
Publication date: 2021-12-03
Anticipated expiration: 2040-02-26
Also published as: CN111107247A

Abstract

本发明涉及视频处理技术领域，提供了一种曝光方法，用于抑制干扰源的影响，包括如下步骤：第一图像传感器发出一触发信号，同时触发所述第一图像传感器和第二图像传感器分别采样一帧图像；第一图像系统中的第一图像处理器发出一帧同步信号，所述第一图像处理器和第二图像系统中的第二图像处理器分别根据帧同步信号筛选图像；一触发信号和所述帧同步信号相与后控制所述干扰源的工作，以使所述干扰源工作于所述第一图像传感器采样期间。本发明的优点是解决方案成本低廉，对硬件系统的改动较小，系统升级后得到的视频质量大大提升。

Description

一种曝光方法、一种图像系统及图像系统协同工作的方法

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种曝光方法、一种图像系统及图像系统协同工作的方法。

背景技术

目前，在公共交通车辆中，往往在车内安装了用于记录车内情况的视频监控系统(IMS，Image Monitor System)，用于在后期发现异常状况时提供视频依据。一般而言，IMS的组成如图1所示。其中，图像传感器往往采用卷帘快门(Rolling Shutter)传感器。

同时，在公共交通车辆中，为了监控驾驶员的行为，预防其疲劳驾驶，往往在驾驶员附近还会安装驾驶员监控系统(DMS，Driver Monitor System)。一般而言，DMS的组成如图2所示。其中，为了监控到驾驶员的细节动作，DMS中的图像传感器往往采用全局快门(Global Shutter)传感器。另外一点与IMS不同的是，为了减少行车过程中不断变化的可见光对图像采集的影响，DMS中往往采用红外灯作为曝光光源，以获取比较稳定的红外图像。

上述两个系统目前都是各自独立工作的，但是，由于红外线的反射和衍射特性较为明显，当DMS中红外灯打开时(也就是采集图像时)，往往会干扰IMS的曝光效果，使IMS采集到的图像出现局部或全部的过曝情况，从而造成IMS视频画面出现或明或暗的条纹，或者出现画面闪烁(即整幅画面过曝)的问题。这对用户体验造成了不良影响。

为了解决IMS的卷帘曝光受到DMS的强红外光干扰的问题，目前业界有两种解决方法。一种方法是在IMS中使用全可见光感光方式，这样就不会受到红外干扰，但是此时车内的低光成像效果差，画面不够清晰。另一种是在IMS中使用对RGB三色以及红外线都敏感的RGBIR传感器，从而可以通过ISP(Image Signal Processor，图像处理芯片)的处理消除红外线对可见光的影响，但由于DMS中的红外灯释放的能量太强，通过ISP的处理来消除红外影响的效果较差，而且过强的红外能量对RGBIR传感器的曝光控制也有很大影响。故而上述的两个方案实际效果并不好。

发明内容

为了解决背景技术中所指出的两个监控系统相互影响的缺陷，本发明首先提供一种曝光方法，其包括第一图像系统和第二图像系统，所述第一图像系统包括一周期性干扰源，所述周期性干扰源对所述第二图像系统的成像造成干扰，所述第一图像系统中的第一图像传感器和所述第二图像系统中的第二图像传感器以至少2倍于所述周期性干扰源的频率同步采样；

具体包括如下步骤：

所述第一图像传感器发出一触发信号，同时触发所述第一图像传感器和所述第二图像传感器分别采样一帧图像；

所述第一图像系统中的第一图像处理器发出一帧同步信号，所述第一图像处理器和所述第二图像系统中的第二图像处理器分别根据所述帧同步信号筛选图像；

所述触发信号和所述帧同步信号相与后控制所述周期性干扰源的工作，以使所述周期性干扰源工作于所述第一图像传感器采样期间。

基于同一发明构思，本发明还提出了一种图像系统，包括驾驶员监控系统和车内监控系统；

所述驾驶员监控系统包括：第一图像处理器、第一图像传感器和红外灯，所述第一图像处理器从所述第一图像传感器所采集的图像中选取目标图像进行后期处理；

所述车内监控系统包括：第二图像处理器和第二图像传感器，所述第二图像处理器从所述第二图像传感器所采集的图像中选取目标图像进行后期处理；

所述第一图像传感器以周期T采集图像，并且输出该周期信号以触发所述第二图像传感器同步采集图像；

所述第一图像处理器以周期T’控制所述红外灯工作，并输出该周期信号作为所述第二图像处理器的帧同步信号；所述第一图像处理器和所述第二图像处理器分别选取各自的目标图像，以进行后期处理。

上述的图像系统，其中，所述第一图像传感器为全局快门传感器，所述第二图像传感器为卷帘快门传感器。

上述的图像系统，其中，所述卷帘快门传感器的完成一帧曝光的时间小于周期T。

上述的图像系统，其中，所述全局快门传感器在每次开始曝光前输出红外灯控制信号，所述帧同步信号与所述红外灯控制信号相与后控制所述红外灯工作，以获取红外图像。

上述的图像系统，其中，所述第一图像处理器提取所述红外灯工作时的图像，所述第二图像处理器提取所述红外灯熄灭时的图像。

基于同一发明构思，本发明还提出了一种图像系统协同工作的方法，包括如下步骤：

S1、所述驾驶员监控系统中的第一图像传感器和所述车内监控系统中的第二图像传感器分别以固定频率曝光图像；

S2、所述第一图像传感器曝光期间输出一灯控制信号；

S3、所述驾驶员监控系统中的第一图像处理器发出用于选取图像帧的帧同步信号；

S4、所述灯控制信号和所述帧同步信号相与后用于控制所述驾驶员监控系统中的红外灯；

S4、所述第一图像处理器根据所述帧同步信号选取所述红外灯点亮时的图像作为有效帧，以合成驾驶员监控视频；

S5、所述第二图像处理器根据所述帧同步信号选取所述红外灯熄灭时的图像作为有效帧，以合成车内监控视频。

上述的图像系统协同工作的方法，其中，所述驾驶员监控系统中的第一图像传感器以至少2倍于所述帧同步信号的频率发送所述灯控制信号。

上述的图像系统协同工作的方法，步骤S4中，所述第一图像处理器还统计所述有效帧的信息，以进行自动曝光和自动白平衡处理。

上述的图像系统协同工作的方法，步骤S5中，所述第二图像处理器还统计所述有效帧的信息，以进行自动曝光和自动白平衡处理。

本发明还提出了一种存储介质，其上存储一可执行程序，所述可执行程序被一电子设备执行时，实现上述的协同工作的方法或曝光方法。

与现有技术相比，本发明的技术方案通过一个帧同步信号使得两个监控系统协同工作，：使得车辆监控系统能够稳定的在红外灯熄灭期间采集图像，从而能够获取足够的有效图像，以合成流畅的视频。其解决方案成本低廉，对硬件系统的改动较小，系统升级后得到的视频质量大大提升，非常适合推广应用于已安装IMS和DMS的车辆中。

附图说明

图1是IMS的系统框图；

图2是DMS的系统框图；

图3是本发明一实施例的系统框图；

图4是本发明一实施例的时序图；

图5是本发明一实施例中有效帧和无效帧的关系示意图。

具体实施方式

为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。然而，本发明可以用不同的形式实现，不应只是局限在所述的实施例。且，在不冲突的情况下，本申请中的实施例及实施例中的特征允许相互组合或替换。结合以下的说明，本发明的优点和特征将更清楚。

需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

还需声明的是，本发明中对步骤编号的目的在于便于引用，而非限定先后顺序。对于个别需强调顺序的步骤，文中将以专门文字进行特别说明。

如背景技术所述，由于需要使用红外灯，在同一车辆中分别设置驾驶员监控系统(DMS，Driver Monitor System)和车内视频监控系统(IMS，Image Monitor System)势必引起DMS对IMS的干扰。经过分析可知，造成这一问题的根本原因在于两个系统是分别独立运行的，DMS和IMS的曝光时间(图像采集时间)必然存在重合的几率，从而造成IMS在红外灯打开的时间段内曝光，形成受干扰的图像。本发明的指导思想在于：使DMS和IMS的曝光时间受控，令IMS的曝光时间避开DMS的曝光时间，从而可以使IMS避免在红外灯开启的时间段内曝光，以解决IMS中的视频出现条纹或画面闪烁的问题。

需要补充的是，为了减少行车途中不断变化的可见光的影响，DMS中通常使用波长为940nm红外图像信号，因此，配套使用的红外灯的功率不能无限降低，通过改变两个系统中传感器安装位置以避免影响的方案不能取得良好结果。

考虑到IMS必须获取到在红外灯关闭期间采集的图像，本发明提出一种构思：两个系统协同工作，以使IMS获取DMS中红外灯工作/熄灭的信息。

协调两个系统工作的首选方案是设置一个统一的控制中心，但是对于已经安装了两个系统的车辆来说，增加一个控制中心的改造工程将会比较大，一来改造成本高，二来不利于快速改造。

本发明提出一种解决问题的思路：由DMS输出一个与红外灯工作/熄灭同步的同步信号，告知IMS何时灯亮，何时灯灭，从而使DMS和IMS共同构成一个主从系统。理想改造情况下，DMS在硬件上只需将控制红外灯工作/熄灭的控制线并联引出，可以说硬件几乎没有改动；软件上则可以按照原有工作流程工作，完全不需要改动；而IMS则可以根据DMS提供的红外灯工作/熄灭的控制线在灯灭时采集车内图像，从而解决画面出现条纹以及闪烁问题。根据这个思路，DMS和IMS只要控制好曝光的时间问题，即红外灯熄灭足够的时间以便给IMS留出曝光时间即可。

综合考虑到实际选用的卷帘快门传感器和全局快门传感器的曝光时间以及所提供的控制模式(包括给出的控制信号、曝光时间、输出周期等)，本发明首先提出了一种曝光方法，包括第一图像系统(在一具体实施例中可指DMS)和第二图像系统(在一具体实施例中可指IMS)，所述第一图像系统包括一周期性干扰源，所述周期性干扰源对所述第二图像系统的成像造成干扰，所述第一图像系统中的第一图像传感器(全局快门)和所述第二图像系统中的第二图像传感器(卷帘快门)以至少2倍于所述周期性干扰源的频率同步采样。具体的，包括如下步骤：

步骤一、所述第一图像传感器发出一触发信号，同时触发所述第一图像传感器和所述第二图像传感器分别采样一帧图像。

由于所述触发信号在所述第一图像系统中还参与控制所述周期性干扰源的工作，因此对于第一图像系统而言，伴随所述触发信号而采集到的图像是有效帧；对于第二图像系统而言，伴随所述触发信号而采集到的图像基本都是无效帧(图像部分甚至全部过曝)。

步骤二、为了解决步骤一中所提到的第二图像系统不能准确获取有效帧的问题，所述第一图像系统中的第一图像处理器还发出一帧同步信号，所述第一图像处理器和所述第二图像系统中的第二图像处理器分别根据所述帧同步信号筛选图像。

步骤三、步骤一中所述的触发信号和步骤二中所述的帧同步信号相与后控制所述周期性干扰源的工作。通过这一控制措施，所述周期性干扰源无法在所述帧同步信号的低电平期间工作，保证了所述第二图像处理器可以获取有效的图像(有效帧)。而为了保证所述触发信号有规律地在所述帧同步信号高电平期间出现(以保证第一图像系统采集图像)，较佳的实施例是：所述触发信号倍频于所述帧同步信号。例如，如图5所示，触发信号的频率为50Hz，而帧同步信号的频率为25Hz；同时，通过调试确保触发信号出现在帧同步信号的高电平期间。在此种情况下，第一图像传感器和第二图像传感器分别以50Hz的频率采集图像，周期性干扰源以25Hz的频率工作，第一图像传感器和第二图像传感器所采集到的图像均存在冗余，其有效性如图5所示。即，在帧同步信号为高时，第一图像传感器所采集的图像为有效图像，而第二图像传感器所采集到的图像为无效图像，在后期处理时需放弃；在帧同步信号为低时，第二图像处理器所采集到的图像为有效图像，而第一图像传感器所采集到的图像为无效图像，在后期处理时需放弃。

上述的技术方案通过冗余采集确保了第一图像系统和第二图像系统均能周期性的采集到有效帧，并且相应的处理器能够准确分辨有效帧和无效帧，从而为后期提取有效帧、合成流畅的视频提供了物质基础。

图3所示是应用上述技术方案实现的具体实施例的示意图。结合图1和图2，图3所示的一种图像系统是综合了驾驶员监控系统(图2)和车内图像监控系统(图1)的综合图像系统。

具体的，所述驾驶员监控系统包括：第一图像处理器(ISP(Image SignalProcessing)处理芯片)、第一图像传感器(全局快门)和红外灯，所述第一图像处理器从所述第一图像传感器所采集的图像中选取目标图像进行后期处理；

所述车内监控系统包括：第二图像处理器(ISP处理芯片)和第二图像传感器(卷帘快门)，所述第二图像处理器从所述第二图像传感器所采集的图像中选取目标图像进行后期处理；

所述第一图像传感器以周期T采集图像(此处亦可理解为曝光)，并且输出该周期信号(同步信号)以触发所述第二图像传感器同步采集图像；

所述第一图像处理器以周期T’控制所述红外灯工作(打开/关闭或者说闪烁)，并输出该周期信号作为所述第二图像处理器的帧同步信号；所述第一图像处理器和所述第二图像处理器分别选取各自的目标图像(有效帧)，以进行后期处理。

从硬件层面看，图3所示的图像系统在原有的两个监控系统之间加入了起到同步、协同作用的控制信号帧信号和同步信号。其中，同步信号由驾驶员监控系统的传感器发出，其与所述传感器采集图像(快门闪烁)的频率相同，换句话说，同步信号的实质就是所述传感器快门闪烁的信号(周期性脉冲信号)。所述帧信号由驾驶员监控系统的处理器芯片根据所述同步信号生成。生成的帧信号为周期性方波，其与一灯闪信号相与后，用于实际控制红外灯的工作。根据驾驶员监控系统需要采集红外图像的要求可知，所述灯闪信号的作用在于控制红外灯闪烁，其发出时间可略早于所述第一图像传感器的快门启动时间。所述灯闪信号与所述帧信号相与后，有一半的脉冲被抑制，即实际的红外灯工作频率只能与帧信号的频率相同，这样就限定了在帧信号的低电平期间红外灯不能打开，从而保证了车内图像监控系统采样时间，并且所述采用时间是受控的。

由于受同步信号的控制，车内图像系统中第二图像传感器与驾驶员监控系统中的第一图像传感器是同步采样(曝光)的，因此，所述第二图像传感器在作数帧信号的高电平期间也进行了采样。但，由于在帧信号高电平期间红外灯是工作的，因此，所述第二图像传感器在此时采集到的图像必然是受干扰的。在后期处理中，车内图像监控系统中的第二图像处理器可根据所述帧信号的高低电平的不同舍弃受干扰的图像。

总的来说，图3所示的图像系统构成了一个主从结构的复合系统。驾驶员监控系统为主系统，车内图像监控系统为从系统。车内图像监控系统根据驾驶员监控系统给出的帧信号和同步信号采集以及筛选图像，从而保证车内图像监控系统能够获取质量有保证的图像，从而合成流畅的视频。

具体的，在本实施例中，驾驶员监控系统选用的图像传感器使用的是黑白全局快门，其最大曝光时间为5ms；车内图像监控系统选用的图像传感器使用的是彩色卷帘快门，其最大曝光时间是15ms。考虑到第二图像传感器为卷帘快门，是逐行曝光的，一帧图像曝光完成最大约需35ms。驾驶员监控系统提取帧信号为高时的图像以合成视频，车内图像监控系统提取帧信号为低时的图像以合成视频。

综合考虑上述数据，本实施例选定了采样周期T为20ms，帧信号周期T’为40ms。如图5所示，触发信号的周期为20ms，第一图像传感器和第二图像传感器均以20ms的周期采集图像；帧信号的周期为40ms，在帧信号为高时，红外灯点亮，第一图像传感器所采集的是正常的红外图像，是有效的，而第二图像传感器所采集到的是受到红外灯影响的、过曝的图像，是无效的；在帧信号为低时，则情况正好相反，第一图像传感器采集到的是无效帧，第二图像传感器采集到的是有效帧。无论有效或无效，所有图像都由后续的图像处理器进行甄别，第一图像处理器和第二图像处理器分别提取自己所需要的帧，提取的依据就是帧信号。

基于同一技术构思，本发明还进一步提出了一种图像系统协同工作的方法，包括如下步骤：

S2、所述第一图像传感器曝光期间输出一灯控制信号；

S3、所述驾驶员监控系统中的第一图像处理器发出用于选取图像帧的帧同步信号；具体的，帧同步信号为周期性方波，高电平时选取DMS帧(即DMS中的帧为有效帧)，低电平选取IMS帧(即IMS中的帧为有效帧)。

S4、所述灯控制信号和所述帧同步信号相与后用于控制所述驾驶员监控系统中的红外灯(点亮或熄灭)；

进一步地，所述驾驶员监控系统中的第一图像传感器以至少2倍于所述帧同步信号的频率发送所述灯控制信号。具体的，所述灯控制信号的持续时间需大于并略早于所述第一图像传感器的曝光时间。

步骤S4中，所述第一图像处理器还统计所述有效帧的信息，以进行自动曝光和自动白平衡处理。

步骤S5中，所述第二图像处理器还统计所述有效帧的信息，以进行自动曝光和自动白平衡处理。

图4示出了图像采集过程中各信号之间的时序关系。第一图像传感器按预先选定的采集频率50Hz采集图像。图中的DMS信号的低电平处为快门工作时间，其后续的高电平期间为图像数据输出时间，根据之前的分析可知，其输出的必然是一帧有效帧、一帧无效帧相间隔的。图中的LED信号由第一图像传感器发出，用于控制红外灯的工作，高电平有效，其余DMS信号相配合，在时序上略早于DMS信号的低电平，在持续时间上最早可与DMS信号同时切换，以保证第一图像传感器曝光时的红外光照。图中的FRAME信号即为前文所述的帧信号，由第一图像处理器给出，其频率为DMS信号的2倍，作为驾驶员监控系统和车内监控系统选择有效帧的依据；同时，FRAME信号和LED信号相与后合成LED_REAL信号，LED_REAL信号用于实际控制红外灯的工作，使红外灯点亮的频率为25Hz，留出FRAME信号的高电平期间给车内监控系统采集图像。图中的TRIG信号即为前文所述的触发信号，由第一图像传感器发出，该触发信号连接到第二图像传感器即为图中所示的IMS信号，所述IMS信号用于通知所述第二图像传感器同步采集图像，TRIG信号的触发脉冲略早于LED信号，可以认为是一个采集周期的起始信号。图中最后一行的IMS_EXPLORE信号为第二图像传感器曝光一帧图像的首行的时序控制信号，IMS_EXPLORE信号的高电平持续15ms即为曝光一行图像的时间，随后输出一行的图像，第二图像传感器采用的是边曝光边输出图像数据的方法，整幅图像可以在IMS信号所示的有效帧时间范围内全部输出，形成一帧完整的图像，根据图中时间轴可看出知，本实施例中，从开始曝光到完整输出一副图像需时35ms。

本发明还提出了一种存储介质，其上存储一可执行程序，所述可执行程序被一CPU调用而运行时，可实现上述的协同工作的方法。所述存储介质包括软盘、硬盘、优盘等多种物理存储介质，且与所述CPU的物理关系不限定于同一设备，即所述存储介质与所述CPU可通过有线/无线进行指令与数据的交换即可。

上述的曝光方法、图像系统及协同工作的方法通过简单改建当前既有的驾驶员监控系统和车内图像监控系统达到了有机结合两者工作的效果，解决了车内图像监控系统受红外灯干扰的问题，软硬件改造成本都相当低，市场应用前景广阔。按这一思路，新投产的车辆中可以直接安装该主从协调的系统，开发商的转产成本也相当低。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种曝光方法，包括第一图像系统和第二图像系统，所述第一图像系统包括一周期性干扰源，所述周期性干扰源对所述第二图像系统的成像造成干扰，其特征在于，所述第一图像系统中的第一图像传感器和所述第二图像系统中的第二图像传感器以至少2倍于所述周期性干扰源的频率同步采样；

具体包括如下步骤：

2.一种图像系统，其特征在于，包括驾驶员监控系统和车内监控系统；

所述驾驶员监控系统包括：第一图像处理器、第一图像传感器、红外灯和一周期性干扰源，所述第一图像处理器从所述第一图像传感器所采集的图像中选取目标图像进行后期处理；

所述第一图像传感器以周期T采集图像，并且输出周期T以触发所述第二图像传感器同步采集图像；

所述第一图像处理器以周期T’控制所述红外灯工作，并输出周期T’作为所述第二图像处理器的帧同步信号；所述第一图像处理器和所述第二图像处理器分别选取各自的目标图像，以进行后期处理；

所述第一图像传感器和所述第二图像传感器以至少2倍于所述周期性干扰源的频率同步采集图像；

其中，所述第一图像传感器为全局快门传感器，所述全局快门传感器在每次开始曝光前输出红外灯控制信号，所述帧同步信号与所述红外灯控制信号相与后控制所述红外灯工作，以获取红外图像。

3.如权利要求2所述的图像系统，其特征在于，所述第二图像传感器为卷帘快门传感器。

4.如权利要求3所述的图像系统，其特征在于，所述卷帘快门传感器的完成一帧曝光的时间小于周期T。

5.如权利要求2所述的图像系统，其特征在于，所述第一图像处理器提取所述红外灯工作时的图像，所述第二图像处理器提取所述红外灯熄灭时的图像。

6.一种图像系统协同工作的方法，其特征在于，应用于如权利要求2-5任一项所述的图像系统中，包括如下步骤：

S2、所述第一图像传感器曝光期间以至少2倍于所述帧同步信号的频率输出一灯控制信号；

7.如权利要求6所述的图像系统协同工作的方法，其特征在于，

步骤S4中，所述第一图像处理器还统计所述有效帧的信息，以进行自动曝光和自动白平衡处理；

8.一种存储介质，其特征在于，其上存储一可执行程序，所述可执行程序运行时，实现如权利要求1所述的曝光方法或如权利要求6-7任一项所述的图像系统协同工作的方法。