CN104144290A - 智能交通领域双模式多目标的成像控制方法及其装置 - Google Patents

Abstract

本发明涉及视频监控领域，公开了一种智能交通领域双模式多目标的成像控制方法及其装置。本发明中，该方法对连续模式和触发模式分别控制成像，包括以下步骤：分别计算连续模式和触发模式下各目标的成像特征值；分别计算连续模式和触发模式下各目标的成像质量评价参数；分别生成连续模式和触发模式下多目标决策的成像控制策略；调整成像参数，使得连续模式和触发模式下各目标达到最优的成像效果。对连续模式和触发模式的双模式成像控制方法，具有两套独立的成像参数和控制模式，可控制多目标成像，使得两种模式下的目标成像互不干扰，各自达到最优的成像效果，避免了采用单一控制目标成像无法兼顾多目标成像的弊端。

Description

智能交通领域双模式多目标的成像控制方法及其装置

技术领域

本发明涉及视频监控领域，特别涉及智能交通领域双模式多目标的成像控制技术。

背景技术

现有智能交通中的成像控制技术，往往有基于全局亮度、基于车牌亮度与对比度、基于车牌亮度与背景亮度关系三种方式进行成像控制调整。下面介绍几种常用的成像控制方法的优缺点。

1）基于全局亮度的成像控制方法：

此方法为常用的摄像机成像控制方法，优点是调整方式简单，可使得全局具有较通用的可视效果，但无法针对特定的动态目标进行成像控制，尤其是在顺光、逆光、光照突变等环境条件下，无法使得智能交通系统中用户关心的车牌、车窗、人脸、信号灯、地面标识等目标达到良好的可视效果。

2）基于车牌亮度与对比度的成像控制方法：

该方法的优点是针对了智能交通系统中感兴趣的车牌进行调整，常规情况可以使得车牌成像达到较好的效果，例如专利号为CN101184168B基于车牌亮度与对比度的摄像机快门与增益综合控制方法，就采用了这种方法。此类方法的主要问题如下：

a、传统的车牌亮度与对比度的成像控制方法中，对比度只作为车牌亮度的参考信息，用于选择基于车牌亮度的调整策略，实际并不直接参与成像控制的调整。

b、传统的车牌亮度与对比度的成像控制方法中，没考虑到车牌颜色的差异性、车牌反光效果的差异性、环境光照对车牌亮度的干扰、错误检测的车牌对成像控制的影响等多种因素，试验证明，同样的成像参数条件下，不同车牌的亮度值差异性可能会高达100以上，如采用车牌亮度的调整方案，可能适得其反。

c、单一基于车牌的调整策略可能导致在环境光照发生较大变化的时候的成像失控。

3）基于车牌亮度与背景亮度的成像控制方法：

该方法的优点是综合考虑了车牌亮度与背景亮度的关系，通过车牌亮度动态调整背景亮度阈值的上下限，使得在环境光照发生变化的时候车牌成像具有一定的自适应性。例如专利号CN101430830B成像控制方法和装置采用了这种方法。此类方法的主要问题如下：

a、同基于车牌亮度与对比度的成像控制方法问题一样，基于车牌亮度与背景亮度的成像控制方法没有考虑到车牌亮度成像的差异性带来的影响。

b、没有将对比度作为一个重要的衡量标准引入调整方法上。

此外，上述方法均没考虑到：

1）连续模式和触发模式的成像独立控制。在智能交通系统中，连续模式用来实时检测车牌和车辆，同时要在连续模式下对于场景中的信号灯、车辆行驶情况等进行综合分析，所以对于车牌、信号灯、地面标识的成像有着较高的要求；而在触发模式下，除了车牌以外，对于车内人脸等目标成像有着较高要求。因此，对于连续模式和触发模式的成像独立考虑，有利于在系统并行需求中使得成像控制分别达到最优化的状态。

2）多目标综合成像。智能交通系统中除了车牌以外，需要对车窗、人脸、信号灯、地面标识多个目标综合控制成像，达到整体的成像均衡的效果。如检测闯红灯的时候除车牌清晰可见以外，同时要求信号灯、停车线均是可见的，在强逆光等极端环境下，如单一考虑车牌达到最优的成像效果，往往会使得其他的目标较难分辨。

3）多目标成像控制决策策略。对于较多的成像控制因素，需要有整体的控制策略以确保各目标可调整至最优的成像效果而不至于产生冲突。

4）增益、快门、LED、偏光镜和LUT多参数协同调整的成像控制方法。成像控制并非单一针对相机的快门和增益参数进行调节就可以满足系统的全天候要求。增益、快门、LED、LUT以及偏光镜的应用和调节，都会影响系统的成像效果。在不同的环境下，成像控制方法需要针对各个参数以及多参数之间的关联和影响进行综合调整。

5）长时间无牌车的成像控制策略。连续模式下，逆光和顺光场景模式的判别和场景预案参数于无车牌情况成像的调整策略；触发模式下，建立连续模式和触发模式成像参数的关联模型，既可保证双模式在常规成像控制下的独立性，又使得无车牌情况下成像不至失控。

发明内容

本发明的目的在于提供一种智能交通领域双模式多目标的成像控制方法及其装置，具有两套独立的成像参数和控制模式，可控制多目标成像，使得两种模式下的目标成像互不干扰，各自达到最优的成像效果，避免了采用单一控制目标成像无法兼顾多目标成像的弊端。

为解决上述技术问题，本发明的实施方式公开了一种智能交通领域双模式多目标的成像控制方法，该方法对连续模式和触发模式分别控制成像，包括以下步骤：

分别计算连续模式和触发模式下各目标的成像特征值；

分别计算连续模式和触发模式下各目标的成像质量评价参数；

分别生成连续模式和触发模式下多目标决策的成像控制策略；

调整成像参数，使得连续模式和触发模式下各目标达到最优的成像效果。

本发明的实施方式还公开了一种智能交通领域双模式多目标的成像控制装置，该装置对连续模式和触发模式分别控制成像，包括：

成像特征值计算单元，用于分别计算连续模式和触发模式下各目标的成像特征值；

成像质量评价参数计算单元，用于根据成像特征值计算单元计算出的成像特征值，分别计算连续模式和触发模式下各目标的成像质量评价参数；

成像控制策略制定单元，用于根据成像质量评价参数计算单元计算出的成像质量评价参数，分别生成连续模式和触发模式下多目标决策的成像控制策略；

成像参数调整单元，用于根据成像控制策略制定单元生成的成像控制策略，调整成像参数，使得连续模式和触发模式下各目标达到最优的成像效果。

本发明实施方式与现有技术相比，主要区别及其效果在于：

对连续模式和触发模式的双模式成像控制方法，具有两套独立的成像参数和控制模式，可控制多目标成像，使得两种模式下的目标成像互不干扰，各自达到最优的成像效果，避免了采用单一控制目标成像无法兼顾多目标成像的弊端

进一步地，连续模式的控制目标以车牌亮度和对比度为主，信号灯和地面标识清晰度为辅，同时兼顾全局成像质量；触发模式的控制目标以车窗和人脸区域的清晰度为主，同时兼顾车牌亮度和对比度。这样，能够根据不同的控制对象，自适应调整成像参数，连续模式下的车牌成像可确保车牌序列的高检测率和高识别率，同时确保了地面标识和信号灯的成像效果；触发模式下可确保车窗和人脸清晰，有利于驾驶室内的目标辨析，同时对触发车牌的成像控制确保了抓拍图像的车牌清晰可识别。

进一步地，使用亮度、对比度两个参数衡量车牌可以消除不同车牌反光特性不同的影响，同时可以有效在顺光及逆光条件下将车牌调整至最佳成像，通过增益、快门、LED、LUT和偏光镜多参数的协同调整，可确保连续模式和触发模式在各种环境条件下的最优成像结果。

进一步地，对视频内长时间没有车牌出现的成像关联预估算法及快速调整策略，避免了在长时间没有车辆目标到达的场景中，仅仅根据路面亮度来决定成像，无法区分如顺光、逆光等情况，导致真正车辆目标出现的时候无法看清有效目标的问题。连续模式中，根据对成像场景的判断，给出摄像机曝光值预案，确保监控目标出现时基本信息能够在图像中明确表现出来；触发模式中，以连续触发成像参数关联模型预测成像参数，可确保长时间无车牌出现时触发模式成像参数快速调整至合适的范围。

附图说明

图1是本发明第一实施方式中一种智能交通领域双模式多目标的成像控制方法的流程示意图；

图2和图3是本发明第二实施方式中一种智能交通领域双模式多目标的成像控制方法的流程示意图；

图4是本发明第二实施方式中一种逆光场景预案参数表；

图5是本发明第二实施方式中一种顺光场景预案参数表；

图6是本发明第二实施方式中一种SVR模型训练与更新的流程示意图；

图7是本发明一种智能交通领域双模式多目标的成像控制方法的技术方案整体流程示意图；

图8是本发明一种双模式多目标特征计算流程示意图；

图9是本发明一种双模式多目标决策的流程示意图；

图10是本发明一种亮度差值与快门调整比例映射表；

图11是本发明一种对比度差值与快门调整比例映射表；

图12是本发明一种逆光LUT对应函数曲线图；

图13是本发明一种顺光LUT对应函数曲线图；

图14是本发明第三实施方式中一种智能交通领域双模式多目标的成像控制装置的结构示意图；

图15是本发明第四实施方式中一种智能交通领域双模式多目标的成像控制装置的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种智能交通领域双模式多目标的成像控制方法。图1是该智能交通领域双模式多目标的成像控制方法的流程示意图。

具体地说，如图1所示，该智能交通领域双模式多目标的成像控制方法对连续模式和触发模式分别控制成像，包括以下步骤：

优选地，在连续模式下，多目标包括：车牌、信号灯、地面标识和全局。在触发模式下，多目标包括：车牌、车窗和人脸。

连续模式的控制目标以车牌亮度和对比度为主，信号灯和地面标识清晰度为辅，同时兼顾全局成像质量。触发模式的控制目标以车窗和人脸区域的清晰度为主，同时兼顾车牌亮度和对比度。这样，能够根据不同的控制对象，自适应调整成像参数，连续模式下的车牌成像可确保车牌序列的高检测率和高识别率，同时确保了地面标识和信号灯的成像效果。触发模式下可确保车窗和人脸清晰，有利于驾驶室内的目标辨析，同时对触发车牌的成像控制确保了抓拍图像的车牌清晰可识别。

此外，可以理解，在本发明的其它某些实施方式中，多目标也可以包括其它的目标，而不仅仅局限于本文所罗列出的这些。

在步骤101中，分别计算连续模式和触发模式下各目标的成像特征值。

具体地说，计算连续模式下各目标的成像特征值的步骤中，包括以下子步骤：

以车牌亮度均值和对比度均值作为车牌成像特征值。

计算车牌亮度，建立缓冲长度为10帧的车牌亮度列表，计算车牌亮度均值。统计车牌直方图，以最大类间方差法做阈值分割，分别计算高部亮度均值grayhigh和低部亮度均值graylow，以公式nContrast_LP=(grayhigh-graylow)*100/256计算车牌对比度nContrast_LP，建立车牌对比度列表，计算车牌对比度列表均值。

以信号灯对比度均值作为信号灯成像特征值。

统计信号灯目标区域直方图，以与车牌对比度同样的计算方法建立参考目标对比度列表，计算信号灯对比度均值。

以地面标识亮度均值作为地面标识成像特征值。

计算地面标识区域亮度，建立缓冲长度为10帧的地面标识亮度列表，计算地面标识亮度均值。对于地面标识来说，只要不是过暗或者过亮以致肉眼无法辨识的情况，都可以作为可供智能交通系统参考的依据，因此以地面标识亮度均值的上下限进行成像控制。

以全局亮度均值作为全局成像特征值。

计算触发模式下各目标的成像特征值的步骤中，包括以下子步骤：

以车牌亮度均值和对比度均值作为车牌成像特征值。

触发模式下参与调整的车牌数远远小于连续模式，因此选择每次触发的车牌的亮度和对比度作为触发模式的车牌成像特征，成像特征的计算方法与连续模式车牌成像特征计算方法一致。

以车窗模糊度均值作为车窗成像特征值。

智能交通领域中，常常需要对驾驶室内的情况进行抓拍或检测，如司乘人员人脸、安全带等图像要求清晰可见，但由于前车窗玻璃反光、贴膜等因素的影响，会使得驾驶室内的情况无法看清。因此，在对车窗分析时，基于车窗定位的结果，对车窗区域做边缘检测，计算区域内边缘点数，计算边缘点数占车窗区域的比例，当车窗反光严重时，车窗区域的边缘分布较少，当车窗区域内边缘点所占比例于一定阈值时，系统控制打开偏光镜，以提升驾驶室内的成像效果。

以人脸亮度均值和对比度均值作为人脸成像特征值。

为保证驾驶室内司乘人员的人脸清晰可见，对于检测到的人脸结果，计算人脸区域图像的亮度和对比度。在此，以图像的熵值作为人脸区域图像的对比度，选取选取60-140为人脸的亮度范围，同时将熵值映射到0-20取值范围作为人脸成像的对比度值，选取对比度5作人脸图像对比度阈值。当人脸图像对比度较低且亮度在期望亮度范围以外，优先以亮度成像控制方法将亮度调整至合适的范围；当人脸图像对比度较低且在亮度期望范围之内时，以对比度成像控制的方法提高人脸成像的对比度。

此后进入步骤102，分别计算连续模式和触发模式下各目标的成像质量评价参数。

具体地说，步骤102中，包括以下子步骤：

用不同的质量权重描述各目标的成像特征值的优先级，用各目标的成像特征值和其特征值期望值之间的距离描述偏离度，将偏离度归一化为10，以偏离度和权重的乘积计算各目标的成像质量评价参数。

对于多目标的成像控制，无论是连续模式还是触发模式都涉及多目标的多特征期望调整，不同模式下成像调整策略有一定的差异性，如在连续模式中，优先期望车牌达到希望的亮度和对比度，其次要确保信号灯和地面标识都处于可控的成像范围内；在触发模式，优先希望人脸和车窗的成像达到合适的状态，其次要确保车牌处于可控的成像范围。

在连续模式下，车牌亮度均值的期望值为100，将车牌亮度均值在0至100和100至255之间各等分10个等级作为车牌亮度的偏离度，权重为0.4。车牌对比度均值的期望值为25，将车牌对比度均值在0至25之间等分10个等级作为车牌对比度的偏离度，权重为0.15，当车牌对比度均值低于12且车牌亮度均值高于140时，车牌对比度的偏离度为0，权重为0。信号灯对比度均值的期望值为18，在0至18之间等分10个等级作为信号灯对比度均值的偏离度，权重为0.25。地面标识亮度均值的期望值为120，将地面标识亮度均值在0至120和120至255之间各等分10个等级作为地面标识亮度的偏离度，权重为0.2。当全局亮度均值低于15时，如果偏光镜处于打开状态且快门和增益值已经调整到最大，优先调整偏光镜状态，全局亮度均值的偏离度为10，权重为1.0，其它条件下，全局亮度均值的偏离度为0，权重为0。

在触发模式下，车牌亮度均值的期望值为120，将车牌亮度均值在0至120和120至255之间各等分10个等级作为车牌亮度的偏离度，权重为0.3。车牌对比度均值的期望值为25，将车牌对比度均值在0至25之间等分10个等级作为车牌对比度的偏离度，权重为0.15。人脸亮度均值的期望值为100，将人脸亮度均值在0至100和100至255之间各等分10个等级作为人脸亮度的偏离度，权重为0.15。人脸对比度均值的期望值为20，将人脸对比度均值在0至20之间等分10个等级作为人脸对比度的偏离度，权重为0.4。当车窗模糊度均值低于10的时候，如果偏光镜处于关闭装状态，优先调整偏光镜状态，车窗模糊度均值的偏离度为10，权重为1.0，其它条件下，车窗模糊度均值的偏离度为0，权重为0。

此后进入步骤103，分别生成连续模式和触发模式下多目标决策的成像控制策略。

具体地说，在步骤103中，包括以下子步骤：

利用各目标的成像质量评价参数，利用二元对比模糊决策的方法，构造模糊优先矩阵。

以平均法计算各成像质量评价参数的隶属度，以隶属度最大的成像质量评价参数作为当前帧成像控制的目标。

对于多目标成像控制来说，要综合考虑各成像质量评价参数指标的优先级别，从中选出当前帧优先参与成像控制的成像质量评价参数指标，从而进一步确认成像控制的方式和策略。这里采用二元对比模糊决策的方法，评价指标集合X＝{x₁,x₂,...x_n}，其中x_n为第n个成像质量评价参数指标。

令第n个成像质量评价参数的偏离度为d_n，权重为w_n，则x_n＝d_n×w_n

两两比较集合中的成像质量评价参数指标x_i和x_j，以r_ij表示x_i相对于x_j的优先度，其中r_ij＝x_i/(x_i+x_j)

从而构造模糊优先矩阵R＝(r_ij)_n×n

以平均法计算各成像评价指标的隶属度A(x_i)＝(r_i1+r_i2+...+i_in)/n,i＝1,2,...,n，以隶属度最大的成像质量评价参数指标作为当前帧成像控制的目标。

此后进入步骤104，调整成像参数，使得连续模式和触发模式下各目标达到最优的成像效果。

优选地，在调整成像参数的步骤中，对增益、快门、LED、偏光镜以及LUT进行协同调整。

使用亮度、对比度两个参数衡量车牌可以消除不同车牌反光特性不同的影响，同时可以有效在顺光及逆光条件下将车牌调整至最佳成像，通过增益、快门、LED、LUT和偏光镜多参数的协同调整，可确保连续模式和触发模式在各种环境条件下的最优成像结果。

此后结束本流程。

对连续模式和触发模式的双模式成像控制方法，具有两套独立的成像参数和控制模式，可控制多目标成像，使得两种模式下的目标成像互不干扰，各自达到最优的成像效果，避免了采用单一控制目标成像无法兼顾多目标成像的弊端。

本发明第二实施方式涉及一种智能交通领域双模式多目标的成像控制方法。图2和图3是该智能交通领域双模式多目标的成像控制方法的流程示意图。

第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：

对视频内长时间没有车牌出现的成像关联预估算法及快速调整策略，避免了在长时间没有车辆目标到达的场景中，仅仅根据路面亮度来决定成像，无法区分如顺光、逆光等情况，导致真正车辆目标出现的时候无法看清有效目标的问题。连续模式中，根据对成像场景的判断，给出摄像机曝光值预案，确保监控目标出现时基本信息能够在图像中明确表现出来。触发模式中，以连续触发成像参数关联模型预测成像参数，可确保长时间无车牌出现时触发模式成像参数快速调整至合适的范围。

参与成像控制的目标中，除了全局亮度、信号灯和地面标识是固定每帧都参与成像调整外，其余都与车牌检测效果相关，所以成像控制必须保证车牌能处于被检测的范围之内。长时间无车牌被检测到一般有两种情况，一是成像正常但长时间没有车辆经过，二是成像过亮或者过暗使得车牌检测系统失效。对于第一种情况，在短时找不到目标时，成像会维持最后一次所调整的参数，在一定时间内能保证车牌亮度和对比度的偏移值在可控范围之内，但如时间过长或场景环境亮度短时间发生较大的改变，则会使得成像参数无法适应当前的成像环境，产生车牌过暗或过曝的情况。对于第二种情况，如此时全局亮度、信号灯对比度和地面标识对比度均处于合适的范围，则系统没有参考目标可将车牌调整至合适的成像范围之内。因此，对于以上两种情况需要引入独立的长时间无车牌成像控制策略。为了能够区分出长时间无车的情况和车牌成像差的情况，在连续模式下引入车辆视频触发模块，车辆视频触发在不依赖于车牌检测的条件下可对车辆进行检测，因此可以作为场景预案参数的验证。

具体地说：

在分别计算连续模式和触发模式下各目标的成像质量评价参数的步骤之后，还包括以下步骤：

判断未检测到车牌的时间间隔是否大于预定值。

若是，则分别生成连续模式和触发模式下长时间无车牌成像控制策略。

在连续模式下，生成长时间无车牌成像控制策略包括以下步骤：对顺光或逆光场景模式进行判断。对成像参数进行场景预案调整，场景预案调整参数由日常顺光及逆光模式统计获得。

具体地说，如图2所示，连续模式长时间无车牌成像控制策略主要包括以下步骤：

在步骤201中，判断连续模式下是否长时间无车牌。

若是，则进入步骤202；若否，则结束本流程。

在步骤202中，进行场景模式判别。

此后进入步骤203，进行场景预案参数加载。

此后进入步骤204，判断视频触发是否检测到车牌。

若是，则结束本流程；若否，则再次回到步骤203。

连续模式下长时间无车牌的情况下，系统会以全局亮度、信号灯对比度和地面标识区域亮度作为成像控制的主要参考依据。通常情况下，基于这些目标的成像控制虽不一定可以使得连续模式的车牌成像亮度和对比度达到最优，但一般可以保证成像参数能根据环境的变化自动调整到可用的状态，确保当车牌出现的时候能够正确的检测到车牌，从而进一步基于车牌进行最优化的成像调整。但当外部环境处于强逆光或者强顺光的环境下，基于以上目标的成像参数和基于车牌的成像参数有着较大的差异性，可能会导致车牌长时间处于过曝或者过暗的状态，对车牌检测和整体成像效果产生严重的影响。因此，系统必须能够判别逆光和顺光的场景模式，并能够基于场景模式加载相应的预案参数，以便快速将成像调整至合适的状态。

1）逆光场景模式：

在逆光场景的情况下，为了使得信号灯对比度和地面标识区域亮度处于期望的范围内，通常快门和增益都会调整的比较低，同时表现出信号灯对比度也较低，地面标识区域亮度处于期望范围以内。根据经验值，在长时间检测不到车牌的情况下，当快门值小于500，增益为0，信号灯对比度低于15的时候，地面标识区域亮度处于60-140之间时，可判断为逆光场景模式，加载逆光场景预案参数。

逆光场景预案参数如图4所示。

2）顺光场景模式：

在顺光场景的情况下，为了使得信号灯对比度和地面标识区域亮度处于期望的范围内，快门和增益也会较低，但信号灯的对比度较高。根据经验值，在长时间检测不到车牌的情况下，当快门值小于500，增益为0，信号灯对比度大于25的时候，地面标识区域亮度小于60时，可判断为顺光场景模式，加载顺光场景预案参数。

顺光场景预案参数如图5所示。

3）场景预案参数等级：

在系统日常运行的状态下，由于车牌可被检测，因此对于逆光和顺光的模式可做更为精确的判断。除了快门、增益和信号灯对比度以外，在逆光情况下车牌对比度较低，在顺光模式下车牌对比度较高。场景预案参数由日常逆光及顺光模式统计获得，按照逆光和顺光的程度不同，可统计多个等级的预案参数，常规会划分为3个等级。在长时间无车牌时，按照由弱到强的场景预案等级依次加载，以多次车辆视频触发验证场景预案参数等级的可行性。

在触发模式下，生成长时间无车牌成像控制策略包括以下步骤：根据相关联的连续模式和触发模式成像参数，建立非线性回归分析模型，以连续模式成像参数及环境参数预测触发模式下成像参数。

优选地，该非线性回归分析模型为SVR模型。

此外，可以理解，在本发明的其它某些实施方式中，也可以采用其它的模型训练。

具体地说，如图3所示，触发模式长时间无车牌成像控制策略主要包括以下步骤：

在步骤301中，判断触发模式下是否长时间无车牌。

若是，则进入步骤302；若否，则结束本流程。

在步骤302中，获取上帧连续模式的成像参数。

此后进入步骤303，将上帧连续模式的成像参数送入训练好的SVR模型，进行SVR预测。

此后进入步骤304，通过预测，生成下帧触发模式的成像参数。

此后结束本流程。

连续模式和触发模式成像的环境差异性来源于闪光灯的补光差别，在成像正常的情况下，已知连续模式下的快门、增益、LED状态、偏光镜状态和触发模式的快门和增益值，通过多元非线性回归分析可以建立连续模式和触发模式成像参数关系模型。这里我们采用支持向量回归（SVR）模型进行数据预测，可具有更高的精度及泛化能力。

1）SVR模型参数选择：

核函数：对于此类非线性问题，先以非线性映射将数据转换到高维空间中进行线性回归，然后再返回原始空间中。核函数的作用是以低维空间的输入值，计算经过变换后的高维空间的向量内积值，而无需寻找二者之间的映射关系。满足Mercer条件的函数都可以作为核函数，常用的核函数如多项式函数、径向基函数、sigmoid函数等。由于多项式核与sigmoid核涉及参数较多，影响模型的复杂度，RBF核参数较少且能够实现非线性映射，故模型建立选取径向基函数作为核函数，k(x,y)=exp(-gamma|x-y|^2)。这里取RBF核函数参数gamma=1。

松弛函数：超平面在高维空间的数学表达为一个线性方程<w,x>+b=0,w为系数向量，x为n维变量，<w,x>为内积，b为常数，空间点xi到超平面L距离为：

$d(x_i,L)=\frac{|<w,x_i>+b|}{\left|\right|w\left|\right|}$

使其最大的约束条件为：

$\left\{\begin{array}{c}\min \frac{1}{2}{\left|\right|w\left|\right|}^2\\ y_i(<w,x_i>+b)\&GreaterEqual;1,i=\mathrm{1,2},...,I\end{array}\right.$

考虑到允许拟合误差的情况，引入松弛项控制对于超出误差样本的许可程度，使得回归函数更为平滑，提高泛化能力，减小误差，约束条件改写为：

$\left\{\begin{array}{c}\min \frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}{\mathrm{\&xi;}}_i\\ y_i(<w,x_i>+b)\&GreaterEqual;1-{\mathrm{\&xi;}}_i,{\mathrm{\&xi;}}_i\&GreaterEqual;0,i=\mathrm{1,2},...,I\end{array}\right.$

这里取惩罚系数C=10。

收敛条件：终止准则的可容忍偏差ε=0.0001，最大迭代次数100。

2）SVR模型的训练与更新：

对于同一车牌序列对应的连续模式和触发模式，选取连续模式序列中的最后一张与触发模式组成一组，如果一组中各目标成像质量评价参数都在期望值之内，则将此组中的对应的成像参数作为一组训练参数保存下来，其中，连续模式参数包含快门值、增益值、LED开关量、偏光镜开关量，触发模式参数包括快门值和增益值。这里我们为每项参数设置偏移值阈值，较为接近的参数不重复保存为训练参数以减小计算量，当每天采集完全天的训练数据后进行SVR模型的训练更新。SVR模型训练与更新的流程图如图6所示。

3）触发模式的参数预测：

当触发模式多次检测不到车牌的时候，将上帧连续模式的快门值、增益值、LED开关量、偏光镜开关量作为输出参数送入训练好的SVR模型，将预测获得的成像参数作为下帧触发模式的成像部署参数。

图7是本发明一种智能交通领域双模式多目标的成像控制方法的技术方案整体流程图。下面将根据图7对本技术方案进行说明。

一、部署成像参数：

系统初始化时给出初始化部署的成像参数，包括快门、增益、LED状态、偏光镜状态和LUT，以后每一帧的成像调整结果都会反馈到部署成像参数模块对相机进行参数设置；同样的，每次所获得的图像也会保留该帧图像对应的成像参数信息，作为后续成像控制的参考依据。

二、双模式多目标特征计算:

在此步骤中，计算连续模式下的全局、车牌、信号灯和地面标识的成像控制特征值，计算触发模式下的车牌、车窗和人脸的特征值，这些特征值作为后续多目标成像控制策略模块分析决策的依据。具体如图8所示。

三、双模式多目标决策的成像控制策略：

这里我们用不同的质量权重描述目标特征的优先级，用目标特征值和其特征值期望之间的距离描述偏离度，将偏离度归一化为10，以距离期望值为准进行级别划分。以偏离度和权重的乘积参与成像质量评价，形成多目标决策体系，进行最终成像参数决策，控制目标为各项偏离值最小。多目标决策流程如图9所示。

1、连续模式成像质量评价参数

1）车牌亮度评价：

车牌亮度是最直观评价车牌成像的指标。根据经验值，选择车牌均值亮度的期望值为100，在0-100和100-255之间各等分10个等级作为车牌亮度的偏离度，权重为0.4。

2）车牌对比度评价:

对于车牌来说，因车牌颜色的差异性、车牌反光效果的差异性、环境光照对车牌亮度的干扰、错误检测的车牌等多种因素的影响，单纯的车牌亮度评价指数不足以作为车牌成像参考的完备性依据，故同时引入车牌对比度评价。根据经验值，理想状态下车牌均值对比度的期望值为25，而对比度均值低于12将对车牌检测和识别产生影响。因此，将车牌对比度均值从0-25等分10个等级，作为车牌对比度的偏离度，权重为0.15。

特别地，当车牌处于强逆光的状态，表现出的高亮度和低对比度状态，此时强制提高车牌亮度对车牌对比度的提升意义不大，故当车牌均值对比度低于12且车牌亮度高于140的时候，车牌对比度不参与调整，偏离度为0，权重为0。

3）信号灯对比度评价：

由于车牌识别对成像的要求较高，而信号灯仅达到为人眼可见可取证的效果即可，根据经验值，设定较低的信号灯的对比度期望值为18，在0-18之间划分10个等级作为信号灯对比度评价的偏离度，权重为0.25。

4）地面标识亮度评价：

与信号灯相似，地面标识灯仅达到为人眼可见可取证的效果即可。根据经验值，设定地面标识亮度期望值为120，在0-120和120-255之间各等分10个等级作为地面标识亮度评价的偏离度，权重为0.2。

5）偏光镜开关评价：

在连续模式下，将全局均值亮度作为关闭偏光镜的评价指标。设定全局均值亮度的下限为15，当全局均值亮度低于15时，如果偏光镜处于打开状态且快门和增益值已经调整到最大，优先调用偏光镜控制模块，偏离度为10，全局亮度评价指标的权重为1.0；如不满足上述条件，偏离度为0，权重为0。

2、触发模式成像质量评价参数

1）车牌亮度评价：

由于触发模式要特别的关注车窗及人脸的成像，故车牌及区域的亮度期望值要高于连续模式。根据经验值，选择车牌均值亮度的期望值为120。在0-120和120-255之间各等分10个等级作为触发模式车牌亮度评价的偏离度，车牌亮度评价的权重为0.3。

2）车牌对比度评价:

与连续模式相同，将车牌对比度均值从0-25等分10个等级，作为车牌对比度的偏离度，车牌对比度评价的权重为0.15。

3）人脸对亮度评价：

根据经验值，设定人脸亮度的期望值为100，在0-100和100-255之间各等分10个等级作为人脸亮度评价的偏离度，人脸亮度评价的权重为0.15。

4）人脸对比度评价：

当人脸对比度值过低时，人脸虽可被检测，但会对人脸识别带来困难，因此人脸对比度是衡量人脸成像的一个重要评价指标。根据经验值，设定人脸对比度的期望值为20，在0-20的对比度取值范围内等分10个等级作为人脸对比度评价的偏离度，人脸对比度评价的权重为0.4。

5）偏光镜开关评价:

车窗均值模糊度作为打开偏光镜的评价指标，根据经验值，设定阈值为10，当模糊度低于10的时候，如果偏光镜处于关闭状态，优先调用偏光镜控制模块，偏离度为10，车窗模糊度评价指标的权重为1.0；如不满足上述条件，偏离度为0，权重为0；

3、多目标决策体系

四、长时间无车牌成像控制策略：

本步骤在前面已做过详细阐述，为简便起见，这里不再重复。

五、成像参数调整：

在确定了成像控制调整策略之后，多参数协同成像控制模块通过对增益、快门、LED、偏光镜以及LUT的调整，使得连续模式和触发模式的各目标达到最优的成像效果。该步骤进一步包含以下子步骤：

1、亮度成像控制

1）当参与计算的亮度值低于亮度下限时，如果快门值没有调到最大，计算期望亮度与参与计算的亮度差值，查找亮度差值和快门调整比例映射表（如图10所示），按调整比例提高快门值，直至最大快门；如果快门已经调整到极限，按照调整幅度为1增加增益，直至最大增益。

2）当参与计算的亮度值高于亮度上限时，如果增益值没有调到最低，按照调整步长1减小增益，直至增益下限；如果增益已调至下限，计算期望亮度与参与计算的亮度差值，查找亮度差值和快门调整比例映射表，按调整比例降低快门值，直至快门值下限。

2、对比度成像控制

1）当参与计算的对比度值低于对比度下限时，如果快门值没有调到最大，计算期望对比度与参与计算的对比度差值，查找对比度差值和快门调整比例映射表（如图11所示），按调整比例提高快门值，直至最大快门；如果快门已经调整到极限，按照调整幅度为1增加增益，直至最大增益。

2）当参与计算的亮度值高于亮度上限时，如果增益值没有调到最低，按照调整步长1减小增益，直至增益下限；如果增益已调至下限，计算期望对比度与参与计算的对比度差值，查找对比度差值和快门调整比例映射表，按调整比例降低快门值，直至快门值下限。

3）当以参考目标进行对比度成像控制调整的时候，如对比度低于低阈值，亮度高于高阈值，调暗；对比度低于低阈值，亮度亮度低于低阈值，调亮。

4）当以车牌进行对比度成像控制调整的时候，如对比度低于低阈值，亮度高于期望值时，成像不做调整；对比度低于低阈值，亮度低于期望值时，调亮。

3、LED控制补偿

1）逆光光情况的LED补偿及关闭：为了提高车牌成像的对比度效果，可控制打开LED补光，这里采用了LED控制补光开关的高低阈值，其中高阈值为25，低阈值为15，当车牌对比度均值低于LED低阈值且车牌均值亮度高于100的时候，判断为逆光情况，打开LED逆光补偿；当车牌对比度均值高于LED高阈值的时候，判断为逆光恢复状态，关闭LED逆光补偿。

2）车牌过暗的LED补偿及关闭：在连续模式下，对于车牌成像亮度，如果快门值和增益值在调整到最大情况下车牌亮度仍低于亮度下限时，打开LED补光。系统引入了LED关闭的快门阈值，当相机快门值低于LED关闭的快门阈值的时候，关闭LED补光。

4、偏光镜控制

1）偏光镜的打开：在触发模式下，当图像亮度高于全度亮度高阈值的时候，在车窗反光严重的时候，车窗区域纹理较少，此时打开偏光镜以提高驾驶室内目标的辨识情况。

2）偏光镜的关闭：在连续模式下，设定全局均值亮度的下限为15，当全局均值亮度低于15时，如果偏光镜处于打开状态且快门和增益值已经调整到最大，关闭偏光镜以提高相机的进光量。

5、动态LUT控制增强

在逆光模式和顺光模式下，虽然由参考目标的对比度约束可保证例如地面标识、信号灯、车窗、人脸目标处于可视的效果范围内，但为了使得达到更优的成像效果，系统引入不同场景模式下的LUT动态加载增强感兴趣目标成像效果。在逆光模式下，车牌对比度偏低但全局亮度偏高，为达到较好的视觉效果，采用如图12所示分段线性函数对应的LUT；在顺光模式下，车牌对比度高但全局亮度偏低，为达到较好的视觉效果，采用如图13所示分段线性函数对应的LUT。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中（例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等）。同样，存储器可以例如是可编程阵列逻辑（Programmable Array Logic，简称“PAL”）、随机存取存储器（Random Access Memory，简称“RAM”）、可编程只读存储器（Programmable Read Only Memory，简称“PROM”）、只读存储器（Read-Only Memory，简称“ROM”）、电可擦除可编程只读存储器（Electrically Erasable Programmable ROM，简称“EEPROM”）、磁盘、光盘、数字通用光盘（Digital Versatile Disc，简称“DVD”）等等。

本发明第三实施方式涉及一种智能交通领域双模式多目标的成像控制装置。图14是该智能交通领域双模式多目标的成像控制装置的结构示意图。

具体地说，如图14所示，该智能交通领域双模式多目标的成像控制装置对连续模式和触发模式分别控制成像，包括：

成像特征值计算单元，用于分别计算连续模式和触发模式下各目标的成像特征值。

成像质量评价参数计算单元，用于根据成像特征值计算单元计算出的成像特征值，分别计算连续模式和触发模式下各目标的成像质量评价参数。

成像控制策略制定单元，用于根据成像质量评价参数计算单元计算出的成像质量评价参数，分别生成连续模式和触发模式下多目标决策的成像控制策略。

成像参数调整单元，用于根据成像控制策略制定单元生成的成像控制策略，调整成像参数，使得连续模式和触发模式下各目标达到最优的成像效果。

具体地说：

成像控制策略制定单元还包括以下子单元：

构造模糊优先矩阵子单元，用于根据成像质量评价参数计算单元计算出的成像质量评价参数，利用二元对比模糊决策的方法，构造模糊优先矩阵。

隶属度计算子单元，用于根据构造模糊优先矩阵子单元所构造的模糊优先矩阵，以平均法计算各成像质量评价参数的隶属度。

成像控制策略制定子单元，用于根据隶属度计算子单元计算出的各成像质量评价参数的隶属度，以隶属度最大的成像质量评价参数作为当前帧成像控制的目标。

成像参数调整单元还包括以下子单元：

成像亮度控制子单元，用于调整成像的亮度值。

成像对比度控制子单元，用于调整成像的对比度。

LED控制补偿子单元，用于控制打开或关闭LED补光。

偏光镜控制子单元，用于控制偏光镜的打开与关闭。

动态LUT控制增强子单元，用于控制不同场景模式下的LUT动态加载。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第四实施方式涉及一种智能交通领域双模式多目标的成像控制装置。图15是该智能交通领域双模式多目标的成像控制装置的结构示意图。

第四实施方式在第三实施方式的基础上进行了改进，主要改进之处在于：

还包括：

判断单元，用于判断未检测到车牌的时间间隔是否大于预定值。

长时间无车牌成像控制策略制定单元，用于在判断单元判断到未检测到车牌的时间间隔大于预定值时，分别生成连续模式和触发模式下长时间无车牌成像控制策略。

在连续模式下，长时间无车牌成像控制策略制定单元对顺光或逆光场景模式进行判断。对成像参数进行场景预案调整，场景预案调整参数由日常顺光及逆光模式统计获得。

在触发模式下，长时间无车牌成像控制策略制定单元根据相关联的连续模式和触发模式成像参数，建立非线性回归分析模型，以连续模式成像参数及环境参数预测触发模式下成像参数。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

需要说明的是，本发明各装置实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各装置实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述装置实施方式并不存在其它的单元。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (13)

1.一种智能交通领域双模式多目标的成像控制方法，其特征在于，该方法对连续模式和触发模式分别控制成像，包括以下步骤：

分别计算连续模式和触发模式下各目标的成像特征值；

分别计算连续模式和触发模式下各目标的成像质量评价参数；

分别生成连续模式和触发模式下多目标决策的成像控制策略；

调整成像参数，使得连续模式和触发模式下各目标达到最优的成像效果。

2.根据权利要求1所述的智能交通领域双模式多目标的成像控制方法，其特征在于，

在连续模式下，多目标包括：车牌、信号灯、地面标识和全局；

在触发模式下，多目标包括：车牌、车窗和人脸。

3.根据权利要求2所述的智能交通领域双模式多目标的成像控制方法，其特征在于，计算连续模式下各目标的成像特征值的步骤中，包括以下子步骤：

以车牌亮度均值和对比度均值作为车牌成像特征值；

以信号灯对比度均值作为信号灯成像特征值；

以地面标识亮度均值作为地面标识成像特征值；

以全局亮度均值作为全局成像特征值；

计算触发模式下各目标的成像特征值的步骤中，包括以下子步骤：

以车牌亮度均值和对比度均值作为车牌成像特征值；

以车窗模糊度均值作为车窗成像特征值；

以人脸亮度均值和对比度均值作为人脸成像特征值。

4.根据权利要求3所述的智能交通领域双模式多目标的成像控制方法，其特征在于，在所述分别计算连续模式和触发模式下各目标的成像质量评价参数的步骤中，包括以下子步骤：

用不同的质量权重描述各目标的成像特征值的优先级，用各目标的成像特征值和其特征值期望值之间的距离描述偏离度，将偏离度归一化为10，以偏离度和权重的乘积计算各目标的成像质量评价参数。

5.根据权利要求4所述的智能交通领域双模式多目标的成像控制方法，其特征在于，

在连续模式下，车牌亮度均值的期望值为100，将车牌亮度均值在0至100和100至255之间各等分10个等级作为车牌亮度的偏离度，权重为0.4；车牌对比度均值的期望值为25，将车牌对比度均值在0至25之间等分10个等级作为车牌对比度的偏离度，权重为0.15，当车牌对比度均值低于12且车牌亮度均值高于140时，车牌对比度的偏离度为0，权重为0；信号灯对比度均值的期望值为18，在0至18之间等分10个等级作为信号灯对比度均值的偏离度，权重为0.25；地面标识亮度均值的期望值为120，将地面标识亮度均值在0至120和120至255之间各等分10个等级作为地面标识亮度的偏离度，权重为0.2；当全局亮度均值低于15时，如果偏光镜处于打开状态且快门和增益值已经调整到最大，优先调整偏光镜状态，全局亮度均值的偏离度为10，权重为1.0，其它条件下，全局亮度均值的偏离度为0，权重为0；

在触发模式下，车牌亮度均值的期望值为120，将车牌亮度均值在0至120和120至255之间各等分10个等级作为车牌亮度的偏离度，权重为0.3；车牌对比度均值的期望值为25，将车牌对比度均值在0至25之间等分10个等级作为车牌对比度的偏离度，权重为0.15；人脸亮度均值的期望值为100，将人脸亮度均值在0至100和100至255之间各等分10个等级作为人脸亮度的偏离度，权重为0.15；人脸对比度均值的期望值为20，将人脸对比度均值在0至20之间等分10个等级作为人脸对比度的偏离度，权重为0.4；当车窗模糊度均值低于10的时候，如果偏光镜处于关闭状态，优先调整偏光镜状态，车窗模糊度均值的偏离度为10，权重为1.0，其它条件下，车窗模糊度均值的偏离度为0，权重为0。

6.根据权利要求1至5中任一项所述的智能交通领域双模式多目标的成像控制方法，其特征在于，在所述分别生成连续模式和触发模式下多目标决策的成像控制策略的步骤中，包括以下子步骤：

利用各目标的成像质量评价参数，利用二元对比模糊决策的方法，构造模糊优先矩阵；

以平均法计算各成像质量评价参数的隶属度，以隶属度最大的成像质量评价参数作为当前帧成像控制的目标。

7.根据权利要求6所述的智能交通领域双模式多目标的成像控制方法，其特征在于，在所述调整成像参数的步骤中，对增益、快门、LED、偏光镜以及LUT进行协同调整。

8.根据权利要求7所述的智能交通领域双模式多目标的成像控制方法，其特征在于，在所述分别计算连续模式和触发模式下各目标的成像质量评价参数的步骤之后，还包括以下步骤：

判断未检测到车牌的时间间隔是否大于预定值；

若是，则分别生成连续模式和触发模式下长时间无车牌成像控制策略；

在连续模式下，生成长时间无车牌成像控制策略包括以下步骤：对顺光或逆光场景模式进行判断；对成像参数进行场景预案调整，场景预案调整参数由日常顺光及逆光模式统计获得；

在触发模式下，生成长时间无车牌成像控制策略包括以下步骤：根据相关联的连续模式和触发模式成像参数，建立非线性回归分析模型，以连续模式成像参数及环境参数预测触发模式下成像参数。

9.根据权利要求8所述的智能交通领域双模式多目标的成像控制方法，其特征在于，所述非线性回归分析模型为SVR模型。

10.一种智能交通领域双模式多目标的成像控制装置，其特征在于，该装置对连续模式和触发模式分别控制成像，包括：

成像特征值计算单元，用于分别计算连续模式和触发模式下各目标的成像特征值；

成像质量评价参数计算单元，用于根据所述成像特征值计算单元计算出的成像特征值，分别计算连续模式和触发模式下各目标的成像质量评价参数；

成像控制策略制定单元，用于根据所述成像质量评价参数计算单元计算出的成像质量评价参数，分别生成连续模式和触发模式下多目标决策的成像控制策略；

成像参数调整单元，用于根据所述成像控制策略制定单元生成的成像控制策略，调整成像参数，使得连续模式和触发模式下各目标达到最优的成像效果。

11.根据权利要求10所述的智能交通领域双模式多目标的成像控制装置，其特征在于，所述成像控制策略制定单元还包括以下子单元：

构造模糊优先矩阵子单元，用于根据所述成像质量评价参数计算单元计算出的成像质量评价参数，利用二元对比模糊决策的方法，构造模糊优先矩阵；

隶属度计算子单元，用于根据所述构造模糊优先矩阵子单元所构造的模糊优先矩阵，以平均法计算各成像质量评价参数的隶属度；

成像控制策略制定子单元，用于根据所述隶属度计算子单元计算出的各成像质量评价参数的隶属度，以隶属度最大的成像质量评价参数作为当前帧成像控制的目标。

12.根据权利要求10所述的智能交通领域双模式多目标的成像控制装置，其特征在于，还包括：

判断单元，用于判断未检测到车牌的时间间隔是否大于预定值；

长时间无车牌成像控制策略制定单元，用于在所述判断单元判断未检测到车牌的时间间隔大于预定值时，分别生成连续模式和触发模式下长时间无车牌成像控制策略；

在连续模式下，长时间无车牌成像控制策略制定单元对顺光或逆光场景模式进行判断；对成像参数进行场景预案调整，场景预案调整参数由日常顺光及逆光模式统计获得；

在触发模式下，长时间无车牌成像控制策略制定单元根据相关联的连续模式和触发模式成像参数，建立非线性回归分析模型，以连续模式成像参数及环境参数预测触发模式下成像参数。

13.根据权利要求10所述的智能交通领域双模式多目标的成像控制装置，其特征在于，所述成像参数调整单元还包括以下子单元：

成像亮度控制子单元，用于调整成像的亮度值；

成像对比度控制子单元，用于调整成像的对比度；

LED控制补偿子单元，用于控制打开或关闭LED补光；

偏光镜控制子单元，用于控制偏光镜的打开与关闭；

动态LUT控制增强子单元，用于控制不同场景模式下的LUT动态加载。