CN104134352B - 基于长短曝光结合的视频车辆特征检测系统及其检测方法 - Google Patents

Abstract

本发明公开了一种基于长短曝光结合的视频车辆特征检测系统及其检测方法，基于长短曝光结合的视频车辆特征检测系统由补光模块、图像采集模块、智能分析模块、编码模块组成，补光模块完成补光功能，图像采集模块完成图像采集；智能分析模块和编码模块分别完成视频分析功能和视频编解码功能。本发明完整检测各种车辆特征，形成全天候的治安监控智能车辆检测能力。

Description

基于长短曝光结合的视频车辆特征检测系统及其检测方法

技术领域

本发明涉及一种车辆特征检测系统及其检测方法，特别是涉及一种基于长短曝光结合的视频车辆特征检测系统及其检测方法。

背景技术

现有多曝光、低照度技术多采用图像融合方式，如专利名称为“图像拾取系统及图像处理方法”(专利号为CN200810186544.6)、“多曝光图像增强方法”(专利号为CN200710038605.X)等专利给出了利用图像融合技术将长短曝光或多次曝光图像进行融合，形成暗部和亮部均可见的图像，提高摄像机拍摄图像的动态范围，而专利名称为“产生去除了重影模糊的高动态范围图像的设备和方法”(专利号为CN201210264639.1)、“一种多曝光运动图像的校正方法及装置”(专利号为CN201210259363.8)等专利进一步提出了对多曝光中运动模糊的处理方法，但上述基于图像运用的图像融合以及图像处理技术，容易造成图像细节丢失，低照度环境下车牌细节达不到自动检测识别要求。

目前治安卡口多采用曝闪灯或强光频闪灯补光进行短曝光拍摄，可获取车辆特征图像信息，并能自动检测识别，但光污染严重，不能在城市道路内使用。专利名称为“一种智能交通综合监控系统”(专利号为CN200910093239.7)、“一种基于天网工程中公共安全视频图像的车辆特征识别装置”(专利号为CN201110387284.0)等专利给出了车辆检测、车牌定位识别、车辆特征识别通用方案，但如何处理夜间识别问题，未提及；而专利名称为“一种多场景全功能抓拍监控一体机”(专利号为CN201110029640.1)等专利虽给出了夜间补光方案但如何解决补光灯强光污染没有给出有效方法。

现有治安监控中存在着夜间检测难的问题。现有治安卡口夜间车辆检测技术中，采用曝闪灯或强光频闪灯补光进行短曝光拍摄，可获取车辆特征图像信息，并能自动检测识别，但光污染严重，影响司乘人员驾驶安全，同时影响周围居民夜间休息，在城市道路内使用遭到越来越多的投诉。

而普通道路监控系统夜间视频要求为较高亮度的画面，一般采用长曝光快门，但长曝光容易照成运动模糊，拍摄车牌模糊；而采用短曝光快门，拍摄场景整体较暗，周围环境及车辆颜色、车型等特征拍摄不清晰，因此存在长短曝光矛盾问题，不能有效采集完整车辆、场景信息，更不能进行智能车辆特征检测，虽然采用低照度、宽动态技术后图像动态范围有所提升，但有细节损失，拍摄车牌依然达不到自动检测识别要求，夜间车辆检测基本失效。

发明内容

本发明所要解决的技术问题是提供一种基于长短曝光结合的视频车辆特征检测系统及其检测方法，其采用弱光或红外补光解决高亮补光光污染问题，利用长短曝光结合解决单一曝光拍摄运动车牌不清晰和拍摄场景暗的矛盾，进一步采用车牌定位、运动跟踪预测技术将长短曝光帧中的车辆进行匹配关联，完整检测各种车辆特征，形成全天候的治安监控智能车辆检测能力。

本发明是通过下述技术方案来解决上述技术问题的：一种基于长短曝光结合的视频车辆特征检测系统，其特征在于，其由补光模块、图像采集模块、智能分析模块、编码模块组成，补光模块完成补光功能，图像采集模块完成图像采集；智能分析模块和编码模块分别完成视频分析功能和视频编解码功能。

优选地，所述图像采集模块采用低照度高帧率传感器。

优选地，所述图像采集模块采用CMOS传感器或CCD传感器。

优选地，所述补光模块在治安卡口场景采用常亮弱光LED补光灯，在治安监控场景采用红外闪光灯。

本发明还提供一种基于长短曝光结合的视频车辆特征检测系统的检测方法，其特征在于，所述检测方法包括治安卡口场景的基于长短曝光结合的视频车辆特征检测系统的检测方法和治安监控场景的基于长短曝光结合的视频车辆特征检测系统的检测方法。

优选地，所述治安卡口场景的基于长短曝光结合的视频车辆特征检测系统的检测方法包括以下步骤：

步骤一，根据图像采集模块采集的图像，智能分析模块根据当前图像亮度判断是否开启长短曝光模式，开启长短曝光模式的同时开启常亮弱光LED补光灯；

步骤二，智能分析模块，利用短曝光帧，采用基于背景差与帧差结合的运动目标检测方法，检测到车辆运动区域；

步骤三，智能分析模块利用短曝光帧，在车辆运动区域内采用基于字符边缘特征的方法进行车牌定位，并辅以车灯检测提高检测精度，进一步完成进行车牌字符识别、车牌颜色识别；

步骤四，智能分析模块将进行车牌定位识别的短曝光帧保存，并传给编码模块编码形成短曝光帧抓拍图片；

步骤五，智能分析模块利用短曝光帧，在前几帧车辆跟踪以及长短帧间时域关系，预测下一帧长曝光帧中车辆位置；

步骤六，智能分析模块利用长曝光帧，采用车型识别技术、车身颜色识别技术识别出被检测车辆的车型、车身颜色；

步骤七，智能分析模块将进行车型、车身颜色识别的长曝光帧保存，并传给编码模块编码形成长曝光帧抓拍图片；

步骤八，智能分析模块将车牌字符、车牌颜色、车型、车身颜色等信息整合，与长短曝光帧抓拍图片关联，将车辆特征信息与长短曝光帧抓拍图片输出给中心或存储本地；

步骤九，编码模块将长曝光视频编码，输出监控视频。

优选地，所述治安监控场景的基于长短曝光结合的视频车辆特征检测系统的检测方法包括以下步骤：

步骤十一，根据图像采集模块采集的图像，智能分析模块根据当前图像亮度判断是否开启长短曝光模式；

步骤十二，智能分析模块利用长曝光帧视频，采用基于背景差与帧差结合的运动目标检测方法，检测到车辆运动区域；

步骤十三，智能分析模块检测到运动车辆同时触发短曝光抓拍模式，给红外闪光灯传输指令，使其启动闪光持续时间4ms以上；同时将图像采集模式设置为夜间模式，给图像传感器发送抓拍指令，抓拍时间控制在2ms以内，完成短曝光帧抓拍，并传给编码模块编码形成短曝光帧抓拍图片；

步骤十四，智能分析模块对短曝光抓拍图片进行分析，采用基于字符边缘特征的方法进行车牌定位，进一步完成进行车牌字符识别；

步骤十五，智能分析模块对短曝光抓拍图片进行分析，利用车标定位识别技术识别出被检测车辆车标；

步骤十六，智能分析模块将曝光模式切换为长曝光模式，控制传感器输出，使其达到50帧的输出能力，快门值设为20-40ms，帧率25帧，并将长曝光帧输入给智能分析模块；

步骤十七，智能分析模块在长曝光帧中，利用前几帧车辆跟踪以及长短帧间时域关系，预测当前长曝光帧中车辆位置，并利用短曝光帧中车牌的位置关系在长曝光帧中定位到车牌区域；

步骤十八，智能分析模块在长曝光帧中，利用车型识别技术、车身颜色识别、车牌颜色识别技术识别出被检测车辆的车型、车身颜色、车牌颜色；

步骤十九，智能分析模块将进行车型、车身颜色识别的长曝光帧保存，并传给编码模块编码形成长曝光帧抓拍图片；

步骤二十，智能分析模块将车牌字符、车牌颜色、车型、车身颜色、车标等信息整合，与长短曝光帧抓拍图片关联，输出给中心或存储本地；

步骤二十一，编码模块将长曝光视频编码，输出监控视频。

本发明的积极进步效果在于：本发明采用长短曝光结合的方式，分别在长曝光下获取清晰车型、车身颜色等信息，在短曝光下获取清晰车牌信息，再利用运动跟踪预测技术奖两种曝光帧下获取信息进行匹配，最终形成车辆完整的车牌号码、车牌颜色、车型、车身颜色、车标等重要的车辆特征。并采用弱光可见光常亮补光与红外闪光补光两种方案，分别适合于高检测精度要求的治安卡口系统和侧重治安监控的道路监控系统，解决现有技术只能看清场景不能获取车辆细节信息与高亮补光光污染验证的弊端，在减少对司乘人员和居民影响的同时，提高治安监控系统全天候智能化、清晰化的能力，提升民警办案效率。本发明采用弱光或红外补光解决高亮补光光污染问题，利用长短曝光结合解决单一曝光拍摄运动车牌不清晰和拍摄场景暗的矛盾，进一步采用车牌定位、运动跟踪预测技术将长短曝光帧中的车辆进行匹配关联，结合车牌识别、车型识别、车身颜色识别、车标识别等智能视频分析方法，完整检测各种车辆特征，形成全天候的治安监控智能车辆检测能力。

附图说明

图1为本发明基于长短曝光结合的视频车辆特征检测系统的原理框图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

如图1所示，本发明基于长短曝光结合的视频车辆特征检测系统由补光模块、图像采集模块、智能分析模块、编码模块组成，补光模块完成补光功能，图像采集模块完成图像采集，本系统需低照度高帧率传感器，可采用CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)传感器，帧率输出达到50帧以上；智能分析模块和编码模块分别完成视频分析功能和视频编解码功能。

根据应用的场景和要求的不同，本发明具有如下两种场景：

一，治安卡口场景

在治安卡口应用场景，要求具有较高的车辆检测精度，同时具有视频监控视频功能。补光模块的补光灯只需2-4颗三瓦LED型弱光常亮补光灯，对司乘人员和周围居民影响较小；图像采集模块完成图像采集，本系统需低照度高帧率传感器，可采用CMOS传感器，帧率输出达到50帧以上；智能分析模块和编码模块分别完成视频分析功能和视频编解码功能。

在短曝光视频帧中，采用日模式拍摄彩色画面，曝光值在4ms以内，拍摄车灯无光晕，车牌无运动模糊，并且弱光补光与车牌反光特性结合，车牌字符、车牌颜色清晰。在长曝光视频帧中，采用日模式拍摄彩色画面，曝光值在40ms，拍摄画面亮度高，车身颜色、车型等信息可清晰辨别。

在短曝光视频帧中，利用车灯检测与车牌定位技术，精确检测定位车辆，并识别车牌号码、车牌颜色；利用运动预测与跟踪技术，根据短曝光帧中车辆位置预测长曝光帧中对应车辆，在长曝光视频中利用车型检测技术和车身颜色检测技术检测出车型和车身颜色，形成车牌号码、车牌颜色、车身颜色、车型等完整车辆特征信息，同时输出较高亮度的监控视频，具体实现步骤为：

(1.1)、根据传感器采集的图像，智能分析模块根据当前图像亮度判断是否开启长短曝光模式，开启长短曝光模式时，给补光模块发送开启指令，开启常亮弱光LED补光灯；控制图像采集模块的参数，使其达到50帧的输出能力，并交替输出长曝光帧和短曝光帧，短曝光帧快门设为1-4ms，帧率在15-25帧，长曝光帧快门值设为20-40ms，帧率25帧，并依次将长短帧输入给智能分析模块。

(1.2)、智能分析模块利用短曝光帧，采用基于背景差与帧差结合的运动目标检测方法，检测到车辆运动区域；

(1.3)智能分析模块利用短曝光帧，在车辆运动区域内采用基于字符边缘特征的方法进行车牌定位，并辅以车灯检测提高检测精度，进一步完成进行车牌字符识别、车牌颜色识别；

(1.4)、智能分析模块将进行车牌定位识别的短曝光帧保存，并传给编码模块编码形成短曝光帧抓拍图片；

(1.5)、智能分析模块利用短曝光帧，采用基于Kalman滤波的运动预测方法，在前几帧车辆跟踪以及长短帧间时域关系，预测下一帧长曝光帧中车辆位置；

(1.6)、智能分析模块利用长曝光帧，采用车型识别技术、车身颜色识别技术识别出被检测车辆的车型、车身颜色；

(1.7)智能分析模块将进行车型、车身颜色识别的长曝光帧保存，并传给编码模块编码形成长曝光帧抓拍图片；

(1.8)智能分析模块将车牌字符、车牌颜色、车型、车身颜色等信息整合，与长短曝光帧抓拍图片关联，将车辆特征信息与长短曝光帧抓拍图片输出给中心或存储本地；

(1.9)编码模块将长曝光视频编码，输出监控视频。

上述实现步骤中运动目标检测、运动预测、车牌定位等方法，可不局限与本发明所述方法。

二，治安监控场景

在治安监控场景中，要求具有清晰的监控场景，可分辨经过车辆特征细节。系统由补光模块、图像采集模块、智能分析模块、编码模块组成，并可包括变焦控制、云台控制装置。此时的补光模块在治安卡口场景采用常亮弱光LED补光灯，在治安监控场景采用红外闪光灯，红外闪光灯完成补光功能，本系统红外闪光灯光线人眼不可见，对司乘人员和周围居民完全无影响，无光污染；图像采集模块完成图像采集，本系统需低照度高帧率传感器，可采用CMOS传感器，帧率输出达到50帧以上；智能分析模块和编码模块分别完成视频分析功能和视频编解码功能。

在长曝光视频帧中，采用日模式拍摄彩色画面，曝光值在40ms，拍摄画面亮度高，车身颜色、车型、车牌颜色等信息可清晰辨别。在短曝光视频帧中，触发闪光灯补光，采用夜间模式抓拍黑白画面，曝光值控制在2ms以内，拍摄车灯无光晕，车牌无运动模糊，车牌字符、车标清晰。

在长曝光帧视频，利用运动检测技术检测经过车辆，并利用车型检测技术、车身颜色检测技术检测出车型、车身颜色，同时触发抓拍，采用短曝光与红外闪光灯光结合，抓拍到清晰车辆图片，并利用车牌定位与识别技术，检测车牌与车牌号码，并利用车标定位识别技术识别出车标；利用运动预测技术将长短曝光帧中车辆匹配，获取到车牌颜色，最终获取车牌号码、车牌颜色、车身颜色、车型、车标等完整车辆特征信息，具体实现步骤为：

(2.1)、根据传感器采集的图像，智能分析模块根据当前图像亮度判断是否开启长短曝光模式，开启长短曝光模式时，控制传感器输出，使其达到50帧的输出能力，默认输出为长曝光帧，快门值设为20-40ms，帧率25帧，并将长曝光帧输入给智能分析模块；

(2.2)、智能分析模块利用长曝光帧视频，采用基于背景差与帧差结合的运动目标检测方法，检测到车辆运动区域；

(2.3)智能分析模块检测到运动车辆同时触发短曝光抓拍模式，给红外闪光灯传输指令，使其启动闪光持续时间4ms以上；同时将图像采集模式设置为夜间模式，给图像传感器发送抓拍指令，抓拍时间控制在2ms以内，完成短曝光帧抓拍，并传给编码模块编码形成短曝光帧抓拍图片；

(2.4)智能分析模块对短曝光抓拍图片进行分析，采用基于字符边缘特征的方法进行车牌定位，进一步完成进行车牌字符识别；

(2.5)智能分析模块对短曝光抓拍图片进行分析，利用车标定位识别技术识别出被检测车辆车标；

(2.6)智能分析模块将曝光模式切换为长曝光模式，控制传感器输出，使其达到50帧的输出能力，快门值设为20-40ms，帧率25帧，并将长曝光帧输入给智能分析模块；

(2.7)、智能分析模块在长曝光帧中，利用前几帧车辆跟踪以及长短帧间时域关系，预测当前长曝光帧中车辆位置，并利用短曝光帧中车牌的位置关系在长曝光帧中定位到车牌区域；

(2.8)、智能分析模块在长曝光帧中，利用车型识别技术、车身颜色识别、车牌颜色识别技术识别出被检测车辆的车型、车身颜色、车牌颜色；

(2.9)智能分析模块将进行车型、车身颜色识别的长曝光帧保存，并传给编码模块编码形成长曝光帧抓拍图片；

(2.10)智能分析模块将车牌字符、车牌颜色、车型、车身颜色、车标等信息整合，与长短曝光帧抓拍图片关联，输出给中心或存储本地；

(2.11)编码模块将长曝光视频编码，输出监控视频。

上述实现步骤中运动检测、运动预测、车牌定位等方法，可不局限与本发明所述方法。

本发明采用长短曝光结合，利用短曝光识别车牌信息，长曝光识别车型、车身颜色信息、场景信息，采用车辆运动预测与跟踪技术，将两种信息结合匹配起来，在低照度环境下智能检测出车牌、车型、车身颜色等完整、清晰的车辆特征，同时提供清晰的监控视频，提高治安监控全天候智能化能力。本发明采用常亮弱光补光灯与低照度高帧率传感器结合，利用车牌反光特性，短曝光与弱光补光结合，可拍摄清晰车牌和车灯，利用车灯检测与车牌定位技术，精确检测定位车辆，并识别车牌号码、车牌颜色；利用运动跟踪技术，根据短曝光帧中车辆预测跟踪到长曝光帧中对应车辆，再利用车型检测技术和车身颜色检测技术检测出车型和车身颜色，形成车牌号码、车牌颜色、车身颜色、车型等完整车辆特征信息。弱光补光对司乘人员和周围居民影响小，在城市内道路应用，优于传统卡口曝闪灯和频闪灯检测方法。本发明采用红外闪光灯与低照度高帧率传感器结合，利用运动检测技术在长曝光帧中检测经过车辆，并利用车型检测技术和车身颜色检测技术检测出车型和车身颜色，同时触发抓拍，采用短曝光与红外闪光灯光结合，抓拍到清晰车辆图片，并利用车牌定位与识别技术，检测车牌与车牌号码，利用车标定位识别技术识别车标；利用运动预测技术将长短曝光帧中车辆匹配，获取到车牌颜色，最终获取车牌号码、车牌颜色、车身颜色、车型、车标等完整车辆特征信息。红外灯补光对外界没有影响，完全无光污染，结合长短曝光方法，解决了道路监控摄像机夜间车辆检测失效的难题。

本发明采用基于长短曝光结合的方法进行车辆检测，形成具有全天候智能分析能力的车辆检测抓拍系统，短曝光值在4ms以下，拍摄车牌清晰无运动模糊，车灯清晰易检测，可有效检测车辆、车牌；长曝光在20ms以上，可清晰拍摄道路场景、车辆颜色、车型等信息。利用运动跟踪预测技术，将长短曝光帧中的车辆信息结合匹配，实现低照度环境下智能检测出车牌、车型、车身颜色等完整、清晰的车辆特征，同时提供清晰的监控视频，提高治安监控全天候智能化能力。

图像采集模块采用的图像采集传感器要求具有50帧以上输出能力，以保证输出的长短曝光视频均可达到视频监控25帧以上监控要求。

本领域的技术人员可以对本发明进行各种改型和改变。因此，本发明覆盖了落入所附的权利要求书及其等同物的范围内的各种改型和改变。

Claims (2)

1.一种基于长短曝光结合的视频车辆特征检测系统的检测方法，其特征在于，所述检测方法包括治安卡口场景的基于长短曝光结合的视频车辆特征检测系统的检测方法和治安监控场景的基于长短曝光结合的视频车辆特征检测系统的检测方法；

所述治安卡口场景的基于长短曝光结合的视频车辆特征检测系统的检测方法包括以下步骤：

步骤一，根据图像采集模块采集的图像，智能分析模块根据当前图像亮度判断是否开启长短曝光模式，开启长短曝光模式的同时开启常亮弱光LED补光灯；

步骤二，智能分析模块，利用短曝光帧，采用基于背景差与帧差结合的运动目标检测方法，检测到车辆运动区域；

步骤三，智能分析模块利用短曝光帧，在车辆运动区域内采用基于字符边缘特征的方法进行车牌定位，并辅以车灯检测提高检测精度，进一步完成进行车牌字符识别、车牌颜色识别；

步骤四，智能分析模块将进行车牌定位识别的短曝光帧保存，并传给编码模块编码形成短曝光帧抓拍图片；

步骤五，智能分析模块利用短曝光帧，在前几帧车辆跟踪以及长短帧间时域关系，预测下一帧长曝光帧中车辆位置；

步骤六，智能分析模块利用长曝光帧，采用车型识别技术、车身颜色识别技术识别出被检测车辆的车型、车身颜色；

步骤七，智能分析模块将进行车型、车身颜色识别的长曝光帧保存，并传给编码模块编码形成长曝光帧抓拍图片；

步骤八，智能分析模块将车牌字符、车牌颜色、车型、车身颜色信息整合，与长短曝光帧抓拍图片关联，将车辆特征信息与长短曝光帧抓拍图片输出给中心或存储本地；

步骤九，编码模块将长曝光视频编码，输出监控视频。

2.如权利要求1所述的基于长短曝光结合的视频车辆特征检测系统的检测方法，其特征在于，所述治安监控场景的基于长短曝光结合的视频车辆特征检测系统的检测方法包括以下步骤：

步骤十，根据图像采集模块采集的图像，智能分析模块根据当前图像亮度判断是否开启长短曝光模式；

步骤十一，智能分析模块利用长曝光帧视频，采用基于背景差与帧差结合的运动目标检测方法，检测到车辆运动区域；

步骤十二，智能分析模块检测到运动车辆同时触发短曝光抓拍模式，给红外闪光灯传输指令，使其启动闪光持续时间4ms以上；同时将图像采集模式设置为夜间模式，给图像传感器发送抓拍指令，抓拍时间控制在2ms以内，完成短曝光帧抓拍，并传给编码模块编码形成短曝光帧抓拍图片；

步骤十三，智能分析模块对短曝光抓拍图片进行分析，采用基于字符边缘特征的方法进行车牌定位，进一步完成进行车牌字符识别；

步骤十四，智能分析模块对短曝光抓拍图片进行分析，利用车标定位识别技术识别出被检测车辆车标；

步骤十五，智能分析模块将曝光模式切换为长曝光模式，控制传感器输出，使其达到50帧的输出能力，快门值设为20-40ms，帧率25帧，并将长曝光帧输入给智能分析模块；

步骤十六，智能分析模块在长曝光帧中，利用前几帧车辆跟踪以及长短帧间时域关系，预测当前长曝光帧中车辆位置，并利用短曝光帧中车牌的位置关系在长曝光帧中定位到车牌区域；

步骤十七，智能分析模块在长曝光帧中，利用车型识别技术、车身颜色识别、车牌颜色识别技术识别出被检测车辆的车型、车身颜色、车牌颜色；

步骤十八，智能分析模块将进行车型、车身颜色识别的长曝光帧保存，并传给编码模块编码形成长曝光帧抓拍图片；

步骤十九，智能分析模块将车牌字符、车牌颜色、车型、车身颜色、车标信息整合，与长短曝光帧抓拍图片关联，输出给中心或存储本地；

步骤二十，编码模块将长曝光视频编码，输出监控视频。