CN102509090A - 一种基于天网工程中公共安全视频图像的车辆特征识别装置 - Google Patents

Abstract

一种基于天网工程中公共安全视频图像的车辆特征识别装置，图像采集模块分别连接车牌识别模块和车型识别模块，提供运动车辆视频帧图；车牌识别模块和车型识别模块连接到车辆特征数据库服务器，存储从运动车辆视频帧图中识别出的车牌信息和车型信息的特征参数。本发明的技术效果是：通过“天网工程”在交通要道、治安卡口、公共聚集场所、宾馆等治安复杂场所进行视频采集，对获取的公共安全视频图像进行视频流逐帧提取，车牌定位、车牌切分、字符识别和运动车辆轮廓提取、车辆边缘密度计算、基于决策树的车型识别，从而识别车牌信息和车型信息的特征参数，对城市治安防控和城市综合管理手段的进一步拓展和延伸有着积极意义。

Description

一种基于天网工程中公共安全视频图像的车辆特征识别装置

技术领域

 本发明涉及一种车辆特征识别装置，尤其涉及一种基于天网工程中公共安全视频图像的车辆特征识别装置。

背景技术

“天网工程”是指为满足城市治安防控和城市管理需要，利用图像采集、传输、控制、显示等设备和控制软件组成，对固定区域进行实时监控和信息记录的视频监控系统。天网工程通过网络把一定区域内所有视频监控点图像传播到监控中心，对刑事案件、治安案件等图像信息分类，为预防打击犯罪和突发性治安灾害事故提供可靠的影像资料。

在现有的车辆特征识别电子装置中，有的需要架设红外线感应光帘感知车辆到达信息，有的需要在外部预埋地感线圈感知车辆到达信息，有的需要固定超声传感器来感知车辆到达信息，还有的需要配备射频识别技术的电子车牌，等等这些装置或者需要地面施工预埋设备，或者通过外部触发来获取触发信号、导致根据触发信号抓取到的目标帧识别效果差。这些装置的功能简单且单一，通常用于固定地点，不方便更换地点使用。 例如：2003年中国专利局公告的由王汝笠等人申报，专利号为：03115334.8《红外电子车牌及其识别装置》的发明专利，提供了一种由红外电子车牌和信息识别处理装置组成的系统，信息识别处理装置与红外电子车牌交互读写红外数据，获取汽车身份等信息；2009年中国专利局公告的由张开春等人申报，专利号为：200910077746.1《城市卡口车牌自动识别系统》的发明专利，通过预先埋设的线圈组产生脉冲信号传送至车辆检测器，由此产生触发信号控制车牌识别模块抓取视频图像并完成车牌的识别；2010年中国专利局公告的由吕英等人申报，专利号为：201020147605.0《一种采用射频标识技术的电子车牌》的发明专利，将射频识别电子标签模块夹持设置于该车牌基体与该车牌保护层之间，通过射频识别技术的应用进行车辆的自动识别；2011年中国专利局公告的由毛振刚申报，专利号为：201120057254.9《车牌自动识别装置》的发明专利，通过预先埋设的车辆检测器产生触发信号传递到总成处理器，控制图像采集模块拍摄图像，进行图像识别操作获取汽车车牌信息。

此外，无需外部触发的、基于纯视频检测的车牌自动定位与识别装置，不仅方便使用，同时还提供了现场的视频记录。例如：2008年中国专利局公告的由北京信路威科技发展有限公司申报，专利号为：200820079410.X《一种车牌识别装置》的发明专利，提供了一种集成在高速数字信号处理芯片上的车牌识别装置，能够对视频流中包含车牌信息的多帧图像进行逐帧识别处理，实现高速实时的车牌识别。然而，上述等装置在实际应用中依然有一定的局限性，并且适应性、稳定性和可靠性尚有待于进一步提高和完善，同时很多问题仍然未得到有效地解决，这些问题包括：(一)车辆在尺度、位置、方向上的变化。由于车辆行驶速度差异、光照条件变化、车辆之间的遮挡、车辆在监控区域的距离远近等情况，造成车辆在形状、外观、大小、颜色等方而都会产生变化。(二)车辆在图像中的姿态校正问题。由于受摄像机拍摄角度、拍摄高度影响，车辆经过虚拟线圈时可能是倾斜的，对这种情况下的车辆进行速度测量、车型分类时，需要进行车辆图像的姿态校正。

发明内容

本发明的目的就是针对现有技术存在的上述缺陷，提供一种基于天网工程中公共安全视频图像的车辆特征识别装置，完成运动车辆的车牌识别和车型识别。该装置结构简单、使用方便，具有以下优势：(一)主要基于视频图像信息进行处理，不需要给车辆上安装车载单元等信号接收装置，设备安装和后期维护的成本较低，且安装简单，使用方便，无需地面施工，不会影响正常道路交通；(二)采用视频检测技术后，可以在视频图像的车道区域设置虚拟检测区，不用进行路面施工而影响交通，且改变虚拟检测区非常容易；(三) 视频图像信息非常直观，可以方便管理人员对现场进行较直观的判断，并能应用图像处理技术对图像做进一步的分析和信息挖掘。

该装置通过“天网工程”在交通要道、治安卡口、公共聚集场所、宾馆等治安复杂场所进行视频采集，对获取的公共安全视频图像进行视频流逐帧提取、车牌定位、车牌切分、字符识别和运动车辆轮廓提取、车辆边缘密度计算、基于决策树的车型识别，从而识别车牌信息和车型信息的特征参数，并存储在车辆特征数据库服务器。

本发明是这样来实现的，它包括图像采集模块、车牌识别模块和车型识别模块和车辆特征数据库服务器，其特征是图像采集模块分别连接车牌识别模块和车型识别模块，提供运动车辆视频帧图；车牌识别模块和车型识别模块连接到车辆特征数据库服务器，存储从运动车辆视频帧图中识别出的车牌信息和车型信息的特征参数。

所述图像采集模块包含摄像机、视频数字光端机、视频传输专用网、视频存储服务器和视频流逐帧提取子模块。其中，摄像机通过视频信号线与视频数字光端机连接，将采集的公共安全视频输入至视频数字光端机；视频数字光端机通过视频传输专用网，采用全数字视频无压缩传输技术将公共安全视频进行数字化后，传输至视频存储服务器；视频存储服务器将从视频传输专用网接收到的全数字公共安全视频流提供给视频流逐帧提取子模块，并采用MPEG4标准对全数字公共安全视频流进行编码后压缩存储；视频流逐帧提取子模块连接视频存储服务器，将视频存储服务器提供的全数字公共安全视频流提取运动车辆视频帧图。

所述车牌识别模块包含车牌定位子模块、字符分割子模块和字符识别子模块，车牌定位子模块连接字符分割子模块，字符分割子模块连接字符识别子模块。其中，车牌定位子模块将运动车辆视频帧图作为输入图像，确定车牌区域的位置；字符分割子模块根据车牌定位子模块提供的车牌图像，进行字符分割得到各车牌字符的图像；字符识别子模块根据字符分割子模块提供的各车牌字符图像，使用径向基神经网络进行字符识别，根据识别出的字符得到最终的车牌识别结果。

所述车型识别模块包含运动车辆轮廓提取子模块、运动车辆特征提取子模块和决策树车型识别子模块，运动车辆轮廓提取子模块连接运动车辆特征提取子模块，运动车辆特征提取子模块连接决策树车型识别子模块。其中，运动车辆轮廓提取子模块将运动车辆视频帧图作为输入图像，提取运动车辆的轮廓；运动车辆特征提取子模块根据运动车辆轮廓提取子模块提供的运动车辆轮廓图像，采用车辆边缘密度分布特征来提取相应车型特征；决策树车型识别子模块根据运动车辆特征提取子模块提供的车辆边缘密度比值，采用三级决策树来进行车型识别。

本发明的技术效果是：通过“天网工程”在交通要道、治安卡口、公共聚集场所、宾馆等治安复杂场所进行视频采集，对获取的公共安全视频图像进行视频流逐帧提取，车牌定位、车牌切分、字符识别和运动车辆轮廓提取、车辆边缘密度计算、基于决策树的车型识别，从而识别车牌信息和车型信息的特征参数，对城市治安防控和城市综合管理手段的进一步拓展和延伸有着积极意义。

附图说明

图1为本发明的结构示意图。

图2为本发明的车牌定位子模块具体工作流程图。

图3为本发明的字符分割子模块具体工作流程图。

图4为本发明的字符识别子模块具体工作流程图。

图5为本发明的运动车辆轮廓提取子模块具体工作流程图。

图6为本发明的运动车辆特征提取子模块具体工作流程图。

具体实施方式

如图1所示，本发明是这样来实现的，包括图像采集模块100、车牌识别模块106、车型识别模块110和车辆特征数据库服务器114。其中图像采集模块100包含摄像机101、视频数字光端机102、视频传输专用网103、视频存储服务器104和视频流逐帧提取子模块105；车牌识别模块106包含车牌定位子模块107、字符分割子模块108和字符识别子模块109；车型识别模块110包含运动车辆轮廓提取子模块111、运动车辆特征提取子模块112和决策树车型识别子模块113。

参照图1所示的结构示意图，图像采集模块100分别连接车牌识别模块106和车型识别模块110，提供运动车辆视频帧图；车牌识别模块106和车型识别模块110连接到车辆特征数据库服务器114，存储从运动车辆视频帧图中识别出的车牌信息和车型信息的特征参数；

参照图1所示的结构示意图，图像采集模块100中，摄像机101通过视频信号线与视频数字光端机102连接，将采集的公共安全视频输入至视频数字光端机102；视频数字光端机102通过视频传输专用网103，采用全数字视频无压缩传输技术将公共安全视频进行数字化后，传输至视频存储服务器104；视频存储服务器104将从视频传输专用网接103收到的全数字公共安全视频流提供给视频流逐帧提取子模块105，并采用MPEG4标准对全数字公共安全视频流进行编码后压缩存储；视频流逐帧提取子模块105连接视频存储服务器104，将视频存储服务器104提供的全数字公共安全视频流提取运动车辆视频帧图。

参照图1所示的结构示意图，车牌识别模块106中，车牌定位子模块107连接字符分割子模块108，字符分割子模块108连接字符识别子模块109；车牌定位子模块107将运动车辆视频帧图作为输入图像，确定车牌区域的位置；字符分割子模块108根据车牌定位子模块107提供的车牌图像，进行字符分割得到各车牌字符的图像；字符识别子模块109根据字符分割子模块108提供的各车牌字符图像，使用径向基神经网络进行字符识别，根据识别出的字符得到最终的车牌识别结果。

参照图1所示的结构示意图，车型识别模块110中，运动车辆轮廓提取子模块111连接运动车辆特征提取子模块112，运动车辆特征提取子模块112连接决策树车型识别子模块113；运动车辆轮廓提取子模块111将运动车辆视频帧图作为输入图像，提取运动车辆的轮廓；运动车辆特征提取子模块112根据运动车辆轮廓提取子模块111提供的运动车辆轮廓图像，采用车辆边缘密度分布特征来提取相应车型特征；决策树车型识别子模块113根据运动车辆特征提取子模块112提供的车辆边缘密度比值，采用三级决策树来进行车型识别。

对于所述的车牌定位子模块，本实施例的具体工作流程如图2所示，步骤如下：

步骤201：对输入的运动车辆视频帧图采用一种Roberts算子进行纵向边缘的检测和提取；Roberts算子的差分式如下形式：

其中，g(x,y)为输出图像，f(x,y)为输入图像；

步骤202：清除车牌图像中的无效和干扰边缘点；

步骤203：对车牌图像进行基于横向形态学闭合操作，形成候选连通域；

步骤204：根据扫描线种子充值算法进行候选连通域搜索，并判别相关候选连通域；

步骤205：如果候选连通域的绝对高度、宽度大于设定的阈值，执行步骤207；如果候选连通域的绝对高度、宽度小于等于设定的阈值，则跳转到步骤206；

步骤206：对原图像进行灰度拉伸调整，使车牌连通域增大，并跳转到步骤201；

步骤207：对候选车牌区域进行色彩模型转换，并基于HSV模型统计候选车牌区域的符合车牌背景和字符颜色特征的像素所占比例，如果比例大于设定的阈值，执行步骤208；如果比例小于等于设定的阈值，执行步骤206；

步骤208：根据车牌的微观边缘特征进行车牌边界范围的精确定位，并输出车牌区域精确的边界。

对于所述的字符分割子模块，本实施例的具体工作流程如图3所示，步骤如下：

步骤301：对车牌区域图像进行基于sobel边缘的二值化操作，分开车牌区域中的字符区域和背景区域；

步骤302：对车牌区域图像进行RGB转HSV操作；

步骤303：通过对车牌区域图像的HSV空间进行反色判断，将车牌区域图像统一转换为黑底白字；

步骤304：根据二值化的相邻列像素的差分结果，分别进行自下而上和自上而下的两次逐行扫描判断；根据每行的白像素点数目，精确确定车牌区域的上下界位置；

步骤305：通过第一次去噪处理，去除车牌区域的连通域中不符合要求的字符；

步骤306：依据汉字形态学中部首分散排列，在精定位的车牌区域中确定汉字所在的位置；

步骤307：基于递归方法找出车牌区域的各连通区域，求出符合车牌字符顺序的字符连通域序列；

步骤308：针对车牌字符存在部分粘连情况，依据连通域的左右宽度大小来拆分连通域，得到准确的单个车牌字符；

步骤309：针对一些质量较差的车牌图像，进行第二次去噪，获得准确的车牌字符连通域。

对于所述的字符识别子模块，本实施例的具体工作流程如图4所示，步骤如下：

步骤401：对车牌字符连通域进行大小归一化处理；

步骤402：将待识别字符连通域由8为灰度图像转化为1位的二值图像，节省存储空间并提高识别速度；

步骤403：将径向基神经网络结构设计成输入层、隐层和输出层三层的径向基神经网络；

步骤404：对于各个字符，分别通过50个样本训练径向基神经网络中的汉字子网络、数字子网络、字母子网络及字母数字混合子网络；

步骤405：在训练好的径向基神经网络上，根据字符位置选用相应的子网，进行车牌字符的识别；

步骤406：依据车牌字符的识别，合成运动车辆车牌号的特征数据。

对于所述的运动车辆轮廓提取子模块，本实施例的具体工作流程如图5所示，步骤如下：

步骤501：在设置好的视频检测区域中，一旦运动车辆进入到视频检测区域，通过运动车辆目标检测方法，捕获该车辆区域；

步骤502：通过数学形态学处理方法，计算出相应的车辆轮廓区域；

步骤503：通过轮廓提取算法提出相应的车辆轮廓。

对于所述的运动车辆特征提取子模块，本实施例的具体工作流程如图6所示，步骤如下：

步骤601：对车辆轮廓进行Canny边缘检测，获取车辆边缘；

步骤602：统计车辆边缘车辆头部边缘点总数；

步骤603：统计车辆边缘车辆侧身边缘点总数；

步骤604：通过头部边缘点总数和侧身边缘点总数相除，计算出车辆边缘密度比值的特征。

Claims (9)

1. 一种基于天网工程中公共安全视频图像的车辆特征识别装置，它包括图像采集模块、车牌识别模块、车型识别模块和车辆特征数据库服务器，其特征是图像采集模块分别连接车牌识别模块和车型识别模块，车牌识别模块和车型识别模块连接到车辆特征数据库服务器，存储从运动车辆视频帧图中识别出的车牌信息和车型信息的特征参数。

2.根据权利要求1所述的一种基于天网工程中公共安全视频图像的车辆特征识别装置，其特征在于所述图像采集模块包含：摄像机、视频数字光端机、视频传输专用网、视频存储服务器和视频流逐帧提取子模块，摄像机通过视频信号线与视频数字光端机连接，将采集的公共安全视频输入至视频数字光端机；视频数字光端机通过视频传输专用网，采用全数字视频无压缩传输技术将公共安全视频进行数字化后，传输至视频存储服务器；视频存储服务器将从视频传输专用网接收到的全数字公共安全视频流提供给视频流逐帧提取子模块，并采用MPEG4标准对全数字公共安全视频流进行编码后压缩存储；视频流逐帧提取子模块连接视频存储服务器，将视频存储服务器提供的全数字公共安全视频流提取运动车辆视频帧图。

3.根据权利要求1所述的一种基于天网工程中公共安全视频图像的车辆特征识别装置，其特征在于车牌识别模块包含：车牌定位子模块、字符分割子模块和字符识别子模块，车牌定位子模块连接字符分割子模块，字符分割子模块连接字符识别子模块，车牌定位子模块将运动车辆视频帧图作为输入图像，确定车牌区域的位置；字符分割子模块根据车牌定位子模块提供的车牌图像，进行字符分割得到各车牌字符的图像；字符识别子模块根据字符分割子模块提供的各车牌字符图像，使用径向基神经网络进行字符识别，根据识别出的字符得到最终的车牌识别结果。

4.根据权利要求1所述的一种基于天网工程中公共安全视频图像的车辆特征识别装置，其特征在于车型识别模块包含：运动车辆轮廓提取子模块、运动车辆特征提取子模块和决策树车型识别子模块，运动车辆轮廓提取子模块连接运动车辆特征提取子模块，运动车辆特征提取子模块连接决策树车型识别子模块，运动车辆轮廓提取子模块将运动车辆视频帧图作为输入图像，提取运动车辆的轮廓；运动车辆特征提取子模块根据运动车辆轮廓提取子模块提供的运动车辆轮廓图像，采用车辆边缘密度分布特征来提取相应车型特征；决策树车型识别子模块根据运动车辆特征提取子模块提供的车辆边缘密度比值，采用三级决策树来进行车型识别。

5.根据权利要求3所述的一种基于天网工程中公共安全视频图像的车辆特征识别装置，其特征在于：车牌定位子模块，提供一种在多场景下的车牌大小自适应性的车牌定位方法，所述具体工作流程为：

5.1：对输入的运动车辆视频帧图采用一种Roberts算子进行纵向边缘的检测和提取；

5.2：清除车牌图像中的无效和干扰边缘点；

5.3：对车牌图像进行基于横向形态学闭合操作，形成候选连通域；

5.4：根据扫描线种子充值算法进行候选连通域搜索，并判别相关候选连通域；

5.5：如果候选连通域的绝对高度、宽度大于设定的阈值，执行5.7；如果候选连通域的绝对高度、宽度小于等于设定的阈值，则跳转到5.6；

5.6：对原图像进行灰度拉伸调整，使车牌连通域增大，并跳转到5.1；

5.7：对候选车牌区域进行色彩模型转换，并基于HSV模型统计候选车牌区域的符合车牌背景和字符颜色特征的像素所占比例，如果比例大于设定的阈值，执行5.8；如果比例小于等于设定的阈值，执行5.6；

5.8：根据车牌的微观边缘特征进行车牌边界范围的精确定位，并输出车牌区域精确的边界。

6.根据权利要求3所述的一种基于天网工程中公共安全视频图像的车辆特征识别装置，其特征是字符分割子模块的具体工作流程为：

6.1：对车牌区域图像进行基于sobel边缘的二值化操作，分开车牌区域中的字符区域和背景区域；

6.2：对车牌区域图像进行RGB转HSV操作；

6.3：通过对车牌区域图像的HSV空间进行反色判断，将车牌区域图像统一转换为黑底白字；

6.4：根据二值化的相邻列像素的差分结果，分别进行自下而上和自上而下的两次逐行扫描判断；根据每行的白像素点数目，精确确定车牌区域的上下界位置；

6.5：通过第一次去噪处理，去除车牌区域的连通域中不符合要求的字符；

6.6：依据汉字形态学中部首分散排列，在精定位的车牌区域中确定汉字所在的位置；

6.7：基于递归方法找出车牌区域的各连通区域，求出符合车牌字符顺序的字符连通域序列；

6.8：针对车牌字符存在部分粘连情况，依据连通域的左右宽度大小来拆分连通域，得到准确的单个车牌字符；

6.9：针对一些质量较差的车牌图像，进行第二次去噪，获得准确的车牌字符连通域。

7.根据权利要求3所述的一种基于天网工程中公共安全视频图像的车辆特征识别装置，其特征是字符识别子模块，采用径向基神经网络来进行字符识别，所述具体工作流程为：

7.1：对车牌字符连通域进行大小归一化处理；

7.2：将待识别字符连通域由8为灰度图像转化为1位的二值图像，节省存储空间并提高识别速度；

7.3：将径向基神经网络结构设计成输入层、隐层和输出层三层的径向基神经网络；

7.4：对于各个字符，分别通过50个样本训练径向基神经网络中的汉字子网络、数字子网络、字母子网络及字母数字混合子网络；

7.5：在训练好的径向基神经网络上，根据字符位置选用相应的子网，进行车牌字符的识别；

7.6：依据车牌字符的识别，合成运动车辆车牌号的特征数据。

8.根据权利要求4所述的一种基于天网工程中公共安全视频图像的车辆特征识别装置，其特征是运动车辆轮廓提取子模块，所述具体工作流程为：

8.1：在设置好的视频检测区域中，一旦运动车辆进入到视频检测区域，通过运动车辆目标检测方法，立即捕获该车辆区域；

8.2：通过数学形态学处理方法，计算出相应的车辆轮廓区域；

8.3：通过轮廓提取算法提出相应的车辆轮廓。

9.根据权利要求4所述的一种基于天网工程中公共安全视频图像的车辆特征识别装置，其特征是运动车辆特征提取子模块，采用车辆边缘密度分布特征来提取相应车型特征，所述具体工作流程为：

9.1：对车辆轮廓进行Canny边缘检测，获取车辆边缘；

9.2：统计车辆边缘车辆头部边缘点总数；

9.3：统计车辆边缘车辆侧身边缘点总数；

9.4：通过头部边缘点总数和侧身边缘点总数相除，计算出车辆边缘密度比值的特征。

Images