CN106991821A - 违章车辆用手持移动终端数据采集系统 - Google Patents

Abstract

本发明公开了一种违章车辆用手持移动终端数据采集系统，其特征在于，它包括手持移动终端、云服务器和后台监管中心，手持移动终端设置有显示屏、摄像头、控制按钮和电子控制系统，电子控制系统包括ARM处理器210核心板、4G无线通信模块、天线通讯模块和电源模块；ARM处理器210核心板内嵌有图像采集模块、图像显示模块、图像识别模块，和本地数据库模块、上传数据模块，通过摄像头实时监测、拍摄违章车辆，对车牌号和车型进行识别，自动记录车牌号、车型，同时存入终端的本地数据库，同时也通过4G无线通信模块，将违章车辆的数据上传至云服务器。本发明结构简单，操作方便，相比于同类型的产品，性能更加优越。

Description

违章车辆用手持移动终端数据采集系统

技术领域

本发明涉及道路安全监控设备技术领域，更具体是涉及一种违章车辆用手持移动终端数据采集系统。

背景技术

随着汽车等机动车辆的不断增多，在城市的小街小巷车辆乱停放成“顽疾”，居民小区，乃至交通要道，乱停放问题日益严重，成为城市发展与管理的难题。车辆随意停放，这不仅影响交通秩序，而且造成交通安全隐患。有关部门在执法过程中，传统的手段是现场拍照然并手写记录车牌号，又或者在视频监控里面对图像进行人工识别。上述的做法耗时耗力且效率低下，还有可能由于人工操作失误等原因而导致识别错误。传统的人工手段还可能会由于人工延迟而白白丢失了侦查取证的最佳时机。例如在交通事故现场，交警正在对肇事车辆进行车牌号登记，但此时其他的肇事司机可能会为了逃避责任而畏罪潜逃，而此时交警正在对其他车辆进行登记而无法顾及逃逸司机，这就会给调查取证造成一定的困难。

发明内容

本发明的目的就是为了解决现有技术之不足而提供的一种不仅结构简单，操作方便，而且使得采集违章车辆的取证工作更为简单、快捷的违章车辆用手持移动终端数据采集系统。

本发明是采用如下技术解决方案来实现上述目的：一种违章车辆用手持移动终端数据采集系统，其特征在于，它包括手持移动终端、云服务器和后台监管中心，手持移动终端与云服务器无线通信连接，手持移动终端设置有显示屏、摄像头、控制按钮和电子控制系统，摄像头、控制按钮分别连接于电子控制系统的信号输入端，显示屏与控制器的信号输出端连接，电子控制系统包括ARM处理器210核心板、4G无线通信模块、天线通讯模块和电源模块；ARM处理器210核心板内嵌有图像采集模块、图像显示模块、图像识别模块，和本地数据库模块、上传数据模块，通过摄像头实时监测、拍摄违章车辆，对车牌号和车型进行识别，自动记录车牌号、车型，将违章车辆的时间、地点、车型、车牌的数据显示在终端的同时存入终端的本地数据库，同时也通过4G无线通信模块，将违章车辆的数据上传至云服务器，记录并取得违章车辆的信息，进行违章车辆的识别、监测，为执法部门处罚违章车辆提供执法依据，使采集违章车辆的取证工作更为简单、便捷。

作为上述方案的进一步说明，所述电子控制系统采用基于嵌入式linux平台的车牌识别系统，能够对车辆的车牌号进行拍照并且加以识别。

进一步地，所述图像采集模块用于获取图像信息，然后提交给ARM处理器210核心板；

图像显示模块就是把图像文件的有效数据读取出来并显示；

图像识别模块是读取图像数据，对图像数据进行预处理；预处理包括粗略定位、霍夫变换、图像旋转操作；粗略定位是设置一个阀值并图像二值化，然后通过水平和垂直扫描来确定图像的左右上下边界，从而去除一些无相关的像素，缩小了精确定位的区域；霍夫变换用于检测出车牌号的倾斜角度；图像旋转用于在于把倾斜的车牌号图像进行矫正，使得图像水平放置。

进一步地，在所述对图像数据进行预处理过程中，霍夫变换操作用于检测出图像的边缘直线，测算出它的斜率以获取图像旋转的角度。

本发明采用上述技术解决方案所能达到的有益效果是：

1、本发明采用手持式的移动互联网智能终端采集设备，可以实时监测，拍摄违章车辆，通过车牌号和车型识别软件，自动记录车牌号、车型，将违章车辆的时间、地点、车型、车牌的数据显示在终端的同时存入终端的本地数据库，同时也通过4G无线通信模块，将违章车辆的数据上传至云服务器，记录并取得违章车辆的信息，进行违章车辆的识别、监测，为执法部门处罚违章车辆提供执法依据，使采集违章车辆的取证工作更为简单、便捷，适宜作为智慧城市数字执法管理中巡视用的一种移动终端设备应用。

2、本发明的系统以ARM处理器为核心、linux系统为平台，再辅以一颗简单的摄像头，能够为背景技术中所述的场景提供有力的支持；而且系统小巧灵活，维护简单，成本低廉，功能完善，还可以根据需求进行扩充。

3、本发明能够在以下场景中应用：(1)交通控制与诱导；(2)交通流量检测；(3)机场、港口等出入口车辆管理；(4)小区车辆管理；(5)闯红灯等违章车辆监控；(6)不停车自动收费；(7)道口检查站车辆监控；(8)公共停车场安全防盗管理；(9)计算出行时间；(10)车辆安全防盗、查堵指定车辆等；因此具有一定的社会效益和经济效益。

附图说明

图1为本发明的结构示意图；

图2为本发明的结构示意图；

图3为本发明的图像识别算法结构示意图；

图4为本发明的图像识别算法流程图。

附图标记说明：1、手持移动终端 1-1、显示屏 1-2、摄像头 1-3、控制按钮 2、云服务器 3、后台监管中心。

具体实施方式

以下结合具体实施例对本技术方案作详细的描述。

如图1和图2所示，本发明是一种违章车辆用手持移动终端数据采集系统，它包括手持移动终端1、云服务器2和后台监管中心3，手持移动终端与云服务器无线通信连接，手持移动终端1设置有显示屏1-1、摄像头1-2、控制按钮1-3和电子控制系统，摄像头1-2、控制按钮1-3分别连接于电子控制系统的信号输入端，显示屏与控制器的信号输出端连接，电子控制系统包括ARM处理器210核心板、4G无线通信模块、天线通讯模块和电源模块；ARM处理器210核心板内嵌有图像采集模块、图像显示模块、图像识别模块，和本地数据库模块、上传数据模块，通过摄像头实时监测、拍摄违章车辆，对车牌号和车型进行识别，自动记录车牌号、车型，将违章车辆的时间、地点、车型、车牌的数据显示在终端的同时存入终端的本地数据库，同时也通过4G无线通信模块，将违章车辆的数据上传至云服务器，记录并取得违章车辆的信息，进行违章车辆的识别、监测，为执法部门处罚违章车辆提供执法依据，使采集违章车辆的取证工作更为简单、便捷。

所述电子控制系统采用基于嵌入式linux平台的车牌识别系统，能够对车辆的车牌号进行拍照并且加以识别。图像采集模块用于获取图像信息，然后提交给ARM处理器210核心板；

图像显示模块就是把图像文件的有效数据读取出来并显示；图像显示模块主要涉及到JPEG格式解码和bmp格式处理。JPEG格式的后缀为.jpg，目前在互联网上使用很广泛，是一种压缩率高并且能够很好的保留原图的细节图像格式。目前JPEG压缩格式在摄像头当中也使用广泛，正是由于它具有高压缩率高保真的优点。在展现JPEG格式图像的时候使用的解码库是广为流行的libgpeg8库，它能够对JPEG格式图像进行解码并很好的还原数据。

Bmp也是目前应用广泛的一种图像格式，全称是windows操作系统中的标准图像文件格式。它的格式比较简单，由位图文件头、位图信息头和位图阵列表三部分构成。其中，位图文件头记录了位图标志文件大小以及阵列的起始位置信息。位图信息头则描述了位图文件的一些参数信息，例如位图尺寸、大小、位图设备级别等信息。位图阵列表则是记录了关于像素的描述信息，例如24位位图文件使用3个字节表示一个像素，16位位图文件使用2个字节表示一个像素。

图像显示就是把图像文件真正的有效数据读取出来并显示。本发明采用的显示屏支持32位RGB颜色，采用4个字节表示一个有效像素。因此，读取出图像有效数据之后还需要转换为32位RGB格式。

图像识别模块是读取图像数据，对图像数据进行预处理；预处理包括粗略定位、霍夫变换、图像旋转操作；粗略定位是设置一个阀值并图像二值化，然后通过水平和垂直扫描来确定图像的左右上下边界，从而去除一些无相关的像素，缩小了精确定位的区域；

霍夫变换用于检测出车牌号的倾斜角度；

图像旋转用于在于把倾斜的车牌号图像进行矫正，使得图像水平放置。一般来说进行图像旋转需要进行3个步骤：将图像坐标转换为数学坐标、利用旋转矩阵将图像进行旋转、将旋转得到的数学坐标转换为图像坐标。

首先是图像坐标与数学坐标的转换。计算机图像坐标是以图像的左上角为原点，垂直向下方向为y轴，水平向右方向为x轴。而数学坐标系当中的原点是图像的中点。图像坐标与数学坐标的转换参考下面的例子。假设图像的长度为H，宽为W，设图像坐标为(x0,y0)，数学坐标为(x,y)。那么得到:(x＝x0-0.5W),(y＝-y0+0.5H)。利用矩阵可以表示为下列关系:

逆运算为：

接下来分析旋转矩阵。假设原来坐标为(x0,y0)，旋转角度A之后的坐标为(x,y)。那么，旋转之后的坐标与原来坐标的关系可以利用旋转矩阵来表示：

又因为我们图像显示坐标应该是图像坐标，而我们计算时采用的是数学坐标，因此还需要将数学坐标转换为图像坐标。因为存储的原因，旋转之后的图像大小会发生变化，这里假设旋转之后的图像宽度为w，高度为h，通过数学计算，可以得出转换矩阵是:

因此，图像旋转的矩阵描述为：

展开矩阵，得到如下关系：

(x0＝x*cos(A)+Y*sin(A)-0.5w*cos(A)-0.5h*sin(A)+0.5W)；

(y0＝-x*sin(A)+y*sin(A)+0.5w*sin(A)-0.5h*cos(A)+0.5h)；

dx＝-0.5w*cos(A)-0.5h*sin(A)+0.5W，

(dy＝0.5w*sin(A)-0.5h*cos(A)+0.5h),那么得到图像的旋转公式如下：

(x0＝x*cos(A)+Y*sin(A)+dx)；

(y0＝-x*sin(A)+y*sin(A)+dy)。

进一步地，在所述对图像数据进行预处理过程中，霍夫变换操作用于检测出图像的边缘直线，测算出它的斜率以获取图像旋转的角度。

目前我国车牌的特征归纳起来可以有几点，颜色特征、统一的标准尺寸、车牌的边缘特征。在颜色方面，车牌号码字符与车牌底部的颜色对比强烈因此可以跟周围的事物进行区分开来，例如小型轿车的车牌是蓝底并且字符是白色，运输车的车牌是黑底黄色字符。字符个数一般为7-8个，轿车的车牌字符绝大多数情况下为7个，特殊的除外。其中，字符的尺寸也有统一的标准为(45*90),单位是毫米。边缘特征方面，我国的车牌具有很明显的垂直边缘特征，这是因为字符的规则排列造成的，这位我们采用垂直投影提供了理论上的可行性。

结合我国的实际情况，图像识别算法结构如图3所示。

图像识别算法主要流程为读取图像、粗略定位、截取图像、图像灰度化、投影法分割字符、模板匹配。现在对以上步骤进行一一加以叙述说明。首先读取一张图像数据，然后对图像进行粗略定位。粗略定位可以缩小图像范围，把不需要的图像像素去掉。它的原理是：将图像进行HSV颜色空间转换，进行二值化；使用水平扫描和垂直扫描法扫描以及预设的阀值粗略判定车牌的上下界限和左右界限，进一步缩小有效图像的范围。

截取图像依据上一个步骤参数对原图像进行截取但不修改原图。图像预处理采用霍夫变换原理检测图像中的边缘直线，然后测出斜率以测算出图像的倾斜角度，然后对图像进行旋转操作纠正图像。有了以上的操作就可以精准定位了。它的原理与粗略定位相同，不同的是它的阀值设定为0，也就是允许误差为0，这样便可以精确的提取出有效的车牌图像。下一步是在精准定位的基础上截取车牌图像，如此一来得到的车牌就是有效的车牌了。

图像灰度化是指RGB的三个分量取同一个数值，也即(R＝G＝B)，灰度化操作是为了后续的图像操作计算量少些，但是它不会影响图像的整体以及局部的色度以及亮度等级的分布。灰度化计算通常有分量法、最大值法、平均值法、加权平均法等等。这里使用的是加权平均法，将RGB三个分量赋予不同的权值并且求平均值。由于人眼对红绿蓝三种颜色的敏感度不一样，因此给它们分别赋予不同的权值可以得到合理的灰度图像。一般来说将图像灰度化后就可以使用投影法进行分割了，但是由于灰度化时往往会产生一些孤立噪点，它们的存在会对投影法产生比较大的影响。因此，在使用投影法之前还需要进行孤立噪点的消除。投影法由于为现有技术，其原理这里不作叙述。根据投影法得到的参数将字符分割出来。为了方便与字符模板匹配分割出来的字符往往需要进行归一化处理，将它们统统转换指定的大小，这里指定的大小为(20*40)，因为我们的字符模板大小也是(20*40)。图像归一之后，接着需要读取模板。在模板匹配之前需要将事先准备好的黑白字符模板读取到数组里，然后再将分割的字符与模板数据进行匹配，根据他们的相似度判断是否匹配成功。不过在匹配字符之前需要将分割到的字符二值化，也就是图像只有黑白两种颜色。

进一步地，本发明的图像识别的核心步骤有：图像定位、字符分割、字符匹配。其余的一些预处理、图像旋转、霍夫变换、读取模板属于图像处理，如图所示4。下面选取一些核心操作进行叙述。第一步首先是读取图像，这一步的主要工作是获取图像的各项参数和有效数据。根据BMP位图结构，我们需要获取的有效参数包括位图信息头长度、位图级别、位图大小，图像定位的作用是获取有效的车牌区域，这里涉及到车牌图像的上下界限和左右界限，还有一个允许误差。图像定位先将图像进行HSV颜色空间转换，这里的HSV三个分量分别代表色调、饱和度以及亮度。然后将转换后的HSV数据进行二值化，目的是为了将背景与字符分开。接着使用索贝尔边缘提取标记车牌边缘，然后通过水平扫描和垂直扫描测出车牌的上下界限和左右界限，进而可以定位车牌图像位置了。截取图像作用是根据图像定位获得的上下界限和左右界限截取有效区域，这里的有效区域包含车牌图像。接下来是霍夫变换操作，这一步操作目的是检测出图像的旋转角度，然后可以对图像进行矫正。这一步的工作起着举足轻重的地位，因为我们的模板匹配要求分割得到的字符要端正。主要原理是使用sobel算子检测边缘的一条直线，然后计算得到直线的斜率从而得到图像的选择角度。旋转图像后，再次对图像进行定位可获得更加精准的车牌图像，原理与上相同。随后将定位得到的图像保存下来方便下次使用。接着把图像灰度化，这一步的操作是减少图像的处理时间，将三通道的RGB图像转换为单通道的灰度图像。灰度处理常用的是加权平均法，也即是堆RGB三个分量授予不同的权值然后相乘，最后相加得到灰度化值，这里采用的也是这种方法。灰度图像中会存在一些本该不应出现的像素即是噪点，这里判断噪点的依据是灰度值是否大于200。如果大于200，那么将以该点为中心的3*3矩阵像素的灰度值的和与255相加得到的结果除以255取整数值。若该值大于预设值，那么该点为255，否则是0。字符分割采用水平投影和垂直投影法。水平投影法可以确定字符的上下边界，进而可以得到字符图像的高度；垂直投影可以得出字符的左右边界进而确定字符的宽度。根据以上信息，我们可以逐一提取字符数据了。一般情况下提取出来的字符大小不一致，因此我们还需要对提取到的字符进行归一化处理，将它们的大小设置为与模板同样的大小，方便进行模板匹配。字符匹配是利用黑白字符模板跟分割得到的字符进行相似度匹配。字符匹配原理比较简单。首先将分割得到的字符数据二值化变成只有黑白像素，然后逐行扫描字符的二值化数据，若检测到黑色像素并且与字符数据相同坐标的模板对应坐标也是黑色像素，将字符该点像素值设置为0。这样处理还是不够完美，因为还有可能会产生孤立噪点，因此仍需要对上面步骤得到的数据进行去噪处理。我们再将去噪后的数据进行统计黑色像素个数，如果它是一个合理的数值，那么我们便认为匹配成功。

本发明与现有技术相比，1、把图像识别功能嵌入到小型设备当中，设计出快速有效的车牌识别系统，该系可靠性高，成本低廉，具有快速识别以及容易扩充等特点；2、采用手持式的移动互联网智能终端采集设备，可以实时监测，拍摄违章车辆，通过车牌号和车型识别软件，自动记录车牌号、车型，将违章车辆的时间、地点、车型、车牌的数据显示在终端的同时存入终端的本地数据库，同时也通过4G无线通信模块，将违章车辆的数据上传至云服务器，记录并取得违章车辆的信息，进行违章车辆的识别、监测，为执法部门处罚违章车辆提供执法依据，使采集违章车辆的取证工作更为简单、便捷，适宜作为智慧城市数字执法管理中巡视用的一种移动终端设备应用；

3、本发明的系统以ARM处理器为核心、linux系统为平台，再辅以一颗简单的摄像头，能够为背景技术中所述的场景提供有力的支持；而且系统小巧灵活，维护简单，成本低廉，功能完善，还可以根据需求进行扩充；

4、本发明能够在以下场景中应用：(1)交通控制与诱导；(2)交通流量检测；(3)机场、港口等出入口车辆管理；(4)小区车辆管理；(5)闯红灯等违章车辆监控；(6)不停车自动收费；(7)道口检查站车辆监控；(8)公共停车场安全防盗管理；(9)计算出行时间；(10)车辆安全防盗、查堵指定车辆等；因此具有一定的社会效益和经济效益。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种违章车辆用手持移动终端数据采集系统，其特征在于，它包括手持移动终端、云服务器和后台监管中心，手持移动终端与云服务器无线通信连接，手持移动终端设置有显示屏、摄像头、控制按钮和电子控制系统，摄像头、控制按钮分别连接于电子控制系统的信号输入端，显示屏与控制器的信号输出端连接，电子控制系统包括ARM处理器210核心板、4G无线通信模块、天线通讯模块和电源模块；ARM处理器210核心板内嵌有图像采集模块、图像显示模块、图像识别模块，和本地数据库模块、上传数据模块，通过摄像头实时监测、拍摄违章车辆，对车牌号和车型进行识别，自动记录车牌号、车型，将违章车辆的时间、地点、车型、车牌的数据显示在终端的同时存入终端的本地数据库，同时也通过4G无线通信模块，将违章车辆的数据上传至云服务器，记录并取得违章车辆的信息，进行违章车辆的识别、监测。

2.根据权利要求1所述的违章车辆用手持移动终端数据采集系统，其特征在于，所述电子控制系统采用基于嵌入式linux平台的车牌识别系统，能够对车辆的车牌号进行拍照并且加以识别。

3.根据权利要求1所述的违章车辆用手持移动终端数据采集系统，其特征在于，所述图像采集模块用于获取图像信息，然后提交给ARM处理器210核心板；

图像显示模块就是把图像文件的有效数据读取出来并显示；

图像识别模块是读取图像数据，对图像数据进行预处理。

4.根据权利要求3所述的违章车辆用手持移动终端数据采集系统，其特征在于，预处理包括粗略定位、霍夫变换、图像旋转操作；粗略定位是设置一个阀值并图像二值化，然后通过水平和垂直扫描来确定图像的左右上下边界，从而去除一些无相关的像素，缩小了精确定位的区域；霍夫变换用于检测出车牌号的倾斜角度；图像旋转用于在于把倾斜的车牌号图像进行矫正，使得图像水平放置。

5.根据权利要求3所述的违章车辆用手持移动终端数据采集系统，其特征在于，在所述对图像数据进行预处理过程中，霍夫变换操作用于检测出图像的边缘直线，测算出它的斜率以获取图像旋转的角度。