发明内容
为了防止非法跟踪和发现潜在的跟踪者,保护公民的个人隐私和保护机动车驾驶员的行车安全,本发明提供一种基于计算机视觉的机动车车载反跟踪装置。
本发明解决其技术问题采用的方案是:
一种基于计算机视觉的机动车车载反跟踪装置,包括车载主机单元以及用于获取和抓拍机动车车身后部图像的视觉传感器。该所述的主机单元包括控制处理电路及与控制处理电路相连的GPS模块、存储器、输入/输出装置,所述的
视觉传感器可以安装在机动车的左、右后视镜或者机动车后部的左、右灯位置及其它适于采集机动车身后状况视频的位置,并通过主机单元的视觉传感器接口与主机单元的控制电路相连接。
在本发明中所述的控制处理电路设置有USB接口、SD卡接口、视频输入接口、蓝牙接口和/或微硬盘接口。
在本发明的一种基于计算机视觉的机动车车载反跟踪装置车载主机单元中,所述的存储器包括SDRAM存储器和/或FLASH存储器。
在本发明的一种基于计算机视觉的机动车车载反跟踪装置车载主机单元中,所述输入、输出装置包括显示屏和按键或者触摸式显示屏。
在本发明的一种基于计算机视觉的机动车车载反跟踪装置车载主机单元中,所述控制处理电路连接有语音IC,所述输出装置包括扬声器。
在本发明的一种基于计算机视觉的机动车车载反跟踪装置车载主机单元中,所述控制处理电路连接有语音IC,所述输出装置包括可与车载音频播放设备相连的音频输出接口。
在本发明的一种基于计算机视觉的机动车车载反跟踪装置车载主机单元中所运行的操作系统为嵌入式实时操作系统,该系统可以是UC/OS、WindowsCE或者Linux操作系统。
在本发明的一种基于计算机视觉的机动车车载反跟踪装置车载主机单元中,其特征在于,所述控制处理电路包括相互连接的一个32位ARM处理器和一个DSP处理器。
在本发明的一种基于计算机视觉的机动车车载反跟踪装置车载主机单元中,其特征在于,所述视觉传感器通过车载主机单元的视觉传感器接口与车载主机单元相连接。
在本发明的一种基于计算机视觉的机动车车载反跟踪装置车载主机单元中,其特征在于,所述的控制处理电路能在视觉传感器所采集的视频中进行车牌识别和人脸识别,并在可疑车辆和人员数据库模块搜寻已识别的车牌和人脸目标,根据出现的时间、地点和频率进行判断从而发现潜在的跟踪者。
在本发明的一种基于计算机视觉的机动车车载反跟踪装置车载主机单元中,控制处理电路还由以下模块及单元构成:
视频图像读取模块,用于读取视觉传感器采集的视频图像信息。
视频图像去抖模块,用于消除机动车在行驶时的抖动,获得比较清晰的视频图像。
视觉传感器控制模块,用于控制和调整视觉传感器的焦距,便于快速对准跟踪车辆和人员进行抓拍。
反跟踪装置触发模块,用于触发反跟踪装置检测进入该装置检测范围的机动车车牌和跟踪人员人进行颜色判断。如果是蓝色则进入车牌识别模块,如果是黄色则进入人脸识别模块。
车牌识别模块,用于识别跟踪车辆的车牌号,包括有:
车牌图像预处理单元,用于对原始图像进行各种区域处理,首先对车牌图像进行灰度拉伸,采用全局阀值法对图像进行二值化处理,接着对其采用中值滤波;
车牌定位单元,用于在整幅车牌图像中对车牌进行水平和垂直投影定位车牌,根据牌照特征对整体车牌图像中可能存在车牌的地方进行粗检测,如果发现有类似牌照则进行定位,反之要求系统重新抓拍车牌图像;
车牌字符分割单元,用于将车牌字符分割成单一字符,采用字符垂直投影直方图与字符先验宽度信息相结合进行分割;
归一化处理单元,用于车牌特征识别与提取,对已分割开来的车牌字符进行拉伸,将字符变化为同一大小的格式,采用临近差值的归一化方法;
特征提取单元,用于后期的字符识别,从图像中提取各种能够区分字符种类的数学特征,采取PCA方法进行字符特征提取,并用RS对特征进行约简,将约简后的特征送入神经网络进行训练;
字符识别单元,用于对分割后的车牌字符进行识别,采用多级分类器将模板匹配与神经网络相结合,采用数字、字母、字符(汉字)分类器进行识别。
动作识别模块,用于确认触发模块中颜色检测结果是不是人脸和对人眼动作进行检测,它包括:
图像预处理单元,用于在视频场景中检测人脸图像时对图像的预处理,它包括:将彩色图像转换为灰度图像、装载多层分类器参数、设定检测窗口大小;
人脸检测单元,用于检测视频场景中出现的人脸图像,采用类Haar特征的adaboost算法,haar特征可表示为:定义图像中坐标在点p(x,y)的积分图像ii(x,y)为p点左上方所有象素灰度值i(x′,y′)之和,s(x,y)表示一行上象素灰度值之和,利用公式(1)、(2),遍历原图像一次就可以计算出所有点的积分图像。利用积分图像,计算原图像任意一个矩形内象素灰度值之和所需的计算量只是一个常数,从而可以快速的计算出各个特征的特征值:
s(x,y)=s(x,y-1)+i(x,y)(2)
Adaboost算法是利用简单的学习规则训练出分类器,它是一种迭代算法,由多个弱分类器组合而成一个强分类器。每个弱分类器的可由公式(3)来表示:一个弱分类器hj(x),由特征值fi,阀值θj、和标志不等式方向的奇偶项pj组成,
这里的x是输入的训练样本特征。
由T个弱分类器构成最终的强分类器可由公式(4)来表示:
这里为第T个弱分类器。若干弱分类器线性组合起来就可以得到一个强分类器,获得最小的错误率。强分类器的闽值由所有的弱分类器共同决定,如果判断结果为1,说明该样本为人脸,否则为非人脸。
人眼定位单元,用于对人脸图像中的人眼进行定位。
人眼正面注视时间计时单元,用于对人眼的正面注视时间计时和注视频率计次。
人脸识别模块,用于识别检测出来的人脸图像,它包括:
人脸图像预处理单元,用与对人脸图象进行光照归一化、和几何尺寸归一化。
特征提取单元,用于提取人脸图像的几何特征。
人脸识别单元,用于人脸图像的识别,采用PCA算法。
可疑车辆和人员数据库模块,用于储存、查询和统计进入本装置触发范围的可疑车辆车牌和人员。
警示语生成与播放模块,用于提醒机动车驾驶员注意,该机动车已有被跟踪的可能,并采取相应措施。
反跟踪记录自动生成模块,用于自动生成跟踪记录。跟踪记录自动生成单元通过比对车牌识别模块和人脸识别模块的识别结果的概率,如果超过阀值则将车牌号和可疑跟踪人员与GPS导航信息一起生成跟踪记录。
作为优选的一种方案,该软件还包括:检测结果确认、更改、补全模块,用于确认车牌号识别是否正确和对人脸的识别是否正确,更改错误的识别结果和补全没有识别的车牌号。
作为优选的一种方案,该软件还包括:数据传输模块,用于将所存储的数据备份到个人电脑中。
进一步,在所述的反跟踪触发模块中将监控场景中的车牌和人脸前景提取出来,包括有:
自适应背景消减单元,用于采用基于混合高斯分布模型的自适应背景消除算法,针对图像的Y、Cb、Cr颜色空间中的亮度值Y分量进行检测,对每个像素点采用了多个高斯模型的混合表示,用来描述每个点颜色分布的高斯分布共有K个分别标记为(5):
η(Yt,Ut,i,∑t,i)i,=1,2,3...,k(5)
式(5)中的下标t表示时间;各高斯分布具有不同的权值和优先级,再将k个背景模型按照优先级从高到低的次序排序,取适当的背景模型权值和阀值,在检测背景点时按照优先次序将Yt与各高斯模型阀值逐一匹配,若匹配则判断该点可能为前景点,否则为阴影;若某个高斯分布与Yt匹配,则对该高斯分布的权值和高斯参数按设定的更新率进行更新;
阴影抑制单元,用于处理自适应背景消减单元所得到的前景目标中的阴影区域,先学习监控场景的地面的颜色分量Cb、Cr是否和地面颜色相近,亮度分量Y是否比监控场景的地面低,判断算法由公式(6)表示为:
式(6)中标记0的点属于阴影,标记1的属于前景,abs表示求其绝对值,Cr是该点的Cr分量,Cb是该点的Cb颜色分量,roadcr表示道路的Cr颜色分量,roadcb表示道路的Cb颜色分量,threshold表示设置的阀值;
连通区域标识单元,用于采用八连通区域提取算法得到车辆的大小和形状信息;
目标跟踪单元,用于在所采集的视频场景中提取前景目标对象后,采用基于目标颜色跟踪算法,利用目标对象的颜色特征在视频图像中找到目标对象所在的位置和大小,在下一帧图像中,用目标当前的位置和大小初始化搜寻窗口,重复这个过程来实现对目标对象的连续跟踪;
颜色检测单元,用于检测车牌和人体肤色的颜色;Y分量表示像素的亮度,Cr表示红色分量,Cb表示蓝色分量,通常把Cr、Cb叫做色度。由于在不同肤色、不同光照条件下得到的彩色图像,受亮度变化的影响较小,两维独立分布,能比较好地限制肤色分布区域,所以本系统采用是YCrCb色彩空间。在实际操作中,色度对亮度总存在一定的非线性依赖关系,这种关系会影响到人脸的检测,所以系统对YCC空间做了如下的非线性转换:在本算法中,我们选取的色度空间是色度和亮度隔离比较好的YCrCb,色度空间,从RGB到YCrCb色度空间转换算法可由式(7)来表示如下:
在式(7)中,R表示红色像素值,G表示绿色像素值,B表示蓝色像素值。
YCC空间的非线性转换公式可由公式(8)来表示:
c′r和c′b分别表示线性变换后的Cr,Cb色度,Kl和Kh分别表示视敏度的最小值和最大值,WCr和WCb分别表示色度Cr和Cb对亮度Y的当前闽值。在YCrCb色彩空间中,经过式(8)的非线性变换,可以得到肤色聚类在Y′、c′b、c′r空间中的分布情况。将其投影到C′b-C′r二维子空间,肤色区域主要集中在一个椭圆中,这个椭圆的解析式可由公式(9)来表示:
其中x,y满足: 分别是x轴、y轴的两个常量,a=25.39和b=14.03为椭圆的长轴和短轴,θ=2.53(弧度)是角度常量,cx=114.38,cy=160.02分别表示Cr和Cb的系数。所以任何落在该椭圆形区域内的像素都可能是皮肤像素。车牌颜色检测,可采用Cr值来检测。
边缘检测单元,用于物体边缘检测,通常采用微分算子对图像进行微分运算求得梯度来进行边缘检测,边缘点往往对应于一阶微分幅值较大的点,同时也对应二阶微分的零点。设定一阶或二阶微分算子求得其梯度或二阶导数过零点,再以适当阀值提取边界。
几何形状识别单元,用于判断矩形、圆形或椭圆形。
本发明的技术构思为:图像处理与计算机视觉是一个不断发展的新技术,原则上采用计算机视觉进行观测有四个步骤,即预处理,底层特征提取,中级特征辨识以及通过图像对高级场景的辨识。一般来说计算机视觉包括主要特征、图像处理以及图像理解。图像所包含的信息是其它信息不可比拟的,图像是人类视觉的延伸,本发明通过机器视觉对图像场景的辨识和在概率统计的基础上达到快速准确地感知机动车是否被人跟踪的目的,有效的保护了人民生命财产的安全。
本发明的有益效果主要表现在:
1.它为机动车反跟踪的实现提供了一种全新的技术手段。机动车驾驶员能集中精力驾驶,提高了机动车驾驶的安全性。
2.它实现了自动反跟踪,集图像采集、处理分析、反跟踪记录、提示于一体,实现了高度的自动化。
3.它为保护人们的个人安全提供了全新的技术保障。