CN100464348C - 视频监视识别智能装置与方法 - Google Patents

Abstract

本发明的装置提供用户对所关心的现场进行视频监视；装置不停摄取现场视频影像，对视频影像中的活动对象进行图像分割提取；对提取的图像检测出人脸面部；对面部进行识别；若是身份合法的人，则不报警，也不存储前述摄取的图像；若识别发现身份不合法的人，则一方面存储前摄取的图像，尤其是面部图像，一方面给出报警；不仅在监视现场给出高音报警，同时进行远程呼叫报警；装置还提供事后调出所存储图像供查看显示。

Description

视频监视识别智能装置与方法

发明领域

本发明所属的技术领域是视频图像处理和图像识别。

背景技术

由台湾人张铭顺提出的申请号为01140234.2的发明专利“数字实时影像监控方法”中，是将设置于不同地点CCTV摄像机的视频影像通过电信线路传送到电信局机房集中存储，然后向客户提供服务，在网上供所需要的用户查看。虽然他也是摄取视频影像，但与本专利应用对象不同，应用方式不同，其几乎没有技术与本专利相同。

申请号为99126617.x的发明专利《微机控制数码监视系统和方法》，是通过微机控制数码相机拍照而起到监视作用的监视系统，微机的控制动作来自于运动感应传感器对外界的感知，而数码相机只是在传感器感应或手工控制下单帧成像，无连续视频输出，最主要的是该系统无任何识别功能。本申请的专利装置无须附加的传感器来感知动作，而依靠摄像头连续视频输入(不丢失现场可能的运动目标)后，由装置的智能图像处理来识别和分割运动目标，本装置在对运动目标进行识别时，如果发现是人，则同时进行人脸检测和面像识别，识别该人的身份是否合法(是否是预先已存储面像者)，发现身份不合法即给出报警，并对活动图像和脸面予以存储。可以说本专利的装置与该系统使用对象不同、使用方式和使用场合不同、核心技术和方法不同，本专利的新颖性完全不受该申请影响。

发明内容

本发明涉及一种装置和装置中使用的方法，该装置通过摄像头监视用户所关心的区域，从监视中发现活动对象，对活动对象分割提取图像，从该图像中检测对象的脸面，对该脸面进行面像识别，判断其是否属于允许进入所监视区域的合法身份人员，若身份合法，则重新监视检测；若身份不合法，则对其脸面和图像予以存储记录，并给出本地报警和远程呼叫报警，远程呼叫既可呼叫主人，也可呼叫就地保安，还可呼叫公安110。装置还提供事后调出所存储图像及脸面予以显示的功能和输出接口。

本装置适用于对所有家庭居室、办公室、机要室、档案室、金融和商品物资场所、仓库等的监视，也适用于各类车辆、机动船、飞机等交通工具进行监视和识别使用；也可以只用于进行现场监视和识别活动目标，一发现活动目标即自动输出显示或远程传送。

申请者在此指出，本人在申请号为02140825.4的发明专利《驾驶员面像识别报警装置与方法》中，已经对“面像识别”、“面像规范化处理”、“面像知识库”等技术和方法提出了权利要求，在该说明书中已就这几项技术进行了详细描述，所以在本申请中就不再对上述几项提出权利要求，在说明书中也不再说明这几项技术。但本专利申请的装置和方法保留使用这样几项技术的权利。

本装置基于嵌入式微处理器组成，核心功能是由软件实现，具有丰富的图像处理和智能识别功能，这是与前述几类装置大相径庭的地方。

为实现上述目的，本发明提供了一种视频监视识别智能装置，该装置包括：核心中央处理器和通信处理器，外接CCD摄像头，由其监视用户所关心的区域，获取视频信号；图像获取部件，接收CCD摄像头获取的视频信号，对其进行数字视频化，得到逐帧图像数据，然后送入中央处理器；所述中央处理器接收所述逐帧图像数据，通过从其中提取第一、二帧作差分计算，又提第三帧与第二帧作差分计算，将两次差分结果求与计算，由与计算的结果得到活动对象的像素分布，从而勾划出活动对象外边沿轮廓，按此轮廓可以从第二帧图像中提取出活动对象；所述通信处理器可以对中央处理器的处理结果进行通信处理。

本发明同时还提供了一种视频监视识别智能方法，包括以下步骤：通过CCD摄像头不停地摄取现场视频影像，获取视频信号；对所获取的视频信号进行数字视频化，得到逐帧图像数据；从逐帧图像数据中提取第一、二帧作差分计算；又提第三帧与第二帧作差分计算，将两次差分结果求与计算；由与计算的结果得到活动对象的像素分布，从而勾划出活动对象外边沿轮廓；按此轮廓可以从第二帧图像中提取出活动对象。

附图说明

附图1是本发明视频监视、识别的智能装置各部分的组成结构图；

附图2是本发明视频监视、识别的智能装置内部电路各模块的方框图；

附图3是监视区合法身份人员体形及面像学习记忆流程；

附图4是监视、识别、存储、报警的主处理流程；

附图404是活动对象提取的处理流程；

附图405是人脸检测处理流程；

具体实施方式

以下参照附图比较详细地说明本发明装置的功能和实现技术与方法。说明文字共分成三大部分，第一部分说明装置的主体硬件组成，第二部分说明软件的智能识别与报警处理技术和方法，第三部分说明系统学习与记忆处理技术与方法。

1、装置硬件组成结构

如说明书附图中图1所示。100是装置的主体——中央处理器，包括通信处理器，中央处理器使用DSP芯片，实现图像处理、识别等主体功能；101为外部安装的CCD摄像头，由其监视用户所关心的区域，CCD获取的视频信号接入图像获取部件，进行视频数字化，然后送入中央处理器处理，本装置对视频图像分辩率定为640×480；106为本装置与以太网通讯的接口，使用常规RJ-45插接方式，中央处理器将处理结果经由通信处理器进行通信处理，再经以太网驱动电路送上双绞线链路，实现按照以太网规程的双向通信；根据需要，通信处理器也可与PSTN方式的调制解调器连接，经由Modem驱动电路驱动电话线接口，接入PSTN链路，这就是图1中107所示；107通过电话线既可传送报警信息，也可远程查看记录的图像；108、109示出图像输出的两种不同方式，108是经过S-Video接口直接接计算机显示器，送出RGB信号；109是送出模拟视频信号直接插接电视机显示；在装置存储了图像和面像以后，用户通过外接显示器或电视机即可进行查看，启动103查看按钮，中央处理器即从装置内部存储器中调出图像数据，经由图像输出模块以上述方式送出。本装置开辟32MB存储区，可存储1000幅经压缩的图像，装置中使用自主的图像压缩算法，可使640×480的图像数据压缩到不超过32KB。在查看时再解压缩恢复予以显示。

111为报警数据通信接口，装置提供无线移动通信插接，实现报警时的远程呼叫；110是外接扬声器，实现装置本地报警高声鸣叫；104是取消报警按钮，按动后停止本地高声呜叫，也停止远地报警重复呼叫；远地经由电话线送回代码也可使得停止报警呜叫；105为录制按钮，使装置进入对合法身份人员体形及面像的学习与记忆处理。

说明书附图2示出装置内部电路各模块方框图。

由图2可见，装置的核心模块DSP CPU经由内部总线连接32MB SDRAM存储器，也连接32MB Flash存储器，还连接Video I/O、Audio I/O、串行I/O、连接I²C总线接口、连接图像协处理器等等。装置中DSP经由PCI和XIO与以太网接口芯片CS8900A通信，CS8900A再连接对双绞线RJ-45的驱动。装置中DSP经由串行I/O连接MOdem驱动芯片STLC7545以驱动电话线链路。

2、装置识别报警主处理流程

本发明装置监视、识别、存储、报警主处理流程在说明书附图4中进行了整体描述，现具体说明如下：

401——系统启动

用户将本装置安装在所要监视现场的合适位置以后，当用户自己及允许的合法身份人员处在现场时，没有必要启动监视；只有当晚上、节假日等某些情况下主人离开不在，现场无人时才需要监视，这时才将装置接上电源，按动图1中102按钮，系统即启动工作，进入本处理流程。

402——摄取视频图像

本装置外接一只CCD摄像头监视用户所关心的场景，可以按PAL制式以不低于25FPS(每秒25帧)的速率采集视频帧；每帧图像分辩率定为640×480或720×576；选择摄像头使在微光下可以获取清晰图像；摄像头视频信号进入装置后，经由内部视频数字化电路进行视频数字化成为逐帧图像数据，此是本系统后续数据处理的主体数据源。

403——图像规范化处理

由于光照条件的不同或偏差对所摄取图像的质量有较大影响，尤其会影响面像识别的准确率，所以在此处对最早取进的图像即进行规范化处理。此处主要进行图像的亮度增强和直方图规格化方法处理，使图像中像素亮度均值达到150～180范围，亮度均方差范围达到30～50。

在对合法身份的人进行面像预存时，也在类似光照情况下摄取图像，还对该图像进行类似的规范化处理。

404——活动对象提取

提取过程如说明书附图中图404活动对象提取处理流程所示，共分为6个步骤，此处对该流程予以说明。

系统启动后即进入工作。

①首先取第一帧视频图像，将其规范化处理后存入第一缓冲区B₁，以备作差分计算；同时开辟另一个数据缓冲区D₁，以备作存放差分结果，此处初始化工作将D₁所有像素都置成1。

②接着取下一帧图像，取进后予以规范化处理，存入第二缓冲区B₂；使图像B₂对图像B₁作全图差分，将差分结果存入缓冲区D₂。

③检查缓冲区D₂中各像素数据，如果都小于阈值，说明没有活动对象进入，不记忆图像和差分结果，程序返回重取新的视频图像；如果有20％以上像素大于阈值，则记录图像B₂作为备查文件，以当前时间为文件名。

④对D₂中数值按阈值进行二值化处理，高于阈值者置1，低于阈值者置0，而阈值拟于按自适应原则确定。

⑤使缓冲区D₂中数据对缓冲区D₁按全图逐像素进行逻辑与计算，结果存入缓冲区Map中；对Map图勾划出外边界轮廓，按此轮廓从图像B₂中提取出活动对象。对此活动图像作为B₂的附属文件予以存储。

⑥将缓冲区B₂中数据存入缓冲区B₁，缓冲区D₂中数据存入缓冲区D₁，为下一次差分和提取活动对象作好准备。

程序进入人脸检测阶段。

405——人脸面像检测

人脸检测即从所提取活动对象中分析和检测出人的面像。人脸检测处理流程在说明书附图图405中示出，此处予以说明。

系统将前述提取的活动图像传输至此，从该图像中截取上部1/5部分作为头肩图像。

逐一扫描头肩图像中每一像素的色度值，将r、g、b分别归一化计算得到R、G、B值；检查该像素的R值是否处在0.3～0.42范围，G值是否在0.25～0.38范围，如果是，则将该像素r、g、b值转化为y、u、v值，再检查u值是否处于70～125范围，v值是否处于126～175范围，如果是，则将对应映射图该像素值置1；如果R、G的值不在该范围，或者u、v值范围也不对，则将对应映射图该像素值置为0；对为0的像素个数进行加计数。

处理完头肩图像每一像素后，检查为0的像素计数是否大于90％，如果是，说明该活动对象对面部进行了伪装，无法进行人脸识别，但其行为可疑，系统对该影像予以存储记载，并进入报警处理；如果为0的像素数少于90％，则程序对映射图中像素值为1的颜色区勾划出外轮廓，然后按此外轮廓从头肩图像中提取出人脸面像，完成面像检测。

406——面像识别

面像识别的具体步骤分为以下三步。

(1)将上述经监视检测到的并已经规范化处理的面像图与原人脸库中特征向量矩阵(特征脸)相计算，得到上述待识别面像在特征脸空间的投影，求出特征值向量结果。计算步骤与公式为：

①计算差值向量，Φ＝X_i-m_x，X_i为待识别面像图对应的一维向量，m_x为训练样本的均值向量；

②归一化计算Φ＝Φ/‖Φ‖；

③计算投影 $W=U_M^T\stackrel{\‾}{\mathrm{\Φ}};$ $U_M^T=[u_1,u_2,\·\·\·,u_M]$ 为原特征脸矩阵。

(2)将所得W与原人脸库中存储的不同人的样本特征值向量分别计算均方差(或计算欧氏距离)。

(3)若均方差结果最小(同时小于阈值)，即识别出所监测图像乃已知的被比较人，其为身份合法者；若结果不小于阈值，则接着计算其他人；若计算完原存所有合法身份人的特征脸，其结果全部都大于阈值，则说明被识别者不属身份合法人之列；程序对取入的多幅面像都进行以上识别，当都不是合法身份者时进入以下处理。

407——存储面像

系统在识别出来到监视区的活动对像其身份不合法时，对已记录的多幅已识别面像予以存储，存储文件名按当时装置的时间“月、日、时、分、秒”作记载；当然都是在压缩以后进行存储，使每个文件的数据量不超过32KB。

408——本地高音报警

装置外接一只高音扬声器，内置音频驱动电路，使报警声响不低于100db；报警时发出一串重复的有节奏感的高音，语音发生通过软件编程实现，方便于改变频率、音调和节奏。

409——程呼叫报警

远程呼叫可通过PSTN方式的电话线路实现，也可通过GRPS方式的无线移动通讯链路实现，只要预存被呼叫的电话号码即可。号码可以是主人的手机或办公室座机，可以是就地保安的告警电话、也可以是公安110的呼叫号码。

410——报警取消

无论就地高音报警还是远程呼叫报警，系统如果没有接到取消指令，则会持续给出，所以装置提供报警取消处理。就地报警取消即按动装置上的取消按钮，停止高音呜叫；远程报警取消，则通过有线或无线电话返回呼叫一次即可。

3、系统学习与记忆处理技术与方法

说明书附图3中示出用户关心区域合法人员体形及面像学习记忆处理流程，现结合该流程作如下说明：

301——设置身份合法人数

对于用户关心区域合法身份人员可能有多个，对每个都应予以记忆存储，所以系统中首先应给定合法人数，以N记载。

302——摄取监视区景像

监视区即用户所关心区域，在此预先摄取该区在无人及光照条件处于被监视状态时的情景，提供识别时作参考。

303——景像规范化处理

即对302中摄取的背景进行按直方图规格化的图像增强处理。

304——存储监视区景像

对上述经规范化处理的监视区背景图像予以存储。

305——拍摄合法人员视频图像

使若干个合法身份人员逐个进入监视区，步行走一小圈，用装置提供的摄像头摄取他们全身前后左右四个方面图像。

特别摄取人脸正面及侧面图像。

306——提取若干单幅全身图像和头部图像

即从305所拍摄全身的视频中提取比较理想的至少是前、后、左、右四幅全身图像，同样提取不少于10幅人脸正面、侧面图像。

307——图像背景清理

对上述提取各幅图像减去其中背景纹理，只留取单纯全身图像和面部图像。

308——全身及面像规范化处理

对所提取各幅全身图像和面像均按直方图规格化方法进行图像增强处理，使样本图像与今后被识别图像在亮度分布上处于同一规范化档次。

309——建库存储各幅图像

对多个合法身份人员的多幅图像统一编号存储，并定出方便查询的索引方法。

310——体形特征求取

即对各位合法身份者身高、头肩及上身、下身的比例、体形特异与行走特异等特征进行分析获取，并予以记载。

311——面像特征值求取

即分别对每个身份合法者所提取的多幅面像经K-L变换，求取特征值与特征向量，建立个人的特征脸。

312——体形及面像知识库建立

此处建立知识库提供装置监视中智能识别时使用。

关于体形的知识即310中提取的各个人的体形特征。

关于面像的知识与本人申请号为02140825.4的专利说明书中所谈面像知识相同。

Claims (11)

1.一种视频监视识别智能装置，该装置包括：核心中央处理器和通信处理器，外接CCD摄像头，由其监视用户所关心的区域，获取视频信号；图像获取部件，接收CCD摄像头获取的视频信号，对其进行数字视频化，得到逐帧图像数据，然后送入中央处理器；所述中央处理器接收所述逐帧图像数据，通过从其中提取第一、二帧作差分计算，又提第三帧与第二帧作差分计算，将两次差分结果求与计算，由与计算的结果得到活动对象的像素分布，从而勾划出活动对象外边沿轮廓，按此轮廓可以从第二帧图像中提取出活动对象；所述通信处理器可以对中央处理器的处理结果进行通信处理。

2.如权利要求1所述视频监视识别智能装置，所述中央处理器可以对所提取出的活动对象进行进一步处理，从所提取活动对象图像中截取上部1/5部分作为头肩图像，再从头肩图像中逐一考察各像素的颜色值，如果与面像颜色相当的像素个数多于10％，则勾划出颜色分布区的外轮廓，以此作为活动对象的人脸。

3.如权利要求1所述视频监视识别智能装置，其中所述CCD摄像头拍摄合法身份人员全身正面、背面、左侧面、右侧面图像，还拍摄该人员头部前后左右各面图像，所述中央处理器从这些图像中提取该人员身高、比例、头、肩特征和面部特征，对全身图像、面部图像均进行标准化处理，特别对面像进行K-L变换提取特征值与特征向量，记忆由特征向量组成的特征脸。

4.如权利要求1所述视频监视识别智能装置，其中所述装置具有与以太网通信的接口，可以将通信处理器处理的结果送上双绞线链路，实现按照以太网规程的双向通信。

5.如权利要求1所述视频监视识别智能装置，其中所述装置具有与电话通信的接口，所述通信处理器可以与调制解调器连接，经由调制解调器电路驱动电话线接口。

6.如权利要求1所述视频监视识别智能装置，其中所述装置的图像输出具有S-Video口和TV out口，可以将输出图像分别送入显示器和电视机进行显示。

7.如权利要求1所述视频监视识别智能装置，其中所述装置具有报警驱动和无线移动通信驱动，可以实现现场高音报警和远程呼叫报警。

8.如权利要求1所述视频监视识别智能装置，其中所述装置还具有启动、查看、录制、报警取消等不同工作方式给定按钮。

9.一种视频监视识别智能方法，包括以下步骤：

通过CCD摄像头不停地摄取现场视频影像，获取视频信号；

对所获取的视频信号进行数字视频化，得到逐帧图像数据；

从逐帧图像数据中提取第一、二帧作差分计算；

又提第三帧与第二帧作差分计算，将两次差分结果求与计算；

由与计算的结果得到活动对象的像素分布，从而勾划出活动对象外边沿轮廓；

按此轮廓可以从第二帧图像中提取出活动对象。

10.如权利要求7所述的视频监视识别智能方法，其中进一步包括：

从所提取活动对象图像中截取上部1/5部分作为头肩图像；

再从头肩图像中逐一考察各像素的颜色值；

如果与面像颜色相当的像素个数多于10％，则勾划出颜色分布区的外轮廓，以此作为活动对象的人脸。

11.如权利要求7所述的视频监视识别智能方法，其中

通过CCD摄像头拍摄合法身份人员全身正面、背面、左侧面、右侧面图像，还拍摄该人员头部前后左右各面图像；

从这些图像中提取该人员身高、比例、头、肩特征和面部特征，对全身图像、面部图像均进行标准化处理，特别对面像进行K-L变换提取特征值与特征向量，记忆由特征向量组成的特征脸，达到对合法身份人员的体形及面像的学习与记忆。

Images