CN1975761A - 人像自动识别的视频数据挖掘系统和方法 - Google Patents
人像自动识别的视频数据挖掘系统和方法 Download PDFInfo
- Publication number
- CN1975761A CN1975761A CN 200610163815 CN200610163815A CN1975761A CN 1975761 A CN1975761 A CN 1975761A CN 200610163815 CN200610163815 CN 200610163815 CN 200610163815 A CN200610163815 A CN 200610163815A CN 1975761 A CN1975761 A CN 1975761A
- Authority
- CN
- China
- Prior art keywords
- portrait
- image
- video
- video data
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
一种用于人像自动识别的视频数据挖掘系统和方法，即利用计算机图形图像处理、计算机视觉技术对拍摄到的静态或动态视频人像图像视频数据进行自动识别，依特征提取人像图像自动识别，提供一种有效的人像自动识别的视频数据记录、存储、挖掘、检索、查询系统和方法，实现对长时间视频录像中、或是海量存储介质量中，对人像识别，并能将某一特殊人物出现的视频过程自动截流，以及将识别过程打包成数据包，建成视频过程数据库，能够实现有效地、短时间内检索或查询特殊人物人像视频过程，应用于需要采集人像的公安布控监控、监狱监控、司法认证、民航安检、口岸出入控制、海关身份验证、智能门禁出入控制的场合。
Description
技术领域：
本发明涉及一种用于人像自动识别的视频数据挖掘系统和方法。即利用计算机图形图像处理、计算机视觉技术对需要采集人像的公安布控监控、监狱监控、司法认证、民航安检、口岸出入控制、海关身份验证、智能门禁出入控制的场合拍摄到的静态或动态视频人像图像视频数据进行自动识别，依特征提取人像图像自动识别，为有关部门或机构提供一种有效的人像自动识别的视频数据记录、存储、挖掘、检索、查询系统和方法。
背景技术：
自世界上一些恐怖袭击事件发生以来，如何在机场、车站、银行等公共场所利用高科技手段，迅速而准确的发现并确认可疑人物成了目前世界各国在反对恐怖活动和安全防范领域中普遍关注的主要技术。为此，各国都投入大量物力人力研究并发展各类识别技术，使得这一技术得到极大发展，其中，目前最受重视并最为有效的技术之一便是人像的自动识别技术。
由于各方面对人像识别系统的迫切需要，人像自动识别是目前计算机视觉领域的一个非常活跃的研究课题。从静止或视频流图像中识别出入像是由于大量商业和法律的需要而成为研究热点的。计算机人像识别技术也就是利用计算机分析人像图像，进而从中提取出有效的识别信息，用来“辨认”身份的一种技术。人像识别技术应用领域广泛，可用于公安系统的罪犯身份识别、驾驶执照及护照等与实际持证人的核对、银行和海关的监控系统及自动门卫系统等。人像识别可用于允许和拒绝人们使用ATM自动提款机或计算机，控制人们在机密区域的进出，在特殊的地方(如银行和商场等)或特定的数据库(如公安局的数据库等)中识别特定人的身份。
现有的人像识别系统中，采用了几种公知的技术工具，可以监控和记录上述地点或是重要场合的人像摄像过程，并能对地点或是重要场合的人像进行记录识别。例如，银行的24小时实时摄像监控过程；固定在机场、车站、监狱监控24小时实时摄像监控过程；这些技术工具的共同特点是将实时发生的过程记录在存储介质如磁盘、硬盘、光盘，或录像带中。但是，随着记录时间的增长、所记录数据量的增大和存储介质数量的增加，人像摄像监控过程数据变成了海量数据，从海量数据的存储介质中提取所需要的每一个具体可疑人物人像过程记录作为取证依据成为一件费时费力的事，甚至难于实现。严重影响对可疑人物人像识别过程中提取该可疑人物人像具体活动地点或场合的实时录像的有效性。
已公开发明专利，申请号02151946.3，公开号CN1417730A，公开日2003年5月14日，公开了一种远程监控智能人像识别户籍管理系统，其特征包括一个或多个远程监控终端，代理服务器，一个或多个本地监控终端，一个或多个智能人像识别装置；远程监控终端通过网络与代理服务器连接，远程监控终端根据代理服务器验证其权限的不同，可以通过网络实现与一个或多个本地监控终端连接，本地监控终端可以连接一个或多个智能人像识别装置。此已公开的发明是基于现有的各类智能人像识别系统上，实现各个智能人像识别系统之间的连接，连成整体的户籍管理网，提供一种能够实现增加或修改住户资料、人口资料查询、人口统计、追逃、查疑和特定人员监控功能的远程监控智能人像识别户籍管理系统。
然而，现有的公知技术和公开发明都没有提供有效的系统和方法解决人像识别海量视频数据挖掘问题。例如，现有的人像识别系统，可以从一幅面像图像中提取面纹数掘(模板)，使用提取的面像数据来进行检索，可以将这一采集的面像与人像库中大量的面像进行比对。当需要将某一特殊人物的人像要进行人像识别时，并且需要从大量的历史录像带中专门查询某一特殊人物出现的视频过程证据，尤其是在大量的历史录像带所存储数据量大或时间跨度长时，检索查询将耗时耗力甚至难于实现。
本发明克服现有技术的问题是解决从海量人像图像数据中有效记录、存储、挖掘、检索、查询和监控对某一特殊人物的人像识别问题以及提取某一特殊人物出现的视频过程，将某一特殊人物出现的视频过程截流，并将截流出来的视频人像识别过程打包成数据包，存入专门的数据库，便于使用。通过采用本发明的特征提取技术和识别截流技术，实现对现有人像识别技术不能解决的问题，即：要在长时间视频录像中、或是海量存储介质量中，对一系列特殊人物人像识别，并能将某一特殊人物出现的视频过程自动截流，以及将自动截流出来的视频人像识别过程打包成数据包，建成特殊人物人像视频过程数据库，要能够实现有效地、短时间内检索或查询特殊人物人像视频过程。
发明内容：
本发明克服了现有技术中的不足，利用计算机图形图像处理、计算机视觉技术对被拍摄到的静态或动态人像视频图像进行自动识别，采用人像中人脸特征提取、观察向量提取和定位，以及综合特征提取和定位，来进行人像识别；并且以定位的基准点进行人像视频图像自动截流；建成特殊人物人像视频过程数据库，能够实现有效地、短时间内检索或查询特殊人物人像视频过程。为人像自动识别系统视频数据提供一种有效的挖掘、记录、存储、检索、查询系统和方法。
一种人像识别系统视频数据挖掘系统，其功能的实现由以下组件的组合完成：
视频器[1]，包括：公知的摄像机，电荷偶合器件摄像机、电荷充放电器件摄像机、电荷注入器件摄像机、金属氧化物半导体摄像机、数字摄像机、数码相机中的任一种，用于采集人像图像；
补光照明器[2]，标准工业照明器，用于弥补视频器采集人像图像时环境光变化和夜间补光；
主控机[3]，包括：标准工业、商用计算机、笔记本电脑，DSP/嵌入式一体机，手持式装置，内含图像采集单元，有/无线通信设备，数据采集单元，内置软件包括标准操作系统，标准数据库；
显示器[4]，是标准计算机显示器、液晶显示器，主要用于显示人像图像中人脸图片的特征信息，待识别的人脸和人脸库中的人脸的相似度信息以及人像自动识别的截流图像的检索结果输出显示；
管理中心服务器[5]，是数据服务器、通信服务器，内含有/无线通信设备，数据采集单元，大容量磁盘存储器；
视频器[1]的接插口与主控机[3]的接插口相连接，显示器[4]的输入端与主控机[2]的显示输出端相连接，补光照明器[2]控制接口与主控机[3]的补光照明器[2]控制输出口相连接，主控机[3]通过计算机通信网络有线、无线与管理中心服务器[5]相连接；以及
主控机[3]，内置本发明的应用软件，包括图像采集控制模块、视频器和补光照明器控制模块、人像自动识别模块、图像压缩模块、自动比对模块、通信模块、人像视频数据挖掘模块；以及
管理中心服务器[5]，内置软件包括标准操作系统，标准数据库，以及本发明的应用软件用于分析、接收、存储、分发、查询、检索和管理有关人像管理信息，包括图像采集控制模块、视频器和补光照明器控制模块、人像自动识别模块、图像压缩模块、自动比对模块、通信模块、人像视频数据挖掘模块、管理模块。
人像自动识别的视频数据挖掘系统，是采用本发明的系统和方法，将某一特殊人物的人像识别的过程记录在文件中，以及对记录文件进行处理和管理。
人像自动识别的视频数据挖掘系统，上述人像自动识别记录文件是包含有人像自动识别过程视频记录和必要文字信息的文件。文件中的视频记录格式是标准图像文件格式，例如BMP、JPEG文件及其系列图像，或MPEG视频流文件。文件中的文字信息可以是图像格式或文本格式，包括人物出现的时间、地点，及其人物背景资料说明等管理信息。人像自动识别过程记录文件可以有一个或多个记录文件，每一个文件中都可以记录某一特殊人物多次在不同地点和不同时间的视频过程。文件存储在主控机[3]和管理中心服务器[5]的磁盘中，以文件夹和数据库方式管理。
人像自动识别的视频数据挖掘系统，视频器[1]的接插口与主控机[3]的接插口相连接，显示器[4]的输入端与主控机[3]的显示输出端相连接，补光照明器[2]控制接口与主控机[3]的补光照明器[2]控制输出口相连接，主控机[3]通过计算机通信网络有线、无线与管理中心服务器[5]相连接。
人像自动识别的视频数据是某一特殊人物在某一地点和某一时间出现的视频流过程图像、系列图像、照片、来自视频流编码文件记录在存储介质是录像带、磁盘、硬盘、光盘中的任意一种。
人像自动识别的视频数据挖掘系统，人像自动识别的视频流是人像自动识别的视频数据挖掘系统中含有人像视频数据挖掘模块，视频数据挖掘模块对记录文件中的某一特殊人物在某一地点和某一时间出现的过程视频图像自动截流，从任意位置作为起点到任意位置作为终点，顺序进行图像采样，提取人像中人脸特征提取、观察向量提取和定位，以及综合特征提取和定位，来进行人像识别；以识别出某一特殊人物的最初时刻的图像作为基准点，进行自动截流，该时间段的时间值可根据实际应用需要调整。
人像自动识别的视频数据挖掘系统，管理中心服务器[6]通过有线、无线通信方式与工作站，采集单元联接形成计算机网络；其中，工作站分为现场工作站和中心工作站，现场工作站指工作站安装在按警现场，中心工作站指工作站安装在管理中心。
人像自动识别的车辆视频数据挖掘系统，所述的人像自动识别的视频数据挖掘系统是一种手持式人像自动识别的视频数据挖掘系统，由视频器[1]，主控机[3]，和显示器[4]构成，外接补光照明器[2]，手持式人像自动识别检索系统在采集人像的视频过程的同时，对采集图像进行实时特征提取，数据挖掘模块自动截流和生成数据包，结果可存储在系统中，通过有线/无线方式、文件拷贝方式传输到管理中心服务器[5]以及其它应用系统中作为进一步管理用。
主控机[3]，内置本发明的应用软件，包括图像采集控制模块、视频器和补光照明器控制模块、车牌照识别模块、图像压缩模块、自动比对模块、通信模块、人像视频数据挖掘模块、人像数据检索模块、管理模块；以及
管理中心服务器[5]，内置软件包括标准操作系统，标准数据库，以及本发明的应用软件用于分析、接收、存储、分发、查询、管理所有特殊人物人像识别的管理信息，包括图像采集控制模块、视频器和补光照明器控制模块、人像自动识别模块、图像压缩模块、自动比对模块、通信模块、人像自动识别视频数据挖掘模块、人像数据检索模块、管理模块。
人像自动识别的视频数据挖掘系统，人像自动识别的过程的记录是由单幅图像完成，数据挖掘模块则只截流基准点时刻的图像即原始图像自动截流；人像自动识别的过程的记录是由系列图像完成，则以基准点为中心，将基准点前和后可调数量幅图像截流；人像自动识别的过程的记录是由视频流完成，则以基准点为中心，将基准点前和后可调时间段视频流截流。
人像自动识别的视频数据挖掘系统，用截流后的图像为基础生成对应各个特殊人物人像识别的管理信息的数据包，每一个数据包的数据组成包括某一特殊人物人像自动识别过程截流图像，时间、地点及其某一特殊人物背景资料的管理信息。
人像自动识别的视频数据挖掘系统，由现场工作站将视频数据导入的记录文件通过有线、无线方式传输到中心工作站，由中心工作站对记录文件进行处理和管理，结果存储在中心工作站同时存储在管理中心服务器[5]中。
一种人像自动识别的视频数据挖掘方法，包括以下步骤：
硬件设备包括：视频器[1]、补光照明器[2]、主控机[3]、显示器[4]、管理中心服务器[5]；
用视频器[1]对需要采集人像的公安布控监控、监狱监控、司法认证、民航安检、口岸出入控制、海关身份验证、智能门禁出入控制的场合的任意一种进行人像拍摄。
人像图像是视频流图像、系列图像、照片、来自视频流编码文件记录在存储介质是录像带、磁盘、硬盘、光盘中的任意一种。
人像图像是多人像图像；人像图像是复杂背景下的人像图像。
人像自动识别的视频数据挖掘主控机[3]中含有视频数据挖掘模块，视频数据挖掘模块对记录文件中的人像视频图像自动截流，从任意位置作为起点到任意位置作为终点，顺序进行图像采样，提取人像特征，自动识别人脸，以识别出人脸时刻的图像作为基准点，进行自动截流，该时间段的时间值可根据实际应用需要调整。
数据挖掘模块自动分析每一幅图像，用人脸特征提取、观察向量提取和定位，以及综合特征提取和定位，以定位的基准点进行自动截流，该时间段的时间值可根据实际应用需要调整。
人像图像是由单幅图像完成，数据挖掘模块则只截流基准点时刻的图像即原始图像自动截流。
人像自动识别的视频数据挖掘系统，用截流后的图像为基础生成对应各个人像的数据包，每一个数据包的数据组成包括人像截流图像编号，采集人像图像的时间、地点，特殊标志，及其管理信息，进行组合、模糊查询。
数据挖掘模块中的图像采样频率是可调的，低频每秒1至25帧，高频每秒大于25帧，采样频率的调整是根据采集单元中视频器和主控机的选型配置而定。
由现场工作站将视频数据导入的记录文件通过有线、无线方式传输到中心工作站，由中心工作站对记录文件进行处理和管理，结果存储在中心工作站同时存储在管理中心服务器[5]中，由中心工作站管理；
由现场工作站视频数据导入的记录文件，对记录文件进行处理和管理，同时将导入的记录文件和结果通过有线、无线方式传输到中心工作站和管理中心服务器[5]中，由中心工作站对记录文件进行处理、与现场工作站处理结果进行核对、以及管理，由中心工作站管理。
人像自动识别的视频数据挖掘方法，数据挖掘模块中的图像采样频率是可调的，低频每秒1至25帧，高频每秒大于25帧，采样频率的调整是根据采集单元中视频器和主控机[3]的选型配置而定。
人像自动识别的视频数据挖掘系统，对采集单元，以及上述记录文件的获取详细说明如下：
来自本发明的采集单元
1)由视频器[1]中的模拟和/或数字摄像机构成采集单元，例如家用或商业用DV，可以将人像图像视频过程拍摄并记录在磁带或摄像机的存储器中；
2)由视频器[1]中的模拟和/或数字摄像机构成采集单元，例如照相机，可以将人像图像视频过程拍摄并记录在照相机底片或数码照相机的存储器中；
3)由视频器[1]中的模拟和/或数字摄像机、主控机[3]中的笔记本电脑以及公知的电源(如车载发电机，蓄电池)通过如1394/PCMCA接口联接构成采集单元，可以将人像图像视频过程拍摄并记录在笔记本电脑硬盘中；
4)由视频器[1]中的模拟和/或数字摄像机、补光照明器[2]、主控机[3]中的工控机、显示器[4]以及公知的电源(如车载发电机，蓄电池)构成采集单元，可以将人像图像视频过程拍摄并记录在主控机[3]中；
5)上述采集单元可以固定安装在机场出入口、特殊交通路口、110治安卡口以及需要安装人像识别系统的场合等，也可以作为手持系统使用。
来自公知设备
6)由其它公知的技术工具，例如电子门禁、固定或移动式人像录入设备、专用监控系统、手持式设备如手机等，拍摄并以通用文件格式和标准传输方式(例如网络传输、文件拷贝)提供给本发明系统的记录文件。
人像自动识别的视频数据挖掘系统，由工作站实现对人像录入过程记录文件进行处理和管理的功能，对工作站说明如下：
1)由主控机[3]和显示器[4]构成独立工作站，例如工业控制机、商用计算机，或笔记本电脑(自带显示器)；
2)由采集单元自身的工业控制机、商用计算机或笔记本电脑兼工作站，指采集单元包含有主控机[3]的工作方式；
3)由管理中心服务器[5]兼工作站。
人像自动识别的车辆视频数据挖掘系统，对上述人像自动识别过程记录文件进行处理和管理的说明如下：
1)导入上述视频人像图像记录文件，对于标准文件格式的记录通过标准网络传输、文件拷贝方式导入工作站磁盘；对于非标准文件格式的记录(如磁带上记录的模拟视频图像)，可以将采集单元与工作站进行物理连接，由工作站将其转化为标准文件并存储在工作站磁盘中，或者通过其它专业设备将其转化为标准文件并存储在工作站磁盘中；
2)对上述视频人像图像导入的，某个记录文件、或依次对某一批记录文件中的某一个特殊人像过程视频图像，从任意位置作为起点到任意位置作为终点，顺序进行图像采样，提取人像特征，以识别出某一个特殊人像时刻的图像作为基准点，人像自动识别的视频数据挖掘系统中的视频数据挖掘模块按照以下描述的不同情况分别采取不同方式进行自动截流：
●如果每一次人像录入过程的记录是由单幅图像完成，则只截流基准点时刻的图像即原始图像；
●如果每一次人像录入过程的记录是由系列图像完成，则以基准点为中心，将基准点前和后可调数量幅图像截流；
●如果每一次的人像录入记录是由视频流完成，则以基准点为中心，将基准点前和后可调时间段视频流截流。
3)用截流后的图像为基础生成对应各个特殊人像的数据包。每一个数据包的数据组成包括人像录入过程截流图像，时间、地点，及其管理信息；
4)对数据包中的内容进行存储，查询，打印，导出，发布和管理；
5)所生成的数据包以数据库方式存储管理，可以用数据包的数据组成信息，包括人像录入过程截流图像，时间、地点，及其管理信息，进行组合或模糊查询；
6)另外，可以用识别出的某一特殊人物人像与布控数据库进行自动比对，如果发现是布控人像数据库中的黑名单人物，则发出声光提示报警信息，黑名单特殊人物人像类型包括记录在案、犯罪嫌疑、在逃或通缉对象人像等；
7)可以对上述截流后的图像进行压缩处理，以减少存储空间、降低存储设备造价、提高查询效率。
人像自动识别的视频数据挖掘系统，上述人像过程记录文件进行处理和管理操作时：
1)图像采样频率是可调的，低频每秒1至25帧，高频每秒大于25帧，采样频率的调整根据是采集单元中视频器[1]和/或主控机[3]的选型配置；
2)提取人像特征，识别某一特殊人物人像时，如果识别有误或无法识别，可以进行人工修正；
3)自动截流时，可以人工干预截流过程；
4)生成各个特殊人物的数据包时，可以人工修正数据包文字信息。
人像自动识别的视频数据挖掘系统，由管理中心实现对人像录入过程进行处理的网络化管理系统，参见系统原理图，对管理中心说明如下：
1)管理中心服务器[5]通过有线、无线通信方式与工作站，采集单元联接形成计算机网络。其中，工作站分为现场工作站和中心工作站，现场工作站指工作站安装在治安卡口现场，中心工作站指工作站安装在管理中心。服务器、现场工作站和中心工作站的数量根据业务量的大小决定；
2)由现场工作站将上述导入的记录文件通过有线、无线方式传输到中心工作站，由中心工作站对记录文件进行处理和管理，结果存储在中心工作站同时存储在管理中心服务器[5]中；
3)由现场工作站导入上述的记录文件，对记录文件进行处理和管理，将结果通过有线、无线方式传输到中心工作站和管理中心服务器[5]中进行管理；
4)由现场工作站导入上述的记录文件，对记录文件进行处理和管理，同时将导入的记录文件和结果通过有线、无线方式传输到中心工作站和管理中心服务器[5]中，由中心工作站对记录文件进行处理、与现场工作站处理结果进行核对、以及管理；
5)管理中心服务器[5]可以根据需要存储原始记录文件。
人像自动识别的视频数据挖掘系统，由采集单元构成的独立应用系统，可以采集和记录人像过程图像，如果采集单元包含主控机[3]，还可以对不同采集方式和来源的记录文件自动截流并生成各个人物人像数据包，存储，检索，查询，打印，取证，传输。
人像自动识别的视频数据挖掘系统，由工作站构成的独立应用系统，可以对不同采集方式和来源的记录文件自动截流并生成各个特殊人物人像数据包，存储，检索，查询，打印，取证，传输。
人像自动识别的视频数据挖掘系统，由工作站构成的独立应用系统，可以对不同采集方式和来源的记录文件自动截流并生成各个特殊人物人像数据包，存储，检索，查询，打印，取证，传输。
人像自动识别的视频数据挖掘系统，由管理中心服务器[5]和中心工作站构成的独立应用系统，可以对不同采集方式和来源的记录文件自动截流并生成各个特殊人物人像数据包，存储，检索，查询，打印，取证，传输。
人像自动识别的视频数据挖掘系统，由管理中心服务器[5]、中心工作站组成，可以对录入人像过程进行处理、管理和发布的网络化管理系统。
此外，本发明还提供了一种实时人像自动识别的检索系统，由视频器[1]，主控机[3]，和显示器[4]构成，可外接补光照明器[2]。人像自动识别的检索系统在采集人物人像过程的同时，采用上述的方法对采集图像进行实时特征提取，自动截流和生成数据包，结果可存储在系统中，或通过有线/无线方式、文件拷贝方式传输到其它应用系统中作为进一步管理用。系统可以手持式或固定安装式工作。
附图说明：
通过以下参考附图对本发明优选实施例的描述，本发明的这些和其它的优点、目的和特征将变得更加清楚，其中：
图1为本发明的人像自动识别的视频数据挖掘系统和方法硬件连接示意图
图面说明：视频器[1]，补光照明器[2]，主控机[3]，显示器[4]，管理中心服务器[5]
图2为本发明的人像自动识别的视频数据挖掘系统和方法的系统图
图3为本发明的人像自动识别的视频数据挖掘系统和方法的主要工作流程图
图4为本发明的人像自动识别的视频数据挖掘系统和方法的主要模块原理图
具体实施方式
下面结合附图和具体实施例来对发明所述的人像自动识别的视频数据挖掘系统和方法作进一步的说明。
(一)对固定点出入控制的场合进行人像视频拍摄自动识别的视频数据挖掘系统
在需要采集人像的公安布控监控、监狱监控、司法认证、民航安检、口岸出入控制、海关身份验证、智能门禁出入控制的场合安装本发明的视频器[1]，补光照明器[2]，主控机[3]，显示器[4]，管理中心服务器[5]以及中心工作站。视频器[1]对出入控制的场合进行人像拍摄，当在夜晚和光线不足时使用补光照明器[2]。主控机[3]对采集到的人像视频流进行处理，主控机[3]中含有视频数据挖掘模块，视频数据挖掘模块对记录文件中的特殊人物的人像视频图像自动截流，从任意位置作为起点到任意位置作为终点，顺序进行图像采样，提取人像特征，自动识别人脸，以识别出人脸时刻的图像作为基准点，进行自动截流，该时间段的时间值可根据实际应用需要调整。
主控机[3]中的数据挖掘模块自动分析每一幅图像，用人脸特征提取、观察向量提取和定位，以及综合特征提取和定位，以定位的基准点进行自动截流，该时间段的时间值可根据实际应用需要调整。
对截流的特殊人物的人像视频图像生成各个特殊人物人像数据包，存储，检索，查询，打印，取证，传输到管理中心服务器[5]和/或中心工作站。
另外，可以用识别出的某一特殊人物人像与布控数据库进行自动比对，如果发现是布控人像数据库中的黑名单人物，则发出声光提示报警信息，黑名单特殊人物人像类型包括记录在案、犯罪嫌疑、在逃或通缉对象人像等；固定点警务站的警察便可采取行动抓捕犯罪嫌疑人。
(二)手持系统进行人像视频拍摄自动识别的视频数据挖掘系统
手持式系统进行人像视频拍摄自动识别的视频数据挖掘系统主要是应用于特殊交通路口、110治安卡口、以及某些突发情况下临时对关键通道处的设卡，对往来犯罪嫌疑、在逃或通缉对象进行人像快速识别等场合。
手持式人像自动识别的视频数据挖掘系统，由视频器[1]，主控机[3]，和显示器[4]构成，外接补光照明器[2]，手持式人像自动识别的截流系统在采集多人像图像过程的同时，对采集图像进行实时特征提取，数据挖掘模块自动截流和生成数据包，结果可存储在系统中，通过有线/无线方式、文件拷贝方式传输到管理中心服务器[5]以及其它应用系统中作为进一步管理用。
本系统实施例的应用可提高临时警务站的警察对可能往来犯罪嫌疑、在逃或通缉对象进行人像快速识别的效率，尤其是对各类长途汽车通过临时警务站卡口检查时，警察可方便地使用手持式人像自动识别的视频数据挖掘系统对乘坐在车内的乘客进行人像拍摄，便能即时地发现是否有布控人像数据库中的黑名单人物，若有则发出声光提示报警信息。黑名单特殊人物人像类型包括记录在案、犯罪嫌疑、在逃或通缉对象人像等；警务站的警察便可采取行动抓捕犯罪嫌疑人。
(三)对不同采集方式和来源的记录文件进行人像自动识别的视频数据挖掘系统
本发明实施例主要是利用本发明的技术解决方案和技术手段有效地解决随着记录时间的增长、所记录数据量的增大和存储介质数量的增加，人像摄像监控过程数据变成了海量数据，从海量数据的存储介质中提取所需要的每一个特殊人物人像过程记录作为取证依据。也就达到本发明的技术效果，从海量数据中获取特殊人物人像的视频流截流后生成的数据包，供相关部门或人员使用。
采用和安装主控机[3]，显示器[4]，管理中心服务器[5]以及中心工作站。将人像图像是视频流图像、系列图像、照片、来自视频流编码文件记录在存储介质是录像带、磁盘、硬盘、光盘中的任意一种导入到主控机[3]中，主控机[3]中含有视频数据挖掘模块，视频数据挖掘模块对记录文件中的人像视频图像自动截流，从任意位置作为起点到任意位置作为终点，顺序进行图像采样，提取人像特征，自动识别人脸，以识别出人脸时刻的图像作为基准点，进行自动截流，该时间段的时间值可根据实际应用需要调整。
数据挖掘模块自动分析每一幅图像，用人脸特征提取、观察向量提取和定位，以及综合特征提取和定位，以定位的基准点进行自动截流，该时间段的时间值可根掘实际应用需要调整。
人像图像是由单幅图像完成，数据挖掘模块则只截流基准点时刻的图像即原始图像自动截流。
人像自动识别的视频数据挖掘系统，用截流后的图像为基础生成对应各个人像的数据包，每一个数据包的数据组成包括人像截流图像编号，采集入像图像的时间、地点，特殊标志，及其管理信息，进行组合、模糊查询。
数据挖掘模块中的图像采样频率是可调的，低频每秒1至25帧，高频每秒大于25帧，采样频率的调整是根据采集单元中视频器和主控机的选型配置而定。
本发明此优选实施例与现有技术相比具有的显著进步是：通过采用本发明的特征提取技术和识别截流技术，实现对现有人像识别技术不能解决的问题，即：要在长时间视频录像中、或是海量存储介质量中，对一系列特殊人物人像识别，并能将某一特殊人物出现的视频过程自动截流，以及将自动截流出来的视频人像识别过程打包成数据包，建成特殊人物人像视频过程数据库，实现有效地、短时间内检索或查询特殊人物人像视频过程。
需要说明的是，本发明的特定例已经对本发明所述的人像自动识别的视频数据挖掘系统和方法进行了详细的描述，对于本领域的技术人员来说，在不背离本发明所述方法的精神和范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。
Claims (15)
1.一种人像自动识别的视频数据挖掘系统，包括：
视频器[1]，包括：公知的摄像机，电荷偶合器件摄像机、电荷充放电器件摄像机、电荷注入器件摄像机、金属氧化物半导体摄像机、数字摄像机、数码相机中的任一种，用于采集人像图像；
补光照明器[2]，标准工业照明器，用于弥补视频器采集人像图像时环境光变化和夜间补光；
主控机[3]，包括：标准工业、商用计算机、笔记本电脑，DSP/嵌入式一体机，手持式装置，内含图像采集单元，有/无线通信设备，数据采集单元，内置软件包括标准操作系统，标准数据库；
显示器[4]，是标准计算机显示器、液晶显示器，主要用于显示人像图像中人脸图片的特征信息，待识别的人脸和人脸库中的人脸的相似度信息以及人像自动识别的截流图像的检索结果输出显示；
管理中心服务器[5]，是数据服务器、通信服务器，内含有/无线通信设备，数据采集单元，大容量磁盘存储器；
其特征在于，视频器[1]的接插口与主控机[3]的接插口相连接，显示器[4]的输入端与主控机[2]的显示输出端相连接，补光照明器[2]控制接口与主控机[3]的补光照明器[2]控制输出口相连接，主控机[3]通过计算机通信网络有线、无线与管理中心服务器[5]相连接；以及
主控机[3]，内置本发明的应用软件，包括图像采集控制模块、视频器和补光照明器控制模块、人像自动识别模块、图像压缩模块、自动比对模块、通信模块、人像视频数据挖掘模块；以及
管理中心服务器[5]，内置软件包括标准操作系统，标准数据库，以及本发明的应用软件用于分析、接收、存储、分发、查询、检索和管理有关人像管理信息，包括图像采集控制模块、视频器和补光照明器控制模块、人像自动识别模块、图像压缩模块、自动比对模块、通信模块、人像视频数据挖掘模块、管理模块。
2.根据权利要求1的人像自动识别的视频数据挖掘系统，其特征在于，人像图像是视频流图像、系列图像、照片、来自视频流编码文件记录在存储介质是录像带、磁盘、硬盘、光盘中的任意一种。
3.根据权利要求1的人像自动识别的视频数据挖掘系统，其特征在于，人像图像是多人像图像。
4.根据权利要求1的人像自动识别的视频数据挖掘系统，其特征在于，人像图像是复杂背景下的人像图像。
5.根据权利要求1的人像自动识别的视频数据挖掘系统，其特征在于，人像自动识别的视频数据挖掘系统中含有视频数据挖掘模块，视频数据挖掘模块对人像视频流图像自动截流，从任意位置作为起点到任意位置作为终点，顺序进行图像采样，提取人脸特征与人脸库特征数据的图像作为基准点，进行自动截流，该时间段的时间值可根据实际应用需要调整。
6.根据权利要求5的人像自动识别的系统，其特征在于，人像自动识别的视频数据挖掘系统中提取的人脸特征是指特征提取和观察向量提取。
7.根据权利要求6的人像自动识别的视频数据挖掘系统，其特征在于，人像自动识别的视频数据挖掘系统中特征提取是：
int FeatureExtract(
int n Width，
int nHeight，
char*pRgb，
int nFlags，
int*pcbBytes，
char*pFeatureData
)；
其中参数
nWidth [in]图像宽度，单位为像素(pixel)
nHeight[in]图像高度，单位为像素(pixel)
pRgb [in]人脸图片的RGB数据地址
nFlags [in]保留参数，设为0
pcbBytes[in/out]输入用户分配的指针pFeatureData指向的内存块长度；输出特征值的实际长度，单位为Byte
pFeatureData[out]提取的特征值
输入图片尺寸范围为64×64-512×512，最优尺寸为100×125像素点。
8.根据权利要求6的人像自动识别的视频数据挖掘系统，其特征在于，人像自动识别的系统中观察向量提取是：
int FeatureExtract(
int n Width，
int nHeight，
char*pRgb，
int nFlags，
int*pcbBytes，
char*pFeatureData
)；
其中参数
nWidth [in]图像宽度，单位为像素(pixel)
nHeight[in]图像高度，单位为像素(pixel)
pRgb [in]人脸图片的RGB数据地址
nFlags [in]保留参数，设为0
pcbBytes[in/out]输入用户分配的指针pFeatureData指向的内存块长度；输出特征值的实际长度，单位为Byte
pFeatureData[out]提取的特征值
输入图片尺寸范围为64×64-512×512，最优尺寸为100×125像素点。
9.根据权利要求1的人像自动识别的视频数据挖掘系统，其特征在于，管理中心服务器[5]通过有线、无线通信方式与工作站，采集单元联接形成计算机网络；其中，工作站分为现场工作站和中心工作站，现场工作站指工作站安装在人像识别监控现场，中心工作站指工作站安装在人像识别监控管理中心。
10.根据权利要求1的人像自动识别的视频数据挖掘系统，其特征在于，所述的系统是一种手持式人像自动识别的视频数据挖掘系统，由视频器[1]，主控机[3]，和显示器[4]构成，外接补光照明器[2]，手持式人像自动识别的截流系统在采集多人像图像过程的同时，对采集图像进行实时特征提取，数据挖掘模块自动截流和生成数据包，结果可存储在系统中，通过有线/无线方式、文件拷贝方式传输到管理中心服务器[5]以及其它应用系统中作为进一步管理用。
11.根据权利要求1的人像自动识别的视频数据挖掘系统，其特征在于，多人像图像的记录是由单幅图像完成，数据挖掘模块则只截流基准点时刻的图像即原始图像自动截流；多人像图像是由系列图像完成，则以基准点为中心，将基准点前和后可调数量幅图像截流；人像的记录是由视频流完成，则以基准点为中心，将基准点前和后可调时间段视频流截流。
12.根据权利要求9的人像自动识别的视频数据挖掘系统，其特征在于，由现场工作站将视频数据导入的记录文件通过有线、无线方式传输到中心工作站，由中心工作站对记录文件进行处理和管理，结果存储在中心工作站同时存储在管理中心服务器[5]中，由中心工作站管理。
13.根据权利要求11的人像自动识别的视频数据挖掘系统，其特征在于，用截流后的图像为基础生成对应各个人像的数据包，每一个数据包的数据组成包括人像截流图像编号，采集人像图像的时间、地点，特殊标志，及其管理信息，进行组合、模糊查询。
14.一种人像自动识别的视频数据挖掘方法，包括以下步骤：
硬件设备包括：视频器[1]、补光照明器[2]、主控机[3]、显示器[4]、管理中心服务器[5]；用视频器[1]对需要采集人像的公安布控监控、监狱监控、司法认证、民航安检、口岸出入控制、海关身份验证、智能门禁出入控制的场合的任意一种进行人像拍摄；
其特征在于，人像图像是视频流图像、系列图像、照片、来自视频流编码文件记录在存储介质是录像带、磁盘、硬盘、光盘中的任意一种；
人像图像是多人像图像；人像图像是复杂背景下的人像图像；
人像自动识别的视频数据挖掘主控机[3]中含有视频数据挖掘模块，视频数据挖掘模块对记录文件中的人像视频图像自动截流，从任意位置作为起点到任意位置作为终点，顺序进行图像采样，提取人像特征，自动识别人脸，以识别出人脸时刻的图像作为基准点，进行自动截流，该时间段的时间值可根据实际应用需要调整；
数据挖掘模块自动分析每一幅图像，用人脸特征提取、观察向量提取和定位，以及综合特征提取和定位，以定位的基准点进行自动截流，该时间段的时间值可根据实际应用需要调整；
人像图像是由单幅图像完成，数据挖掘模块则只截流基准点时刻的图像即原始图像自动截流；
人像自动识别的视频数据挖掘系统，用截流后的图像为基础生成对应各个人像的数据包，每一个数据包的数据组成包括人像截流图像编号，采集人像图像的时间、地点，特殊标志，及其管理信息，进行组合、模糊查询；
所生成的数据包以数据库方式存储管理；以及
由现场工作站将视频数据导入的记录文件通过有线、无线方式传输到中心工作站，由中心工作站对记录文件进行处理和管理，结果存储在中心工作站同时存储在管理中心服务器[5]中，由中心工作站管理；
由现场工作站将视频数据导入的记录文件，对记录文件进行处理和管理，将结果通过有线、无线方式传输到中心工作站和管理中心服务器[5]中进行管理，由中心工作站管理；
由现场工作站视频数据导入的记录文件，对记录文件进行处理和管理，同时将导入的记录文件和结果通过有线、无线方式传输到中心工作站和管理中心服务器[5]中，由中心工作站对记录文件进行处理、与现场工作站处理结果进行核对、以及管理。
15.根据上述的权利要求14的人像自动识别的视频数据挖掘方法，其特征在于，数据挖掘模块中的图像采样频率是可调的，低频每秒1至25帧，高频每秒大于25帧，采样频率的调整是根据采集单元中视频器和主控机的选型配置而定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200610163815 CN1975761A (zh) | 2006-12-15 | 2006-12-15 | 人像自动识别的视频数据挖掘系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200610163815 CN1975761A (zh) | 2006-12-15 | 2006-12-15 | 人像自动识别的视频数据挖掘系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1975761A true CN1975761A (zh) | 2007-06-06 |
Family
ID=38125812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200610163815 Pending CN1975761A (zh) | 2006-12-15 | 2006-12-15 | 人像自动识别的视频数据挖掘系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1975761A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101414387B (zh) * | 2007-10-19 | 2010-06-02 | 汉王科技股份有限公司 | 嵌入式人脸识别门禁考勤机 |
| WO2010105535A1 (zh) * | 2009-03-17 | 2010-09-23 | 腾讯科技（深圳）有限公司 | 对用户进行视频认证的方法和装置 |
| CN101984452A (zh) * | 2010-10-29 | 2011-03-09 | 北京工业大学 | 灰度图中视觉注意区域转移预测方法 |
| CN102170563A (zh) * | 2011-03-24 | 2011-08-31 | 杭州海康威视软件有限公司 | 智能人员卡口系统及人员监控管理方法 |
| CN101814133B (zh) * | 2009-12-04 | 2011-09-28 | 四川川大智胜软件股份有限公司 | 一种基于计算机视觉监视技术的火焰智能检测方法 |
| CN101470808B (zh) * | 2007-12-24 | 2011-11-02 | 北大方正集团有限公司 | 一种获取平面几何形状特征信息的方法及装置 |
| CN101770579B (zh) * | 2008-12-30 | 2011-11-23 | 北大方正集团有限公司 | 一种图像目标的特征描述方法 |
| CN101216884B (zh) * | 2007-12-29 | 2012-04-18 | 北京中星微电子有限公司 | 一种人脸认证的方法及系统 |
| CN101539999B (zh) * | 2008-03-19 | 2013-03-06 | 北大方正集团有限公司 | 平面几何形状的识别方法及装置 |
| CN103220502A (zh) * | 2013-03-26 | 2013-07-24 | 苏州福丰科技有限公司 | Dsp嵌入式视频人脸采集网络服务器 |
| CN101743545B (zh) * | 2007-07-18 | 2013-08-07 | 恩斯沃尔斯有限责任公司 | 提供动态图像检索服务的方法和装置 |
| CN102044098B (zh) * | 2009-10-23 | 2014-04-02 | 上海贝尔股份有限公司 | 基于视频智能监控平台的门禁系统和门禁控制方法 |
| CN106022321A (zh) * | 2016-07-18 | 2016-10-12 | 北京红马传媒文化发展有限公司 | 一种采集设备和基于采集设备的人脸识别设备终端 |
| CN107729562A (zh) * | 2017-11-09 | 2018-02-23 | 成都钰月科技有限责任公司 | 人像自动识别的视频数据挖掘系统和方法 |
| CN108228776A (zh) * | 2017-12-28 | 2018-06-29 | 广东欧珀移动通信有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| CN108460356A (zh) * | 2018-03-13 | 2018-08-28 | 上海海事大学 | 一种基于监控系统的人脸图像自动处理系统 |
| CN108881816A (zh) * | 2017-10-12 | 2018-11-23 | 北京旷视科技有限公司 | 录像文件的生成方法、装置及计算机存储介质 |
| CN109120896A (zh) * | 2018-08-26 | 2019-01-01 | 俞绍富 | 安防视频监控卫士系统 |
| CN111597385A (zh) * | 2020-05-07 | 2020-08-28 | 涂晋熙 | 基于人像识别的视频档案处理方法及系统 |
| CN113536966A (zh) * | 2021-06-25 | 2021-10-22 | 佛山君兰智能科技有限公司 | 一种基于物联网的人脸识别系统及方法 |
-
2006
- 2006-12-15 CN CN 200610163815 patent/CN1975761A/zh active Pending
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101743545B (zh) * | 2007-07-18 | 2013-08-07 | 恩斯沃尔斯有限责任公司 | 提供动态图像检索服务的方法和装置 |
| CN101414387B (zh) * | 2007-10-19 | 2010-06-02 | 汉王科技股份有限公司 | 嵌入式人脸识别门禁考勤机 |
| CN101470808B (zh) * | 2007-12-24 | 2011-11-02 | 北大方正集团有限公司 | 一种获取平面几何形状特征信息的方法及装置 |
| CN101216884B (zh) * | 2007-12-29 | 2012-04-18 | 北京中星微电子有限公司 | 一种人脸认证的方法及系统 |
| CN101539999B (zh) * | 2008-03-19 | 2013-03-06 | 北大方正集团有限公司 | 平面几何形状的识别方法及装置 |
| CN101770579B (zh) * | 2008-12-30 | 2011-11-23 | 北大方正集团有限公司 | 一种图像目标的特征描述方法 |
| WO2010105535A1 (zh) * | 2009-03-17 | 2010-09-23 | 腾讯科技（深圳）有限公司 | 对用户进行视频认证的方法和装置 |
| CN102044098B (zh) * | 2009-10-23 | 2014-04-02 | 上海贝尔股份有限公司 | 基于视频智能监控平台的门禁系统和门禁控制方法 |
| CN101814133B (zh) * | 2009-12-04 | 2011-09-28 | 四川川大智胜软件股份有限公司 | 一种基于计算机视觉监视技术的火焰智能检测方法 |
| CN101984452A (zh) * | 2010-10-29 | 2011-03-09 | 北京工业大学 | 灰度图中视觉注意区域转移预测方法 |
| CN102170563A (zh) * | 2011-03-24 | 2011-08-31 | 杭州海康威视软件有限公司 | 智能人员卡口系统及人员监控管理方法 |
| CN103220502A (zh) * | 2013-03-26 | 2013-07-24 | 苏州福丰科技有限公司 | Dsp嵌入式视频人脸采集网络服务器 |
| CN106022321A (zh) * | 2016-07-18 | 2016-10-12 | 北京红马传媒文化发展有限公司 | 一种采集设备和基于采集设备的人脸识别设备终端 |
| CN108881816A (zh) * | 2017-10-12 | 2018-11-23 | 北京旷视科技有限公司 | 录像文件的生成方法、装置及计算机存储介质 |
| CN107729562A (zh) * | 2017-11-09 | 2018-02-23 | 成都钰月科技有限责任公司 | 人像自动识别的视频数据挖掘系统和方法 |
| CN108228776A (zh) * | 2017-12-28 | 2018-06-29 | 广东欧珀移动通信有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| CN108228776B (zh) * | 2017-12-28 | 2020-07-07 | Oppo广东移动通信有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| CN108460356A (zh) * | 2018-03-13 | 2018-08-28 | 上海海事大学 | 一种基于监控系统的人脸图像自动处理系统 |
| CN108460356B (zh) * | 2018-03-13 | 2021-10-29 | 上海海事大学 | 一种基于监控系统的人脸图像自动处理系统 |
| CN109120896A (zh) * | 2018-08-26 | 2019-01-01 | 俞绍富 | 安防视频监控卫士系统 |
| CN109120896B (zh) * | 2018-08-26 | 2021-02-09 | 武汉云创智安科技有限公司 | 安防视频监控卫士系统 |
| CN111597385A (zh) * | 2020-05-07 | 2020-08-28 | 涂晋熙 | 基于人像识别的视频档案处理方法及系统 |
| CN111597385B (zh) * | 2020-05-07 | 2024-03-29 | 涂晋熙 | 基于人像识别的视频档案处理方法及系统 |
| CN113536966A (zh) * | 2021-06-25 | 2021-10-22 | 佛山君兰智能科技有限公司 | 一种基于物联网的人脸识别系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1975761A (zh) | 人像自动识别的视频数据挖掘系统和方法 | |
| CN104867217A (zh) | 小区监控管理系统 | |
| CN108197565A (zh) | 基于人脸识别的目标寻踪方法及系统 | |
| CN104240349A (zh) | 重点场所实名身份快速确认方法及人像身份比对安检系统 | |
| CN103383813A (zh) | 手持移动终端实时在线车辆信息速查方法与系统 | |
| CN205354056U (zh) | 一种带有人脸识别的执法记录仪 | |
| CN101505412A (zh) | 宾馆、写字楼和娱乐场所人像采集识别监控系统及方法 | |
| CN1622622A (zh) | 监视系统 | |
| CN109618286B (zh) | 一种实时监控系统和方法 | |
| EP1769637A2 (en) | Smart video surveillance system ensuring privacy | |
| CN204087314U (zh) | 人像身份比对安检系统 | |
| CN109151157B (zh) | 一种多媒体数字水印取证手机 | |
| CN102622580A (zh) | 一种人脸检测识别方法及系统 | |
| CN107341443A (zh) | 视频处理方法、装置及存储介质 | |
| CN210515326U (zh) | 基于人脸ai识别的景区票证稽查系统 | |
| US8775816B2 (en) | Method and apparatus to enhance security and/or surveillance information in a communication network | |
| CN104935891A (zh) | 一种一体化多功能视频记录仪及其使用方法 | |
| CN105049798A (zh) | 一种警员执法音视频记录系统及其记录方法 | |
| CN107426442A (zh) | 手机全制式信息采集与人脸识别分析比对系统及使用方法 | |
| CN109635099A (zh) | 涉案电子数据取证管理系统 | |
| CN1858807A (zh) | 车辆监控信息保全系统 | |
| CN107729562A (zh) | 人像自动识别的视频数据挖掘系统和方法 | |
| CN102609542B (zh) | 一种电力设备检测用x射线数字图像特征数据库 | |
| CN207070090U (zh) | 一种全景全程执法记录及采集管理系统 | |
| CN106708937A (zh) | 一种供电企业电子档案的集中管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |