CN109271554A - 一种智能视频识别系统及其应用 - Google Patents

一种智能视频识别系统及其应用 Download PDF

Info

Publication number
CN109271554A
CN109271554A CN201811042444.6A CN201811042444A CN109271554A CN 109271554 A CN109271554 A CN 109271554A CN 201811042444 A CN201811042444 A CN 201811042444A CN 109271554 A CN109271554 A CN 109271554A
Authority
CN
China
Prior art keywords
video
image
module
information
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811042444.6A
Other languages
English (en)
Other versions
CN109271554B (zh
Inventor
朱杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Yunyan Shijie Technology Co ltd
Original Assignee
Jiangxi Yun Eye Big Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Yun Eye Big Vision Technology Co Ltd filed Critical Jiangxi Yun Eye Big Vision Technology Co Ltd
Priority to CN201811042444.6A priority Critical patent/CN109271554B/zh
Publication of CN109271554A publication Critical patent/CN109271554A/zh
Application granted granted Critical
Publication of CN109271554B publication Critical patent/CN109271554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种智能视频识别系统,包括前端接入设备、视频图像智能分析系统、视频大数据分析系统、视频云平台和综合应用系统。本发明实现了已建摄像机联网,资源整合统一应用,覆盖面广阔,功能丰富,可监控的特征数量多,监控要素全面;同时基于互联网建设视频监控前端,速度快、成本低;选择高价值点位,部署智能前端,实现人、车抓拍与布控报警。

Description

一种智能视频识别系统及其应用
技术领域
本发明涉及视频监控与处理技术领域,特别涉及一种智能视频识别系统及其应用。
背景技术
通过建设“平安城市”,公安自建视频监控资源超一百万路,形成对城市主要道路、重点区域、重要场所等重点公共区域的覆盖,在打击犯罪、治安防范、社会管理、服务群众等方面发挥了不可替代的重要作用。
但是,总体来看,视频图像建设和联网应用工作还存在许多突出问题:视频 图像智能应用服务体系还不健全,新技术跟踪引进和普及应用水平低,视频图像 信息汇聚整合和智能分析能力弱,价值挖掘不充分,事中事后传统应用多,事前应用、智能应用少;社会面视频资源百倍于公安自建视频,未联网、应用率低; 背街店铺、小街小巷和区楼栋等侵财性案件多发域视频监控覆盖率低。
另外,视频图像的识别也是城市视频监控体系建设中的关键一环,目前绝大部分视频内容分析以及人行为的分析任务是由人工进行的,对各类监控视频的监督也主要依赖于人力持续观察。对于海量的视频数据量,通过人力分析所有的视频内容将是不可能完成的任务。同时,人力标记与整合视频数据也难免有疏漏的发生。因此,使用计算机管理技术对视频内容进行自动识别与管理的需求越来越迫切。例如专利CN108182218A公开了一种基于地理信息系统的视频人物识别方法、系统及电子设备。所述方法包括:建立三维空间地理信息大数据服务系统,所述三维空间地理信息大数据服务系统包括目标对象的三维坐标;提取包含可疑目标的图像或/和视频数据,并根据地理信息系统空间分析技术对提取的图像或/和视频数据进行分析,获取可疑目标的地点与分布区域;提取所述可疑目标的三维信息,将提取的三维信息与所述三维空间地理信息大数据服务系统中的三维坐标进行匹配,并将匹配后的三维信息展示在所述可疑目标的地点与分布区域中;获取可疑目标在不同时间段内的地点与分布区域,得到可疑目标的移动轨迹,根据移动轨迹对可疑目标进行识别与跟踪。又如专利CN104751639A公开了一种基于大数据的视频结构化车牌识别系统及方法,该系统包括:网络摄像机模组,包括多个接入网络的网络摄像机,各网络摄像机将拍摄的图像编码成视频流,并将视频流通过网络传输至向大数据处理平台;大数据处理平台,利用分布式资源调度对视频流进行视频解码和分析,并将处理好的车牌信息写入到分布式数据库;分布式数据库,接收大数据处理平台存入的车牌信息,利用分布式数据库存储视频结构化后的车牌信息,本发明通过获取视频特征如车牌信息作为结构化数据存入分布式数据库中作为索引可以快速查询到用户需要的数据,可获得更高的用户体验性能。
现有的视频识别系统大多功能单一,没有将各种识别要素(例如人脸、车牌、异常行为、行动轨迹等)很好的结合起来,在实际刑案侦查过程中还是需要通过人工在海量的视频数据中提取近视要素进行比对、拼接,工作量十分巨大,应用前景不理想。
发明内容
为解决上述技术问题,本发明提供了一种智能视频识别系统,包括前端接入设备、视频图像智能分析系统、视频大数据分析系统、视频云平台和综合应用系统,所述前端接入设备包括各类摄像机和视频网关,所述摄像机通过所述视频网关接入所述视频云平台,所述视频云平台包括数据传输模块、数据存储模块、运维模块和权限管理模块,所述数据传输模块用于前端接入设备、视频云平台和移动客户终端之间的视频流数据传输,数据传输模块对视频数据进行信道编码,并通过混合流媒体分发系统多路径同时传输视频数据;所述数据存储模块用于流媒体数据的持续存储;所述运维模块用于中心端服务器的状态监测、前端接入设备的状态监测、日志收集和查询、业务监控;所述权限管理模块用于存储登陆账户及密码,管理各账户的视频查看权限;所述视频图像智能分析系统包括:
GIS模块,用于形成监控覆盖区域的电子地图,在所述电子地图上叠加监控点位信息,通过电子地图上的控制点位可实时显示监控的视频信息;
人脸结构化数据图像检索模块:用于按照人脸结构化特征以及图像获取信息来检索所需要的视频帧图片;
人脸图片搜索模块:用于分析提交给人脸图片搜索模块的人脸图片,查找监控范围内所有时段拍摄到的包含类似人脸的视频,也可以设定搜索范围和时间段进行精确搜索;
布控模块:用于存储布控人员照片以及布控车牌号,如果布控人员或车辆再次出现在拍摄范围时,布控模块自动报警;
人脸比对模块:用于将拍摄到的人脸或者上传的人脸照片与布控人员照片或存储的照片进行比对,相似度比到达设定阀值时则作为相似照片输出,或者报警处理;
人体结构化数据图像检索模块:用于按照人体结构化特征以及图像获取信息来检索所需要的视频帧图片;
人体图片搜索模块:用于分析提交给人体图片搜索模块的人体图片,查找监控范围内所有时段拍摄到的包含类似人体的视频,也可以设定搜索范围和时间段进行精确搜索;
车辆结构化数据图像检索模块:用于按照车辆的结构化特征以及图像获取信息来检索所需要的视频帧图片;
车辆图片搜索模块:用于分析提交给车辆图片搜索模块的车辆图片,查找监控范围内所有时段拍摄到的包含类似车辆的视频,也可以设定搜索范围和时间段进行精确搜索;
所述视频大数据分析系统包括人脸识别模组,人体识别模组和车辆识别模组:
所述人脸识别模组包括:检测模块,所述检测模块用于在视频流图像中寻找待搜索的人脸,然后返回出相应的结果;预处理模块,所述预处理模块用于对人脸面部关键特征点进行定位,同时基于特征点位置信息进行几何校正,校正样本或图像的姿态,均衡人脸区域的亮度,将人脸中最具区别度的核心部分提取出来;识别模块,基于主成分析法提取人脸的结构化特征,对人脸的结构化特征进行对比;训练模块,将确认身份的几组样本图像投射到特征向量组成的低纬度空间进行训练,对所述主成分析法进行离线训练;
所述人体识别模组包括:图像预处理模块,所述图像预处理模块用于图像增强,使得图像具有人类视觉能够感知的相似性或者一致性的颜色模型,具有更加鲜明的颜色信息;特征提取模块,所述特征提取模块采用HSV颜色直方图特征来提取图像中的人体结构化特征;人体再识别模块,所述人体再识别模块用于根据当前识别的已存储的人体图像判断监控摄像头当前采集的视频中人体图像是否匹配;
所述车辆识别模组包括:车牌号提取模块,所述车牌号提取模块用于提取车牌的LBP特征,通过低秩纹理变换不变性的牌号倾斜矫正算法以及针对中文牌号的字符分割方法进行车牌号识别;车辆类型识别模块,所述车辆类型识别模块用于识别存储的视频图像或者摄像头实时采集的视频图像中的车辆的颜色和类型;
所述综合应用系统包括移动客户终端和情报信息管理系统,
所述移动客户终端通过互联网与所述数据传输模块连接,用于群众在一定的权限内访问视频云平台了解视频信息,移动客户终端内内置有一键报警模块,用于上传实时拍摄的照片或视频,并进行报警,用于接收推送的关于社区治安的信息;
所述情报信息管理系统的使用权限人群为情报管理人员和社区工作人员,用于统计用户账户数据,用于对通告信息的发布与管理,所述通告信息包括警情信息、社区模范、公安工作信息、案件详情,用于群众上传情报线索的管理,包括分类管理、时间管理、地址管理或者批量删除线索,用于群众信息的管理。
进一步地,所述人脸结构化数据图像检索方法为:
S11:输入储存的视频或者实时拍摄的视频,对视频进行间隔1~1.5s提取帧,得到n帧图像;
S12:按照n帧图像构建n帧类,一帧S11中提取的图像作为一个帧类中心;
S13:将随后从视频中提取的帧图像与帧类中心处的图像进行比较,如果帧图像与帧类中心图像的距离大于预设的阀值,则重新构建一个新类,将新提取的帧归入新类中,否则归入最近的帧类中;
S14:利用人脸亮度分布中的条状信息点状信息进行帧图像匹配,同时将待检索的人脸图像灰度化,在灰度图像中用UV矩阵结构来表示人脸的纹理特征,将色彩信息分布规律应用在待检索的图像上,纹理特征转换为灰度空间的矩阵,使得纹理特征结构化,最后生成结构化模型用于检测人脸;
S15:用S14中待检索的人脸图像纹理特征结构、条状信息和点状信息检索帧类中心图像,如果帧类中心图像匹配度高于阀值,则对该帧类中心图像所在的帧类进行检索,否则不接收该帧类,将视频中所有匹配度高于阀值的图像提取出来;输出图像时附带图像的获取信息以供查询。
进一步地,所述人体结构化数据图像检索方法包括:
S21:从待检索图像中提取人体结构化特征,采用方向梯度直方图特征和支持向量机分类器对图像中的人体结构化特征进行识别;
S22:基于待检索图像中的人体结构化特征采用机器学习法进行模式识别,构建特征分类器;
S23:将储存的待检索视频或实时拍摄的视频描述为一个特征向量,计算视频所对应的特征向量之间的相似度,同时采用3D harris算子查找视频时空兴趣点;
S24:提取时空兴趣点的特征向量,对比该特征向量与特征分类器进行模式对比,计算两者模糊加权的相似度,将相似度高于阀值的视频段输出。
进一步地,所述车辆结构化数据图像检索方法为:
S31:对待检索车辆图像进行预处理,通过哈尔小波变换对图像进行处理,将高频信号和低频信号分离,并从低频范围内提取车辆的颜色,用HIS颜色直方图分离颜色获得颜色特征,并用BP神经网络进行颜色训练;
S32:对图像进行归一化,抑制图像噪声干扰,将去噪后的图像分割呈像素点,采用柱状直方图计算像素点的梯度分布,对梯度分布进行分析得到对应的特征描述;
S33:对梯度分布进行HOG归一化,将像素点拼接呈较大的像素区域,对一个像素区域内的像素特征向量互相串联进行归一化;
S34:间隔10个像素进行一次区域扫描获取特征,将获取的特征整体组合最终提取得到可供识别的车型结构特征;
S35:提取待检索视频中的带车辆的关键帧图像,修改关键帧图像的对比度,消除关键帧图像的随机噪声,增强图像纹理边缘的灰度反差;
S36:用HIS颜色直方图分离关键帧图像的颜色获得关键帧图像颜色特征,同时按照上述S32~S34所述的方法获取关键帧图像中车型结构特征,将待检索图像中车辆的上述特征与关键帧图像中的特征进行对比,提取相识度超过阀值的关键帧图像,输出关键帧图像,同时附带图像的获取信息以供查询。
进一步地,所述预处理模块还用于将提取的视频流图像尺寸归一化,图像尺寸统一为100×120mm。
进一步地,所述人脸结构化特征包括性别、面部装饰或穿戴物;所述人体结构化特征包括上身包含的颜色、下身包含的颜色、头发颜色,所述图像获取信息包括抓拍场所的类型、抓拍处的监控点位位置、抓拍时间。
进一步地,所述面部装饰或穿戴物包括眼镜、口罩、帽子。
进一步地,所述车辆的结构化特征包括车牌号、车辆颜色和车辆标志。
进一步地,所述条状信息包括眉毛、嘴唇、发髻,点状信息包括鼻尖、颧骨、眼睛、眼睛。
本发明的有益效果在于:
本发明实现了已建摄像机联网,资源整合统一应用,覆盖面广阔,功能丰富,可监控的特征数量多,监控要素全面;同时基于互联网建设视频监控前端,速度快、成本低;选择高价值点位,部署智能前端,实现人、车抓拍与布控报警。
具体实施方式
下面结合实施例对本发明做进一步的说明。
一种智能视频识别系统,包括前端接入设备、视频图像智能分析系统、视频大数据分析系统、视频云平台和综合应用系统。
所述前端接入设备包括各类摄像机和视频网关,所述摄像机通过所述视频网关接入所述视频云平台,所述视频云平台包括数据传输模块、数据存储模块、运维模块和权限管理模块。
所述数据传输模块用于前端接入设备、视频云平台和移动客户终端之间的视频流数据传输,数据传输模块对视频数据进行信道编码,并通过混合流媒体分发系统多路径同时传输视频数据;
所述数据存储模块用于流媒体数据的持续存储;
所述运维模块用于中心端服务器的状态监测、前端接入设备的状态监测、日志收集和查询、业务监控;
所述权限管理模块用于存储登陆账户及密码,管理各账户的视频查看权限。所述视频图像智能分析系统包括:
GIS模块,用于形成监控覆盖区域的电子地图,在所述电子地图上叠加监控点位信息,通过电子地图上的控制点位可实时显示监控的视频信息;
人脸结构化数据图像检索模块:用于按照人脸结构化特征以及图像获取信息来检索所需要的视频帧图片;
人脸图片搜索模块:用于分析提交给人脸图片搜索模块的人脸图片,查找监控范围内所有时段拍摄到的包含类似人脸的视频,也可以设定搜索范围和时间段进行精确搜索;
布控模块:用于存储布控人员照片以及布控车牌号,如果布控人员或车辆再次出现在拍摄范围时,布控模块自动报警;
人脸比对模块:用于将拍摄到的人脸或者上传的人脸照片与布控人员照片或存储的照片进行比对,相似度比到达设定阀值时则作为相似照片输出,或者报警处理;
人体结构化数据图像检索模块:用于按照人体结构化特征以及图像获取信息来检索所需要的视频帧图片;
人体图片搜索模块:用于分析提交给人体图片搜索模块的人体图片,查找监控范围内所有时段拍摄到的包含类似人体的视频,也可以设定搜索范围和时间段进行精确搜索;
车辆结构化数据图像检索模块:用于按照车辆的结构化特征以及图像获取信息来检索所需要的视频帧图片;
车辆图片搜索模块:用于分析提交给车辆图片搜索模块的车辆图片,查找监控范围内所有时段拍摄到的包含类似车辆的视频,也可以设定搜索范围和时间段进行精确搜索;
所述视频大数据分析系统包括人脸识别模组,人体识别模组和车辆识别模组:
所述人脸识别模组包括:检测模块,所述检测模块用于在视频流图像中寻找待搜索的人脸,然后返回出相应的结果;预处理模块,所述预处理模块用于对人脸面部关键特征点进行定位,同时基于特征点位置信息进行几何校正,校正样本或图像的姿态,均衡人脸区域的亮度,将人脸中最具区别度的核心部分提取出来,还用于将提取的视频流图像尺寸归一化,图像尺寸统一为100×120mm;识别模块,基于主成分析法提取人脸的结构化特征,对人脸的结构化特征进行对比;训练模块,将确认身份的几组样本图像投射到特征向量组成的低纬度空间进行训练,对所述主成分析法进行离线训练;
所述人体识别模组包括:图像预处理模块,所述图像预处理模块用于图像增强,使得图像具有人类视觉能够感知的相似性或者一致性的颜色模型,具有更加鲜明的颜色信息;特征提取模块,所述特征提取模块采用HSV颜色直方图特征来提取图像中的人体结构化特征;人体再识别模块,所述人体再识别模块用于根据当前识别的已存储的人体图像判断监控摄像头当前采集的视频中人体图像是否匹配;
所述车辆识别模组包括:车牌号提取模块,所述车牌号提取模块用于提取车牌的LBP特征,通过低秩纹理变换不变性的牌号倾斜矫正算法以及针对中文牌号的字符分割方法进行车牌号识别;车辆类型识别模块,所述车辆类型识别模块用于识别存储的视频图像或者摄像头实时采集的视频图像中的车辆的颜色和类型;
所述综合应用系统包括移动客户终端和情报信息管理系统,
所述移动客户终端通过互联网与所述数据传输模块连接,用于群众在一定的权限内访问视频云平台了解视频信息,移动客户终端内内置有一键报警模块,用于上传实时拍摄的照片或视频,并进行报警,用于接收推送的关于社区治安的信息;
所述情报信息管理系统的使用权限人群为情报管理人员和社区工作人员,用于统计用户账户数据,用于对通告信息的发布与管理,所述通告信息包括警情信息、社区模范、公安工作信息、案件详情,用于群众上传情报线索的管理,包括分类管理、时间管理、地址管理或者批量删除线索,用于群众信息的管理。
上述人脸结构化数据图像检索方法为:
S11:输入储存的视频或者实时拍摄的视频,对视频进行间隔1~1.5s提取帧,得到n帧图像;
S12:按照n帧图像构建n帧类,一帧S11中提取的图像作为一个帧类中心;
S13:将随后从视频中提取的帧图像与帧类中心处的图像进行比较,如果帧图像与帧类中心图像的距离大于预设的阀值,则重新构建一个新类,将新提取的帧归入新类中,否则归入最近的帧类中;
S14:利用人脸亮度分布中的条状信息点状信息进行帧图像匹配,同时将待检索的人脸图像灰度化,在灰度图像中用UV矩阵结构来表示人脸的纹理特征,将色彩信息分布规律应用在待检索的图像上,纹理特征转换为灰度空间的矩阵,使得纹理特征结构化,最后生成结构化模型用于检测人脸;
S15:用S14中待检索的人脸图像纹理特征结构、条状信息和点状信息检索帧类中心图像,如果帧类中心图像匹配度高于阀值,则对该帧类中心图像所在的帧类进行检索,否则不接收该帧类,将视频中所有匹配度高于阀值的图像提取出来;输出图像时附带图像的获取信息以供查询。
上述人体结构化数据图像检索方法包括:
S21:从待检索图像中提取人体结构化特征,采用方向梯度直方图特征和支持向量机分类器对图像中的人体结构化特征进行识别;
S22:基于待检索图像中的人体结构化特征采用机器学习法进行模式识别,构建特征分类器;
S23:将储存的待检索视频或实时拍摄的视频描述为一个特征向量,计算视频所对应的特征向量之间的相似度,同时采用3D harris算子查找视频时空兴趣点;
S24:提取时空兴趣点的特征向量,对比该特征向量与特征分类器进行模式对比,计算两者模糊加权的相似度,将相似度高于阀值的视频段输出。
上述车辆结构化数据图像检索方法为:
S31:对待检索车辆图像进行预处理,通过哈尔小波变换对图像进行处理,将高频信号和低频信号分离,并从低频范围内提取车辆的颜色,用HIS颜色直方图分离颜色获得颜色特征,并用BP神经网络进行颜色训练;
S32:对图像进行归一化,抑制图像噪声干扰,将去噪后的图像分割呈像素点,采用柱状直方图计算像素点的梯度分布,对梯度分布进行分析得到对应的特征描述;
S33:对梯度分布进行HOG归一化,将像素点拼接呈较大的像素区域,对一个像素区域内的像素特征向量互相串联进行归一化;
S34:间隔10个像素进行一次区域扫描获取特征,将获取的特征整体组合最终提取得到可供识别的车型结构特征;
S35:提取待检索视频中的带车辆的关键帧图像,修改关键帧图像的对比度,消除关键帧图像的随机噪声,增强图像纹理边缘的灰度反差;
S36:用HIS颜色直方图分离关键帧图像的颜色获得关键帧图像颜色特征,同时按照上述S32~S34所述的方法获取关键帧图像中车型结构特征,将待检索图像中车辆的上述特征与关键帧图像中的特征进行对比,提取相识度超过阀值的关键帧图像,输出关键帧图像,同时附带图像的获取信息以供查询。
上述人脸结构化特征可包括性别、面部装饰或穿戴物等;所述人体结构化特征包括上身包含的颜色、下身包含的颜色、头发颜色,所述图像获取信息包括抓拍场所的类型、抓拍处的监控点位位置、抓拍时间。所述面部装饰或穿戴物包括眼镜、口罩、帽子。所述车辆的结构化特征包括车牌号、车辆颜色和车辆标志。
上述条状信息包括眉毛、嘴唇、发髻,点状信息包括鼻尖、颧骨、眼睛、眼睛。
以上对本发明所提供的技术方案进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种智能视频识别系统,其特征在于,包括前端接入设备、视频图像智能分析系统、视频大数据分析系统、视频云平台和综合应用系统,所述前端接入设备包括各类摄像机和视频网关,所述摄像机通过所述视频网关接入所述视频云平台,所述视频云平台包括数据传输模块、数据存储模块、运维模块和权限管理模块,所述数据传输模块用于前端接入设备、视频云平台和移动客户终端之间的视频流数据传输,数据传输模块对视频数据进行信道编码,并通过混合流媒体分发系统多路径同时传输视频数据;所述数据存储模块用于流媒体数据的持续存储;所述运维模块用于中心端服务器的状态监测、前端接入设备的状态监测、日志收集和查询、业务监控;所述权限管理模块用于存储登陆账户及密码,管理各账户的视频查看权限;所述视频图像智能分析系统包括:
GIS模块,用于形成监控覆盖区域的电子地图,在所述电子地图上叠加监控点位信息,通过电子地图上的控制点位可实时显示监控的视频信息;
人脸结构化数据图像检索模块:用于按照人脸结构化特征以及图像获取信息来检索所需要的视频帧图片;
人脸图片搜索模块:用于分析提交给人脸图片搜索模块的人脸图片,查找监控范围内所有时段拍摄到的包含类似人脸的视频,也可以设定搜索范围和时间段进行精确搜索;
布控模块:用于存储布控人员照片以及布控车牌号,如果布控人员或车辆再次出现在拍摄范围时,布控模块自动报警;
人脸比对模块:用于将拍摄到的人脸或者上传的人脸照片与布控人员照片或存储的照片进行比对,相似度比到达设定阀值时则作为相似照片输出,或者报警处理;
人体结构化数据图像检索模块:用于按照人体结构化特征以及图像获取信息来检索所需要的视频帧图片;
人体图片搜索模块:用于分析提交给人体图片搜索模块的人体图片,查找监控范围内所有时段拍摄到的包含类似人体的视频,也可以设定搜索范围和时间段进行精确搜索;
车辆结构化数据图像检索模块:用于按照车辆的结构化特征以及图像获取信息来检索所需要的视频帧图片;
车辆图片搜索模块:用于分析提交给车辆图片搜索模块的车辆图片,查找监控范围内所有时段拍摄到的包含类似车辆的视频,也可以设定搜索范围和时间段进行精确搜索;
所述视频大数据分析系统包括人脸识别模组,人体识别模组和车辆识别模组:
所述人脸识别模组包括:检测模块,所述检测模块用于在视频流图像中寻找待搜索的人脸,然后返回出相应的结果;预处理模块,所述预处理模块用于对人脸面部关键特征点进行定位,同时基于特征点位置信息进行几何校正,校正样本或图像的姿态,均衡人脸区域的亮度,将人脸中最具区别度的核心部分提取出来;识别模块,基于主成分析法提取人脸的结构化特征,对人脸的结构化特征进行对比;训练模块,将确认身份的几组样本图像投射到特征向量组成的低纬度空间进行训练,对所述主成分析法进行离线训练;
所述人体识别模组包括:图像预处理模块,所述图像预处理模块用于图像增强,使得图像具有人类视觉能够感知的相似性或者一致性的颜色模型,具有更加鲜明的颜色信息;特征提取模块,所述特征提取模块采用HSV颜色直方图特征来提取图像中的人体结构化特征;人体再识别模块,所述人体再识别模块用于根据当前识别的已存储的人体图像判断监控摄像头当前采集的视频中人体图像是否匹配;
所述车辆识别模组包括:车牌号提取模块,所述车牌号提取模块用于提取车牌的LBP特征,通过低秩纹理变换不变性的牌号倾斜矫正算法以及针对中文牌号的字符分割方法进行车牌号识别;车辆类型识别模块,所述车辆类型识别模块用于识别存储的视频图像或者摄像头实时采集的视频图像中的车辆的颜色和类型;
所述综合应用系统包括移动客户终端和情报信息管理系统,
所述移动客户终端通过互联网与所述数据传输模块连接,用于群众在一定的权限内访问视频云平台了解视频信息,移动客户终端内内置有一键报警模块,用于上传实时拍摄的照片或视频,并进行报警,用于接收推送的关于社区治安的信息;
所述情报信息管理系统的使用权限人群为情报管理人员和社区工作人员,用于统计用户账户数据,用于对通告信息的发布与管理,所述通告信息包括警情信息、社区模范、公安工作信息、案件详情,用于群众上传情报线索的管理,包括分类管理、时间管理、地址管理或者批量删除线索,用于群众信息的管理。
2.根据权利要求1所述的一种智能视频识别系统,其特征在于,所述人脸结构化数据图像检索方法为:
S11:输入储存的视频或者实时拍摄的视频,对视频进行间隔1~1.5s提取帧,得到n帧图像;
S12:按照n帧图像构建n帧类,一帧S11中提取的图像作为一个帧类中心;
S13:将随后从视频中提取的帧图像与帧类中心处的图像进行比较,如果帧图像与帧类中心图像的距离大于预设的阀值,则重新构建一个新类,将新提取的帧归入新类中,否则归入最近的帧类中;
S14:利用人脸亮度分布中的条状信息点状信息进行帧图像匹配,同时将待检索的人脸图像灰度化,在灰度图像中用UV矩阵结构来表示人脸的纹理特征,将色彩信息分布规律应用在待检索的图像上,纹理特征转换为灰度空间的矩阵,使得纹理特征结构化,最后生成结构化模型用于检测人脸;
S15:用S14中待检索的人脸图像纹理特征结构、条状信息和点状信息检索帧类中心图像,如果帧类中心图像匹配度高于阀值,则对该帧类中心图像所在的帧类进行检索,否则不接收该帧类,将视频中所有匹配度高于阀值的图像提取出来;输出图像时附带图像的获取信息以供查询。
3.根据权利要求1所述的一种智能视频识别系统,其特征在于,所述人体结构化数据图像检索方法包括:
S21:从待检索图像中提取人体结构化特征,采用方向梯度直方图特征和支持向量机分类器对图像中的人体结构化特征进行识别;
S22:基于待检索图像中的人体结构化特征采用机器学习法进行模式识别,构建特征分类器;
S23:将储存的待检索视频或实时拍摄的视频描述为一个特征向量,计算视频所对应的特征向量之间的相似度,同时采用3D harris算子查找视频时空兴趣点;
S24:提取时空兴趣点的特征向量,对比该特征向量与特征分类器进行模式对比,计算两者模糊加权的相似度,将相似度高于阀值的视频段输出。
4.根据权利要求1所述的一种智能视频识别系统,其特征在于,所述车辆结构化数据图像检索方法为:
S31:对待检索车辆图像进行预处理,通过哈尔小波变换对图像进行处理,将高频信号和低频信号分离,并从低频范围内提取车辆的颜色,用HIS颜色直方图分离颜色获得颜色特征,并用BP神经网络进行颜色训练;
S32:对图像进行归一化,抑制图像噪声干扰,将去噪后的图像分割呈像素点,采用柱状直方图计算像素点的梯度分布,对梯度分布进行分析得到对应的特征描述;
S33:对梯度分布进行HOG归一化,将像素点拼接呈较大的像素区域,对一个像素区域内的像素特征向量互相串联进行归一化;
S34:间隔10个像素进行一次区域扫描获取特征,将获取的特征整体组合最终提取得到可供识别的车型结构特征;
S35:提取待检索视频中的带车辆的关键帧图像,修改关键帧图像的对比度,消除关键帧图像的随机噪声,增强图像纹理边缘的灰度反差;
S36:用HIS颜色直方图分离关键帧图像的颜色获得关键帧图像颜色特征,同时按照上述S32~S34所述的方法获取关键帧图像中车型结构特征,将待检索图像中车辆的上述特征与关键帧图像中的特征进行对比,提取相识度超过阀值的关键帧图像,输出关键帧图像,同时附带图像的获取信息以供查询。
5.根据权利要求1所述的一种智能视频识别系统,其特征在于,所述预处理模块还用于将提取的视频流图像尺寸归一化,图像尺寸统一为100×120mm。
6.根据权利要求1所述的一种智能视频识别系统,其特征在于,所述人脸结构化特征包括性别、面部装饰或穿戴物;所述人体结构化特征包括上身包含的颜色、下身包含的颜色、头发颜色,所述图像获取信息包括抓拍场所的类型、抓拍处的监控点位位置、抓拍时间。
7.根据权利要求1所述的一种智能视频识别系统,其特征在于,所述面部装饰或穿戴物包括眼镜、口罩、帽子。
8.根据权利要求1所述的一种智能视频识别系统,其特征在于,所述车辆的结构化特征包括车牌号、车辆颜色和车辆标志。
9.根据权利要求1所述的一种智能视频识别系统,其特征在于,所述条状信息包括眉毛、嘴唇、发髻,点状信息包括鼻尖、颧骨、眼睛、眼睛。
CN201811042444.6A 2018-09-07 2018-09-07 一种智能视频识别系统及其应用 Active CN109271554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811042444.6A CN109271554B (zh) 2018-09-07 2018-09-07 一种智能视频识别系统及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811042444.6A CN109271554B (zh) 2018-09-07 2018-09-07 一种智能视频识别系统及其应用

Publications (2)

Publication Number Publication Date
CN109271554A true CN109271554A (zh) 2019-01-25
CN109271554B CN109271554B (zh) 2022-02-11

Family

ID=65188025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811042444.6A Active CN109271554B (zh) 2018-09-07 2018-09-07 一种智能视频识别系统及其应用

Country Status (1)

Country Link
CN (1) CN109271554B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862318A (zh) * 2019-01-31 2019-06-07 广州铭国信息科技有限公司 视频监控系统
CN110334321A (zh) * 2019-06-24 2019-10-15 天津城建大学 一种基于兴趣点数据的城市轨交站区功能识别方法
CN110602461A (zh) * 2019-09-26 2019-12-20 广脉科技股份有限公司 一种未来社区区域感知信息处理反馈系统
CN110619277A (zh) * 2019-08-15 2019-12-27 青岛文达通科技股份有限公司 一种多社区智慧布控方法以及系统
CN110826398A (zh) * 2019-09-23 2020-02-21 上海意略明数字科技股份有限公司 一种智能图像识别进行大数据采集分析系统及应用方法
CN110852920A (zh) * 2019-10-31 2020-02-28 安徽超清科技股份有限公司 小区监控安防管理系统
CN110909603A (zh) * 2019-10-23 2020-03-24 阜阳师范大学 一种基于支持向量机的智能监控系统
CN111131765A (zh) * 2019-10-24 2020-05-08 广脉科技股份有限公司 一种多维感知的区域管理感知系统
CN111343431A (zh) * 2020-03-13 2020-06-26 温州大学大数据与信息技术研究院 基于图像矫正的机场目标检测系统
CN111428081A (zh) * 2020-04-30 2020-07-17 苏州金螳螂怡和科技有限公司 一种视频数据智能分析系统及方法
CN111523380A (zh) * 2020-03-11 2020-08-11 浙江工业大学 一种基于人脸和姿态识别的口罩佩戴情况监测方法
CN111694977A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 一种基于数据增强的车辆图像检索方法
CN111709682A (zh) * 2020-06-05 2020-09-25 华南师范大学 基于物联网的智能物流计算方法
CN111726568A (zh) * 2019-10-10 2020-09-29 曹红娟 基于信号分析的定向监控系统及方法
CN110341554B (zh) * 2019-06-24 2021-05-25 福建中科星泰数据科技有限公司 可控式环境调节系统
CN113255477A (zh) * 2021-05-08 2021-08-13 深圳市安软科技股份有限公司 一种行人视频图像的综合管理系统及方法
CN113326391A (zh) * 2021-05-07 2021-08-31 北京旷视科技有限公司 一种通信方法、装置、存储介质和电子设备
CN113963307A (zh) * 2020-07-02 2022-01-21 上海际链网络科技有限公司 目标上内容的识别及视频采集方法、装置、存储介质、计算机设备
CN114693659A (zh) * 2022-04-07 2022-07-01 海门市创睿机械有限公司 基于图像处理的铜管表面清洗效果评估方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146218A (zh) * 2007-11-02 2008-03-19 北京博睿视科技有限责任公司 基于串口的嵌入式智能视频处理设备的视频监控系统
CN101299812A (zh) * 2008-06-25 2008-11-05 北京中星微电子有限公司 视频分析和存储方法、系统,及视频检索方法、系统
CN101587544A (zh) * 2009-06-24 2009-11-25 钟德胜 基于计算机视觉的机动车车载反跟踪装置
CN102158689A (zh) * 2011-05-17 2011-08-17 无锡中星微电子有限公司 视频监控系统及方法
CN102608973A (zh) * 2012-03-14 2012-07-25 湖南银宝科技发展有限公司 基于云端服务网络的智能家居控制系统
CN104239881A (zh) * 2013-06-08 2014-12-24 杭州海康威视数字技术股份有限公司 监控视频中目标自动发现和注册方法及其系统
US20160180569A1 (en) * 2014-12-22 2016-06-23 Casio Computer Co., Ltd. Image creation method, a computer-readable storage medium, and an image creation apparatus
CN107545545A (zh) * 2016-09-12 2018-01-05 郑州蓝视科技有限公司 基于视频检测技术的监控报警方法
CN107967458A (zh) * 2017-12-06 2018-04-27 宁波亿拍客网络科技有限公司 一种人脸识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146218A (zh) * 2007-11-02 2008-03-19 北京博睿视科技有限责任公司 基于串口的嵌入式智能视频处理设备的视频监控系统
CN101299812A (zh) * 2008-06-25 2008-11-05 北京中星微电子有限公司 视频分析和存储方法、系统,及视频检索方法、系统
CN101587544A (zh) * 2009-06-24 2009-11-25 钟德胜 基于计算机视觉的机动车车载反跟踪装置
CN102158689A (zh) * 2011-05-17 2011-08-17 无锡中星微电子有限公司 视频监控系统及方法
CN102608973A (zh) * 2012-03-14 2012-07-25 湖南银宝科技发展有限公司 基于云端服务网络的智能家居控制系统
CN104239881A (zh) * 2013-06-08 2014-12-24 杭州海康威视数字技术股份有限公司 监控视频中目标自动发现和注册方法及其系统
US20160180569A1 (en) * 2014-12-22 2016-06-23 Casio Computer Co., Ltd. Image creation method, a computer-readable storage medium, and an image creation apparatus
CN107545545A (zh) * 2016-09-12 2018-01-05 郑州蓝视科技有限公司 基于视频检测技术的监控报警方法
CN107967458A (zh) * 2017-12-06 2018-04-27 宁波亿拍客网络科技有限公司 一种人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王新磊: "基于Android平台的智能家庭安防系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862318A (zh) * 2019-01-31 2019-06-07 广州铭国信息科技有限公司 视频监控系统
CN110334321B (zh) * 2019-06-24 2023-03-31 天津城建大学 一种基于兴趣点数据的城市轨交站区功能识别方法
CN110334321A (zh) * 2019-06-24 2019-10-15 天津城建大学 一种基于兴趣点数据的城市轨交站区功能识别方法
CN110341554B (zh) * 2019-06-24 2021-05-25 福建中科星泰数据科技有限公司 可控式环境调节系统
CN110619277A (zh) * 2019-08-15 2019-12-27 青岛文达通科技股份有限公司 一种多社区智慧布控方法以及系统
US11483621B2 (en) 2019-09-23 2022-10-25 Shanghai Illuminera Digital Technology Co., Ltd. Big data acquisition and analysis system using intelligent image recognition, and application method thereof
CN110826398A (zh) * 2019-09-23 2020-02-21 上海意略明数字科技股份有限公司 一种智能图像识别进行大数据采集分析系统及应用方法
WO2021057213A1 (zh) * 2019-09-23 2021-04-01 上海意略明数字科技股份有限公司 一种智能图像识别进行大数据采集分析系统及应用方法
CN110602461A (zh) * 2019-09-26 2019-12-20 广脉科技股份有限公司 一种未来社区区域感知信息处理反馈系统
CN111726568B (zh) * 2019-10-10 2021-11-16 山东远致电子科技有限公司 基于信号分析的定向监控系统及方法
CN111726568A (zh) * 2019-10-10 2020-09-29 曹红娟 基于信号分析的定向监控系统及方法
CN110909603A (zh) * 2019-10-23 2020-03-24 阜阳师范大学 一种基于支持向量机的智能监控系统
CN111131765A (zh) * 2019-10-24 2020-05-08 广脉科技股份有限公司 一种多维感知的区域管理感知系统
CN110852920A (zh) * 2019-10-31 2020-02-28 安徽超清科技股份有限公司 小区监控安防管理系统
CN111523380A (zh) * 2020-03-11 2020-08-11 浙江工业大学 一种基于人脸和姿态识别的口罩佩戴情况监测方法
CN111343431B (zh) * 2020-03-13 2021-10-15 温州大学大数据与信息技术研究院 基于图像矫正的机场目标检测系统
CN111343431A (zh) * 2020-03-13 2020-06-26 温州大学大数据与信息技术研究院 基于图像矫正的机场目标检测系统
CN111428081A (zh) * 2020-04-30 2020-07-17 苏州金螳螂怡和科技有限公司 一种视频数据智能分析系统及方法
CN111709682A (zh) * 2020-06-05 2020-09-25 华南师范大学 基于物联网的智能物流计算方法
CN111694977A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 一种基于数据增强的车辆图像检索方法
CN113963307A (zh) * 2020-07-02 2022-01-21 上海际链网络科技有限公司 目标上内容的识别及视频采集方法、装置、存储介质、计算机设备
CN113326391A (zh) * 2021-05-07 2021-08-31 北京旷视科技有限公司 一种通信方法、装置、存储介质和电子设备
CN113255477A (zh) * 2021-05-08 2021-08-13 深圳市安软科技股份有限公司 一种行人视频图像的综合管理系统及方法
CN114693659A (zh) * 2022-04-07 2022-07-01 海门市创睿机械有限公司 基于图像处理的铜管表面清洗效果评估方法及系统
CN114693659B (zh) * 2022-04-07 2023-09-12 海门市创睿机械有限公司 基于图像处理的铜管表面清洗效果评估方法及系统

Also Published As

Publication number Publication date
CN109271554B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN109271554A (zh) 一种智能视频识别系统及其应用
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
Bertini et al. Multi-scale and real-time non-parametric approach for anomaly detection and localization
Liciotti et al. Person re-identification dataset with rgb-d camera in a top-view configuration
CN109784274B (zh) 识别尾随的方法及相关产品
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
Kalra et al. Dronesurf: Benchmark dataset for drone-based face recognition
CN105590097B (zh) 暗视觉条件下双摄像头协同实时人脸识别安防系统及方法
CN110414441B (zh) 一种行人行踪分析方法及系统
CN105574506A (zh) 基于深度学习和大规模集群的智能人脸追逃系统及方法
CN108229335A (zh) 关联人脸识别方法和装置、电子设备、存储介质、程序
CN108256459A (zh) 基于多摄像机融合的安检门人脸识别和人脸自动建库算法
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
CN107967458A (zh) 一种人脸识别方法
CN104318217A (zh) 一种基于分布式云计算的人脸识别情报分析方法和系统
Wang et al. A benchmark for clothes variation in person re‐identification
WO2020114138A1 (zh) 信息的关联分析方法及装置、储存介质、电子装置
CN107222660A (zh) 一种分布式网络视觉监控系统
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
De Oliveira et al. People reidentification in a camera network
CN210515326U (zh) 基于人脸ai识别的景区票证稽查系统
Zhang et al. Indoor space recognition using deep convolutional neural network: a case study at MIT campus
CN111191637A (zh) 一种基于无人机视频采集的人群聚集度检测及呈现方法
Guetta et al. Dodging attack using carefully crafted natural makeup
Wang Exploring intelligent image recognition technology of football robot using omnidirectional vision of internet of things

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 330096 North Area, Floor 5, Science and Innovation Incubation Building, Innovation Workshop, No. 1189, Jingdong Avenue, Nanchang High-tech Industrial Development Zone, Nanchang City, Jiangxi Province

Patentee after: Jiangxi Yunyan Shijie Technology Co.,Ltd.

Address before: 330096 room 911, building a, Taihao science and Technology Plaza, 3088 Ziyang Avenue, Nanchang high tech Industrial Development Zone, Nanchang City, Jiangxi Province

Patentee before: JIANGXI YUNYAN DASHIJIE TECHNOLOGY Co.,Ltd.