CN106776838A - 一种基于云计算的海量视频分析与快速检索系统 - Google Patents

一种基于云计算的海量视频分析与快速检索系统 Download PDF

Info

Publication number
CN106776838A
CN106776838A CN201611063350.8A CN201611063350A CN106776838A CN 106776838 A CN106776838 A CN 106776838A CN 201611063350 A CN201611063350 A CN 201611063350A CN 106776838 A CN106776838 A CN 106776838A
Authority
CN
China
Prior art keywords
cloud computing
module
video
image
personnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611063350.8A
Other languages
English (en)
Inventor
邱炎新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ming Automatic Control Technology Co Ltd
Original Assignee
Shenzhen Ming Automatic Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ming Automatic Control Technology Co Ltd filed Critical Shenzhen Ming Automatic Control Technology Co Ltd
Priority to CN201611063350.8A priority Critical patent/CN106776838A/zh
Publication of CN106776838A publication Critical patent/CN106776838A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于云计算的海量视频分析与快速检索系统，包括公共安全视频监视网络、网络传输设备、云计算处理器，所述公共安全视频监视网络对视频图像进行采集，通过网络传输设备，将全部或者部分监视网点的视频数据接入云计算处理器进行处理；所述云计算处理器包括预处理模块、特征提取模块、训练模块、再识别模块和评价模块。本发明实现了海量视频下人员快速检索。

Description

一种基于云计算的海量视频分析与快速检索系统
技术领域
本发明涉及图像检索领域，具体涉及一种基于云计算的海量视频分析与快速检索系统。
背景技术
视频监控是安全防范系统的重要组成部分，传统的监控系统包括前端摄像机、传输线缆、视频监控平台。摄像机可分为网络数字摄像机和模拟摄像机，可作为前端视频图像信号的采集，它是一种防范能力较强的综合系统。
云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。
发明内容
针对上述问题，本发明旨在提供一种基于云计算的海量视频分析与快速检索系统。
本发明的目的采用以下技术方案来实现：
提供了一种基于云计算的海量视频分析与快速检索系统，包括公共安全视频监视网络、网络传输设备、云计算处理器，所述公共安全视频监视网络对视频图像进行采集，通过网络传输设备，将全部或者部分监视网点的视频数据接入云计算处理器进行处理；所述云计算处理器包括预处理模块、特征提取模块、训练模块、再识别模块和评价模块；所述预处理模块用于确定行人图像中的人员位置，获取包含人员的矩形区域；所述特征提取模块，用于在包含人员的矩形区域中进行外观特征提取；所述训练模块用于训练多个跨模态投影模型，每一个跨模态投影模型中包含两个投影函数，它们分别将不同摄像机中的图像持征映射到共同的特征空间中并完成相似度计算；所述再识别模块，用于识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份；所述评价模块用于对检索性能进行评估。
本发明的有益效果为：实现了海量视频下人员快速检索。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构连接示意图。
附图标记：
公共安全视频监视网络1、网络传输设备2、云计算处理器3。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种基于云计算的海量视频分析与快速检索系统，包括公共安全视频监视网络1、网络传输设备2、云计算处理器3，所述公共安全视频监视网络1对视频图像进行采集，通过网络传输设备2，将全部或者部分监视网点的视频数据接入云计算处理器3进行处理；所述云计算处理器3包括预处理模块、特征提取模块、训练模块、再识别模块和评价模块；所述预处理模块用于确定行人图像中的人员位置，获取包含人员的矩形区域；所述特征提取模块，用于在包含人员的矩形区域中进行外观特征提取；所述训练模块用于训练多个跨模态投影模型，每一个跨模态投影模型中包含两个投影函数，它们分别将不同摄像机中的图像持征映射到共同的特征空间中并完成相似度计算；所述再识别模块，用于识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份；所述评价模块用于对检索性能进行评估。
优选地，当监视场景发生变化时，传送全帧率的压缩视频流到云计算处理器；当监视场景处于静止状态时，定时传输一幅监控场景的压缩图像到云计算处理器，以实现节约传输带宽的目的。
本有选实施例实现了海量视频下人员快速检索。
优选地，所述监视点的视频获取设备是先进的网络摄像机。
本有选实施例获取的图像质量更高。
优选地，所述预处理模块包括图像融合单元，所述图像融合单元用于对不同来源的行人图像进行融合处理，以便更好地获取人员的全面特征，具体步骤是：对需要融合的两幅源图像分别用双正交小波变换进行小波分解，确定分解后图像的小波系数；对低频系数按设定的比例选取分解后图像的小波系数，构成融合图像的小波低频系数矩阵；对高频系数采用纹理一致性测度分析特定区域不同高低频系数的边缘特性，计算图像区域的纹理一致性测度，并按照预定的规则确定融合图像的高频小波系数矩阵，所述图像区域的纹理一致性测度的计算公式定义为：
式中，ZC(x)表示图像区域x的纹理一致性测度，ZCl表示图像区域x的各高频分量图像在水平方向上的纹理一致性测度，ZCc表示图像区域x的各高频分量图像在垂直方向上的纹理一致性测度，ZCd表示图像区域x的各高频分量图像在对角线方向上的纹理一致性测度；将所述融合图像的小波低频系数矩阵、所述融合图像的高频小波系数矩阵进行离散双正交小波逆变换，最终获得融合图像。
本优选实施例设置图像融合单元，按照纹理一致性测度可较好地分辨出图像的伪边缘，在保证整体视觉效果的同时使细节信息更加丰富和真实；定义了图像区域的纹理一致性测度的计算公式，加快了图像融合的速度。
优选地，所述预定的规则包括：
A、若图像区域中有82％以上像素值具有较大的纹理一致性测度，定义该图像区域为边缘区，选取相应的边缘纹理一致性测度最大的高频图像小波系数构成所述融合图像的高频小波系数矩阵；
B、若图像区域中有82％以上像素值具有较小的纹理一致性测度，定义该图像区域为平滑区，分别计算两幅源图像在该图像区域的能量及匹配度，根据能量及匹配度确定两幅源图像的小波系数在融合图像小波系数中所占的比重，根据下式确定所述融合图像的高频小波系数矩阵：
GR＝λAGA+(1-λA)GB
式中，GR表示融合图像的高频小波系数矩阵，GA、λA分别表示一副源图像的小波系数、该小波系数在融合图像小波系数中所占的比重，GB、1-λA分别表示另一副源图像的小波系数、该小波系数在融合图像小波系数中所占的比重。
本优选实施例按照预定的规则确定融合图像的高频小波系数矩阵，提高了海量视频融合的效果以及融合的速度。
优选地，所述在包含人员的矩形区域中进行外观特征提取，具体步骤为：
A、进行图像的光照归一化处理，设图像为I，利用LOG对数将图像I转换到对数域，利用差分高斯滤波器对图像I进行平滑处理；对图像I进行全局对比度均衡化处理；
B、进行图像尺寸归一化处理；
C、进行图像分块，针对每个图像块，进行特征向量提取；
D、将所有图像块的特征向量进行串联，然后对串联后的图像进行PCA特征降维。
本优选实施例设置特征提取模块，在提取特征前先对图像进行光照归一化处理，减少了因光照变化而产生的图像扭曲，使特征的提取更为精确。
优选地，所述训练模块包括样本分类单元和跨模态投影模型学习单元；所述样本分类单元具体执行：
设两个摄像机C1和C2对应的特征空间分别为和d1和d2分别表示两个摄像机特征空间的维度，假定训练数据集合为K对跨摄像机图像特征sk＝s(xk,yk)∈{-1,+1}表示样本对的类别标签，-1表示异类，+1表示同类，根据类别标签将训练集合分为负样本集合和正样本集合|A1|+|A2|＝K；
所述跨模态投影模型学习单元具体执行：
设跨模态投影模型集合H＝[h1h2,…,hL]，L个子模型用于处理L种数据差异，每一个子模型由一对投影函数构成，hl＝[pXl(x),pYl(y)]，略去脚标l，投影函数pX(x)和pY(y)将x∈X和y∈Y投影到共同的特征空间：
式中，表示投影向量，a、b∈R为线性偏差，pX(x)和pY(y)将原始特征投影到{-1,+1}空间中；
同时存在投影函数qX(x)和qY(y)将x∈X和y∈Y投影到另一共同的特征空间：
建立数据类别和共同特征空间之间的关系，定义目标函数：
式中，E表示期望，表示同类样本对和异类样本对的重要性权衡指数；
式中，wk表示样本对{xk,yk}在本次子模型学习中的样本权重，sk＝s(xk,yk)∈{-1,+1}表示样本对的类别标签，
通过最小化目标函数来学习参数{u,v,a,b}，得到相应的投影函数。
本优选实施例采用多个跨模态投影模型，可充分应对各种不同的数据分布差异。
优选地，所述识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份，包括：
假设被查询人员集合为{fi,id(fi)}，i＝1,2,…,N，fi表示第i个被查询人员，id(fi)表示第i个被查询人员的身份，对于查询人员集合{gj,id(gj)}，j＝1,2,…,M：
gj和fi的相似度U(gj,fi)表示为：
U(gj,fi)＝sign(uTgj+a)·sign(vTfi+)+||(uTgj+)-(vTfi+b)||
设定阔值T，T∈[1，2]，若U(gj,fi)<T，则被查询人员中不存在与查询人员一致的图像；若U(gj,fi)≥T，将被查询人员按照相似度从大到小排序，排在最前面的与查询人员具有相同的身份。
本优选实施例提高了海量视频图像中人员的识别精度和效率。
优选地，所述对云计算处理器性能进行评估，定义评价函数：
式中，N表示查询次数，On表示前n位中可以找到正确结果的次数，评价函数值越大，则处理器的再识别性能越好，跟踪性能越强。
本优选实施例设置评价模块，有利于对海量视频分析和检索系统进行改进。
本发明的一组海量视频检索识别结果如下表所示：
N 视频中人员检索用时 人员识别精度
10 0.3s 96％
20 0.28s 95.8％
30 0.32s 96.2％
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种基于云计算的海量视频分析与快速检索系统，其特征是，包括公共安全视频监视网络、网络传输设备、云计算处理器，所述公共安全视频监视网络对视频图像进行采集，通过网络传输设备，将全部或者部分监视网点的视频数据接入云计算处理器进行处理；所述云计算处理器包括预处理模块、特征提取模块、训练模块、再识别模块和评价模块；所述预处理模块用于确定行人图像中的人员位置，获取包含人员的矩形区域；所述特征提取模块，用于在包含人员的矩形区域中进行外观特征提取；所述训练模块用于训练多个跨模态投影模型，每一个跨模态投影模型中包含两个投影函数，它们分别将不同摄像机中的图像持征映射到共同的特征空间中并完成相似度计算；所述再识别模块，用于识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份；所述评价模块用于对检索性能进行评估。
2.根据权利要求1所述的一种基于云计算的海量视频分析与快速检索系统，其特征是，当监视场景发生变化时，传送全帧率的压缩视频流到云计算处理器；当监视场景处于静止状态时，定时传输一幅监控场景的压缩图像到云计算处理器，以实现节约传输带宽的目的。
3.根据权利要求2所述的一种基于云计算的海量视频分析与快速检索系统，其特征是，所述监视点的视频获取设备是先进的网络摄像机。
CN201611063350.8A 2016-11-24 2016-11-24 一种基于云计算的海量视频分析与快速检索系统 Pending CN106776838A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611063350.8A CN106776838A (zh) 2016-11-24 2016-11-24 一种基于云计算的海量视频分析与快速检索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611063350.8A CN106776838A (zh) 2016-11-24 2016-11-24 一种基于云计算的海量视频分析与快速检索系统

Publications (1)

Publication Number Publication Date
CN106776838A true CN106776838A (zh) 2017-05-31

Family

ID=58904566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611063350.8A Pending CN106776838A (zh) 2016-11-24 2016-11-24 一种基于云计算的海量视频分析与快速检索系统

Country Status (1)

Country Link
CN (1) CN106776838A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343182A (zh) * 2017-08-20 2017-11-10 成都才智圣有科技有限责任公司 基于云计算的视频分析系统
CN107819854A (zh) * 2017-11-14 2018-03-20 深圳市华讯方舟软件信息有限公司 基于云边缘计算的公共安全系统及构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484651A (zh) * 2014-12-12 2015-04-01 苏州金脑袋智能系统工程有限公司 人像动态对比方法及系统
CN104731964A (zh) * 2015-04-07 2015-06-24 上海海势信息科技有限公司 基于人脸识别的人脸摘要方法、视频摘要方法及其装置
CN104820711A (zh) * 2015-05-19 2015-08-05 深圳久凌软件技术有限公司 复杂场景下对人形目标的视频检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484651A (zh) * 2014-12-12 2015-04-01 苏州金脑袋智能系统工程有限公司 人像动态对比方法及系统
CN104731964A (zh) * 2015-04-07 2015-06-24 上海海势信息科技有限公司 基于人脸识别的人脸摘要方法、视频摘要方法及其装置
CN104820711A (zh) * 2015-05-19 2015-08-05 深圳久凌软件技术有限公司 复杂场景下对人形目标的视频检索方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343182A (zh) * 2017-08-20 2017-11-10 成都才智圣有科技有限责任公司 基于云计算的视频分析系统
CN107819854A (zh) * 2017-11-14 2018-03-20 深圳市华讯方舟软件信息有限公司 基于云边缘计算的公共安全系统及构建方法

Similar Documents

Publication Publication Date Title
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
CN102542058B (zh) 一种融合全局与局部视觉特征的层次化地标识别方法
CN111104867B (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN110503076B (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN106126585B (zh) 基于质量分级与感知哈希特征组合的无人机图像检索方法
US20210365743A1 (en) Person search method based on person re-identification driven localization refinement
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN106355171A (zh) 一种视频监控联网系统
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN110309810B (zh) 一种基于批次中心相似度的行人重识别方法
CN112686258A (zh) 体检报告信息结构化方法、装置、可读存储介质和终端
CN111753923A (zh) 基于人脸的智能相册聚类方法、系统、设备及存储介质
CN111666976B (zh) 基于属性信息的特征融合方法、装置和存储介质
CN110826534A (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN106776838A (zh) 一种基于云计算的海量视频分析与快速检索系统
CN114333062A (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
CN106557756A (zh) 一种人员再识别系统
CN113743251B (zh) 一种基于弱监督场景的目标搜索方法及装置
Voronin et al. Action recognition using the 3D dense microblock difference
CN106778818A (zh) 一种基于云计算的智能跟踪系统
CN107386909A (zh) 一种具有预警功能的防盗门
Cao et al. Person reidentification based on view information and batch feature erasing
CN106507052A (zh) 一种基于手机客户端实现的智能实时监控系统
Patil et al. Performance improvement of face recognition system by decomposition of local features using discrete wavelet transforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication