CN110825916A - 一种基于形体识别技术的寻人方法 - Google Patents

一种基于形体识别技术的寻人方法 Download PDF

Info

Publication number
CN110825916A
CN110825916A CN201911107185.5A CN201911107185A CN110825916A CN 110825916 A CN110825916 A CN 110825916A CN 201911107185 A CN201911107185 A CN 201911107185A CN 110825916 A CN110825916 A CN 110825916A
Authority
CN
China
Prior art keywords
recognition technology
method based
shape recognition
body shape
searching method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911107185.5A
Other languages
English (en)
Inventor
宋竫
徐晓刚
张华新
徐鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Vision Hangzhou Technology Development Co Ltd
Original Assignee
Smart Vision Hangzhou Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Vision Hangzhou Technology Development Co Ltd filed Critical Smart Vision Hangzhou Technology Development Co Ltd
Priority to CN201911107185.5A priority Critical patent/CN110825916A/zh
Publication of CN110825916A publication Critical patent/CN110825916A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于形体识别技术的寻人方法，涉及图像处理技术领域；包括如下步骤：S01、部署NVR和服务器，连接网络摄像头；S02、选择需要实时预处理的网络摄像头；S03、对指定网络摄像头的视频进行实时预处理并同时推送视频摘要至客户端；S04、选择视频摘要，点击检索发现目标。本发明应用是采用形体识别技术来实现“找人”，能够根据给定的监控行人图像，检索跨设备下的该行人图像，它可以弥补人脸识别技术在复杂环境下的应用局限。

Description

一种基于形体识别技术的寻人方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于形体识别技术的寻人方法。
背景技术
儿童拐卖，智障老人走失、人员失踪等社会问题由来已久，如何能快速定位，找到失踪人口是摆在各职能部门的一个非常重要，也是非常棘手的问题。
目前社会普遍采用发展成熟的人脸识别技术来“找人”，通过人脸抓拍实时分析视频流，针对视频中每个人脸出一张或多张质量比较好的人脸图片，并对人脸图片进行结构化保存，然后将某人面像与数据库中的多人的人脸进行比对(1∶N)，并根据比对结果来鉴定此人身份，或找到其中最相似的人脸，并按相似程度的大小输出检索结果。
这种技术场景的应用在配合场景下：比如ATM机刷脸取款，用户会自主配合，将人脸以一个理想的角度通过识别。然而在非配合或复杂应用场景下，该方法找人却存在以下几方面的缺点：
1、监控视频下的人脸识别，用户脸部会发生角度偏大，遮挡，光线等不可控问题，会造成识别的准确率降低；
2、不同摄像头设备之间的差异，导致监控视频下的人脸模糊，像素低，有些甚至没有达到32*32，无法做出有效识别，形成漏检。
发明内容
本发明的目的在于，提供一种基于形体识别技术的寻人方法来解决背景技术中的问题。
本发明的技术方案：一种基于形体识别技术的寻人方法，包括如下步骤：S01、部署NVR和服务器，连接网络摄像头；
S02、选择需要实时预处理的网络摄像头；
S03、对指定网络摄像头的视频进行实时预处理并同时推送视频摘要至客户端；
S04、选择视频摘要，点击检索发现目标。
上述的一种基于形体识别技术的寻人方法中，所述NVR用于接收并储存网络摄像头采集并传输的RTSP视频流，所述服务器为四卡机服务器，所述四卡机服务器与NVR连接，用于对NVR中的RTSP视频流进行解码及处理。
前述的一种基于形体识别技术的寻人方法中，所述预处理包括对单帧图像的预处理、每帧间信息的预处理以及特征提取。
前述的一种基于形体识别技术的寻人方法中，所述所述单帧图像的预处理包括如下步骤：
A、将图像输入神经网络；
B、经过one-stage算法输出特征；
D、对输出的特征进行解码，得到目标的位置以及类别；
E、经过NMS算法过滤掉重叠区域较大目标，形成最终的目标检测位置。
前述的一种基于形体识别技术的寻人方法中，所述每帧间信息的预处理包括：将上一帧最后一层的特征传递到当前帧神经网络特征的对应层，并做平均池化操作，融合前后帧信息。
上述的一种基于形体识别技术的寻人方法中，所述平均池化所用公式为：
Figure DEST_PATH_FDA0002271674140000021
其中N表示特征图的个数，表示第n个特征图， F表示平均池化后的特征。
上述的一种基于形体识别技术的寻人方法中，所述特征提取包括：利用三元损失函数将统一目标样本的距离最小化，不同目标的样本之间距离最大化，最终得到用于提取目标特征的网络结构，将目标图像输入到神经网络后，神经网络输出一个2048维的特征向量。
上述的一种基于形体识别技术的寻人方法中，所述三元损失函数公式为：
L＝max(d(a，p)-d(a，n)+margin，0)
其中L表示了损失函数的计算方法，其中a表示anchor样本，p 为正样本，n为负样本；d(a,p)表示anchor和正样本之间的距离，d(a,n)表示anchor和负样本之间的距离，margin表示边界值。
上述的一种基于形体识别技术的寻人方法中，所述推送的视频摘要仅为人的视频摘要。
上述的一种基于形体识别技术的寻人方法中，所述用户选择视频摘要进行检索，服务器会根据收到的该视频摘要的特征值与数据库中的所有摘要特征值进行比对，特征比对采用特征之间的余弦距离来衡量，设特征提取步骤输出的特征向量为X和Y，则两者之间的相似度计算可以表示为如下公式：
Figure BDA0002271674150000031
其中，Sim(X,Y)表示两个向量X和Y之间的相似度，||x||和||y|| 分别表示向量X和Y的模，表示向量X和Y的点积，最后按照相似度 Sim(X,Y)和预设的一个阈值来进行比较，选择是否进行推送。
本发明的优点在于：本发明应用是采用形体识别技术来实现“找人”，能够根据给定的监控行人图像，检索跨设备下的该行人图像，它可以弥补人脸识别技术在复杂环境下的应用局限，对视频质量没有特别要求，无需清楚的正脸，只通过衣物、发型、体态等信息，形体识别技术就能识别出你，并且可以跨镜头跨场景的检索出行人的轨迹线索，这就有效解决了人脸识别在复杂场景下的识别难点，极大提高了找人的效率和准确性。
附图说明
图1是本发明整体流程示意图；
图2是本发明实施示例中对单帧图像处理的流程示意。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例：参照图1所示：具体方法包括：
S01:部署NVR和四卡机服务器，连接网络摄像头。
NVR通过网络接收并存储终端摄像头传输的RTSP视频流，四卡机连接NVR,对摄像头的RTSP视频流进行解码及处理。
S02:选择需要实时预处理的网络摄像头，预处理是指对视频进行目标检测及特征提取。
用户选择指定范围内的终端摄像头，服务器收到指令针对指定摄像头的视频进行实时预处理，将提取到的特征值存储到数据库中。
目标检测有两个基本步骤：
1)针对单帧图像，基于神经网络的one-stage算法，图像输入神经网络后，最后根据输出的特征，解码为目标的位置和类别，再经过NMS过程，滤除重叠区域较大目标，获得最终的目标检测位置；
具体的，参照图2所示，基于神经网络的one-stage检测算法对于单张图片，resize成300x300图片尺寸，送入basebone，图2中的basebone为VGG16，做卷积运算；再经过后面的几层卷积之后，通过ExtraFeatureLyaer提取特征，形成6组张量；分别为 1x512x38x38，1x1024x19x19，1x512x10x10，1x256x5x5，1x256x3x3， 1x256x1x1；对这6组张量分别做卷积运算后拼接，得到预测位置的张量和预测置信度张量。再对预测置信度张量进行softmax等运算，得到1x8732x4张量用于最终位置预测依据和1x8732x21(21为检测目标总类)用于最终分类结果的预测依据。
解码目标的过程主要依靠的是预先设置好的8732x4维度的 Prior boxes，先验框的位置表示为d＝(dcx，dcy，dw，dh)，对应的真实边界框的位置为b＝(bcx，bcy，bw，bh)，进行解码得到原始的位置公式 bcx＝dwlcx+dcx，bcy＝dylcy+dcy，bw＝dw exp(lw)，bh＝dh exp(lh)，对之前1x8732x21进行预测分类得分的降序排序并进行NMS操作滤除多余候选框，确定8732个box哪些将做为预测结果。
2)针对帧间信息，传递上一帧最后一层的特征到当前帧神经网络特征的对应层，然后做平均池化操作，融合前后帧信息；其中平均池化的公式可以表示为；
Figure BDA0002271674150000051
其中N表示特征图的个数，表示第n个特征图，F表示平均池化后的特征。
特征提取采用一中改进的person-reID思想，基础网路采用 ResNet50网络结构，损失函数利用三元损失函数：
l＝max(d(a，p)-d(a，n)+margin，0)
L表示了损失函数的计算方法，其中a表示anchor样本，p为正样本，n为负样本；d(a，p)表示anchor和正样本之间的距离，d(a，n) 表示anchor和负样本之间的距离，margin表示边界值，上式总体表示了将同一个目标样本的距离最小化，不同目标的样本之间距离最大化。
通过在数据集中的训练，我们得到了能够提取目标特征的网络结构，将目标图像输入神经网络后，神经网络输出一个2048维的特征向量，该向量用于目标之间相似度判断。
S03：实时推送视频摘要。
服务器在预处理开始后，同步推送视频摘要到客户端，视频摘要会根据数据标注，仅推送人的视频摘要。
S04：选择视频摘要，点击检索发现目标。
用户选择视频摘要进行检索，服务器会根据收到的该视频摘要的特征值与数据库中的所有摘要特征值进行比对，特征比对采用特征之间的余弦距离来衡量。设特征提取步骤输出的特征向量为X和Y，则两者之间的相似度计算可以表示为如下公式：
Figure BDA0002271674150000061
Sim(X,Y)表示两个向量X和Y之间的相似度，||x||和||y||分别表示向量X和Y的模，表示向量X和Y的点积。最后按照相似度Sim(X,Y) 和阈值0.6来进行比较，阈值0.6是根据多次实验统计的经验参数，当比对结果大于阈值0.6，即判定为同一目标，否则是不同的目标。最后将相似度最高的同一目标推送到客户端，而比对结果低于阈值 0.6的则不作推送。

Claims (10)

1.一种基于形体识别技术的寻人方法，其特征在于：包括如下步骤：S01、部署NVR和服务器，连接网络摄像头；
S02、选择需要实时预处理的网络摄像头；
S03、对指定网络摄像头的视频进行实时预处理并同时推送视频摘要至客户端；
S04、选择视频摘要，点击检索发现目标。
2.根据权利要求1所述的一种基于形体识别技术的寻人方法，其特征在于：所述NVR用于接收并储存网络摄像头采集并传输的RTSP视频流，所述服务器为四卡机服务器，所述四卡机服务器与NVR连接，用于对NVR中的RTSP视频流进行解码及处理。
3.根据权利要求1所述的一种基于形体识别技术的寻人方法，其特征在于：所述预处理包括对单帧图像的预处理、每帧间信息的预处理以及特征提取。
4.根据权利要求3所述的一种基于形体识别技术的寻人方法，其特征在于：所述所述单帧图像的预处理包括如下步骤：
A、将图像输入神经网络；
B、经过one-stage算法输出特征；
D、对输出的特征进行解码，得到目标的位置以及类别；
E、经过NMS算法过滤掉重叠区域较大目标，形成最终的目标检测位置。
5.根据权利要求4所述的一种基于形体识别技术的寻人方法，其特征在于：所述每帧间信息的预处理包括：将上一帧最后一层的特征传递到当前帧神经网络特征的对应层，并做平均池化操作，融合前后帧信息。
6.根据权利要求5所述的一种基于形体识别技术的寻人方法，其特征在于：所述平均池化所用公式为：
Figure FDA0002271674140000021
其中N表示特征图的个数，表示第n个特征图，F表示平均池化后的特征。
7.根据权利要求3所述的一种基于形体识别技术的寻人方法，其特征在于：所述特征提取包括：利用三元损失函数将统一目标样本的距离最小化，不同目标的样本之间距离最大化，最终得到用于提取目标特征的网络结构，将目标图像输入到神经网络后，神经网络输出一个2048维的特征向量。
8.根据权利要求7所述的一种基于形体识别技术的寻人方法，其特征在于：所述三元损失函数公式为：
L＝max(d(a，p)-d(a，n)+margin，0)
其中L表示了损失函数的计算方法，其中a表示anchor样本，p为正样本，n为负样本；d(a，p)表示anchor和正样本之间的距离，d(a，n)表示anchor和负样本之间的距离，margin表示边界值。
9.根据权利要求1所述的一种基于形体识别技术的寻人方法，其特征在于：所述推送的视频摘要仅为人的视频摘要。
10.根据权利要求1所述的一种基于形体识别技术的寻人方法，其特征在于：所述用户选择视频摘要进行检索，服务器会根据收到的该视频摘要的特征值与数据库中的所有摘要特征值进行比对，特征比对采用特征之间的余弦距离来衡量，设特征提取步骤输出的特征向量为X和Y，则两者之间的相似度计算可以表示为如下公式：
Figure FDA0002271674140000022
其中，Sim(X，Y)表示两个同量X和Y之间的相似度，||x||和||y||分别表示向量X和Y的模，表示向量X和Y的点积，最后按照相似度Sim(X,Y)和预设的一个阈值来进行比较，选择是否进行推送。
CN201911107185.5A 2019-11-13 2019-11-13 一种基于形体识别技术的寻人方法 Pending CN110825916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911107185.5A CN110825916A (zh) 2019-11-13 2019-11-13 一种基于形体识别技术的寻人方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911107185.5A CN110825916A (zh) 2019-11-13 2019-11-13 一种基于形体识别技术的寻人方法

Publications (1)

Publication Number Publication Date
CN110825916A true CN110825916A (zh) 2020-02-21

Family

ID=69554973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911107185.5A Pending CN110825916A (zh) 2019-11-13 2019-11-13 一种基于形体识别技术的寻人方法

Country Status (1)

Country Link
CN (1) CN110825916A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898572A (zh) * 2020-08-05 2020-11-06 杭州云栖智慧视通科技有限公司 一种基于形体识别的案件智能串并方法
CN112163568A (zh) * 2020-10-28 2021-01-01 成都中科大旗软件股份有限公司 基于视频检测的景区寻人系统
CN112784091A (zh) * 2021-01-26 2021-05-11 上海商汤科技开发有限公司 兴趣分析方法和相关装置、设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080080743A1 (en) * 2006-09-29 2008-04-03 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
CN107423674A (zh) * 2017-05-15 2017-12-01 广东数相智能科技有限公司 一种基于人脸识别的寻人方法、电子设备及存储介质
CN107665483A (zh) * 2017-09-27 2018-02-06 天津智慧视通科技有限公司 免定标便捷的单目镜头鱼眼图像畸变矫正方法
CN110399525A (zh) * 2019-07-27 2019-11-01 广州伽利略网络科技有限公司 一种基于图像识别技术的人、物运动轨迹快速检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080080743A1 (en) * 2006-09-29 2008-04-03 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
CN107423674A (zh) * 2017-05-15 2017-12-01 广东数相智能科技有限公司 一种基于人脸识别的寻人方法、电子设备及存储介质
CN107665483A (zh) * 2017-09-27 2018-02-06 天津智慧视通科技有限公司 免定标便捷的单目镜头鱼眼图像畸变矫正方法
CN110399525A (zh) * 2019-07-27 2019-11-01 广州伽利略网络科技有限公司 一种基于图像识别技术的人、物运动轨迹快速检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAO LIU 等: "Video-Based Person Re-Identification With Accumulative Motion Context", 《 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
史云静: "基于内容的监控视频特征提取和检索技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
叶泽雄: "基于视频内容分析的摘要以及检索系统", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
赵黎明: "面向视觉感知理解的目标检测、跟踪与识别方法研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898572A (zh) * 2020-08-05 2020-11-06 杭州云栖智慧视通科技有限公司 一种基于形体识别的案件智能串并方法
CN112163568A (zh) * 2020-10-28 2021-01-01 成都中科大旗软件股份有限公司 基于视频检测的景区寻人系统
CN112163568B (zh) * 2020-10-28 2023-02-28 成都中科大旗软件股份有限公司 基于视频检测的景区寻人系统
CN112784091A (zh) * 2021-01-26 2021-05-11 上海商汤科技开发有限公司 兴趣分析方法和相关装置、设备

Similar Documents

Publication Publication Date Title
CN111126379B (zh) 一种目标检测方法与装置
CN105447459B (zh) 一种无人机自动检测目标和跟踪方法
US11017215B2 (en) Two-stage person searching method combining face and appearance features
CN108376242B (zh) 针对视频的持续性特征描述符
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN110825916A (zh) 一种基于形体识别技术的寻人方法
Varghese et al. An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots
CN102932605A (zh) 一种视觉感知网络中摄像机的组合选择方法
CN111652035B (zh) 一种基于ST-SSCA-Net的行人重识别方法及系统
CN109492528A (zh) 一种基于高斯和深度特征的行人再识别方法
CN111339812A (zh) 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质
WO2023159898A1 (zh) 一种动作识别系统、方法、装置及模型训练方法、装置、计算机设备及计算机可读存储介质
CN115841649A (zh) 一种用于城市复杂场景的多尺度人数统计方法
CN115393788B (zh) 一种基于增强全局信息注意力的多尺度监控行人重识别方法
CN111104924B (zh) 一种识别低分辨率商品图像的处理算法
CN114782997A (zh) 基于多损失注意力自适应网络的行人重识别方法及系统
CN117409476A (zh) 一种基于事件相机的步态识别的方法
CN109359530B (zh) 一种智能视频监控方法及装置
Jin et al. GA-APEXNET: Genetic algorithm in apex frame network for micro-expression recognition system
CN115841682A (zh) 基于姿态估计和Transformer的遮挡行人重识别方法
CN115115976A (zh) 视频处理方法、装置、电子设备及存储介质
CN110830734B (zh) 一种突变和渐变镜头切换识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221