CN110991316B - 一种运用于开放环境的形体和身份信息自动采集的方法 - Google Patents

一种运用于开放环境的形体和身份信息自动采集的方法 Download PDF

Info

Publication number
CN110991316B
CN110991316B CN201911194540.7A CN201911194540A CN110991316B CN 110991316 B CN110991316 B CN 110991316B CN 201911194540 A CN201911194540 A CN 201911194540A CN 110991316 B CN110991316 B CN 110991316B
Authority
CN
China
Prior art keywords
face
information
identity information
data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911194540.7A
Other languages
English (en)
Other versions
CN110991316A (zh
Inventor
徐鑫
徐晓刚
丁超辉
张华新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yunqi Smart Vision Technology Co ltd
Original Assignee
Hangzhou Yunqi Smart Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yunqi Smart Vision Technology Co ltd filed Critical Hangzhou Yunqi Smart Vision Technology Co ltd
Priority to CN201911194540.7A priority Critical patent/CN110991316B/zh
Publication of CN110991316A publication Critical patent/CN110991316A/zh
Application granted granted Critical
Publication of CN110991316B publication Critical patent/CN110991316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种运用于开放环境的形体和身份信息自动采集的方法，涉及图像处理技术领域；包括如下步骤：S01、建库模块与视频管理平台对接，并获取人脸抓拍机以及安防摄像头信息；S02、建立人脸抓拍机与安防摄像头的关联关系；S03、获取抓拍机返回信息；S04、获取指定摄像头视频；S05、获取形体抠图；S06、形体比对；S07、相似度值判定；S08、获取身份信息；S09、建立关联形成形体记录。本发明解决了无法自动获取人员多角度形体信息及缺少身份信息的问题。

Description

一种运用于开放环境的形体和身份信息自动采集的方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种运用于开放环境的形体和身份信息自动采集的方法。
背景技术
儿童拐卖，智障老人走失、人员失踪等社会问题由来已久，如何能快速定位，找到失踪人口是摆在各职能部门的一个非常重要，也是非常棘手的问题。
目前社会普遍采用发展成熟的人脸识别技术来“找人”，通过人脸抓拍实时分析视频流，针对视频中每个人脸出一张或多张质量比较好的人脸图片，并对人脸图片进行结构化保存，然后将某人面像与数据库中的多人的人脸进行比对(1：N)，并根据比对结果来鉴定此人身份，或找到其中最相似的人脸，并按相似程度的大小输出检索结果。
这种技术场景的应用在配合场景下：比如ATM机刷脸取款，用户会自主配合，将人脸以一个理想的角度通过识别。然而在非配合或复杂应用场景下，该方法找人却存在以下几方面的缺点：
1、监控视频下的人脸识别，用户脸部会发生角度偏大，遮挡，光线等不可控问题，会造成识别的准确率降低；
2、不同摄像头设备之间的差异，导致监控视频下的人脸模糊，像素低，有些甚至没有达到32*32，无法做出有效识别，形成漏检。
发明内容
本发明的目的在于，提供一种运用于开放环境的形体和身份信息自动采集的方法来解决背景技术中的问题。
本发明的技术方案：一种运用于开放环境的形体和身份信息自动采集的方法，包括如下步骤：
S01、建库模块与视频管理平台对接，并获取人脸抓拍机以及安防摄像头信息；
S02、建立人脸抓拍机与安防摄像头的关联关系；
S03、获取抓拍机返回信息；
S04、获取指定摄像头视频；
S05、获取形体抠图；
S06、形体比对；
S07、相似度值判定；
S08、获取身份信息；
S09、建立关联形成形体记录。
本发明的优点在于：与通过纯人工录入身份信息与形体信息实现关联的方式相比，本发明建立人脸抓拍机和摄像头之间的空间关联组，根据人脸抓拍机返回的人脸抓拍时间获取关联组内相近时间的视频流文件，解决了多角度视频文件获取问题。
将人脸抓拍机返回的人脸信息向人脸识别系统进行查询，人脸识别系统返回人员身份信息，解决了人员身份获取问题。
通过对关联组内已获取的视频进行深度形体识别，筛选符合要求的视频片段，再结合已获取的人员身份信息、人脸图片形成完整的人员形体记录，解决了无法自动获取人员多角度形体信息及缺少身份信息的问题。
附图说明
图1是本发明整体流程示意图；
图2是本发明实施示例中对单帧图像处理的流程示意。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例：参照图1所示：包括如下步骤：
步骤1：与视频联网管理平台对接，获取人脸抓拍机、安防摄像头的列表信息，包含摄像头的国标编码、系统ID、经纬度等信息。同时设定相似度直接入库值P。
步骤2：通过空间定位辅助实现抓摄联动关联。以人脸抓拍机作为起始关联点，通过步骤1获取的经纬度信息，自动筛选经纬度直线距离差距在50米范围内的安防摄像头列入推荐列表，在关联配置页面优先显示具体最近的安防摄像头信息。同时，在关联配置页面使用者可以同时查看人脸抓拍机和经过筛选的安防摄像机实时视频画面，两者显示画面存在画面具有重叠的区域或则判定两者之间符合关联条件，并进行关联操作，以下情况同样视为符合关联条件：人脸抓拍机出现的人或车或其他运动物体在20秒内出现在安防摄像头中，或安防摄像头出现的人或车或其他运动物体在20秒内出现在人脸抓拍机中。
使用者重复进行关联操作，直到经纬度差距在50米范围内的摄像头被穷举或人脸抓拍机和安防摄像头的配对比例达到1：3。最终人脸抓拍机和安防摄像头的关联比存在4种可能，即1：0、1：1、1：2、1：3。通常我们将1：0视为无效比例，其余比例视为有效比例，针对有效比例将进行后续形体视频的采集和形体比对，比例越大表示采集的形体角度越多，形体特征信息越丰富，在后续应用中的检测比对会更加准确。
步骤3：视频管理平台返回人脸抓拍机抓拍信息。向视频管理平台进行人脸抓拍机订阅，即人脸抓拍机抓拍到人脸后，向建库模块返回人脸抠图、全景图、人脸抠图在全景图中的坐标、人脸抓拍机ID、抓拍时间。
步骤4：建库模块根据步骤3收到的人脸抓拍机ID，通过步骤2产生的关联关系查找对应的1-3个安防摄像头ID，建库模块向视频管理平台索取抓拍时间前后10秒共计20秒的视频数据。为了能顺利获取安防摄像头指定时间段的历史视频流，步骤4的执行时间为步骤3获取的抓拍时间后10分钟。
如同一个人脸抓拍机临近返回的抓拍机时间小于20秒，则建库模块会将连续间隔小于20秒的抓拍机记录进行合并操作，即在取视频历史视频流时的时间为合并操作中最早抓拍时间往前10秒至最晚抓拍时间往后10秒，取历史视频流的开始时间为最晚时间往后10分钟。
三个摄像头获取的视频分别为A1、A2、A3。
步骤5：获取人脸抠图对应的形体抠图。
通过目标检测算法获取全景图中的所有目标人物抠图，并以抠图B(X)上部15％区域作为比对区域B1，人脸抠图为对比区域B0，找出包含B0的B1，再通过B1对应到具体的形体抠图为BX。
目标检测方法、特征提取及基本步骤如下：
1)针对单帧图像，基于神经网络的one-stage算法，图像输入神经网络后，最后根据输出的特征，解码为目标的位置和类别，再经过NMS过程，滤除重叠区域较大目标，获得最终的目标检测位置；
神经网络的one-stage检测算法实现细节，对于单张图片，resize成300x300图片尺寸，送入basebone，图1中的basebone为VGG16，做卷积运算，再经过后面的几层卷积之后，通过ExtraFeatureLyaer提取特征，形成6组张量，分别为1x512x38x38，1x1024x19x19，1x512x10x10，1x256x5x5，1x256x3x3，1x256x1x1，对这6组张量分别做卷积运算，得到的特征值即为神经网络预测的位置张量和预测的置信度张量，再对预测置信度张量进行softmax等运算，得到1x8732x4张量用于最终位置预测依据和1x8732x21(21为检测目标总类)用于最终分类结果的预测依据。解码目标的过程主要依靠的是预先设置好的8732x4维度的Priorboxes，通过训练后，得到的特征张量表示了预测的目标框位置，将预测位置转换为目标框真实位置的过程通过解码函数得到，解码函数可以表示为：
bx＝dwlx+dx，by＝dyly+dy
bw＝dwexp(lw)，bn＝dnexp(lh)
其中b＝(bx,by,bw,bh)表示真实框的角点坐标和宽高，d＝(dx,dy,dw,dh)表示先验框的角点坐标和宽高，l＝(lx,ly,lw,lh)是神经网络预测的角点坐标和宽高。
对之前1x8732x21进行预测分类得分的降序排序并进行NMS操作滤除多余候选框，确定8732个box哪些将作为预测结果(参照图2所示)。
2)针对帧间信息，传递上一帧最后一层的特征到当前帧神经网络特征的对应层，然后做平均池化操作，融合前后帧信息；其中平均池化的公式可以表示为：
其中N表示特征图的个数，表示第n个特征图，F表示平均池化后的特征。
特征提取采用一中改进的person-reID思想，基础网路采用ResNet50网络结构，损失函数利用三元损失函数：
L＝max(d(a，p)-d(a，n)+margin，0)
L表示了损失函数的计算方法，其中a表示anchor样本，p为正样本，n为负样本；d(a,p)表示anchor和正样本之间的距离，d(a,n)表示anchor和负样本之间的距离，margin表示边界值，上式总体表示了将同一个目标样本的距离最小化，不同目标的样本之间距离最大化。
通过在数据集中的训练，我们得到了能够提取目标特征的网络结构，将目标图像输入神经网络后，神经网络输出一个2048维的特征向量，该向量用于目标之间相似度判断。
步骤6：形体比对。
将视频A1、A2、A3分别通过目标检测，并对每个目标进行神经网络计算获取2048维特征向量组C(X)，将BX通过神经网络计算获取2048维的特征向量C0，通过C(X)组分别与C0进行比对，每个视频取相似度最高值分为别C1、C2、C3。
特征比对采用特征之间的余弦距离来衡量。设特征提取步骤输出的特征向量为X和Y，则两者之间的相似度计算可以表示为如下公式：
Sim(X,Y)表示两个向量X和Y之间的相似度，||x||和||y||分别表示向量X和Y的模，表示向量X和Y的点积。
步骤7：当C1、C2、C3的最大值小于P，则流程到此位置，已获取的人脸抠图、全景图、关联视频等所有信息均为无效信息，直接删除。除此之外，获取的数据视为有效数据加以保留，但除了相似度值小于P的视频。
步骤8：如经过步骤7未被判定为无效数据，则将步骤4获取的人脸抠图作为源数据，向人脸识别系统发起1：N的比对请求，人脸识别系统向建库模块返回TOP1数据(即相似度最高)，如TOP1数据中的相似度达到95％则将TOP1身份信息作为有效身份信息。
步骤9：将步骤7判定为有效的数据，连同步骤8获取的有效身份数据，作为一条完整的人员形体数据进行记录。主要入库字段：记录编号、姓名、性别、身份证、人脸抓拍机、人脸抠图、全景图、关联视频1(小图4张、小图的选框、帧号)、关联视频2(小图4张、小图的选框、帧号)、关联视频3(小图4张、小图的选框、帧号)。

Claims (6)

1.一种运用于开放环境的形体和身份信息自动采集的方法，其特征在于：包括如下步骤：
S01、建库模块与视频管理平台对接，并获取人脸抓拍机以及安防摄像头信息，并设定直接入库值P；
S02、建立人脸抓拍机与安防摄像头的关联关系；
所述步骤S02中建立关联关系的步骤包括：以人脸抓拍机作为起始关联点，通过位置信息筛选出附近的安防摄像头并列入推荐列表；
针对推荐列表中的安防摄像头进行判断，符合关联条件的进行关联，直到推荐列表中的摄像头被穷举或者人脸抓拍机和安防摄像头达到最佳的关联比；
S03、获取抓拍机返回信息；
所述步骤S03中的返回信息包括人脸抠图、全景图、人脸抠图在全景图中的坐标、人脸抓拍机ID、抓拍时间；
S04、获取指定摄像头视频；
S05、获取形体抠图；
所述步骤S05获取形体抠图的步骤包括：通过目标检测算法获取全景图中的所有目标人物抠图，并以抠图BX上部15%区域作为比对区域B1，人脸抠图为对比区域B0，找出包含B0的B1，再通过B1对应到具体的形体抠图为BX；
S06、形体比对；
所述步骤S06的具体方法为：将步骤S04中获取的视频分别通过目标检测，并对每个目标进行神经网络计算获取2048维特征向量组C（X），将步骤S05得到的形体抠图BX通过神经网络计算获取2048维的特征向量C0，通过C（X）组分别与C0进行比对，每个视频取相似度最高值；
S07、相似度值判定；
当步骤S06得到的每个视频相似度最高值中的最大值小于P时，则流程到此位置，已获取的人脸抠图、全景图、关联视频所有信息均为无效信息，直接删除，除此之外，获取的数据视为有效数据加以保留，但除了相似度值小于P的视频；
S08、获取身份信息；
如经过步骤S07未被判定为无效数据，则将步骤S04获取的人脸抠图作为源数据，向人脸识别系统发起1：N的比对请求，人脸识别系统向建库模块返回TOP1数据，TOP1数据为相似度最高的数据，如TOP1数据中的相似度达到95%则将TOP1身份信息作为有效身份信息；
S09、建立关联形成形体记录；
将步骤S07判定为有效的数据，连同步骤S08获取的有效身份数据，作为一条完整的人员形体数据进行记录。
2.根据权利要求1所述的一种运用于开放环境的形体和身份信息自动采集的方法，其特征在于：所述步骤S01中的信息包括摄像头的国籍编码、系统ID、经纬度信息。
3.根据权利要求2所述的一种运用于开放环境的形体和身份信息自动采集的方法，其特征在于：所述安防摄像头在通过位置信息筛选时以经纬度作为参数，选取较于起始关联点经纬度直线距离差距在50米范围内的安防摄像头。
4.根据权利要求3所述的一种运用于开放环境的形体和身份信息自动采集的方法，其特征在于：所述判断是否符合关联条件包括：a、可以同时查看人脸抓拍机和经过筛选的安防摄像机实时视频画面，两者显示画面存在画面具有重叠的区域；b、人脸抓拍机出现的人或车或其他运动物体在20秒内出现在安防摄像头中；c、安防摄像头出现的人或车或其他运动物体在20秒内出现在人脸抓拍机中。
5.根据权利要求4所述的一种运用于开放环境的形体和身份信息自动采集的方法，其特征在于：所述人脸抓拍机和安防摄像头的最佳的关联比为1:3。
6.根据权利要求5所述的一种运用于开放环境的形体和身份信息自动采集的方法，其特征在于：所述步骤S04的执行时间为步骤S03中获取抓拍时间后10分钟。
CN201911194540.7A 2019-11-28 2019-11-28 一种运用于开放环境的形体和身份信息自动采集的方法 Active CN110991316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911194540.7A CN110991316B (zh) 2019-11-28 2019-11-28 一种运用于开放环境的形体和身份信息自动采集的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911194540.7A CN110991316B (zh) 2019-11-28 2019-11-28 一种运用于开放环境的形体和身份信息自动采集的方法

Publications (2)

Publication Number Publication Date
CN110991316A CN110991316A (zh) 2020-04-10
CN110991316B true CN110991316B (zh) 2023-10-13

Family

ID=70087926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911194540.7A Active CN110991316B (zh) 2019-11-28 2019-11-28 一种运用于开放环境的形体和身份信息自动采集的方法

Country Status (1)

Country Link
CN (1) CN110991316B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861785B (zh) * 2021-03-09 2023-09-29 中山大学 一种基于实例分割和图像修复的带遮挡行人重识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681755A (zh) * 2016-01-27 2016-06-15 移康智能科技(上海)有限公司 安全监控方法及监控设备
CN107040761A (zh) * 2017-04-26 2017-08-11 江苏新和网络科技发展有限公司 一种应用于公安局的指挥中心控制系统
CN107995094A (zh) * 2017-11-02 2018-05-04 侯贺杰 可传递精简真实实时表情及形体信息的网络社交系统
CN108419014A (zh) * 2018-03-20 2018-08-17 北京天睿空间科技股份有限公司 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法
CN109359548A (zh) * 2018-09-19 2019-02-19 深圳市商汤科技有限公司 多人脸识别监控方法及装置、电子设备及存储介质
CN109902604A (zh) * 2019-02-18 2019-06-18 天津麒麟信息技术有限公司 一种基于飞腾平台的高安全性人脸比对系统及其方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681755A (zh) * 2016-01-27 2016-06-15 移康智能科技(上海)有限公司 安全监控方法及监控设备
CN107040761A (zh) * 2017-04-26 2017-08-11 江苏新和网络科技发展有限公司 一种应用于公安局的指挥中心控制系统
CN107995094A (zh) * 2017-11-02 2018-05-04 侯贺杰 可传递精简真实实时表情及形体信息的网络社交系统
CN108419014A (zh) * 2018-03-20 2018-08-17 北京天睿空间科技股份有限公司 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法
CN109359548A (zh) * 2018-09-19 2019-02-19 深圳市商汤科技有限公司 多人脸识别监控方法及装置、电子设备及存储介质
CN109902604A (zh) * 2019-02-18 2019-06-18 天津麒麟信息技术有限公司 一种基于飞腾平台的高安全性人脸比对系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
非约束环境下人脸识别技术的研究;汤一平;严海东;;浙江工业大学学报(02);41-47 *

Also Published As

Publication number Publication date
CN110991316A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
CN107093171B (zh) 一种图像处理方法及装置、系统
CN105574506B (zh) 基于深度学习和大规模集群的智能人脸追逃系统及方法
US20200202113A1 (en) Object tracking and best shot detection system
CN107292240B (zh) 一种基于人脸与人体识别的找人方法及系统
CN105488478B (zh) 一种人脸识别系统和方法
Kalra et al. Dronesurf: Benchmark dataset for drone-based face recognition
CN104303193B (zh) 基于聚类的目标分类
US11743431B2 (en) Video identification and analytical recognition system
CN111832457B (zh) 基于云边协同的陌生人入侵检测方法
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN110796079A (zh) 基于人脸深度特征和人体局部深度特征的多相机访客识别的方法及系统
KR101788225B1 (ko) 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템
CN110414441B (zh) 一种行人行踪分析方法及系统
CN101300588A (zh) 确定收集中的特定人的方法
CN105279480A (zh) 视频分析的方法
CN111241932A (zh) 汽车展厅客流检测与分析系统、方法及存储介质
CN107153820A (zh) 一种面向高噪声的人脸识别及运动轨迹判别方法
CN111126122B (zh) 人脸识别算法评估方法及装置
CN113935358A (zh) 一种行人追踪方法、设备和存储介质
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
CN110796074A (zh) 一种基于时空数据融合的行人再识别方法
CN108090428A (zh) 一种人脸识别方法及其系统
CN110991316B (zh) 一种运用于开放环境的形体和身份信息自动采集的方法
CN110705469A (zh) 一种人脸匹配方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230911

Address after: 310000 Room 401, building 2, No.16, Zhuantang science and technology economic block, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou yunqi smart Vision Technology Co.,Ltd.

Address before: 310000 room 279, building 6, No. 16, Zhuantang science and technology economic block, Zhuantang street, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: Smart vision (Hangzhou) Technology Development Co.,Ltd.

GR01 Patent grant
GR01 Patent grant