CN110929695A - 一种人脸识别和行人重识别关联方法 - Google Patents

一种人脸识别和行人重识别关联方法 Download PDF

Info

Publication number
CN110929695A
CN110929695A CN201911288521.0A CN201911288521A CN110929695A CN 110929695 A CN110929695 A CN 110929695A CN 201911288521 A CN201911288521 A CN 201911288521A CN 110929695 A CN110929695 A CN 110929695A
Authority
CN
China
Prior art keywords
pedestrian
image
face
obtaining
ymin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911288521.0A
Other languages
English (en)
Other versions
CN110929695B (zh
Inventor
廖志梁
王道宁
陶亮
张吉昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yicheng High Tech (dalian) Technology Co Ltd
Original Assignee
Yicheng High Tech (dalian) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yicheng High Tech (dalian) Technology Co Ltd filed Critical Yicheng High Tech (dalian) Technology Co Ltd
Priority to CN201911288521.0A priority Critical patent/CN110929695B/zh
Publication of CN110929695A publication Critical patent/CN110929695A/zh
Application granted granted Critical
Publication of CN110929695B publication Critical patent/CN110929695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种人脸识别和行人重识别关联方法，包括以下步骤：1)通过视频解码获得原始视频图像；2)在原始图像上进行行人检测，得到行人目标框pbox＝[x,y,w,h]；3)根据pbox在原图上裁剪获得行人的图像image_p；4)将行人图像image_p进行resize操作统一到一个固定的尺寸，获得图像image_p_rs；5)通过人体解析网络，获得行人头部、上身、下身区域的掩膜mask；6)将通过头部区mask经过两次坐标变换获得原图上人脸的检测框；7)在原图上裁剪可获得高清晰的人脸图像image_face；8)获得人脸的ID；9)将行人图像和行人mask图像拼接，获得行人的ID。本发明充分复用了各种算法的输出结果，使整个系统计算复杂度降低；在不引入额外的人脸检测模块下，实现了高分辨率人脸图像获取。

Description

一种人脸识别和行人重识别关联方法
技术领域
本发明涉及视频监控技术领域。
背景技术
在商业应用场景下行人特征具有容易获取并且难以隐藏的特点，目前的行人特征提取依赖于行人衣服的纹理特征，当行人换衣服的时候该方法将会失效。
人脸特征提取是目前最成熟且准确率最高的方法，但是人脸特征在非配合场景下难以获得清晰人脸。
若想将人脸识别和行人重识别结合起来需要解决以下问题：
1)如何在目标检测过程中将人脸检测框和行人检测框关联。目前该领域方法有bottom-up和top-down两种，自下而上的bottom-up方法不会因为人数增多而变慢，但是准确率较差。自上而下的top-down方法准确率高但是随着人数增多而变慢；
2)如何获取高清晰的人脸图像是一个关键。在原始图像1080p上进行人脸检测需要引入额外的检测模块，会降低整个系统的运行速度。
发明内容
基于现有的人脸识别和行人重识别方法存在的上述问题，本发明提供了一种人脸识别和行人重识别关联方法。
本发明为实现上述目的所采用的技术方案是：一种人脸识别和行人重识别关联方法，包括以下步骤：
1)通过视频解码获得原始视频图像；
2)在原始图像上进行行人检测，得到行人目标框pbox＝[x,y,w,h]，其中x:代表目标中心位置的横坐标；y：代表目标中心位置纵坐标；w：代表目标的宽度；h：代表目标的高度；
3)根据pbox在原图上裁剪获得行人的图像image_p；
4)将行人图像image_p进行resize操作统一到一个固定的尺寸，获得图像image_p_rs；
5)通过人体解析网络，获得行人头部、上身、下身区域的掩膜mask；
6)将通过头部区mask经过两次坐标变换获得原图上人脸的检测框；
7)在原图上裁剪可获得高清晰的人脸图像image_face；
8)获得人脸的ID；
9)将行人图像和行人mask图像拼接，获得行人的ID。
所述步骤6)中，原图上人脸的检测框获取方法为：
6.1)通过获取头部mask在x轴方向的最大最小值和Y轴方向最大最小值得到头部区域的在尺寸归一化后的单张行人图的检测框face＝[xmin,ymin,xmax,ymax]，其中xmin代表矩形框x轴最小坐标值；xmax代表矩形框x轴最大坐标值；其中ymin代表矩形框y轴最小坐标值；ymax代表矩形框y轴最大坐标值；
6.2)将face检测框转换为归一化坐标，其中img_x,img_y分别代表行人图像的宽和高，face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]，
xmin_n＝xmin/img_x；xmax_n＝xmax/img_x，
ymin_n＝ymin/img_y；ymax_n＝ymax/img_y；
6.3)行人在原图上检测框为pbox＝[x_p,y_p,w_p,h_p]，则行人原图尺寸为w_p,h_p，行人图像尺寸统一后的大小为img_x、img_y，在行人图像上的人脸检测框归一化坐标为face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]；人脸在原图上的检测框为：face_org＝[xmin_org,ymin_org,xmax_org,ymax_org]，则有如下坐标转换公式：
xmin_org＝x_p-w_p/2+xmin_n*w_p
xmax_org＝x_p+w_p/2+xmax_n*w_p
ymin_org＝y_p-h_p/2+ymin_n*h_p
ymax_org＝y_p+h_p/2+ymax_n*h_p。
本发明的人脸识别和行人重识别关联方法，充分复用了各种算法的输出结果，使整个系统计算复杂度降低；在不引入额外的人脸检测模块下，实现了高分辨率人脸图像获取。
附图说明
图1是本发明人脸识别和行人重识别关联方法流程图。
具体实施方式
本发明人脸识别和行人重识别关联方法如下：
1.通过视频解码获得原始视频图像1080P；
2.采用目标检测算法(常用的目标检测算法即可)在原始图像上进行行人检测，得到行人目标框pbox＝[x,y,w,h]，其中x代表目标中心位置的横坐标；y代表目标中心位置纵坐标；w代表目标的宽度；h代表目标的高度；
3.根据pbox在原图上裁剪获得行人的图像image_p，该图像的尺寸根据不同人而不同；
4.将行人图像image_p进行resize操作统一到一个固定的尺寸，获得图像image_p_rs；
5.通过人体解析网络，可以获得行人头部，上身，下身区域的掩膜mask；
6.将通过头部区mask经过两次坐标变换可以获得原图上人脸的检测框；
6.1)通过获取头部mask在x轴方向的最大、最小值和Y轴方向最大、最小值得到头部区域的在尺寸归一化后的单张行人图的检测框face＝[xmin,ymin,xmax,ymax]，其中xmin代表矩形框x轴最小坐标值；xmax代表矩形框x轴最大坐标值；其中ymin代表矩形框y轴最小坐标值；ymax代表矩形框y轴最大坐标值；
6.2)将face检测框转换为归一化坐标，其中img_x,img_y分别代表行人图像的宽和高face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]。
xmin_n＝xmin/img_x；xmax_n＝xmax/img_x
ymin_n＝ymin/img_y；ymax_n＝ymax/img_y6.3)设行人在原图上检测框为pbox＝[x_p,y_p,w_p,h_p]，则行人原图尺寸为w_p,h_p；行人图像尺寸统一后的大小为img_x，img_y；在行人图像上的人脸检测框归一化坐标为face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]；人脸在原图上的检测框为：face_org＝[xmin_org,ymin_org,xmax_org,ymax_org]，则有如下坐标转换公式：
xmin_org＝x_p-w_p/2+xmin_n*w_p
xmax_org＝x_p+w_p/2+xmax_n*w_p
ymin_org＝y_p-h_p/2+ymin_n*h_p
ymax_org＝y_p+h_p/2+ymax_n*h_p
7.在原图上裁剪可获得高清晰的人脸图像image_face。
8.通过人脸识别算法获得人脸的ID。
9.将行人图像和行人mask图像拼接，送入行人重识别算法可获得行人的ID。
本发明是通过实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (2)

1.一种人脸识别和行人重识别关联方法，其特征在于：包括以下步骤：
1)通过视频解码获得原始视频图像；
2)在原始图像上进行行人检测，得到行人目标框pbox＝[x,y,w,h]，其中x:代表目标中心位置的横坐标；y：代表目标中心位置纵坐标；w：代表目标的宽度；h：代表目标的高度；
3)根据pbox在原图上裁剪获得行人的图像image_p；
4)将行人图像image_p进行resize操作统一到一个固定的尺寸，获得图像image_p_rs；
5)通过人体解析网络，获得行人头部、上身、下身区域的掩膜mask；
6)将通过头部区mask经过两次坐标变换获得原图上人脸的检测框；
7)在原图上裁剪可获得高清晰的人脸图像image_face；
8)获得人脸的ID；
9)将行人图像和行人mask图像拼接，获得行人的ID。
2.根据权利要求1所述的一种人脸识别和行人重识别关联方法，其特征在于：所述步骤6)中，原图上人脸的检测框获取方法为：
6.1)通过获取头部mask在x轴方向的最大最小值和Y轴方向最大最小值得到头部区域的在尺寸归一化后的单张行人图的检测框face＝[xmin,ymin,xmax,ymax]，其中xmin代表矩形框x轴最小坐标值；xmax代表矩形框x轴最大坐标值；其中ymin代表矩形框y轴最小坐标值；ymax代表矩形框y轴最大坐标值；
6.2)将face检测框转换为归一化坐标，其中img_x,img_y分别代表行人图像的宽和高，face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]，
xmin_n＝xmin/img_x；xmax_n＝xmax/img_x，
ymin_n＝ymin/img_y；ymax_n＝ymax/img_y；
6.3)行人在原图上检测框为pbox＝[x_p,y_p,w_p,h_p]，则行人原图尺寸为w_p,h_p，行人图像尺寸统一后的大小为img_x、img_y，在行人图像上的人脸检测框归一化坐标为face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]；人脸在原图上的检测框为：face_org＝[xmin_org,ymin_org,xmax_org,ymax_org]，则有如下坐标转换公式：
xmin_org＝x_p-w_p/2+xmin_n*w_p
xmax_org＝x_p+w_p/2+xmax_n*w_p
ymin_org＝y_p-h_p/2+ymin_n*h_p
ymax_org＝y_p+h_p/2+ymax_n*h_p。
CN201911288521.0A 2019-12-12 2019-12-12 一种人脸识别和行人重识别关联方法 Active CN110929695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911288521.0A CN110929695B (zh) 2019-12-12 2019-12-12 一种人脸识别和行人重识别关联方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911288521.0A CN110929695B (zh) 2019-12-12 2019-12-12 一种人脸识别和行人重识别关联方法

Publications (2)

Publication Number Publication Date
CN110929695A true CN110929695A (zh) 2020-03-27
CN110929695B CN110929695B (zh) 2024-02-27

Family

ID=69863631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911288521.0A Active CN110929695B (zh) 2019-12-12 2019-12-12 一种人脸识别和行人重识别关联方法

Country Status (1)

Country Link
CN (1) CN110929695B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797691A (zh) * 2020-06-03 2020-10-20 力引万物(深圳)科技有限公司 提高人脸识别准确率的方法及处理子系统
CN111815674A (zh) * 2020-06-23 2020-10-23 浙江大华技术股份有限公司 一种目标跟踪方法、装置以及计算机可读存储装置
CN112699810A (zh) * 2020-12-31 2021-04-23 中国电子科技集团公司信息科学研究院 一种提升室内监控系统人物识别精度的方法及装置
CN112818917A (zh) * 2021-02-24 2021-05-18 复旦大学 一种实时行人检测与重识别方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563299A (zh) * 2017-08-07 2018-01-09 盐城禅图智能科技有限公司 一种利用ReCNN融合上下文信息的行人检测方法
CN107704847A (zh) * 2017-10-26 2018-02-16 成都品果科技有限公司 一种人脸关键点的检测方法
US20180181803A1 (en) * 2016-12-27 2018-06-28 Shenzhen University Pedestrian head identification method and system
CN109472191A (zh) * 2018-09-17 2019-03-15 西安电子科技大学 一种基于时空上下文的行人重识别与追踪方法
CN109598225A (zh) * 2018-11-29 2019-04-09 浙江大学 尖锐注意力网络、神经网络及行人再识别方法
CN110070010A (zh) * 2019-04-10 2019-07-30 武汉大学 一种基于行人重识别的人脸属性关联方法
CN110390283A (zh) * 2019-07-12 2019-10-29 易诚高科（大连）科技有限公司 一种商业场景下跨摄像头行人重检索方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180181803A1 (en) * 2016-12-27 2018-06-28 Shenzhen University Pedestrian head identification method and system
CN107563299A (zh) * 2017-08-07 2018-01-09 盐城禅图智能科技有限公司 一种利用ReCNN融合上下文信息的行人检测方法
CN107704847A (zh) * 2017-10-26 2018-02-16 成都品果科技有限公司 一种人脸关键点的检测方法
CN109472191A (zh) * 2018-09-17 2019-03-15 西安电子科技大学 一种基于时空上下文的行人重识别与追踪方法
CN109598225A (zh) * 2018-11-29 2019-04-09 浙江大学 尖锐注意力网络、神经网络及行人再识别方法
CN110070010A (zh) * 2019-04-10 2019-07-30 武汉大学 一种基于行人重识别的人脸属性关联方法
CN110390283A (zh) * 2019-07-12 2019-10-29 易诚高科（大连）科技有限公司 一种商业场景下跨摄像头行人重检索方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797691A (zh) * 2020-06-03 2020-10-20 力引万物(深圳)科技有限公司 提高人脸识别准确率的方法及处理子系统
CN111815674A (zh) * 2020-06-23 2020-10-23 浙江大华技术股份有限公司 一种目标跟踪方法、装置以及计算机可读存储装置
CN111815674B (zh) * 2020-06-23 2023-02-28 浙江大华技术股份有限公司 一种目标跟踪方法、装置以及计算机可读存储装置
CN112699810A (zh) * 2020-12-31 2021-04-23 中国电子科技集团公司信息科学研究院 一种提升室内监控系统人物识别精度的方法及装置
CN112699810B (zh) * 2020-12-31 2024-04-09 中国电子科技集团公司信息科学研究院 一种提升室内监控系统人物识别精度的方法及装置
CN112818917A (zh) * 2021-02-24 2021-05-18 复旦大学 一种实时行人检测与重识别方法及装置
CN112818917B (zh) * 2021-02-24 2022-03-22 复旦大学 一种实时行人检测与重识别方法及装置

Also Published As

Publication number Publication date
CN110929695B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN110929695A (zh) 一种人脸识别和行人重识别关联方法
CN110517283A (zh) 姿态跟踪方法、装置及计算机可读存储介质
CN107067015B (zh) 一种基于多特征深度学习的车辆检测方法及装置
CN102880865B (zh) 基于肤色与形态特征的动态手势识别方法
CN108268850B (zh) 一种基于图像的大数据处理方法
CN110059634B (zh) 一种大场景人脸抓拍方法
CN108182381B (zh) 基于快速Adaboost训练算法的自动扶梯乘客检测方法
CN112598587B (zh) 一种联合人脸去口罩和超分辨率的图像处理系统和方法
CN111860142B (zh) 一种面向投影增强的基于机器视觉的手势交互方法
CN111611849A (zh) 一种用于门禁设备的人脸识别系统
CN109446953A (zh) 一种基于轻量化卷积神经网络的行人重识别方法
CN104717400A (zh) 一种监控视频的实时去雾方法
CN110222647B (zh) 一种基于卷积神经网络的人脸活体检测方法
Prasad et al. INDIAN SIGN LANGUAGE RECOGNITION SYSTEM USING NEW FUSION BASED EDGE OPERATOR.
KR102489884B1 (ko) 차량 번호판 인식율 개선을 위한 이미지 처리 장치 및 이를 이용한 이미지 처리 방법
CN105374051A (zh) 智能移动终端防镜头抖动视频运动目标检测方法
JP2023092185A (ja) 画像処理装置、学習方法およびプログラム
CN103455998B (zh) 视频图像中阴影的检测方法及装置
CN106446870B (zh) 一种人体轮廓特征提取方法和装置
CN111079516A (zh) 基于深度神经网络的行人步态分割方法
KR101669447B1 (ko) 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법
JP3578321B2 (ja) 画像正規化装置
CN109145875A (zh) 一种人脸图像中的黑框眼镜去除方法及装置
CN112364200B (zh) 一种类脑成像的方法、装置、设备及存储介质
CN106339709A (zh) 一种图像实时提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method for associating facial recognition and pedestrian re identification

Granted publication date: 20240227

Pledgee: Dalian Branch of Shanghai Pudong Development Bank Co.,Ltd.

Pledgor: YICHENG GAOKE (DALIAN) TECHNOLOGY Co.,Ltd.

Registration number: Y2024980038970