CN110929695B - 一种人脸识别和行人重识别关联方法 - Google Patents
一种人脸识别和行人重识别关联方法 Download PDFInfo
- Publication number
- CN110929695B CN110929695B CN201911288521.0A CN201911288521A CN110929695B CN 110929695 B CN110929695 B CN 110929695B CN 201911288521 A CN201911288521 A CN 201911288521A CN 110929695 B CN110929695 B CN 110929695B
- Authority
- CN
- China
- Prior art keywords
- image
- pedestrian
- face
- org
- ymin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims description 2
- 238000000844 transformation Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种人脸识别和行人重识别关联方法，包括以下步骤：1)通过视频解码获得原始视频图像；2)在原始图像上进行行人检测，得到行人目标框pbox＝[x,y,w,h]；3)根据pbox在原图上裁剪获得行人的图像image_p；4)将行人图像image_p进行resize操作统一到一个固定的尺寸，获得图像image_p_rs；5)通过人体解析网络，获得行人头部、上身、下身区域的掩膜mask；6)将通过头部区mask经过两次坐标变换获得原图上人脸的检测框；7)在原图上裁剪可获得高清晰的人脸图像image_face；8)获得人脸的ID；9)将行人图像和行人mask图像拼接，获得行人的ID。本发明充分复用了各种算法的输出结果，使整个系统计算复杂度降低；在不引入额外的人脸检测模块下，实现了高分辨率人脸图像获取。
Description
技术领域
本发明涉及视频监控技术领域。
背景技术
在商业应用场景下行人特征具有容易获取并且难以隐藏的特点，目前的行人特征提取依赖于行人衣服的纹理特征，当行人换衣服的时候该方法将会失效。
人脸特征提取是目前最成熟且准确率最高的方法，但是人脸特征在非配合场景下难以获得清晰人脸。
若想将人脸识别和行人重识别结合起来需要解决以下问题：
1)如何在目标检测过程中将人脸检测框和行人检测框关联。目前该领域方法有bottom-up和top-down两种，自下而上的bottom-up方法不会因为人数增多而变慢，但是准确率较差。自上而下的top-down方法准确率高但是随着人数增多而变慢；
2)如何获取高清晰的人脸图像是一个关键。在原始图像1080p上进行人脸检测需要引入额外的检测模块，会降低整个系统的运行速度。
发明内容
基于现有的人脸识别和行人重识别方法存在的上述问题，本发明提供了一种人脸识别和行人重识别关联方法。
本发明为实现上述目的所采用的技术方案是：一种人脸识别和行人重识别关联方法，包括以下步骤：
1)通过视频解码获得原始视频图像；
2)在原始图像上进行行人检测，得到行人目标框pbox＝[x,y,w,h]，其中x:代表目标中心位置的横坐标；y：代表目标中心位置纵坐标；w：代表目标的宽度；h：代表目标的高度；
3)根据pbox在原图上裁剪获得行人的图像image_p；
4)将行人图像image_p进行resize操作统一到一个固定的尺寸，获得图像image_p_rs；
5)通过人体解析网络，获得行人头部、上身、下身区域的掩膜mask；
6)将通过头部区mask经过两次坐标变换获得原图上人脸的检测框；
7)在原图上裁剪可获得高清晰的人脸图像image_face；
8)获得人脸的ID；
9)将行人图像和行人mask图像拼接，获得行人的ID。
所述步骤6)中，原图上人脸的检测框获取方法为：
6.1)通过获取头部mask在x轴方向的最大最小值和Y轴方向最大最小值得到头部区域的在尺寸归一化后的单张行人图的检测框face＝[xmin,ymin,xmax,ymax]，其中xmin代表矩形框x轴最小坐标值；xmax代表矩形框x轴最大坐标值；其中ymin代表矩形框y轴最小坐标值；ymax代表矩形框y轴最大坐标值；
6.2)将face检测框转换为归一化坐标，其中img_x,img_y分别代表行人图像的宽和高，face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]，
xmin_n＝xmin/img_x；xmax_n＝xmax/img_x，
ymin_n＝ymin/img_y；ymax_n＝ymax/img_y；
6.3)行人在原图上检测框为pbox＝[x_p,y_p,w_p,h_p]，则行人原图尺寸为w_p,h_p，行人图像尺寸统一后的大小为img_x、img_y，在行人图像上的人脸检测框归一化坐标为face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]；人脸在原图上的检测框为：face_org＝[xmin_org,ymin_org,xmax_org,ymax_org]，则有如下坐标转换公式：
xmin_org＝x_p-w_p/2+xmin_n*w_p
xmax_org＝x_p+w_p/2+xmax_n*w_p
ymin_org＝y_p-h_p/2+ymin_n*h_p
ymax_org＝y_p+h_p/2+ymax_n*h_p。
本发明的人脸识别和行人重识别关联方法，充分复用了各种算法的输出结果，使整个系统计算复杂度降低；在不引入额外的人脸检测模块下，实现了高分辨率人脸图像获取。
附图说明
图1是本发明人脸识别和行人重识别关联方法流程图。
具体实施方式
本发明人脸识别和行人重识别关联方法如下：
1.通过视频解码获得原始视频图像1080P；
2.采用目标检测算法(常用的目标检测算法即可)在原始图像上进行行人检测，得到行人目标框pbox＝[x,y,w,h]，其中x代表目标中心位置的横坐标；y代表目标中心位置纵坐标；w代表目标的宽度；h代表目标的高度；
3.根据pbox在原图上裁剪获得行人的图像image_p，该图像的尺寸根据不同人而不同；
4.将行人图像image_p进行resize操作统一到一个固定的尺寸，获得图像image_p_rs；
5.通过人体解析网络，可以获得行人头部，上身，下身区域的掩膜mask；
6.将通过头部区mask经过两次坐标变换可以获得原图上人脸的检测框；
6.1)通过获取头部mask在x轴方向的最大、最小值和Y轴方向最大、最小值得到头部区域的在尺寸归一化后的单张行人图的检测框face＝[xmin,ymin,xmax,ymax]，其中xmin代表矩形框x轴最小坐标值；xmax代表矩形框x轴最大坐标值；其中ymin代表矩形框y轴最小坐标值；ymax代表矩形框y轴最大坐标值；
6.2)将face检测框转换为归一化坐标，其中img_x,img_y分别代表行人图像的宽和高face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]。
xmin_n＝xmin/img_x；xmax_n＝xmax/img_x
ymin_n＝ymin/img_y；ymax_n＝ymax/img_y6.3)设行人在原图上检测框为pbox＝[x_p,y_p,w_p,h_p]，则行人原图尺寸为w_p,h_p；行人图像尺寸统一后的大小为img_x，img_y；在行人图像上的人脸检测框归一化坐标为face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]；人脸在原图上的检测框为：face_org＝[xmin_org,ymin_org,xmax_org,ymax_org]，则有如下坐标转换公式：
xmin_org＝x_p-w_p/2+xmin_n*w_p
xmax_org＝x_p+w_p/2+xmax_n*w_p
ymin_org＝y_p-h_p/2+ymin_n*h_p
ymax_org＝y_p+h_p/2+ymax_n*h_p
7.在原图上裁剪可获得高清晰的人脸图像image_face。
8.通过人脸识别算法获得人脸的ID。
9.将行人图像和行人mask图像拼接，送入行人重识别算法可获得行人的ID。
本发明是通过实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。
Claims (1)
1.一种人脸识别和行人重识别关联方法，其特征在于：包括以下步骤：
1)通过视频解码获得原始视频图像；
2)在原始图像上进行行人检测，得到行人目标框pbox＝[x,y,w,h]，其中x:代表目标中心位置的横坐标；y：代表目标中心位置纵坐标；w：代表目标的宽度；h：代表目标的高度；
3)根据pbox在原图上裁剪获得行人的图像image_p；
4)将行人图像image_p进行resize操作统一到一个固定的尺寸，获得图像image_p_rs；
5)通过人体解析网络，获得行人头部、上身、下身区域的掩膜mask；
6)将通过头部区mask经过两次坐标变换获得原图上人脸的检测框，获取方法为：
6.1)通过获取头部mask在x轴方向的最大最小值和Y轴方向最大最小值得到头部区域的在尺寸归一化后的单张行人图的检测框face＝[xmin,ymin,xmax,ymax]，其中xmin代表矩形框x轴最小坐标值；xmax代表矩形框x轴最大坐标值；其中ymin代表矩形框y轴最小坐标值；ymax代表矩形框y轴最大坐标值；
6.2)将face检测框转换为归一化坐标，其中img_x,img_y分别代表行人图像的宽和高，face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]，
xmin_n＝xmin/img_x；xmax_n＝xmax/img_x，
ymin_n＝ymin/img_y；ymax_n＝ymax/img_y；
6.3)行人在原图上检测框为pbox＝[x_p,y_p,w_p,h_p]，则行人原图尺寸为w_p,h_p，行人图像尺寸统一后的大小为img_x、img_y，在行人图像上的人脸检测框归一化坐标为face_norm＝[xmin_n,ymin_n,xmax_n,ymax_n]；人脸在原图上的检测框为：face_org＝[xmin_org,ymin_org,xmax_org,ymax_org]，则有如下坐标转换公式：
xmin_org＝x_p-w_p/2+xmin_n*w_p
xmax_org＝x_p+w_p/2+xmax_n*w_p
ymin_org＝y_p-h_p/2+ymin_n*h_p
ymax_org＝y_p+h_p/2+ymax_n*h_p；
7)在原图上裁剪获得高清晰的人脸图像image_face；
8)通过人脸识别算法获得人脸的ID；
9)将行人图像和行人mask图像拼接，送入行人重识别算法可获得行人的ID。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911288521.0A CN110929695B (zh) | 2019-12-12 | 2019-12-12 | 一种人脸识别和行人重识别关联方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911288521.0A CN110929695B (zh) | 2019-12-12 | 2019-12-12 | 一种人脸识别和行人重识别关联方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110929695A CN110929695A (zh) | 2020-03-27 |
| CN110929695B true CN110929695B (zh) | 2024-02-27 |
Family
ID=69863631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911288521.0A Active CN110929695B (zh) | 2019-12-12 | 2019-12-12 | 一种人脸识别和行人重识别关联方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110929695B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797691A (zh) * | 2020-06-03 | 2020-10-20 | 力引万物(深圳)科技有限公司 | 提高人脸识别准确率的方法及处理子系统 |
| CN111815674B (zh) * | 2020-06-23 | 2023-02-28 | 浙江大华技术股份有限公司 | 一种目标跟踪方法、装置以及计算机可读存储装置 |
| CN112699810B (zh) * | 2020-12-31 | 2024-04-09 | 中国电子科技集团公司信息科学研究院 | 一种提升室内监控系统人物识别精度的方法及装置 |
| CN112818917B (zh) * | 2021-02-24 | 2022-03-22 | 复旦大学 | 一种实时行人检测与重识别方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563299A (zh) * | 2017-08-07 | 2018-01-09 | 盐城禅图智能科技有限公司 | 一种利用ReCNN融合上下文信息的行人检测方法 |
| CN107704847A (zh) * | 2017-10-26 | 2018-02-16 | 成都品果科技有限公司 | 一种人脸关键点的检测方法 |
| CN109472191A (zh) * | 2018-09-17 | 2019-03-15 | 西安电子科技大学 | 一种基于时空上下文的行人重识别与追踪方法 |
| CN109598225A (zh) * | 2018-11-29 | 2019-04-09 | 浙江大学 | 尖锐注意力网络、神经网络及行人再识别方法 |
| CN110070010A (zh) * | 2019-04-10 | 2019-07-30 | 武汉大学 | 一种基于行人重识别的人脸属性关联方法 |
| CN110390283A (zh) * | 2019-07-12 | 2019-10-29 | 易诚高科（大连）科技有限公司 | 一种商业场景下跨摄像头行人重检索方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018119668A1 (zh) * | 2016-12-27 | 2018-07-05 | 深圳大学 | 一种行人头部识别方法及系统 |
-
2019
- 2019-12-12 CN CN201911288521.0A patent/CN110929695B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563299A (zh) * | 2017-08-07 | 2018-01-09 | 盐城禅图智能科技有限公司 | 一种利用ReCNN融合上下文信息的行人检测方法 |
| CN107704847A (zh) * | 2017-10-26 | 2018-02-16 | 成都品果科技有限公司 | 一种人脸关键点的检测方法 |
| CN109472191A (zh) * | 2018-09-17 | 2019-03-15 | 西安电子科技大学 | 一种基于时空上下文的行人重识别与追踪方法 |
| CN109598225A (zh) * | 2018-11-29 | 2019-04-09 | 浙江大学 | 尖锐注意力网络、神经网络及行人再识别方法 |
| CN110070010A (zh) * | 2019-04-10 | 2019-07-30 | 武汉大学 | 一种基于行人重识别的人脸属性关联方法 |
| CN110390283A (zh) * | 2019-07-12 | 2019-10-29 | 易诚高科（大连）科技有限公司 | 一种商业场景下跨摄像头行人重检索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110929695A (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929695B (zh) | 一种人脸识别和行人重识别关联方法 | |
| US6961466B2 (en) | Method and apparatus for object recognition | |
| TWI383325B (zh) | 臉部表情辨識 | |
| Dharavath et al. | Improving face recognition rate with image preprocessing | |
| EP2728511A1 (en) | Apparatus and method for face recognition | |
| CN108122206A (zh) | 一种低照度图像降噪方法及装置 | |
| KR101291039B1 (ko) | 지문인식장치 및 지문인식장치의 동적 배경 노이즈 제거방법 | |
| CN110059634B (zh) | 一种大场景人脸抓拍方法 | |
| TW201339992A (zh) | 人臉識別系統及方法 | |
| CN101299267A (zh) | 一种人脸图像处理方法及装置 | |
| JP2012084012A (ja) | 画像処理装置、その処理方法及びプログラム | |
| CN111611849A (zh) | 一种用于门禁设备的人脸识别系统 | |
| JP2014178862A (ja) | 特徴点抽出装置 | |
| WO2017092272A1 (zh) | 人脸识别方法和装置 | |
| KR100887183B1 (ko) | 얼굴인식 전처리장치 및 방법과 이를 이용한얼굴인식시스템 | |
| CN110222647B (zh) | 一种基于卷积神经网络的人脸活体检测方法 | |
| Yang et al. | Towards a robust face recognition system using compressive sensing. | |
| CN111079689B (zh) | 一种指纹图像增强方法 | |
| CN103455998B (zh) | 视频图像中阴影的检测方法及装置 | |
| CN109145875B (zh) | 一种人脸图像中的黑框眼镜去除方法及装置 | |
| KR101669447B1 (ko) | 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법 | |
| Dharavath et al. | Impact of image preprocessing on face recognition: A comparative analysis | |
| CN106339709A (zh) | 一种图像实时提取方法 | |
| Saranya et al. | An approach towards ear feature extraction for human identification | |
| JP3578321B2 (ja) | 画像正規化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method for associating facial recognition and pedestrian re identification Granted publication date: 20240227 Pledgee: Dalian Branch of Shanghai Pudong Development Bank Co.,Ltd. Pledgor: YICHENG GAOKE (DALIAN) TECHNOLOGY Co.,Ltd. Registration number: Y2024980038970 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |