CN110390283A - 一种商业场景下跨摄像头行人重检索方法 - Google Patents

一种商业场景下跨摄像头行人重检索方法 Download PDF

Info

Publication number
CN110390283A
CN110390283A CN201910627904.XA CN201910627904A CN110390283A CN 110390283 A CN110390283 A CN 110390283A CN 201910627904 A CN201910627904 A CN 201910627904A CN 110390283 A CN110390283 A CN 110390283A
Authority
CN
China
Prior art keywords
image
pedestrian
camera shooting
shooting head
business scenario
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910627904.XA
Other languages
English (en)
Other versions
CN110390283B (zh
Inventor
张吉昌
郭宝珠
董波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yicheng High Tech (dalian) Technology Co Ltd
Original Assignee
Yicheng High Tech (dalian) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yicheng High Tech (dalian) Technology Co Ltd filed Critical Yicheng High Tech (dalian) Technology Co Ltd
Priority to CN201910627904.XA priority Critical patent/CN110390283B/zh
Publication of CN110390283A publication Critical patent/CN110390283A/zh
Application granted granted Critical
Publication of CN110390283B publication Critical patent/CN110390283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种商业场景下跨摄像头行人重检索方法，包括以下步骤：(1)、输入图像；(2)、单目标行人分割；(3)、通道组合；(4)、行人特征提取；(5)、特征比对。本发明的商业场景下跨摄像头行人重检索方法，将单目标行人分割和行人特征提取方法相结合，基于单目标行人分割能有效的去除背景，当多人重叠时候能有效分割出主要目标；通过引入RGBM图像既可以有效利用Mask信息，又能避免去除过多背景信息导致准确率降低；通过在Triplet loss中引入聚类中心，可以有效的提高神经网络收敛速度；该方法有效提取特征实现跨摄像头行人重检索。

Description

一种商业场景下跨摄像头行人重检索方法
技术领域
本发明涉及图像处理技术领域。
背景技术
本领域现阶段行人重识别采用的调整方法包括：
1)基于分块特征的行人重识别技术：由于行人目标框基本处于细长矩形框。因此按垂直方向对图像分块，分别提取特征并融合能够有效的提取行人特征。该方案的代表方法有PCB-net，MGN-net；
2)基于姿态对齐行人重识别技术：姿态对齐行人重识别技术是一种有效的应对形体变化的方法，通过行人关键点和仿射变换可以有效的降低姿态变化带来的特征波动。该方法的关键技术在于人体关键点的检测。
3)基于序列识别的行人重识别技术，由于行人运动有较大的不确定性，不同帧之间差别较大。因此有学者通过连续的多帧提取特征的方法，进行行人重识别。通过连续多帧包含的上下文信息可以有效提取行人的步态，姿态等信息，进一步提高准确率。
以上所有方式各有优劣，整体上各自的问题是：
1)分块特征是一个简单有效的方法，其主要依靠衣服的色彩特征，当行人出现换衣服或者背景颜色过于复杂情况下容易失效；
2)基于姿态对齐技术行人重识别，能够提取行人走路姿态信息。但是该方法复杂在监控系统中难以做到实时，需要行人关键点定位技术，当图像尺寸过小时候容易失效；
3)基于序列识别的行人重识别，有点是有较高的识别准确率，缺点是对数据标准要求非常高，序列数据标注非常困难。而且训练过程计算量大，需要很大的计算资源，网络结构也比较复杂，目前技术条件下很难做到实时。
在商业场景下跨摄像头行人检索需要克服以下几个问题，首先在商业场景下背景复杂，不同行人之间会出现交严重的遮挡现象，目标检测出来的行人包围框可能有多个行人出现，行人分割难以将主要人物分离出来，提取行人特征困难。
发明内容
为了解决商业场景下跨摄像头行人检索存在的上述问题，本发明提供了一种商业场景下跨摄像头行人重检索方法。
本发明为实现上述目的所采用的技术方案是：一种商业场景下跨摄像头行人重检索方法，包括以下步骤：
(1)、输入图像；
(2)、单目标行人分割，包括以下步骤：
b)数据准备：在coco数据集中，通过每个目标的包围框[x,y,w,h]分别在原图和mask图上裁剪图像，保证每个图像中只包含一个人物，分别得到图像imagei和图像maski，其中x为矩形框左上角横坐标，y为矩形框左上角纵坐标，w为矩形框宽，h为矩形框高度；
b)网络选型；
c)建立损失函数，对网络进行训练，损失函数如下：
其中：loss为最终损失函数；λ为尺度参数；
(3)、通道组合，将mask作为一个通道添加到原图上，每个人的图像由RGB图像到RGBM图像，然后送入神经网络中并提取特征；
(4)、行人特征提取，采用以度量学习为主结合样本分类的训练方式，选取基础网络，进行特征提取，步骤如下：
a)数据准备，将同一个人的照片归为一类；
c)建立损失函数，对网络进行训练，
采用基于triplet loss且带有聚类中心的损失函数，公式如下，公式中表示第j类的第i类样本的特征向量；表示第j类特征向量的均值；||·||表示求特征向量二范数，
其中：Dintra为类内平均距离；Dcross为类间平均距离；m为一个batch中包含的人数；n为一个人包含的样本数；
(5)、特征比对。
所述步骤(1)的a)步骤中，图像统一到128*64的尺寸分别得到图像imagei和maski。
所述步骤(2)的b)步骤中，选择Unet网络架构。
所述步骤(2)中，训练参数为：batch_size＝256；优化器：Adam；学习率：0.001。
所述步骤(4)中，选取基础网络采用MobileNetV2，针对行人分别提取上半身特征，下半身特征，以及全图特征最后融合方式进行特征提取。
所述步骤(4)的a)步骤中，采用Market1501，Duke，CUHK03，MSMT17数据集进行训练。
所述步骤(4)中，训练参数：batch_person:一个batch中包含多少人，取16；Person_size:一个人的数据在batch中有多少张，取8；Margin：难例挖掘边界值，取2；优化器：Adadelta，学习率＝0.001。
本发明的商业场景下跨摄像头行人重检索方法，将单目标行人分割和行人特征提取方法相结合，基于单目标行人分割能有效的去除背景，当多人重叠时候能有效分割出主要目标；通过引入RGBM图像既可以有效利用Mask信息，又能避免去除过多背景信息导致准确率降低；通过在Triplet loss中引入聚类中心，可以有效的提高神经网络收敛速度；该方法有效提取特征实现跨摄像头行人重检索。
附图说明
图1是本发明商业场景下跨摄像头行人重检索方法的整体流程图。
图2是本发明单目标行人分割网络结构图。
具体实施方式
本发明包括单目标行人分割和行人特征提取，通过以上方法的组合，可以有效提取特征实现跨摄像头行人重检索。以分块特征提取为基础，结合单目标行人分割实现跨摄像头行人特征提取。通过单目标行人分割技术可以将重叠行人中主要人物分离出来，可以高效提取行人特征。
本发明商业场景下跨摄像头行人重检索方法，包括以下步骤：
(1)、输入图像。
(2)、单目标行人分割：由于在商业场景中人物较为密集，在一个目标检测框内可能出现多个人的情况。但只有一个主要的人物是我们要进行特征提取的对象，因此本方案训练一个单目标行人分割网络来提取主要人物特征，包括以下步骤
a)数据准备：在coco数据集中，通过每个目标的包围框[x,y,w,h]分别在原图和mask图上裁剪图像保证每个图像中只包含一个人物，并统一到128*64的尺寸分别得到图像imagei和maski，其中x为矩形框左上角横坐标，y为矩形框左上角纵坐标，w为矩形框宽，h为矩形框高度。
b)网络选型：在本方案中考虑到计算效率的影响，选择Unet网络架构，如图2所示；
c)建立损失函数，对网络进行训练，语义分割本质上是对每一个像素进行分类，由于目标所占像素较少背景占比较多，因此存在样本不均衡的风险，因此需要有难例挖掘的损失函数，本方案定义损失函数如下。
其中：loss为最终损失函数；λ为尺度参数。
训练参数优选:batch_size＝256；优化器：Adam；学习率：0.001；
(3)、通道组合：经过试验发现，用mask方式直接去除背景并不能有效的提取人物特征。本方案中采用一种相对较“软”的方式。将mask作为一个通道添加到原图上。这样每个人的图像由RGB图像到RGBM图像。然后在送入神经网络中并提取特征。
(4)、行人特征提取：
在行人特征提取阶段本方案采用以度量学习为主结合样本分类的训练方式。考虑到推理速度基础网络采用MobileNetV2。由于行人基本处于矩形形状，因此本方案针对行人分别提取上半身特征，下半身特征，以及全图特征最后融合方式进行特征提取。
a)数据准备：本方案采用Market1501，Duke，CUHK03，MSMT17数据集进行训练，同一个人的照片归为一类；
b)损失函数：
在本方案中提出一种基于triplet loss且带有聚类中心的损失函数。该损失函数可以有效避免经典triplet loss中训练不稳定，难以收敛的问题。公式如下，公式中表示第j类的第i类样本的特征向量；表示第j类特征向量的均值；||·||表示求特征向量二范数。
其中：Dintra为类内平均距离；Dcross为类间平均距离；m为一个batch中包含的人数；n为一个人包含的样本数。
训练参数优选：batch_person:一个batch中包含多少人，本方案取16；Person_size:一个人的数据在batch中有多少张，本方案取8；Margin：难例挖掘边界值，本方案取2；优化器：Adadelta，学习率＝0.001。
(5)、特征比对，采用本领域的通用和公知比对方法即可。
本发明是通过实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (7)

1.一种商业场景下跨摄像头行人重检索方法，其特征在于：包括以下步骤：
(1)、输入图像；
(2)、单目标行人分割，包括以下步骤：
a)数据准备：在coco数据集中，通过每个目标的包围框[x,y,w,h]分别在原图和mask图上裁剪图像，保证每个图像中只包含一个人物，分别得到图像imagei和图像maski，其中x为矩形框左上角横坐标，y为矩形框左上角纵坐标，w为矩形框宽，h为矩形框高度；
b)网络选型；
c)建立损失函数，对网络进行训练，损失函数如下：
其中：loss为最终损失函数；λ为尺度参数；
(3)、通道组合，将mask作为一个通道添加到原图上，每个人的图像由RGB图像到RGBM图像，然后送入神经网络中并提取特征；
(4)、行人特征提取，采用以度量学习为主结合样本分类的训练方式，选取基础网络，进行特征提取，步骤如下：
a)数据准备，将同一个人的照片归为一类；
b)建立损失函数，对网络进行训练，
采用基于triplet loss且带有聚类中心的损失函数，公式如下，公式中表示第j类的第i类样本的特征向量；表示第j类特征向量的均值；||·||表示求特征向量二范数，
其中：Dintra为类内平均距离；Dcross为类间平均距离；m为一个batch中包含的人数；n为一个人包含的样本数；
(5)、特征比对。
2.根据权利要求1所述的一种商业场景下跨摄像头行人重检索方法，其特征在于：所述步骤(1)的a)步骤中，图像统一到128*64的尺寸分别得到图像imagei和maski。
3.根据权利要求1所述的一种商业场景下跨摄像头行人重检索方法，其特征在于：所述步骤(2)的b)步骤中，选择Unet网络架构。
4.根据权利要求3所述的一种商业场景下跨摄像头行人重检索方法，其特征在于：所述步骤(2)中，训练参数为：batch_size＝256；优化器：Adam；学习率：0.001。
5.根据权利要求1所述的一种商业场景下跨摄像头行人重检索方法，其特征在于：所述步骤(4)中，选取基础网络采用MobileNetV2，针对行人分别提取上半身特征，下半身特征，以及全图特征最后融合方式进行特征提取。
6.根据权利要求1所述的一种商业场景下跨摄像头行人重检索方法，其特征在于：所述步骤(4)的a)步骤中，采用Market1501，Duke，CUHK03，MSMT17数据集进行训练。
7.根据权利要求1所述的一种商业场景下跨摄像头行人重检索方法，其特征在于：所述步骤(4)中，训练参数：batch_person:一个batch中包含多少人，取16；Person_size:一个人的数据在batch中有多少张，取8；Margin：难例挖掘边界值，取2；优化器：Adadelta，学习率＝0.001。
CN201910627904.XA 2019-07-12 2019-07-12 一种商业场景下跨摄像头行人重检索方法 Active CN110390283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910627904.XA CN110390283B (zh) 2019-07-12 2019-07-12 一种商业场景下跨摄像头行人重检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910627904.XA CN110390283B (zh) 2019-07-12 2019-07-12 一种商业场景下跨摄像头行人重检索方法

Publications (2)

Publication Number Publication Date
CN110390283A true CN110390283A (zh) 2019-10-29
CN110390283B CN110390283B (zh) 2023-01-03

Family

ID=68286514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910627904.XA Active CN110390283B (zh) 2019-07-12 2019-07-12 一种商业场景下跨摄像头行人重检索方法

Country Status (1)

Country Link
CN (1) CN110390283B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929695A (zh) * 2019-12-12 2020-03-27 易诚高科（大连）科技有限公司 一种人脸识别和行人重识别关联方法
CN111144233A (zh) * 2019-12-10 2020-05-12 电子科技大学 基于toim损失函数的行人重识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017190574A1 (zh) * 2016-05-04 2017-11-09 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017190574A1 (zh) * 2016-05-04 2017-11-09 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144233A (zh) * 2019-12-10 2020-05-12 电子科技大学 基于toim损失函数的行人重识别方法
CN111144233B (zh) * 2019-12-10 2022-06-14 电子科技大学 基于toim损失函数的行人重识别方法
CN110929695A (zh) * 2019-12-12 2020-03-27 易诚高科（大连）科技有限公司 一种人脸识别和行人重识别关联方法
CN110929695B (zh) * 2019-12-12 2024-02-27 易诚高科（大连）科技有限公司 一种人脸识别和行人重识别关联方法

Also Published As

Publication number Publication date
CN110390283B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN108446617B (zh) 抗侧脸干扰的人脸快速检测方法
WO2020098158A1 (zh) 行人重识别方法、装置及计算机可读存储介质
CN110163114A (zh) 一种人脸角度及人脸模糊度分析方法、系统和计算机设备
CN103824053B (zh) 一种人脸图像的性别标注方法及人脸性别检测方法
JP7386545B2 (ja) 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置
CN110321813A (zh) 基于行人分割的跨域行人重识别方法
CN108304873A (zh) 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
WO2022105143A1 (zh) 一种轻量级的fire-det火焰检测方法及系统
CN103324655B (zh) 图像检索系统、图像检索装置以及图像检索方法
CN104778481A (zh) 一种大规模人脸模式分析样本库的构建方法和装置
CN107330397A (zh) 一种基于大间隔相对距离度量学习的行人重识别方法
WO2021139171A1 (zh) 人脸增强识别方法、装置、设备及存储介质
CN105718882A (zh) 一种分辨率自适应特征提取与融合的行人重识别方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN110390283A (zh) 一种商业场景下跨摄像头行人重检索方法
CN112488034A (zh) 基于轻量化人脸口罩检测模型的视频处理方法
CN109886159A (zh) 一种非限定条件下的人脸检测方法
CN110222636A (zh) 基于背景抑制的行人属性识别方法
CN109272440A (zh) 一种联合文本和图像内容的缩略图生成方法及系统
CN111914601A (zh) 一种基于深度学习的高效批量人脸识别和抠图系统
CN110008841A (zh) 一种表情识别模型构建方法及系统
CN110009708B (zh) 基于图像色彩分割的发色变换方法、系统及终端
CN112669343A (zh) 一种基于深度学习的壮族少数民族服饰分割方法
CN110070147B (zh) 一种基于神经网络的服装图案纹理识别方法与系统
CN110414431A (zh) 基于弹性上下文关系损失函数的人脸识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A cross camera pedestrian re retrieval method in commercial scenarios

Effective date of registration: 20230726

Granted publication date: 20230103

Pledgee: Dalian Branch of Shanghai Pudong Development Bank Co.,Ltd.

Pledgor: YICHENG GAOKE (DALIAN) TECHNOLOGY Co.,Ltd.

Registration number: Y2023980049989

PE01 Entry into force of the registration of the contract for pledge of patent right