CN113642685A - 一种高效的基于相似度的跨摄像头的目标重识别方法 - Google Patents

一种高效的基于相似度的跨摄像头的目标重识别方法 Download PDF

Info

Publication number
CN113642685A
CN113642685A CN202111213721.7A CN202111213721A CN113642685A CN 113642685 A CN113642685 A CN 113642685A CN 202111213721 A CN202111213721 A CN 202111213721A CN 113642685 A CN113642685 A CN 113642685A
Authority
CN
China
Prior art keywords
similarity
matching
target
result
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111213721.7A
Other languages
English (en)
Other versions
CN113642685B (zh
Inventor
华炜
马也驰
张顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202111213721.7A priority Critical patent/CN113642685B/zh
Publication of CN113642685A publication Critical patent/CN113642685A/zh
Priority to PCT/CN2021/134904 priority patent/WO2023065472A1/zh
Application granted granted Critical
Publication of CN113642685B publication Critical patent/CN113642685B/zh
Priority to US17/896,055 priority patent/US11836966B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种高效的基于相似度的跨摄像头的目标重识别方法，该方法通过两组待匹配目标，得到多个匹配对及其相似度分数；针对双方均未匹配的匹配对，每次只取其中相似度分数较高的一部分匹配对，按照相似度分数从大到小的顺序遍历，并输出匹配对及其相似度分数，作为匹配结果；当某个匹配对中的任一待匹配目标已在匹配结果中出现，则不能作为匹配结果输出；重复遍历未匹配的匹配对直到匹配结果达到预期。本发明首先解决了基于相似度的多目标匹配问题，并相对于其他多目标匹配方法大幅度降低了时间复杂度，提升了效率。

Description

一种高效的基于相似度的跨摄像头的目标重识别方法
技术领域
本发明属于多目标跟踪、目标重识别、多目标匹配技术领域，尤其涉及一种高效的基于相似度的跨摄像头的目标重识别方法。
背景技术
随着计算机视觉在人工智能领域的快速发展，在监控以及无人驾驶领域中，单摄像头的多目标跟踪以及跨摄像头的目标重识别算法变得越来越重要，在多目标跟踪以及目标重识别的整体框架中，多目标匹配算法是影响整体跟踪以及重识别算法效率的重要一环，提升多目标匹配算法的效率，即可大幅度提升多目标跟踪的帧率以及目标重识别的效率，对后续算法的实现影响很大。现阶段高效的且和匹配相似度相关的多目标匹配算法较少。
发明内容
本发明的目的在于针对现有技术的不足，提供一种高效的基于相似度的跨摄像头的目标重识别方法。
本发明的目的是通过以下技术方案来实现的：一种高效的基于相似度的跨摄像头的目标重识别方法，包括：
通过两个摄像头拍摄到两张图片，分别对两张图片进行目标检测，得到对应的两组目标检测结果；其中，一组目标检测结果包括A个待匹配目标，另一组目标检测结果包括B个待匹配目标；分别对两组待匹配目标进行特征提取，得到每个待匹配目标的特征向量；不同组的待匹配目标两两配对，并根据特征向量计算相似度分数，得到A*B个匹配对及其相似度分数，相似度分数在[0,1]之间；
针对双方均未匹配的匹配对，每次只取其中相似度分数较高的一部分匹配对，按照相似度分数从大到小的顺序遍历，并输出匹配对及其相似度分数，作为匹配结果；当某个匹配对中的任一待匹配目标已在匹配结果中出现，则不能作为匹配结果输出；
如果当前匹配结果中的匹配对数量未达到预期的K组，则再次针对双方均未匹配的匹配对中相似度分数较高的部分，按照相似度分数从大到小的顺序遍历并输出，直到匹配结果达到预期；其中0＜K≤min(A,B)。
进一步地，目标检测结果包括行人。
进一步地，包括以下步骤：
1)将A*B的相似度分数的二维矩阵，转换为一维向量M，其中M的长度为A*B，并记录每个相似度分数在原二维矩阵的行列值，对应在A和B的待匹配目标中索引号；
2)维护一个结果容器R，存储已经选择的匹配对[i,j,Nij]，其中Nij为相似度分数，i为分数Nij在A中的索引号，j为分数Nij在B中的索引号；
3)从向量M中随机选取一个相似度分数N；
4)遍历向量M的相似度分数，比N大的分数放在左堆H_left，比N小的分数放在右堆H_right；相似度分数N放在左堆或右堆；
5)对左堆H_left进行排序，得到H_left_sorted；
6)按照从大到小的顺序遍历堆H_left_sorted；若当前索引的i或者j不在结果容器R内，则得到匹配对[i,j,Nij]，加入结果容器R内；若当前索引的i或者j在结果容器R内，则跳过当前相似度分数继续遍历；
7)若结果容器R内的个数大于等于K，则结束匹配，得到结果容器R；
8)若结果容器R内的个数小于K，则遍历结果容器R，根据R中的索引过滤右堆H_right中具有相同的i或者相同的j的相似度分数，更新右堆H_right；
将过滤后的右堆H_right作为新的向量M，重新执行步骤3)~8)直到结果容器R的匹配对大于等于K，得到结果容器R。
进一步地，设定匹配结果的相似度分数阈值，剔除匹配结果中低于阈值的匹配对。
进一步地，目标检测采用CenterNet目标检测算法。
进一步地，待匹配目标的特征向量通过分类器进行特征提取得到。
进一步地，所述分类器为ResNet50神经网络。
进一步地，采用两个待匹配目标的特征向量的余弦相似度作为相似度分数。
本发明的有益效果是：本发明在保证多目标匹配精度的同时，可大幅度降低多目标匹配算法的时间复杂度，从而提升多目标匹配算法的效率，即可大幅度提升多目标跟踪的帧率以及目标重识别的效率，对后续算法的实现影响很大。
附图说明
图1为本发明跨摄像头的目标重识别方法的流程示意图。
具体实施方式
本发明一种高效的基于相似度的跨摄像头的目标重识别方法，包括：
输入两个摄像头拍摄到两张图片，分别为Data_1以及Data_2。
训练目标检测网络，分别对Data_1与Data_2数据进行目标检测，得到Data_1与Data_2的目标检测结果Detect_1以及Detect_2。
分别通过Detect_1与Detect_2将输入数据Data_1与Data_2的目标框选出来，得到Data_1与Data_2的不同目标数据Target_1_i以及Target_2_j，其中0<i<A，0<j<B，A、B分别为Data_1与Data_2目标检测的数量。
训练一个分类器，分别对Target_1_i与Target_2_j进行特征提取，得到A组与B组不同目标的特征向量F_1_i、F_2_j。
分别对特征向量F_1_i与F_2_j进行余弦相似度计算，得到两组待匹配目标的A*B个匹配对及其相似度分数，相似度分数在[0,1]之间；
针对双方均未匹配的匹配对，每次只取其中相似度分数较高的一部分匹配对，按照相似度分数从大到小的顺序遍历，并输出匹配对及其相似度分数，作为匹配结果；当某个匹配对中的任一待匹配目标已在匹配结果中出现，则不能作为匹配结果输出；
如果当前匹配结果中的匹配对数量未达到预期的K组，则再次针对双方均未匹配的匹配对中相似度分数较高的部分，按照相似度分数从大到小的顺序遍历并输出，直到匹配结果达到预期；其中0＜K≤min(A,B)。
本发明通过多目标匹配结果，完成Target_1_i与Target_2_j的不同目标匹配，完成不同采集设备下不同目标的跟踪。
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
针对于视频多目标跟踪以及跨摄像头的目标重识别任务，本发明可以高效地完成视频不同帧的多目标匹配以及不同摄像头之间的多目标匹配。
具体地，如图1所示，针对于跨摄像头采集到的图像数据的目标重识别任务：
1）摄像头1拍摄的图片通过CenterNet目标检测算法检测出20个行人目标，摄像头2拍摄的图片通过CenterNet目标检测算法检测出30个行人目标。
2）采用ResNet50神经网络对摄像头1的20个目标和摄像头2的30个目标进行特征提取，分别得到不同目标的特征向量。
3）分别对20个目标的特征向量和30个目标的特征向量进行余弦相似度计算，得到20*30的相似度矩阵，分别表示两个摄像头不同目标之间的相似度分数。
4）维护一个存储目标匹配结果的结果容器R。例如，可以用来存储已经完成匹配的匹配对[2,3,0.8]；其中，“0.8”是相似度分数；“2”为摄像头1的第2个目标，同样也是“0.8”在相似度矩阵的行数；“3”为摄像头2的第3个目标，同样也是“0.8”在相似度矩阵的列数。
5）将步骤3）得到的20*30的相似度矩阵，转换为1*600的相似度向量，并记录相似度向量中每个相似度分数在原相似度矩阵的行和列位置。
6）任意选取1*600的相似度向量中的一个相似度分数N。
7）遍历1*600的相似度向量中其余的相似度分数。若相似度分数大于等于N，将这个相似度分数以及对应的行列位置索引放在左堆H_left中；若分数小于N，将分数以及对应的行列位置索引放在右堆H_right中。
8）对左堆H_left的分数进行从大到小的排序，更新左堆H_left，得到堆H_left_sorted。
9）按照相似度分数从大到小的顺序遍历左堆H_left_sorted；若当前遍历的相似度分数的原始行或列位置索引未在结果容器R中出现，则得到当前匹配对，例如[2,5,0.7]，并加入结果容器R中；若当前遍历的相似度分数的原始行或列位置索引在结果容器中出现过，则跳过当前相似度分数继续遍历左堆H_left_sorted。
10）判断结果容器R的匹配对数是否达到20对。
11）若结果容器R的匹配对数大于等于20对，则结束匹配，跳到步骤14）。
12）若结果容器R的匹配对数小于20对，则遍历结果容器R，根据R中已有的匹配对的行列值索引，过滤右堆H_right中具有相同行或者列值索引的相似度分数，并更新右堆H_right。执行步骤13）。
13）重新执行步骤6）~12）；其中，相似度向量的长度600替换为步骤12）更新后的右堆H_right的长度。具体地，基于步骤12）更新后的右堆H_right生成对应长度的相似度向量，再次分为新的左堆和右堆，按照步骤6）~12）将较大相似度分数的匹配对放入结果容器R。
14）设定一个相似度分数阈值0.5，遍历结果容器R中的匹配对，若相似度分数小于匹配阈值0.5，则删除此匹配对，更新结果容器R。
15）通过结果容器R，完成跨摄像头不同目标的重识别。具体地，此时结果容器R中的匹配对为目标重识别结果。
本发明在保证多目标匹配精度的同时，可大幅度降低多目标匹配算法的时间复杂度，其中时间复杂度为：
O(n1*logn1+n2’*logn2’+...+ni’logni’+...nj’lognj’)<=O((r*c)log(r*c))
其中，r和c分别为两组待匹配的目标数目，k≤min(r,c)为匹配的对数。ni和nj分别为第i以及j次分堆后左堆的相似度分数的数目，ni’为ni被过滤后的相似度分数的数目，ni’≤ni，nj’≤nj，1<i<j。n1+n2+...ni+...+nj=r*c，n1’+n2’+...ni’+...+nj’=k。
具体地，针对本发明实施例的20*30匹配矩阵，采用现有技术的贪心算法进行目标匹配，耗时平均26ms左右；而本发明平均耗时6ms左右。

Claims (8)

1.一种高效的基于相似度的跨摄像头的目标重识别方法，其特征在于，包括：
通过两个摄像头拍摄到两张图片，分别对两张图片进行目标检测，得到对应的两组目标检测结果；其中，一组目标检测结果包括A个待匹配目标，另一组目标检测结果包括B个待匹配目标；分别对两组待匹配目标进行特征提取，得到每个待匹配目标的特征向量；不同组的待匹配目标两两配对，并根据特征向量计算相似度分数，得到A*B个匹配对及其相似度分数，相似度分数在[0,1]之间；
针对双方均未匹配的匹配对，每次只取其中相似度分数较高的一部分匹配对，按照相似度分数从大到小的顺序遍历，并输出匹配对及其相似度分数，作为匹配结果；当某个匹配对中的任一待匹配目标已在匹配结果中出现，则不能作为匹配结果输出；
如果当前匹配结果中的匹配对数量未达到预期的K组，则再次针对双方均未匹配的匹配对中相似度分数较高的部分，按照相似度分数从大到小的顺序遍历并输出，直到匹配结果达到预期；其中0＜K≤min(A,B)。
2.如权利要求1所述高效的基于相似度的跨摄像头的目标重识别方法，其特征在于，目标检测结果包括行人。
3.如权利要求1所述高效的基于相似度的跨摄像头的目标重识别方法，其特征在于，包括以下步骤：
1)将A*B的相似度分数的二维矩阵，转换为一维向量M，其中M的长度为A*B，并记录每个相似度分数在原二维矩阵的行列值，对应在A和B的待匹配目标中索引号；
2)维护一个结果容器R，存储已经选择的匹配对[i,j,Nij]，其中Nij为相似度分数，i为分数Nij在A中的索引号，j为分数Nij在B中的索引号；
3)从向量M中随机选取一个相似度分数N；
4)遍历向量M的相似度分数，比N大的分数放在左堆H_left，比N小的分数放在右堆H_right；相似度分数N放在左堆或右堆；
5)对左堆H_left进行排序，得到H_left_sorted；
6)按照从大到小的顺序遍历堆H_left_sorted；若当前索引的i或者j不在结果容器R内，则得到匹配对[i,j,Nij]，加入结果容器R内；若当前索引的i或者j在结果容器R内，则跳过当前相似度分数继续遍历；
7)若结果容器R内的个数大于等于K，则结束匹配，得到结果容器R；
8)若结果容器R内的个数小于K，则遍历结果容器R，根据R中的索引过滤右堆H_right中具有相同的i或者相同的j的相似度分数，更新右堆H_right；
将过滤后的右堆H_right作为新的向量M，重新执行步骤3)~8)直到结果容器R的匹配对大于等于K，得到结果容器R。
4.如权利要求1所述高效的基于相似度的跨摄像头的目标重识别方法，其特征在于，设定匹配结果的相似度分数阈值，剔除匹配结果中低于阈值的匹配对。
5.如权利要求1所述高效的基于相似度的跨摄像头的目标重识别方法，其特征在于，目标检测采用CenterNet目标检测算法。
6.如权利要求1所述高效的基于相似度的跨摄像头的目标重识别方法，其特征在于，待匹配目标的特征向量通过分类器进行特征提取得到。
7.如权利要求6所述高效的基于相似度的跨摄像头的目标重识别方法，其特征在于，所述分类器为ResNet50神经网络。
8.如权利要求1所述高效的基于相似度的跨摄像头的目标重识别方法，其特征在于，采用两个待匹配目标的特征向量的余弦相似度作为相似度分数。
CN202111213721.7A 2021-10-19 2021-10-19 一种高效的基于相似度的跨摄像头的目标重识别方法 Active CN113642685B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111213721.7A CN113642685B (zh) 2021-10-19 2021-10-19 一种高效的基于相似度的跨摄像头的目标重识别方法
PCT/CN2021/134904 WO2023065472A1 (zh) 2021-10-19 2021-12-01 一种高效的基于相似度的跨摄像头的目标重识别方法
US17/896,055 US11836966B2 (en) 2021-10-19 2022-08-25 Efficient across-camera target re-identification method based on similarity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111213721.7A CN113642685B (zh) 2021-10-19 2021-10-19 一种高效的基于相似度的跨摄像头的目标重识别方法

Publications (2)

Publication Number Publication Date
CN113642685A true CN113642685A (zh) 2021-11-12
CN113642685B CN113642685B (zh) 2022-04-08

Family

ID=78427366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111213721.7A Active CN113642685B (zh) 2021-10-19 2021-10-19 一种高效的基于相似度的跨摄像头的目标重识别方法

Country Status (2)

Country Link
CN (1) CN113642685B (zh)
WO (1) WO2023065472A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023065472A1 (zh) * 2021-10-19 2023-04-27 之江实验室 一种高效的基于相似度的跨摄像头的目标重识别方法
US11836966B2 (en) 2021-10-19 2023-12-05 Zhejiang Lab Efficient across-camera target re-identification method based on similarity

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522843A (zh) * 2018-11-16 2019-03-26 北京市商汤科技开发有限公司 一种多目标跟踪方法及装置、设备和存储介质
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN112257669A (zh) * 2020-11-13 2021-01-22 珠海大横琴科技发展有限公司 行人重识别方法、装置及电子设备
CN112560787A (zh) * 2020-12-28 2021-03-26 深研人工智能技术(深圳)有限公司 一种行人重识别匹配边界阈值设置方法、装置及相关组件
CN113255394A (zh) * 2020-02-07 2021-08-13 清华大学 基于无监督学习的行人再识别方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574505B (zh) * 2015-12-16 2019-02-12 深圳大学 一种多摄像机间人体目标再识别的方法及系统
CN113642685B (zh) * 2021-10-19 2022-04-08 之江实验室 一种高效的基于相似度的跨摄像头的目标重识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522843A (zh) * 2018-11-16 2019-03-26 北京市商汤科技开发有限公司 一种多目标跟踪方法及装置、设备和存储介质
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN113255394A (zh) * 2020-02-07 2021-08-13 清华大学 基于无监督学习的行人再识别方法及系统
CN112257669A (zh) * 2020-11-13 2021-01-22 珠海大横琴科技发展有限公司 行人重识别方法、装置及电子设备
CN112560787A (zh) * 2020-12-28 2021-03-26 深研人工智能技术(深圳)有限公司 一种行人重识别匹配边界阈值设置方法、装置及相关组件

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023065472A1 (zh) * 2021-10-19 2023-04-27 之江实验室 一种高效的基于相似度的跨摄像头的目标重识别方法
US11836966B2 (en) 2021-10-19 2023-12-05 Zhejiang Lab Efficient across-camera target re-identification method based on similarity

Also Published As

Publication number Publication date
CN113642685B (zh) 2022-04-08
WO2023065472A1 (zh) 2023-04-27

Similar Documents

Publication Publication Date Title
Lin et al. Bsn: Boundary sensitive network for temporal action proposal generation
Suganuma et al. Attention-based adaptive selection of operations for image restoration in the presence of unknown combined distortions
Zheng et al. Cross-domain object detection through coarse-to-fine feature adaptation
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
Jiang et al. SP-NAS: Serial-to-parallel backbone search for object detection
CN109241817B (zh) 一种无人机拍摄的农作物图像识别方法
CN113642685B (zh) 一种高效的基于相似度的跨摄像头的目标重识别方法
Huang et al. UFPMP-Det: Toward accurate and efficient object detection on drone imagery
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
Xiao et al. A fast method for particle picking in cryo-electron micrographs based on fast R-CNN
CN112699786B (zh) 一种基于空间增强模块的视频行为识别方法及系统
US11062455B2 (en) Data filtering of image stacks and video streams
Islam et al. Real-time bangla license plate recognition system using faster r-cnn and ssd: A deep learning application
Wang et al. Improved knowledge distillation for training fast low resolution face recognition model
CN110163206B (zh) 车牌识别方法、系统、存储介质和装置
CN109359530B (zh) 一种智能视频监控方法及装置
CN114792430A (zh) 基于极化自注意力的行人重识别方法、系统及相关设备
CN113888425A (zh) 基于多帧融合的工业质检图像文字匹配方法及系统
CN111079585B (zh) 图像增强结合伪孪生卷积神经网络的行人再识别方法
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及系统
Sun et al. Deep learning based pedestrian detection
CN113989325A (zh) 一种基于矩阵“最大数”的多目标匹配算法
CN107358200B (zh) 一种基于稀疏学习的多摄像机非重叠视域行人匹配方法
CN115100694A (zh) 一种基于自监督神经网络的指纹快速检索方法
US11836966B2 (en) Efficient across-camera target re-identification method based on similarity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant