CN112528925A - 行人跟踪、图像匹配方法及相关设备 - Google Patents
行人跟踪、图像匹配方法及相关设备 Download PDFInfo
- Publication number
- CN112528925A CN112528925A CN202011522874.5A CN202011522874A CN112528925A CN 112528925 A CN112528925 A CN 112528925A CN 202011522874 A CN202011522874 A CN 202011522874A CN 112528925 A CN112528925 A CN 112528925A
- Authority
- CN
- China
- Prior art keywords
- distance
- human body
- target
- body detection
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000001514 detection method Methods 0.000 claims abstract description 536
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 86
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种行人跟踪、图像匹配方法及相关设备,其中,该方法包括:先采用基于第一算法预测到的n个第一轨迹预测框与当前帧图像中的m个人体检测框进行匹配,以确定出匹配失败的p个人体检测框和q个第一轨迹预测框;再采用基于第二算法预测到的q个第二轨迹预测框与该p个人体检测框进行匹配,以确定该p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人,其中,q个第一轨迹预测框和q个第二轨迹预测框是对前一帧图像中的q个人体检测框预测得到的;由于第二算法的预测精度大于第一算法的预测精度,有利于提高行人跟踪的准确率。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种行人跟踪、图像匹配方法及相关设备。
背景技术
随着深度学习的跨越式发展,目标跟踪的应用得到极大的推广,尤其是以框匹配等为代表的一系列跟踪算法,以及通过人体特征模型(Reid模型)提取特征做跟踪,在实际应用中产生了巨大的实用价值,其重要性不言而喻。统观现在的目标跟踪领域,虽然模型的指标每天都在刷新,但对于实际应用来说,由于预测框(也称为跟踪框)的稳定性不高,例如因光流跟踪发生框漂移而导致匹配不上,使得行人跟踪的准确率较低;以及跟踪过程中的匹配方法的错误使用,对跟踪的实际效果产生了较大的影响。
发明内容
本申请实施例公开了一种行人跟踪、图像匹配方法及相关设备,有利于提高行人跟踪的准确率。
本申请实施例第一方面公开了一种行人跟踪方法,包括:在当前帧图像中确定n个第一轨迹预测框,其中,n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,n个历史人体检测框为前一帧图像中的人体检测框,n个第一轨迹预测框与n个历史人体检测框一一对应,前一帧图像为视频流中当前帧图像的前一帧图像,n为正整数;将当前帧图像中的m个人体检测框中的每个人体检测框分别与n个第一轨迹预测框中的每个第一轨迹预测框进行匹配,以得到p个人体检测框和q个第一轨迹预测框,其中,p个人体检测框为m个人体检测框中未匹配成功的人体检测框,q个第一轨迹预测框为n个第一轨迹预测框中未匹配成功的第一轨迹预测框,m为正整数;p为整数,且0<p≤m;q为整数,且0<q≤n;在当前帧图像中确定q个第二轨迹预测框,其中,q个第二轨迹预测框根据q个历史人体检测框采用第二算法预测得到,q个历史人体检测框为与q个第一轨迹预测框对应的历史人体检测框,q个第二轨迹预测框与q个历史人体检测框一一对应,第二算法的预测精度大于第一算法的预测精度;将p个人体检测框中的每个人体检测框分别与q个第二轨迹预测框中的每个第二轨迹预测框进行匹配,以确定p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人。
可以看出,在本申请实施例中,先采用基于第一算法预测到的n个第一轨迹预测框与当前帧图像中的m个人体检测框进行匹配,以确定出匹配失败的p个人体检测框和q个第一轨迹预测框;再采用基于第二算法预测到的q个第二轨迹预测框与该p个人体检测框进行匹配,以确定该p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人,其中,q个第一轨迹预测框和q个第二轨迹预测框是对前一帧图像中的q个人体检测框预测得到的;由于第二算法的预测精度大于第一算法的预测精度,因此可以有效减少了行人跟踪过程中人体检测框与轨迹预测框匹配错误的情况,有利于提高行人跟踪的准确率。
在一种示例性的实施方式中,当p=0,q≠0时,确定q个历史人体检测框内的历史行人消失,所述q个历史人体检测框为与所述q个第一轨迹预测框对应的历史人体检测框;当p≠0,q=0时,确定所述p个人体检测框内的行人为所述视频流中首次出现的行人。
在一种示例性的实施方式中,该方法还包括:针对m个人体检测框中任意一个匹配成功的人体检测框,确定该匹配成功的人体检测框中的行人为前一帧图像中的历史行人,并根据该匹配成功的人体检测框更新与其匹配成功的第一轨迹预测框对应的历史行人的轨迹信息。
在一种示例性的实施方式中,该方法还包括:对于匹配到人体检测框的第二轨迹预测框,则根据其匹配到的人体检测框更新该第二轨迹预测框对应的历史行人的轨迹信息。
在一种示例性的实施方式中,该方法还包括:对于未匹配到第二轨迹预测框的人体检测框,则初始化该人体检测框中的行人的轨迹;也即认为该人体检测框中的行人为新出现的行人。
本申请实施例第二方面公开了一种行人跟踪方法,包括:在当前帧图像中确定n个第一轨迹预测框,其中,n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,n个历史人体检测框为前一帧图像中的人体检测框,n个第一轨迹预测框与n个历史人体检测框一一对应,前一帧图像为视频流中当前帧图像的前一帧图像,n为正整数;将当前帧图像中的目标人体检测框与n个第一轨迹预测框分别进行匹配;若目标人体检测框与n个第一轨迹预测框均匹配不成功,则在当前帧图像中确定n个第二轨迹预测框,其中,n个第二轨迹预测框根据n个历史人体检测框采用第二算法预测得到,n个第二轨迹预测框与n个历史人体检测框一一对应,第二算法的预测精度大于第一算法的预测精度;将目标人体检测框与n个第二轨迹预测框分别进行匹配;若目标人体检测框与n个第二轨迹预测框中的其中一个匹配成功,则确定目标人体检测框内的目标行人为前一帧图像中的历史行人。
可以看出,在本申请实施例中,先采用基于第一算法预测到的n个第一轨迹预测框与当前帧图像中的目标人体检测框进行匹配;若该目标人体检测框与该n个第一轨迹预测框均匹配不成功,再采用基于第二算法预测到的n个第二轨迹预测框与该目标人体检测框进行匹配;若该目标人体检测框与该n个第二轨迹预测框中的其中一个匹配成功,则确定该目标人体检测框内的目标行人为前一帧图像中的历史行人,其中,n个第一轨迹预测框和n个第二轨迹预测框是对前一帧图像中的n个人体检测框预测得到的;由于第二算法的预测精度大于第一算法的预测精度,因此可以有效减少了目标人体检测框与第一轨迹预测框匹配错误的情况,有利于提高对该目标行人跟踪的准确率。
在一种示例性的实施方式中,该方法还包括:若目标人体检测框与n个第一轨迹预测框中的其中一个匹配成功,则确定目标行人为前一帧图像中的历史行人;根据目标人体检测框更新目标行人的轨迹信息。
在一种示例性的实施方式中,该方法还包括:若目标人体检测框与n个第二轨迹预测框均匹配不成功,则确定目标行人为视频流中首次出现的行人;根据目标人体检测框进行轨迹初始化以得到目标行人的初始轨迹。
本申请实施例第三方面公开了一种行人跟踪方法,包括:在当前帧图像中确定第三目标轨迹预测框,其中,第三目标轨迹预测框根据前一帧图像中的历史人体检测框预测得到,前一帧图像为视频流中当前帧图像的前一帧图像;根据当前帧图像中的目标人体检测框的中心坐标、第三目标轨迹预测框的中心坐标、第一预设超参数计算得到第一距离分量;根据目标人体检测框的面积、第三目标轨迹预测框的面积、第二预设超参数计算得到第二距离分量;根据目标人体检测框的宽高比、第三目标轨迹预测框的宽高比、第三预设超参数计算得到第三距离分量;根据第一距离分量、第二距离分量、第三距离分量计算得到目标人体检测框与第三目标轨迹预测框的距离;根据目标人体检测框与第三目标轨迹预测框的距离,确定目标人体检测框中的目标行人是否为前一帧图像中的历史行人。
可以看出,在本申请实施例中,先通过中心坐标、面积、宽高比这三个维度上分别进行距离计算,每个维度计算得到一个距离分量,从而得到目标人体检测框与第三目标轨迹预测框的三个距离分量;然后根据这三个距离分量计算得到目标人体检测框与第三目标轨迹预测框的距离;再根据目标人体检测框与第三目标轨迹预测框的距离来判断目标人体检测框与第三目标轨迹预测框是否匹配,进而确定目标人体检测框中的目标行人是否为前一帧图像中的历史行人;由于通过中心坐标、面积、宽高比三个维度去判断目标人体检测框与第三目标轨迹预测框是否匹配,从而有利于提高判断的准确率,也即有利于提高对该目标行人跟踪的准确率。
本申请实施例第四方面公开了一种图像匹配方法,包括:将p张第一图像中的每张第一图像与q张第二图像中的每张第二图像分别进行距离计算,得到p×q个距离,其中,第一图像为人体检测框在视频流中的当前帧图像中框定的区域图像,第二图像为轨迹预测框在当前帧图像中框定的区域图像,人体检测框为视频跟踪中的人体检测框,轨迹预测框为视频跟踪中基于当前帧图像的前一帧图像预测得到的轨迹预测框,p、q为正整数;根据p×q个距离构建距离矩阵Dp×q,其中,距离矩阵Dp×q的元素Dij表示p张第一图像中的第i张第一图像与q张第二图像中的第j张第二图像之间的距离;从距离矩阵Dp×q的第i行中确定出第一目标距离和第二目标距离,其中,第一目标距离为第i行中的最小距离,第二目标距离为第i行中的次小距离;从距离矩阵Dp×q的第j列中确定出第三目标距离和第四目标距离,其中,第三目标距离为第j列中的最小距离,第四目标距离为第j列中的次小距离;若第一目标距离为第三目标距离,且第一目标距离小于第一距离,以及第三目标距离小于第二距离,则确定元素Dij对应的第一图像与元素Dij对应的第二图像匹配成功,其中,第一距离根据第二目标距离和预设系数确定,第二距离根据第四目标距离和预设系数确定。
可以看出,在本申请实施例中,将p张第一图像与q张第二图像进行匹配时,先计算p张第一图像中的每张第一图像与q张第二图像中的每张第二图像的距离,得到p×q个距离,再依据这p×q个距离构建一个p×q的距离矩阵;对于距离矩阵中的任意一个元素对应的第一图像和第二图像匹配成功的条件为:该元素为其所在行和所在列均是最小的,并且该元素还小于所在行的次小距离与预设系数确定的第一距离,以及该元素还小于所在列的次小距离与预设系数确定的第二距离;因此有利于提高第一图像与第二图像匹配的准确率。
本申请实施例第五方面公开了一种行人跟踪装置,包括:确定单元,用于在当前帧图像中确定n个第一轨迹预测框,其中,n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,n个历史人体检测框为前一帧图像中的人体检测框,n个第一轨迹预测框与n个历史人体检测框一一对应,前一帧图像为视频流中当前帧图像的前一帧图像,n为正整数;匹配单元,用于将当前帧图像中的m个人体检测框中的每个人体检测框分别与n个第一轨迹预测框中的每个第一轨迹预测框进行匹配,以得到p个人体检测框和q个第一轨迹预测框,其中,p个人体检测框为m个人体检测框中未匹配成功的人体检测框,q个第一轨迹预测框为n个第一轨迹预测框中未匹配成功的第一轨迹预测框,m为正整数;p为整数,且0<p≤m;q为整数,且0<q≤n;确定单元,还用于在当前帧图像中确定q个第二轨迹预测框,其中,q个第二轨迹预测框根据q个历史人体检测框采用第二算法预测得到,q个历史人体检测框为与q个第一轨迹预测框对应的历史人体检测框,q个第二轨迹预测框与q个历史人体检测框一一对应,第二算法的预测精度大于第一算法的预测精度;匹配单元,还用于将p个人体检测框中的每个人体检测框分别与q个第二轨迹预测框中的每个第二轨迹预测框进行匹配,以确定p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人。
本申请实施例第六方面公开了一种行人跟踪装置,包括:确定单元,用于在当前帧图像中确定n个第一轨迹预测框,其中,n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,n个历史人体检测框为前一帧图像中的人体检测框,n个第一轨迹预测框与n个历史人体检测框一一对应,前一帧图像为视频流中当前帧图像的前一帧图像,n为正整数;匹配单元,用于将当前帧图像中的目标人体检测框与n个第一轨迹预测框分别进行匹配;确定单元,还用于若匹配不成功,则在当前帧图像中确定n个第二轨迹预测框,其中,n个第二轨迹预测框根据n个历史人体检测框采用第二算法预测得到,n个第二轨迹预测框与n个历史人体检测框一一对应,第二算法的预测精度大于第一算法的预测精度;匹配单元,还用于将目标人体检测框与n个第二轨迹预测框分别进行匹配;确定单元,还用于若匹配成功,则确定目标人体检测框内的目标行人为前一帧图像中的历史行人。
本申请实施例第七方面公开了一种行人跟踪装置,包括:确定单元,用于在当前帧图像中确定第三目标轨迹预测框,其中,第三目标轨迹预测框根据前一帧图像中的历史人体检测框预测得到,前一帧图像为视频流中当前帧图像的前一帧图像;计算单元,用于根据当前帧图像中的目标人体检测框的中心坐标、第三目标轨迹预测框的中心坐标、第一预设超参数计算得到第一距离分量;计算单元,还用于根据目标人体检测框的面积、第三目标轨迹预测框的面积、第二预设超参数计算得到第二距离分量;计算单元,还用于根据目标人体检测框的宽高比、第三目标轨迹预测框的宽高比、第三预设超参数计算得到第三距离分量;计算单元,还用于根据第一距离分量、第二距离分量、第三距离分量计算得到目标人体检测框与第三目标轨迹预测框的距离;确定单元,还用于根据目标人体检测框与第三目标轨迹预测框的距离,确定目标人体检测框中的目标行人是否为前一帧图像中的历史行人。
本申请实施例第八方面公开了一种图像匹配装置,包括:计算单元,用于将p张第一图像中的每张第一图像与q张第二图像中的每张第二图像分别进行距离计算,得到p×q个距离,其中,第一图像为人体检测框在视频流中的当前帧图像中框定的区域图像,第二图像为轨迹预测框在当前帧图像中框定的区域图像,人体检测框为视频跟踪中的人体检测框,轨迹预测框为视频跟踪中基于当前帧图像的前一帧图像预测得到的轨迹预测框,p、q为正整数;构建单元,用于根据p×q个距离构建距离矩阵Dp×q,其中,距离矩阵Dp×q的元素Dij表示p张第一图像中的第i张第一图像与q张第二图像中的第j张第二图像之间的距离;确定单元,用于从距离矩阵Dp×q的第i行中确定出第一目标距离和第二目标距离,其中,第一目标距离为第i行中的最小距离,第二目标距离为第i行中的次小距离;确定单元,还用于从距离矩阵Dp×q的第j列中确定出第三目标距离和第四目标距离,其中,第三目标距离为第j列中的最小距离,第四目标距离为第j列中的次小距离;确定单元,还用于若第一目标距离为第三目标距离,且第一目标距离小于第一距离,以及第三目标距离小于第二距离,则确定元素Dij对应的第一图像与元素Dij对应的第二图像匹配成功,其中,第一距离根据第二目标距离和预设系数确定,第二距离根据第四目标距离和预设系数确定。
本申请实施例第九方面公开了一种电子设备,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如本申请实施例第一方面至第四方面中任一项所述的方法中的步骤的指令。
本申请实施例第八方面公开了一种芯片,其特征在于,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如本申请实施例第一方面至第四方面中任一项所述的方法。
本申请实施例第九方面公开了一种计算机可读存储介质,其特征在于,其存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如本申请实施例第一方面至第四方面中任一项所述的方法。
本申请实施例第十方面公开了一种计算机程序产品,所述计算机程序产品使得计算机执行如本申请实施例第一方面至第四方面中任一项所述的方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种行人跟踪方法的流程示意图;
图2是本申请实施例提供的另一种行人跟踪方法的流程示意图;
图3是本申请实施例提供的又一种行人跟踪方法的流程示意图;
图4是本申请实施例提供的再一种行人跟踪方法的流程示意图;
图5是本申请实施例提供的一种图像匹配方法的流程示意图;
图6是本申请实施例提供的一种行人跟踪装置的结构示意图;
图7是本申请实施例提供的另一种行人跟踪装置的结构示意图;
图8是本申请实施例提供的又一种行人跟踪装置的结构示意图;
图9是本申请实施例提供的一种图像匹配装置的结构示意图;
图10是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。
首先,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
卡尔曼滤波:利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。
框漂移:在跟踪过程中,光流预测的框不准,与实际位置相差很远,导致跟踪轨迹无法匹配检测框,轨迹断开。
Reid模型:人体特征模型,输入为人体图像,输出为一定维度的人体特征向量。
下面结合具体实施方式对本申请提供的技术方案进行详细的介绍。
请参阅图1,图1是本申请实施例提供的一种行人跟踪方法的流程示意图,该行人跟踪方法可应用于电子设备,该行人跟踪方法包括但不限于以下步骤。
步骤101、在当前帧图像中确定n个第一轨迹预测框,其中,n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,n个历史人体检测框为前一帧图像中的人体检测框,n个第一轨迹预测框与n个历史人体检测框一一对应,前一帧图像为视频流中当前帧图像的前一帧图像,n为正整数。
应理解,该当前帧图像为用于视频跟踪的视频流中的当前帧图像,该前一帧图像为视频流中当前帧图像的前一帧图像。
其中,第一算法可以为光流法、帧间差分法等。以光流法为例,第一轨迹预测框可以为光流轨迹预测框,其通过光流跟踪对前一帧图像中历史人体检测框进行轨迹预测得到。具体地,提取前一帧图像中的人体检测框,也即历史人体检测框,在该历史人体检测框中确定一块跟踪区域;通过光流跟踪,得到该历史人体检测框在当前帧图像中对应的光流轨迹预测框,也即第一轨迹预测框;并将该第一轨迹预测框保存起来,作为和当前帧图像中的人体检测框进行匹配使用;需要说明的是,该跟踪区域应该是具有明显特征的区域,因此只有具有明显特征的区域,光流跟踪才会更加准确,否则光流轨迹预测框便会很不准确;其中,具有明显特征的区域是指对该区域进行人体特征提取,所提取到的人体特征可满足行人识别的要求的区域。
步骤102、将当前帧图像中的m个人体检测框中的每个人体检测框分别与n个第一轨迹预测框中的每个第一轨迹预测框进行匹配,以得到p个人体检测框和q个第一轨迹预测框,其中,p个人体检测框为m个人体检测框中未匹配成功的人体检测框,q个第一轨迹预测框为n个第一轨迹预测框中未匹配成功的第一轨迹预测框,m为正整数;p为整数,且0<p≤m;q为整数,且0<q≤n。
其中,该当前帧图像中可能存在一个或多个行人,因此在行人跟踪过程中,当前帧图像中可能存在一个或多个人体检测框,人体检测框用于行人跟踪中对帧图像进行行人检测,其可以为框选行人后的区域图像,也即当前帧图像中包含行人的一区域图像。当前帧图像中的m个人体检测框可以通过行人检测器获取,也即从视频流中提取当前帧图像,将其送入行人检测器,得到该当前帧图像的所有人体检测框,将该当前帧图像的所有人体检测框保存起来,作为与轨迹预测框匹配使用。
应理解,该q个第一轨迹预测框可能是因为发生框漂移或者轨迹断掉而导致未匹配成功的;其中,轨迹断掉也即历史人体检测框中的历史行人在前一帧图像中存在,但该历史行人在当前帧图像中不存在。p个人体检测框可能是因为第一轨迹预测框发生框漂移或者新出现行人而导致未匹配成功的;其中,新出现行人是指在前一帧图像中不存在,仅在当前帧图像中存在的行人。
其中,上述匹配也即比对轨迹预测框和人体检测框在当前帧图像中的重合度。
在一种示例性的实施方式中,当p=0,q≠0时,确定q个历史人体检测框内的历史行人消失,所述q个历史人体检测框为与所述q个第一轨迹预测框对应的历史人体检测框;当p≠0,q=0时,确定所述p个人体检测框内的行人为所述视频流中首次出现的行人。
在一种示例性的实施方式中,该方法还包括:针对m个人体检测框中任意一个匹配成功的人体检测框,确定该匹配成功的人体检测框中的行人为前一帧图像中的历史行人,并根据该匹配成功的人体检测框更新与其匹配成功的第一轨迹预测框对应的历史行人的轨迹信息。
其中,该第一轨迹预测框对应的历史行人也即该第一轨迹预测框对应的历史人体检测框中的历史行人。
应理解,将m个人体检测框中的每个人体检测框分别与n个第一轨迹预测框中的每个第一轨迹预测框进行匹配,得到第一轨迹预测框和人体检测框的匹配信息。对于匹配上第一轨迹预测框的人体检测框来说,则根据该人体检测框的信息,更新轨迹信息,如轨迹的框和位置信息等;其中,如果行人检测器还会输出该人体检测框的质量信息,则将该质量信息保存,作为评价人体检测框时使用。
步骤103、在当前帧图像中确定q个第二轨迹预测框,其中,q个第二轨迹预测框根据q个历史人体检测框采用第二算法预测得到,q个历史人体检测框为与q个第一轨迹预测框对应的历史人体检测框,q个第二轨迹预测框与q个历史人体检测框一一对应,第二算法的预测精度大于第一算法的预测精度。
其中,第二算法可以为卡尔曼滤波预测算法;第二轨迹预测框为可以为卡尔曼滤波轨迹预测框,其通过卡尔曼滤波对前一帧图像中历史人体检测框进行轨迹预测得到。第二算法的预测精度大于第一算法的预测精度,也即运用卡尔曼滤波预测得到的第二轨迹预测框,具有比光流预测得到的第一轨迹预测框更稳定的特性,也即第二轨迹预测框相比第一轨迹预测框更不容易发生框漂移。
步骤104、将p个人体检测框中的每个人体检测框分别与q个第二轨迹预测框中的每个第二轨迹预测框进行匹配,以确定p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人。
应理解,将m个人体检测框中的每个人体检测框分别与n个第一轨迹预测框中的每个第一轨迹预测框进行匹配,对于没匹配上人体检测框的第一轨迹预测框来说,可能是因为该第一轨迹预测框的框位置预测错误,即产生漂移,所以导致该第一轨迹预测框和人体检测框匹配不上,则可以对该第一轨迹预测框对应的轨迹,也即之前保存的该第一轨迹预测框对应的历史人体检测框的框信息,进行卡尔曼预测,得到第二轨迹预测框;然后将第二轨迹预测框和没匹配上的人体检测框再次做匹配。
在一种示例性的实施方式中,将p个人体检测框中的每个人体检测框分别与q个第二轨迹预测框中的每个第二轨迹预测框进行匹配,以确定p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人,包括:将p个人体检测框中的每个人体检测框与q个第二轨迹预测框中的每个第二轨迹预测框分别进行距离计算,得到p×q个距离;根据p×q个距离构建距离矩阵Dp×q,其中,距离矩阵Dp×q的元素Dij表示p个人体检测框中的第i个人体检测框与q个第二轨迹预测框中的第j个第二轨迹预测框之间的距离;针对每个元素Dij,执行以下步骤,以确定p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人:从距离矩阵Dp×q的第i行中确定出第一目标距离和第二目标距离,其中,第一目标距离为第i行中的最小距离,第二目标距离为第i行中的次小距离;从距离矩阵Dp×q的第j列中确定出第三目标距离和第四目标距离,其中,第三目标距离为第j列中的最小距离,第四目标距离为第j列中的次小距离;若第一目标距离为第三目标距离,且第一目标距离小于第一距离,以及第三目标距离小于第二距离,则确定元素Dij对应的人体检测框内的行人为元素Dij对应的历史人体检测框中的历史行人,其中,第一距离根据第二目标距离和预设系数确定,第二距离根据第四目标距离和预设系数确定。
其中,将p个人体检测框中的每个人体检测框分别与q个第二轨迹预测框中的每个第二轨迹预测框进行匹配,可以称之为做强匹配。这里的强匹配意思是,将p个人体检测框中的每个人体检测框分别与q个第二轨迹预测框中的每个第二轨迹预测框进行距离计算,对于某个第二轨迹预测框和某个人体检测框来说,判断该第二轨迹预测框和该人体检测框匹配上的唯一标准是:在该人体检测框的维度上,该人体检测框与该第二轨迹预测框之间的距离,在该人体检测框与q个第二轨迹预测框中的所有第二轨迹预测框之间的距离中是最小的,且小于第一距离,该第一距离为预设系数与该人体检测框与q个第二轨迹预测框中的所有第二轨迹预测框之间的距离中的次小距离的乘积;在该第二轨迹预测框的维度上,该人体检测框与该第二轨迹预测框之间的距离,在该第二轨迹预测框与p个人体检测框中的所有人体检测框之间的距离中是最小的,且小于第二距离,该第二距离为预设系数与该第二轨迹预测框与p个人体检测框中的所有人体检测框之间的距离中的次小距离的乘积。
举例来说,以两个第二轨迹预测框(track1和track2)和两个人体检测框(det1和det2)做匹配为例,计算这两个第二轨迹预测框中的每个第二轨迹预测框与这两个人体检测框种的每个人体检测框之间的距离,构建距离矩阵如表1所示。
表1距离矩阵
track1_to_det1_dis | track1_to_det2_dis |
track2_to_det1_dis | track2_to_det2_dis |
在表1中,track1_to_det1_dis表示track1与det1之间的距离;track1_to_det2_dis表示track1与det2之间的距离;track2_to_det1_dis表示track2与det1之间的距离;track2_to_det2_dis表示track2与det2之间的距离。
如果track1要和det1匹配上,则要求:
track1_to_det1_dis<margin×track1_to_det2_dis(1)
track1_to_det1_dis<margin×track2_to_det1_dis(2)
在公式(1)和(2)中,margin为预设系数,其为指定的经验参数,默认是1.5。满足上述条件的为匹配上,这是为了去除匈牙利匹配导致的强行匹配的错误。
可见,在本示例中,对于距离矩阵中的任意一个元素对应的人体检测框和第二轨迹预测框匹配成功的条件为:该元素为其所在行和所在列均是最小的,并且该元素还小于所在行的次小距离与预设系数确定的第一距离,以及该元素还小于所在列的次小距离与预设系数确定的第二距离;因此有利于提高人体检测框和第二轨迹预测框匹配的准确率,从而有利于提高行人跟踪的准确率。
在一种示例性的实施方式中,距离计算,包括:根据人体检测框i的中心坐标、轨迹预测框j的中心坐标、第一预设超参数计算得到第一距离分量,其中,人体检测框i为p个人体检测框中的任意一个,轨迹预测框j为q个第二轨迹预测框中的任意一个;根据人体检测框i的面积、轨迹预测框j的面积、第二预设超参数计算得到第二距离分量;根据人体检测框i的宽高比、轨迹预测框j的宽高比、第三预设超参数计算得到第三距离分量;根据第一距离分量、第二距离分量、第三距离分量计算得到元素Dij。
其中,以任意一个人体检测框与任意一个轨迹预测框之间的距离计算为例,其距离计算公式如公式(3)-(6)所示。
在公式(3)-(6)中,a、b表示框,其中一个可以表示人体检测框,另外一个可以表示第二轨迹预测框;ax、bx指两个框的x轴中心坐标;ay、by指两个框的y轴中心坐标;as、bs指两个框的面积,后缀s代表面积;ar、br指两个框的宽高比,后缀r代表宽高比;max_pos,max_size,max_ratio是指定的超参数,也即分别为第一预设超参数、第二预设超参数、第三预设超参数;dis_pos表示第一距离分量;dis_size表示第二距离分量;dis_ratio表示第三距离分量;corre表示两个框之间的距离。
可见,在本示例中,对于任意一个人体检测框与任意一个第二轨迹预测框之间的距离计算,先通过中心坐标、面积、宽高比这三个维度上分别进行距离计算,每个维度计算得到一个距离分量,从而得到该人体检测框与该第二轨迹预测框的三个距离分量;然后根据这三个距离分量计算得到该人体检测框与该第二轨迹预测框的距离;再根据该人体检测框与该第二轨迹预测框的距离来判断该人体检测框与该第二轨迹预测框是否匹配,进而确定该人体检测框中的行人是否为前一帧图像中的历史行人;由于通过中心坐标、面积、宽高比三个维度去判断该人体检测框与该第二轨迹预测框是否匹配,从而有利于提高判断的准确率,也即有利于提高对该行人跟踪的准确率。
在一种示例性的实施方式中,该方法还包括:从第一目标轨迹预测框在当前帧图像中框定的区域图像中提取人体特征,得到第一目标人体特征,其中,第一目标轨迹预测框为q个第二轨迹预测框中未匹配成功的第二轨迹预测框中的任意一个;从第一目标轨迹预测框对应的历史人体检测框中提取人体特征,得到第二目标人体特征;计算第一目标人体特征与第二目标人体特征的相似度;若相似度大于预设相似度阈值,则确定第一目标轨迹预测框内的行人为前一帧图像中的历史行人;若相似度不大于预设相似度阈值,则确定第一目标轨迹预测框对应的历史人体检测框中的历史行人的轨迹断掉。
应理解,对于q个第二轨迹预测框中没匹配上的第二轨迹预测框任意一个,则在没匹配上的第二轨迹预测框在当前帧图像中框定的区域图像中提取人体特征,以及在没匹配上的第二轨迹预测框对应的历史人体检测框中提取人体特征,具体地,通过Reid模型提取人体特征;然后计算两个提取出的人体特征的相似度,如果相似度大于一定阈值,则判定该没匹配上的第二轨迹预测框在当前帧图像中框定的区域图像中的行人和该没匹配上的第二轨迹预测框对应的历史人体检测框中历史行人是同一人,这时候进行轨迹重连;如果该相似度不大于该一定阈值,则判定该没匹配上的第二轨迹预测框对应的历史人体检测框中历史行人的轨迹断掉。
在一种示例性的实施方式中,该方法还包括:对于匹配到人体检测框的第二轨迹预测框,则根据其匹配到的人体检测框更新该第二轨迹预测框对应的历史行人的轨迹信息。
其中,该第二轨迹预测框对应的历史行人也即该第二轨迹预测框对应的历史人体检测框中的历史行人。
在一种示例性的实施方式中,该方法还包括:对于未匹配到第二轨迹预测框的人体检测框,则初始化该人体检测框中的行人的轨迹;也即认为该人体检测框中的行人为新出现的行人。
应理解,通过这种方式,能够减少光流预测框漂移导致的错误匹配,增加跟踪的稳定性,在某种情况下,能达到类似于拉回预测框的效果,对于算法的落地性能有很重要的意义,有效提高了跟踪的稳定性和准确性。
可以看出,在本申请实施例中,先采用基于第一算法预测到的n个第一轨迹预测框与当前帧图像中的m个人体检测框进行匹配,以确定出匹配失败的p个人体检测框和q个第一轨迹预测框;再采用基于第二算法预测到的q个第二轨迹预测框与该p个人体检测框进行匹配,以确定该p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人,其中,q个第一轨迹预测框和q个第二轨迹预测框是对前一帧图像中的q个人体检测框预测得到的;由于第二算法的预测精度大于第一算法的预测精度,因此可以有效减少了行人跟踪过程中人体检测框与轨迹预测框匹配错误的情况,有利于提高行人跟踪的准确率。
请参阅图2,图2是本申请实施例提供的另一种行人跟踪方法的流程示意图,该行人跟踪方法可应用于电子设备,该行人跟踪方法包括但不限于以下步骤。
步骤201、通过行人检测模型,得到当前帧图像的所有人体检测框。
具体地,将视频流中的当前帧图像输入行人检测器,得到该当前帧图像的所有人体检测框。
步骤202、根据当前保存的轨迹,获取每条轨迹在前一帧图像中的历史人体检测框,并根据每条轨迹在前一帧图像中的历史人体检测框通过光流跟踪预测得到每条轨迹在当前帧图像中的第一轨迹预测框。
其中,轨迹也即行人在视频流中的轨迹,或者说行人在帧图像中的轨迹。
步骤203、将当前帧图像的所有人体检测框与每条轨迹在当前帧图像中的第一轨迹预测框进行匹配。
步骤204、判断人体检测框是否匹配上第一轨迹预测框。
其中,若人体检测框未匹配上第一轨迹预测框,则执行步骤205;若人体检测框匹配上第一轨迹预测框,则执行步骤208。
步骤205、对于未匹配到人体检测框的任意一个轨迹,根据其对应的历史人体检测框通过卡尔曼滤波预测得到其在当前帧图像中的第二轨迹预测框,并将该第二轨迹预测框与未匹配到轨迹的人体检测框进行强匹配。
其中,未匹配到人体检测框的任意一个轨迹,也即未匹配到人体检测框的任意一个第一轨迹预测框对应的轨迹。
步骤206、判断人体检测框是否匹配上第二轨迹预测框。
其中,若人体检测框未匹配上第二轨迹预测框,则执行步骤207;若人体检测框匹配上第二轨迹预测框,则执行步骤208。
步骤207、对于未匹配到人体检测框的任意一个轨迹,采用Reid模型提取人体特征,与之前消失的轨迹进行特征相似度对比,若相似度满足预设相似度阈值,则轨迹重连;若相似度不满足预设相似度阈值,则判断为轨迹断掉;对于未匹配到轨迹的人体检测框,则初始化为新轨迹。
步骤208、更新轨迹信息。
应理解,可以再次提取视频帧图像作为当前帧图像,也即将下一帧图像作为当前帧图像,重复上述步骤,直至视频流结束,然后根据保存的轨迹信息,可进行后续的操作,例如抓拍等。
需要说明的是,图2所示的实施例的相关术语或解释可参考前述其他实施例描述的内容,此处不再赘述。
可以看出,在本申请实施例中,当采用光流跟踪预测得到的第一轨迹预测框与当前帧图像的人体检测框匹配不上时,可能发生光流漂移;通过采用过卡尔曼滤波得到的第二轨迹预测框与当前帧图像的人体检测框进行强匹配,以此来进一步判断人体检测框与轨迹预测框能否匹配,也即判断人体检测框中的行人是否是历史行人;因此可以有效减少了行人跟踪过程中人体检测框与轨迹预测框匹配错误的情况,有利于提高行人跟踪的准确率。
请参阅图3,图3是本申请实施例提供的又一种行人跟踪方法的流程示意图,该行人跟踪方法可应用于电子设备,该行人跟踪方法包括但不限于以下步骤。
步骤301、在当前帧图像中确定n个第一轨迹预测框,其中,n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,n个历史人体检测框为前一帧图像中的人体检测框,n个第一轨迹预测框与n个历史人体检测框一一对应,前一帧图像为视频流中当前帧图像的前一帧图像,n为正整数。
步骤302、将当前帧图像中的目标人体检测框与n个第一轨迹预测框分别进行匹配。
其中,目标人体检测框为当前帧图像中的所有人体检测框中的任意一个。
步骤303、若目标人体检测框与n个第一轨迹预测框均匹配不成功,则在当前帧图像中确定n个第二轨迹预测框,其中,n个第二轨迹预测框根据n个历史人体检测框采用第二算法预测得到,n个第二轨迹预测框与n个历史人体检测框一一对应,第二算法的预测精度大于第一算法的预测精度。
步骤304、将目标人体检测框与n个第二轨迹预测框分别进行匹配。
在一种示例性的实施方式中,将目标人体检测框与n个第二轨迹预测框分别进行匹配,包括:根据目标人体检测框与n个第二轨迹预测框分别进行距离计算,得到目标人体检测框对应的n个距离;从目标人体检测框对应的n个距离中确定出第一目标距离和第二目标距离,其中,第一目标距离为目标人体检测框对应的n个距离中的最小距离,第二目标距离为目标人体检测框对应的n个距离中的次小距离;从第二目标轨迹预测框对应的m个距离中确定出第三目标距离和第四目标距离,其中,第二目标轨迹预测框为与第一目标距离对应的第二轨迹预测框,第三目标距离为第二目标轨迹预测框对应的m个距离中的最小距离,第四目标距离为第二目标轨迹预测框对应的m个距离中的次小距离,第二目标轨迹预测框对应的m个距离由第二目标轨迹预测框与m个人体检测框分别进行距离计算得到,m个人体检测框为当前帧图像中的人体检测框,且m个人体检测框包括目标人体检测框,m为正整数;若第一目标距离为第三目标距离,且第一目标距离小于第一距离,以及第三目标距离小于第二距离,则确定目标人体检测框与第二目标轨迹预测框匹配成功,其中,第一距离根据第二目标距离和预设系数确定,第二距离根据第四目标距离和预设系数确定。
其中,目标人体检测框与第二目标轨迹预测框匹配成功的条件参阅公式(1)和(2)。
在一种示例性的实施方式中,距离计算,包括:根据人体检测框r的中心坐标、轨迹预测框s的中心坐标、第一预设超参数计算得到第一距离分量,其中,人体检测框r为m个人体检测框中的任意一个,轨迹预测框s为n个第二轨迹预测框中的任意一个;根据人体检测框r的面积、轨迹预测框s的面积、第二预设超参数计算得到第二距离分量;根据人体检测框r的宽高比、轨迹预测框s的宽高比、第三预设超参数计算得到第三距离分量;根据第一距离分量、第二距离分量、第三距离分量计算得到距离Drs;其中,若人体检测框r为目标人体检测框,Drs为目标人体检测框对应的n个距离中的任意一个;若轨迹预测框s为第二目标轨迹预测框,Drs为第二目标轨迹预测框对应的m个距离中的任意一个。
其中,距离计算的公式参阅公式(3)-(6)。
步骤305、若目标人体检测框与n个第二轨迹预测框中的其中一个匹配成功,则确定目标人体检测框内的目标行人为前一帧图像中的历史行人。
在一种示例性的实施方式中,该方法还包括:若目标人体检测框与n个第一轨迹预测框中的其中一个匹配成功,则确定目标行人为前一帧图像中的历史行人;根据目标人体检测框更新目标行人的轨迹信息。
在一种示例性的实施方式中,该方法还包括:若目标人体检测框与n个第二轨迹预测框均匹配不成功,则确定目标行人为视频流中首次出现的行人;根据目标人体检测框进行轨迹初始化以得到目标行人的初始轨迹。
需要说明的是,图3所示的实施例的相关术语或解释可参考前述其他实施例描述的内容,此处不再赘述。
可以看出,在本申请实施例中,先采用基于第一算法预测到的n个第一轨迹预测框与当前帧图像中的目标人体检测框进行匹配;若该目标人体检测框与该n个第一轨迹预测框均匹配不成功,再采用基于第二算法预测到的n个第二轨迹预测框与该目标人体检测框进行匹配;若该目标人体检测框与该n个第二轨迹预测框中的其中一个匹配成功,则确定该目标人体检测框内的目标行人为前一帧图像中的历史行人,其中,n个第一轨迹预测框和n个第二轨迹预测框是对前一帧图像中的n个人体检测框预测得到的;由于第二算法的预测精度大于第一算法的预测精度,因此可以有效减少了目标人体检测框与第一轨迹预测框匹配错误的情况,有利于提高对该目标行人跟踪的准确率。
请参阅图4,图4是本申请实施例提供的再一种行人跟踪方法的流程示意图,该行人跟踪方法可应用于电子设备,该行人跟踪方法包括但不限于以下步骤。
步骤401、在当前帧图像中确定第三目标轨迹预测框,其中,第三目标轨迹预测框根据前一帧图像中的历史人体检测框预测得到,前一帧图像为视频流中当前帧图像的前一帧图像。
其中,第三目标轨迹预测框为根据前一帧图像中的所有历史人体检测框预测得到的多个轨迹预测框中的任意一个;第三目标轨迹预测框可以为前述的第一轨迹预测框、第二轨迹预测框,也即第三目标轨迹预测框可以根据前一帧图像中的历史人体检测框通过光流跟踪、卡尔曼滤波等算法预测得到。
步骤402、根据当前帧图像中的目标人体检测框的中心坐标、第三目标轨迹预测框的中心坐标、第一预设超参数计算得到第一距离分量。
其中,目标人体检测框为当前帧图像中的所有人体检测框中的任意一个。
步骤403、根据目标人体检测框的面积、第三目标轨迹预测框的面积、第二预设超参数计算得到第二距离分量。
步骤404、根据目标人体检测框的宽高比、第三目标轨迹预测框的宽高比、第三预设超参数计算得到第三距离分量。
步骤405、根据第一距离分量、第二距离分量、第三距离分量计算得到目标人体检测框与第三目标轨迹预测框的距离。
其中,目标人体检测框与第三目标轨迹预测框的距离的具体计算过程可参阅公式(3)-(6)。
步骤406、根据目标人体检测框与第三目标轨迹预测框的距离,确定目标人体检测框中的目标行人是否为前一帧图像中的历史行人。
具体地,若所述目标人体检测框与第三目标轨迹预测框的距离小于预设距离阈值,则确定所述目标人体检测框中的目标行人为所述前一帧图像中的历史行人。
需要说明的是,图4所示的实施例的相关术语或解释可参考前述其他实施例描述的内容,此处不再赘述。
可以看出,在本申请实施例中,先通过中心坐标、面积、宽高比这三个维度上分别进行距离计算,每个维度计算得到一个距离分量,从而得到目标人体检测框与第三目标轨迹预测框的三个距离分量;然后根据这三个距离分量计算得到目标人体检测框与第三目标轨迹预测框的距离;再根据目标人体检测框与第三目标轨迹预测框的距离来判断目标人体检测框与第三目标轨迹预测框是否匹配,进而确定目标人体检测框中的目标行人是否为前一帧图像中的历史行人;由于通过中心坐标、面积、宽高比三个维度去判断目标人体检测框与第三目标轨迹预测框是否匹配,从而有利于提高判断的准确率,也即有利于提高对该目标行人跟踪的准确率。
请参阅图5,图5是本申请实施例提供的一种图像匹配方法的流程示意图,该图像匹配方法可应用于电子设备,该图像匹配包括但不限于以下步骤。
步骤501、将p张第一图像中的每张第一图像与q张第二图像中的每张第二图像分别进行距离计算,得到p×q个距离,其中,第一图像为人体检测框在视频流中的当前帧图像中框定的区域图像,第二图像为轨迹预测框在当前帧图像中框定的区域图像,人体检测框为视频跟踪中的人体检测框,轨迹预测框为视频跟踪中基于当前帧图像的前一帧图像预测得到的轨迹预测框,p、q为正整数。
其中,轨迹预测框为视频跟踪中基于当前帧图像的前一帧图像预测得到的轨迹预测框,也即轨迹预测框为视频跟踪中基于当前帧图像的前一帧图像中的历史人体检测框预测得到的轨迹预测框。
在一种示例性的实施方式中,距离计算,包括:根据第一目标图像的中心坐标、第二目标图像的中心坐标、第一预设超参数计算得到第一距离分量,其中,第一目标图像为p张第一图像中的任意一张,第二目标图像为q张第二图像中的任意一张;根据第一目标图像的面积、第二目标图像的面积、第二预设超参数计算得到第二距离分量;根据第一目标图像的宽高比、第二目标图像的宽高比、第三预设超参数计算得到第三距离分量;根据第一距离分量、第二距离分量、第三距离分量计算得到元素Dij。
其中,距离计算的公式参阅公式(3)-(6)。
步骤502、根据p×q个距离构建距离矩阵Dp×q,其中,距离矩阵Dp×q的元素Dij表示p张第一图像中的第i张第一图像与q张第二图像中的第j张第二图像之间的距离。
步骤503、从距离矩阵Dp×q的第i行中确定出第一目标距离和第二目标距离,其中,第一目标距离为第i行中的最小距离,第二目标距离为第i行中的次小距离。
步骤504、从距离矩阵Dp×q的第j列中确定出第三目标距离和第四目标距离,其中,第三目标距离为第j列中的最小距离,第四目标距离为第j列中的次小距离。
步骤505、若第一目标距离为第三目标距离,且第一目标距离小于第一距离,以及第三目标距离小于第二距离,则确定元素Dij对应的第一图像与元素Dij对应的第二图像匹配成功,其中,第一距离根据第二目标距离和预设系数确定,第二距离根据第四目标距离和预设系数确定。
其中,元素Dij对应的第一图像与元素Dij对应的第二图像匹配成功的条件参阅公式(1)和(2)。
需要说明的是,图5所示的实施例的相关术语或解释可参考前述其他实施例描述的内容,此处不再赘述。
可以看出,在本申请实施例中,将p张第一图像与q张第二图像进行匹配时,先计算p张第一图像中的每张第一图像与q张第二图像中的每张第二图像的距离,得到p×q个距离,再依据这p×q个距离构建一个p×q的距离矩阵;对于距离矩阵中的任意一个元素对应的第一图像和第二图像匹配成功的条件为:该元素为其所在行和所在列均是最小的,并且该元素还小于所在行的次小距离与预设系数确定的第一距离,以及该元素还小于所在列的次小距离与预设系数确定的第二距离;因此有利于提高第一图像与第二图像匹配的准确率。当本申请实施例的图像匹配方法应用于行人跟踪中的人体检测框和轨迹预测框匹配时,可以提高行人跟踪的精度。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参见图6,图6是本申请实施例提供的一种行人跟踪装置600的结构示意图,该行人跟踪装置应用于电子设备,该行人跟踪装置600可以包括确定单元601和匹配单元602,其中,各个单元的详细描述如下:
确定单元601,用于在当前帧图像中确定n个第一轨迹预测框,其中,n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,n个历史人体检测框为前一帧图像中的人体检测框,n个第一轨迹预测框与n个历史人体检测框一一对应,前一帧图像为视频流中当前帧图像的前一帧图像,n为正整数;
匹配单元602,用于将当前帧图像中的m个人体检测框中的每个人体检测框分别与n个第一轨迹预测框中的每个第一轨迹预测框进行匹配,以得到p个人体检测框和q个第一轨迹预测框,其中,p个人体检测框为m个人体检测框中未匹配成功的人体检测框,q个第一轨迹预测框为n个第一轨迹预测框中未匹配成功的第一轨迹预测框,m为正整数;p为整数,且0<p≤m;q为整数,且0<q≤n;
确定单元601,还用于在当前帧图像中确定q个第二轨迹预测框,其中,q个第二轨迹预测框根据q个历史人体检测框采用第二算法预测得到,q个历史人体检测框为与q个第一轨迹预测框对应的历史人体检测框,q个第二轨迹预测框与q个历史人体检测框一一对应,第二算法的预测精度大于第一算法的预测精度;
匹配单元602,还用于将p个人体检测框中的每个人体检测框分别与q个第二轨迹预测框中的每个第二轨迹预测框进行匹配,以确定p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人。
在一种示例性的实施方式中,当p=0,q≠0时,确定q个历史人体检测框内的历史行人消失,所述q个历史人体检测框为与所述q个第一轨迹预测框对应的历史人体检测框;当p≠0,q=0时,确定所述p个人体检测框内的行人为所述视频流中首次出现的行人。
在一种示例性的实施方式中,在将p个人体检测框中的每个人体检测框分别与q个第二轨迹预测框中的每个第二轨迹预测框进行匹配,以确定p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人方面,匹配单元602,具体用于:将p个人体检测框中的每个人体检测框与q个第二轨迹预测框中的每个第二轨迹预测框分别进行距离计算,得到p×q个距离;根据p×q个距离构建距离矩阵Dp×q,其中,距离矩阵Dp×q的元素Dij表示p个人体检测框中的第i个人体检测框与q个第二轨迹预测框中的第j个第二轨迹预测框之间的距离;针对每个元素Dij,执行以下步骤,以确定p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人:从距离矩阵Dp×q的第i行中确定出第一目标距离和第二目标距离,其中,第一目标距离为第i行中的最小距离,第二目标距离为第i行中的次小距离;从距离矩阵Dp×q的第j列中确定出第三目标距离和第四目标距离,其中,第三目标距离为第j列中的最小距离,第四目标距离为第j列中的次小距离;若第一目标距离为第三目标距离,且第一目标距离小于第一距离,以及第三目标距离小于第二距离,则确定元素Dij对应的人体检测框内的行人为元素Dij对应的历史人体检测框中的历史行人,其中,第一距离根据第二目标距离和预设系数确定,第二距离根据第四目标距离和预设系数确定。
在一种示例性的实施方式中,在距离计算方面,匹配单元602,具体用于:根据人体检测框i的中心坐标、轨迹预测框j的中心坐标、第一预设超参数计算得到第一距离分量,其中,人体检测框i为p个人体检测框中的任意一个,轨迹预测框j为q个第二轨迹预测框中的任意一个;根据人体检测框i的面积、轨迹预测框j的面积、第二预设超参数计算得到第二距离分量;根据人体检测框i的宽高比、轨迹预测框j的宽高比、第三预设超参数计算得到第三距离分量;根据第一距离分量、第二距离分量、第三距离分量计算得到元素Dij。
在一种示例性的实施方式中,匹配单元602,还用于:从第一目标轨迹预测框在当前帧图像中框定的区域图像中提取人体特征,得到第一目标人体特征,其中,第一目标轨迹预测框为q个第二轨迹预测框中未匹配成功的第二轨迹预测框中的任意一个;从第一目标轨迹预测框对应的历史人体检测框中提取人体特征,得到第二目标人体特征;计算第一目标人体特征与第二目标人体特征的相似度;若相似度大于预设相似度阈值,则确定第一目标轨迹预测框内的行人为前一帧图像中的历史行人;若相似度不大于预设相似度阈值,则确定第一目标轨迹预测框对应的历史人体检测框中的历史行人的轨迹断掉。
需要说明的是,各个单元的实现还可以对应参照图1或图2所示的方法实施例的相应描述。当然,本申请实施例提供的行人跟踪装置600包括但不限于上述单元模块,例如:该行人跟踪装置600还可以包括存储单元603,存储单元603可以用于存储该行人跟踪装置600的程序代码和数据。
在图6所描述的行人跟踪装置600中,先采用基于第一算法预测到的n个第一轨迹预测框与当前帧图像中的m个人体检测框进行匹配,以确定出匹配失败的p个人体检测框和q个第一轨迹预测框;再采用基于第二算法预测到的q个第二轨迹预测框与该p个人体检测框进行匹配,以确定该p个人体检测框中的每个人体检测框内的行人是否为前一帧图像中的历史行人,其中,q个第一轨迹预测框和q个第二轨迹预测框是对前一帧图像中的q个人体检测框预测得到的;由于第二算法的预测精度大于第一算法的预测精度,因此可以有效减少了行人跟踪过程中人体检测框与轨迹预测框匹配错误的情况,有利于提高行人跟踪的准确率。
请参见图7,图7是本申请实施例提供的另一种行人跟踪装置700的结构示意图,该行人跟踪装置应用于电子设备,该行人跟踪装置700可以包括确定单元701和匹配单元702,其中,各个单元的详细描述如下:
确定单元701,用于在当前帧图像中确定n个第一轨迹预测框,其中,n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,n个历史人体检测框为前一帧图像中的人体检测框,n个第一轨迹预测框与n个历史人体检测框一一对应,前一帧图像为视频流中当前帧图像的前一帧图像,n为正整数;
匹配单元702,用于将当前帧图像中的目标人体检测框与n个第一轨迹预测框分别进行匹配;
确定单元701,还用于若目标人体检测框与n个第一轨迹预测框均匹配不成功,则在当前帧图像中确定n个第二轨迹预测框,其中,n个第二轨迹预测框根据n个历史人体检测框采用第二算法预测得到,n个第二轨迹预测框与n个历史人体检测框一一对应,第二算法的预测精度大于第一算法的预测精度;
匹配单元702,还用于将目标人体检测框与n个第二轨迹预测框分别进行匹配;
确定单元701,还用于若目标人体检测框与n个第二轨迹预测框中的其中一个匹配成功,则确定目标人体检测框内的目标行人为前一帧图像中的历史行人。
在一种示例性的实施方式中,在将目标人体检测框与n个第二轨迹预测框分别进行匹配方面,匹配单元702,具体用于:根据目标人体检测框与n个第二轨迹预测框分别进行距离计算,得到目标人体检测框对应的n个距离;从目标人体检测框对应的n个距离中确定出第一目标距离和第二目标距离,其中,第一目标距离为目标人体检测框对应的n个距离中的最小距离,第二目标距离为目标人体检测框对应的n个距离中的次小距离;从第二目标轨迹预测框对应的m个距离中确定出第三目标距离和第四目标距离,其中,第二目标轨迹预测框为与第一目标距离对应的第二轨迹预测框,第三目标距离为第二目标轨迹预测框对应的m个距离中的最小距离,第四目标距离为第二目标轨迹预测框对应的m个距离中的次小距离,第二目标轨迹预测框对应的m个距离由第二目标轨迹预测框与m个人体检测框分别进行距离计算得到,m个人体检测框为当前帧图像中的人体检测框,且m个人体检测框包括目标人体检测框,m为正整数;若第一目标距离为第三目标距离,且第一目标距离小于第一距离,以及第三目标距离小于第二距离,则确定目标人体检测框与第二目标轨迹预测框匹配成功,其中,第一距离根据第二目标距离和预设系数确定,第二距离根据第四目标距离和预设系数确定。
在一种示例性的实施方式中,在距离计算方面,匹配单元702,具体用于:根据人体检测框r的中心坐标、轨迹预测框s的中心坐标、第一预设超参数计算得到第一距离分量,其中,人体检测框r为m个人体检测框中的任意一个,轨迹预测框s为n个第二轨迹预测框中的任意一个;根据人体检测框r的面积、轨迹预测框s的面积、第二预设超参数计算得到第二距离分量;根据人体检测框r的宽高比、轨迹预测框s的宽高比、第三预设超参数计算得到第三距离分量;根据第一距离分量、第二距离分量、第三距离分量计算得到距离Drs;其中,若人体检测框r为目标人体检测框,Drs为目标人体检测框对应的n个距离中的任意一个;若轨迹预测框s为第二目标轨迹预测框,Drs为第二目标轨迹预测框对应的m个距离中的任意一个。
在一种示例性的实施方式中,确定单元701,还用于:若目标人体检测框与n个第一轨迹预测框中的其中一个匹配成功,则确定目标行人为前一帧图像中的历史行人;根据目标人体检测框更新目标行人的轨迹信息。
在一种示例性的实施方式中,确定单元701,还用于:若目标人体检测框与n个第二轨迹预测框均匹配不成功,则确定目标行人为视频流中首次出现的行人;根据目标人体检测框进行轨迹初始化以得到目标行人的初始轨迹。
需要说明的是,各个单元的实现还可以对应参照图3所示的方法实施例的相应描述。当然,本申请实施例提供的行人跟踪装置700包括但不限于上述单元模块,例如:该行人跟踪装置700还可以包括存储单元703,存储单元703可以用于存储该行人跟踪装置700的程序代码和数据。
在图7所描述的行人跟踪装置700中,先采用基于第一算法预测到的n个第一轨迹预测框与当前帧图像中的目标人体检测框进行匹配;若该目标人体检测框与该n个第一轨迹预测框均匹配不成功,再采用基于第二算法预测到的n个第二轨迹预测框与该目标人体检测框进行匹配;若该目标人体检测框与该n个第二轨迹预测框中的其中一个匹配成功,则确定该目标人体检测框内的目标行人为前一帧图像中的历史行人,其中,n个第一轨迹预测框和n个第二轨迹预测框是对前一帧图像中的n个人体检测框预测得到的;由于第二算法的预测精度大于第一算法的预测精度,因此可以有效减少了目标人体检测框与第一轨迹预测框匹配错误的情况,有利于提高对该目标行人跟踪的准确率。
请参见图8,图8是本申请实施例提供的又一种行人跟踪装置800的结构示意图,该行人跟踪装置应用于电子设备,该行人跟踪装置800可以包括确定单元801和计算单元802,其中,各个单元的详细描述如下:
确定单元801,用于在当前帧图像中确定第三目标轨迹预测框,其中,第三目标轨迹预测框根据前一帧图像中的历史人体检测框预测得到,前一帧图像为视频流中当前帧图像的前一帧图像;
计算单元802,用于根据当前帧图像中的目标人体检测框的中心坐标、第三目标轨迹预测框的中心坐标、第一预设超参数计算得到第一距离分量;
计算单元802,还用于根据目标人体检测框的面积、第三目标轨迹预测框的面积、第二预设超参数计算得到第二距离分量;
计算单元802,还用于根据目标人体检测框的宽高比、第三目标轨迹预测框的宽高比、第三预设超参数计算得到第三距离分量;
计算单元802,还用于根据第一距离分量、第二距离分量、第三距离分量计算得到目标人体检测框与第三目标轨迹预测框的距离;
确定单元801,还用于根据目标人体检测框与第三目标轨迹预测框的距离,确定目标人体检测框中的目标行人是否为前一帧图像中的历史行人。
需要说明的是,各个单元的实现还可以对应参照图4所示的方法实施例的相应描述。当然,本申请实施例提供的行人跟踪装置800包括但不限于上述单元模块,例如:该行人跟踪装置800还可以包括存储单元803,存储单元803可以用于存储该行人跟踪装置800的程序代码和数据。
在图8所描述的行人跟踪装置800中,先通过中心坐标、面积、宽高比这三个维度上分别进行距离计算,每个维度计算得到一个距离分量,从而得到目标人体检测框与第三目标轨迹预测框的三个距离分量;然后根据这三个距离分量计算得到目标人体检测框与第三目标轨迹预测框的距离;再根据目标人体检测框与第三目标轨迹预测框的距离来判断目标人体检测框与第三目标轨迹预测框是否匹配,进而确定目标人体检测框中的目标行人是否为前一帧图像中的历史行人;由于通过中心坐标、面积、宽高比三个维度去判断目标人体检测框与第三目标轨迹预测框是否匹配,从而有利于提高判断的准确率,也即有利于提高对该目标行人跟踪的准确率。
请参见图9,图9是本申请实施例提供的一种图像匹配装置900的结构示意图,该图像匹配装置应用于电子设备,该图像匹配装置900可以包括计算单元901、构建单元902和确定单元903,其中,各个单元的详细描述如下:
计算单元901,用于将p张第一图像中的每张第一图像与q张第二图像中的每张第二图像分别进行距离计算,得到p×q个距离,其中,第一图像为人体检测框在视频流中的当前帧图像中框定的区域图像,第二图像为轨迹预测框在当前帧图像中框定的区域图像,人体检测框为视频跟踪中的人体检测框,轨迹预测框为视频跟踪中基于当前帧图像的前一帧图像预测得到的轨迹预测框,p、q为正整数;
构建单元902,用于根据p×q个距离构建距离矩阵Dp×q,其中,距离矩阵Dp×q的元素Dij表示p张第一图像中的第i张第一图像与q张第二图像中的第j张第二图像之间的距离;
确定单元903,用于从距离矩阵Dp×q的第i行中确定出第一目标距离和第二目标距离,其中,第一目标距离为第i行中的最小距离,第二目标距离为第i行中的次小距离;
确定单元903,还用于从距离矩阵Dp×q的第j列中确定出第三目标距离和第四目标距离,其中,第三目标距离为第j列中的最小距离,第四目标距离为第j列中的次小距离;
确定单元903,还用于若第一目标距离为第三目标距离,且第一目标距离小于第一距离,以及第三目标距离小于第二距离,则确定元素Dij对应的第一图像与元素Dij对应的第二图像匹配成功,其中,第一距离根据第二目标距离和预设系数确定,第二距离根据第四目标距离和预设系数确定。
在一种示例性的实施方式中,在距离计算方面,计算单元901,具体用于:根据第一目标图像的中心坐标、第二目标图像的中心坐标、第一预设超参数计算得到第一距离分量,其中,第一目标图像为p张第一图像中的任意一张,第二目标图像为q张第二图像中的任意一张;根据第一目标图像的面积、第二目标图像的面积、第二预设超参数计算得到第二距离分量;根据第一目标图像的宽高比、第二目标图像的宽高比、第三预设超参数计算得到第三距离分量;根据第一距离分量、第二距离分量、第三距离分量计算得到元素Dij。
需要说明的是,各个单元的实现还可以对应参照图5所示的方法实施例的相应描述。当然,本申请实施例提供的图像匹配装置900包括但不限于上述单元模块,例如:该图像匹配装置900还可以包括存储单元904,存储单元904可以用于存储该图像匹配装置900的程序代码和数据。
在图9所描述的图像匹配装置900中,将p张第一图像与q张第二图像进行匹配时,先计算p张第一图像中的每张第一图像与q张第二图像中的每张第二图像的距离,得到p×q个距离,再依据这p×q个距离构建一个p×q的距离矩阵;对于距离矩阵中的任意一个元素对应的第一图像和第二图像匹配成功的条件为:该元素为其所在行和所在列均是最小的,并且该元素还小于所在行的次小距离与预设系数确定的第一距离,以及该元素还小于所在列的次小距离与预设系数确定的第二距离;因此有利于提高第一图像与第二图像匹配的准确率。
请参见图10,图10是本申请实施例提供的一种电子设备1010的结构示意图,该电子设备1010包括处理器1011、存储器1012和通信接口1013,上述处理器1011、存储器1012和通信接口1013通过总线1014相互连接。
存储器1012包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmableread only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器1012用于相关计算机程序及数据。通信接口1013用于接收和发送数据。
处理器1011可以是一个或多个中央处理器(central processing unit,CPU),在处理器1011是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
该电子设备1010中的处理器1011用于读取上述存储器1012中存储的计算机程序代码,执行图1至图5中任一所示的方法。
需要说明的是,各个操作的实现还可以对应参照图1至图5所示的方法实施例的相应描述。
本申请实施例还提供一种芯片,上述芯片包括至少一个处理器,存储器和接口电路,上述存储器、上述收发器和上述至少一个处理器通过线路互联,上述至少一个存储器中存储有计算机程序;上述计算机程序被上述处理器执行时,图1至图5中任一所示的方法流程得以实现。
本申请实施例还提供一种计算机可读存储介质,上述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,图1至图5中任一所示的方法流程得以实现。
本申请实施例还提供一种计算机程序产品,当上述计算机程序产品在计算机上运行时,图1至图5中任一所示的方法流程得以实现。
应理解,本申请实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
需要说明的是,当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时,存储器(存储模块)集成在处理器中。
应注意,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
还应理解,本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分,并不用来限制本申请的范围。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所示方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (16)
1.一种行人跟踪方法,其特征在于,包括:
在当前帧图像中确定n个第一轨迹预测框,其中,所述n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,所述n个历史人体检测框为前一帧图像中的人体检测框,所述n个第一轨迹预测框与所述n个历史人体检测框一一对应,所述前一帧图像为视频流中所述当前帧图像的前一帧图像,所述n为正整数;
将所述当前帧图像中的m个人体检测框中的每个人体检测框分别与所述n个第一轨迹预测框中的每个第一轨迹预测框进行匹配,以得到p个人体检测框和q个第一轨迹预测框,其中,所述p个人体检测框为所述m个人体检测框中未匹配成功的人体检测框,所述q个第一轨迹预测框为所述n个第一轨迹预测框中未匹配成功的第一轨迹预测框,所述m为正整数;所述p为整数,且0<p≤m;所述q为整数,且0<q≤n;
在所述当前帧图像中确定q个第二轨迹预测框,其中,所述q个第二轨迹预测框根据q个历史人体检测框采用第二算法预测得到,所述q个历史人体检测框为与所述q个第一轨迹预测框对应的历史人体检测框,所述q个第二轨迹预测框与所述q个历史人体检测框一一对应,所述第二算法的预测精度大于所述第一算法的预测精度;
将所述p个人体检测框中的每个人体检测框分别与所述q个第二轨迹预测框中的每个第二轨迹预测框进行匹配,以确定所述p个人体检测框中的每个人体检测框内的行人是否为所述前一帧图像中的历史行人。
2.根据权利要求1所述的方法,其特征在于,所述将所述p个人体检测框中的每个人体检测框分别与所述q个第二轨迹预测框中的每个第二轨迹预测框进行匹配,以确定所述p个人体检测框中的每个人体检测框内的行人是否为所述前一帧图像中的历史行人,包括:
将p个人体检测框中的每个人体检测框与所述q个第二轨迹预测框中的每个第二轨迹预测框分别进行距离计算,得到p×q个距离;
根据所述p×q个距离构建距离矩阵Dp×q,其中,所述距离矩阵Dp×q的元素Dij表示所述p个人体检测框中的第i个人体检测框与所述q个第二轨迹预测框中的第j个第二轨迹预测框之间的距离;
针对每个元素Dij,执行以下步骤,以确定所述p个人体检测框中的每个人体检测框内的行人是否为所述前一帧图像中的历史行人:
从所述距离矩阵Dp×q的第i行中确定出第一目标距离和第二目标距离,其中,所述第一目标距离为所述第i行中的最小距离,所述第二目标距离为所述第i行中的次小距离;
从所述距离矩阵Dp×q的第j列中确定出第三目标距离和第四目标距离,其中,所述第三目标距离为所述第j列中的最小距离,所述第四目标距离为所述第j列中的次小距离;
若所述第一目标距离为所述第三目标距离,且所述第一目标距离小于第一距离,以及所述第三目标距离小于第二距离,则确定所述元素Dij对应的人体检测框内的行人为所述元素Dij对应的历史人体检测框中的历史行人,其中,所述第一距离根据所述第二目标距离和预设系数确定,所述第二距离根据所述第四目标距离和所述预设系数确定。
3.根据权利要求2所述的方法,其特征在于,所述距离计算,包括:
根据人体检测框i的中心坐标、轨迹预测框j的中心坐标、第一预设超参数计算得到第一距离分量,其中,所述人体检测框i为所述p个人体检测框中的任意一个,所述轨迹预测框j为所述q个第二轨迹预测框中的任意一个;
根据所述人体检测框i的面积、所述轨迹预测框j的面积、第二预设超参数计算得到第二距离分量;
根据所述人体检测框i的宽高比、所述轨迹预测框j的宽高比、第三预设超参数计算得到第三距离分量;
根据所述第一距离分量、所述第二距离分量、所述第三距离分量计算得到所述元素Dij。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
从第一目标轨迹预测框在所述当前帧图像中框定的区域图像中提取人体特征,得到第一目标人体特征,其中,所述第一目标轨迹预测框为所述q个第二轨迹预测框中未匹配成功的第二轨迹预测框中的任意一个;
从所述第一目标轨迹预测框对应的历史人体检测框中提取人体特征,得到第二目标人体特征;
计算所述第一目标人体特征与所述第二目标人体特征的相似度;
若所述相似度大于预设相似度阈值,则确定所述第一目标轨迹预测框内的行人为所述前一帧图像中的历史行人;
若所述相似度不大于所述预设相似度阈值,则确定所述第一目标轨迹预测框对应的历史人体检测框中的历史行人的轨迹断掉。
5.一种行人跟踪方法,其特征在于,包括:
在当前帧图像中确定n个第一轨迹预测框,其中,所述n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,所述n个历史人体检测框为前一帧图像中的人体检测框,所述n个第一轨迹预测框与所述n个历史人体检测框一一对应,所述前一帧图像为视频流中所述当前帧图像的前一帧图像,所述n为正整数;
将所述当前帧图像中的目标人体检测框与所述n个第一轨迹预测框分别进行匹配;
若所述目标人体检测框与所述n个第一轨迹预测框均匹配不成功,则在所述当前帧图像中确定n个第二轨迹预测框,其中,所述n个第二轨迹预测框根据所述n个历史人体检测框采用第二算法预测得到,所述n个第二轨迹预测框与所述n个历史人体检测框一一对应,所述第二算法的预测精度大于所述第一算法的预测精度;
将所述目标人体检测框与所述n个第二轨迹预测框分别进行匹配;
若所述目标人体检测框与所述n个第二轨迹预测框中的其中一个匹配成功,则确定所述目标人体检测框内的目标行人为所述前一帧图像中的历史行人。
6.根据权利要求5所述的方法,其特征在于,所述将所述目标人体检测框与所述n个第二轨迹预测框分别进行匹配,包括:
根据所述目标人体检测框与所述n个第二轨迹预测框分别进行距离计算,得到所述目标人体检测框对应的n个距离;
从所述目标人体检测框对应的n个距离中确定出第一目标距离和第二目标距离,其中,所述第一目标距离为所述目标人体检测框对应的n个距离中的最小距离,所述第二目标距离为所述目标人体检测框对应的n个距离中的次小距离;
从第二目标轨迹预测框对应的m个距离中确定出第三目标距离和第四目标距离,其中,所述第二目标轨迹预测框为与所述第一目标距离对应的第二轨迹预测框,所述第三目标距离为所述第二目标轨迹预测框对应的m个距离中的最小距离,所述第四目标距离为所述第二目标轨迹预测框对应的m个距离中的次小距离,所述第二目标轨迹预测框对应的m个距离由所述第二目标轨迹预测框与m个人体检测框分别进行所述距离计算得到,所述m个人体检测框为所述当前帧图像中的人体检测框,且所述m个人体检测框包括所述目标人体检测框,所述m为正整数;
若所述第一目标距离为所述第三目标距离,且所述第一目标距离小于第一距离,以及所述第三目标距离小于第二距离,则确定所述目标人体检测框与所述第二目标轨迹预测框匹配成功,其中,所述第一距离根据所述第二目标距离和预设系数确定,所述第二距离根据所述第四目标距离和所述预设系数确定。
7.根据权利要求6所述的方法,其特征在于,所述距离计算,包括:
根据人体检测框r的中心坐标、轨迹预测框s的中心坐标、第一预设超参数计算得到第一距离分量,其中,所述人体检测框r为所述m个人体检测框中的任意一个,所述轨迹预测框s为所述n个第二轨迹预测框中的任意一个;
根据所述人体检测框r的面积、所述轨迹预测框s的面积、第二预设超参数计算得到第二距离分量;
根据所述人体检测框r的宽高比、所述轨迹预测框s的宽高比、第三预设超参数计算得到第三距离分量;
根据所述第一距离分量、所述第二距离分量、所述第三距离分量计算得到距离Drs;
其中,若所述人体检测框r为所述目标人体检测框,所述Drs为所述目标人体检测框对应的n个距离中的任意一个;若所述轨迹预测框s为所述第二目标轨迹预测框,所述Drs为所述第二目标轨迹预测框对应的m个距离中的任意一个。
8.一种行人跟踪方法,其特征在于,包括:
在当前帧图像中确定第三目标轨迹预测框,其中,所述第三目标轨迹预测框根据前一帧图像中的历史人体检测框预测得到,所述前一帧图像为视频流中所述当前帧图像的前一帧图像;
根据所述当前帧图像中的目标人体检测框的中心坐标、所述第三目标轨迹预测框的中心坐标、第一预设超参数计算得到第一距离分量;
根据所述目标人体检测框的面积、所述第三目标轨迹预测框的面积、第二预设超参数计算得到第二距离分量;
根据所述目标人体检测框的宽高比、所述第三目标轨迹预测框的宽高比、第三预设超参数计算得到第三距离分量;
根据所述第一距离分量、所述第二距离分量、所述第三距离分量计算得到所述目标人体检测框与所述第三目标轨迹预测框的距离;
根据所述目标人体检测框与所述第三目标轨迹预测框的距离,确定所述目标人体检测框内的目标行人是否为所述前一帧图像中的历史行人。
9.一种图像匹配方法,其特征在于,包括:
将p张第一图像中的每张第一图像与q张第二图像中的每张第二图像分别进行距离计算,得到p×q个距离,其中,所述第一图像为人体检测框在视频流中的当前帧图像中框定的区域图像,所述第二图像为轨迹预测框在所述当前帧图像中框定的区域图像,所述人体检测框为视频跟踪中的人体检测框,所述轨迹预测框为所述视频跟踪中基于所述当前帧图像的前一帧图像预测得到的轨迹预测框,所述p、所述q为正整数;
根据所述p×q个距离构建距离矩阵Dp×q,其中,所述距离矩阵Dp×q的元素Dij表示所述p张第一图像中的第i张第一图像与所述q张第二图像中的第j张第二图像之间的距离;
从所述距离矩阵Dp×q的第i行中确定出第一目标距离和第二目标距离,其中,所述第一目标距离为所述第i行中的最小距离,所述第二目标距离为所述第i行中的次小距离;
从所述距离矩阵Dp×q的第j列中确定出第三目标距离和第四目标距离,其中,所述第三目标距离为所述第j列中的最小距离,所述第四目标距离为所述第j列中的次小距离;
若所述第一目标距离为所述第三目标距离,且所述第一目标距离小于第一距离,以及所述第三目标距离小于第二距离,则确定所述元素Dij对应的第一图像与所述元素Dij对应的第二图像匹配成功,其中,所述第一距离根据所述第二目标距离和预设系数确定,所述第二距离根据所述第四目标距离和所述预设系数确定。
10.根据权利要求9所述的方法,其特征在于,所述距离计算,包括:
根据第一目标图像的中心坐标、第二目标图像的中心坐标、第一预设超参数计算得到第一距离分量,其中,所述第一目标图像为所述p张第一图像中的任意一张,所述第二目标图像为所述q张第二图像中的任意一张;
根据所述第一目标图像的面积、所述第二目标图像的面积、第二预设超参数计算得到第二距离分量;
根据所述第一目标图像的宽高比、所述第二目标图像的宽高比、第三预设超参数计算得到第三距离分量;
根据所述第一距离分量、所述第二距离分量、所述第三距离分量计算得到所述元素Dij。
11.一种行人跟踪装置,其特征在于,包括:
确定单元,用于在当前帧图像中确定n个第一轨迹预测框,其中,所述n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,所述n个历史人体检测框为前一帧图像中的人体检测框,所述n个第一轨迹预测框与所述n个历史人体检测框一一对应,所述前一帧图像为视频流中所述当前帧图像的前一帧图像,所述n为正整数;
匹配单元,用于将所述当前帧图像中的m个人体检测框中的每个人体检测框分别与所述n个第一轨迹预测框中的每个第一轨迹预测框进行匹配,以得到p个人体检测框和q个第一轨迹预测框,其中,所述p个人体检测框为所述m个人体检测框中未匹配成功的人体检测框,所述q个第一轨迹预测框为所述n个第一轨迹预测框中未匹配成功的第一轨迹预测框,所述m为正整数;所述p为整数,且0<p≤m;所述q为整数,且0<q≤n;
所述确定单元,还用于在所述当前帧图像中确定q个第二轨迹预测框,其中,所述q个第二轨迹预测框根据q个历史人体检测框采用第二算法预测得到,所述q个历史人体检测框为与所述q个第一轨迹预测框对应的历史人体检测框,所述q个第二轨迹预测框与所述q个历史人体检测框一一对应,所述第二算法的预测精度大于所述第一算法的预测精度;
所述匹配单元,还用于将所述p个人体检测框中的每个人体检测框分别与所述q个第二轨迹预测框中的每个第二轨迹预测框进行匹配,以确定所述p个人体检测框中的每个人体检测框内的行人是否为所述前一帧图像中的历史行人。
12.一种行人跟踪装置,其特征在于,包括:
确定单元,用于在当前帧图像中确定n个第一轨迹预测框,其中,所述n个第一轨迹预测框根据n个历史人体检测框采用第一算法预测得到,所述n个历史人体检测框为前一帧图像中的人体检测框,所述n个第一轨迹预测框与所述n个历史人体检测框一一对应,所述前一帧图像为视频流中所述当前帧图像的前一帧图像,所述n为正整数;
匹配单元,用于将所述当前帧图像中的目标人体检测框与所述n个第一轨迹预测框分别进行匹配;
所述确定单元,还用于若所述目标人体检测框与所述n个第一轨迹预测框均匹配不成功,则在所述当前帧图像中确定n个第二轨迹预测框,其中,所述n个第二轨迹预测框根据所述n个历史人体检测框采用第二算法预测得到,所述n个第二轨迹预测框与所述n个历史人体检测框一一对应,所述第二算法的预测精度大于所述第一算法的预测精度;
所述匹配单元,还用于将所述目标人体检测框与所述n个第二轨迹预测框分别进行匹配;
所述确定单元,还用于若所述目标人体检测框与所述n个第二轨迹预测框中的其中一个匹配成功,则确定所述目标人体检测框内的目标行人为所述前一帧图像中的历史行人。
13.一种行人跟踪装置,其特征在于,包括:
确定单元,用于在当前帧图像中确定第三目标轨迹预测框,其中,所述第三目标轨迹预测框根据前一帧图像中的历史人体检测框预测得到,所述前一帧图像为视频流中所述当前帧图像的前一帧图像;
计算单元,用于根据所述当前帧图像中的目标人体检测框的中心坐标、所述第三目标轨迹预测框的中心坐标、第一预设超参数计算得到第一距离分量;
所述计算单元,还用于根据所述目标人体检测框的面积、所述第三目标轨迹预测框的面积、第二预设超参数计算得到第二距离分量;
所述计算单元,还用于根据所述目标人体检测框的宽高比、所述第三目标轨迹预测框的宽高比、第三预设超参数计算得到第三距离分量;
所述计算单元,还用于根据所述第一距离分量、所述第二距离分量、所述第三距离分量计算得到所述目标人体检测框与所述第三目标轨迹预测框的距离;
所述确定单元,还用于根据所述目标人体检测框与所述第三目标轨迹预测框的距离,确定所述目标人体检测框内的目标行人是否为所述前一帧图像中的历史行人。
14.一种图像匹配装置,其特征在于,包括:
计算单元,用于将p张第一图像中的每张第一图像与q张第二图像中的每张第二图像分别进行距离计算,得到p×q个距离,其中,所述第一图像为人体检测框在视频流中的当前帧图像中框定的区域图像,所述第二图像为轨迹预测框在所述当前帧图像中框定的区域图像,所述人体检测框为视频跟踪中的人体检测框,所述轨迹预测框为所述视频跟踪中基于所述当前帧图像的前一帧图像预测得到的轨迹预测框,所述p、所述q为正整数;
构建单元,用于根据所述p×q个距离构建距离矩阵Dp×q,其中,所述距离矩阵Dp×q的元素Dij表示所述p张第一图像中的第i张第一图像与所述q张第二图像中的第j张第二图像之间的距离;
确定单元,用于从所述距离矩阵Dp×q的第i行中确定出第一目标距离和第二目标距离,其中,所述第一目标距离为所述第i行中的最小距离,所述第二目标距离为所述第i行中的次小距离;
所述确定单元,还用于从所述距离矩阵Dp×q的第j列中确定出第三目标距离和第四目标距离,其中,所述第三目标距离为所述第j列中的最小距离,所述第四目标距离为所述第j列中的次小距离;
所述确定单元,还用于若所述第一目标距离为所述第三目标距离,且所述第一目标距离小于第一距离,以及所述第三目标距离小于第二距离,则确定所述元素Dij对应的第一图像与所述元素Dij对应的第二图像匹配成功,其中,所述第一距离根据所述第二目标距离和预设系数确定,所述第二距离根据所述第四目标距离和所述预设系数确定。
15.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-4或5-7或8或9或10中任一项所述的方法中的步骤的指令。
16.一种计算机可读存储介质,其特征在于,其存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-4或5-7或8或9或10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011522874.5A CN112528925B (zh) | 2020-12-21 | 2020-12-21 | 行人跟踪、图像匹配方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011522874.5A CN112528925B (zh) | 2020-12-21 | 2020-12-21 | 行人跟踪、图像匹配方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112528925A true CN112528925A (zh) | 2021-03-19 |
CN112528925B CN112528925B (zh) | 2024-05-07 |
Family
ID=75002123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011522874.5A Active CN112528925B (zh) | 2020-12-21 | 2020-12-21 | 行人跟踪、图像匹配方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112528925B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117953015A (zh) * | 2024-03-26 | 2024-04-30 | 武汉工程大学 | 基于视频超分辨率多行人跟踪方法、系统、设备及介质 |
WO2024179141A1 (zh) * | 2023-02-28 | 2024-09-06 | 安徽蔚来智驾科技有限公司 | 目标跟踪方法、电子设备、存储介质及车辆 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060177097A1 (en) * | 2002-06-14 | 2006-08-10 | Kikuo Fujimura | Pedestrian detection and tracking with night vision |
US20180046865A1 (en) * | 2016-08-15 | 2018-02-15 | Qualcomm Incorporated | Multi-to-multi tracking in video analytics |
WO2018099032A1 (zh) * | 2016-11-29 | 2018-06-07 | 深圳云天励飞技术有限公司 | 一种目标跟踪方法及装置 |
CN109859239A (zh) * | 2019-05-05 | 2019-06-07 | 深兰人工智能芯片研究院(江苏)有限公司 | 一种目标追踪的方法及设备 |
CN111126152A (zh) * | 2019-11-25 | 2020-05-08 | 国网信通亿力科技有限责任公司 | 一种基于视频的多目标行人检测与跟踪的方法 |
CN111179311A (zh) * | 2019-12-23 | 2020-05-19 | 全球能源互联网研究院有限公司 | 多目标跟踪方法、装置及电子设备 |
CN111325279A (zh) * | 2020-02-26 | 2020-06-23 | 福州大学 | 一种融合视觉关系的行人与随身敏感物品跟踪方法 |
CN111340855A (zh) * | 2020-03-06 | 2020-06-26 | 电子科技大学 | 一种基于轨迹预测的道路移动目标检测方法 |
CN111784746A (zh) * | 2020-08-10 | 2020-10-16 | 上海高重信息科技有限公司 | 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机系统 |
CN111798483A (zh) * | 2020-06-28 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种抗遮挡行人跟踪的方法、装置及存储介质 |
CN111882586A (zh) * | 2020-06-23 | 2020-11-03 | 浙江工商大学 | 一种面向剧场环境的多演员目标跟踪方法 |
CN111986228A (zh) * | 2020-09-02 | 2020-11-24 | 华侨大学 | 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质 |
-
2020
- 2020-12-21 CN CN202011522874.5A patent/CN112528925B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060177097A1 (en) * | 2002-06-14 | 2006-08-10 | Kikuo Fujimura | Pedestrian detection and tracking with night vision |
US20180046865A1 (en) * | 2016-08-15 | 2018-02-15 | Qualcomm Incorporated | Multi-to-multi tracking in video analytics |
WO2018099032A1 (zh) * | 2016-11-29 | 2018-06-07 | 深圳云天励飞技术有限公司 | 一种目标跟踪方法及装置 |
CN109859239A (zh) * | 2019-05-05 | 2019-06-07 | 深兰人工智能芯片研究院(江苏)有限公司 | 一种目标追踪的方法及设备 |
CN111126152A (zh) * | 2019-11-25 | 2020-05-08 | 国网信通亿力科技有限责任公司 | 一种基于视频的多目标行人检测与跟踪的方法 |
CN111179311A (zh) * | 2019-12-23 | 2020-05-19 | 全球能源互联网研究院有限公司 | 多目标跟踪方法、装置及电子设备 |
CN111325279A (zh) * | 2020-02-26 | 2020-06-23 | 福州大学 | 一种融合视觉关系的行人与随身敏感物品跟踪方法 |
CN111340855A (zh) * | 2020-03-06 | 2020-06-26 | 电子科技大学 | 一种基于轨迹预测的道路移动目标检测方法 |
CN111882586A (zh) * | 2020-06-23 | 2020-11-03 | 浙江工商大学 | 一种面向剧场环境的多演员目标跟踪方法 |
CN111798483A (zh) * | 2020-06-28 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种抗遮挡行人跟踪的方法、装置及存储介质 |
CN111784746A (zh) * | 2020-08-10 | 2020-10-16 | 上海高重信息科技有限公司 | 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机系统 |
CN111986228A (zh) * | 2020-09-02 | 2020-11-24 | 华侨大学 | 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质 |
Non-Patent Citations (3)
Title |
---|
王军群;李华鹏;: "基于深度学习算法的车辆违法行为智能分析", 上海船舶运输科学研究所学报, no. 04 * |
闵召阳;赵文杰;: "基于深度学习的目标抗干扰跟踪算法", 红外技术, no. 02 * |
陈冲;白硕;黄丽达;王晓萌;刘春慧;: "基于视频分析的人群密集场所客流监控预警研究", 中国安全生产科学技术, no. 04 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024179141A1 (zh) * | 2023-02-28 | 2024-09-06 | 安徽蔚来智驾科技有限公司 | 目标跟踪方法、电子设备、存储介质及车辆 |
CN117953015A (zh) * | 2024-03-26 | 2024-04-30 | 武汉工程大学 | 基于视频超分辨率多行人跟踪方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112528925B (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109635657B (zh) | 目标跟踪方法、装置、设备及存储介质 | |
CN109035299B (zh) | 目标跟踪方法、装置、计算机设备及存储介质 | |
US10277831B2 (en) | Position identifying apparatus and method, path identifying apparatus, and non-transitory computer readable medium | |
CN111145214A (zh) | 目标跟踪方法、装置、终端设备及介质 | |
CN110782483A (zh) | 基于分布式相机网络的多视图多目标跟踪方法及系统 | |
CN111104925B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
US10007678B2 (en) | Image processing apparatus, image processing method, and recording medium | |
CN112528925A (zh) | 行人跟踪、图像匹配方法及相关设备 | |
CN112365523A (zh) | 基于无锚点孪生网络关键点检测的目标跟踪方法及装置 | |
WO2021031704A1 (zh) | 对象追踪方法、装置、计算机设备和存储介质 | |
CN112733767B (zh) | 一种人体关键点检测方法、装置、存储介质及终端设备 | |
KR20220004009A (ko) | 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체 | |
CN110766088A (zh) | 同行车辆分析方法、装置、及存储装置 | |
JP2023553652A (ja) | 目標追跡方法、コンピュータ読み取り可能な記憶媒体及びコンピュータデバイス | |
CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
JP7438702B2 (ja) | 類似領域検出装置、類似領域検出方法およびプログラム | |
CN114170558B (zh) | 用于视频处理的方法、系统、设备、介质和产品 | |
CN110298302B (zh) | 一种人体目标检测方法及相关设备 | |
CN113256683B (zh) | 目标跟踪方法及相关设备 | |
CN112560856B (zh) | 车牌检测识别方法、装置、设备及存储介质 | |
CN116580063B (zh) | 目标追踪方法、装置、电子设备及存储介质 | |
JP2023169875A (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
CN111275741B (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
CN113420699A (zh) | 一种人脸匹配方法、装置及电子设备 | |
CN111368624A (zh) | 基于生成对抗网络的回环检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |