CN116824490A - 一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法 - Google Patents
一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法 Download PDFInfo
- Publication number
- CN116824490A CN116824490A CN202310714596.0A CN202310714596A CN116824490A CN 116824490 A CN116824490 A CN 116824490A CN 202310714596 A CN202310714596 A CN 202310714596A CN 116824490 A CN116824490 A CN 116824490A
- Authority
- CN
- China
- Prior art keywords
- camera
- target
- image
- network
- network topology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012544 monitoring process Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 16
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法,包括以下步骤:S1、采集相关场景数据,根据相关场景数据中的目标图像构建训练集,训练一个目标匹配网络,得到目标匹配模型;S2、将待匹配目标图像输入目标匹配模型,得到初步的目标匹配图像序列;S3、通过基于摄像机网络拓扑的特征距离度量公式对初步的目标匹配图像序列进行重排序,得到目标匹配结果。本发明利用摄像机网络拓扑的信息,对训练得到的目标匹配模型输出的初步的目标匹配图像序列进行重排序,提高了匹配的准确度,进而兼顾了目标匹配方法在复杂情况下的性能和效率。
Description
技术领域
本发明属于图像目标匹配领域,具体涉及一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法。
背景技术
摄像机监控网络下的目标匹配通常是指在大型场地下,对场地的各个部分进行监控,例如机场航站楼、商场、校园等。这些场景中的监控网络的摄像机通常数量众多且分散,在这种情况下,摄像机的视域一般是不重叠的;同时不同摄像机对应的拍摄场景通常也不相同,对于不同场景下的人或物,有时出于某些目的,需要对其中出现的特定目标进行稳定的跟踪或全流程的监控,这就要求对出现在不同摄像机视域中的目标进行匹配;这类问题通常是被归结为摄像机网络中获得的多个视图自动识别和辨认同一目标的工作。
不同场景下的目标匹配一方面有利于进行全场地的目标跟踪,挖掘目标的移动轨迹;另一方面,也有助于挖掘其在不同场景下的行为信息,例如根据目标匹配对应场景的时间顺序,判断目标的行为等,即目标与其出现在摄像机下的场景的联系。但在大型场地中,目标匹配面临着诸多问题:摄像机数量多,目标及其他物体数量众多,不同目标之间、目标与其他物体之间存在相互遮挡,目标的姿态和外观可能的变化,摄像机的视角光照可能发生变化等;因而目标匹配面临着很大的时空模糊性和较高的复杂性,同时多摄像机视野的不重叠也带来了更大的挑战。
传统的目标匹配方法大多基于目标的外观,即通过提取图像中目标的外观特征来进行匹配,但在复杂情况下为了提取有效特征,需要对图像进行复杂处理,这种方法虽然提升了准确率,但时间代价过大,同时在摄像机网络中,目标通常会出现在多个摄像头中,即同一目标有多张图像,这加大了目标匹配的时间成本。所以可以考虑加入其他信息例如摄像机网络的拓扑信息,来提高匹配效率和准确率。
发明内容
针对现有技术中的上述不足,本发明提供的一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法解决了现有目标匹配方法在复杂情况下效率和性能不能同时兼顾的问题。
为了达到上述发明目的,本发明采用的技术方案为:一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法,包括以下步骤:
S1、采集相关场景数据,根据相关场景数据中的目标图像构建训练集,训练一个目标匹配网络,得到目标匹配模型;
S2、将待匹配目标图像输入目标匹配模型,得到初步的目标匹配图像序列;
S3、通过基于摄像机网络拓扑的特征距离度量公式对初步的目标匹配图像序列进行重排序,得到目标匹配结果。
进一步地:所述S1包括以下分步骤:
S11、采集相关场景数据,选择相关场景数据中的目标图像,并使用随机擦除方法对目标图像进行随机擦除,得到训练集;
S12、获取目标匹配网络,通过训练集对其进行训练,得到目标匹配模型。
进一步地:所述S11中,随机擦除方法具体为:
SA1、预设随机擦除概率参数,根据随机擦除概率参数在目标图像中选择需要进行随机擦除的图片,得到被选中的图片;
SA2、选择被选中的图片中的矩形区域,得到选中的矩形区域,对选中的矩形区域的像素值进行填充,完成对目标图像进行随机擦除。
进一步地:所述SA2中,得到选中的矩形区域的方法具体为:
在被选中的图片中选择一个点P,当点P的坐标(xe,ye)满足下式时,则将点P构建的区域Ie=(xe,ye,xe+We,ye+He)作为选中的矩形区域;
xe+We≤W
ye+He≤H
式中,W为被选中的图片的长,H为被选中的图片的宽,We为选中的矩形区域的长,He为选中的矩形区域的宽;
所述SA2中,对选中的矩形区域的像素值进行填充的方法具体为:
通过填充像素值对选中的矩形区域中各个像素点的值进行填充,所述填充像素值的表达式具体为:
式中,pv为选中的矩形区域中各个像素点的值,c为图片像素的通道数,np为选中的矩形区域的像素点总数。
进一步地:所述S12具体为:
获取目标匹配网络,通过训练集对其进行训练,并加入摄像机网络拓扑信息来进行性能补偿,得到目标匹配模型。
进一步地:所述S2具体为:
将待匹配目标图像与若干检索图像输入目标匹配模型,得到待匹配目标图像与每张检索图像的特征距离,并根据待匹配目标图像与每张检索图像的特征距离对所有检索图像进行升序排序,得到初步的目标匹配图像序列;
其中,检索图像通过检索数据库对待匹配目标图像进行检索得到。
进一步地:所述S2中,所述待匹配目标图像p与第i张检索图像gi的特征距离dm(p,gi)的表达式具体为:
式中,xp为目标匹配模型对待匹配目标图像进行提取得到的特征向量,xgi为目标匹配模型对第i张检索图像进行提取得到的特征向量,i=1,2…N,N为检索图像的总数,M为半正定矩阵,为转置操作。
进一步地:所述S3包括以下分步骤:
S31、获取摄像机网络分布信息,根据摄像机网络分布信息对其中的摄像机进行标号,并根据标号摄像机之间的距离对每个标号摄像机进行排列,得到每个标号摄像机对应的摄像机距离序列,根据所有标号摄像机对应的摄像机距离序列得到摄像机的距离序列集合;
S32、基于摄像机的距离序列集合,根据每个标号摄像机对应的摄像机距离序列得到每个标号摄像机对应的摄像机的网络拓扑权重,根据所有摄像机的网络拓扑权重得到网络拓扑权重集合;
S33、将网络拓扑权重集合加入基于K相互近邻的重排序算法,得到基于摄像机网络拓扑的特征距离度量公式;
S34、根据基于摄像机网络拓扑的特征距离度量公式对初步的目标匹配图像序列进行重排序,得到目标匹配结果。
进一步地:所述S33中,基于摄像机网络拓扑的特征距离度量公式具体为下式:
式中,pcam为摄像机cam采集到的需要进行重识别的目标的图像,cam为待匹配目标图像p所在的摄像机标号,tcam,c为摄像机c相对于摄像机cam的网络拓扑权重值,且c=1,2…Nc,Nc为摄像机的总数,为对摄像机标号进行求和,j为摄像机标号,a为拓扑参数,gi,c为检索数据库的图片数据集,dJ(p,gi,c)为改进的杰卡德距离,dm(p,gi)为待匹配目标图像p与第i张检索图像gi的特征距离,i=1,2…N,N为检索图像的总数。
进一步地:所述改进的杰卡德距离dJ(p,gi,c)的表达式具体为:
式中,为待匹配目标图像p与检索图像库中的图像gj的改造后的K个相互近邻图片集合数值化后的值,其范围在[0,1]之间;/>为检索图像gi与检索图像库其他图片以及待匹配目标图像p中的图像gj的改造的K个相互近邻图片集合数值化后的值,其范围在[0,1]之间。
本发明的有益效果为:
(1)本发明提供的一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法训练一个现有的目标匹配模型,该模型可以不采用最先进的,性能最好,规模庞大的模型,可以采用性能良好的小模型,进而降低应用时的成本,部署也更为方便快捷。
(2)本发明通过利用摄像机网络拓扑的信息,对训练得到的目标匹配模型输出的初步的目标匹配图像序列进行重排序,提高了匹配的准确度,进而兼顾了目标匹配方法在复杂情况下的性能和效率。
(3)本发明基于摄像机网络拓扑的特征距离度量公式的重排序在提高单个匹配结果准确度的同时,提供了准确的多个匹配结果,有利于目标移动轨迹的挖掘。
附图说明
图1为本发明的一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法流程图。
图2为本发明随机擦除方法示意图。
图3为本发明基于摄像机网络拓扑的重排序示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,在本发明的一个实施例中,一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法,包括以下步骤:
S1、采集相关场景数据,根据相关场景数据中的目标图像构建训练集,训练一个目标匹配网络,得到目标匹配模型;
S2、将待匹配目标图像输入目标匹配模型,得到初步的目标匹配图像序列;
S3、通过基于摄像机网络拓扑的特征距离度量公式对初步的目标匹配图像序列进行重排序,得到目标匹配结果。
所述S1包括以下分步骤:
S11、采集相关场景数据,选择相关场景数据中的目标图像,并使用随机擦除方法对目标图像进行随机擦除,得到训练集;
S12、获取目标匹配网络,通过训练集对其进行训练,得到目标匹配模型。
如图2所示,在本实施例中,根据应用场景收集对应的目标匹配数据集或收集相关图片并通过目标检测算法提取出目标图像,然后通过随机擦除方法对目标图像进行随机擦除。
所述S11中,随机擦除方法具体为:
SA1、预设随机擦除概率参数pe,根据随机擦除概率参数在目标图像中选择需要进行随机擦除的图片,得到被选中的图片;
SA2、选择被选中的图片中的矩形区域,得到选中的矩形区域,对选中的矩形区域的像素值进行填充,完成对目标图像进行随机擦除。
在本实施例中,预设随机擦除概率参数pe,即对于一张图片,其进行随机擦除的概率为pe,保持原样的概率为1-pe
所述SA2中,得到选中的矩形区域的方法具体为:
在被选中的图片中选择一个点P,当点P的坐标(xe,ye)满足下式时,则将点P构建的区域Ie=(xe,ye,xe+We,ye+He)作为选中的矩形区域;
xe+We≤W
ye+He≤H
式中,W为被选中的图片的长,H为被选中的图片的宽,We为选中的矩形区域的长,He为选中的矩形区域的宽;
在本实施例中,随机擦除将擦除的区域Ie的长宽比He/We初始化为范围在(r1,r2)之间的值,且We、He和r1、r2是根据目标图像大小W、H预先设置的参数值,在具体进行训练中可随时进行调整。
所述SA2中,对选中的矩形区域的像素值进行填充的方法具体为:
通过填充像素值对选中的矩形区域中各个像素点的值进行填充,所述填充像素值的表达式具体为:
式中,pv为选中的矩形区域中各个像素点的值,c为图片像素的通道数,np为选中的矩形区域的像素点总数。表示对所有像素点的所有通道像素值进行求和,最后除以通道数与像素点总数之积得到图像的像素平均值。
所述S12具体为:
获取目标匹配网络,通过训练集对其进行训练,并加入摄像机网络拓扑信息来进行性能补偿,得到目标匹配模型。
在本实施例中,获取的目标匹配网络为现有网络,可以采用性能较为良好、网络规模较小的目标匹配网络,通过加入摄像机网络拓扑的信息来进行性能补偿;即引入摄像机网络拓扑的信息可以降低对目标匹配网络的性能要求并且实现目标匹配能力的快速部署以及成本的降低。
所述S2具体为:
将待匹配目标图像与若干检索图像输入目标匹配模型,得到待匹配目标图像与每张检索图像的特征距离,并根据待匹配目标图像与每张检索图像的特征距离对所有检索图像进行升序排序,得到初步的目标匹配图像序列;
其中,检索图像通过检索数据库对待匹配目标图像进行检索得到。
所述S2中,所述待匹配目标图像p与第i张检索图像gi的特征距离dm(p,gi)的表达式具体为:
式中,xp为目标匹配模型对待匹配目标图像进行提取得到的特征向量,xgi为目标匹配模型对第i张检索图像进行提取得到的特征向量,i=1,2…N,N为检索图像的总数,M为半正定矩阵,为转置操作。
在本实施例中,检索数据库检索的含有N张检索图像的参考图像数据集为G={gi|=1,2…N},待匹配目标图像p与第i张检索图像gi的特征距离dm(p,gi)的大小用于判断待匹配目标图像与检索图像是否匹配。
所述S3包括以下分步骤:
S31、获取摄像机网络分布信息,根据摄像机网络分布信息对其中的摄像机进行标号,并根据标号摄像机之间的距离对每个标号摄像机进行排列,得到每个标号摄像机对应的摄像机距离序列,根据所有标号摄像机对应的摄像机距离序列得到摄像机的距离序列集合;
在本实施例中,用pcam表示摄像机cam采集到的需要进行重识别的目标的图像,gi,c表示检索数据库里的图片数据集G′={gi,c|i=1,2…N,c=1,2…Nc}中的属于摄像机c的第i张检索图像,N为检索图像的总数,Nc为摄像机的总数。当采集待匹配目标图像的摄像机标号为j,则根据其他摄像机与摄像机j的距离长短对摄像机标号进行排列,得到摄像机j对应的摄像机距离序列其中距离越近排序越靠前,因为不排除当前摄像机有目标的多个图像,所以c1=即将当前摄像机标号排序在第一位,对于摄像机网络中的每一个标号摄像机都可以得到与其他摄像机的距离序列,由此得到摄像机的距离序列集合
S32、基于摄像机的距离序列集合,根据每个标号摄像机对应的摄像机距离序列得到每个标号摄像机对应的摄像机的网络拓扑权重,根据所有摄像机的网络拓扑权重得到网络拓扑权重集合;
在本实施例中,基于摄像机k对应的摄像机距离序列得到其他摄像机相对于摄像机k有一个摄像机网络拓扑权重tk=[1,2,…,Nc],即摄像机k对摄像机k的权重为1,摄像机c2对摄像机k的权重为2,摄像机/>对摄像机k的权重为Nc,由此得到摄像机网络中的每个标号摄像机对应的摄像机的网络拓扑权重,可以得到网络拓扑权重集合/>
S33、将网络拓扑权重集合加入基于K相互近邻的重排序算法,得到基于摄像机网络拓扑的特征距离度量公式;
S34、根据基于摄像机网络拓扑的特征距离度量公式对初步的目标匹配图像序列进行重排序,得到目标匹配结果
所述S33中,基于摄像机网络拓扑的特征距离度量公式具体为下式:
式中,cam为待匹配目标图像p所在的摄像机标号,tcam,c为摄像机c相对于摄像机cam的网络拓扑权重值,且c=1,2…Nc,Nc为摄像机的总数,为对摄像机标号进行求和,j为摄像机标号,a为拓扑参数,gi,c为检索数据库的图片数据集,dJ(p,gi,c)为改进的杰卡德距离,dm(p,gi)为待匹配目标图像p与第i张检索图像gi的特征距离,i=1,2…N,N为检索图像的总数。
在本实施例中,得到改进的杰卡德距离的方法为:
通过K最近邻算法对杰卡德距离进行改造,得到改进的杰卡德距离。
K最近邻法(K-Nearest Neighbor)通过计算测试图片和参考图片集的特征距离,由大到小排列出由K个图片组成的匹配候选队列;而K个相互近邻法是指对于两张相似的图片A和B,如果B在A的K个最近邻队列里面,同时,A也应该在B的K个最近邻队列里面;如果A与B不相似,那么即使B在A的K个最近邻队列,A也很难出现在B的K个最近邻队列,通过双向验证来提高重排序的准确性。
杰卡德距离(Jaccard Distance)是计算两个集合之间的差异的度量方法,其定义为两个集合交集的元素个数除以并集的元素个数,在K个相互近邻算法中,首先定义了匹配目标图像p的K个最近邻的图片集合N(p,k)的表达式为下式:
式中,表示待匹配目标图像p与参考图像数据集G计算前k个特征距离的检索图像,
其次定义了K个相互近邻的参考图片集合R(p,k)的表达式为下式:
R(p,k)={gi|(gi∈N(p,k))∩(p∈N(gi,k))}
式中,N(gi,k)表示第i张检索图像gi的前K个最近邻图片集合,此时检索gi的相似图片时,参考的图片数据集是包含图片p的,所以K个相互近邻的图片集合是N(gi,k)与N(p,k)的交集。
由于目标所处的照明条件、以及姿态、摄像机视角和遮挡等变化,真正匹配的图像很可能从K最近邻的重排序队列中移除,并且也不包含在K个相互近邻的集合里,基于K相互近邻的重排序算法对集合作了改变,在K个相互近邻的集合,有条件的将R(p,k)中每个图片的K个相互近邻的集合中的一半与R(p,k)做并集,表达式具体如下:
式中,q为参考图片集合R(p,k)中的图片,如果q的K个相互近邻的集合中的一半和R(p,k)的交集图片数量大于等于/>中的图片数量,则把/>与R(p,k)做并集,然后得到新的集合R*(p,k)。
因此,在K相互近邻算法中,杰卡德距离dJ(p,gi)计算公式可以表示为:
由于图片集合进行交集和并集运算,时间消耗太大,同时该距离计算方法将所有的近邻图片视为同等重要的图片,事实上,大部分情况下,特征距离较小的图片更可能是接近p的正样本图片,所以,为了节约计算时间,基于K相互近邻的重排序算法将K个相互近邻图片集合编码成一个等价的结构简单的N维的二值向量二值向量中的元素定义式/>为:
式中,gi∈R*(p,k)表示图像参考数据集中的gi属于p的修改后的K个相互近邻集合R*(p,k),此时的元素值为1,否则为零。这样该向量中的元素值为1的元素集合就代表了p的K个相互近邻的图片集合。
同时为了考虑特征距离的影响,采用了指数形式来修改权值,修改后的二值向量中的元素定义式如下式:
其中d(p,gi)是p和gi的马氏距离,马氏距离越小越接近1。
同样,根据Vp的定义,可以得到检索图片gi与检索图库其他图片以及待匹配图像p所有图片改造后的K个相互近邻图片集合向量
此时,图片集合中的交集和补集的候选图片数量改写为:
式中,min和max是对根据Vp,对应元素的大小来选择出最小值和最大值,然后得到一个新的向量,||1表示计算向量的L1范数,即向量各个元素绝对值之和。
向量Vp和中的元素都是大于0的数,所以其L1范数结果等于所有向量元素和/>比较大小之后累加的结果,其中,对待匹配图片p,gj表示检索库里的图片,对检索库中的某一张图片gi,gj表示检索库里的其他图片或者匹配图片p,由此改造后的杰卡德距离最终表示为:
式中,为待匹配目标图像p与检索图像库中的图像gj的改造后的K个相互近邻图片集合数值化后的值,其范围在[0,1]之间;/>为检索图像gi与检索图像库其他图片以及待匹配目标图像p中的图像gj的改造的K个相互近邻图片集合数值化后的值,其范围在[0,1]之间。
如图3所示,在本实施例中,图中的摄像机网络共有8个摄像机,假设待匹配图像的摄像机编号为4号,其对应的摄像机距离序列s4=[4,3,5,6,7,2,8,1],对应的摄像机权重矩阵为tk=[1,2,...,8];假设检索图像的摄像机编号为2,其对应权重就为6,此时两张图片的特征距离为:
本发明的有益效果为:本发明提供的一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法训练一个现有的目标匹配模型,该模型可以不采用最先进的,性能最好,规模庞大的模型,可以采用性能良好的小模型,进而降低应用时的成本,部署也更为方便快捷。
本发明通过利用摄像机网络拓扑的信息,对训练得到的目标匹配模型输出的初步的目标匹配图像序列进行重排序,提高了匹配的准确度,进而兼顾了目标匹配方法在复杂情况下的性能和效率。
本发明基于摄像机网络拓扑的特征距离度量公式的重排序在提高单个匹配结果准确度的同时,提供了准确的多个匹配结果,有利于目标移动轨迹的挖掘。
在本发明的描述中,需要理解的是,术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此,限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。
Claims (10)
1.一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法,其特征在于,包括以下步骤:
S1、采集相关场景数据,根据相关场景数据中的目标图像构建训练集,训练一个目标匹配网络,得到目标匹配模型;
S2、将待匹配目标图像输入目标匹配模型,得到初步的目标匹配图像序列;
S3、通过基于摄像机网络拓扑的特征距离度量公式对初步的目标匹配图像序列进行重排序,得到目标匹配结果。
2.根据权利要求1所述的基于摄像机网络拓扑的摄像机监控网络目标匹配方法,其特征在于,所述S1包括以下分步骤:
S11、采集相关场景数据,选择相关场景数据中的目标图像,并使用随机擦除方法对目标图像进行随机擦除,得到训练集;
S12、获取目标匹配网络,通过训练集对其进行训练,得到目标匹配模型。
3.根据权利要求2所述的基于摄像机网络拓扑的摄像机监控网络目标匹配方法,其特征在于,所述S11中,随机擦除方法具体为:
SA1、预设随机擦除概率参数,根据随机擦除概率参数在目标图像中选择需要进行随机擦除的图片,得到被选中的图片;
SA2、选择被选中的图片中的矩形区域,得到选中的矩形区域,对选中的矩形区域的像素值进行填充,完成对目标图像进行随机擦除。
4.根据权利要求3所述的基于摄像机网络拓扑的摄像机监控网络目标匹配方法,其特征在于,所述SA2中,得到选中的矩形区域的方法具体为:
在被选中的图片中选择一个点P,当点P的坐标(xe,ye)满足下式时,则将点P构建的区域Ie=(xe,ye,xe+We,ye+He)作为选中的矩形区域;
xe+We≤W
ye+e≤H
式中,W为被选中的图片的长,H为被选中的图片的宽,We为选中的矩形区域的长,He为选中的矩形区域的宽;
所述SA2中,对选中的矩形区域的像素值进行填充的方法具体为:
通过填充像素值对选中的矩形区域中各个像素点的值进行填充,所述填充像素值的表达式具体为:
式中,pv为选中的矩形区域中各个像素点的值,c为图片像素的通道数,np为选中的矩形区域的像素点总数。
5.根据权利要求2所述的基于摄像机网络拓扑的摄像机监控网络目标匹配方法,其特征在于,所述S12具体为:
获取目标匹配网络,通过训练集对其进行训练,并加入摄像机网络拓扑信息来进行性能补偿,得到目标匹配模型。
6.根据权利要求1所述的基于摄像机网络拓扑的摄像机监控网络目标匹配方法,其特征在于,所述S2具体为:
将待匹配目标图像与若干检索图像输入目标匹配模型,得到待匹配目标图像与每张检索图像的特征距离,并根据待匹配目标图像与每张检索图像的特征距离对所有检索图像进行升序排序,得到初步的目标匹配图像序列;
其中,检索图像通过检索数据库对待匹配目标图像进行检索得到。
7.根据权利要求6所述的基于摄像机网络拓扑的摄像机监控网络目标匹配方法,其特征在于,所述S2中,所述待匹配目标图像p与第i张检索图像gi的特征距离dm(p,gi)的表达式具体为:
式中,xp为目标匹配模型对待匹配目标图像进行提取得到的特征向量,为目标匹配模型对第i张检索图像进行提取得到的特征向量,i=1,2…N,N为检索图像的总数,M为半正定矩阵,/>为转置操作。
8.根据权利要求1所述的基于摄像机网络拓扑的摄像机监控网络目标匹配方法,其特征在于,所述S3包括以下分步骤:
S31、获取摄像机网络分布信息,根据摄像机网络分布信息对其中的摄像机进行标号,并根据标号摄像机之间的距离对每个标号摄像机进行排列,得到每个标号摄像机对应的摄像机距离序列,根据所有标号摄像机对应的摄像机距离序列得到摄像机的距离序列集合;
S32、基于摄像机的距离序列集合,根据每个标号摄像机对应的摄像机距离序列得到每个标号摄像机对应的摄像机的网络拓扑权重,根据所有摄像机的网络拓扑权重得到网络拓扑权重集合;
S33、将网络拓扑权重集合加入基于K相互近邻的重排序算法,得到基于摄像机网络拓扑的特征距离度量公式;
S34、根据基于摄像机网络拓扑的特征距离度量公式对初步的目标匹配图像序列进行重排序,得到目标匹配结果。
9.根据权利要求8所述的基于摄像机网络拓扑的摄像机监控网络目标匹配方法,其特征在于,所述S33中,基于摄像机网络拓扑的特征距离度量公式具体为下式:
式中,pcam为摄像机cam采集到的需要进行重识别的目标的图像,cam为待匹配目标图像p所在的摄像机标号,tcam,c为摄像机c相对于摄像机cam的网络拓扑权重值,且c=1,2…Nc,Nc为摄像机的总数,为对摄像机标号进行求和,j为摄像机标号,a为拓扑参数,gi,c为检索数据库的图片数据集,dJ(p,gi,c)为改进的杰卡德距离,dm(p,gi)为待匹配目标图像p与第i张检索图像gi的特征距离,i=1,2…N,N为检索图像的总数。
10.根据权利要求9所述的基于摄像机网络拓扑的摄像机监控网络目标匹配方法,其特征在于,所述改进的杰卡德距离dJ(p,gi,c)的表达式具体为:
式中,为待匹配目标图像p与检索图像库中的图像gj的改造后的K个相互近邻图片集合数值化后的值,其范围在[0,1]之间;/>为检索图像gi与检索图像库其他图片以及待匹配目标图像p中的图像gj的改造的K个相互近邻图片集合数值化后的值,其范围在[0,1]之间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310714596.0A CN116824490A (zh) | 2023-06-15 | 2023-06-15 | 一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310714596.0A CN116824490A (zh) | 2023-06-15 | 2023-06-15 | 一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116824490A true CN116824490A (zh) | 2023-09-29 |
Family
ID=88113880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310714596.0A Pending CN116824490A (zh) | 2023-06-15 | 2023-06-15 | 一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116824490A (zh) |
-
2023
- 2023-06-15 CN CN202310714596.0A patent/CN116824490A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Recurrent attentive zooming for joint crowd counting and precise localization | |
CN107506703B (zh) | 一种基于无监督局部度量学习和重排序的行人再识别方法 | |
US7898576B2 (en) | Method and system for indexing and searching objects of interest across a plurality of video streams | |
US7925112B2 (en) | Video data matching using clustering on covariance appearance | |
US7324693B2 (en) | Method of human figure contour outlining in images | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
CN103238163B (zh) | 用于规定作为广告分发对象的设备,以及广告分发设备 | |
JP2000123184A (ja) | 動画内のイベントを検出する方法 | |
Yan et al. | Unsupervised anomaly segmentation via multilevel image reconstruction and adaptive attention-level transition | |
CN111199556A (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
Hao et al. | An advanced superpixel-based Markov random field model for unsupervised change detection | |
CN110309810B (zh) | 一种基于批次中心相似度的行人重识别方法 | |
Gündoğdu et al. | The visual object tracking VOT2016 challenge results | |
CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
CN113011359B (zh) | 一种基于图像的同时检测平面结构和生成平面描述的方法及应用 | |
CN108921872B (zh) | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 | |
Huang et al. | Tracking multiple deformable objects in egocentric videos | |
CN116824490A (zh) | 一种基于摄像机网络拓扑的摄像机监控网络目标匹配方法 | |
CN112417961B (zh) | 一种基于场景先验知识的海面目标检测方法 | |
Liu et al. | [Retracted] Mean Shift Fusion Color Histogram Algorithm for Nonrigid Complex Target Tracking in Sports Video | |
Chang et al. | Single-shot person re-identification based on improved random-walk pedestrian segmentation | |
KK et al. | Visual words for 3D reconstruction and pose computation | |
JP2019075051A (ja) | 画像処理装置 | |
CN112632313A (zh) | 一种基于深度学习的蕾丝花边检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |