CN112507941A - 面向矿井ai视频分析的跨视域行人重识别方法及装置 - Google Patents

面向矿井ai视频分析的跨视域行人重识别方法及装置 Download PDF

Info

Publication number
CN112507941A
CN112507941A CN202011499054.9A CN202011499054A CN112507941A CN 112507941 A CN112507941 A CN 112507941A CN 202011499054 A CN202011499054 A CN 202011499054A CN 112507941 A CN112507941 A CN 112507941A
Authority
CN
China
Prior art keywords
data set
domain data
loss function
source domain
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011499054.9A
Other languages
English (en)
Other versions
CN112507941B (zh
Inventor
程德强
李佳函
刘瑞航
寇旗旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
Jiangsu Huatu Mining Technology Co ltd
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Huatu Mining Technology Co ltd, China University of Mining and Technology CUMT filed Critical Jiangsu Huatu Mining Technology Co ltd
Priority to CN202011499054.9A priority Critical patent/CN112507941B/zh
Priority claimed from CN202011499054.9A external-priority patent/CN112507941B/zh
Publication of CN112507941A publication Critical patent/CN112507941A/zh
Application granted granted Critical
Publication of CN112507941B publication Critical patent/CN112507941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明涉及一种面向矿井AI视频分析的跨视域行人重识别方法及装置,属于计算机视觉技术领域,解决了现有无监督行人重识别方法的精确度较低的问题。方法包括:获取源域数据集和目标域数据集;构建残差网络,将源域数据集和目标域数据集分别输入残差网络进行特征提取,得到源域数据集对应的特征和目标域数据集对应的特征并分别存储至存储器;基于源域数据集对应的特征和目标域数据集对应的特征得到第一损失函数;调节残差网络的参数,直至第一损失函数小于设定阈值时,得到残差网络的最优网络结构;将待重识别的目标图像输入残差网络的最优网络结构,得到待重识别的目标图像对应的行人信息。提高了行人重识别的精度。

Description

面向矿井AI视频分析的跨视域行人重识别方法及装置
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种面向矿井AI视频分析的跨视域行人重识别方法及装置。
背景技术
近年来随着科技的飞速发展和煤炭工业体系的完善,煤炭开采逐步向安全、高效、自动化的方向发展,我国煤矿的主要形式是井下矿,其开采条件极其复杂,尤其是井下大型移动采掘装备工作区域,由于工况复杂、移动开采、人员相对集中,安全事故频繁发生,自动识别和监控井下危险区域的工作人员,不仅可以准确定位井下人员的准确位置,及时掌握井下人员的动态分布,还对煤矿的自动化安全开采、报警及联动处理起着至关重要作用,因此井下跨视域的行人重识别对煤矿安全高效开采具有重要意义。
行人重识别就是不同相机中捕捉到相同身份的行人图片相匹配,现在所有的行人重识别的方法主要分为无监督行人重识别以及有监督的行人重识别。目前,由于无监督行人重识别由于人体姿态、视角、光照、图像分辨率、遮挡和背景等因素的影响,导致无监督行人重识别方法的精确度较低。
发明内容
鉴于上述的分析,本发明实施例旨在提供一种面向矿井AI视频分析的跨视域行人重识别方法及装置,用以解决现有无监督行人重识别方法的精确度较低的问题。
一方面,本发明实施例提供了一种面向矿井AI视频分析的跨视域行人重识别方法,包括下述步骤:
获取源域数据集和目标域数据集,所述源域数据集为有标签数据集,所述目标域数据集为无标签数据集;
构建残差网络,将所述源域数据集和目标域数据集分别输入残差网络进行特征提取,得到源域数据集对应的特征和目标域数据集对应的特征,并将所述源域数据集对应的特征和目标域数据集对应的特征分别存储至存储器;
基于所述源域数据集对应的特征和目标域数据集对应的特征得到第一损失函数;调节残差网络的参数,直至所述第一损失函数小于设定阈值时,得到残差网络的最优网络结构;
将待重识别的目标图像输入所述残差网络的最优网络结构,得到待重识别的目标图像对应的行人信息。
进一步,所述残差网络包括依次连接的Resnet50网络、注意力模块、池化层和全连接层,其中,
所述注意力模块包括通道注意力模块和空间注意力模块。
进一步,基于所述源域数据集对应的特征和目标域数据集对应的特征得到第一损失函数,包括下述步骤:
基于所述源域数据集对应的特征和交叉熵损失函数,得到第二损失函数;
基于所述源域数据集对应的特征和目标域数据集对应的特征得到第三损失函数;
基于所述目标域数据集对应的特征得到第四损失函数;
基于所述第二损失函数、第三损失函数和第四损失函数得到第一损失函数。
进一步,所述第二损失函数的计算公式为:
Figure BDA0002843029740000031
式中,Lsrc表示第二损失函数,ns表示源域数据集的数据个数,p(ys,i|xs,i)表示源域数据集对应的特征xs,i属于行人ys,i的概率。
进一步,基于所述源域数据集对应的特征和目标域数据集对应的特征得到第三损失函数,包括下述步骤:
基于所述源域数据集对应的特征和目标域数据集对应的特征得到相似度分数地图,其中,所述相似度分数地图的横轴为目标域数据集的数据个数,纵轴为源域数据集的类别数;
将所述相似度分数地图中同一类别数对应的相似度分数由高到低排序,得到第一正样本集和第一负样本集;
基于所述第一正样本集计算得到第一欧式距离,基于所述第一负样本集计算得到第二欧式距离;
基于所述第一欧式距离和第二欧式距离得到第三损失函数。
进一步,所述第一欧式距离的计算公式为:
Figure BDA0002843029740000032
上式中,L1表示第一欧氏距离,P1表示第一正样本集,a1、b1表示第一正样本集中的任意两个正样本,f(a1)、f(b1)表示第一正样本集中的任意两个正样本对应的特征,s1表示正样本的个数;
所述第二欧式距离计算公式为:
Figure BDA0002843029740000033
上式中,L2表示第二欧氏距离,N1表示第一负样本集,g1、m1表示第一负样本集中的任意两个负样本,f(g1)、f(m1)表示第一负样本集中的任意两个负样本对应的特征,s2表示负样本的个数;
第三损失函数的计算公式为:
Figure BDA0002843029740000041
上式中,Lsl表示第三损失函数。
进一步,基于所述目标域数据集对应的特征得到第四损失函数,包括下述步骤:
基于所述目标域数据集获得第二正样本集和第二负样本集;
基于所述第二正样本集得到第三欧式距离,基于所述第二负样本集得到第四欧式距离;
基于所述第三欧式距离和第四欧式距离得到第四损失函数。
进一步,所述第二正样本集的计算公式为:
P2=max{f(xc)fT(xd)}
上式中,P2表示第二正样本集,xc、xd为源域数据集中的任意两个数据,f(xc)、f(xd)为源域数据集中的任意两个数据对应的特征,fT(xd)为f(xd)的转置;
所述第二负样本集的计算公式为:
N2=min{f(xc)fT(xd)}
上式中,N2表示第二负样本集,
所述第三欧式距离的计算公式为:
Figure BDA0002843029740000042
上式中,L3表示第三欧氏距离,P2表示第二正样本集,a2、b2表示第二正样本集中的任意两个正样本,f(a2)、f(b2)表示第二正样本集中的任意两个正样本对应的特征,s3表示正样本的个数;
所述第四欧式距离的计算公式为:
Figure BDA0002843029740000051
上式中,L4表示第四欧氏距离,N2表示第二负样本集,g2、m2表示第二负样本集中的任意两个负样本,f(g2)、f(m2)表示第二负样本集中的任意两个负样本对应的特征,s4表示负样本的个数;
第四损失函数的计算公式为:
Figure BDA0002843029740000052
Ltl表示第四损失函数。
进一步,所述第一损失函数的计算公式为:
L=0.5Lsrc+0.2Lsl+0.3Ltl
上式中,L表示第一损失函数。
另一方面,本发明实施例提供了一种面向矿井AI视频分析的跨视域行人重识别装置,包括:
数据获取模块,用于获取源域数据集和目标域数据集,所述源域数据集为有标签数据集,所述目标域数据集为无标签数据集;
网络构建模块,用于残差网络,将所述源域数据集和目标域数据集分别输入残差网络进行特征提取,得到源域数据集对应的特征和目标域数据集对应的特征,并将所述源域数据集对应的特征和目标域数据集对应的特征分别存储至存储器;
网络训练模块,用于根据所述源域数据集对应的特征和目标域数据集对应的特征得到第一损失函数;调节残差网络的参数,直至所述第一损失函数小于设定阈值时,得到残差网络的最优网络结构;
重识别模块,用于将待重识别的目标图像输入所述残差网络的最优网络结构,得到待重识别的目标图像对应的行人信息。
与现有技术相比,本发明至少可实现如下有益效果之一:
1、一种面向矿井AI视频分析的跨视域行人重识别方法及装置,通过构建残差网络,并利用构建的残差网络分别提取源域数据集和目标域数据集的特征,并通过两类特征计算三个损失函数,利用三个损失函数的叠加得到总的损失函数,通过调节残差网络的参数,使得总的损失函数小于设定阈值时,对应得到残差网络的最优网络结构;最后将待重识别的目标图像输入残差网络的最优网络结构,即可得到待重识别的目标图像对应的行人信息。该方法简单易行,易于实施,通过源域数据集和目标域数据集同时对网络训练,最终提高了获得的待重识别的目标图像对应的行人信息的精确度。
2、通过获取源域数据集和目标域数据集两种不同类型的数据集,为后期进行网络模型的训练提供了数据支撑和依据,也有利于提高网络的精度。
3、通过源域数据集对应的特征和目标域数据集对应的特征计算三种不同的损失函数,再通过三种不同损失函数的叠加得到第一损失函数,并判断该第一损失函数是否小于认为设定的阈值,当第一损失函数小于设定的阈值时,此时的残差网络即为残差网络的最优网络结构,若第一损失函数不小于设定的阈值时,调节残差网络的参数,直至第一损失函数小于设定阈值时,得到残差网络的最优网络结构,三个损失函数对残差网络的训练提高了网络的精度,有利于提高网络对行人重识别的精度和速度。
本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为一个实施例中无监督行人重识别方法流程框架图;
图2为一个实施例中面向矿井AI视频分析的跨视域行人重识别方法流程图;
图3为一个实施例中相似度分数地图;
图4为另一个实施例中面向矿井AI视频分析的跨视域行人重识别装置结构图;
附图标记:
100-数据获取模块,200-网络构建模块,300-网络训练模块,400-重识别模块。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
目前,由于无监督行人重识别由于人体姿态、视角、光照、图像分辨率、遮挡和背景等因素的影响,导致无监督行人重识别方法的精确度较低。为此,本申请提出了一种面向矿井AI视频分析的跨视域行人重识别方法及装置,如图1所示,通过构建残差网络,并利用构建的残差网络分别提取源域数据集和目标域数据集的特征,并通过两类特征计算三个损失函数,利用三个损失函数的叠加得到总的损失函数,通过调节残差网络的参数,使得总的损失函数小于设定阈值时,对应得到残差网络的最优网络结构;最后将待重识别的目标图像输入残差网络的最优网络结构,即可得到待重识别的目标图像对应的行人信息。该方法简单易行,易于实施,通过源域数据集和目标域数据集同时对网络训练,最终提高了获得的待重识别的目标图像对应的行人信息的精确度。
本发明的一个具体实施例,公开了一种面向矿井AI视频分析的跨视域行人重识别方法,如图2所示,包括下述步骤S1~S4。
步骤S1、获取源域数据集和目标域数据集,源域数据集为有标签数据集,目标域数据集为无标签数据集。具体来说,源域数据集中每一张图片为单个的行人图片,源域数据集中的每一个行人图片均具有标签,标签的内容是行人的id信息及摄像头信息。无标签数据集包括多张图片,每一张图片没有标签,即行人信息未知。
通过获取源域数据集和目标域数据集两种不同类型的数据集,为后期进行网络模型的训练提供了数据支撑和依据,也有利于提高网络的精度。
步骤S2、构建残差网络,将源域数据集和目标域数据集分别输入残差网络进行特征提取,得到源域数据集对应的特征和目标域数据集对应的特征,并将源域数据集对应的特征和目标域数据集对应的特征分别存储至存储器。残差网络包括依次连接的Resnet50网络、注意力模块、池化层和全连接层,注意力模块包括通道注意力模块和空间注意力模块。
具体来说,本申请中只采用了Resnet50网络的前5层,在Resnet50网络之后,还添加了注意力模块,注意力模块包括并行的通道注意力模块(CAM)和空间注意力模块(PAM),其中,通道注意力模块(CAM)用于提取通道间特征之间的关系,空间注意力模块(PAM)用于提取空间中特征之间的关系。本申请中将源域数据集和目标域数据集分别输入残差网络,得到源域数据集对应的特征和目标域数据集对应的特征后,可将源域数据集和目标域数据集对应的特征分别存储到对应的存储器中。
通过构建Resnet50网络的前5层与注意力模块结合的残差网络,网络结构新颖,该残差网络可从通道和空间两个不同的角度提取训练数据的特征,有利于提高网络的精度。
步骤S3、基于源域数据集对应的特征和目标域数据集对应的特征得到第一损失函数;调节残差网络的参数,直至第一损失函数小于设定阈值时,得到残差网络的最优网络结构。具体来说,本申请通过源域数据集对应的特征和目标域数据集对应的特征计算三种不同的损失函数,再通过三种不同损失函数的叠加得到第一损失函数,并判断该第一损失函数是否小于人为设定的阈值,当第一损失函数小于设定的阈值时,此时的残差网络即为残差网络的最优网络结构,若第一损失函数不小于设定的阈值时,调节残差网络的参数,直至第一损失函数小于设定阈值时,得到残差网络的最优网络结构。
优选地,基于源域数据集对应的特征和目标域数据集对应的特征得到第一损失函数,包括下述步骤:
步骤S31、基于源域数据集对应的特征和交叉熵损失函数,得到第二损失函数,第二损失函数的计算公式为:
Figure BDA0002843029740000101
式中,Lsrc表示第二损失函数,ns表示源域数据集的数据个数,p(ys,i|xs,i)表示源域数据集对应的特征xs,i属于行人ys,i的概率。
步骤S32、基于源域数据集对应的特征和目标域数据集对应的特征得到第三损失函数,包括下述步骤:
步骤S321、基于源域数据集对应的特征和目标域数据集对应的特征得到相似度分数地图,其中,相似度分数地图的横轴为目标域数据集的数据个数,纵轴为源域数据集的类别数。具体来说,通过源域数据集对应的特征和目标域数据集对应的特征的余弦相似度计算得到相似度分数地图,相似度分数地图如图3所示,该地图的横轴N为目标域数据集的数据个数,纵轴T为源域数据集的类别数。其中,余弦相似度的计算公式如下式所示:
M=f(xi)fT(xj)
上式中,M表示相似度分数地图,f(xi)表示源域数据集中的任一样本xi对应的特征,f(xj)表示目标域数据集中的任一样本xj对应的特征。
步骤S322、将相似度分数地图中同一类别数对应的相似度分数由高到低排序,得到第一正样本集和第一负样本集。具体来说,以相似度分数地图中的某一行为例,对该行的相似度分数由高到低排序,并取相似度分数最高的前三个为第一正样本集,取相似度分数最低的前三个为第一负样本集。
步骤S323、基于第一正样本集计算得到第一欧式距离,基于第一负样本集计算得到第二欧式距离。其中,第一欧式距离的计算公式为:
Figure BDA0002843029740000111
上式中,L1表示第一欧氏距离,P1表示第一正样本集,a1、b1表示第一正样本集中的任意两个正样本,f(a1)、f(b1)表示第一正样本集中的任意两个正样本对应的特征,s1表示正样本的个数;
第二欧式距离计算公式为:
Figure BDA0002843029740000112
上式中,L2表示第二欧氏距离,N1表示第一负样本集,g1、m1表示第一负样本集中的任意两个负样本,f(g1)、f(m1)表示第一负样本集中的任意两个负样本对应的特征,s2表示负样本的个数;
步骤S324、基于第一欧式距离和第二欧式距离得到第三损失函数,第三损失函数的计算公式为:
Figure BDA0002843029740000113
上式中,Lsl表示第三损失函数。
步骤S33、基于目标域数据集对应的特征得到第四损失函数,包括下述步骤:
步骤S331、基于目标域数据集获得第二正样本集和第二负样本集;第二正样本集的计算公式为:
P2=max{f(xc)fT(xd)}
上式中,P2表示第二正样本集,xc、xd为源域数据集中的任意两个数据,f(xc)、f(xd)为源域数据集中的任意两个数据对应的特征,fT(xd)为f(xd)的转置;
第二负样本集的计算公式为:
N2=min{f(xc)fT(xd)}
上式中,N2表示第二负样本集,
步骤S332、基于第二正样本集得到第三欧式距离,基于第二负样本集得到第四欧式距离。其中,第三欧式距离的计算公式为:
Figure BDA0002843029740000121
上式中,L3表示第三欧氏距离,P2表示第二正样本集,a2、b2表示第二正样本集中的任意两个正样本,f(a2)、f(b2)表示第二正样本集中的任意两个正样本对应的特征,s3表示正样本的个数;
第四欧式距离的计算公式为:
Figure BDA0002843029740000122
上式中,L4表示第四欧氏距离,N2表示第二负样本集,g2、m2表示第二负样本集中的任意两个负样本,f(g2)、f(m2)表示第二负样本集中的任意两个负样本对应的特征,s4表示负样本的个数。
步骤S333、基于第三欧式距离和第四欧式距离得到第四损失函数。第四损失函数的计算公式为:
Figure BDA0002843029740000123
Ltl表示第四损失函数。
步骤S34、基于第二损失函数、第三损失函数和第四损失函数得到第一损失函数。第一损失函数的计算公式为:
L=0.5Lsrc+0.2Lsl+0.3Ltl
上式中,L表示第一损失函数。
通过源域数据集对应的特征和目标域数据集对应的特征计算三种不同的损失函数,再通过三种不同损失函数的叠加得到第一损失函数,并判断该第一损失函数是否小于认为设定的阈值,直至第一损失函数小于设定阈值时,得到残差网络的最优网络结构,三个损失函数对残差网络的训练提高了网络的精度,有利于提高网络对行人重识别的精度和速度。
步骤S4、将待重识别的目标图像输入残差网络的最优网络结构,得到待重识别的目标图像对应的行人信息。具体来说,基于前述步骤S3得到残差网络的最优网络结构后,可将待重识别的目标图像输入残差网络的最优网络结构,即可得到待重识别的目标图像对应的行人信息。
与现有技术相比,本实施例提供的一种面向矿井AI视频分析的跨视域行人重识别方法,通过构建残差网络,并利用构建的残差网络分别提取源域数据集和目标域数据集的特征,并通过两类特征计算三个损失函数,利用三个损失函数的叠加得到总的损失函数,通过调节残差网络的参数,使得总的损失函数小于设定阈值时,对应得到残差网络的最优网络结构;最后将待重识别的目标图像输入残差网络的最优网络结构,即可得到待重识别的目标图像对应的行人信息。该方法简单易行,易于实施,通过源域数据集和目标域数据集同时对网络训练,最终提高了获得的待重识别的目标图像对应的行人信息的精确度。
本发明的另一个具体实施例,公开了一种面向矿井AI视频分析的跨视域行人重识别装置,如图4所示,包括:
数据获取模块100,用于获取源域数据集和目标域数据集,源域数据集为有标签数据集,目标域数据集为无标签数据集;
网络构建模块200,用于残差网络,将源域数据集和目标域数据集分别输入残差网络进行特征提取,得到源域数据集对应的特征和目标域数据集对应的特征,并将源域数据集对应的特征和目标域数据集对应的特征分别存储至存储器;
网络训练模块300,用于根据源域数据集对应的特征和目标域数据集对应的特征得到第一损失函数;调节残差网络的参数,直至第一损失函数小于设定阈值时,得到残差网络的最优网络结构;
重识别模块400,用于将待重识别的目标图像输入残差网络的最优网络结构,得到待重识别的目标图像对应的行人信息。
由于面向矿井AI视频分析的跨视域行人重识别装置的实现原理与前述面向矿井AI视频分析的跨视域行人重识别方法的实现原理相似,故这里不再赘述。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种面向矿井AI视频分析的跨视域行人重识别方法,其特征在于,包括下述步骤:
获取源域数据集和目标域数据集,所述源域数据集为有标签数据集,所述目标域数据集为无标签数据集;
构建残差网络,将所述源域数据集和目标域数据集分别输入残差网络进行特征提取,得到源域数据集对应的特征和目标域数据集对应的特征,并将所述源域数据集对应的特征和目标域数据集对应的特征分别存储至存储器;
基于所述源域数据集对应的特征和目标域数据集对应的特征得到第一损失函数;调节残差网络的参数,直至所述第一损失函数小于设定阈值时,得到残差网络的最优网络结构;
将待重识别的目标图像输入所述残差网络的最优网络结构,得到待重识别的目标图像对应的行人信息。
2.根据权利要求1所述的面向矿井AI视频分析的跨视域行人重识别方法,其特征在于,所述残差网络包括依次连接的Resnet50网络、注意力模块、池化层和全连接层,其中,
所述注意力模块包括通道注意力模块和空间注意力模块。
3.根据权利要求1所述的面向矿井AI视频分析的跨视域行人重识别方法,其特征在于,基于所述源域数据集对应的特征和目标域数据集对应的特征得到第一损失函数,包括下述步骤:
基于所述源域数据集对应的特征和交叉熵损失函数,得到第二损失函数;
基于所述源域数据集对应的特征和目标域数据集对应的特征得到第三损失函数;
基于所述目标域数据集对应的特征得到第四损失函数;
基于所述第二损失函数、第三损失函数和第四损失函数得到第一损失函数。
4.根据权利要求3所述的面向矿井AI视频分析的跨视域行人重识别方法,其特征在于,所述第二损失函数的计算公式为:
Figure FDA0002843029730000021
式中,Lsrc表示第二损失函数,ns表示源域数据集的数据个数,p(ys,i|xs,i)表示源域数据集对应的特征xs,i属于行人ys,i的概率。
5.根据权利要求4所述的面向矿井AI视频分析的跨视域行人重识别方法,其特征在于,基于所述源域数据集对应的特征和目标域数据集对应的特征得到第三损失函数,包括下述步骤:
基于所述源域数据集对应的特征和目标域数据集对应的特征得到相似度分数地图,其中,所述相似度分数地图的横轴为目标域数据集的数据个数,纵轴为源域数据集的类别数;
将所述相似度分数地图中同一类别数对应的相似度分数由高到低排序,得到第一正样本集和第一负样本集;
基于所述第一正样本集计算得到第一欧式距离,基于所述第一负样本集计算得到第二欧式距离;
基于所述第一欧式距离和第二欧式距离得到第三损失函数。
6.根据权利要求5所述的面向矿井AI视频分析的跨视域行人重识别方法,其特征在于,所述第一欧式距离的计算公式为:
Figure FDA0002843029730000022
上式中,L1表示第一欧氏距离,P1表示第一正样本集,a1、b1表示第一正样本集中的任意两个正样本,f(a1)、f(b1)表示第一正样本集中的任意两个正样本对应的特征,s1表示正样本的个数;
所述第二欧式距离计算公式为:
Figure FDA0002843029730000031
上式中,L2表示第二欧氏距离,N1表示第一负样本集,g1、m1表示第一负样本集中的任意两个负样本,f(g1)、f(m1)表示第一负样本集中的任意两个负样本对应的特征,s2表示负样本的个数;
第三损失函数的计算公式为:
Figure FDA0002843029730000032
上式中,Lsl表示第三损失函数。
7.根据权利要求3所述的面向矿井AI视频分析的跨视域行人重识别方法,其特征在于,基于所述目标域数据集对应的特征得到第四损失函数,包括下述步骤:
基于所述目标域数据集获得第二正样本集和第二负样本集;
基于所述第二正样本集得到第三欧式距离,基于所述第二负样本集得到第四欧式距离;
基于所述第三欧式距离和第四欧式距离得到第四损失函数。
8.根据权利要求7所述的跨视域无监督行人重识别方法,其特征在于,所述第二正样本集的计算公式为:
P2=max{f(xc)fT(xd)}
上式中,P2表示第二正样本集,xc、xd为源域数据集中的任意两个数据,f(xc)、f(xd)为源域数据集中的任意两个数据对应的特征,fT(xd)为f(xd)的转置;
所述第二负样本集的计算公式为:
N2=min{f(xc)fT(xd)}
上式中,N2表示第二负样本集,
所述第三欧式距离的计算公式为:
Figure FDA0002843029730000041
上式中,L3表示第三欧氏距离,P2表示第二正样本集,a2、b2表示第二正样本集中的任意两个正样本,f(a2)、f(b2)表示第二正样本集中的任意两个正样本对应的特征,s3表示正样本的个数;
所述第四欧式距离的计算公式为:
Figure FDA0002843029730000042
上式中,L4表示第四欧氏距离,N2表示第二负样本集,g2、m2表示第二负样本集中的任意两个负样本,f(g2)、f(m2)表示第二负样本集中的任意两个负样本对应的特征,s4表示负样本的个数;
第四损失函数的计算公式为:
Figure FDA0002843029730000043
Ltl表示第四损失函数。
9.根据权利要求8所述的面向矿井AI视频分析的跨视域行人重识别方法法,其特征在于,所述第一损失函数的计算公式为:
L=0.5Lsrc+0.2Lsl+0.3Ltl
上式中,L表示第一损失函数。
10.一种面向矿井AI视频分析的跨视域行人重识别装置,其特征在于,包括:
数据获取模块,用于获取源域数据集和目标域数据集,所述源域数据集为有标签数据集,所述目标域数据集为无标签数据集;
网络构建模块,用于残差网络,将所述源域数据集和目标域数据集分别输入残差网络进行特征提取,得到源域数据集对应的特征和目标域数据集对应的特征,并将所述源域数据集对应的特征和目标域数据集对应的特征分别存储至存储器;
网络训练模块,用于根据所述源域数据集对应的特征和目标域数据集对应的特征得到第一损失函数;调节残差网络的参数,直至所述第一损失函数小于设定阈值时,得到残差网络的最优网络结构;
重识别模块,用于将待重识别的目标图像输入所述残差网络的最优网络结构,得到待重识别的目标图像对应的行人信息。
CN202011499054.9A 2020-12-17 面向矿井ai视频分析的跨视域行人重识别方法及装置 Active CN112507941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011499054.9A CN112507941B (zh) 2020-12-17 面向矿井ai视频分析的跨视域行人重识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011499054.9A CN112507941B (zh) 2020-12-17 面向矿井ai视频分析的跨视域行人重识别方法及装置

Publications (2)

Publication Number Publication Date
CN112507941A true CN112507941A (zh) 2021-03-16
CN112507941B CN112507941B (zh) 2024-05-10

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011440A (zh) * 2021-03-19 2021-06-22 中联煤层气有限责任公司 一种煤层气井井场监控重识别技术

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180373962A1 (en) * 2017-06-27 2018-12-27 Canon Kabushiki Kaisha method and apparatus for determining similarity of objects in images
US20190057084A1 (en) * 2017-08-16 2019-02-21 Boe Technology Group Co., Ltd. Method and device for identifying information
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学(深圳) 基于无监督学习的行人重识别方法、装置及介质
CN110580302A (zh) * 2019-08-13 2019-12-17 天津大学 一种基于半异构联合嵌入网络的草图图像检索方法
CN111242064A (zh) * 2020-01-17 2020-06-05 山东师范大学 基于摄像头风格迁移和单标注的行人重识别方法及系统
CN111259979A (zh) * 2020-02-10 2020-06-09 大连理工大学 一种基于标签自适应策略的深度半监督图像聚类方法
CN111401281A (zh) * 2020-03-23 2020-07-10 山东师范大学 基于深度聚类和样例学习的无监督行人重识别方法及系统
CN111723611A (zh) * 2019-03-20 2020-09-29 北京沃东天骏信息技术有限公司 行人再识别方法、装置及存储介质
CN111814854A (zh) * 2020-06-28 2020-10-23 北京交通大学 一种无监督域适应的目标重识别方法
CN111832514A (zh) * 2020-07-21 2020-10-27 内蒙古科技大学 基于软多标签的无监督行人重识别方法及装置
CN111860678A (zh) * 2020-07-29 2020-10-30 中国矿业大学 一种基于聚类的无监督跨域行人重识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180373962A1 (en) * 2017-06-27 2018-12-27 Canon Kabushiki Kaisha method and apparatus for determining similarity of objects in images
US20190057084A1 (en) * 2017-08-16 2019-02-21 Boe Technology Group Co., Ltd. Method and device for identifying information
CN111723611A (zh) * 2019-03-20 2020-09-29 北京沃东天骏信息技术有限公司 行人再识别方法、装置及存储介质
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学(深圳) 基于无监督学习的行人重识别方法、装置及介质
CN110580302A (zh) * 2019-08-13 2019-12-17 天津大学 一种基于半异构联合嵌入网络的草图图像检索方法
CN111242064A (zh) * 2020-01-17 2020-06-05 山东师范大学 基于摄像头风格迁移和单标注的行人重识别方法及系统
CN111259979A (zh) * 2020-02-10 2020-06-09 大连理工大学 一种基于标签自适应策略的深度半监督图像聚类方法
CN111401281A (zh) * 2020-03-23 2020-07-10 山东师范大学 基于深度聚类和样例学习的无监督行人重识别方法及系统
CN111814854A (zh) * 2020-06-28 2020-10-23 北京交通大学 一种无监督域适应的目标重识别方法
CN111832514A (zh) * 2020-07-21 2020-10-27 内蒙古科技大学 基于软多标签的无监督行人重识别方法及装置
CN111860678A (zh) * 2020-07-29 2020-10-30 中国矿业大学 一种基于聚类的无监督跨域行人重识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANCONG WU等: "Unsupervised Person Re-Identification by Camera-Aware Similarity Consistency Learning", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, 27 February 2020 (2020-02-27), pages 6922 - 6931 *
SWOCKY: "【行人重识别】Unsupervised Salience Learning for Person Re-identification", pages 1 - 5, Retrieved from the Internet <URL:https://blog.csdn.net/Swocky/article/details/107326459> *
廖星宇: "基于无监督增量学习的跨域行人重识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 9, 15 September 2019 (2019-09-15), pages 138 - 1180 *
潘少明 等: "基于图卷积神经网络的跨域行人再识别", 《华中科技大学学报(自然科学版)》, vol. 48, no. 9, 2 July 2020 (2020-07-02), pages 44 - 49 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011440A (zh) * 2021-03-19 2021-06-22 中联煤层气有限责任公司 一种煤层气井井场监控重识别技术
CN113011440B (zh) * 2021-03-19 2023-11-28 中联煤层气有限责任公司 一种煤层气井井场监控重识别技术

Similar Documents

Publication Publication Date Title
CN107977639B (zh) 一种人脸清晰度判断方法
JP2018524678A (ja) 画像からの事業発見
CN107977656A (zh) 一种行人重识别方法及系统
CN108921038A (zh) 一种基于深度学习人脸识别技术的课堂快速点名签到方法
CN110008913A (zh) 基于姿态估计与视点机制融合的行人再识别方法
CN108229352B (zh) 一种基于深度学习的站立检测方法
CN110163211B (zh) 一种图像识别方法、装置和存储介质
CN111504331B (zh) 一种由粗到细的全景智能车辆定位方法和装置
CN110688980B (zh) 基于计算机视觉的人体姿态分类方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN108363771B (zh) 一种面向公安侦查应用的图像检索方法
Xue et al. A fast visual map building method using video stream for visual-based indoor localization
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN114627553A (zh) 一种基于卷积神经网络的教室场景学生行为检测的方法
CN114332942A (zh) 基于改进YOLOv3的夜间红外行人检测方法及系统
CN113076891B (zh) 基于改进高分辨率网络的人体姿态预测方法及系统
CN111797704A (zh) 一种基于相关物体感知的动作识别方法
CN104156952B (zh) 一种抵抗形变的图像匹配方法
CN115984968A (zh) 一种学生时空动作识别方法、装置、终端设备及介质
Zhou et al. Stuart: Individualized Classroom Observation of Students with Automatic Behavior Recognition And Tracking
CN112507941B (zh) 面向矿井ai视频分析的跨视域行人重识别方法及装置
CN112507941A (zh) 面向矿井ai视频分析的跨视域行人重识别方法及装置
CN111382294A (zh) 一种基于人工智能图像识别的中医辅助判断方法
CN113743380B (zh) 一种基于视频图像动态监测的主动跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Cheng Deqiang

Inventor after: Kou Qiqi

Inventor after: Li Jiahan

Inventor after: Liu Ruihang

Inventor before: Cheng Deqiang

Inventor before: Li Jiahan

Inventor before: Liu Ruihang

Inventor before: Kou Qiqi

TA01 Transfer of patent application right

Effective date of registration: 20240415

Address after: 221116 No. 1 Tongshan University Road, Xuzhou City, Jiangsu Province

Applicant after: CHINA University OF MINING AND TECHNOLOGY

Country or region after: China

Address before: 221116 No. 1 Tongshan University Road, Xuzhou City, Jiangsu Province

Applicant before: CHINA University OF MINING AND TECHNOLOGY

Country or region before: China

Applicant before: Jiangsu Huatu Mining Technology Co.,Ltd.

GR01 Patent grant