CN114596588A - 基于文本辅助特征对齐模型的受损行人图像再识别方法及装置 - Google Patents
基于文本辅助特征对齐模型的受损行人图像再识别方法及装置 Download PDFInfo
- Publication number
- CN114596588A CN114596588A CN202210242707.8A CN202210242707A CN114596588A CN 114596588 A CN114596588 A CN 114596588A CN 202210242707 A CN202210242707 A CN 202210242707A CN 114596588 A CN114596588 A CN 114596588A
- Authority
- CN
- China
- Prior art keywords
- feature
- damaged
- image
- text
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 217
- 230000001537 neural effect Effects 0.000 claims abstract description 62
- 238000011176 pooling Methods 0.000 claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 59
- 230000000007 visual effect Effects 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 27
- 230000002457 bidirectional effect Effects 0.000 claims description 20
- 238000012935 Averaging Methods 0.000 claims description 15
- 230000001771 impaired effect Effects 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 238000004904 shortening Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于文本辅助特征对齐模型的受损行人图像再识别方法及装置,包括:构建文本辅助特征对齐模型,对文本辅助特征对齐模型进行训练,训练过程分为两个阶段,第一阶段为语句层面特征提取,第二阶段为名词短语层面特征对齐;将测试集中的受损图像输入到深度卷积神经网络‑Corrupted以及全局平均池化层中提取得到受损图像特征向量;将参考集中的正常图像输入到深度卷积神经网络‑Normal以及全局平均池化层中提取得到未受损图像特征向量;使用测试集提取得到的受损特征向量与参考集提取得到的未受损特征向量进行相似度计算。本发明能高效地检索出受损的行人图像在正常行人数据库中相同身份的正常图像,提高行人再识别方法在实际应用场景中的鲁棒性。
Description
技术领域
本发明属于图像识别的技术领域,具体涉及一种基于文本辅助特征对齐模型的受损行人图像再识别方法及装置。
背景技术
近年来,为了提高行人再识别方法在实际应用场景中的准确性和鲁棒性,一些方法不再只针对正常情况下的高质量行人图像进行研究,而是针对各种可能产生的图像受损情形,设计模型来减轻受损导致的行人再识别性能的下降。常见的图像受损情形有摄像头与行人间距过大或摄像头配置较低导致的图像低分辨率问题;行人在密集场景中外观随着遮挡物体发生显著变化的遮挡问题;由于环境光变化剧烈导致捕获的图像过曝或欠曝的光照异常问题;由于镜头种类不同导致的镜头畸变或鱼眼问题。
现有技术中的行人再识别方法有INTACT模型、PVPM模型和IID模型:
(1)INTACT模型针对的是低分辨率行人再识别任务,使用了生成式对抗网络(GAN)来提升原始低分辨率图像的分辨率;生成式对抗网络由生成模型和判别模型组成,生成模型负责生成尽可能真实的所需图像,判别模型负责鉴别输入图像的真假,二者在训练过程中互相博弈,使得最终得到的生成模型性能更强。
(2)PVPM模型针对的是遮挡行人再识别任务,使用姿态估计网络计算人体各个部位的可见分数,实现图像层面的人体部位对齐;PVPM模型由三个模块组成姿态引导的可视化预测模块、姿态引导的注意力模块和特征对应模块;姿态引导的可视化预测模块通过已训练好的姿态估计网络提取出输入行人图像的关键点热力图,经由姿态编码器处理后预测出行人各个身体部分的可见概率。
(3)IID模型针对的是光照异常行人再识别任务,尝试分离图像的光照信息。IID模型使用自编码器结构,通过编码器分离出图像的身份特征和光照特征,再使用生成器将分离的两者特征恢复回原始图像。
但是上述方法中,由于各种不同的环境因素的干扰,会造成行人图像分辨率低、环境物体遮挡行人、图像光照异常等图像受损情形。这些图像受损问题会导致行人图像中能用于行人匹配的有效信息的丢失,最终提取得到的特征向量含有的信息量远少于正常图像特征所含有的信息量。而在进行特征向量匹配时,信息量的不一致会影响匹配的准确率,从而导致行人再识别模型的检索性能下降。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于文本辅助特征对齐模型的受损行人图像再识别方法及装置,基于跨模态特征辅助的特征对齐模型,高效地检索出受损的行人图像在正常行人数据库中相同身份的正常图像,提高行人再识别方法在实际应用场景中的鲁棒性。
为了达到上述目的,本发明采用以下技术方案:
本发明一方面提供了基于文本辅助特征对齐模型的受损行人图像再识别方法,包括下述步骤:
构建文本辅助特征对齐模型,所述文本辅助特征对齐模型包括深度卷积神经网络-Normal、深度卷积神经网络-Corrupted、全局平均池化层、双向门控循环单元和损失函数层,所述深度卷积神经网络-Normal和深度卷积神经网络-Corrupted的网络结构相同,由多个不同大小的卷积层模块组成,所述全局平均池化层对输入到特征图的每一个通道进行均值化处理,将高维的特征图展平成一维的特征向量,所述双向门控循环单元由两个结构相同的门控循环单元组成,通过可以学习的重置门和更新门来控制信息流动,改变隐藏状态,损失函数层由多个损失函数组成,包括有分类损失函数、跨模态相似度误差函数和特征对齐损失函数;
对文本辅助特征对齐模型进行训练,训练过程分为两个阶段,第一阶段为语句层面特征提取,第二阶段为名词短语层面特征对齐;
将测试集中的受损图像输入到深度卷积神经网络-Corrupted以及全局平均池化层中提取得到受损图像特征向量;
将参考集中的正常图像输入到深度卷积神经网络-Normal以及全局平均池化层中提取得到未受损图像特征向量;
使用测试集提取得到的受损特征向量与参考集提取得到的未受损特征向量进行相似度计算,首先计算测试集受损特征向量与参考集所有未受损特征向量之间的欧式距离,找到欧式距离最小的参考集特征向量,将该参考集特征向量的身份标签标注在测试集受损特征的输入受损行人图像上。
作为优选的技术方案,所述语句层面特征提取具体为:
语句层面文本特征提取,将行人文本描述t映射成词向量,将词向量输入到双向门控循环单元Bi-GRU中提取文本特征;
将正常图像xN输入到深度卷积神经网络-Normal中,再经过全局平均池化层处理,得到512维的正常视觉特征向量fi N;将受损图像xC输入到深度卷积神经网络-Corrupted中,再经过全局平均池化层处理,得到512维的受损视觉特征向量fi C;
为了能让卷积神经网络和双向门控循环单元生成具有可鉴别性的特征向量,利用数据的身份标签计算这三种特征向量的分类损失Lid;
为了能让正常视觉特征向量fi N和受损视觉特征向量fi C在特征空间中与文本特征fi T有相似的关联性,提供一个跨模态相似度误差函数来对其进行约束,正常视觉特征向量fi N,受损视觉特征向量fi C和语句层面的文本特征fi T经过正则化处理后,分别计算视觉特征和文本特征之间的均方误差;
其中MSE(·,·)为均方误差计算,‖·‖为2-范数计算。
作为优选的技术方案,语句层面文本特征提取具体为:
其中,wt为第t个词向量,ht-1为处理完第t-1个词向量的Bi-GRU的隐藏层参数,右箭头表示正向序列,左箭头表示反向序列;将正向与反向的最终输出级联到一起,再经过一个全连接层的处理,得到语句层面的文本特征fi T,
作为优选的技术方案,所述分类损失Lid由交叉熵损失Lce和三元组损失Ltri组成。交叉熵损失Lce用来判定实际的输出与期望的输出的接近程度,计算公式为:
Ltri=max(d(a,p)-d(a,n)+m,0)
其中,d(·,·)为余弦距离度量函数,a为选定的锚点特征向量,p为同一类别的特征向量,n为不同类别的特征向量,m为允许的最小间隔,因此,分类损失Lid为:
Lid=Lce+Ltriplet。
作为优选的技术方案,所述名词短语层面特征对齐具体为:
利用第一阶段预训练好的深度卷积神经网络进行微调训练,提取特征向量,将正常图像xN输入到深度卷积神经网络-Normal中,再经过全局平均池化层处理,得到正常视觉特征向量fi N,将受损图像xC输入到深度卷积神经网络-Corrupted中,再经过全局平均池化层处理,得到受损视觉特征向量fi C;
分别计算正常视觉特征向量fi N和受损视觉特征向量fi C的分类损失Lid;
为了进一步对齐正常视觉特征向量fi N和受损视觉特征向量fi C的数据分布,减小两种特征向量之间的差异,采用特征对齐损失对其进行约束,从特征层面和标签预测层面分别进行对齐;
作为优选的技术方案,采用特征对齐损失对其进行约束,从特征层面和标签预测层面分别进行对齐,具体为:
要进行特征层面的对齐,首先计算特征间的实际匹配概率:
其中,当fi N和fj C拥有相同身份标签时mi,j=1,当fi N和fj C拥有不同身份标签时mi,j=0,再计算fi N和fj C的互相似概率:
其中,CS(·,·)为余弦相似度计算。最后通过计算互相似概率与实际匹配概率的KL散度,获得fi N和fj C的特征差异度:
最终的特征对齐损失为特征差异度与身份预测差异度之和:
Lalign=Lfeature+Lpredict。
作为优选的技术方案,所述加强不同模态间特征向量的关联程度,具体为:
本发明另一方面提供了基于文本辅助特征对齐模型的受损行人图像再识别系统,应用于所述的基于文本辅助特征对齐模型的受损行人图像再识别方法,包括模型构建模块、模型训练模块、第一特征向量提取模块、第二特征向量提取模块以及识别模块;
所述模型构建模块,用于构建文本辅助特征对齐模型,所述文本辅助特征对齐模型包括深度卷积神经网络-Normal、深度卷积神经网络-Corrupted、全局平均池化层、双向门控循环单元和损失函数层,所述深度卷积神经网络-Normal和深度卷积神经网络-Corrupted的网络结构相同,由多个不同大小的卷积层模块组成,所述全局平均池化层对输入到特征图的每一个通道进行均值化处理,将高维的特征图展平成一维的特征向量,所述双向门控循环单元由两个结构相同的门控循环单元组成,通过可以学习的重置门和更新门来控制信息流动,改变隐藏状态,损失函数层由多个损失函数组成,包括有分类损失函数、跨模态相似度误差函数和特征对齐损失函数;
所述模型训练模块,用于对文本辅助特征对齐模型进行训练,训练过程分为两个阶段,第一阶段为语句层面特征提取,第二阶段为名词短语层面特征对齐;
所述第一特征向量提取模块,用于将测试集中的受损图像输入到深度卷积神经网络-Corrupted以及全局平均池化层中提取得到受损图像特征向量;
所述第二特征向量提取模块,用于将参考集中的正常图像输入到深度卷积神经网络-Normal以及全局平均池化层中提取得到未受损图像特征向量;
所述识别模块,用于使用测试集提取得到的受损特征向量与参考集提取得到的未受损特征向量进行相似度计算,首先计算测试集受损特征向量与参考集所有未受损特征向量之间的欧式距离,找到欧式距离最小的参考集特征向量,将该参考集特征向量的身份标签标注在测试集受损特征的输入受损行人图像上。
本发明又一方面提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令,所述计算机程序指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行所述的基于文本辅助特征对齐模型的受损行人图像再识别方法。
本发明再一方面提供了一种计算机可读存储介质,存储有程序,所述程序被处理器执行时,实现所述的基于文本辅助特征对齐模型的受损行人图像再识别方法。
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明采用文本特征作为锚点,利用行人图像与行人文本描述之间的关联性,协助正常图像特征和受损图像特征进行对齐,提高正常图像特征和受损图像特征的相似性,减小环境干扰带来的影响。将文本特征作为锚点,相比于直接进行文本特征与图像特征的多模态融合,能够避免在模型测试过程中文本描述缺失导致模型无法使用的情况,拓宽了模型的应用场景。
(2)本发明将正常图像和受损图像视作两种不同类型的图像,利用不同的深度卷积神经网络来分别处理两种图像,能够有效获取图像中的关键信息,避免两种图像共用同一网络导致相互制约、降低获得的视觉特征的可鉴别性的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中行人再识别推理阶段流程图;
图2为本发明实施例基于文本辅助特征对齐模型的受损行人图像再识别方法的流程图;
图3为本发明实施例深度卷积神经网络结构图;
图4为本发明实施例门控循环单元单向结构图;
图5为本发明实施例模型训练第一阶段的流程图;
图6为本发明实施例模型训练第二阶段的流程图;
图7为本发明实施例测试集特征提取流程图;
图8为本发明实施例参考集特征提取流程图;
图9为本发明实施例行人身份识别结果显示示意图;
图10为本发明实施例基于文本辅助特征对齐模型的受损行人图像再识别系统的方框图;
图11为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
请参阅图1,为现有技术中行人再识别的部署时的推理流程图,具体包括:设置在公共场所中的监控摄像头捕获图像数据,使用行人检测算法检测图像中出现的行人并进行行人图像截取;将行人图像通过特征提取网络提取得到行人特征向量,将所需查询的行人特征向量与数据库中已知身份的行人特征进行相似度计算和特征匹配,与之相似度最高的特征的对应身份标识即为该查询行人图像的身份。
在实际应用场景中,由于各种不同的环境因素的干扰,会造成行人图像分辨率低、环境物体遮挡行人、图像光照异常等图像受损情形。这些图像受损问题会导致行人图像中能用于行人匹配的有效信息的丢失,最终提取得到的特征向量含有的信息量远少于正常图像特征所含有的信息量。而在进行特征向量匹配时,信息量的不一致会影响匹配的准确率,从而导致行人再识别模型的检索性能下降。本发明提出的基于文本辅助特征对齐模型的受损行人图像再识别方法采用基于跨模态特征辅助的特征对齐模型,用于解决行人再识别领域的行人图像受损问题。行人再识别技术用于实现不同摄像机间的行人追踪任务,其目的是对出现在监控摄像头视域内的某个目标行人,在监控网络其他摄像头视域内的大量行人样本中快速准确地将这个目标行人的身份标识出来。
请参阅图2,本实施例基于文本辅助特征对齐模型的受损行人图像再识别方法,包括下述步骤:
S1、构建文本辅助特征对齐模型。
所述文本辅助特征对齐模型包括深度卷积神经网络-Normal、深度卷积神经网络-Corrupted、全局平均池化层、双向门控循环单元和损失函数层;
S1.1、深度卷积神经网络-Normal和深度卷积神经网络-Corrupted的网络结构相同,由5个不同大小的卷积层模块组成,请参阅图3。
S1.2、全局平均池化层对输入到特征图的每一个通道进行均值化处理,将高维的特征图展平成一维的特征向量。
S1.3、双向门控循环单元由两个结构相同的门控循环单元组成,通过可以学习的重置门和更新门来控制信息流动,改变隐藏状态,请参阅图4。
S1.4、损失函数层由多个损失函数组成,包括有分类损失函数Lid、跨模态相似度误差函数Lsim、特征对齐损失函数Lalign。
S2、对文本辅助特征对齐模型进行训练,训练过程分为两个阶段,第一阶段为语句层面特征提取,第二阶段为名词短语层面特征对齐;模型的训练如图2所示,具体为:
S21、语句层面特征提取协助,请参阅图5,具体为:
S211、语句层面文本特征提取;将行人文本描述t映射成300维的词向量,将词向量输入到双向门控循环单元Bi-GRU中提取文本特征,具体如下:
其中,wt为第t个词向量,ht-1为处理完第t-1个词向量的Bi-GRU的隐藏层参数,右箭头表示正向序列,左箭头表示反向序列,将正向与反向的最终输出级联到一起,再经过一个全连接层的处理,得到语句层面的文本特征fi T:
S212、将正常图像xN输入到深度卷积神经网络-Normal中,再经过全局平均池化层处理,得到512维的正常视觉特征向量fi N。将受损图像xC输入到深度卷积神经网络-Corrupted中,再经过全局平均池化层处理,得到512维的受损视觉特征向量fi C。
S213、为了能让卷积神经网络和双向门控循环单元生成具有可鉴别性的特征向量,本发明利用数据的身份标签计算这三种特征向量的分类损失Lid,分类损失Lid由交叉熵损失Lce和三元组损失Ltri组成,交叉熵损失Lce用来判定实际的输出与期望的输出的接近程度,计算公式为:
Ltri=max(d(a,p)-d(a,n)+m,0)
其中,d(·,·)为余弦距离度量函数,a为选定的锚点特征向量,p为同一类别的特征向量,n为不同类别的特征向量,m为允许的最小间隔;因此,分类损失Lid为:
Lid=Lce+Ltriplet
S214、此外,为了能让正常视觉特征向量fi N和受损视觉特征向量fi C在特征空间中与文本特征fi T有相似的关联性,本发明提供一个跨模态相似度误差函数来对其进行约束,正常视觉特征向量fi N,受损视觉特征向量fi C和语句层面的文本特征fi T经过正则化处理后,分别计算视觉特征和文本特征之间的均方误差,具体为:
其中,MSE(·,·)为均方误差计算,‖·‖为2-范数计算。
S22、名词短语层面特征对齐协助,请参阅图6,具体为;
S221、利用第一阶段预训练好的深度卷积神经网络进行微调训练,提取特征向量;将正常图像xN输入到深度卷积神经网络-Normal中,再经过全局平均池化层处理,得到正常视觉特征向量fi N;将受损图像xC输入到深度卷积神经网络-Corrupted中,再经过全局平均池化层处理,得到受损视觉特征向量fi C。
S222、分别计算正常视觉特征向量fi N和受损视觉特征向量fi C的分类损失Lid。
S223、为了进一步对齐正常视觉特征向量fi N和受损视觉特征向量fi C的数据分布,减小两种特征向量之间的差异,使用一个特征对齐损失对其进行约束;本发明从特征层面和标签预测层面分别进行对齐。
进一步的,要进行特征层面的对齐,首先计算特征间的实际匹配概率:
其中,当fi N和fj C拥有相同身份标签时mi,j=1,当fi N和fj C拥有不同身份标签时mi,j=0,再计算fi N和fj C的互相似概率:
其中,CS(·,·)为余弦相似度计算。最后通过计算互相似概率与实际匹配概率的KL散度,获得fi N和fj C的特征差异度:
最终的特征对齐损失为特征差异度与身份预测差异度之和:
Lalign=Lfeature+Lpredict
S225、将名词短语的特征向量正常视觉特征向量fi N和受损视觉特征向量fi C输入到模态间关联性模块中加强不同模态间特征向量的关联程度。首先计算正常视觉特征向量fi N与各个名词短语特征向量的关联因子:
S3、测试集特征向量提取,请参阅图7,截图为:
将测试集中的受损图像输入到深度卷积神经网络-Corrupted以及全局平均池化层中提取得到受损图像特征向量;
S4、参考集特征向量提取,请参阅图8,具体为:
将参考集中的正常图像输入到深度卷积神经网络-Normal以及全局平均池化层中提取得到未受损图像特征向量;
S5、使用测试集提取得到的受损特征向量与参考集提取得到的未受损特征向量进行相似度计算,首先计算测试集受损特征向量与参考集所有未受损特征向量之间的欧式距离,找到欧式距离最小的参考集特征向量,将该参考集特征向量的身份标签标注在测试集受损特征的输入受损行人图像上。
请参阅图9,通过本发明的实施例,需要辨别身份的行人图像输入到文本辅助特征对齐模型中,该图像会被提取特征,然后与数据库中的行人图像特征进行匹配,模型输入相似度最高的前五张行人图像作为查询结果,显示顺序按相似度由高到低进行排列。
本发明从特征层面上进行图像特征的对齐,解决图像层面无法进行有效修复的问题。引入行人的文本描述信息,其提供的先验信息能有效减小正常图像和受损图像之间的信息差,文本描述信息的跨摄像头一致性完美适配行人再识别任务,能够在不同的摄像头之间提供共享信息,有助于不同摄像头获取图像的关键信息提取。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的基于文本辅助特征对齐模型的受损行人图像再识别方法相同的思想,本发明还提供了基于文本辅助特征对齐模型的受损行人图像再识别系统,该系统可用于执行上述基于文本辅助特征对齐模型的受损行人图像再识别方法。为了便于说明,基于文本辅助特征对齐模型的受损行人图像再识别系统实施例的结构示意图中,仅仅示出了与本发明实施例相关的部分,本领域技术人员可以理解,图示结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
请参阅图10,在本申请的另一个实施例中,提供了一种基于文本辅助特征对齐模型的受损行人图像再识别系统100,该系统包括模型构建模块101、模型训练模块102、第一特征向量提取模块103、第二特征向量提取模块104以及识别模块105;
所述模型构建模块101,用于构建文本辅助特征对齐模型,所述文本辅助特征对齐模型包括深度卷积神经网络-Normal、深度卷积神经网络-Corrupted、全局平均池化层、双向门控循环单元和损失函数层,所述深度卷积神经网络-Normal和深度卷积神经网络-Corrupted的网络结构相同,由多个不同大小的卷积层模块组成,所述全局平均池化层对输入到特征图的每一个通道进行均值化处理,将高维的特征图展平成一维的特征向量,所述双向门控循环单元由两个结构相同的门控循环单元组成,通过可以学习的重置门和更新门来控制信息流动,改变隐藏状态,损失函数层由多个损失函数组成,包括有分类损失函数、跨模态相似度误差函数和特征对齐损失函数;
所述模型训练模块102,用于对文本辅助特征对齐模型进行训练,训练过程分为两个阶段,第一阶段为语句层面特征提取,第二阶段为名词短语层面特征对齐;
所述第一特征向量提取模块103,用于将测试集中的受损图像输入到深度卷积神经网络-Corrupted以及全局平均池化层中提取得到受损图像特征向量;
所述第二特征向量提取模块104,用于将参考集中的正常图像输入到深度卷积神经网络-Normal以及全局平均池化层中提取得到未受损图像特征向量;
所述识别模块105,用于使用测试集提取得到的受损特征向量与参考集提取得到的未受损特征向量进行相似度计算,首先计算测试集受损特征向量与参考集所有未受损特征向量之间的欧式距离,找到欧式距离最小的参考集特征向量,将该参考集特征向量的身份标签标注在测试集受损特征的输入受损行人图像上。
需要说明的是,本发明的基于文本辅助特征对齐模型的受损行人图像再识别系统与本发明的基于文本辅助特征对齐模型的受损行人图像再识别方法一一对应,在上述基于文本辅助特征对齐模型的受损行人图像再识别方法的实施例阐述的技术特征及其有益效果均适用于基于文本辅助特征对齐模型的受损行人图像再识别的实施例中,具体内容可参见本发明方法实施例中的叙述,此处不再赘述,特此声明。
此外,上述实施例的基于文本辅助特征对齐模型的受损行人图像再识别系统的实施方式中,各程序模块的逻辑划分仅是举例说明,实际应用中可以根据需要,例如出于相应硬件的配置要求或者软件的实现的便利考虑,将上述功能分配由不同的程序模块完成,即将所述基于文本辅助特征对齐模型的受损行人图像再识别系统的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。
请参阅图11,在一个实施例中,提供了一种实现基于文本辅助特征对齐模型的受损行人图像再识别方法的电子设备,所述电子设备200可以包括第一处理器201、第一存储器202和总线,还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序,如基于文本辅助特征对齐模型的受损行人图像再识别程序203。
其中,所述第一存储器202至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元,例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备,例如电子设备200上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据,例如基于文本辅助特征对齐模型的受损行人图像再识别程序203的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器201在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述第一存储器202内的程序或者模块,以及调用存储在所述第一存储器202内的数据,以执行电子设备200的各种功能和处理数据。
图11仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图11示出的结构并不构成对所述电子设备200的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
所述电子设备200中的所述第一存储器202存储的基于文本辅助特征对齐模型的受损行人图像再识别程序203是多个指令的组合,在所述第一处理器201中运行时,可以实现:
构建文本辅助特征对齐模型,所述文本辅助特征对齐模型包括深度卷积神经网络-Normal、深度卷积神经网络-Corrupted、全局平均池化层、双向门控循环单元和损失函数层,所述深度卷积神经网络-Normal和深度卷积神经网络-Corrupted的网络结构相同,由多个不同大小的卷积层模块组成,所述全局平均池化层对输入到特征图的每一个通道进行均值化处理,将高维的特征图展平成一维的特征向量,所述双向门控循环单元由两个结构相同的门控循环单元组成,通过可以学习的重置门和更新门来控制信息流动,改变隐藏状态,损失函数层由多个损失函数组成,包括有分类损失函数、跨模态相似度误差函数和特征对齐损失函数;
对文本辅助特征对齐模型进行训练,训练过程分为两个阶段,第一阶段为语句层面特征提取,第二阶段为名词短语层面特征对齐;
将测试集中的受损图像输入到深度卷积神经网络-Corrupted以及全局平均池化层中提取得到受损图像特征向量;
将参考集中的正常图像输入到深度卷积神经网络-Normal以及全局平均池化层中提取得到未受损图像特征向量;
使用测试集提取得到的受损特征向量与参考集提取得到的未受损特征向量进行相似度计算,首先计算测试集受损特征向量与参考集所有未受损特征向量之间的欧式距离,找到欧式距离最小的参考集特征向量,将该参考集特征向量的身份标签标注在测试集受损特征的输入受损行人图像上。
进一步地,所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.基于文本辅助特征对齐模型的受损行人图像再识别方法,其特征在于,包括下述步骤:
构建文本辅助特征对齐模型,所述文本辅助特征对齐模型包括深度卷积神经网络-Normal、深度卷积神经网络-Corrupted、全局平均池化层、双向门控循环单元和损失函数层,所述深度卷积神经网络-Normal和深度卷积神经网络-Corrupted的网络结构相同,由多个不同大小的卷积层模块组成,所述全局平均池化层对输入到特征图的每一个通道进行均值化处理,将高维的特征图展平成一维的特征向量,所述双向门控循环单元由两个结构相同的门控循环单元组成,通过可以学习的重置门和更新门来控制信息流动,改变隐藏状态,损失函数层由多个损失函数组成,包括有分类损失函数、跨模态相似度误差函数和特征对齐损失函数;
对文本辅助特征对齐模型进行训练,训练过程分为两个阶段,第一阶段为语句层面特征提取,第二阶段为名词短语层面特征对齐;
将测试集中的受损图像输入到深度卷积神经网络-Corrupted以及全局平均池化层中提取得到受损图像特征向量;
将参考集中的正常图像输入到深度卷积神经网络-Normal以及全局平均池化层中提取得到未受损图像特征向量;
使用测试集提取得到的受损特征向量与参考集提取得到的未受损特征向量进行相似度计算,首先计算测试集受损特征向量与参考集所有未受损特征向量之间的欧式距离,找到欧式距离最小的参考集特征向量,将该参考集特征向量的身份标签标注在测试集受损特征的输入受损行人图像上。
2.根据权利要求1所述基于文本辅助特征对齐模型的受损行人图像再识别方法,其特征在于,所述语句层面特征提取具体为:
语句层面文本特征提取,将行人文本描述t映射成词向量,将词向量输入到双向门控循环单元Bi-GRU中提取文本特征;
将正常图像xN输入到深度卷积神经网络-Normal中,再经过全局平均池化层处理,得到512维的正常视觉特征向量将受损图像xC输入到深度卷积神经网络-Corrupted中,再经过全局平均池化层处理,得到512维的受损视觉特征向量
为了能让卷积神经网络和双向门控循环单元生成具有可鉴别性的特征向量,利用数据的身份标签计算这三种特征向量的分类损失Lid;
为了能让正常视觉特征向量和受损视觉特征向量在特征空间中与文本特征有相似的关联性,提供一个跨模态相似度误差函数来对其进行约束,正常视觉特征向量受损视觉特征向量和语句层面的文本特征经过正则化处理后,分别计算视觉特征和文本特征之间的均方误差;
其中MSE(·,·)为均方误差计算,‖·‖为2-范数计算。
4.根据权利要求2所述基于文本辅助特征对齐模型的受损行人图像再识别方法,其特征在于,所述分类损失Lid由交叉熵损失Lce和三元组损失Ltri组成。交叉熵损失Lce用来判定实际的输出与期望的输出的接近程度,计算公式为:
Ltri=max(d(a,p)-d(a,n)+m,0)
其中,d(·,·)为余弦距离度量函数,a为选定的锚点特征向量,p为同一类别的特征向量,n为不同类别的特征向量,m为允许的最小间隔,因此,分类损失Lid为:
Lid=Lce+Ltriplet。
5.根据权利要求1所述基于文本辅助特征对齐模型的受损行人图像再识别方法,其特征在于,所述名词短语层面特征对齐具体为:
利用第一阶段预训练好的深度卷积神经网络进行微调训练,提取特征向量,将正常图像xN输入到深度卷积神经网络-Normal中,再经过全局平均池化层处理,得到正常视觉特征向量将受损图像xC输入到深度卷积神经网络-Corrupted中,再经过全局平均池化层处理,得到受损视觉特征向量
6.根据权利要求5所述基于文本辅助特征对齐模型的受损行人图像再识别方法,其特征在于,采用特征对齐损失对其进行约束,从特征层面和标签预测层面分别进行对齐,具体为:
要进行特征层面的对齐,首先计算特征间的实际匹配概率:
最终的特征对齐损失为特征差异度与身份预测差异度之和:
Lalign=Lfeature+Lpredict。
8.基于文本辅助特征对齐模型的受损行人图像再识别系统,其特征在于,应用于权利要求1-7中任一项所述的基于文本辅助特征对齐模型的受损行人图像再识别方法,包括模型构建模块、模型训练模块、第一特征向量提取模块、第二特征向量提取模块以及识别模块;
所述模型构建模块,用于构建文本辅助特征对齐模型,所述文本辅助特征对齐模型包括深度卷积神经网络-Normal、深度卷积神经网络-Corrupted、全局平均池化层、双向门控循环单元和损失函数层,所述深度卷积神经网络-Normal和深度卷积神经网络-Corrupted的网络结构相同,由多个不同大小的卷积层模块组成,所述全局平均池化层对输入到特征图的每一个通道进行均值化处理,将高维的特征图展平成一维的特征向量,所述双向门控循环单元由两个结构相同的门控循环单元组成,通过可以学习的重置门和更新门来控制信息流动,改变隐藏状态,损失函数层由多个损失函数组成,包括有分类损失函数、跨模态相似度误差函数和特征对齐损失函数;
所述模型训练模块,用于对文本辅助特征对齐模型进行训练,训练过程分为两个阶段,第一阶段为语句层面特征提取,第二阶段为名词短语层面特征对齐;
所述第一特征向量提取模块,用于将测试集中的受损图像输入到深度卷积神经网络-Corrupted以及全局平均池化层中提取得到受损图像特征向量;
所述第二特征向量提取模块,用于将参考集中的正常图像输入到深度卷积神经网络-Normal以及全局平均池化层中提取得到未受损图像特征向量;
所述识别模块,用于使用测试集提取得到的受损特征向量与参考集提取得到的未受损特征向量进行相似度计算,首先计算测试集受损特征向量与参考集所有未受损特征向量之间的欧式距离,找到欧式距离最小的参考集特征向量,将该参考集特征向量的身份标签标注在测试集受损特征的输入受损行人图像上。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令,所述计算机程序指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的基于文本辅助特征对齐模型的受损行人图像再识别方法。
10.一种计算机可读存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1-7任一项所述的基于文本辅助特征对齐模型的受损行人图像再识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210242707.8A CN114596588B (zh) | 2022-03-11 | 2022-03-11 | 基于文本辅助特征对齐模型的受损行人图像再识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210242707.8A CN114596588B (zh) | 2022-03-11 | 2022-03-11 | 基于文本辅助特征对齐模型的受损行人图像再识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114596588A true CN114596588A (zh) | 2022-06-07 |
CN114596588B CN114596588B (zh) | 2024-05-31 |
Family
ID=81817358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210242707.8A Active CN114596588B (zh) | 2022-03-11 | 2022-03-11 | 基于文本辅助特征对齐模型的受损行人图像再识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114596588B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116226319A (zh) * | 2023-05-10 | 2023-06-06 | 浪潮电子信息产业股份有限公司 | 一种混合异构模型训练方法、装置、设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110909673A (zh) * | 2019-11-21 | 2020-03-24 | 河北工业大学 | 一种基于自然语言描述的行人再识别方法 |
WO2021223323A1 (zh) * | 2020-05-06 | 2021-11-11 | 首都师范大学 | 一种中文视觉词汇表构建的图像内容自动描述方法 |
CN114022381A (zh) * | 2021-08-30 | 2022-02-08 | 上海大学 | 一种双目图像自修复网络模型的训练方法 |
-
2022
- 2022-03-11 CN CN202210242707.8A patent/CN114596588B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110909673A (zh) * | 2019-11-21 | 2020-03-24 | 河北工业大学 | 一种基于自然语言描述的行人再识别方法 |
WO2021223323A1 (zh) * | 2020-05-06 | 2021-11-11 | 首都师范大学 | 一种中文视觉词汇表构建的图像内容自动描述方法 |
CN114022381A (zh) * | 2021-08-30 | 2022-02-08 | 上海大学 | 一种双目图像自修复网络模型的训练方法 |
Non-Patent Citations (1)
Title |
---|
郑烨;赵杰煜;王翀;张毅;: "基于姿态引导对齐网络的局部行人再识别", 计算机工程, no. 05, 15 May 2020 (2020-05-15) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116226319A (zh) * | 2023-05-10 | 2023-06-06 | 浪潮电子信息产业股份有限公司 | 一种混合异构模型训练方法、装置、设备及可读存储介质 |
CN116226319B (zh) * | 2023-05-10 | 2023-08-04 | 浪潮电子信息产业股份有限公司 | 一种混合异构模型训练方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114596588B (zh) | 2024-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110414432B (zh) | 对象识别模型的训练方法、对象识别方法及相应的装置 | |
Gavrila | Pedestrian detection from a moving vehicle | |
Garcia-Fidalgo et al. | Hierarchical place recognition for topological mapping | |
CN109558823B (zh) | 一种以图搜图的车辆识别方法及系统 | |
Lee et al. | Place recognition using straight lines for vision-based SLAM | |
CN109034086B (zh) | 车辆重识别方法、装置及系统 | |
CN114419672A (zh) | 基于一致性学习的跨场景持续学习的行人再识别方法及装置 | |
Das et al. | Automated Indian sign language recognition system by fusing deep and handcrafted feature | |
CN113343985B (zh) | 车牌识别方法和装置 | |
CN112634369A (zh) | 空间与或图模型生成方法、装置、电子设备和存储介质 | |
CN111104941B (zh) | 图像方向纠正方法、装置及电子设备 | |
CN114049512A (zh) | 模型蒸馏方法、目标检测方法、装置及电子设备 | |
Zhang et al. | DetReco: Object‐Text Detection and Recognition Based on Deep Neural Network | |
Wang et al. | Online visual place recognition via saliency re-identification | |
Zhang et al. | Appearance-based loop closure detection via locality-driven accurate motion field learning | |
CN116311279A (zh) | 样本图像的生成、模型训练、字符识别方法、设备及介质 | |
CN114332893A (zh) | 表格结构识别方法、装置、计算机设备和存储介质 | |
Eom et al. | Temporally consistent depth prediction with flow-guided memory units | |
CN116912541A (zh) | 模型训练及图像检测方法、装置、电子设备及存储介质 | |
CN114596588B (zh) | 基于文本辅助特征对齐模型的受损行人图像再识别方法及装置 | |
Liu et al. | SLPR: A deep learning based Chinese ship license plate recognition framework | |
Guan et al. | Lightweight attention network for very high-resolution image semantic segmentation | |
Xiao et al. | Robust license plate detection and recognition with automatic rectification | |
Lv et al. | Memory‐augmented neural networks based dynamic complex image segmentation in digital twins for self‐driving vehicle | |
Abdallah et al. | Multi-vehicle tracking using heterogeneous neural networks for appearance and motion features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |