CN111967314A - 行人重识别方法、装置、电子设备及存储介质 - Google Patents

行人重识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111967314A
CN111967314A CN202010658452.4A CN202010658452A CN111967314A CN 111967314 A CN111967314 A CN 111967314A CN 202010658452 A CN202010658452 A CN 202010658452A CN 111967314 A CN111967314 A CN 111967314A
Authority
CN
China
Prior art keywords
pedestrian
feature
features
visible light
infrared light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010658452.4A
Other languages
English (en)
Other versions
CN111967314B (zh
Inventor
刘伟舟
胡晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010658452.4A priority Critical patent/CN111967314B/zh
Publication of CN111967314A publication Critical patent/CN111967314A/zh
Application granted granted Critical
Publication of CN111967314B publication Critical patent/CN111967314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了行人重识别方法、装置，该方法包括：获取待重识别的行人的可见光行人图像和红外光行人图像；将获取的待重识别的行人的可见光行人图像和该红外光行人图像输入到多模态融合识别网络，得到该行人的行人重识别结果，多模态融合识别网络被配置为：将从该可见光行人图像提取的该行人的可见光行人特征和从该红外光行人图像提取的该行人的红外光行人特征进行融合，得到该行人的双光融合行人特征；基于该行人的多模态行人特征和预设特征底库中的多个行人特征，对该行人进行行人重识别，得到该行人的行人重识别结果。全天候对待重识别的行人进行较为准确的行人重识别并且提升行人重识别结果的准确性。

Description

行人重识别方法、装置、电子设备及存储介质
技术领域
本申请涉及领域，具体涉及行人重识别方法、装置、电子设备及存储介质。
背景技术
行人重识别技术能够跨摄像头进行特定行人进行识别与追踪的技术。目前，通常采用的方式为基于从可见光图像中提取的待重识别行人的可见光行人特征进行行人重识别。
相对于在光线较亮的情况下例如白天时间段提取出的待重识别行人的可见光行人特征，在光线的亮度较暗的情况下例如夜晚时间段提取出的待重识别行人的可见光行人特征的准确性较低，导致上述方式仅能在光线较亮的情况下具有较好的行人重识别的效果，而在光线较暗的情况下行人重识别的效果不佳。
发明内容
本申请实施例提供一种行人重识别方法、装置、电子设备及存储介质。
本申请实施例提供一种行人重识别方法，包括：
获取待重识别的行人的可见光行人图像和红外光行人图像；
将所述可见光行人图像和所述红外光行人图像输入到多模态融合识别网络，得到所述行人的行人重识别结果，其中，所述多模态融合识别网络被配置为：
从所述可见光行人图像提取所述行人的可见光行人特征；
从所述红外光行人图像提取所述行人的红外光行人特征；
将所述行人的可见光行人特征和所述行人的红外光行人特征进行融合，得到所述行人的双光融合行人特征；
基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果，所述行人的多模态行人特征包括：所述行人的可见光行人特征、所述行人的红外光行人特征、所述行人的双光融合行人特征。
本申请实施例提供一种行人重识别装置，包括：
获取单元，被配置为获取待重识别的行人的可见光行人图像和红外光行人图像；
重识别单元，被配置为将所述可见光行人图像和所述红外光行人图像输入到多模态融合识别网络，得到所述行人的行人重识别结果，其中，所述多模态融合识别网络被配置为：从所述可见光行人图像提取所述行人的可见光行人特征；从所述红外光行人图像提取所述行人的红外光行人特征；将所述行人的可见光行人特征和所述行人的红外光行人特征进行融合，得到所述行人的双光融合行人特征；基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果，所述行人的多模态行人特征包括：所述行人的可见光行人特征、所述行人的红外光行人特征、所述行人的双光融合行人特征。
本申请实施例提供的行人重识别方法、装置，实现了基于待重识别行人的多模态行人特征和预设特征底库中的多个行人特征，对待重识别的行人进行行人重识别，待重识别行人的多模态行人特征不仅包括待重识别行人的可见光行人特征，还包括待重识别行人的不受光线亮度影响的红外光行人特征、待重识别行人的与可见光行人特征和红外光行人特征相关联的双光融合行人特征。
一方面，提升在光线较暗的情况下进行行人重识得到的行人重识别结果的准确性，可以全天候对待重识别的行人进行较为准确的行人重识别。另一方面，利用待重识别的行人多模态行人特征进行行人重识别，可以更加全面地评估待重识别的行人与行人特征所属的行人的相似性，提升行人重识别结果的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1示出了本申请实施例提供的行人重识别方法的流程图；
图2示出了在一个示例性场景下进行行人重识别的流程示意图；
图3示出了在另一个示例性场景下进行行人重识别的流程示意图；
图4示出了本申请实施例提供的行人重识别装置的结构框图；
图5示出了本申请实施例提供的电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本申请实施例提供的行人重识别方法的流程图，该方法包括：
步骤101，获取待重识别的行人的可见光行人图像和红外光行人图像。
在本申请中，对于一个待重识别的行人，获取的该待重识别的行人的可见光行人图像可以来自由可见光相机采集的该待重识别的行人的可见光行人图像所属的可见光图像。获取的该待重识别的行人的红外光行人图像可以可以来自由红外光相机采集的该待重识别的行人的红外光行人图像中所属的红外光图像。
在本申请中，获取到的待重识别的行人的可见光行人图像所属的可见光图像和获取到待重识别的行人的红外光行人图像中所属的红外光图像在时域上对齐，即采集时刻相同。相应的，获取到的待重识别的行人的可见光行人图像和获取到待重识别的行人的红外光行人图像在时域上对齐。
对于一个待重识别的行人，获取到的该待重识别的行人的可见光行人图像可以被从该待重识别的行人的可见光行人图像所属的可见光图像中提取出，该待重识别的行人的可见光行人图像为该待重识别的行人的可见光行人图像所属的可见光图像的子图像。在待重识别的行人的可见光行人图像中，仅包括该待重识别的行人。
对于一个待重识别的行人，该待重识别的行人的红外光行人图像可以被从该待重识别的行人的红外光行人图像所属的红外光图像中提取出。该待重识别的行人的红外光行人图像为待重识别的行人的红外光行人图像所属的红外光图像的子图像。在待重识别的行人的红外光行人图像中，仅包括该待重识别的行人。
由于获取到的待重识别的行人的可见光行人图像所属的可见光图像和获取到的待重识别的行人的红外光行人图像中所属的红外光图像在时域上对齐，相应的，待重识别的行人的可见光行人图像和待重识别的行人的红外光行人图像在时域上对齐。
对于一个待重识别的行人，可以利用用于检测可见光行人图像中的行人的可见光行人检测网络例如用于检测可见光行人图像中的行人的Mask R-CNN，对待重识别的行人的可见光行人图像所属的可见光图像进行行人检测。从该可见光图像检测出的所有行人包括该待重识别的行人。针对该可见光图像，可见光行人检测网络的输出包括包围该待重识别的行人的行人框的坐标。该可见光图像中的包围该待重识别的行人的行人框占据的区域的图像为该待重识别的行人的可见光行人图像，可以从该可见光图像中的包围该待重识别的行人的行人框占据的区域提取出该待重识别的行人的可见光行人图像。
同时，可以利用用于检测红外光图像行人图像中的行人的红外光图像行人检测网络，对与该待重识别的行人的可见光行人图像所属的可见光图像在时域上对齐的红外光图像进行检测，从该红外光图像检测出的所有行人包括该待重识别的行人。针对该红外光图像，红外光图像行人检测网络的输出包括包围该待重识别的行人的行人框的坐标。该红外光图像中的包围该待重识别的行人的行人框占据的区域的图像为该待重识别的行人的红外光行人图像。可以从该红外光图像中的包围该待重识别的行人的行人框占据的区域提取出该待重识别的行人的红外光行人图像。
在一些实施例中，在获取待重识别的行人的可见光行人图像和红外光行人图像之前，还包括：对待重识别的行人的可见光行人图像所属的可见光视频流和待重识别的行人的红外光行人图像所属的红外光视频流进行空域对齐处理。
待重识别的行人的可见光行人图像可以被从待重识别的行人的可见光行人图像所属的可见光图像中提取出，待重识别的行人的可见光行人图像所属的可见光视频流为该可见光图像所属的可见光视频流。
待重识别的行人的红外光行人图像可以被从待重识别的行人的红外光行人图像所属的红外光图像中提取出，待重识别的行人的红外光行人图像所属的红外光视频流为该红外光图像所属的红外光视频流。
在对待重识别的行人的可见光行人图像所属的可见光视频流和待重识别的行人的红外光行人图像所属的红外光视频流进行空域对齐处理时，首先，从该可见光视频流和该红外光视频流中获取在时域上对齐的一个可见光图像和一个红外光图像。然后，检测该可见光图像中的关键点和该红外光图像中的关键点。例如，检测一个行人在该可见光图像中的骨架关键点和该行人在该红外光图像中的骨架关键点。根据该可见光图像中的关键点和该红外光图像中的关键点，计算仿射变换矩阵。
仿射变换矩阵可以用于对该可见光视频流和该红外光视频流中的任意两个在时域上对齐的可见光图像和红外光图像进行空域对齐。从而，使得该可见光视频流和该红外光视频流中的任意两个在时域上对齐的可见光图像和红外光图像在空域上对齐。从而，待重识别的行人的可见光行人图像所属的可见光视频流和待重识别的行人的红外光行人图像所属的红外光视频流在空域上对齐。
获取到的待重识别的行人的可见光行人图像所属的可见光图像和获取到待重识别的行人的红外光行人图像中所属的红外光图像在时域上对齐并且在空域上对齐，相应的，获取到的待重识别的行人的可见光行人图像获取到待重识别的行人的红外光行人图像在时域上对齐并且在空域上对齐。
在一些实施例中，获取待重识别的行人的可见光行人图像和红外光行人图像包括：获取待重识别的行人的红外光行人图像；利用红外光与可见光行人图像转换网络基于待重识别的行人的红外光行人图像，生成待重识别的行人的可见光行人图像。
在本申请中，在光线较暗的情况下例如夜晚时间段进行行人重识别，对于一个待重识别的行人，在获取该待重识别的行人的可见光行人图像和红外光行人图像时，可以从待重识别的行人的红外光行人图像所属的红外光图像提取该待重识别的行人的红外光行人图像。然后，可以利用红外光与可见光行人图像转换网络基于待重识别的行人的红外光行人图像，生成该待重识别的行人的可见光行人图像。
在利用红外光与可见光行人图像转换网络基于相应的红外光行人图像，生成相应的可见光行人图像之前，预先对红外光与可见光行人图像转换网络进行训练。
红外光与可见光行人图像转换网络可以为用于基于红外光行人图像生成可见光行人图像的生成对抗网络(Generative Adversarial Network，简称GAN)。
在对红外光与可见光行人图像转换网络进行训练时，可以利用匹配的匹配的双光数据，采用pix-to-pix方法，对用于基于红外光行人图像生成可见光行人图像GAN网络进行训练。
每一个匹配的双光数据由同一个行人的红外光行人图像和可见光行人图像组成。
每一次对用于基于红外光行人图像生成可见光行人图像的GAN网络进行训练，将匹配的双光数据中的行人的红外光行人图像作为该GAN网络的输入，将匹配的双光数据中的可见光行人图像作为该GAN网络的目标输出。
每一次对用于生成可见光行人图像的GAN网络进行训练，将匹配的双光数据中的行人的红外光行人图像输入到用于该GAN网络，由用于生成可见光行人图像的GAN网络输出预测的可见光行人图像，计算预测的可见光行人图像与目标输出之间的损失，基于该损失，更新该GAN网络中的参数的参数值。
步骤102，将待重识别的行人的可见光行人图像和红外光行人图像输入到多模态融合识别网络，得到待重识别的行人的行人重识别结果。
在本申请中，多模态融合识别网络为用于待重识别的行人进行行人重识别的神经网络。
多模态融合识别网络被配置为：从待重识别的行人的可见光行人图像提取待重识别的行人的可见光行人特征；从待重识别的行人的红外光行人图像提取待重识别的行人的红外光行人特征；将待重识别的行人的可见光行人特征和待重识别的行人的红外光行人特征进行融合，得到待重识别的行人的双光融合行人特征；基于待重识别的行人的多模态行人特征和预设特征底库中的多个行人特征，对待重识别的行人进行行人重识别，得到待重识别的行人的行人重识别结果，待重识别的行人的多模态行人特征包括：待重识别的行人的可见光行人特征、待重识别的行人的红外光行人特征、待重识别的行人的双光融合行人特征。
在本申请中，多模态融合识别网络可以包括用于从待重识别的行人的可见光行人图像提取待重识别的行人的可见光行人特征的卷积单元、用于的从待重识别的行人的红外光行人图像提取待重识别的行人的红外光行人特征卷积单元。
对于一个待重识别的行人，在多模态融合识别网络中，将待重识别的行人的可见光行人特征和待重识别的行人的红外光行人特征进行融合，得到待重识别的行人的双光融合行人特征时，可以首先由多模态融合识别网络中的用于将待重识别的行人的可见光行人特征和待重识别的行人的红外光行人特征映射到同一个特征空间的卷积单元，将该待重识别的行人的可见光行人特征和待重识别的行人的红外光行人特征映射到同一个特征空间，得到待重识别的行人的映射到特征空间的可见光行人特征和该待重识别的行人的映射到特征空间的红外光行人特征。
该待重识别的行人的映射到特征空间的可见光行人特征可以利用该特征空间的向量表示。该待重识别的行人的映射到特征空间的红外光行人特征可以利用该特征空间的向量表示。
该待重识别的行人的映射到特征空间的可见光行人特征和该待重识别的行人的映射到特征空间的红外光行人特征均利用同一形式的向量即该特征空间的向量表示，只是向量中的向量元素的取值不同。
在将该待重识别的行人的可见光行人特征和该待重识别的行人的红外光行人特征进行融合时，可以由多模态融合识别网络中的用于生成双光融合行人特征的单元将表示该待重识别的行人的映射到特征空间的可见光行人特征的向量和表示该待重识别的行人的映射到特征空间的红外光行人特征的向量进行融合，以得到该待重识别的行人的双光融合行人特征。
例如，可以对表示该待重识别的行人的映射到特征空间的可见光行人特征的向量和表示该待重识别的行人的映射到特征空间的红外光行人特征的向量中的同一个位置的向量元素的取值进行计算平均值、计算和、计算加权和等操作中的一个操作，得到表示待重识别的行人的双光融合行人特征的向量。表示待重识别的行人的双光融合行人特征的向量中的每一个向量元素的取值为对表示该待重识别的行人的映射到特征空间的可见光行人特征的向量和表示该待重识别的行人的映射到特征空间的红外光行人特征的向量中的同一个位置的向量元素的取值进行相应的计算得到的计算结果。
从而，将待重识别行人的可见光行人特征和行人的红外光行人特征进行融合，得到待重识别行人的双光融合行人特征。
在本申请中，在利用多模态融合识别网络提取待重识别的行人的多模态行人特征之前，预先对多模态融合识别网络进行训练。
每一次采用一组行人的双光匹配数据对多模态融合识别网络进行训练。
在一组行人图像可以由3个行人图像组合。其中，2个行人图像属于同一个行人，另一个行人图像属于与该2个行人图像所属的行人不同的行人。
每一次对多模态融合识别网络进行训练，对于一组行人中的每一个行人，由多模态融合识别网络提取该行人的用于训练的特征，该行人的用于训练的特征包括：该行人的可见光行人特征、该行人的红外光行人特征、该行人的双光融合行人特征。
每一次对多模态融合识别网络进行训练，计算一组行人图像对应的总损失，根据一组行人图像对应的总损失，更新模态融合识别网络的参数的参数值。根据一组行人图像对应的总损失，更新模态融合识别网络的参数的参数值的目的为：从属于同一行人的行人图像提取的行人特征之间的相似度越来越大，从属于不同的行人的行人图像提取的行人特征之间的相似度越来越小。
每一次对多模态融合识别网络进行训练，可以利用triplet loss损失函数分别计算一组行人图像的在可见光行人特征上的三元组损失、一组行人图像的在红外光行人特征上的三元组损失、一组行人图像的在双光融合行人特征上的三元组损失。
每一次对多模态融合识别网络进行训练，计算一组行人图像的可见光行人特征上的三元组损失、一组行人图像的在红外光行人特征上三元组损失、一组行人图像的在双光融合行人特征上的三元组损失的和或加权和，得到最终损失。根据最终损失进行反向传播，更新多模态融合识别网络中的参数的参数值。
多模态融合识别网络中的需要更新的所有参数可以包括但不限于：用于从待重识别的行人的可见光行人图像提取待重识别的行人的可见光行人特征的卷积单元中的参数、用于的从待重识别的行人的红外光行人图像提取待重识别的行人的红外光行人特征卷积单元中的参数、用于将待重识别的行人的可见光行人特征和待重识别的行人的红外光行人特征映射到同一个特征空间的卷积单元中的参数、由多模态融合识别网络中的用于生成双光融合行人特征的单元中的参数。
在一些实施例中，将待重识别的行人的可见光行人特征和该待重识别的行人的红外光行人特征进行融合，得到该待重识别的行人的双光融合行人特征包括：将该待重识别的行人的可见光行人特征和该待重识别的行人的红外光行人特征映射到同一个特征空间，得到该待重识别的行人的映射到特征空间的可见光行人特征和该待重识别的行人的映射到特征空间的红外光行人特征；将该待重识别的行人的映射到特征空间的可见光行人特征映射为高斯分布形式，得到该待重识别的行人的高斯分布形式的可见光行人特征，以及将该待重识别的行人的映射到特征空间的红外光行人特征映射为高斯分布形式，得到该待重识别的行人的高斯分布形式的红外光行人特征；将该待重识别的行人的高斯分布形式的可见光行人特征和该待重识别的行人的高斯分布形式的红外光行人特征进行融合，得到该待重识别的行人的双光融合行人特征。
在将待重识别的行人的映射到特征空间的可见光行人特征映射为高斯分布形式之后，组成待重识别的行人的高斯分布形式的可见光行人特征的特征元素的取值的分布为待重识别的行人的高斯分布形式的可见光行人特征对应的高斯分布。
待重识别的行人的高斯分布形式的可见光行人特征可以利用向量表示。
表示待重识别的行人的高斯分布形式的可见光行人特征中的向量元素的取值的分布为待重识别的行人的高斯分布形式的可见光行人特征对应的高斯分布。
在将待重识别的行人的映射到特征空间的红外光行人特征映射为高斯分布形式之后，组成待重识别的行人的高斯分布形式的红外光行人特征的特征元素的取值的分布为待重识别的行人的高斯分布形式的红外光行人特征对应的高斯分布。
待重识别的行人的高斯分布形式的红外光行人特征可以利用向量表示。
表示待重识别的行人的高斯分布形式的红外光行人特征中的向量元素的取值的分布为待重识别的行人的高斯分布形式的红外光行人特征对应的高斯分布。
多模态融合识别网络可以包括全连接网络。可以由多模态融合识别网络中的全连接网络将该待重识别的行人的映射到特征空间的可见光行人特征映射为高斯分布形式，以及将该待重识别的行人的映射到特征空间的红外光行人特征映射为高斯分布形式。
在利用全连接网络将待重识别的行人的映射到特征空间的可见光行人特征映射为高斯分布形式时，可以利用全连接网络基于表示该待重识别的行人的映射到特征空间的可见光行人特征的向量中的向量元素的取值，对待重识别的行人的高斯分布形式的可见光行人特征对应的高斯分布的方差进行估计，计算出该高斯分布的方差。待重识别的行人的高斯分布形式的可见光行人特征对应的高斯分布的均值可以直接采用映射到特征空间的可见光行人特征的向量中的向量元素的取值的平均值。在计算出该高斯分布的方差和该高斯分布的均值之后，可以确定该高斯分布，可以进一步生成特征元素的取值的分布符合该高斯分布的待重识别的行人的高斯分布形式的可见光行人特征。
在利用全连接网络将待重识别的行人的映射到特征空间的红外光行人特征映射为高斯分布形式时，可以利用全连接网络基于表示该待重识别的行人的映射到特征空间的红外光行人特征的向量中的向量元素的取值，对该待重识别的行人的高斯分布形式的红外光行人特征对应的高斯分布的方差进行估计，计算出该高斯分布的方差。待重识别的行人的高斯分布形式的红外光行人特征对应的高斯分布的均值可以直接采用映射到特征空间的红外光行人特征的向量中的向量元素的取值的平均值。在计算出该高斯分布的方差和该高斯分布的均值之后，可以确定该高斯分布，可以进一步生成特征元素的取值的分布符合该高斯分布的待重识别的行人的高斯分布形式的红外光行人特征。
在将待重识别的行人的高斯分布形式的可见光行人特征和待重识别的行人的高斯分布形式的红外光行人特征进行融合时，可以将表示待重识别的行人的高斯分布形式的可见光行人特征的向量和表示待重识别的行人的高斯分布形式的红外光行人特征的向量进行融合，以得到待重识别的行人的双光融合行人特征。
例如，可以对表示待重识别的行人的高斯分布形式的可见光行人特征的向量和表示待重识别的行人的高斯分布形式的红外光行人特征的向量中的同一个位置的向量元素的取值进行计算平均值、计算和、计算加权和等操作中的一个操作，得到表示待重识别的行人双光融合行人特征的向量。表示待重识别的行人的双光融合行人特征的向量中的每一个向量元素的取值为对表示待重识别的行人的高斯分布形式的可见光行人特征的向量和表示待重识别的行人的高斯分布形式的红外光行人特征的向量中的同一个位置的向量元素的取值进行相应的计算得到的计算结果。
从而，将待重识别的行人的高斯分布形式的可见光行人特征和待重识别的行人的高斯分布形式的红外光行人特征进行融合，得到待重识别的行人的双光融合行人特征。
在本申请中，在得到待重识别的行人的多模态行人特征之后，可以基于待重识别的行人的多模态行人特征和预设特征底库中的多个行人特征，对待重识别的行人进行行人重识别，得到待重识别的行人的行人重识别结果。
预设特征底库中的多个行人特征中的每一个行人特征各自属于一个预先被确定身份的行人。每一个预先被确定身份的行人各自具有一个行人标识即行人ID。
预设特征库中的行人特征可以包括可见光行人特征、红外光行人特征、双光融合行人特征。换言之，预设特征底库中的行人特征可以由行人特征所属的预先确定身份的行人的可见光行人特征、红外光行人特征、双光融合行人特征组成。
在预设特征库中的行人特征包括可见光行人特征、红外光行人特征、双光融合行人特征的情况下，得到行人特征中的双光融合行人特征的方式可以参考上述将待重识别的行人的可见光行人特征和待重识别的行人的红外光行人特征进行融合，得到待重识别的双光融合行人特征的方式。预先对于预设特征底库中的每一个行人特征，生成该行人特征中的双光融合行人特征。
在本申请中，在基于待重识别的行人的多模态行人特征和预设特征底库中的多个行人特征，对待重识别的行人进行行人重识别时，可以对于每一个行人特征，计算待重识别的行人的可见光行人特征与该行人特征中的可见光行人特征的相似度、待重识别的行人的红外光行人特征与该行人特征中的红外光行人特征的相似度、待重识别的行人的双光融合行人特征与该行人特征中的双光融合行人特征的相似度。
对于每一个行人特征，可以计算该行人特征对应的特征相似度平均值，将待重识别的行人的可见光行人特征与该行人特征中的可见光行人特征的相似度、待重识别的行人的红外光行人特征与该行人特征中的红外光行人特征的相似度、待重识别的行人的双光融合行人特征与该行人特征中的双光融合行人特征的相似度之和除以3，得到该行人特征对应的特征相似度平均值，可以将该行人特征对应的特征相似度平均值作为待重识别的行人与该行人特征的总相似度。
若多个行人特征仅包括一个与待重识别的行人的总相似度大于总相似度阈值的目标行人特征，则可以生成指示待重识别的行人与该目标行人特征所属的行人为同一个行人的行人重识别结果。
若多个行人特征包括多个与待重识别的行人的总相似度大于总相似度阈值的目标行人特征，则可以确定多个目标行人特征中的与待重识别的行人的总相似度最大的目标行人特征与待重识别的行人为同一个行人，可以生成指示该与待重识别的行人的总相似度最大的目标行人特征所属的行人与待重识别的行人为同一个行人的行人重识别结果。
在一些实施例中，预设特征底库中的行人特征包括：可见光行人特征、红外光行人特征、双光融合行人特征；基于待重识别的行人的多模态行人特征和预设特征底库中的多个行人特征，对待重识别的行人进行行人重识别，得到待重识别的行人的行人重识别结果包括：将所述行人的红外行人特征、可见光行人特征、双光融合行人特征分别与所述行人特征中的相同类型的特征进行匹配，以检索候选第一目标行人特征；当从所述多个行人特征中检索出至少一个候选第一目标行人特征时，确定至少一个候选第一目标行人特征中的第一目标行人特征，其中，候选第一目标行人特征至少包括两个匹配特征，每一个匹配特征分别与多模态行人特征中的一个特征匹配；生成指示所述行人与第一目标行人特征所属的行人为同一个行人的行人重识别结果。
在预设特征底库中的行人特征包括可见光行人特征、红外光行人特征、双光融合行人特征的情况下，换言之，在预设特征底库中的行人特征由行人特征所属的预先确定身份的行人的可见光行人特征、红外光行人特征、双光融合行人特征组成的情况下，对于每一个行人特征，可以将该行人特征与待重识别的行人的多模态行人特征中的同一类型的特征进行匹配，即将该行人特征中的可见光行人特征与待重识别的行人的可见光行人特征进行匹配、将该行人特征中的红外光行人特征与待重识别的行人的红外光行人特征进行匹配、将该行人特征中的双光融合行人特征与待重识别的行人的双光融合行人特征进行匹配。
对于待重识别的行人和预设特征底库中的一个行人特征，若该待重识别的行人的可见光行人特征与该行人特征中的可见光行人特征的相似度大于可见光行人特征相似度阈值，则该待重识别的行人的可见光行人特征与该行人特征中的可见光行人特征匹配。
对于待重识别的行人和预设特征底库中的一个行人特征，若该待重识别的行人的红外光行人特征与该行人特征中的红外光行人特征的相似度大于红外光行人特征相似度阈值，则该待重识别的行人的红外光行人特征与该行人特征中的红外光行人特征匹配。
对于待重识别的行人和预设特征底库中的一个行人特征，若该待重识别的行人的双光融合行人特征与该行人特征的双光融合行人特征的相似度大于双光融合行人特征相似度阈值，则该待重识别的行人的双光融合行人特征与该行人特征的双光融合行人特征匹配。
对于预设特征底库中的一个行人特征，若该行人特征中的一个特征与待重识别的行人的红外行人特征、可见光行人特征、双光融合行人特征中的一个特征匹配，则该行人特征中的一个特征可以称之为该行人特征中的一个匹配特征。
对于预设特征底库中的一个行人特征，若该行人特征至少包括两个匹配特征时，则该行人特征可以作为候选第一目标行人特征。换言之，对于预设特征底库中的一个行人特征，若该行人特征具有与待重识别的行人的红外行人特征、可见光行人特征、双光融合行人特征中的两个特征匹配的两个特征，则该行人特征可以作为候选第一目标行人特征。
例如，对于预设特征底库中的一个行人特征，若该行人特征中的红外行人特征与待重识别的行人的红外行人特征匹配，并且该行人特征中的可见光行人特征与待重识别的行人的可见光行人特征匹配，则该行人特征可以作为候选第一目标行人特征。
例如，若该行人特征中的红外行人特征与待重识别的行人的红外行人特征匹配，并且该行人特征中的双光融合行人特征与待重识别的行人的、双光融合行人特征匹配，则该行人特征可以作为候选第一目标行人特征。
例如，若该行人特征中的可见光行人特征与待重识别的行人的可见光行人特征匹配，并且该行人特征中的双光融合行人特征与待重识别的行人的双光融合行人特征匹配，则该行人特征可以作为候选第一目标行人特征。
若候选第一目标行人特征的数量为一个，则将候选第一目标行人特征确定为第一目标行人特征。
若候选第一目标行人特征的数量为多个，并且仅存在具有的两个特征与待重识别的行人的多模态行人特征中的两个特征匹配的候选第一目标行人特征，则可以对于每一个候选目标行人特征，计算该候选第一目标行人特征和待重识别的行人的多模态行人特征中的同一类型的特征的相似度的平均值，即将该候选第一目标行人特征和待重识别的行人的多模态行人特征中的同一类型的特征的相似度的和除以2，将该平均值作为该候选第一目标行人特征对应的相似度平均值。可以将对应的相似度平均值最大的候选第一目标行人特征确定为第一目标行人特征。
若候选第一目标行人特征的数量为多个，并且仅存在具有的三个特征与待重识别的行人的多模态行人特征中的三个特征匹配的候选第一目标行人特征，则可以对于每一个候选目标行人特征，计算该候选第一目标行人特征和待重识别的行人的多模态行人特征中的同一类型的特征的相似度的平均值，即将该候选目标行人特征和待重识别的行人的多模态行人特征中的同一类型的特征的相似度的和除以3，将该平均值作为该候选第一目标行人特征对应的相似度平均值。可以将对应的相似度平均值最大的候选第一目标行人特征确定为第一目标行人特征。
若候选第一目标行人特征的数量为多个，并且既存在具有的两个特征与待重识别的行人的多模态行人特征中的两个特征匹配的候选第一目标行人特征，也存在具有的三个特征与待重识别的行人的多模态行人特征中的三个特征匹配的候选第一目标行人特征，则从具有的三个特征与待重识别的行人的多模态行人特征中的三个特征匹配的所有候选第一目标行人特征选择出第一目标行人特征。
在一些实施例中，预设特征底库中的行人特征为红外光行人特征；基于行人的多模态行人特征和预设特征底库中的多个行人特征，对待重识别的行人进行行人重识别，得到待重识别的行人的行人重识别结果包括：在满足红外光行人特征匹配条件的情况下，生成指示待重识别的行人与第二目标行人特征所属的行人为同一个行人的行人重识别结果，红外光行人特征匹配条件为多个行人特征中存在第二目标行人特征并且待重识别的行人的高斯分布形式的红外光行人特征对应的高斯分布的方差小于方差阈值，第二目标行人特征与待重识别的行人的红外光行人特征匹配。
在本申请中，在预设特征底库中的行人特征为红外光行人特征的情况下，换言之，在预设特征底库中的行人特征为行人特征所属的预先确定身份的行人的红外光行人特征的情况下，若多个行人特征中存在第二目标行人特征并且待重识别的行人的高斯分布形式的红外光行人特征对应的高斯分布的方差小于方差阈值，可以确定待重识别的行人与第二目标行人特征所属的行人为同一个行人，生成指示待重识别的行人与第二目标行人特征所属的行人为同一个行人的行人重识别结果。
待重识别的行人的高斯分布形式的红外光行人特征对应的高斯分布的方差可以作为待重识别的行人的红外光行人特征的不确定度。
在预设特征底库中的行人特征为红外光行人特征的情况下进行行人重识别，同时考虑了待重识别的行人的红外光行人特征与作为行人特征的红外光行人特征是否匹配和待重识别的行人的红外光行人特征的不确定度。
在预设特征底库中的行人特征为红外光行人特征的情况下，对于每一个行人特征，将该行人特征与待重识别的行人的红外光行人特征进行匹配。
对于一个为红外光行人特征的行人特征，若该行人特征与待重识别的行人的红外光行人特征的相似度大于红外光行人特征相似度阈值，则该行人特征可以作为候选第二目标行人特征。
若候选第二目标行人特征的数量为一个，则将候选第二目标行人特征确定为第二目标行人特征。
若候选第二目标行人特征的数量为多个，则将具有的红外光行人特征与待重识别的行人的红外光行人特征的相似度最大的候选第二目标行人特征确定为第二目标行人特征。
在一些实施例中，行人特征为可见光行人特征；基于待重识别的行人的多模态行人特征和预设特征底库中的多个行人特征，对待重识别的行人进行行人重识别，得到待重识别的行人的行人重识别结果包括：在满足可见光行人特征匹配条件的情况下，生成指示待重识别的行人与第三目标行人特征所属的行人为同一个行人的行人重识别结果，其中，可见光行人特征匹配条件为多个行人特征中存在第三目标行人特征并且待重识别的行人的高斯分布形式的可见光行人特征对应的高斯分布的方差小于方差阈值，其中，第三目标行人特征与待重识别的行人的可见光行人特征匹配。
在本申请中，在预设特征底库中的行人特征为可见光行人特征的情况下，换言之，在预设特征底库中的行人特征为行人特征所属的预先确定身份的行人的可见光行人特征的情况下，若预设特征底库中的多个行人特征中存在第三目标行人特征并且待重识别的行人的高斯分布形式的可见光行人特征对应的高斯分布的方差小于方差阈值，可以确定待重识别的行人与第三目标行人特征为同一个行人，生成指示待重识别的行人与第三目标行人特征为同一个行人的行人重识别结果。
待重识别的行人的高斯分布形式的可见光行人特征对应的高斯分布的方差可以作为待重识别的行人的可见光行人特征的不确定度。
在预设特征底库中的行人特征为可见光行人特征的情况下进行行人重识别，同时考虑了待重识别的行人的可见光行人特征与作为行人特征的可见光行人特征是否匹配和待重识别的行人的可见光行人特征的不确定度。
在预设特征底库中的行人特征为可见光行人特征的情况下，对于每一个行人特征，将该行人特征与待重识别的行人的可见光行人特征进行匹配。
对于一个为可见光行人特征的行人特征，若该行人特征与待重识别的行人的可见光行人特征的相似度大于可见光行人特征相似度阈值，则该行人特征可以作为候选第三目标行人特征。
若候选第三目标行人特征的数量为一个，则将候选第三目标行人特征确定为第三目标行人特征。
若候选第三目标行人特征的数量为多个，则将具有的可见光行人特征与待重识别的行人的可见光行人特征的相似度最大的候选第三目标行人特征确定为第三目标行人特征。
请参考图2，其示出了在一个示例性场景下进行行人重识别的流程示意图。
在白天场景下即在白天时间段，对于一个待重识别的行人，获取的该待重识别的行人的可见光行人图像可以来自由可见光相机采集的该待重识别的行人的可见光行人图像所属的可见光图像，该可见光图像属于该可见光相机采集的可见光视频流。获取的该待重识别的行人的红外光行人图像可以来自由红外光相机采集的该待重识别的行人的红外光行人图像所属的红外光图像，该红外光图像属于该红外光相机采集的红外光视频流。
通过对该可见光视频流和该红外光视频流进行空域对齐，该可见光视频流和该红外光视频流中的任意两个在时域上对齐的可见光图像和红外光图像进行空域对齐。
相应的，获取到的待重识别的行人的可见光行人图像所属的可见光图像和获取到的待重识别的行人的红外光行人图像所属的红外光图像不仅在时域上对齐并且在空域上对齐，获取到的待重识别的行人的可见光行人图像和获取到待重识别的行人的红外光行人图像不仅在时域上对齐并且在空域上对齐。
可以利用可见光行人检测网络对待重识别的行人的可见光行人图像所属的可见光图像进行行人检测。从该可见光图像中的包围该待重识别的行人的行人框占据的区域提取出该待重识别的行人的可见光行人图像。
同时，可以利用红外光行人检测网络对与该待重识别的行人的可见光行人图像所属的可见光图像在时域上对齐并且在空域上对齐的红外光图像进行行人检测，从该红外光图像中的包围该待重识别的行人的行人框占据的区域提取出该待重识别的行人的红外光行人图像。
将该待重识别的可见光行人图像和红外光行人图像输入到多模态融合识别网络，得到多模态融合识别网络输出的该待重识别的行人的行人重识别结果。
请参考图3，其示出了在另一个示例性场景下进行行人重识别的流程示意图。
在夜晚场景下即在夜晚时间段，可以仅从待重识别的行人的红外光行人图像所属的红外光图像中提取出该待重识别的行人的红外光行人图像，以获取该待重识别的行人的红外光行人图像。然后，可以利用红外光与可见光行人图像转换网络基于该待重识别的行人的红外光行人图像，生成该待重识别的行人的可见光行人图像。红外光与可见光行人图像转换网络被预先训练，该待重识别的行人的红外光行人图像作为红外光与可见光行人图像转换网络的输入，红外光与可见光行人图像转换网络输出该待重识别的行人的可见光行人图像。
将待重识别的行人的可见光行人图像和红外光行人图像输入到多模态融合识别网络，得到多模态融合识别网络输出的该待重识别的行人的行人重识别结果。
请参考图4，其示出了本申请实施例提供的行人重识别装置的结构框图。装置包括：获取单元401，重识别单元402。
获取单元401被配置为获取待重识别的行人的可见光行人图像和红外光行人图像；
重识别单元402被配置为将所述可见光行人图像和所述红外光行人图像输入到多模态融合识别网络，得到所述行人的行人重识别结果，其中，所述多模态融合识别网络被配置为：从所述可见光行人图像提取所述行人的可见光行人特征；从所述红外光行人图像提取所述行人的红外光行人特征；将所述行人的可见光行人特征和所述行人的红外光行人特征进行融合，得到所述行人的双光融合行人特征；基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果，所述行人的多模态行人特征包括：所述行人的可见光行人特征、所述行人的红外光行人特征、所述行人的双光融合行人特征。
在一些实施例中，将所述行人的可见光行人特征和所述行人的红外光行人特征进行融合，得到所述行人的双光融合行人特征包括：
将所述行人的可见光行人特征和所述行人的红外光行人特征映射到同一个特征空间，得到所述行人的映射到特征空间的可见光行人特征和所述行人的映射到特征空间的红外光行人特征；
将所述行人的映射到特征空间的可见光行人特征映射为高斯分布形式，得到所述行人的高斯分布形式的可见光行人特征，以及将所述行人的映射到特征空间的红外光行人特征映射为高斯分布形式，得到所述行人的高斯分布形式的红外光行人特征；
将所述行人的高斯分布形式的可见光行人特征和所述行人的高斯分布形式的红外光行人特征进行融合，得到所述行人的双光融合行人特征。
在一些实施例中，获取单元401包括：
转换子单元，被配置为获取所述行人的红外光行人图像；利用红外光与可见光行人图像转换网络基于所述行人的红外光行人图像，生成所述行人的可见光行人图像。
在一些实施例中，行人重识别装置包括：
对齐单元，被配置为在获取待重识别的行人的可见光行人图像和红外光行人图像之前，对所述可见光行人图像所属的可见光视频流和所述红外光行人图像所属的红外光视频流进行空域对齐处理。
在一些实施例中，预设特征底库中的行人特征包括：可见光行人特征、红外光行人特征、双光融合行人特征；
基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果包括：
将所述行人的红外行人特征、可见光行人特征、双光融合行人特征分别与所述行人特征中的相同类型的特征进行匹配，以检索候选第一目标行人特征；当从所述多个行人特征中检索出至少一个候选第一目标行人特征时，确定至少一个候选第一目标行人特征中的第一目标行人特征，其中，候选第一目标行人特征至少包括两个匹配特征，每一个匹配特征分别与所述多模态行人特征中的一个特征匹配；生成指示所述行人与第一目标行人特征所属的行人为同一个行人的行人重识别结果。
在一些实施例中，预设特征底库中的行人特征为红外光行人特征；基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果包括：
在满足红外光行人特征匹配条件的情况下，生成指示所述行人与第二目标行人特征为同一个行人的行人重识别结果，红外光行人特征匹配条件为多个行人特征中存在第二目标行人特征并且所述行人的高斯分布形式的红外光行人特征对应的高斯分布的方差小于方差阈值，第二目标行人特征的红外光行人特征与所述行人的红外光行人特征匹配。
在一些实施例中，行人特征为可见光行人特征；
基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果包括：
在满足可见光行人特征匹配条件的情况下，生成指示所述行人与第三目标行人特征为同一个行人的行人重识别结果，其中，可见光行人特征匹配条件为多个行人特征中存在第三目标行人特征并且所述行人的高斯分布形式的可见光行人特征对应的高斯分布的方差小于方差阈值，其中，第三目标行人特征的可见光行人特征与所述行人的可见光行人特征匹配。
图5是本实施例提供的一种电子设备的结构框图。电子设备包括处理组件522，其进一步包括一个或多个处理器，以及由存储器532所代表的存储器资源，用于存储可由处理组件522执行的指令，例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件522被配置为执行指令，以执行上述方法。
电子设备还可以包括一个电源组件526被配置为执行电子设备的电源管理，一个有线或无线网络接口550被配置为将电子设备连接到网络，和一个输入输出(I/O)接口558。电子设备可以操作基于存储在存储器532的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种行人重识别方法，其特征在于，所述方法包括：
获取待重识别的行人的可见光行人图像和红外光行人图像；
将所述可见光行人图像和所述红外光行人图像输入到多模态融合识别网络，得到所述行人的行人重识别结果，其中，所述多模态融合识别网络被配置为：
从所述可见光行人图像提取所述行人的可见光行人特征；
从所述红外光行人图像提取所述行人的红外光行人特征；
将所述行人的可见光行人特征和所述行人的红外光行人特征进行融合，得到所述行人的双光融合行人特征；
基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果，所述行人的多模态行人特征包括：所述行人的可见光行人特征、所述行人的红外光行人特征、所述行人的双光融合行人特征。
2.根据权利要求1所述的方法，其特征在于，将所述行人的可见光行人特征和所述行人的红外光行人特征进行融合，得到所述行人的双光融合行人特征包括：
将所述行人的可见光行人特征和所述行人的红外光行人特征映射到同一个特征空间，得到所述行人的映射到特征空间的可见光行人特征和所述行人的映射到特征空间的红外光行人特征；
将所述行人的映射到特征空间的可见光行人特征映射为高斯分布形式，得到所述行人的高斯分布形式的可见光行人特征，以及将所述行人的映射到特征空间的红外光行人特征映射为高斯分布形式，得到所述行人的高斯分布形式的红外光行人特征；
将所述行人的高斯分布形式的可见光行人特征和所述行人的高斯分布形式的红外光行人特征进行融合，得到所述行人的双光融合行人特征。
3.根据权利要求1所述的方法，其特征在于，获取待重识别的行人的可见光行人图像和红外光行人图像包括：
获取所述行人的红外光行人图像；
利用红外光与可见光行人图像转换网络基于所述行人的红外光行人图像，生成所述行人的可见光行人图像。
4.根据权利要求1所述的方法，其特征在于，在获取待重识别的行人的可见光行人图像和红外光行人图像之前，所述方法还包括：
对所述可见光行人图像所属的可见光视频流和所述红外光行人图像所属的红外光视频流进行空域对齐处理。
5.根据权利要求1-4之一所述的方法，其特征在于，预设特征底库中的行人特征包括：可见光行人特征、红外光行人特征、双光融合行人特征；
基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果包括：
将所述行人的红外行人特征、可见光行人特征、双光融合行人特征分别与所述行人特征中的相同类型的特征进行匹配，以检索候选第一目标行人特征；
当从所述多个行人特征中检索出至少一个候选第一目标行人特征时，确定至少一个候选第一目标行人特征中的第一目标行人特征，其中，候选第一目标行人特征至少包括两个匹配特征，每一个匹配特征分别与所述多模态行人特征中的一个特征匹配；
生成指示所述行人与第一目标行人特征所属的行人为同一个行人的行人重识别结果。
6.根据权利要求2-4之一所述的方法，其特征在于，预设特征底库中的行人特征为红外光行人特征；
基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果包括：
在满足红外光行人特征匹配条件的情况下，生成指示所述行人与第二目标行人特征所属的行人为同一个行人的行人重识别结果，其中，红外光行人特征匹配条件为多个行人特征中存在第二目标行人特征并且所述行人的高斯分布形式的红外光行人特征对应的高斯分布的方差小于方差阈值，第二目标行人特征与所述行人的红外光行人特征匹配。
7.根据权利要求2-4之一所述的方法，其特征在于，预设特征底库中的行人特征为可见光行人特征；
基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果包括：
在满足可见光行人特征匹配条件的情况下，生成指示所述行人与第三目标行人特征所属的行人为同一个行人的行人重识别结果，其中，可见光行人特征匹配条件为多个行人特征中存在第三目标行人特征并且所述行人的高斯分布形式的可见光行人特征对应的高斯分布的方差小于方差阈值，其中，第三目标行人特征与所述行人的可见光行人特征匹配。
8.一种行人重识别装置，其特征在于，所述装置包括：
获取单元，被配置为获取待重识别的行人的可见光行人图像和红外光行人图像；
重识别单元，被配置为将所述可见光行人图像和所述红外光行人图像输入到多模态融合识别网络，得到所述行人的行人重识别结果，其中，所述多模态融合识别网络被配置为：从所述可见光行人图像提取所述行人的可见光行人特征；从所述红外光行人图像提取所述行人的红外光行人特征；将所述行人的可见光行人特征和所述行人的红外光行人特征进行融合，得到所述行人的双光融合行人特征；基于所述行人的多模态行人特征和预设特征底库中的多个行人特征，对所述行人进行行人重识别，得到所述行人的行人重识别结果，所述行人的多模态行人特征包括：所述行人的可见光行人特征、所述行人的红外光行人特征、所述行人的双光融合行人特征。
9.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的方法。
CN202010658452.4A 2020-07-09 2020-07-09 行人重识别方法、装置、电子设备及存储介质 Active CN111967314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010658452.4A CN111967314B (zh) 2020-07-09 2020-07-09 行人重识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010658452.4A CN111967314B (zh) 2020-07-09 2020-07-09 行人重识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111967314A true CN111967314A (zh) 2020-11-20
CN111967314B CN111967314B (zh) 2024-06-11

Family

ID=73360577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010658452.4A Active CN111967314B (zh) 2020-07-09 2020-07-09 行人重识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111967314B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416323A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置
WO2020098158A1 (zh) * 2018-11-14 2020-05-22 平安科技（深圳）有限公司 行人重识别方法、装置及计算机可读存储介质
CN111209810A (zh) * 2018-12-26 2020-05-29 浙江大学 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416323A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置
WO2020098158A1 (zh) * 2018-11-14 2020-05-22 平安科技（深圳）有限公司 行人重识别方法、装置及计算机可读存储介质
CN111209810A (zh) * 2018-12-26 2020-05-29 浙江大学 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯敏;张智成;吕进;余磊;韩斌;: "基于生成对抗网络的跨模态行人重识别研究", 现代信息科技, no. 04 *
刘荣芳: "面向全天候智能监控的行人重识别系统研究", 《知网》, vol. 2020, no. 2, pages 4 *

Also Published As

Publication number Publication date
CN111967314B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
CN109325964B (zh) 一种人脸追踪方法、装置及终端
JP6018674B2 (ja) 被写体再識別のためのシステム及び方法
JP6614611B2 (ja) 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法
CN110070029B (zh) 一种步态识别方法及装置
CN110569731B (zh) 一种人脸识别方法、装置及电子设备
CN108805900B (zh) 一种跟踪目标的确定方法及装置
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
CN112381837B (zh) 一种图像处理方法及电子设备
JP2021101384A (ja) 画像処理装置、画像処理方法およびプログラム
JP5459674B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN111914642B (zh) 一种行人重识别方法、装置、设备及介质
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
CN111241932A (zh) 汽车展厅客流检测与分析系统、方法及存储介质
KR20190068000A (ko) 다중 영상 환경에서의 동일인 재식별 시스템
KR102225613B1 (ko) 사람 재식별 장치 및 방법
US20220366570A1 (en) Object tracking device and object tracking method
CN110175553B (zh) 基于步态识别与人脸识别建立特征库的方法及装置
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN111667001A (zh) 目标重识别方法、装置、计算机设备和存储介质
JP2019153092A (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN110660078A (zh) 对象追踪方法、装置、计算机设备和存储介质
US9752880B2 (en) Object linking method, object linking apparatus, and storage medium
US11023712B2 (en) Suspiciousness degree estimation model generation device
CN111950507B (zh) 数据处理和模型训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant