CN112580525A - 一种基于行人再识别的病例活动轨迹监测方法 - Google Patents

一种基于行人再识别的病例活动轨迹监测方法 Download PDF

Info

Publication number
CN112580525A
CN112580525A CN202011533130.3A CN202011533130A CN112580525A CN 112580525 A CN112580525 A CN 112580525A CN 202011533130 A CN202011533130 A CN 202011533130A CN 112580525 A CN112580525 A CN 112580525A
Authority
CN
China
Prior art keywords
pedestrian
video
identification
features
track monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011533130.3A
Other languages
English (en)
Other versions
CN112580525B (zh
Inventor
张国庆
陈裕豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202011533130.3A priority Critical patent/CN112580525B/zh
Publication of CN112580525A publication Critical patent/CN112580525A/zh
Application granted granted Critical
Publication of CN112580525B publication Critical patent/CN112580525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于行人再识别的病例活动轨迹监测方法，包括以下步骤：对视频进行预处理，将视频分割为连续的帧，进行统一初始化；基于PyTorch搭建一个基于视频序列的局部对齐行人再识别框架；将MARS行人再识别数据集划分为训练集和测试集两部分，加载训练集对神经网络进行训练；采用MARS测试集对训练得到的模型进行测试，寻找最优模型；在不同场景中获取待查询的行人图像/视频，计算与目标视频库中特征距离最近的若干项作为匹配项，依据拍摄位置信息获取行人轨迹。对现有的行人再识别算法进行改进优化，解决特征提取不鲁棒、准确率低的问题，将行人再识别技术应用到轨迹监测上，方便快速地追踪到潜在被传染者，从而为疫情的防控带来便捷。

Description

一种基于行人再识别的病例活动轨迹监测方法
技术领域
本发明涉及计算机视觉图像检索技术领域，尤其是涉及一种基于行人再识别的病例活动轨迹监测方法。
背景技术
随着新冠疫情进入常态化防控阶段，对于疑似或确诊病例的活动轨迹调查与追踪成为了必不可少的一步。及时有效的获取疑似或确诊病例近期活动区域对于筛查病例的密切接触者、控制疫情的进一步传播有着至关重要的作用。然而对病例进行人工询问来获取活动轨迹可能存在位置不够准确、遗漏、可信度低等问题；采用人工查阅监控设备进行确认又需要耗费大量的人力和时间，效率低下。因此设计一项病例活动轨迹监测方法能为新冠疫情的防控工作带来巨大的便利。
现有与之相关的技术可以分为两类：行人再识别算法、轨迹监测技术。(1)行人再识别算法方面，现有中国专利文献公开了申请号为CN201910198300.8的一种基于深度学习的行人再识别算法，该算法将图像硬分割成不同区域，提取局部特征再融合。但该方法仅采用单一图像，而现实场景中更常用的视频类型能提供更丰富的行人特征。并且不同行人在图像中的位置存在差异，无差别的硬分割会带来行人局部区域的不对齐，导致提取的特征不够鲁棒。(2)轨迹监测技术方面，现有中国专利文献公开了申请号为CN201910829497.0的基于图像识别的城市宠物活动轨迹监测方法及相关设备，该专利采用了Fast RCNN分类和光流法修正目标特征，通过特征之间相似度的计算来识别宠物，最后结合拍摄时间、监控地点信息来分析出轨迹。相比之下行人再识别拥有更加复杂的场景(如：街道中行人数量庞大，远远超过宠物数量)和更加多变的特征(如：相同行人的衣着外貌会存在变化)，准确识别的难度更大。目前为止，尚无技术尝试将行人再识别技术应用到活动轨迹监测，也未挖掘其对流行病防控的应用前景。
发明内容
发明目的：为了克服背景技术的不足，本发明公开了一种基于行人再识别的病例活动轨迹监测方法，能够快速获取疑似或确诊病例的活动轨迹，进而追踪到潜在被传染者，为疫情的防控带来便捷。
技术方案：本发明公开了一种基于行人再识别的病例活动轨迹监测方法，包括以下步骤：
S1、利用组网摄像头获取行人视频信息，采用目标检测算法检测出行人，采用目标跟踪算法获得一系列行人检测框，对视频进行预处理，将视频分割为连续的帧，所有帧进行统一初始化；
S2、基于PyTorch搭建一个基于视频序列的局部对齐行人再识别框架；
S3、将MARS行人再识别数据集划分为训练集和测试集两部分，加载训练集对神经网络进行训练；
S4、采用MARS测试集对训练得到的模型进行测试，寻找最优模型；
S5、在不同场景中获取待查询的行人图像/视频，计算与目标视频库中特征距离最近的若干项作为匹配项，依据拍摄位置信息获取行人轨迹。
其中，S2包括：
S2.1提取具有判别力的局部参照特征，为局部特征对齐提供基准；
S2.2采用了基于关联度的注意力机制；
S2.3根据注意力权重来分解局部特征。
进一步的，所述S2.1中局部参照特征的提取方法包括：
S2.1.1通过一个卷积层、BN层、Sigmoid激活层实现一个图像质量评估网络；
S2.1.2选出质量最高的帧作为参照帧；
S2.1.3局部参照特征采用了基于行人关键点划分，将参照帧的行人划分成了头部、身体、腿部三个区域；
S2.1.4采用ROI最大池化、ROI平均池化提取参照特征。
进一步的，S2.2中基于关联度的注意力机制包括：
S2.2.1通过将行人特征映射的每个像素单位的特征向量与参照特征向量进行如下计算：(像素单位特征向量-参照特征向量)2，获得该像素单位的关联度；
S2.2.2将最终得到的关联度矩阵通过BN层和Sigmoid激活层，将1与每个元素相减，得到基于关联度的注意力矩阵。
进一步的，S2.3中局部特征的分解过程包括：
S2.3.1将基于关联度的注意力矩阵与特征映射相乘；
S2.3.2采用全局最大池化提取帧级特征；
S2.3.3对注意力矩阵在空间维度取平均，获得时间注意力得分；
S2.3.4对帧级特征进行加权求和，得到局部特征。
进一步的，S3选用当前主流的数据集MARS对S2中的网络进行训练，计算损失函数，包含帧间正规化损失、三元组损失和交叉熵损失。
进一步的，S4采用MARS数据集的测试集进行算法精度验证，将测试集的每个行人视频以连续4帧为片段进行分割，得到若干个相同ID的视频序列，将其输入到神经网络中获取特征；最终将同ID的视频特征求平均，作为完整视频序列的特征；通过计算不同视频特征之间的欧氏距离来衡量相似度，在训练时每次迭代后进行一次评估，保存准确度最高的模型。
进一步的，S5将S4中训练得到的模型应用到轨迹监测中，将组网摄像头获取的行人视频数据传入模型中提取特征，组成一个行人特征库；在人流密集场所检测到体温异常行人时，系统自动采集行人图像上传到服务器；在医院等检测场所发现疑似/确诊病例时，医护人员手动在终端上传行人图像/视频；服务器将通过行人再识别神经网络框架提取出行人特征，与行人特征库进行相似性度量，查看与之相似度高的行人信息，根据拍摄的时间、地点，获取行人的活动轨迹。
有益效果：与现有技术相比，本发明的优点为：将基于视频序列的局部对齐行人再识别框架作为核心算法嵌入在轨迹监测中，该框架通过利用姿态信息作为参照实现不同视频之间的区域对齐，再在视频序列内部利用关联度注意力模块，使得网络关注到各帧特定的局部区域，实现了同一个视频内部不同帧的区域对齐。该框架解决了特征提取过程中受到局部扰动而特征不鲁棒的问题，提高了行人再识别的准确率；该病例轨迹监测方法，能够快速获取疑似或确诊病例的活动轨迹，进而追踪到潜在被传染者，为疫情的防控带来便捷。
附图说明
图1是本发明的流程图；
图2是本发明提出的基于视频序列的局部对齐行人再识别框架的网络结构图；
图3是行人再识别框架中参照特征提取模块的网络结构图；
图4是行人再识别框架中局部特征分解模块的网络结构图；
图5是本发明的应用场景图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，一种基于行人再识别的病例活动轨迹监测方法，包括以下步骤：
S1、利用组网摄像头获取行人视频信息上传云端服务器，采用目标检测算法检测出行人，采用目标跟踪算法获得一系列行人检测框，对视频进行预处理，将视频分割为连续的帧，所有帧进行统一初始化，每帧图像的尺寸都裁剪为包含256*128个像素，所有图像转换为张量(Tensor)的数据形式，使用通道均值和标准差进行标准化，再将张量归一化为(0,1)之间。
S2、如图2所示，基于PyTorch搭建一个基于视频序列的局部对齐行人再识别框架；
S2.1提取具有判别力的局部参照特征，为局部特征对齐提供基准；
如图3所示，S2.1中局部参照特征的提取方法包括：
S2.1.1通过一个卷积层、BN层、Sigmoid激活层实现一个图像质量评估网络；
S2.1.2选出质量最高的帧作为参照帧；
S2.1.3局部参照特征采用了基于行人关键点划分，将参照帧的行人划分成了头部、身体、腿部三个区域；
S2.1.4采用ROI最大池化、ROI平均池化提取参照特征。
S2.2采用了基于关联度的注意力机制；
S2.2中基于关联度的注意力机制包括：
S2.2.1通过将行人特征映射的每个像素单位的特征向量与参照特征向量进行如下计算：(像素单位特征向量-参照特征向量)2，获得该像素单位的关联度；
S2.2.2将最终得到的关联度矩阵通过BN层和Sigmoid激活层，将1与每个元素相减，得到基于关联度的注意力矩阵。
S2.3根据注意力权重来分解局部特征。
如图4所示，S2.3中局部特征的分解过程包括：
S2.3.1将基于关联度的注意力矩阵与特征映射相乘；
S2.3.2采用全局最大池化提取帧级特征；
S2.3.3对注意力矩阵在空间维度取平均，获得时间注意力得分；
S2.3.4对帧级特征进行加权求和，得到局部特征。
具体实施时，搭建一个基于视频序列的局部对齐行人再识别框架，包含骨干网络模块、全局特征提取模块、参照特征学习模块、局部特征分解模块。
所述的骨干网络模块采用了ResNet-50网络，将包含T帧的视频序列
Figure BDA0002850197520000041
输入骨干网络，每帧都提取得到特征映射Ft∈RC×H×W，其中C、H、W分别为特征映射的通道、高、宽三个维度的长度。
所述的全局特征提取模块用于提取行人整体的特征。将各帧的特征映射传入全局平均池化层获取各帧的特征向量，再通过时间注意力网络，包括卷积层、BN层、Sigmoid激活层，每帧都获取一个(0,1)之间的注意力权重。将各帧的特征向量进行加权求和得到该视频序列的特征向量，最后进行1×1卷积压缩得到全局特征向量。
所述的参照特征学习模块用于选取一个高质量的帧，提取其局部特征向量，为视频序列中其余帧提供局部对齐的参照标准。模块中先对所有帧进行质量评估，将特征映射通过全局平均池化得到特征向量lt∈RC，通过卷积层、BN层、Sigmoid激活层获取质量评估得分，选取质量评估得分最高的帧作为参考帧。对参考帧进行姿态识别，提取到人体的关键点，按照肩膀以上的头部(后简称为头部)、身体、腿部划分为三个区域，分别进行最大ROI(感兴趣区域)池化和平均ROI池化，总共提取得到6个局部参照特征向量
Figure BDA0002850197520000051
和
Figure BDA0002850197520000052
所述的局部特征分解模块依据6个参照特征，在与之对齐的区域中提取到最终的局部特征。某一个局部的参照特征向量为
Figure BDA0002850197520000053
和
Figure BDA0002850197520000054
特征映射中每个空间单位的特征向量为
Figure BDA0002850197520000055
由此可以计算出两者的相关度，计算方法为(以下均采用
Figure BDA0002850197520000056
作为参照特征向量)：
Figure BDA0002850197520000057
每帧所有空间单位的关联度组成一个关联图
Figure BDA0002850197520000058
通过BN层和Sigmoid激活层得到注意力权重矩阵，即：
Figure BDA0002850197520000059
其中E∈RC×H×W为全部由1构成的矩阵。将得到的注意力矩阵与特征映射进行加权，在全局最大池化后得到帧级局部特征，即：
Figure BDA00028501975200000510
其中*表示哈达玛积计算。为了促进神经网络能够关注到信息量更丰富的帧，在上述注意力权重矩阵的基础上，生成时间注意力得分，即：
Figure BDA00028501975200000511
将注意力得分与帧级局部特征加权求和，得到视频级局部特征，即：
Figure BDA00028501975200000512
同理，以
Figure BDA00028501975200000513
作为参照特征向量得到的局部特征为
Figure BDA00028501975200000514
两者级联后采用1×1卷积压缩特征。最终视频的总特征为全局特征与3个局部特征的级联，即：
Figure BDA00028501975200000515
S3、将MARS行人再识别数据集划分为训练集和测试集两部分，加载训练集对神经网络进行训练；
选用当前主流的数据集MARS对S2中的网络进行训练。计算损失函数，包含帧间正规化损失、三元组损失和交叉熵损失。损失函数计算具体如下：正则化损失用于维持视频内部不同帧的注意力矩阵的相似性，同时避免只关注到单一的帧，即：
Figure BDA0002850197520000061
Figure BDA0002850197520000062
其中P为一个batch中包含的ID数量，K为一个ID包含的视频片段数量。三元组损失和交叉熵损失分别应用在全局分支和3个局部分支。每个分支的三元组损失为：
Figure BDA0002850197520000063
其中
Figure BDA0002850197520000064
分别为基样本、同ID样本、不同ID样本的特征，m为控制类内、类间距离差异的超参数。每个分支的交叉熵损失为：
Figure BDA0002850197520000065
其中yi,a为样本{i,a}的真实ID，qi,a为样本{i,a}的预测ID。每个分支的判别损失为三元组损失和交叉熵损失之和，即：
Figure BDA0002850197520000066
最终的损失为4个分支的判别损失和正规化损失之和，即：
Figure BDA0002850197520000067
其中λ为用于控制正则化损失所占比重的超参数。
设置的实验参数如下：
骨干网络中的ResNet50采用ImageNet的预训练模型，训练时对每个视频序列随机选取4帧作为输入，每次输入的batch规模为8个ID，每个ID包含4个视频序列。选用Adam作为优化器。初始的学习率为3.5×10-4，且每100次迭代下降至0.1倍，共迭代400次。超参数λ设置为3×10-4。
S4、采用MARS测试集对训练得到的模型进行测试，寻找最优模型；
采用上述MARS数据集的测试集进行算法精度验证。将测试集的每个行人视频以连续4帧为片段进行分割，得到若干个相同ID的视频序列，将其输入到神经网络中获取特征。最终将同ID的视频特征求平均，作为完整视频序列的特征。通过计算不同视频特征之间的欧氏距离来衡量相似度。在训练时每次迭代后进行一次评估，保存准确度最高的模型。
S5、在不同场景中获取待查询的行人图像/视频，计算与目标视频库中特征距离最近的若干项作为匹配项，依据拍摄位置信息获取行人轨迹。
将S4中训练得到的模型应用到轨迹监测中。将组网摄像头获取的行人视频数据传入模型中提取特征，组成一个行人特征库。在人流密集场所检测到体温异常行人时，系统自动采集行人图像上传到服务器；在医院等检测场所发现疑似/确诊病例时，医护人员手动在终端上传行人图像/视频。服务器将通过行人再识别神经网络框架提取出行人特征，与行人特征库进行相似性度量，查看与之相似度高的行人信息。根据拍摄的时间、地点，获取行人的活动轨迹。
如图5所示，将组网监控网络负责行人视频数据的采集，由大量联网监控摄像头组成。摄像头分布在各个角落，实时录制行人视频并上传到云端服务器中。系统利用云端服务器进行计算和存储。在商场、机场、车站等人流密集场所部署一种体温异常检测装置。该装置将检测出的体温异常行人上传系统并获取其轨迹。在医院等新冠病毒检测场部署系统的终端操作平台，该平台以软件或者网站的形式搭载在常用的PC计算机上，可以提供系统的交互窗口，上传疑似/确诊病例的图像/视频，显示其活动轨迹等。
(1)技术方面：在MARS、iLIDS-VID、PRID-2011三个主流行人再识别数据集上的性能表现达到了先进水平，大部分性能指标达到了目前最高水平，对比试验结果如下表1：
表1本算法与其它行人再识别算法的准确度对比
Figure BDA0002850197520000071
(2)社会方面：本发明能在商场、机场、车站等人流密集地段进行应用，结合体温检测等仪器，对体温异常的行人快速检测并上传至云端；也可以在医院等病毒检测场所进行部署，可将疑似/确诊病例快速上传云端。可在短时间内获取目标行人的活动轨迹，方便疾控部门快速反应，追踪潜在被传染者，为控制疫情提供帮助。
(3)经济方面：本发明采用自动化的方式对病例进行轨迹监测，减少了人工走访调查的工作量，节约了大量的人力成本和时间成本。

Claims (8)

1.一种基于行人再识别的病例活动轨迹监测方法，其特征在于，包括以下步骤：
S1、利用组网摄像头获取行人视频信息，采用目标检测算法检测出行人，采用目标跟踪算法获得一系列行人检测框，对视频进行预处理，将视频分割为连续的帧，所有帧进行统一初始化；
S2、基于PyTorch搭建一个基于视频序列的局部对齐行人再识别框架；
S3、将MARS行人再识别数据集划分为训练集和测试集两部分，加载训练集对神经网络进行训练；
S4、采用MARS测试集对训练得到的模型进行测试，寻找最优模型；
S5、在不同场景中获取待查询的行人图像/视频，计算与目标视频库中特征距离最近的若干项作为匹配项，依据拍摄位置信息获取行人轨迹。
2.根据权利要求1所述的基于行人再识别的病例活动轨迹监测方法，其特征在于：S2包括：
S2.1提取具有判别力的局部参照特征，为局部特征对齐提供基准；
S2.2采用了基于关联度的注意力机制；
S2.3根据注意力权重来分解局部特征。
3.根据权利要求2所述的基于行人再识别的病例活动轨迹监测方法，其特征在于：所述S2.1中局部参照特征的提取方法包括：
S2.1.1通过一个卷积层、BN层、Sigmoid激活层实现一个图像质量评估网络；
S2.1.2选出质量最高的帧作为参照帧；
S2.1.3局部参照特征采用了基于行人关键点划分，将参照帧的行人划分成了头部、身体、腿部三个区域；
S2.1.4采用ROI最大池化、ROI平均池化提取参照特征。
4.根据权利要求3所述的基于行人再识别的病例活动轨迹监测方法，其特征在于：S2.2中基于关联度的注意力机制包括：
S2.2.1通过将行人特征映射的每个像素单位的特征向量与参照特征向量进行如下计算：(像素单位特征向量-参照特征向量)2，获得该像素单位的关联度；
S2.2.2将最终得到的关联度矩阵通过BN层和Sigmoid激活层，将1与每个元素相减，得到基于关联度的注意力矩阵。
5.根据权利要求4所述的基于行人再识别的病例活动轨迹监测方法，其特征在于：S2.3中局部特征的分解过程包括：
S2.3.1将基于关联度的注意力矩阵与特征映射相乘；
S2.3.2采用全局最大池化提取帧级特征；
S2.3.3对注意力矩阵在空间维度取平均，获得时间注意力得分；
S2.3.4对帧级特征进行加权求和，得到局部特征。
6.根据权利要求1所述的基于行人再识别的病例活动轨迹监测方法，其特征在于：S3选用当前主流的数据集MARS对S2中的网络进行训练，计算损失函数，包含帧间正规化损失、三元组损失和交叉熵损失。
7.根据权利要求6所述的基于行人再识别的病例活动轨迹监测方法，其特征在于：S4采用MARS数据集的测试集进行算法精度验证，将测试集的每个行人视频以连续4帧为片段进行分割，得到若干个相同ID的视频序列，将其输入到神经网络中获取特征；最终将同ID的视频特征求平均，作为完整视频序列的特征；通过计算不同视频特征之间的欧氏距离来衡量相似度，在训练时每次迭代后进行一次评估，保存准确度最高的模型。
8.根据权利要求7所述的基于行人再识别的病例活动轨迹监测方法，其特征在于：S5将S4中训练得到的模型应用到轨迹监测中，将组网摄像头获取的行人视频数据传入模型中提取特征，组成一个行人特征库；在人流密集场所检测到体温异常行人时，系统自动采集行人图像上传到服务器；在医院等检测场所发现疑似/确诊病例时，医护人员手动在终端上传行人图像/视频；服务器将通过行人再识别神经网络框架提取出行人特征，与行人特征库进行相似性度量，查看与之相似度高的行人信息，根据拍摄的时间、地点，获取行人的活动轨迹。
CN202011533130.3A 2020-12-22 2020-12-22 一种基于行人再识别的病例活动轨迹监测方法 Active CN112580525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011533130.3A CN112580525B (zh) 2020-12-22 2020-12-22 一种基于行人再识别的病例活动轨迹监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011533130.3A CN112580525B (zh) 2020-12-22 2020-12-22 一种基于行人再识别的病例活动轨迹监测方法

Publications (2)

Publication Number Publication Date
CN112580525A true CN112580525A (zh) 2021-03-30
CN112580525B CN112580525B (zh) 2023-05-23

Family

ID=75139433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011533130.3A Active CN112580525B (zh) 2020-12-22 2020-12-22 一种基于行人再识别的病例活动轨迹监测方法

Country Status (1)

Country Link
CN (1) CN112580525B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762143A (zh) * 2021-09-05 2021-12-07 东南大学 一种基于特征融合的遥感图像烟探测方法
CN113887526A (zh) * 2021-11-04 2022-01-04 泰康保险集团股份有限公司 行人图像识别方法及装置
CN114067935A (zh) * 2021-11-03 2022-02-18 广西壮族自治区通信产业服务有限公司技术服务分公司 一种流行病调查方法、系统、电子设备及存储介质
CN114463378A (zh) * 2021-12-27 2022-05-10 浙江大华技术股份有限公司 目标跟踪方法、电子设备及存储介质
CN115187916A (zh) * 2022-09-13 2022-10-14 太极计算机股份有限公司 基于时空关联的建筑内疫情防控方法、装置、设备和介质
CN117726821A (zh) * 2024-02-05 2024-03-19 武汉理工大学 一种面向医疗视频中区域遮挡的医护行为识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017190656A1 (zh) * 2016-05-05 2017-11-09 华为技术有限公司 行人再识别方法和装置
US20190304105A1 (en) * 2018-04-03 2019-10-03 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
CN110378931A (zh) * 2019-07-10 2019-10-25 成都数之联科技有限公司 一种基于多摄像头的行人目标移动轨迹获取方法及系统
CN111126198A (zh) * 2019-12-11 2020-05-08 中山大学 一种基于深度表示学习跟动态匹配的行人再识别方法
CN111401267A (zh) * 2020-03-19 2020-07-10 山东大学 基于自学习局部特征表征的视频行人再识别方法及系统
CN111738143A (zh) * 2020-06-19 2020-10-02 重庆邮电大学 一种基于期望最大化的行人重识别方法
CN111797813A (zh) * 2020-07-21 2020-10-20 天津理工大学 基于可见感知纹理语义对齐的部分行人重识别方法
CN111914642A (zh) * 2020-06-30 2020-11-10 浪潮电子信息产业股份有限公司 一种行人重识别方法、装置、设备及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017190656A1 (zh) * 2016-05-05 2017-11-09 华为技术有限公司 行人再识别方法和装置
CN107346409A (zh) * 2016-05-05 2017-11-14 华为技术有限公司 行人再识别方法和装置
US20190304105A1 (en) * 2018-04-03 2019-10-03 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
CN110378931A (zh) * 2019-07-10 2019-10-25 成都数之联科技有限公司 一种基于多摄像头的行人目标移动轨迹获取方法及系统
CN111126198A (zh) * 2019-12-11 2020-05-08 中山大学 一种基于深度表示学习跟动态匹配的行人再识别方法
CN111401267A (zh) * 2020-03-19 2020-07-10 山东大学 基于自学习局部特征表征的视频行人再识别方法及系统
CN111738143A (zh) * 2020-06-19 2020-10-02 重庆邮电大学 一种基于期望最大化的行人重识别方法
CN111914642A (zh) * 2020-06-30 2020-11-10 浪潮电子信息产业股份有限公司 一种行人重识别方法、装置、设备及介质
CN111797813A (zh) * 2020-07-21 2020-10-20 天津理工大学 基于可见感知纹理语义对齐的部分行人重识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUOQING ZHANG等: "REFERENCE-AIDED PART-ALIGNED FEATURE DISENTANGLING FOR VIDEO PERSON RE-IDENTIFICATION" *
HAO LUO等: "AlignedReID++: Dynamically matching local information for person re-identification" *
ZENGQUN CHEN等: "Frame-Guided Region-Aligned Representation for Video Person Re-Identifification" *
张志强: "基于深度学习的人体姿态估计研究" *
肖雅妮等: "多分支融合局部特征的行人重识别算法" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762143A (zh) * 2021-09-05 2021-12-07 东南大学 一种基于特征融合的遥感图像烟探测方法
CN114067935A (zh) * 2021-11-03 2022-02-18 广西壮族自治区通信产业服务有限公司技术服务分公司 一种流行病调查方法、系统、电子设备及存储介质
CN114067935B (zh) * 2021-11-03 2022-05-20 广西壮族自治区通信产业服务有限公司技术服务分公司 一种流行病调查方法、系统、电子设备及存储介质
CN113887526A (zh) * 2021-11-04 2022-01-04 泰康保险集团股份有限公司 行人图像识别方法及装置
CN114463378A (zh) * 2021-12-27 2022-05-10 浙江大华技术股份有限公司 目标跟踪方法、电子设备及存储介质
CN114463378B (zh) * 2021-12-27 2023-02-24 浙江大华技术股份有限公司 目标跟踪方法、电子设备及存储介质
CN115187916A (zh) * 2022-09-13 2022-10-14 太极计算机股份有限公司 基于时空关联的建筑内疫情防控方法、装置、设备和介质
CN117726821A (zh) * 2024-02-05 2024-03-19 武汉理工大学 一种面向医疗视频中区域遮挡的医护行为识别方法
CN117726821B (zh) * 2024-02-05 2024-05-10 武汉理工大学 一种面向医疗视频中区域遮挡的医护行为识别方法

Also Published As

Publication number Publication date
CN112580525B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN112580525B (zh) 一种基于行人再识别的病例活动轨迹监测方法
CN109460702B (zh) 基于人体骨架序列的乘客异常行为识别方法
Wen et al. Detection, tracking, and counting meets drones in crowds: A benchmark
CN107784293B (zh) 一种基于全局特征和稀疏表示分类的人体行为识别方法
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
US10140508B2 (en) Method and apparatus for annotating a video stream comprising a sequence of frames
CN110378259A (zh) 一种面向监控视频的多目标行为识别方法及系统
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
CN110163041A (zh) 视频行人再识别方法、装置及存储介质
JP2004199669A (ja) 顔検出
CN110399835B (zh) 一种人员停留时间的分析方法、装置及系统
JP2004192637A (ja) 顔検出
Merad et al. Tracking multiple persons under partial and global occlusions: Application to customers’ behavior analysis
CN110728216A (zh) 一种基于行人属性自适应学习的无监督行人再识别方法
CN111241932A (zh) 汽车展厅客流检测与分析系统、方法及存储介质
CN112215831B (zh) 一种用于人脸图像质量的评价方法和系统
Zhang et al. Joint discriminative representation learning for end-to-end person search
CN108416325B (zh) 一种结合视角转换模型与隐马尔可夫模型的步态识别方法
Vayssade et al. Wizard: Unsupervised goats tracking algorithm
Marks et al. SIPEC: the deep-learning Swiss knife for behavioral data analysis
CN112668493A (zh) 基于gan和深度学习的换装行人再识别定位跟踪系统
Guangjing et al. Research on static image recognition of sports based on machine learning
CN107273873B (zh) 基于不规则视频序列的行人重识别方法及系统
CN106845386B (zh) 一种基于动态时间规整与多核学习的动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant