CN110796074A - 一种基于时空数据融合的行人再识别方法 - Google Patents

一种基于时空数据融合的行人再识别方法 Download PDF

Info

Publication number
CN110796074A
CN110796074A CN201911033476.4A CN201911033476A CN110796074A CN 110796074 A CN110796074 A CN 110796074A CN 201911033476 A CN201911033476 A CN 201911033476A CN 110796074 A CN110796074 A CN 110796074A
Authority
CN
China
Prior art keywords
pedestrian
camera
picture
time
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911033476.4A
Other languages
English (en)
Other versions
CN110796074B (zh
Inventor
蔡晓东
韩宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201911033476.4A priority Critical patent/CN110796074B/zh
Publication of CN110796074A publication Critical patent/CN110796074A/zh
Application granted granted Critical
Publication of CN110796074B publication Critical patent/CN110796074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时空数据融合的行人再识别方法，涉及模式识别技术领域，技术方案为，构建神经网络模型；提取摄像头拍摄行人图片拍摄的时间信息；然后对该图片进行深度学习获得其中行人的特征；在判断出相似的行人之后根据两张图片的摄像头信息得出两个摄像头的距离，根据该两图片的时间差信息，结合摄像头的距离得到该行人在这段时间内的大致速度作为行人的一个标签；基于该行人的本身的特征以及与该行人速度相近的图片进行联系，最终得到该行人在某段时间内的某个区域中的行动轨迹图进而寻找该行人。本发明通过时间间隔得到的行人速度以及在空间中的有限移动性来界定行人。并且在识别的过程中通过摄像头的位置获得该行人的大致行动路线。

Description

一种基于时空数据融合的行人再识别方法
技术领域
本发明涉及模式识别技术领域，特别涉及一种基于时空数据融合的行人再识别方法。
背景技术
行人识别技术是近些年来，在计算机视觉领域发展非常快速的一个方向，它的目的是通过不同的摄像头拍摄的照片中能找到我们指定需要寻找的某一个行人，即判断不同位置的摄像头在不同的时间下捕捉到的是否为同一个行人。传统的行人再识别是将检测图片直接通过CNN网络提取特征值，然后再进行行人的重识别，这种方法使用起来在多方面的干扰下，识别效果准确率低下，识别效率低下，并且对于识别出来的行人没有很好的跟踪效果，给行人再识别的跟踪工作带来了较大的阻碍。
行人再识别的主要目的不仅仅是为了识别出不同图片上的行人是不是同一个人，而是更多是为了识别并追踪定位行人以便更好的查找到特定行人。行人再识别在不断从新的图片中识别到同一个人的过程中，这个行人周围的环境是会改变的，但是拍摄这个行人的是固定的摄像头，因此可以通过拍摄到行人的摄像头来对行人进行分类，但是一个区域中的摄像头数目巨大且拍摄的图片时间跨度大，数量多，不过行人识别也会在时间上有限制，行人一定时间内的移动距离不会太大，所以可以根据网络来推测行人的行人方式来缩小识别的范围。该方法的优点在于可以加快行人再识别的速度并且能推测出行人的行动路线。但是这个方法只能用于一定区域内，且区域内摄像头的密度不能太小，行人的再识别到时间间隔会很大，则网络对于最终的结果产生误差。
发明内容
针对上述技术问题，本发明提供一种能对一个区域内的行人进行识别分类，。能有效快速的定位所需要查询的人物。提高了识别的效率和准确性的基于时空数据融合的行人再识别方法。
其技术方案为，一种基于时空数据融合的行人再识别方法，包括：
S1、通过摄像头进行行人图像采集，并保存采集到的图像，在保存图片时，设置图片命名格式为摄像头编号及时间组合，作为这个摄像头拍摄到的图片的特征；
S2、构建深度学习神经网络模型；
S3、将S1保存的图片通过行人检测的网络获取其中行人的部分，通过深度学习训练使网络学习能够得到行人图片的特征值，并添加这个行人图像的时空信息；
S4、输入待检索的目标行人图像，将起始寻找目标行人的摄像头定义为摄像头A，通过摄像头A进行目标行人图片采集，在摄像头A周围的A相邻摄像头图片库中进行检索，A相邻摄像头为所有与摄像头A相邻的摄像头，检索范围为基于深度学习得到目标行人图片的相似行人图片，将检索得到所述相似行人图片的摄像头定义为摄像头B，通过该相似行人图片的时空信息计算出目标行人移动速度；
S5、将检索范围更新为摄像头B的B相邻摄像头，B相邻摄像头为所有与摄像头B相邻的摄像头，基于S4中得出的目标行人移动速度、该目标行人图片采集的时间，以及所述摄像头B和各个B相邻摄像头之间的距离，推算出目标行人由摄像头B经过每个B相邻摄像头的时间范围，然后优先检索各个B相邻摄像头中的这个时间范围中采集到的所有行人图片，最后检索得出与目标行人图片对应的相似行人图片，将检索到相似行人图片的摄像头重新更新为新的摄像头B；
S6、通过S5检索出的相似行人图片，以S5获取的相似行人图片的特征值为标准继续检测，重复步骤S5；
S7、在无法通过B相邻摄像头识别到与目标行人对应的相似行人图片是，则视为识别结束，最后通过时间顺序排序及通过摄像头的位置推断出该行人的行动路线，并输出该行人的行动路线。
优选为，所述步骤S1具体为，
步骤S11，摄像头拍摄并获取监控视频中的图片，将获取图片上传至服务器，在服务器中按每个摄像头一个组别分开保存；从视频中获取图片的方法为，从摄像头拍摄的视频中每隔0.5秒截取一张图片保存。
步骤S12，分别在单个摄像头的组别中保存这个摄像头拍的照片，并按照摄像头编号和拍摄时间来命名。
优选为，所述步骤S2具体为，
步骤S21，构建一个深度学习网络模型，其中包括行人检测网络，特征提取网络，训练层以及特征全连接层；
步骤S22，确定区域内摄像头的数量，并且输入各个摄像头之间的距离，通过两个摄像头的编号来获取该两个摄像头之间的距离。
优选为，所述步骤S3具体为，
步骤S31，将所述S1保存的图片输入到深度学习网络模型中，然后通过行人检测网络检测出一张图片上面不同的行人图像，并将它们单独提取出来；
步骤S32，提取出来的行人图像输入后续的网络模型中，得到行人图像的特征向量；并在特征向量后面添加目标行人的拍摄时间和对应的拍摄摄像头编号。
优选为，所述步骤S4具体为，
步骤S41，对采集到的目标行人图片的时间和拍摄该照片的摄像头A的地理位置信息进行识别，然后将检索范围限定在摄像头A周围的A相邻摄像头所上传的照片；
步骤S42，在A相邻摄像头上传的照片中检索出一系列相似行人图像之后，将拍摄到相似行人图片的时间和摄像头位置识别出来；然后通过时空信息计算该行人在这段时间内的移动速度。
优选为，所述步骤S6包括以下步骤：
步骤S61，通过特征值对比得到相似行人图片，然后识别出相似行人图片的时空信息，确定对应该相似行人图片的摄像头和拍摄时间，并将这个摄像头更新为摄像头B，将相似行人图片更新为目标行人图片；
步骤S62，根据行人移动速度确定B相邻摄像头可能拍摄到目标行人的时间范围，并且以新的目标行人图片的特征值为标准进行对比判断，依据该时间范围搜索目标行人的相似行人图片。
优选为，所述S7具体为，
步骤S71，当最新得到的相似行人图片的特征值与目标行人图片的特征值对比相似度低于设定值时，或者所述S5得到的目标行人移动时间范围不在设定的时间范围内时，则停止搜索；
步骤S72，将所有检索到的目标行人的图片，按照时间顺序输出，并且标明对应的摄像头，按照时间、地点顺序输出该行人在这段时间的行动路线。
优选为，所述S32提取出来的行人图像输入后续的网络模型中，得到行人图像的特征向量；并在特征向量后面添加目标行人的拍摄时间和对应的拍摄摄像头编号，具体为，
步骤S321，将提取出来的行人图像输入到特征提取网络CNN，获取这个行人图像的特征H；
步骤S322，在特征向量H后面添加拍摄该行人所在的这张图片的摄像头编号信息D以及拍摄这张图片的时间信息T。在特征向量H后添加摄像头编号信息及时间信息的方法为，在行人图像的特征向量后再链接一个特征，也就是具备摄像头编号信息和图片拍摄时间信息的时间空间信息特征。
优选为，所述S41中对目标行人图片信息识别具体为，将目标行人图片输入至特征提取网络中，提取出该行人的图像特征H0，并确定该拍摄到目标行人的时间T0以及拍摄该照片的摄像头D0；
所述S42具体为，首先将检索范围确定为与摄像头D0相邻的摄像头图片库，根据所述时间T0进一步缩小时间范围，缩小至图片库中时间命名在：
(T0-1)h～(T0+1)h这一时间范围中，此处以小时为单位，即h，
在这个范围中，通过特征向量相似度的对比：
待测图像通过特征提取网络得到的特征为H测，目标行人的特征向量为H0，
为目标行人图片中特征向量中的特征值，
Figure BDA0002250797470000042
为待测行人图片中正向样本特征向量的特征值，从而欧式距离，
Figure BDA0002250797470000043
通过欧氏距离计算图片之间的相似度，其转换公式为，
Figure BDA0002250797470000044
设定一个Simmin值，在检测的范围中Sim值高于Simmin值时，视为这个行人与目标行人为同一个人，将拍摄目标行人图片的拍摄时间T1和摄像头D1识别出来；然后通过时空信息计算该行人在这段时间内的移动速度V：
摄像头之间的地理距离记为SD1-D0，
Figure BDA0002250797470000045
优选为，所述S5中，对于所述时间范围的推测方法为，
S51，基于行人大致速度V，通过公式：
Figure BDA0002250797470000046
得到应该检测的时间范围；
其中Dx为摄像头D0周围的摄像头群的编号，
以摄像头D0为基准，X＝{1，2，3，4……}，
Tx为经过编号为Dx摄像头群所推测的时间点；
S52、将行人的检索范围缩小为相邻摄像头Dx库中，
时间命名在(Tx-1)h～(Tx+1)h内的图像；
在这个时间范围内检索出相似度高于Simmin的行人图像，从而检索出拍摄到目标行人的相似行人图像。
本发明实施例提供的技术方案带来的有益效果是：本发明基于该行人的本身的特征以及与该行人速度相近的图片进行联系，最终得到该行人在某段时间内的某个区域中的行动轨迹图进而寻找该行人。通过时间间隔得到的行人速度以及在空间中的有限移动性来界定行人。并且在识别的过程中通过摄像头的位置获得该行人的大致行动路线。
附图说明
图1为本发明实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。
实施例1
参见图1，本发明提供一种基于时空数据融合的行人再识别方法，一种基于时空数据融合的行人再识别方法，包括：
S1、通过摄像头进行行人图像采集，并保存采集到的图像，在保存图片时，设置图片命名格式为摄像头编号及时间组合，作为这个摄像头拍摄到的图片的特征；
步骤S11，摄像头拍摄并获取监控视频中的图片，将获取图片上传至服务器，在服务器中按每个摄像头一个组别分开保存；从视频中获取图片的方法为，从摄像头拍摄的视频中每隔0.5秒截取一张图片保存。
步骤S12，分别在单个摄像头的组别中保存这个摄像头拍的照片，并按照摄像头编号和拍摄时间来命名。
S2、构建深度学习神经网络模型；
步骤S21，构建一个深度学习网络模型，其中包括行人检测网络，特征提取网络，训练层以及特征全连接层；
步骤S22，确定区域内摄像头的数量，并且输入各个摄像头之间的距离，通过两个摄像头的编号来获取该两个摄像头之间的距离。
S3、将S1保存的图片通过行人检测的网络获取其中行人的部分，通过深度学习训练使网络学习能够得到行人图片的特征值，并添加这个行人图像的时空信息；
步骤S31，将所述S1保存的图片输入到深度学习网络模型中，然后通过行人检测网络检测出一张图片上面不同的行人图像，并将它们单独提取出来；
步骤S32，提取出来的行人图像输入后续的网络模型中，得到行人图像的特征向量；并在特征向量后面添加目标行人的拍摄时间和对应的拍摄摄像头编号。
步骤S321，将提取出来的行人图像输入到特征提取网络CNN，获取这个行人图像的特征H；
步骤S322，在特征向量H后面添加拍摄该行人所在的这张图片的摄像头编号信息D以及拍摄这张图片的时间信息T。在特征向量H后添加摄像头编号信息及时间信息的方法为，在行人图像的特征向量后再链接一个特征，也就是具备摄像头编号信息和图片拍摄时间信息的时间空间信息特征。
S4、输入待检索的目标行人图像，将起始寻找目标行人的摄像头定义为摄像头A，通过摄像头A进行目标行人图片采集，在摄像头A周围的A相邻摄像头图片库中进行检索，A相邻摄像头为所有与摄像头A相邻的摄像头，检索范围为基于深度学习得到目标行人图片的相似行人图片，将检索得到所述相似行人图片的摄像头定义为摄像头B，通过该相似行人图片的时空信息计算出目标行人移动速度；
步骤S41，对采集到的目标行人图片的时间和拍摄该照片的摄像头A的地理位置信息进行识别，然后将检索范围限定在摄像头A周围的A相邻摄像头所上传的照片；
将目标行人图片输入至特征提取网络中，提取出该行人的图像特征H0，并确定该拍摄到目标行人的时间T0以及拍摄该照片的摄像头D0；
步骤S42，在A相邻摄像头上传的照片中检索出一系列相似行人图像之后，将拍摄到相似行人图片的时间和摄像头位置识别出来；然后通过时空信息计算该行人在这段时间内的移动速度。
首先将检索范围确定为与摄像头D0相邻的摄像头图片库，根据所述时间T0进一步缩小时间范围，缩小至图片库中时间命名在：
(T0-1)h～(T0+1)h这一时间范围中，此处以小时为单位，即h，
在这个范围中，通过特征向量相似度的对比：
待测图像通过特征提取网络得到的特征为H测，目标行人的特征向量为H0，
Figure BDA0002250797470000071
为目标行人图片中特征向量中的特征值，
Figure BDA0002250797470000072
为待测行人图片中正向样本特征向量的特征值，从而欧式距离，
Figure BDA0002250797470000073
通过欧氏距离计算图片之间的相似度，其转换公式为，
Figure BDA0002250797470000074
设定一个Simmin值，在检测的范围中Sim值高于Simmin值时，视为这个行人与目标行人为同一个人，将拍摄目标行人图片的拍摄时间T1和摄像头D1识别出来；然后通过时空信息计算该行人在这段时间内的移动速度V：
摄像头之间的地理距离记为SD1-D0，
Figure BDA0002250797470000075
S5、将检索范围更新为摄像头B的B相邻摄像头，B相邻摄像头为所有与摄像头B相邻的摄像头，基于S4中得出的目标行人移动速度、该目标行人图片采集的时间，以及所述摄像头B和各个B相邻摄像头之间的距离，推算出目标行人由摄像头B经过每个B相邻摄像头的时间范围，然后优先检索各个B相邻摄像头中的这个时间范围中采集到的所有行人图片，最后检索得出与目标行人图片对应的相似行人图片，将检索到相似行人图片的摄像头重新更新为新的摄像头B；
对于所述时间范围的推测方法为，
S51，基于行人大致速度V，通过公式：
得到应该检测的时间范围；
其中Dx为摄像头D0周围的摄像头群的编号，
以摄像头D0为基准，X＝{1，2，3，4……}，
Tx为经过编号为Dx摄像头群所推测的时间点；
S52、将行人的检索范围缩小为相邻摄像头Dx库中，
时间命名在(Tx-1)h～(Tx+1)h内的图像；
在这个时间范围内检索出相似度高于Simmin的行人图像，从而检索出拍摄到目标行人的相似行人图像。
S6、通过S5检索出的相似行人图片，以S5获取的相似行人图片的特征值为标准继续检测，重复步骤S5；
步骤S61，通过特征值对比得到相似行人图片，然后识别出相似行人图片的时空信息，确定对应该相似行人图片的摄像头和拍摄时间，并将这个摄像头更新为摄像头B，将相似行人图片更新为目标行人图片；
步骤S62，根据行人移动速度确定B相邻摄像头可能拍摄到目标行人的时间范围，并且以新的目标行人图片的特征值为标准进行对比判断，依据该时间范围搜索目标行人的相似行人图片。
S7、在无法通过B相邻摄像头识别到与目标行人对应的相似行人图片是，则视为识别结束，最后通过时间顺序排序及通过摄像头的位置推断出该行人的行动路线，并输出该行人的行动路线。
步骤S71，当最新得到的相似行人图片的特征值与目标行人图片的特征值对比相似度低于设定值时，或者所述S5得到的目标行人移动时间范围不在设定的时间范围内时，则停止搜索；
步骤S72，将所有检索到的目标行人的图片，按照时间顺序输出，并且标明对应的摄像头，按照时间、地点顺序输出该行人在这段时间的行动路线。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于时空数据融合的行人再识别方法，其特征在于，包括：
S1、通过摄像头进行行人图像采集，并保存采集到的图像，在保存图片时，设置图片命名格式为摄像头编号及时间组合，作为这个摄像头拍摄到的图片的特征；
S2、构建深度学习神经网络模型；
S3、将S1保存的图片通过行人检测的网络获取其中行人的部分，通过深度学习训练使网络学习能够得到行人图片的特征值，并添加这个行人图像的时空信息；
S4、输入待检索的目标行人图像，将起始寻找目标行人的摄像头定义为摄像头A，通过摄像头A进行目标行人图片采集，在摄像头A周围的A相邻摄像头图片库中进行检索，检索范围为基于深度学习得到目标行人图片的相似行人图片，将检索得到所述相似行人图片的摄像头定义为摄像头B，通过该相似行人图片的时空信息计算出目标行人移动速度；
S5、将检索范围更新为摄像头B的B相邻摄像头，基于S4中得出的目标行人移动速度、该目标行人图片采集的时间，以及所述摄像头B和各个B相邻摄像头之间的距离，推算出目标行人由摄像头B经过每个B相邻摄像头的时间范围，然后优先检索各个B相邻摄像头中的这个时间范围中采集到的所有行人图片，最后检索得出与目标行人图片对应的相似行人图片，将检索到相似行人图片的摄像头重新更新为新的摄像头B；
S6、通过S5检索出的相似行人图片，以S5获取的相似行人图片的特征值为标准继续检测，重复步骤S5；
S7、在无法通过B相邻摄像头识别到与目标行人对应的相似行人图片是，则视为识别结束，最后通过时间顺序排序及通过摄像头的位置推断出该行人的行动路线，并输出该行人的行动路线。
2.根据权利要求1所述的基于时空数据融合的行人再识别方法，其特征在于，所述步骤S1具体为，
步骤S11，摄像头拍摄并获取监控视频中的图片，将获取图片上传至服务器，在服务器中按每个摄像头一个组别分开保存；
步骤S12，分别在单个摄像头的组别中保存这个摄像头拍的照片，并按照摄像头编号和拍摄时间来命名。
3.根据权利要求2所述的基于时空数据融合的行人再识别方法，其特征在于，所述步骤S2具体为，
步骤S21，构建一个深度学习网络模型，其中包括行人检测网络，特征提取网络，训练层以及特征全连接层；
步骤S22，确定区域内摄像头的数量，并且输入各个摄像头之间的距离，通过两个摄像头的编号来获取该两个摄像头之间的距离。
4.根据权利要求3所述的基于时空数据融合的行人再识别方法，其特征在于，所述步骤S3具体为，
步骤S31，将所述S1保存的图片输入到深度学习网络模型中，然后通过行人检测网络检测出一张图片上面不同的行人图像，并将它们单独提取出来；
步骤S32，提取出来的行人图像输入后续的网络模型中，得到行人图像的特征向量；并在特征向量后面添加目标行人的拍摄时间和对应的拍摄摄像头编号。
5.根据权利要求3所述的基于时空数据融合的行人再识别方法，其特征在于，所述步骤S4具体为，
步骤S41，对采集到的目标行人图片的时间和拍摄该照片的摄像头A的地理位置信息进行识别，然后将检索范围限定在摄像头A周围的A相邻摄像头所上传的照片；
步骤S42，在A相邻摄像头上传的照片中检索出一系列相似行人图像之后，将拍摄到相似行人图片的时间和摄像头位置识别出来；然后通过时空信息计算该行人在这段时间内的移动速度。
6.根据权利要求1所述的基于时空数据融合的行人再识别方法，其特征在于，所述步骤S6包括以下步骤：
步骤S61，通过特征值对比得到相似行人图片，然后识别出相似行人图片的时空信息，确定对应该相似行人图片的摄像头和拍摄时间，并将这个摄像头更新为摄像头B，将相似行人图片更新为目标行人图片；
步骤S62，根据行人移动速度确定B相邻摄像头可能拍摄到目标行人的时间范围，并且以新的目标行人图片的特征值为标准进行对比判断，依据该时间范围搜索目标行人的相似行人图片。
7.根据权利要求6所述的基于时空数据融合的行人再识别方法，其特征在于，所述S7具体为，
步骤S71，当最新得到的相似行人图片的特征值与目标行人图片的特征值对比相似度低于设定值时，或者所述S5得到的目标行人移动时间范围不在设定的时间范围内时，则停止搜索；
步骤S72，将所有检索到的目标行人的图片，按照时间顺序输出，并且标明对应的摄像头，按照时间、地点顺序输出该行人在这段时间的行动路线。
8.根据权利要求4所述的基于时空数据融合的行人再识别方法，其特征在于，所述S32提取出来的行人图像输入后续的网络模型中，得到行人图像的特征向量；并在特征向量后面添加目标行人的拍摄时间和对应的拍摄摄像头编号，具体为，
步骤S321，将提取出来的行人图像输入到特征提取网络CNN，获取这个行人图像的特征H；
步骤S322，在特征向量H后面添加拍摄该行人所在的这张图片的摄像头编号信息D以及拍摄这张图片的时间信息T。
9.根据权利要求1-8所述的基于时空数据融合的行人再识别方法，其特征在于，
所述S41中对目标行人图片信息识别具体为，将目标行人图片输入至特征提取网络中，提取出该行人的图像特征H0，并确定该拍摄到目标行人的时间T0以及拍摄该照片的摄像头D0；
所述S42具体为，首先将检索范围确定为与摄像头D0相邻的摄像头图片库，根据所述时间T0进一步缩小时间范围，缩小至图片库中时间命名在：
(T0-1)h～(T0+1)h这一时间范围中，
在这个范围中，通过特征向量相似度的对比：
待测图像通过特征提取网络得到的特征为H测，目标行人的特征向量为H0，
Figure FDA0002250797460000031
为目标行人图片中特征向量中的特征值，
Figure FDA0002250797460000032
为待测行人图片中正向样本特征向量的特征值，从而欧式距离，
Figure FDA0002250797460000033
通过欧氏距离计算图片之间的相似度，其转换公式为，
设定一个Simmin值，在检测的范围中Sim值高于Simmin值时，视为这个行人与目标行人为同一个人，将拍摄目标行人图片的拍摄时间T1和摄像头D1识别出来；然后通过时空信息计算该行人在这段时间内的移动速度V：
摄像头之间的地理距离记为SD1-D0，
Figure FDA0002250797460000041
10.根据权利要求1-9所述的基于时空数据融合的行人再识别方法，其特征在于，所述S5中，对于所述时间范围的推测方法为，
S51，基于行人大致速度V，通过公式：
Figure FDA0002250797460000042
得到应该检测的时间范围；
其中Dx为摄像头D0周围的摄像头群的编号，
以摄像头D0为基准，X＝{1，2，3，4……}，
Tx为经过编号为Dx摄像头群所推测的时间点；
S52、将行人的检索范围缩小为相邻摄像头Dx库中，
时间命名在(Tx-1)h～(Tx+1)h内的图像；
在这个时间范围内检索出相似度高于Simmin的行人图像，从而检索出拍摄到目标行人的相似行人图像。
CN201911033476.4A 2019-10-28 2019-10-28 一种基于时空数据融合的行人再识别方法 Active CN110796074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911033476.4A CN110796074B (zh) 2019-10-28 2019-10-28 一种基于时空数据融合的行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911033476.4A CN110796074B (zh) 2019-10-28 2019-10-28 一种基于时空数据融合的行人再识别方法

Publications (2)

Publication Number Publication Date
CN110796074A true CN110796074A (zh) 2020-02-14
CN110796074B CN110796074B (zh) 2022-08-12

Family

ID=69441659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911033476.4A Active CN110796074B (zh) 2019-10-28 2019-10-28 一种基于时空数据融合的行人再识别方法

Country Status (1)

Country Link
CN (1) CN110796074B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460985A (zh) * 2020-03-30 2020-07-28 华中科技大学 基于跨摄像头人体匹配的现场工人轨迹统计方法和系统
CN111897993A (zh) * 2020-07-20 2020-11-06 杭州叙简科技股份有限公司 一种基于行人再识别的高效目标人物轨迹生成方法
CN111931638A (zh) * 2020-08-07 2020-11-13 华南理工大学 一种基于行人重识别的局部复杂区域定位系统及方法
CN112559583A (zh) * 2020-11-30 2021-03-26 杭州海康威视数字技术股份有限公司 一种同行人识别方法及装置
CN112613496A (zh) * 2021-03-08 2021-04-06 深圳市安软科技股份有限公司 一种行人重识别方法、装置、电子设备及存储介质
CN112906507A (zh) * 2021-01-29 2021-06-04 同济大学 基于数码照片测算商业街行人轨迹的方法
CN112949539A (zh) * 2021-03-16 2021-06-11 安徽领云物联科技有限公司 一种基于摄像头位置的行人重识别交互检索方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140063263A1 (en) * 2012-08-29 2014-03-06 Xerox Corporation System and method for object tracking and timing across multiple camera views
CN105930768A (zh) * 2016-04-11 2016-09-07 武汉大学 一种基于时空约束的目标重识别方法
EP3373201A1 (en) * 2017-03-06 2018-09-12 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN108764167A (zh) * 2018-05-30 2018-11-06 上海交通大学 一种时空关联的目标重识别方法和系统
CN108830142A (zh) * 2018-05-02 2018-11-16 淘然视界(杭州)科技有限公司 基于行人重识别的定位追踪方法及装置
CN109359552A (zh) * 2018-09-21 2019-02-19 中山大学 一种高效的跨摄像头行人双向跟踪方法
CN109558831A (zh) * 2018-11-27 2019-04-02 成都索贝数码科技股份有限公司 一种融合时空模型的跨摄像头行人定位方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140063263A1 (en) * 2012-08-29 2014-03-06 Xerox Corporation System and method for object tracking and timing across multiple camera views
CN105930768A (zh) * 2016-04-11 2016-09-07 武汉大学 一种基于时空约束的目标重识别方法
EP3373201A1 (en) * 2017-03-06 2018-09-12 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN108830142A (zh) * 2018-05-02 2018-11-16 淘然视界(杭州)科技有限公司 基于行人重识别的定位追踪方法及装置
CN108764167A (zh) * 2018-05-30 2018-11-06 上海交通大学 一种时空关联的目标重识别方法和系统
CN109359552A (zh) * 2018-09-21 2019-02-19 中山大学 一种高效的跨摄像头行人双向跟踪方法
CN109558831A (zh) * 2018-11-27 2019-04-02 成都索贝数码科技股份有限公司 一种融合时空模型的跨摄像头行人定位方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANIRBAN等: "Network Consistent Data Association.", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE 》 *
KAN LIU,ET AL: "A Spatio-Temporal Appearance Representation for Video-Based Pedestrian Re-Identification", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
李国强等: "Mean Shift算法在运动目标检测与跟踪中的研究", 《现代计算机(专业版)》 *
郑伟诗等: "非对称行人重识别:跨摄像机持续行人追踪", 《中国科学:信息科学》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460985A (zh) * 2020-03-30 2020-07-28 华中科技大学 基于跨摄像头人体匹配的现场工人轨迹统计方法和系统
CN111897993A (zh) * 2020-07-20 2020-11-06 杭州叙简科技股份有限公司 一种基于行人再识别的高效目标人物轨迹生成方法
CN111931638A (zh) * 2020-08-07 2020-11-13 华南理工大学 一种基于行人重识别的局部复杂区域定位系统及方法
CN111931638B (zh) * 2020-08-07 2023-06-20 华南理工大学 一种基于行人重识别的局部复杂区域定位系统及方法
CN112559583A (zh) * 2020-11-30 2021-03-26 杭州海康威视数字技术股份有限公司 一种同行人识别方法及装置
CN112559583B (zh) * 2020-11-30 2023-09-01 杭州海康威视数字技术股份有限公司 一种同行人识别方法及装置
CN112906507A (zh) * 2021-01-29 2021-06-04 同济大学 基于数码照片测算商业街行人轨迹的方法
CN112906507B (zh) * 2021-01-29 2022-06-07 同济大学 基于数码照片测算商业街行人轨迹的方法
CN112613496A (zh) * 2021-03-08 2021-04-06 深圳市安软科技股份有限公司 一种行人重识别方法、装置、电子设备及存储介质
CN112949539A (zh) * 2021-03-16 2021-06-11 安徽领云物联科技有限公司 一种基于摄像头位置的行人重识别交互检索方法及系统

Also Published As

Publication number Publication date
CN110796074B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN110796074B (zh) 一种基于时空数据融合的行人再识别方法
CN109961051B (zh) 一种基于聚类和分块特征提取的行人重识别方法
JP6614611B2 (ja) 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法
CN106354816B (zh) 一种视频图像处理方法及装置
US10025854B2 (en) Video searching
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
US8744125B2 (en) Clustering-based object classification
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN111310728B (zh) 基于监控相机和无线定位的行人重识别系统
CN111582126B (zh) 基于多尺度行人轮廓分割融合的行人重识别方法
CN111652035B (zh) 一种基于ST-SSCA-Net的行人重识别方法及系统
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN111241932A (zh) 汽车展厅客流检测与分析系统、方法及存储介质
CN115223246A (zh) 一种人员违规行为识别方法、装置、设备及存储介质
CN115376034A (zh) 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
KR20150065370A (ko) 행동 인식 장치 및 그 방법
CN106934339B (zh) 一种目标跟踪、跟踪目标识别特征的提取方法和装置
CN111539257B (zh) 人员重识别方法、装置和存储介质
CN112949539A (zh) 一种基于摄像头位置的行人重识别交互检索方法及系统
CN116912763A (zh) 一种融合步态人脸模态的多行人重识别方法
CN116580333A (zh) 基于YOLOv5和改进StrongSORT的粮库车辆追踪方法
CN115588149A (zh) 基于匹配优先级的跨相机多目标级联匹配方法
CN113627497B (zh) 一种基于时空约束的跨摄像头行人轨迹匹配方法
CN111160115B (zh) 一种基于孪生双流3d卷积神经网络的视频行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant