CN107704824A - 基于空间约束的行人重识别方法及设备 - Google Patents

基于空间约束的行人重识别方法及设备 Download PDF

Info

Publication number
CN107704824A
CN107704824A CN201710916212.8A CN201710916212A CN107704824A CN 107704824 A CN107704824 A CN 107704824A CN 201710916212 A CN201710916212 A CN 201710916212A CN 107704824 A CN107704824 A CN 107704824A
Authority
CN
China
Prior art keywords
pedestrian
target
feature
track
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710916212.8A
Other languages
English (en)
Other versions
CN107704824B (zh
Inventor
张政
李晓波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Innovisgroup Technology Co Ltd
Original Assignee
Beijing Innovisgroup Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Innovisgroup Technology Co Ltd filed Critical Beijing Innovisgroup Technology Co Ltd
Priority to CN201710916212.8A priority Critical patent/CN107704824B/zh
Publication of CN107704824A publication Critical patent/CN107704824A/zh
Application granted granted Critical
Publication of CN107704824B publication Critical patent/CN107704824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于空间约束的行人重识别方法及设备，包括：获取观测场景内的图像信息进行分析，计算投影矩阵；智能前端对相应的行人目标进行单镜头跟踪，生成行人目标跟踪轨迹，通过坐标映射转换为三维空间的坐标轨迹；后台服务器接收来自智能前端返回的行人目标跟踪轨迹，对该行人目标跟踪轨迹进行聚合，得到聚合轨迹；后台服务器根据聚合轨迹，分别对每个单镜头下的行人目标跟踪轨迹进行采样；后台服务器接收到待检索的行人图像，提取该行人图像的特征作为检索特征，将该检索特征与存储的多个特征基础对比，查找对比成功的行人目标轨迹，并按照置信度进行排序，返回检索结果。本发明通过三维空间约束提升行人搜索的准确性。

Description

基于空间约束的行人重识别方法及设备
技术领域
本发明涉及智能视频分析技术领域，特别涉及一种基于空间约束的行人重识别方法及设备。
背景技术
随着经济的快速发展和人口的流动，特别是在大城市，出现较多的人口密集区域，而这些人口密集区域正是安全问题频发的敏感区域，因此这些敏感区域也成为城市建设中的隐忧。为了杜绝重点敏感区域中各种盗窃、抢劫和打架等问题的发生，有关部门在相关位置安装了大量的摄像头，用于对这些区域进行实时监管，但由于距离较远或者清晰度等问题，在发生突发事件后并不能对嫌疑人进行准确的定位和追踪，并不能达到预期的效果。
传统的行人re-id的方法比较简单，都是针对多个镜头的视频图像进行导入，仅仅依靠特征比对来处理，并没有利用到有效的三维空间信息，甚至是时间信息，这些信息作为目标的连续性轨迹刻画是非常有价值的。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种基于空间约束的行人重识别方法及设备。
为了实现上述目的，本发明一方面的实施例提供一种基于空间约束的行人重识别方法，包括如下步骤：
步骤S1，利用拍摄设备获取观测场景内的图像信息，并传输给智能前端，由所述智能前端对所述图像信息进行分析，提取场景内的行人特征，将所述行人特征绑定对应时间信息标签，并根据预先标定好的拍摄设备位置和角度以计算投影矩阵，以实现多个像素坐标到统一的三维坐标的转换；
步骤S2，所述智能前端根据步骤S1中得到行人特征，对相应的行人目标进行单镜头跟踪，生成行人目标跟踪轨迹，通过坐标映射转换为三维空间的坐标轨迹；
步骤S3，后台服务器接收来自所述智能前端返回的行人目标跟踪轨迹，对该行人目标跟踪轨迹进行聚合，得到聚合轨迹，包括：分别采用单镜头内部聚合和跨镜头聚合方式；
步骤S4，所述后台服务器根据步骤S3中得到的聚合轨迹，分别对每个单镜头下的行人目标跟踪轨迹进行采样，作为行人目标的特征基础Gallery，并将跨镜头聚合的目标对应同一个Gallery ID；
步骤S5，所述后台服务器接收到待检索的行人图像，提取该行人图像的特征作为检索特征，将该检索特征与存储的多个特征基础Gallery进行对比，查找对比成功的行人目标轨迹，并按照置信度进行排序，返回检索结果。
进一步，在所述步骤S1中，所述智能前端对所述图像信息进行分析，包括：所述智能前端基于GPU加速的DCNN算法，该算法分为两步训练：
首先训练行人检测器，然后进行网络压缩以减少层数和通道、权值聚合，并根据前面的检测结果重新训练，得到适用于当前视角的检测器；在行人检测算法基础上加入特定特征检测，对局部特性进行刻画，以作为整体特征的补充特征。
进一步，在所述步骤S3中，所述单镜头内部的聚合，包括如下步骤：内部聚合通过re-id处理由于遮挡、变形、光照问题导致的目标轨迹断续情况，通过特征比对实现连续轨迹刻画；
所述跨镜头的聚合，包括如下步骤：跨镜头聚合处理目标的跨镜头行为，根据目标投影的运动方向信息，在三维空间内寻找周围的摄像机覆盖，并根据最大可能性对摄像机赋予权值，基于该权值进行目标的re-id聚合，刻画跨镜头轨迹。
进一步，在所述步骤S4中，所述对每个单镜头下的行人目标跟踪轨迹进行采样，包括：通过目标轨迹进行序列采样的方法，该采样方法结合re-id置信度阈值完成执行。
进一步，在所述步骤S5中，所述查找对比成功的行人目标轨迹，并按照置信度进行排序，包括如下步骤：根据输入的待检索的行人图像，采用两级检索机制，首先得到最高置信度的目标位置，然后优先基于该目标周围进行检索。
本发明另一方面的实施例提供一种基于空间约束的行人重识别设备，包括：拍摄设备、智能前端和后台服务器，其中，所述拍摄设备与所述智能前端通信，所述智能前端进一步与所述后台服务器通信，所述拍摄设备用于采集观测场景内的图像信息；所述智能前端包括：壳体、工作指示灯、解码芯片、散热装置、供电单元和嵌入式板卡，所述解码芯片、供电单元和嵌入式板卡均位于所述壳体的内部，所述供电单元与工作指示灯、解码芯片、散热装置和嵌入式板卡连接，以进行供电，其中，所述工作指示灯位于所述壳体的外侧上部；所述散热装置位于所述壳体一侧，所述解码芯片与外部的网络摄像头和嵌入式板卡连接，
所述智能终端用于接收所述拍摄设备采集的观测场景内的图像信息对所述图像信息进行分析，提取场景内的行人特征，将所述行人特征绑定对应时间信息标签，并根据预先标定好的拍摄设备位置和角度以计算投影矩阵，以实现多个像素坐标到统一的三维坐标的转换，根据得到行人特征，对相应的行人目标进行单镜头跟踪，生成行人目标跟踪轨迹，通过坐标映射转换为三维空间的坐标轨迹；
所述后台服务器用于接收来自所述智能前端返回的行人目标跟踪轨迹，对该行人目标跟踪轨迹进行聚合，得到聚合轨迹，包括：分别采用单镜头内部聚合和跨镜头聚合方式，根据得到的聚合轨迹，分别对每个单镜头下的行人目标跟踪轨迹进行采样，作为行人目标的特征基础Gallery，并将跨镜头聚合的目标对应同一个Gallery ID；并在接收到待检索的行人图像，提取该行人图像的特征作为检索特征，将该检索特征与存储的多个特征基础Gallery进行对比，查找对比成功的行人目标轨迹，并按照置信度进行排序，返回检索结果。
进一步，所述智能前端用于对所述图像信息进行分析，包括：所述智能前端基于GPU加速的DCNN算法，该算法分为两步训练：
首先训练行人检测器，然后进行网络压缩以减少层数和通道、权值聚合，并根据前面的检测结果重新训练，得到适用于当前视角的检测器；在行人检测算法基础上加入特定特征检测，对局部特性进行刻画，以作为整体特征的补充特征。
进一步，所述后台服务器执行单镜头内部的聚合，包括：内部聚合通过re-id处理由于遮挡、变形、光照问题导致的目标轨迹断续情况，通过特征比对实现连续轨迹刻画；
所述后台服务器执行跨镜头的聚合，包括：跨镜头聚合处理目标的跨镜头行为，根据目标投影的运动方向信息，在三维空间内寻找周围的摄像机覆盖，并根据最大可能性对摄像机赋予权值，基于该权值进行目标的re-id聚合，刻画跨镜头轨迹。
进一步，所述后台服务器通过目标轨迹进行序列采样的方法，该采样方法结合re-id置信度阈值完成执行。
进一步，所述后台服务器根据输入的待检索的行人图像，采用两级检索机制，首先得到最高置信度的目标位置，然后优先基于该目标周围进行检索。
根据本发明实施例的基于空间约束的行人重识别方法及设备，智能前端集成轻量级的深度学习算法，实现对行人目标的有效检测，并直接抽取卷积层特征作为特征比对依据。采用基于空间约束的行人重识别方法根据目标的位置信息，在局部场景内实现全局优化，有效排除与检测目标比较近似的假目标。通过后台服务器存储前端回传的特征结果，该特征结果同时包含时间与三维位置标签，作为行人重识别算法的输入，然后将待检索的行人图像与其进行比对，以实现搜索查询。本发明通过三维空间约束提升行人搜索的准确性，并提供一种结构简单、监测精准、智能化程度高的智能前端，作为前端行人检测设备，实现行人的检测与特征提取，并将特征结果存储到后台服务器，由后台服务器统一进行检索查询。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于空间约束的行人重识别方法的流程图；
图2为根据本发明实施例的三维位置映射的示意图；
图3(a)和(b)为根据本发明实施例的轨迹聚合的示意图；
图4为根据本发明实施例的基于空间约束的行人重识别设备的结构图；
图5为根据本发明实施例的基于空间约束的行人重识别设备的示意图；
图6为根据本发明实施例的嵌入式板卡的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明实施例提供一种基于空间约束的行人重识别方法及设备，可以解决传统re-id方法所存在的问题。
如图1所示，本发明实施例的基于空间约束的行人重识别方法，包括如下步骤：
步骤S1，利用拍摄设备获取观测场景内的图像信息，并传输给智能前端，由智能前端对图像信息进行分析，采用深度卷积网络(DCNN)实时提取场景内的行人特征，将行人特征绑定对应时间信息标签，并根据预先标定好的拍摄设备位置和角度以计算投影矩阵，以实现多个像素坐标到统一的三维坐标的转换，同时绑定到三维坐标标签，参考图2。
具体的，智能前端对图像信息进行分析，包括：智能前端采用NVidia TX1嵌入式板卡封装，有效集成基于GPU加速的深度卷积网络DCNN算法，该算法分为两步训练：
首先训练行人检测器，然后进行网络压缩以减少层数和通道、权值聚合，并根据前面的检测结果重新训练，得到适用于当前视角的检测器；在行人检测算法基础上加入特定特征检测，对局部特性(例如眼镜、背包、鞋子等)进行刻画，以作为整体特征的补充特征。即，智能前端提取的行人特征，包括整体特征和局部特征。
然后，对于每个拍摄设备，借助网络压缩，训练基于该视角的轻量级的深度网络，以便于在智能前端运行。每个目标检测结果标定对应的时间信息，同时借助事先标定好的相机位置和角度，计算投影矩阵，实现从像素坐标到三维位置的映射，同时绑定到三维坐标标签。然后，通过拍摄设备的三维位置和投影矩阵实现目标从像素空间到三维空间的映射，实现从多个像素坐标到统一的三维坐标之间的转换。
步骤S2，智能前端根据步骤S1中得到行人特征，通过集成视频目标跟踪方法对相应的行人目标进行单镜头跟踪，生成行人目标跟踪轨迹，通过坐标映射转换为三维空间的坐标轨迹。
步骤S3，后台服务器接收来自智能前端返回的行人目标跟踪轨迹，对该行人目标跟踪轨迹进行聚合，得到聚合轨迹，包括：分别采用单镜头内部聚合和跨镜头聚合方式。
(1)单镜头内部的聚合，包括如下步骤：内部聚合通过re-id处理由于遮挡、变形、光照问题导致的目标轨迹断续情况，通过特征比对实现连续轨迹刻画，如图3(a)所示。
(2)跨镜头的聚合，包括如下步骤：跨镜头聚合处理目标的跨镜头行为，根据目标投影的运动方向信息，在三维空间内寻找周围的摄像机覆盖，并根据最大可能性性对摄像机赋予权值，基于该权值进行目标的re-id聚合，刻画跨镜头轨迹，如图3(b)所示。
步骤S4，后台服务器根据步骤S3中得到的聚合轨迹，分别对每个单镜头下的行人目标跟踪轨迹进行采样，作为行人目标的特征基础Gallery，并将跨镜头聚合的目标对应同一个Gallery ID。
在本步骤中，对每个单镜头下的行人目标跟踪轨迹进行采样，包括：通过目标轨迹进行序列采样的方法，该采样方法结合re-id置信度阈值完成执行。并且，设置跨镜头目标统一的Gallery ID管理方法。
步骤S5，后台服务器接收到待检索的行人图像，通过DCNN提取该行人图像的特征作为检索特征(比较依据)，将该检索特征与存储的多个特征基础Gallery进行对比，查找对比成功的行人目标轨迹，并按照置信度进行排序，返回检索结果。
具体的，查找对比成功的行人目标轨迹，并按照置信度进行排序，包括如下步骤：根据输入的待检索的行人图像，采用两级检索机制，首先得到最高置信度的目标位置，然后优先基于该目标周围进行检索。
综上，本发明实施例的基于空间约束的行人重识别方法，智能前端检测设备直接与拍摄设备(例如摄像头)连接，通过集成轻量级的深度学习算法，实现对行人目标的有效检测，并直接抽取卷积层特征作为特征比对依据。采用基于空间约束的行人重识别方法根据目标的位置信息，在局部场景内实现全局优化，有效排除与检测目标比较近似的假目标。通过后台服务器存储前端回传的特征结果，该特征结果同时包含时间与三维位置标签，作为行人重识别算法的输入，然后将待检索的行人图像与其进行比对，以实现搜索查询。
如图4所示，本发明实施例的基于空间约束的行人重识别设备，包括：拍摄设备100、智能前端200和后台服务器300，其中，拍摄设备100与智能前端200通信，智能前端200进一步与后台服务器300通信。
具体的，拍摄设备100用于采集观测场景内的图像信息。例如，拍摄设备100可以为相机等。
如图5所示，智能前端200包括：壳体1、工作指示灯6、芯片装置3、散热装置5、供电单元4和嵌入式板卡2。
供电单元4可以实现对设备整体进行供电。壳体1采用铝合金外壳，进行散热和设备承载。壳体1作为内部设备的容器，负责承载、防水、安装。
解码芯片3、供电单元4和嵌入式板卡2均位于壳体1的内部，供电单元4与工作指示灯6、解码芯片3、散热装置5和嵌入式板卡2连接，以进行供电。由供电单元4向真个设备进行供电。
此外，工作指示灯6位于壳体1的外侧上部。其中，工作指示灯6可以采用多个LED灯。并且，多个LED灯采用显示颜色不同的LED灯，从而用户可以当前点亮的LED灯的颜色判断设备的当前工作状态。
工作指示灯6可以指示系统的运行情况，包括：是否开机、网络连接情况、温度报警等。
散热装置5位于壳体1一侧，用于对壳体内部降温。在本发明的一个实施例中，散热装置5可以采用风扇实现，通过风扇实现物理散热，避免嵌入式板卡2设备温度过高。
参考图6，嵌入式板卡2采用NVidia TX1进行封装，借助于CUDA并行为深度网络提供加速，该板卡运行的软件模块包括：整体和局部特征的行人检测器和特征提取；并行的视频目标跟踪模块；命令接收与结果回传模块；视频接入与硬解码模块。本发明采用基于硬件的解码模块来加速解码过程，减少设备的GPU占用，硬解码模块与摄像机之间采用RTSP方式进行接入，解码后的数据直接放入到嵌入式板卡缓冲区。
解码芯片3与外部的网络摄像头和嵌入式板卡2连接。解码芯片可以实现网络视频接入，实现对前端摄像机的实时视频流获取，解码得到视频图像。此外，本发明的解码芯片采用硬解码器，通过硬解码器进行视频流获取，避免占用嵌入式板卡2的CPU或GPU资源。解码后的图像数据同步到嵌入式板卡2指定的存储区，嵌入式板卡2可以直接读取。嵌入式板卡2为系统的嵌入式设备，搭载并运行行人检测、特征提取、特征比对等模块，实现上述功能。
智能终端用于接收拍摄设备100采集的观测场景内的图像信息对图像信息进行分析，采用深度卷积网络(DCNN)提取场景内的行人特征，将行人特征绑定对应时间信息标签，并根据预先标定好的拍摄设备100位置和角度以计算投影矩阵，以实现多个像素坐标到统一的三维坐标的转换，同时绑定到三维坐标标签。
在本发明的一个实施例中，智能前端200用于对图像信息进行分析，包括：智能前端200基于GPU加速的DCNN算法，该算法分为两步训练：
首先训练行人检测器，然后进行网络压缩以减少层数和通道、权值聚合，并根据前面的检测结果重新训练，得到适用于当前视角的检测器；在行人检测算法基础上加入特定特征检测，对局部特性(例如眼镜、背包、鞋子等)进行刻画，以作为整体特征的补充特征。
然后，对于每个拍摄设备100，智能前端200借助网络压缩，训练基于该视角的轻量级的深度网络，以便于在智能前端200运行。每个目标检测结果标定对应的时间信息，同时借助事先标定好的相机位置和角度，计算投影矩阵，实现从像素坐标到三维位置的映射，同时绑定到三维坐标标签。然后，通过拍摄设备100的三维位置和投影矩阵实现目标从像素空间到三维空间的映射，实现从多个像素坐标到统一的三维坐标之间的转换。
智能前端200根据得到行人特征，对相应的行人目标进行单镜头跟踪，生成行人目标跟踪轨迹，通过坐标映射转换为三维空间的坐标轨迹。
后台服务器300用于接收来自智能前端200返回的行人目标跟踪轨迹，对该行人目标跟踪轨迹进行聚合，得到聚合轨迹，包括：分别采用单镜头内部聚合和跨镜头聚合方式。
(1)单镜头内部的聚合，包括如下步骤：内部聚合通过re-id处理由于遮挡、变形、光照问题导致的目标轨迹断续情况，通过特征比对实现连续轨迹刻画；
(2)跨镜头的聚合，包括如下步骤：跨镜头聚合处理目标的跨镜头行为，根据目标投影的运动方向信息，在三维空间内寻找周围的摄像机覆盖，并根据最大可能性对摄像机赋予权值，基于该权值进行目标的re-id聚合，刻画跨镜头轨迹。
后台服务器300根据得到的聚合轨迹，分别对每个单镜头下的行人目标跟踪轨迹进行采样，作为行人目标的特征基础Gallery，并将跨镜头聚合的目标对应同一个GalleryID。
在本发明的一个实施例中，后台服务器300通过目标轨迹进行序列采样的方法，该采样方法结合re-id置信度阈值完成执行。并且，后台服务器300通进一步设置跨镜头目标统一的Gallery ID管理方法。
后台服务器300在接收到待检索的行人图像，提取该行人图像的特征作为检索特征，将该检索特征与存储的多个特征基础Gallery进行对比，查找对比成功的行人目标轨迹，并按照置信度进行排序，返回检索结果。
具体的，后台服务器300根据输入的待检索的行人图像，采用两级检索机制，首先得到最高置信度的目标位置，然后优先基于该目标周围进行检索。
根据本发明实施例的基于空间约束的行人重识别方法及设备，智能前端集成轻量级的深度学习算法，实现对行人目标的有效检测，并直接抽取卷积层特征作为特征比对依据。采用基于空间约束的行人重识别方法根据目标的位置信息，在局部场景内实现全局优化，有效排除与检测目标比较近似的假目标。通过后台服务器存储前端回传的特征结果，该特征结果同时包含时间与三维位置标签，作为行人重识别算法的输入，然后将待检索的行人图像与其进行比对，以实现搜索查询。本发明通过三维空间约束提升行人搜索的准确性，并提供一种结构简单、监测精准、智能化程度高的智能前端，作为前端行人检测设备，实现行人的检测与特征提取，并将特征结果存储到后台服务器，由后台服务器统一进行检索查询。
此外，本发明提供的智能前端通过设置铝合金外壳作为内部设备的容器，实现承载、防水、安装的作用。并且在壳体的外侧上部设置多个LED灯，从而用户可以当前点亮的LED灯的颜色判断设备的当前工作状态，便于用户实时观察设备的工作状态。并且，在壳体的一侧设置风扇作为散热装置，可以实现物理散热，避免嵌入式板卡设备温度过高，降低壳体内各个器件的问题，提高器件的使用寿命和工作性能。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种基于空间约束的行人重识别方法，其特征在于，包括如下步骤：
步骤S1，利用拍摄设备获取观测场景内的图像信息，并传输给智能前端，由所述智能前端对所述图像信息进行分析，提取场景内的行人特征，将所述行人特征绑定对应时间信息标签，并根据预先标定好的拍摄设备位置和角度以计算投影矩阵，以实现多个像素坐标到统一的三维坐标的转换；
步骤S2，所述智能前端根据步骤S1中得到行人特征，对相应的行人目标进行单镜头跟踪，生成行人目标跟踪轨迹，通过坐标映射转换为三维空间的坐标轨迹；
步骤S3，后台服务器接收来自所述智能前端返回的行人目标跟踪轨迹，对该行人目标跟踪轨迹进行聚合，得到聚合轨迹，包括：分别采用单镜头内部聚合和跨镜头聚合方式；
步骤S4，所述后台服务器根据步骤S3中得到的聚合轨迹，分别对每个单镜头下的行人目标跟踪轨迹进行采样，作为行人目标的特征基础Gallery，并将跨镜头聚合的目标对应同一个Gallery ID；
步骤S5，所述后台服务器接收到待检索的行人图像，提取该行人图像的特征作为检索特征，将该检索特征与存储的多个特征基础Gallery进行对比，查找对比成功的行人目标轨迹，并按照置信度进行排序，返回检索结果。
2.如权利要求1所述的基于空间约束的行人重识别方法，其特征在于，在所述步骤S1中，所述智能前端对所述图像信息进行分析，包括：所述智能前端基于GPU加速的DCNN算法，该算法分为两步训练：
首先训练行人检测器，然后进行网络压缩以减少层数和通道、权值聚合，并根据前面的检测结果重新训练，得到适用于当前视角的检测器；在行人检测算法基础上加入特定特征检测，对局部特性进行刻画，以作为整体特征的补充特征。
3.如权利要求1所述的基于空间约束的行人重识别方法，其特征在于，在所述步骤S3中，所述单镜头内部的聚合，包括如下步骤：内部聚合通过re-id处理由于遮挡、变形、光照问题导致的目标轨迹断续情况，通过特征比对实现连续轨迹刻画；
所述跨镜头的聚合，包括如下步骤：跨镜头聚合处理目标的跨镜头行为，根据目标投影的运动方向信息，在三维空间内寻找周围的摄像机覆盖，并根据最大可能性对摄像机赋予权值，基于该权值进行目标的re-id聚合，刻画跨镜头轨迹。
4.如权利要求1所述的基于空间约束的行人重识别方法，其特征在于，在所述步骤S4中，所述对每个单镜头下的行人目标跟踪轨迹进行采样，包括：通过目标轨迹进行序列采样的方法，该采样方法结合re-id置信度阈值完成执行。
5.如权利要求1所述的基于空间约束的行人重识别方法，其特征在于，在所述步骤S5中，所述查找对比成功的行人目标轨迹，并按照置信度进行排序，包括如下步骤：根据输入的待检索的行人图像，采用两级检索机制，首先得到最高置信度的目标位置，然后优先基于该目标周围进行检索。
6.一种基于空间约束的行人重识别设备，其特征在于，包括：拍摄设备、智能前端和后台服务器，其中，所述拍摄设备与所述智能前端通信，所述智能前端进一步与所述后台服务器通信，
所述拍摄设备用于采集观测场景内的图像信息；
所述智能前端包括：壳体、工作指示灯、解码芯片、散热装置、供电单元和嵌入式板卡，所述解码芯片、供电单元和嵌入式板卡均位于所述壳体的内部，所述供电单元与工作指示灯、解码芯片、散热装置和嵌入式板卡连接，以进行供电，其中，所述工作指示灯位于所述壳体的外侧上部；所述散热装置位于所述壳体一侧，所述解码芯片与外部的网络摄像头和嵌入式板卡连接，
所述智能终端用于接收所述拍摄设备采集的观测场景内的图像信息对所述图像信息进行分析，提取场景内的行人特征，将所述行人特征绑定对应时间信息标签，并根据预先标定好的拍摄设备位置和角度以计算投影矩阵，以实现多个像素坐标到统一的三维坐标的转换，根据得到行人特征，对相应的行人目标进行单镜头跟踪，生成行人目标跟踪轨迹，通过坐标映射转换为三维空间的坐标轨迹；
所述后台服务器用于接收来自所述智能前端返回的行人目标跟踪轨迹，对该行人目标跟踪轨迹进行聚合，得到聚合轨迹，包括：分别采用单镜头内部聚合和跨镜头聚合方式，根据得到的聚合轨迹，分别对每个单镜头下的行人目标跟踪轨迹进行采样，作为行人目标的特征基础Gallery，并将跨镜头聚合的目标对应同一个Gallery ID；并在接收到待检索的行人图像，提取该行人图像的特征作为检索特征，将该检索特征与存储的多个特征基础Gallery进行对比，查找对比成功的行人目标轨迹，并按照置信度进行排序，返回检索结果。
7.如权利要求6所述的基于空间约束的行人重识别设备，其特征在于，所述智能前端用于对所述图像信息进行分析，包括：所述智能前端基于GPU加速的DCNN算法，该算法分为两步训练：
首先训练行人检测器，然后进行网络压缩以减少层数和通道、权值聚合，并根据前面的检测结果重新训练，得到适用于当前视角的检测器；在行人检测算法基础上加入特定特征检测，对局部特性进行刻画，以作为整体特征的补充特征。
8.如权利要求6所述的基于空间约束的行人重识别设备，其特征在于，所述后台服务器执行单镜头内部的聚合，包括：内部聚合通过re-id处理由于遮挡、变形、光照问题导致的目标轨迹断续情况，通过特征比对实现连续轨迹刻画；
所述后台服务器执行跨镜头的聚合，包括：跨镜头聚合处理目标的跨镜头行为，根据目标投影的运动方向信息，在三维空间内寻找周围的摄像机覆盖，并根据最大可能性对摄像机赋予权值，基于该权值进行目标的re-id聚合，刻画跨镜头轨迹。
9.如权利要求6所述的基于空间约束的行人重识别设备，其特征在于，所述后台服务器通过目标轨迹进行序列采样的方法，该采样方法结合re-id置信度阈值完成执行。
10.如权利要求6所述的基于空间约束的行人重识别设备，其特征在于，所述后台服务器根据输入的待检索的行人图像，采用两级检索机制，首先得到最高置信度的目标位置，然后优先基于该目标周围进行检索。
CN201710916212.8A 2017-09-30 2017-09-30 基于空间约束的行人重识别方法及设备 Active CN107704824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710916212.8A CN107704824B (zh) 2017-09-30 2017-09-30 基于空间约束的行人重识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710916212.8A CN107704824B (zh) 2017-09-30 2017-09-30 基于空间约束的行人重识别方法及设备

Publications (2)

Publication Number Publication Date
CN107704824A true CN107704824A (zh) 2018-02-16
CN107704824B CN107704824B (zh) 2020-05-29

Family

ID=61183938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710916212.8A Active CN107704824B (zh) 2017-09-30 2017-09-30 基于空间约束的行人重识别方法及设备

Country Status (1)

Country Link
CN (1) CN107704824B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416880A (zh) * 2018-03-26 2018-08-17 成都信达智胜科技有限公司 一种基于视频的识别方法
CN108416632A (zh) * 2018-03-26 2018-08-17 成都信达智胜科技有限公司 一种动态视频的识别方法
CN109117888A (zh) * 2018-08-20 2019-01-01 北京旷视科技有限公司 目标对象识别方法及其神经网络生成方法以及装置
CN109255802A (zh) * 2018-08-21 2019-01-22 平安科技（深圳）有限公司 行人跟踪方法、装置、计算机设备及存储介质
CN109299664A (zh) * 2018-08-27 2019-02-01 华中科技大学 一种行人重识别的重排序方法
CN109753901A (zh) * 2018-12-21 2019-05-14 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN110674746A (zh) * 2019-09-24 2020-01-10 视云融聚（广州）科技有限公司 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
CN110706259A (zh) * 2019-10-12 2020-01-17 四川航天神坤科技有限公司 一种基于空间约束的可疑人员跨镜头追踪方法及装置
CN110798618A (zh) * 2019-10-30 2020-02-14 广州海格星航信息科技有限公司 一种动态追踪中的摄像头资源调度方法及装置
CN111027462A (zh) * 2019-12-06 2020-04-17 长沙海格北斗信息技术有限公司 跨多摄像头的行人轨迹识别方法
CN111027397A (zh) * 2019-11-14 2020-04-17 上海交通大学 适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备
CN111079600A (zh) * 2019-12-06 2020-04-28 长沙海格北斗信息技术有限公司 多摄像头的行人识别方法及识别系统
CN111131700A (zh) * 2019-12-25 2020-05-08 重庆特斯联智慧科技股份有限公司 一种用于智慧安防的隐蔽跟踪设备及使用方法
CN111639968A (zh) * 2020-05-25 2020-09-08 腾讯科技（深圳）有限公司 轨迹数据处理方法、装置、计算机设备以及存储介质
CN112288865A (zh) * 2019-07-23 2021-01-29 比亚迪股份有限公司 地图的构建方法、装置、设备及存储介质
CN112560617A (zh) * 2020-12-05 2021-03-26 江苏爱科赛尔云数据科技有限公司 基于阵列相机的大场景行人轨迹跟踪方法
CN112801051A (zh) * 2021-03-29 2021-05-14 哈尔滨理工大学 一种基于多任务学习的遮挡行人重识别方法
CN112834764A (zh) * 2020-12-28 2021-05-25 深圳市人工智能与机器人研究院 机械臂的采样控制方法及装置、采样系统
CN113033350A (zh) * 2021-03-11 2021-06-25 北京文安智能技术股份有限公司 基于俯视图像的行人重识别方法、存储介质和电子设备
CN115761616A (zh) * 2022-10-13 2023-03-07 深圳市芯存科技有限公司 一种基于存储空间自适应的控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2620896A2 (en) * 2012-01-30 2013-07-31 Accenture Global Services Limited System And Method For Face Capture And Matching
CN104094279A (zh) * 2014-04-30 2014-10-08 中国科学院自动化研究所 大范围优先的跨摄像机视觉目标再识别方法
US20160092736A1 (en) * 2014-09-30 2016-03-31 C/O Canon Kabushiki Kaisha System and method for object re-identification
CN107145826A (zh) * 2017-04-01 2017-09-08 浙江大学 基于双约束度量学习和样本重排序的行人再识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2620896A2 (en) * 2012-01-30 2013-07-31 Accenture Global Services Limited System And Method For Face Capture And Matching
CN104094279A (zh) * 2014-04-30 2014-10-08 中国科学院自动化研究所 大范围优先的跨摄像机视觉目标再识别方法
US20160092736A1 (en) * 2014-09-30 2016-03-31 C/O Canon Kabushiki Kaisha System and method for object re-identification
CN107145826A (zh) * 2017-04-01 2017-09-08 浙江大学 基于双约束度量学习和样本重排序的行人再识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIANG ZHENG 等: "《Person Re-identification: Past, Present and Future》", 《JOURNAL OF LATEX CLASS FILES》 *
江志浩 等: "《基于时空模型视频监控的行人活动预测算法》", 《计算机应用与软件》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416632A (zh) * 2018-03-26 2018-08-17 成都信达智胜科技有限公司 一种动态视频的识别方法
CN108416880A (zh) * 2018-03-26 2018-08-17 成都信达智胜科技有限公司 一种基于视频的识别方法
CN109117888A (zh) * 2018-08-20 2019-01-01 北京旷视科技有限公司 目标对象识别方法及其神经网络生成方法以及装置
CN109255802A (zh) * 2018-08-21 2019-01-22 平安科技（深圳）有限公司 行人跟踪方法、装置、计算机设备及存储介质
CN109255802B (zh) * 2018-08-21 2023-08-18 平安科技（深圳）有限公司 行人跟踪方法、装置、计算机设备及存储介质
CN109299664A (zh) * 2018-08-27 2019-02-01 华中科技大学 一种行人重识别的重排序方法
CN109753901A (zh) * 2018-12-21 2019-05-14 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN109753901B (zh) * 2018-12-21 2023-03-24 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN112288865A (zh) * 2019-07-23 2021-01-29 比亚迪股份有限公司 地图的构建方法、装置、设备及存储介质
CN110674746A (zh) * 2019-09-24 2020-01-10 视云融聚（广州）科技有限公司 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
CN110674746B (zh) * 2019-09-24 2022-05-31 视云融聚（广州）科技有限公司 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
CN110706259A (zh) * 2019-10-12 2020-01-17 四川航天神坤科技有限公司 一种基于空间约束的可疑人员跨镜头追踪方法及装置
CN110706259B (zh) * 2019-10-12 2022-11-29 四川航天神坤科技有限公司 一种基于空间约束的可疑人员跨镜头追踪方法及装置
CN110798618A (zh) * 2019-10-30 2020-02-14 广州海格星航信息科技有限公司 一种动态追踪中的摄像头资源调度方法及装置
CN111027397B (zh) * 2019-11-14 2023-05-12 上海交通大学 适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备
CN111027397A (zh) * 2019-11-14 2020-04-17 上海交通大学 适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备
CN111027462A (zh) * 2019-12-06 2020-04-17 长沙海格北斗信息技术有限公司 跨多摄像头的行人轨迹识别方法
CN111079600A (zh) * 2019-12-06 2020-04-28 长沙海格北斗信息技术有限公司 多摄像头的行人识别方法及识别系统
CN111131700A (zh) * 2019-12-25 2020-05-08 重庆特斯联智慧科技股份有限公司 一种用于智慧安防的隐蔽跟踪设备及使用方法
CN111639968A (zh) * 2020-05-25 2020-09-08 腾讯科技（深圳）有限公司 轨迹数据处理方法、装置、计算机设备以及存储介质
CN111639968B (zh) * 2020-05-25 2023-11-03 腾讯科技（深圳）有限公司 轨迹数据处理方法、装置、计算机设备以及存储介质
CN112560617B (zh) * 2020-12-05 2023-08-01 江苏爱科赛尔云数据科技有限公司 基于阵列相机的大场景行人轨迹跟踪方法
CN112560617A (zh) * 2020-12-05 2021-03-26 江苏爱科赛尔云数据科技有限公司 基于阵列相机的大场景行人轨迹跟踪方法
CN112834764A (zh) * 2020-12-28 2021-05-25 深圳市人工智能与机器人研究院 机械臂的采样控制方法及装置、采样系统
CN112834764B (zh) * 2020-12-28 2024-05-31 深圳市人工智能与机器人研究院 机械臂的采样控制方法及装置、采样系统
CN113033350A (zh) * 2021-03-11 2021-06-25 北京文安智能技术股份有限公司 基于俯视图像的行人重识别方法、存储介质和电子设备
CN113033350B (zh) * 2021-03-11 2023-11-14 北京文安智能技术股份有限公司 基于俯视图像的行人重识别方法、存储介质和电子设备
CN112801051A (zh) * 2021-03-29 2021-05-14 哈尔滨理工大学 一种基于多任务学习的遮挡行人重识别方法
CN115761616A (zh) * 2022-10-13 2023-03-07 深圳市芯存科技有限公司 一种基于存储空间自适应的控制方法及系统
CN115761616B (zh) * 2022-10-13 2024-01-26 深圳市芯存科技有限公司 一种基于存储空间自适应的控制方法及系统

Also Published As

Publication number Publication date
CN107704824B (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN107704824A (zh) 基于空间约束的行人重识别方法及设备
US20200250435A1 (en) Activity recognition method and system
CN106651916B (zh) 一种目标的定位跟踪方法及装置
CN106650620B (zh) 一种应用无人机监测的目标人员识别追踪方法
CN104134352B (zh) 基于长短曝光结合的视频车辆特征检测系统及其检测方法
CN106339428B (zh) 基于视频大数据的嫌疑人身份识别方法和装置
CN105306796A (zh) 具有定期红外照明和全局快门cmos传感器的夜视设备
YuanQiang et al. Guided attention network for object detection and counting on drones
CN103955494B (zh) 目标对象的搜索方法、装置及终端
KR20150067193A (ko) 비디오 내의 객체들을 탐지하기 위한 방법들, 장치들 및 시스템들
CN104318217A (zh) 一种基于分布式云计算的人脸识别情报分析方法和系统
CN109002761A (zh) 一种基于深度卷积神经网络的行人重识别监控系统
JP2008536112A (ja) 撮像デバイスの位置特定を行うシステムおよび方法
CN206674116U (zh) 一种基于树莓派的智能监控系统
CN109034152A (zh) 基于lstm-cnn组合模型的车牌定位方法及装置
Chen et al. A novel solution for multi-camera object tracking
Lim et al. Gun detection in surveillance videos using deep neural networks
Zhao et al. A Lightweight Object Detection Network for Real‐Time Detection of Driver Handheld Call on Embedded Devices
CN202121706U (zh) 智能人员卡口系统
CN111444886B (zh) 一种基于可穿戴设备的智能人脸识别系统
CN113378782A (zh) 一种车载火灾识别与自动追踪方法
Wang et al. Real-time non-motor vehicle violation detection in traffic scenes
CN109671121A (zh) 一种控制器及其可见光定位视觉检测方法
Zhang et al. Research on camouflaged human target detection based on deep learning
US11222427B2 (en) Image compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant