CN113033266A - 人员运动轨迹追踪方法、装置、系统及电子设备 - Google Patents

人员运动轨迹追踪方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN113033266A
CN113033266A CN201911357152.6A CN201911357152A CN113033266A CN 113033266 A CN113033266 A CN 113033266A CN 201911357152 A CN201911357152 A CN 201911357152A CN 113033266 A CN113033266 A CN 113033266A
Authority
CN
China
Prior art keywords
person
image
identity
human body
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911357152.6A
Other languages
English (en)
Inventor
曾挥毫
郑勇
李彬
朱皓
龚晖
陈畅怀
李林森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201911357152.6A priority Critical patent/CN113033266A/zh
Publication of CN113033266A publication Critical patent/CN113033266A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了人员运动轨迹追踪方法、装置、系统及电子设备，该方法包括：获取监控图像中各人脸数据及人体数据；将人脸数据与人脸底库中的人脸图像进行比对，确定各人脸数据的身份标识；将同一帧监控图像中的人脸数据与人体数据进行匹配，建立属于同一人员的人脸数据及人体数据的关联关系；根据关联关系及各人脸数据的身份标识，确定各人体数据的身份标识；根据各人体数据的身份标识及各人脸数据的身份标识，确定各人员的图像位置；按照各人员的图像位置信息，确定各人员的实际位置信息；根据各人员的实际位置信息，按照各监控图像的时间顺序，确定各人员的运动轨迹。能够获取各人员的运动轨迹，无需人员随身携带智能设备，适用范围广。

Description

人员运动轨迹追踪方法、装置、系统及电子设备
技术领域
本申请涉及定位技术领域，特别是涉及人员运动轨迹追踪方法、装置、系统及电子设备。
背景技术
人员定位及人员轨迹追踪在导航及安保方面具有重要意义。鉴于大型商场、医院、办公楼等室内场景，会对卫星定位的精度产生影响，相关技术中，会通过用户随身携带智能手机等设备对用户进行室内定位，但是由于智能手机等设备具有随机变化的伪MAC(MediaAccess Control Address，媒体访问控制地址)地址，且待机状态下设备外发信号频率较低，最终获取到的可能为多个分散的定位点，因此无法通过上述方法获取到用户的运动轨迹。并且采用上述方法，需要用户随身携带智能手机等设备，针对没有携带智能手机等设备的用户，无法获取到用户的运动轨迹。
发明内容
本申请实施例的目的在于提供一种人员运动轨迹追踪方法、装置、系统及电子设备，以实现获取人员的运动轨迹。具体技术方案如下：
第一方面，本申请实施例提供了一种人员轨迹追踪方法，所述方法包括：
获取指定监控场景的监控图像中的各人脸数据及各人体数据；
将各所述人脸数据与人脸底库中的人脸图像进行比对，确定各所述人脸数据的身份标识，其中，所述人脸底库中的人脸图像标记有身份标识；
将同一帧监控图像中的各所述人脸数据与各所述人体数据进行匹配，建立属于同一人员的人脸数据及人体数据的关联关系；
根据所述关联关系及各所述人脸数据的身份标识，确定各所述人体数据的身份标识，其中，同一人员的人脸数据及人体数据的身份标识相同；
根据各所述人体数据的身份标识及各所述人脸数据的身份标识，分别确定各人员在所述监控图像中的图像位置；
按照各所述人员的图像位置信息，分别确定各所述人员在所述指定监控场景中的实际位置信息；
根据各所述人员的实际位置信息，按照各所述监控图像的时间顺序，确定各所述人员的运动轨迹。
在一种可能的实施方式中，在所述根据所述关联关系及各所述人脸数据的身份标识，确定各所述人体数据的身份标识之后，所述方法还包括：
将未标记身份标识的各人体数据与人体底库中的人体图像进行比对，确定未标记身份标识的人体数据的身份标识，其中，所述人体底库中的人体图像标记有身份标识。
在一种可能的实施方式中，所述方法还包括：
获取针对指定人员图像的入库指令，其中，所述指定人员图像包括指定人脸图像及指定人体图像；
将所述指定人员图像标记身份标识，并将标记有身份标识的所述指定人员的指定人脸图像添加到人脸底库中，将标记有身份标识的所述指定人员的指定人体图像添加到所述人体底库中。
在一种可能的实施方式中，在所述根据各所述人员的实际位置信息，按照各所述监控图像的时间顺序，确定各所述人员的运动轨迹之后，所述方法还包括：
对各所述人员的运动轨迹进行纠偏及补全，得到各所述人员的修正后的运动轨迹；
展示各所述人员的修正后的运动轨迹。
在一种可能的实施方式中，所述展示各所述人员的修正后的运动轨迹，包括：
获取轨迹查询请求，其中，所述轨迹查询请求中包括待查询人员的身份标识；
按照所述待查询人员的身份标识，确定所述待查询人员的修正后的运动轨迹；
展示所述待查询人员的修正后的运动轨迹。
在一种可能的实施方式中，所述按照各所述人员的图像位置信息，分别确定各所述人员在所述指定监控场景中的实际位置信息，包括：
获取采集所述监控图像的图像采集设备的标识；
按照所述图像采集设备的标识，确定所述图像采集设备采集的监控图像中各图像位置与所述指定监控场景中实际位置的映射关系；
按照所述映射关系，将各所述人员的图像位置信息转化为所述实际位置信息。
第二方面，本申请实施例提供了一种人员轨迹追踪装置，所述装置包括：
人员信息获取模块，用于获取指定监控场景的监控图像中的各人脸数据及各人体数据；
人脸身份标识确定模块，用于将各所述人脸数据与人脸底库中的人脸图像进行比对，确定各所述人脸数据的身份标识，其中，所述人脸底库中的人脸图像标记有身份标识；
关联关系建立模块，用于将同一帧监控图像中的各所述人脸数据与各所述人体数据进行匹配，建立属于同一人员的人脸数据及人体数据的关联关系；
人体身份标识确定模块，用于根据所述关联关系及各所述人脸数据的身份标识，确定各所述人体数据的身份标识，其中，同一人员的人脸数据及人体数据的身份标识相同；
图像位置确定模块，用于根据各所述人体数据的身份标识及各所述人脸数据的身份标识，分别确定各人员在所述监控图像中的图像位置；
实际位置确定模块，用于按照各所述人员的图像位置信息，分别确定各所述人员在所述指定监控场景中的实际位置信息；
人员轨迹确定模块，用于根据各所述人员的实际位置信息，按照各所述监控图像的时间顺序，确定各所述人员的运动轨迹。
在一种可能的实施方式中，所述人体身份标识确定模块，还用于：将未标记身份标识的各人体数据与人体底库中的人体图像进行比对，确定未标记身份标识的人体数据的身份标识，其中，所述人体底库中的人体图像标记有身份标识。
在一种可能的实施方式中，所述装置还包括：
入库指令获取模块，用于获取针对指定人员图像的入库指令，其中，所述指定人员图像包括指定人脸图像及指定人体图像；
标识图像入库模块，用于将所述指定人员图像标记身份标识，并将标记有身份标识的所述指定人员的指定人脸图像添加到人脸底库中，将标记有身份标识的所述指定人员的指定人体图像添加到所述人体底库中。
在一种可能的实施方式中，所述装置还包括：
运动轨迹校正模块，用于对各所述人员的运动轨迹进行纠偏及补全，得到各所述人员的修正后的运动轨迹；
运动轨迹展示模块，用于展示各所述人员的修正后的运动轨迹。
在一种可能的实施方式中，所述运动轨迹展示模块，具体用于：获取轨迹查询请求，其中，所述轨迹查询请求中包括待查询人员的身份标识；按照所述待查询人员的身份标识，确定所述待查询人员的修正后的运动轨迹；展示所述待查询人员的修正后的运动轨迹。
在一种可能的实施方式中，所述实际位置确定模块，具体用于：获取采集所述监控图像的图像采集设备的标识；按照所述图像采集设备的标识，确定所述图像采集设备采集的监控图像中各图像位置与所述指定监控场景中实际位置的映射关系；按照所述映射关系，将各所述人员的图像位置信息转化为所述实际位置信息。
第三方面，本申请实施例提供了一种人员运动轨迹追踪系统，所述系统包括：
多个图像采集设备及服务器
所述图像采集设备，用于采集指定监控场景中的监控图像；
所述服务器，用于在运行时，实现上述任一所述的人员运动轨迹追踪方法。
第四方面，本申请实施例提供了一种电子设备，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一所述的人员运动轨迹追踪方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的人员运动轨迹追踪方法。
本申请实施例提供的人员运动轨迹追踪方法、装置、系统及电子设备，获取指定监控场景的监控图像中的各人脸数据及各人体数据；将各人脸数据与人脸底库中的人脸图像进行比对，确定各人脸数据的身份标识，其中，人脸底库中的人脸图像标记有身份标识；将同一帧监控图像中的各人脸数据与各人体数据进行匹配，建立属于同一人员的人脸数据及人体数据的关联关系；根据关联关系及各人脸数据的身份标识，确定各人体数据的身份标识，其中，同一人员的人脸数据及人体数据的身份标识相同；根据各人体数据的身份标识及各人脸数据的身份标识，分别确定各人员在监控图像中的图像位置；按照各人员的图像位置信息，分别确定各人员在指定监控场景中的实际位置信息；根据各人员的实际位置信息，按照各监控图像的时间顺序，确定各人员的运动轨迹。通过监控图像辨识不同的人员，将人员的在监控图像中的图像位置，转化为人员在监控场景中的实际位置，进而获取各人员的运动轨迹，无需人员随身携带智能设备，适用范围广。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的人员运动轨迹追踪方法的第一种示意图；
图2为本申请实施例的人员运动轨迹追踪方法的第二种示意图；
图3为本申请实施例的人员运动轨迹追踪方法的第三种示意图；
图4为本申请实施例的人员运动轨迹追踪方法的第四种示意图；
图5为本申请实施例的轨迹纠偏的一种示意图；
图6为本申请实施例的轨迹补全的一种示意图；
图7为本申请实施例的人员运动轨迹追踪装置的一种示意图；
图8为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了实现获取室内场景中人员的运动轨迹，本申请实施例提供了一种人员运动轨迹追踪方法，包括：
获取指定监控场景的监控图像中的各人脸数据及各人体数据；
将各上述人脸数据与人脸底库中的人脸图像进行比对，确定各上述人脸数据的身份标识，其中，上述人脸底库中的人脸图像标记有身份标识；
将同一帧监控图像中的各上述人脸数据与各上述人体数据进行匹配，建立属于同一人员的人脸数据及人体数据的关联关系；
根据上述关联关系及各上述人脸数据的身份标识，确定各上述人体数据的身份标识，其中，同一人员的人脸数据及人体数据的身份标识相同；
根据各上述人体数据的身份标识及各上述人脸数据的身份标识，分别确定各人员在上述监控图像中的图像位置；
按照各上述人员的图像位置信息，分别确定各上述人员在上述指定监控场景中的实际位置信息；
根据各上述人员的实际位置信息，按照各上述监控图像的时间顺序，确定各上述人员的运动轨迹。
在本申请实施例中，通过监控图像辨识不同的人员，将人员的在监控图像中的图像位置，转化为人员在监控场景中的实际位置，进而获取各人员的运动轨迹，无需人员随身携带智能设备，适用范围广。
参见图1，图1为本申请实施例的人员运动轨迹追踪方法的第一种示意图，该方法包括：
S101，获取指定监控场景的监控图像中的各人脸数据及各人体数据。
本申请实施例的人员运动轨迹追踪方法可以通过电子设备实现，具体的，该电子设备可以为服务器。指定监控场景为要求对人员的运动轨迹追踪的场景，例如，指定监控场景可以大型商场、医院、办公楼或景点等。指定监控场景中设置有多个图像采集设备，例如，广角相机、人体抓拍机或双目相机等，用于采集指定监控场景中的监控图像。
监控图像的各人脸数据及各人体数据可以为电子设备通过计算机视觉技术对监控图像进行分析后获取的，也可以为图像采集设备发送给电子设备的。在一种可能的实施方式中，图像采集设备为智能相机，该智能相机通过计算机视觉技术对该智能相机自身采集的监控图像进行分析，得到并将各人脸数据及各人体数据发送给电子设备。人脸数据可以包括人脸特征及人脸位置，人体数据可以包括人体特征及人体位置。
S102，将各上述人脸数据与人脸底库中的人脸图像进行比对，确定各上述人脸数据的身份标识，其中，上述人脸底库中的人脸图像标记有身份标识。
身份标识为人员的唯一标识，不同人员的身份标识不同，具体的，身份标识可以为人员ID。人脸底库中包括已标记有身份标识的人脸图像，可以预先将标记有身份标识的人脸图像加入到人脸底库中。在一种可能的实施方式中，将人脸数据与人脸底库中的人脸图像进行比对，若该人脸数据与人脸底库中各人脸图像均匹配失败，则新建一个身份标识，并将新建的身份标识标记给该人脸数据，然后加入到人脸低库中。
人脸比对过程可以如图2所示，针对任一人脸数据，分别将该人脸数据与人脸底库中的各人脸图像进行比对，计算人脸相似度。如果该人脸数据与人脸底库中某人脸图像的人脸相似度最高、且大于预设人脸相似度阈值，则认为该人脸数据与该人脸图像属于同一人员。将该人脸图像标记的身份标识，作为该人脸数据的身份标识。如果该人脸数据与人脸底库中所有人脸图像的相似度都低于预设人脸相似度阈值，则认为该人脸数据为陌生人员的数据。预设人脸相似度阈值可以按照实际情况进行设定，例如，可以设定为80％、90％或95％等。
S103，将同一帧监控图像中的各上述人脸数据与各上述人体数据进行匹配，建立属于同一人员的人脸数据及人体数据的关联关系。
将同一帧监控图像中的各人脸数据与各人体数据进行匹配，建立属于同一人员的人脸数据及人体数据的关联关系，可以采用同帧图像人体人脸分别检测并关联的方式实现。例如，可以通过linkFaceBody(连接人脸与人体)ID唯一表示相同图像帧中属于同一人员的人脸数据及人体数据的关联关系，可以将同一帧监控图像中关联为属于同一人员的人脸数据及人体数据给予相同的linkFaceBody ID，同一帧监控图像中属于不同人员的人脸数据及人体数据的linkFaceBody ID不同，不同监控图像中同一身份人员的的linkFaceBody ID不同。
S104，根据上述关联关系及各上述人脸数据的身份标识，确定各上述人体数据的身份标识，其中，同一人员的人脸数据及人体数据的身份标识相同。
根据人脸数据的身份标识，确定与该人脸数据属于同一人员的人体数据的身份标识。例如图3所示，对于包括linkFaceBody ID的人体数据，查找各人脸数据中是否存在相同linkFaceBody ID的数据，若存在，判断该人脸数据是否存在human ID(身份标识)，若存在该将该linkFaceBody ID相同的人脸数据的身份标识，更新到该人体数据中。
可选的，在上述根据上述关联关系及各上述人脸数据的身份标识，确定各上述人体数据的身份标识之后，上述方法还包括：
将未标记身份标识的各人体数据与人体底库中的人体图像进行比对，确定未标记身份标识的人体数据的身份标识，其中，上述人体底库中的人体图像标记有身份标识。
人体底库中包括已标记有身份标识的人体图像，可以将已标记有身份标识的人体图像均加入到人体底库中。在一种可能的实施方式中，为了减少人体底库的数据量，提高比对速度，人体底库针对每个身份标识仅存储一张人体图像。若未标记身份标识的人体数据与人体底库中的各人体图像均比对失败，则可以丢弃该人体数据。
比对过程可以如图4所示，通过将未标记身份标识的人体数据与人体底库中的人体图像进行对比，计算人体相似度，如果未标记身份标识的人体数据与人体底库中的某人体图像的相似度最高、且大于预设人体相似度阈值，则认为该未标记身份标识的人体数据与该人体图像属于同一人员，将该人体图像的身份标识作为该未标记身份标识的人体数据的身份标识。如果该未标记身份标识的人体数据与人体底库中所有人体图像的相似度均低于预设人体相似度阈值，则认为该未标记身份标识的人体数据不能通过此方式关联。预设人体相似度阈值可以按照实际情况进行设定，例如，可以设定为80％、90％或95％等。
在一些应用场景中，只需要对指定的人员进行跟踪，因此只需要生成指定人员的运动轨迹，在一种可能的实施方式中，上述方法还包括：
步骤1，获取针对指定人员图像的入库指令，其中，上述指定人员图像包括指定人脸图像及指定人体图像。
在用户希望生成指定人员的运动轨迹时，可以在监控图像中对指定人员图像进行选取，并触发生成针对指定人员图像的入库指令，电子设备获取该入库指令。用户可以手动标注指定人员的指定人脸图像及指定人体图像，也可以由电子设备通过机器算法进行标注，此处不再赘述。
步骤2，将上述指定人员图像标记身份标识，并将标记有身份标识的上述指定人员的指定人脸图像添加到人脸底库中，将标记有身份标识的上述指定人员的指定人体图像添加到上述人体底库中。
S105，根据各上述人体数据的身份标识及各上述人脸数据的身份标识，分别确定各人员在上述监控图像中的图像位置。
根据人体数据的身份标识及人体数据在监控图像中的位置，确定各人员的人体在监控图像中的位置，根据人脸数据的身份标识及人脸数据在监控图像中的位置，确定各人员的人脸在监控图像中的位置，结合同一人员的人脸及人体在监控图像中的位置，得到各人员在监控图像中的图像位置。在一种可能的实施方式中，为了方便计算，可以直接将人员的人体在监控图像中的位置，作为该人员在监控图像中的图像位置。
S106，按照各上述人员的图像位置信息，分别确定各上述人员在上述指定监控场景中的实际位置信息。
电子设备通过相关的坐标转换技术，分别将各人员在监控图像中的位置信息，转化为各人员在指定监控场景中的实际位置信息。例如，可以通过关键点映射方式，建立各图像采集设备的监控图像中各像素点坐标与实际位置坐标的映射关系，然后根据该映射关系，分别将各人员的图像位置转化为实际位置，得到实际位置信息。当然也可以通过其他相关的坐标转换方法进行转换，此处不再赘述。本申请实施例中提及的实际位置坐标可以为经纬度坐标，也可以为自行设定的区域坐标，此处不做具体限定。
一般情况下，指定监控场景中会存在多个图像采集设备。在一种可能的实施方式中，上述按照各上述人员的图像位置信息，分别确定各上述人员在上述指定监控场景中的实际位置信息，包括：
步骤1，获取采集上述监控图像的图像采集设备的标识。
同一系统中各图像采集设备的标识唯一，从而有效区分不同的图像采集设备。
步骤2，按照上述图像采集设备的标识，确定上述图像采集设备采集的监控图像中各图像位置与上述指定监控场景中实际位置的映射关系。
该映射关系为预先建立的，例如通过关键点映射方式，或通过视场角计算方式等。在一种可能的实施方式中，可以利用位置传感器，例如雷达等建立图像位置与实际位置的映射关系。上述雷达可以为激光雷达、基于UWB(Ultra Wide Band，超宽带)的雷达或声波雷达等，用于获取指定监控场景中各运动目标的实际位置，并与运动目标在图像采集设备的监控图像中的图像位置进行关联，从而建立图像位置与实际位置的映射关系。
一些情况中雷达等传感器数据的与真实位置可能误差，由于误差来源很多，可以根据不同场景设定不同的纠偏的方法对雷达测得的位置进行纠偏，纠偏流程可以如图5所示。例如，雷达等传感器测得的位置数据经过了不可通行的区域，需要将轨迹纠正到可通行区域，例如可以使用Map-Matching中几何匹配的方案进行纠偏。雷达等传感器在采集数据的过程中，由于漏采、遮挡等原因可能会造成局部轨迹缺失的情况，因此需要对轨迹补全，例如图6所示。具体的纠偏方法及补全方法可以采用相关技术中的轨迹补全及纠偏方法，此处不再赘述。
步骤3，按照上述映射关系，将各上述人员的图像位置信息转化为上述实际位置信息。
S107，根据各上述人员的实际位置信息，按照各上述监控图像的时间顺序，确定各上述人员的运动轨迹。
按照各监控图像的采集时间，确定人员图像位置信息的时间先后顺序，进而确定人员的实际位置信息的先后顺序，从而得到人员的运动轨迹。
在本申请实施例中，通过监控图像辨识不同的人员，将人员的在监控图像中的图像位置，转化为人员在监控场景中的实际位置，进而获取各人员的运动轨迹，无需人员随身携带智能设备，适用范围广。并且通过关联人体数据及人脸数据，相比于单独识别整个人体，在针对行人密集的商场、医院及候车室等场景时，人员位置识别更加准确，能够更加准确的获取人员的运动轨迹，适用于行人密集的室内场景。
可选的，在上述根据各上述人员的实际位置信息，按照各上述监控图像的时间顺序，确定各上述人员的运动轨迹之之后，上述方法还包括：
步骤一，对各上述人员的运动轨迹进行纠偏及补全，得到各上述人员的修正后的运动轨迹。
纠偏是指减小或消除上述方法中得到的运动轨迹与真实轨迹的误差，由于误差来源很多，可以根据不同场景设定不同的纠偏的方法不同，纠偏流程可以如图5所示。例如，运动轨迹数据经过了不可通行的区域，需要将轨迹纠正到可通行区域，例如可以使用Map-Matching中几何匹配的方案进行纠偏。具体纠偏过程可以如图6所示，其中的纠偏方法及补全方法可以采用相关技术中的轨迹补全及纠偏方法，此处不再赘述。
步骤二，展示各上述人员的修正后的运动轨迹。
电子设备可以在展示屏幕上展示各人员的修正后的运动轨迹，也可以向指定订阅端发送各人员的修正后的运动轨迹，以使定订阅端展示各人员的修正后的运动轨迹。
可选的，上述展示各上述人员的修正后的运动轨迹，包括：
步骤A，获取轨迹查询请求，其中，上述轨迹查询请求中包括待查询人员的身份标识。
步骤B，按照上述待查询人员的身份标识，确定上述待查询人员的修正后的运动轨迹。
步骤C，展示上述待查询人员的修正后的运动轨迹。
在本申请实施例中，可以通过身份标识，展示指定人员的运动轨迹，满足用户多种需求。
本申请实施例还提供了一种人员轨迹追踪装置，参见图7，该装置包括：
人员信息获取模块701，用于获取指定监控场景的监控图像中的各人脸数据及各人体数据；
人脸身份标识确定模块702，用于将各上述人脸数据与人脸底库中的人脸图像进行比对，确定各上述人脸数据的身份标识，其中，上述人脸底库中的人脸图像标记有身份标识；
关联关系建立模块703，用于将同一帧监控图像中的各上述人脸数据与各上述人体数据进行匹配，建立属于同一人员的人脸数据及人体数据的关联关系；
人体身份标识确定模块704，用于根据上述关联关系及各上述人脸数据的身份标识，确定各上述人体数据的身份标识，其中，同一人员的人脸数据及人体数据的身份标识相同；
图像位置确定模块705，用于根据各上述人体数据的身份标识及各上述人脸数据的身份标识，分别确定各人员在上述监控图像中的图像位置；
实际位置确定模块706，用于按照各上述人员的图像位置信息，分别确定各上述人员在上述指定监控场景中的实际位置信息；
人员轨迹确定模块707，用于根据各上述人员的实际位置信息，按照各上述监控图像的时间顺序，确定各上述人员的运动轨迹。
在一种可能的实施方式中，上述人体身份标识确定模块704，还用于：将未标记身份标识的各人体数据与人体底库中的人体图像进行比对，确定未标记身份标识的人体数据的身份标识，其中，上述人体底库中的人体图像标记有身份标识。
在一种可能的实施方式中，上述装置还包括：
入库指令获取模块，用于获取针对指定人员图像的入库指令，其中，上述指定人员图像包括指定人脸图像及指定人体图像；
标识图像入库模块，用于将上述指定人员图像标记身份标识，并将标记有身份标识的上述指定人员的指定人脸图像添加到人脸底库中，将标记有身份标识的上述指定人员的指定人体图像添加到上述人体底库中。
在一种可能的实施方式中，上述装置还包括：
运动轨迹校正模块，用于对各上述人员的运动轨迹进行纠偏及补全，得到各上述人员的修正后的运动轨迹；
运动轨迹展示模块，用于展示各上述人员的修正后的运动轨迹。
在一种可能的实施方式中，上述运动轨迹展示模块，具体用于：获取轨迹查询请求，其中，上述轨迹查询请求中包括待查询人员的身份标识；按照上述待查询人员的身份标识，确定上述待查询人员的修正后的运动轨迹；展示上述待查询人员的修正后的运动轨迹。
在一种可能的实施方式中，上述实际位置确定模块706，具体用于：获取采集上述监控图像的图像采集设备的标识；按照上述图像采集设备的标识，确定上述图像采集设备采集的监控图像中各图像位置与上述指定监控场景中实际位置的映射关系；按照上述映射关系，将各上述人员的图像位置信息转化为上述实际位置信息。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；
上述存储器，用于存放计算机程序
上述处理器用于执行上述存储器存放的计算机程序时，实现如下步骤：
获取指定监控场景的监控图像中的各人脸数据及各人体数据；
将各上述人脸数据与人脸底库中的人脸图像进行比对，确定各上述人脸数据的身份标识，其中，上述人脸底库中的人脸图像标记有身份标识；
将同一帧监控图像中的各上述人脸数据与各上述人体数据进行匹配，建立属于同一人员的人脸数据及人体数据的关联关系；
根据上述关联关系及各上述人脸数据的身份标识，确定各上述人体数据的身份标识，其中，同一人员的人脸数据及人体数据的身份标识相同；
根据各上述人体数据的身份标识及各上述人脸数据的身份标识，分别确定各人员在上述监控图像中的图像位置；
按照各上述人员的图像位置信息，分别确定各上述人员在上述指定监控场景中的实际位置信息；
根据各上述人员的实际位置信息，按照各上述监控图像的时间顺序，确定各上述人员的运动轨迹。
可选的，参见图8，本申请实施例的电子设备还包括通信接口802和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。
可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实现上述任一人员运动轨迹追踪方法。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一人员运动轨迹追踪方法。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (15)

1.一种人员轨迹追踪方法，其特征在于，所述方法包括：
获取指定监控场景的监控图像中的各人脸数据及各人体数据；
将各所述人脸数据与人脸底库中的人脸图像进行比对，确定各所述人脸数据的身份标识，其中，所述人脸底库中的人脸图像标记有身份标识；
将同一帧监控图像中的各所述人脸数据与各所述人体数据进行匹配，建立属于同一人员的人脸数据及人体数据的关联关系；
根据所述关联关系及各所述人脸数据的身份标识，确定各所述人体数据的身份标识，其中，同一人员的人脸数据及人体数据的身份标识相同；
根据各所述人体数据的身份标识及各所述人脸数据的身份标识，分别确定各人员在所述监控图像中的图像位置；
按照各所述人员的图像位置信息，分别确定各所述人员在所述指定监控场景中的实际位置信息；
根据各所述人员的实际位置信息，按照各所述监控图像的时间顺序，确定各所述人员的运动轨迹。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述关联关系及各所述人脸数据的身份标识，确定各所述人体数据的身份标识之后，所述方法还包括：
将未标记身份标识的各人体数据与人体底库中的人体图像进行比对，确定未标记身份标识的人体数据的身份标识，其中，所述人体底库中的人体图像标记有身份标识。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取针对指定人员图像的入库指令，其中，所述指定人员图像包括指定人脸图像及指定人体图像；
将所述指定人员图像标记身份标识，并将标记有身份标识的所述指定人员的指定人脸图像添加到人脸底库中，将标记有身份标识的所述指定人员的指定人体图像添加到所述人体底库中。
4.根据权利要求1所述的方法，其特征在于，在所述根据各所述人员的实际位置信息，按照各所述监控图像的时间顺序，确定各所述人员的运动轨迹之后，所述方法还包括：
对各所述人员的运动轨迹进行纠偏及补全，得到各所述人员的修正后的运动轨迹；
展示各所述人员的修正后的运动轨迹。
5.根据权利要求4所述的方法，其特征在于，所述展示各所述人员的修正后的运动轨迹，包括：
获取轨迹查询请求，其中，所述轨迹查询请求中包括待查询人员的身份标识；
按照所述待查询人员的身份标识，确定所述待查询人员的修正后的运动轨迹；
展示所述待查询人员的修正后的运动轨迹。
6.根据权利要求1所述的方法，其特征在于，所述按照各所述人员的图像位置信息，分别确定各所述人员在所述指定监控场景中的实际位置信息，包括：
获取采集所述监控图像的图像采集设备的标识；
按照所述图像采集设备的标识，确定所述图像采集设备采集的监控图像中各图像位置与所述指定监控场景中实际位置的映射关系；
按照所述映射关系，将各所述人员的图像位置信息转化为所述实际位置信息。
7.一种人员轨迹追踪装置，其特征在于，所述装置包括：
人员信息获取模块，用于获取指定监控场景的监控图像中的各人脸数据及各人体数据；
人脸身份标识确定模块，用于将各所述人脸数据与人脸底库中的人脸图像进行比对，确定各所述人脸数据的身份标识，其中，所述人脸底库中的人脸图像标记有身份标识；
关联关系建立模块，用于将同一帧监控图像中的各所述人脸数据与各所述人体数据进行匹配，建立属于同一人员的人脸数据及人体数据的关联关系；
人体身份标识确定模块，用于根据所述关联关系及各所述人脸数据的身份标识，确定各所述人体数据的身份标识，其中，同一人员的人脸数据及人体数据的身份标识相同；
图像位置确定模块，用于根据各所述人体数据的身份标识及各所述人脸数据的身份标识，分别确定各人员在所述监控图像中的图像位置；
实际位置确定模块，用于按照各所述人员的图像位置信息，分别确定各所述人员在所述指定监控场景中的实际位置信息；
人员轨迹确定模块，用于根据各所述人员的实际位置信息，按照各所述监控图像的时间顺序，确定各所述人员的运动轨迹。
8.根据权利要求7所述的装置，其特征在于，所述人体身份标识确定模块，还用于：将未标记身份标识的各人体数据与人体底库中的人体图像进行比对，确定未标记身份标识的人体数据的身份标识，其中，所述人体底库中的人体图像标记有身份标识。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
入库指令获取模块，用于获取针对指定人员图像的入库指令，其中，所述指定人员图像包括指定人脸图像及指定人体图像；
标识图像入库模块，用于将所述指定人员图像标记身份标识，并将标记有身份标识的所述指定人员的指定人脸图像添加到人脸底库中，将标记有身份标识的所述指定人员的指定人体图像添加到所述人体底库中。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
运动轨迹校正模块，用于对各所述人员的运动轨迹进行纠偏及补全，得到各所述人员的修正后的运动轨迹；
运动轨迹展示模块，用于展示各所述人员的修正后的运动轨迹。
11.根据权利要求10所述的装置，其特征在于，所述运动轨迹展示模块，具体用于：获取轨迹查询请求，其中，所述轨迹查询请求中包括待查询人员的身份标识；按照所述待查询人员的身份标识，确定所述待查询人员的修正后的运动轨迹；展示所述待查询人员的修正后的运动轨迹。
12.根据权利要求7所述的装置，其特征在于，所述实际位置确定模块，具体用于：获取采集所述监控图像的图像采集设备的标识；按照所述图像采集设备的标识，确定所述图像采集设备采集的监控图像中各图像位置与所述指定监控场景中实际位置的映射关系；按照所述映射关系，将各所述人员的图像位置信息转化为所述实际位置信息。
13.一种人员运动轨迹追踪系统，其特征在于，所述系统包括：
多个图像采集设备及服务器
所述图像采集设备，用于采集指定监控场景中的监控图像；
所述服务器，用于在运行时，实现权利要求1-6任一所述的人员运动轨迹追踪方法。
14.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-6任一所述的人员运动轨迹追踪方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的人员运动轨迹追踪方法。
CN201911357152.6A 2019-12-25 2019-12-25 人员运动轨迹追踪方法、装置、系统及电子设备 Pending CN113033266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911357152.6A CN113033266A (zh) 2019-12-25 2019-12-25 人员运动轨迹追踪方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911357152.6A CN113033266A (zh) 2019-12-25 2019-12-25 人员运动轨迹追踪方法、装置、系统及电子设备

Publications (1)

Publication Number Publication Date
CN113033266A true CN113033266A (zh) 2021-06-25

Family

ID=76458341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911357152.6A Pending CN113033266A (zh) 2019-12-25 2019-12-25 人员运动轨迹追踪方法、装置、系统及电子设备

Country Status (1)

Country Link
CN (1) CN113033266A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642538A (zh) * 2021-10-14 2021-11-12 深圳市信润富联数字科技有限公司 基于人像识别的轨迹追踪方法、系统、设备以及存储介质
CN113947742A (zh) * 2021-10-19 2022-01-18 成都佳发安泰教育科技股份有限公司 一种基于人脸识别的人员轨迹追踪方法与装置
CN114049608A (zh) * 2021-11-22 2022-02-15 中国南方电网有限责任公司超高压输电公司广州局 轨迹监测方法、装置、计算机设备、存储介质
CN114429656A (zh) * 2021-12-30 2022-05-03 苏州思英智能科技有限公司 人脸识别设备控制方法、装置、电子设备和介质
CN114579780A (zh) * 2022-03-04 2022-06-03 浪潮软件集团有限公司 国产cpu及操作系统下人员活动轨迹查询方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539874A (zh) * 2014-06-17 2015-04-22 武汉理工大学 融合热释电传感与摄像机的人体混合监控系统及方法
CN106874347A (zh) * 2016-12-26 2017-06-20 深圳市深网视界科技有限公司 一种匹配人体特征与mac地址的方法及系统
CN106991395A (zh) * 2017-03-31 2017-07-28 联想(北京)有限公司 信息处理方法、装置及电子设备
CN108921008A (zh) * 2018-05-14 2018-11-30 深圳市商汤科技有限公司 人像识别方法、装置及电子设备
CN109214276A (zh) * 2018-07-23 2019-01-15 武汉虹信技术服务有限责任公司 一种基于人脸识别技术的目标人员轨迹跟踪的系统及方法
CN109426785A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种人体目标身份识别方法及装置
US20190104340A1 (en) * 2016-03-24 2019-04-04 Shenzhen Prtek Co. Ltd. Intelligent Terminal Control Method and Intelligent Terminal
CN109815829A (zh) * 2018-12-28 2019-05-28 上海依图网络科技有限公司 一种确定路人轨迹的方法及装置
US20190340472A1 (en) * 2018-05-04 2019-11-07 Delta Electronics, Inc. System of recognizing identity of object and method of automatically recognizing identity of object

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539874A (zh) * 2014-06-17 2015-04-22 武汉理工大学 融合热释电传感与摄像机的人体混合监控系统及方法
US20190104340A1 (en) * 2016-03-24 2019-04-04 Shenzhen Prtek Co. Ltd. Intelligent Terminal Control Method and Intelligent Terminal
CN106874347A (zh) * 2016-12-26 2017-06-20 深圳市深网视界科技有限公司 一种匹配人体特征与mac地址的方法及系统
CN106991395A (zh) * 2017-03-31 2017-07-28 联想(北京)有限公司 信息处理方法、装置及电子设备
CN109426785A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种人体目标身份识别方法及装置
US20190340472A1 (en) * 2018-05-04 2019-11-07 Delta Electronics, Inc. System of recognizing identity of object and method of automatically recognizing identity of object
CN108921008A (zh) * 2018-05-14 2018-11-30 深圳市商汤科技有限公司 人像识别方法、装置及电子设备
CN109214276A (zh) * 2018-07-23 2019-01-15 武汉虹信技术服务有限责任公司 一种基于人脸识别技术的目标人员轨迹跟踪的系统及方法
CN109815829A (zh) * 2018-12-28 2019-05-28 上海依图网络科技有限公司 一种确定路人轨迹的方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642538A (zh) * 2021-10-14 2021-11-12 深圳市信润富联数字科技有限公司 基于人像识别的轨迹追踪方法、系统、设备以及存储介质
CN113947742A (zh) * 2021-10-19 2022-01-18 成都佳发安泰教育科技股份有限公司 一种基于人脸识别的人员轨迹追踪方法与装置
CN113947742B (zh) * 2021-10-19 2024-09-06 成都佳发安泰教育科技股份有限公司 一种基于人脸识别的人员轨迹追踪方法与装置
CN114049608A (zh) * 2021-11-22 2022-02-15 中国南方电网有限责任公司超高压输电公司广州局 轨迹监测方法、装置、计算机设备、存储介质
CN114429656A (zh) * 2021-12-30 2022-05-03 苏州思英智能科技有限公司 人脸识别设备控制方法、装置、电子设备和介质
CN114429656B (zh) * 2021-12-30 2023-01-13 苏州思英智能科技有限公司 人脸识别设备控制方法、装置、电子设备和介质
CN114579780A (zh) * 2022-03-04 2022-06-03 浪潮软件集团有限公司 国产cpu及操作系统下人员活动轨迹查询方法及系统

Similar Documents

Publication Publication Date Title
CN113033266A (zh) 人员运动轨迹追踪方法、装置、系统及电子设备
CN107328420B (zh) 定位方法和装置
CN111914635B (zh) 人体测温方法、装置、系统和电子设备
US9953225B2 (en) Image processing apparatus and image processing method
CN112232279B (zh) 一种人员间距检测方法和装置
US8369578B2 (en) Method and system for position determination using image deformation
CN106470478B (zh) 一种定位数据处理方法、装置和系统
CN111462226A (zh) 一种定位方法、系统、装置、电子设备及存储介质
TW201727537A (zh) 人臉識別系統及人臉識別方法
CN109753901B (zh) 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN111784730B (zh) 一种对象跟踪方法、装置、电子设备及存储介质
JP2011211687A (ja) データ関連付けのための方法と装置
WO2019192357A1 (zh) 定位方法、装置及系统
CN111275765B (zh) 一种确定目标gps的方法、装置及摄像机
CN111225340A (zh) 一种景区寻物方法、装置及存储介质
JP7516037B2 (ja) 算出システム、算出方法、プログラム、及び記憶媒体
CN110309330B (zh) 视觉地图的处理方法和装置
Uchiyama et al. Photogrammetric system using visible light communication
CN113012223B (zh) 目标流动监测方法、装置、计算机设备和存储介质
CN110599721A (zh) 一种监控方法、装置、系统及监控设备
US20190362517A1 (en) Image database creation device, location and inclination estimation device, and image database creation method
CN112633143A (zh) 图像处理系统、方法、头戴设备、处理设备及存储介质
CN110956644B (zh) 一种运动轨迹确定方法及系统
US20230334786A1 (en) Augmented Reality Location Operation Using Constellation Information
CN115619832B (zh) 多摄像头协同进行多目标轨迹确认方法、系统及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination