CN114565952A - 行人轨迹生成方法、装置、设备和存储介质 - Google Patents

行人轨迹生成方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114565952A
CN114565952A CN202011359008.9A CN202011359008A CN114565952A CN 114565952 A CN114565952 A CN 114565952A CN 202011359008 A CN202011359008 A CN 202011359008A CN 114565952 A CN114565952 A CN 114565952A
Authority
CN
China
Prior art keywords
face
human body
identifier
pedestrian
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011359008.9A
Other languages
English (en)
Inventor
谷玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202011359008.9A priority Critical patent/CN114565952A/zh
Priority to US17/486,441 priority patent/US20220172377A1/en
Publication of CN114565952A publication Critical patent/CN114565952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种行人轨迹生成方法、装置、设备和存储介质。该方法包括：获取目标采集范围内的至少一张人脸图像帧和至少一张人体图像帧；确定每张人脸图像帧中的至少一个人脸区域和每个人脸区域的人脸标识并生成与人脸标识对应的第一行人轨迹；确定每张人体图像帧中的至少一个人体区域和每个人体区域的人体标识并生成与人体标识对应的第二行人轨迹；建立人脸标识与人体标识之间的关系匹配集合；基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息。解决了确定的行人轨迹信息精确度低的问题。

Description

行人轨迹生成方法、装置、设备和存储介质
技术领域
本申请一般涉及智慧监控技术领域，具体涉及一种行人轨迹生成方法、装置、设备和存储介质。
背景技术
对于行人的活动轨迹，一般可以通过以下两种方式生成行人的轨迹信息，一种是基于人脸信息的行人轨迹信息生成方法，这种方法通过对不同区域的摄像头采集的人脸图像进行处理，按照时间顺序排列同一人脸对应的多个人脸图像，最终在地图上生成行人的轨迹信息；另一种方式是基于人体的轨迹生成方法，这种方法通过对不同区域的摄像头采集的人体图像进行处理，按照时间顺序排列同一人对应的多个人体图像，最终在地图上生成行人的轨迹信息。
但是，在基于人脸信息的行人轨迹信息生成过程中，人脸抓拍和识别对摄像头角度要求高，容易会出现漏检，导致轨迹缺失；基于人体信息的行人轨迹信息生成过程中，当人的状态突然变化时，比如较长时间的消失或者被遮挡时，容易出现人体的误判问题，准确率较低。
例如，如图1所示，基于人脸信息的行人轨迹如F_1所示，原因是因为该行人在运动到3区域时，由于人脸被遮挡等原因，区域3的摄像头没有捕捉到人脸，从而导致部分轨迹缺失的情况；基于人体信息的行人轨迹会有两段B_1和B_2。这是因为可能由于人体在运动过程中，快速移动或者被严重遮挡较长时间，导致该行人的人体标识被切换，从B_1切换到B_2，从而导致确定的轨迹不准确。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种可以提高生成的行人轨迹精准度的行人轨迹生成方法、装置、设备和存储介质。
第一方面，本申请提供了一种行人轨迹生成方法，包括：
获取目标采集范围内的至少一张人脸图像帧和至少一张人体图像帧；
确定每张人脸图像帧中的至少一个人脸区域和每个人脸区域的人脸标识并生成与人脸标识对应的第一行人轨迹；
确定每张人体图像帧中的至少一个人体区域和每个人体区域的人体标识并生成与人体标识对应的第二行人轨迹；
建立人脸标识与人体标识之间的关系匹配集合，关系匹配集合包括多个配对结果，每个配对结果表示人脸标识与人体标识之间存在匹配关系；
基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息；
第二方面，本申请提供了一种行人轨迹生成装置，包括：
获取模块，被配置为获取目标采集范围内的至少一张人脸图像帧和至少一张人体图像帧；
确定模块，被配置为确定每张人脸图像帧中的至少一个人脸区域和每个人脸区域的人脸标识并生成与人脸标识对应的第一行人轨迹；
确定模块，还被配置为确定每张人体图像帧中的至少一个人体区域和每个人体区域的人体标识并生成与人体标识对应的第二行人轨迹；
建立模块，被配置为建立人脸标识与人体标识之间的关系匹配集合，关系匹配集合包括多个配对结果，每个配对结果表示人脸标识与人体标识之间存在匹配关系；
生成模块，被配置为基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息；
第三方面，本申请提供了一种计算机设备，计算机设备包括存储器、处理器以及存储在存储器并可在处理器上运行的计算机程序，处理器用于执行程序时实现如第一方面的方法；
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序用于实现如第一方面的方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请实施例提供的行人轨迹生成方法、装置、设备和存储介质，可以获取目标采集范围内的至少一张人脸图像帧和至少一张人体图像帧；确定每张人脸图像帧中的至少一个人脸区域和每个人脸区域的人脸标识并生成与人脸标识对应的第一行人轨迹；确定每张人体图像帧中的至少一个人体区域和每个人体区域的人体标识并生成与人体标识对应的第二行人轨迹；建立人脸标识与人体标识之间的关系匹配集合；基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息。可以以离线方式结合行人的人脸信息和人体信息，获取更精确的行人轨迹信息，以便于追踪行人的轨迹。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为相关技术中提供的一种行人轨迹信息示意图；
图2为本申请实施例提供的一种行人轨迹生成系统的结构示意图；
图3为本申请实施例提供的一种行人轨迹生成方法的流程示意图；
图4为本申请实施例提供的一种世界坐标系的示意图；
图5为本申请实施例提供的另一种行人轨迹生成方法的流程示意图；
图6为本申请实施例提供的一种行人轨迹信息示意图；
图7为本申请实施例提供的一种行人轨迹生成装置的结构示意图；
图8为本申请实施例提供的另一种行人轨迹生成装置的结构示意图；
图9为本申请实施例提供的另一种行人轨迹生成装置的结构示意图；
图10为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图2是本申请实施例提供的行人轨迹生成系统的结构示意图。如图2所示，该系统包括：至少一个人脸摄像头110、至少一个人体摄像头120和图像处理设备130，其中，该人脸摄像头110和人体摄像头120分别与图像处理设备130连接，该连接可以是有线或者无线连接，其中，该人脸摄像头110的分辨率可以是1080P，安装高度为2米至2.5米之间，以便于采集到清晰的人脸信息，该人脸摄像头110可以是圆形摄像头，安装角度接近水平角度；该人体摄像头120的分辨率可以是720P，安装高度为3米以上，以便于采集到完整的人体信息，该人体摄像头可以是枪型摄像头，该图像处理设备130可以是具备图像处理与数据存储功能的终端设备或者服务器，例如，移动计算机或者台式计算机。
可以理解的是，在本申请实施例中，该至少一个人脸摄像头110和至少一个人体摄像头120可以设置于任一需要进行目标监控的位置区域，在人脸摄像头110和人体摄像头120上电工作后，可以采集其目标采集范围内的画面信息生成画面图像，并将该画面图像实时发送至该图像处理设备130。
图像处理设备130可以接收该图像画面，由于摄像头(人脸摄像头和人体摄像头)通常以很高拍摄频率采集画面信息，图像处理设备130单位时间内可以接收到多张画面图像，图像处理设备130可以将该画面图像以视频格式进行存储；对于与人脸摄像头对应的视频文件，图像处理设备130可以获取该视频文件中的多张第一图像帧，确定每张第一图像帧中是否包含人脸区域，若包含，确定该第一图像帧为人脸图像帧，并确定每张人脸图像帧中的至少一个人脸区域和每个人脸区域的人脸标识，生成与人脸标识对应的第一行人轨迹；对于与人体摄像头对应的视频文件，图像处理设备130可以获取该视频文件中的多张第二图像帧，确定每张第二图像帧中是否包含人体区域，若包含，确定该第二图像帧为人体图像帧，并确定每张人体图像帧中的至少一个人体区域和每个人体区域的人体标识，生成与人体标识对应的第二行人轨迹；并建立人脸标识与人体标识之间的关系匹配集合；基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息。
本申请实施例提供一种行人轨迹生成方法，该方法应用于图2所示系统的图像处理设备中，如图3所示，该过程包括：
步骤201、获取目标采集范围内的至少一张人脸图像帧和至少一张人体图像帧。
在本步骤中，对于与人脸摄像头对应的目标采集范围内的视频文件，可以解析该视频文件，获取多张第一图像帧，对每张第一图像帧进行人脸检测，判断该第一图像帧中是否包含人脸区域，若包含，确定该第一图像帧为人脸图像帧；若不包含，丢弃该第一图像帧；对于与人体摄像头对应的目标采集范围内的视频文件，可以解析该视频文件，获取多张第二图像帧，对每张第二图像帧进行人体检测，判断该第二图像帧中是否包含人体区域，若包含，确定该第二图像帧为人体图像帧；若不包含，丢弃该第二图像帧。
步骤202、确定每张人脸图像帧中的至少一个人脸区域和每个人脸区域的人脸标识并生成与人脸标识对应的第一行人轨迹。
在本步骤中，确定每张人脸图像帧中的至少一个人脸区域和每个人脸区域的人脸标识的过程可以包括：确定每张人脸图像帧中的每个人脸区域对应的人脸区域位置坐标；对每个人脸区域进行特征提取，得到与每个人脸区域对应的人脸特征图像；将人脸特征图像与样本人脸特征库中的样本人脸特征图像进行比对，得到与人脸特征图像对应的人脸标识；建立人脸区域位置坐标与人脸标识的对应关系。
其中，将人脸特征图像与样本人脸特征库中的样本人脸特征图像进行比对，得到与人脸特征图像对应的人脸标识的过程可以包括：将人脸特征图像与样本人脸特征库中的每个样本人脸特征图像进行比对，确定该人脸特征图像与每个样本人脸特征图像的人脸相似度值，获取至少一个人脸相似度值，确定该至少一个人脸相似度值中的最大人脸相似度值是否大于预设人脸相似度阈值，若是，获取与该最大人脸相似度值对应的人脸标识，将与该最大人脸相似度值对应的人脸标识确定为人脸区域的人脸标识；若不是，为该人脸特征图像设置新的人脸标识，将该人脸标识确定为人脸区域的人脸标识，并将该人脸特征图像和对应的人脸标识存储至样本人脸特征库中，更新该样本人脸特征库。其中，人脸相似度阈值可以基于实际需要确定，本申请实施例对此不做限定。
需要说明的是，在本申请实施例中，该获取样本人脸特征库的方式可以有以下两种：
在一种可选的实时方式中，该样本人脸特征库可以是预先建立的，该预先建立样本人脸特征库的过程可以是：先采集至少一个目标行人的人脸图像，对该人脸图像进行特征提取获取样本人脸特征图像，并为该样本人脸特征图像设置对应的人脸标识，建立每个样本人脸特征图像和对应的人脸标识的对应关系，生成样本人脸特征库。其中，该人脸标识可以是目标行人的姓名。
在另一种可选的实时方式中，该样本人脸特征库并不是预先建立的，可以在行人轨迹生成系统搭建运行后，可以确定最初获取的预设数量的人脸图像帧中的人脸特征图像为样本人脸特征图像，并为该每个样本人脸特征图像设置人脸标识，建立每个样本人脸特征图像和对应的人脸标识的对应关系，生成样本人脸特征库。
需要说明的是，在本申请实施例中，可以在第一预设周期后，将该样本人脸特征库中的每个人脸标识对应的样本人脸特征图像进行更新，该过程可以是，在第一预设周期后，获取到与样本人脸特征库中的人脸标识对应的新的人脸特征图像后，将该新的人脸特征图像确定为与该人脸标识对应的更新后的样本人脸图像，其中，该第一预设周期可以基于实际需要确定，本申请实施例对此不做限定，例如：例如可以是每间隔三个月更新一次样本人脸特征库。可以解决人的脸部特征发生变化后，导致的使用原始样本人脸特征图像进行特征比对造成的比对结果不准确的问题，提高人脸区域的识别精准度。
需要说明的是，在本申请实施例中，每个第一图像帧包括位置信息和时间信息，其中，该位置信息可以是与该第一图像帧对应的人脸摄像头的位置标识，该时间信息可以是该第一图像帧的采集时间，则基于第一图像帧确定的人脸区域可以包括与人脸区域对应的人脸位置信息和时间信息。
进一步的，在本步骤中，可以生成与人脸标识对应的第一行人轨迹，该过程包括：确定与每个人脸标识对应的人脸位置信息，将与同一人脸标识对应的人脸位置信息，按照与每个人脸标识对应的时间先后顺序进行拼接，得到第一行人轨迹。可以理解的是，该第一行人轨迹的数量可以是至少一个。
步骤203、确定每张人体图像帧中的至少一个人体区域和每个人体区域的人体标识并生成与人体标识对应的第二行人轨迹。
在本步骤中，确定每张人体图像帧中的至少一个人体区域和每个人体区域的人体标识的过程可以包括：确定每张人体图像帧中的每个人体区域对应的人体区域位置坐标；对每个人体区域进行特征提取，得到与每个人体区域对应的人体特征图像；将人体特征图像与样本人体特征库中的至少一个样本人体特征图像进行比对，得到与人体特征图像对应的人体标识；对人体区域位置坐标进行坐标系转换，得到转换后的人体区域位置坐标；建立转换后的人体区域位置坐标与人体标识的对应关系。
可以理解的是，在本申请实施例中，将人体特征图像与样本人体特征库中的至少一个样本特征图像进行比对，确定人体区域的人体标识的过程可以参考上述步骤202中，将人脸特征图像与样本人脸特征库中的至少一个样本特征图像进行比对，确定人脸区域的人脸标识的过程，本申请实施例对该过程不做赘述，其中，获取样本人体特征库的方式可以参考样上述步骤202中获取样本人脸特征库的方式，本申请实施例对该样本人体特征库的获取过程不做赘述；类似的，该样本人体特征库中的样本人体图像也可以在第一预设周期后进行更新，以提高人体区域的识别精准度。
需要说明的是，在本申请实施例中，第二图像帧中的人体区域的位置坐标通常为像素坐标系中的位置坐标，通常需要将该人体区域的位置坐标进行坐标转换，转换至世界坐标系，获取更新后人体区域的位置坐标，以提高最终确定的人体区域的位置坐标的精准度。
其中对人体区域位置坐标进行坐标系转换，得到转换后的人体区域位置坐标的过程可以包括：建立以地面为原点的世界坐标系，在地面上选取多个目标位置，确定每个目标位置在世界坐标系中的位置坐标，以及该每个目标位置在像素坐标系中的位置坐标，确定将每个目标位置从像素坐标系中转换至世界坐标系中的转换矩阵，将该转换矩阵确定为世界坐标系与像素坐标系之间的单应性矩阵。可以理解的是，由于该世界坐标系是以地面为坐标原点的，通常可以对人体脚部区域位置坐标进行坐标转换，获取转换后的人体区域位置坐标。
示例的，如图4所示，建立以O2为原点的世界坐标系，该世界坐标系的横坐标为X，世界坐标系的纵坐标为Y，任意选取了C、D、E和F四个目标位置，四个目标位置在世界坐标系中在位置坐标分别为C(X1，Y1)、D(X2，Y2)、E(X3，Y3)和F(X4、Y4)，四个目标位置在像素坐标系中的位置坐标分别为C(u1,v1)，D(u2,v2)，E(u3,v3)和F(u4,v4)，其中，像素坐标系的坐标原点为O1，像素坐标系的横坐标为u，像素坐标系的纵坐标为v，可以得到像素坐标系与世界坐标系之间的转换矩阵H，则可以确定像素坐标系与世界坐标系之间的转换矩阵关系为：
Figure BDA0002803482720000081
则可以基于该单应性矩阵H对人体位置区域位置坐标进行坐标转换，获取转换后的人体区域位置坐标P。
需要说明的是，在本申请实施例中，每个第二图像帧包括位置信息和时间信息，其中，该位置信息可以是与该第二图像帧对应的人体摄像头的位置标识，该时间信息可以是该第二图像帧的采集时间，则基于第二图像帧确定的人体区域可以包括与人体区域对应的人体位置信息和时间信息。
进一步的，在本步骤中，可以生成与人体标识对应的第二行人轨迹，该过程包括：确定与每个人体标识对应的人体位置信息，将与同一人体标识对应的人体位置信息，按照与每个人体标识对应的时间先后顺序进行拼接，得到第二行人轨迹。可以理解的是，该第二行人轨迹的数量可以是至少一个。
可以理解的是，在本申请实施例中，上述步骤202与步骤203的执行顺序并不影响行人轨迹生成方法的实现，步骤202可以先于步骤203执行，步骤202也可以在步骤203之后执行。
步骤204、建立人脸标识与人体标识之间的关系匹配集合。
在本申请实施例中，行人的轨迹信息可以是离线生成的，为了提高确定的行人轨迹信息的精准度，需要在获取到一定量的人脸区域和人脸标识，以及人体区域和人体标识后，按照预设周期建立人脸标识与人体标识之间的关系匹配集合，基于该关系匹配集合生成每个周期的目标采集范围内行人的轨迹信息，可以获取每个周期时长内行人的更为精确的轨迹信息，例如，在每日23点50分开始基于当天获取的至少一个脸区域和其人脸标识，以及至少一个人体区域和其标识建立人脸标识与人体标识之间的匹配关系关系匹配集合，以生成当天的行人的轨迹信息。
在本步骤中，如图5所示，建立人脸标识与人体标识之间的关系匹配集合的过程可以包括：
步骤2041、基于每个人脸区域的人脸区域位置坐标和人脸标识，以及每个人体区域的人体区域位置坐标和人体标识生成代价矩阵。
在本步骤中，生成代价矩阵的过程可以包括：基于每个人脸区域的人脸标识和每个人体区域的人体标识之间的组合关系，确定人脸与人体分组，以及人脸与人体分组在待生成的代价矩阵中的位置标识；获取与每个人脸与人体分组对应的人脸区域位置坐标和人体区域位置坐标；基于与每个人脸与人体分组对应的人脸区域位置坐标和人体区域位置坐标，确定与每个人脸与人体分组对应重叠率；基于标准值与重叠率的差值确定与每个人脸与人体分组对应的代价值；基于位置标识和与人脸与人体分组对应的代价值生成代价矩阵。其中，重叠率为人脸区域和人体区域的重叠区域面积与合并区域面积的比值，标准值为1，代价矩阵中每个元素用于指示人脸标识与人体标识之间存在关联的可能性。
示例的，假设获取了P个人脸区域F和P个人脸标识(f1，f2，f1……f3，f2)，获取了Q个人体区域B和Q个人体区域标识(b1，b2，b4……b1，b2)，基于每个人脸区域的人脸标识和每个人体区域的人体标识之间的组合关系，确定人脸与人体分组可以包括(f1，b1)、(f1，b2)、(f1，b4)……(f1，b1)，(f1，b2)；(f2，b1)、(f2，b2)、(f2，b4)……(f2，b1)，(f2，b2)；……(f2，b1)、(f2，b2)、(f2，b4)……(f2，b1)，(f2，b2)，则可以确定P*Q组人脸与人体分组。
接着获取与每个人脸与人体分组对应的人脸区域位置坐标和人体区域位置坐标，假设人脸区域位置坐标为(fx1,fy1；fx2,fy2)，其中，(fx1,fy1)为人脸区域左上角的位置坐标，(fx2,fy2)为人脸区域右下角的位置坐标，假设人体区域位置坐标为(bx1,by1；bx2,by2)，其中，(bx1,by1)为人体区域左上角的位置坐标，(bx2,by2)为人体区域右下角的位置坐标。
进一步的，确定与每个人脸与人体分组对应重叠率(overlfp)为
Figure BDA0002803482720000102
其中，f为与人脸与人体分组对应人脸区域的面积，B为与人脸与人体分组对应人体区域的面积，计算1与重叠率的差值，确定定与每个人脸与人体分组对应的代价值
Figure BDA0002803482720000103
基于位置标识和与人脸与人体分组对应的代价值生成代价矩阵如表1所示，其中，代价矩阵有P行Q列，如表1所示，代价矩阵的第一行和第三行为人脸标识f1对应的代价值，表明P个人脸区域中有两个人脸区域的人脸标识为f1。
表1
Figure BDA0002803482720000101
Figure BDA0002803482720000111
步骤2042、对代价矩阵进行处理，得到关系匹配集合。
在本步骤中，对代价矩阵进行处理，得到关系匹配集合的过程可以是：利用匈牙利匹配算法模型处理该代价矩阵，得到关系匹配集合，其中，匈牙利匹配算法模型的输入为代价矩阵中，与每个人脸标识对应的代价值和与每个人体标识对应的代价值，该匈牙利匹配算法模型的输出为人脸标识与人体标识之间的关系匹配集合，关系匹配集合包括多个配对结果，每个配对结果表示人脸标识与人体标识之间存在匹配关系。
步骤205、基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息。
在本步骤中，可以基于与关系匹配集合对应的第一行人轨迹修正第二行人轨迹，得到目标采集范围内行人的轨迹信息；也可以基于与关系匹配集合对应的第二行人轨迹修正第一行人轨迹，得到目标采集范围内行人的轨迹信息，则在本申请实施例中，基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息，可以有以下两种可选的实施方式：
在一种可选的实施方式中，基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息的过程可以是：
确定关系匹配集合中待融合的人脸标识，该待融合的人脸标识是指与待生成的轨迹信息对应的行人的人脸标识；获取与待融合的人脸标识对应的第一行人轨迹，该第一行人轨迹包括与待融合的人脸标识关联的多个人脸位置坐标；基于待融合的人脸标识，确定与待融合的人脸标识相关的配对结果，该配对结果包括与待融合的人脸标识对应的人体标识；获取与待融合的人脸标识对应的人体标识对应的第二行人轨迹，该第二行人轨迹包括与待融合的人脸标识对应的人体标识关联的多个人体位置坐标；对与待融合的人脸标识对应的人体标识关联的多个人体位置坐标进行修正，得到行人的轨迹信息。
其中，对与待融合的人脸标识对应的人体标识关联的多个人体位置坐标进行修正，得到行人的轨迹信息，包括：确定多个人脸位置坐标与多个人体位置坐标的并集，得到与待融合的人脸标识对应的人体标识关联的修正人体位置信息；按照与待融合的人脸标识对应的人体标识关联的时间信息，将修正人体位置信息进行拼接，得到行人的轨迹信息。
在另一种可选的实施方式中，基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息的过程可以是：
确定关系匹配集合中待融合的人体标识，该待融合的人体标识是指与待生成的轨迹信息对应的行人的人体标识；获取与待融合的人体标识对应的第二行人轨迹，该第二行人轨迹包括与待融合的人体标识关联的多个人体位置坐标；基于待融合的人体标识，确定与待融合的人体标识相关的配对结果，该配对结果包括与待融合的人体标识对应的人脸标识；获取与待融合的人体标识对应的人脸标识对应的第一行人轨迹，该第一行人轨迹包括与待融合的人体标识对应的人脸标识关联的多个人脸位置坐标；对与待融合的人体标识对应的人脸标识关联的多个人脸位置坐标进行修正，得到行人的轨迹信息。
其中，对与待融合的人体标识对应的人脸标识关联的多个人脸位置坐标进行修正，得到行人的轨迹信息，包括：确定多个人脸位置坐标与多个人体位置坐标的并集，得到与待融合的人体标识对应的人脸标识关联的修正人脸位置信息；按照与待融合的人体标识对应的人脸标识关联的时间信息，将修正人脸位置信息进行拼接，得到行人的轨迹信息。
示例的，如图6所示，假设确定的人脸标识与人体标识之间的关系匹配集合包括(F_1，B_1)和(F_1，B_2)，F_1为人脸标识，B_1和B_2为人体标识。
可选的，可以确定关系匹配集合中待融合的人脸标识F_1，获取与待融合的人脸标识F_1对应的第一行人轨迹，如图1中的行人轨迹F_1，并确定与待融合的人脸标识F_1相关的两个配对结果为(F_1，B_1)和(F_1，B_2)，获取两个配对结果中的人体标识为B_1和B_2，获取与人脸标识F_1对应的人体标识B_1关联的第二行人轨迹，如图1中的行人轨迹B_1，与人脸标识F_1对应的人体标识B_2关联的第二行人轨迹，如图1中的行人轨迹B_2。其中，该第一行人轨迹F_1包括与待融合的人脸标识F_1关联的多个人脸位置坐标区域1和区域2，第二行人轨迹B_1包括与待融合的人脸标识F_1对应的人体标识B_1关联的多个人体位置坐标区域1和区域2，第二行人轨迹B_2包括与待融合的人脸标识F_1对应的人体标识B_2关联的多个人体位置坐标区域2、区域3和区域4。
接着，确定多个人脸位置坐标区域1和区域2，以及多个人体位置坐标区域1和区域2；区域2、区域3和区域4的并集，得到与待融合的人脸标识F_1对应的人体标识B_1或者B_2关联的修正人体位置信息区域1、区域2、区域3和区域4；按照与配对关系(F_1，B_1)和(F_1，B_2)中的人脸标识F_1对应的人脸区域中的时间信息，将人体位置信息进行拼接，可以得到行人的轨迹信息如图6中的行人轨迹B_1。
可选的，可以确定关系匹配集合中待融合的人体标识B_1和B_2，获取与待融合的人体标识B_1和B_2分别对应的第二行人轨迹，如图1中的行人轨迹B_1和行人轨迹B_2，并确定与待融合的人体标识B_1和B_2相关的两个配对结果为(F_1，B_1)和(F_1，B_2)，获取两个配对结果中的人脸标识为F_1，获取与人体标识B_1和B_2对应的人脸标识F_1关联的第一行人轨迹，如图1中的行人轨迹F_1。其中，该第一行人轨迹F_1包括与待融合的人体标识F_1关联的多个人体位置坐标区域1和区域2，第二行人轨迹B_1包括与待融合的人体标识F_1对应的人脸标识B_1关联的多个人脸位置坐标区域1和区域2，第二行人轨迹B_2包括与待融合的人体标识F_1对应的人脸标识B_2关联的多个人脸位置坐标区域2、区域3和区域4。
接着，确定多个人体位置坐标区域1和区域2，以及多个人脸位置坐标区域1和区域2；区域2、区域3和区域4的并集，得到与待融合的人体标识F_1对应的人脸标识B_1或者B_2关联的修正人脸位置信息区域1、区域2、区域3和区域4；按照与配对关系(F_1，B_1)和(F_1，B_2)中的人体标识B_1和B_2对应的人体区域中的时间信息，将人脸位置信息进行拼接，可以得到行人的轨迹信息如图6中的行人轨迹F_1。
综上所述，本申请实施例提供的行人轨迹生成方法，可以获取目标采集范围内的至少一张人脸图像帧和至少一张人体图像帧；确定每张人脸图像帧中的至少一个人脸区域和每个人脸区域的人脸标识并生成与人脸标识对应的第一行人轨迹；确定每张人体图像帧中的至少一个人体区域和每个人体区域的人体标识并生成与人体标识对应的第二行人轨迹；建立人脸标识与人体标识之间的关系匹配集合；基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息。可以以离线方式结合行人的人脸信息和人体信息，获取更精确的行人轨迹信息，以便于追踪行人的轨迹。
本申请实施例提供一种行人轨迹生成装置，如图7所示，该装置30包括：
获取模块301，被配置为获取目标采集范围内的至少一张人脸图像帧和至少一张人体图像帧；
确定模块302，被配置为确定每张人脸图像帧中的至少一个人脸区域和每个人脸区域的人脸标识并生成与人脸标识对应的第一行人轨迹；
确定模块302，还被配置为确定每张人体图像帧中的至少一个人体区域和每个人体区域的人体标识并生成与人体标识对应的第二行人轨迹；
建立模块303，被配置为建立人脸标识与人体标识之间的关系匹配集合，关系匹配集合包括多个配对结果，每个配对结果表示人脸标识与人体标识之间存在匹配关系；
生成模块304，被配置为基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息。
可选的，建立模块303，被配置为：
基于每个人脸区域的人脸区域位置坐标和人脸标识，以及每个人体区域的人体区域位置坐标和人体标识生成代价矩阵，代价矩阵中每个元素用于指示人脸标识与人体标识之间存在关联的可能性；
对代价矩阵进行处理，得到关系匹配集合。
可选的，建立模块303，被配置为：
基于每个人脸区域的人脸标识和每个人体区域的人体标识之间的组合关系，确定人脸与人体分组，以及人脸与人体分组在待生成的代价矩阵中的位置标识；
获取与每个人脸与人体分组对应的人脸区域位置坐标和人体区域位置坐标；
基于与每个人脸与人体分组对应的人脸区域位置坐标和人体区域位置坐标，确定与每个人脸与人体分组对应重叠率；
基于标准值与重叠率的差值确定与每个人脸与人体分组对应的代价值；
基于位置标识和与人脸与人体分组对应的代价值生成代价矩阵。
可选的，生成模块304，被配置为：
确定关系匹配集合中待融合的人脸标识，待融合的人脸标识是指与待生成的轨迹信息对应的行人的人脸标识；
获取与待融合的人脸标识对应的第一行人轨迹，第一行人轨迹包括与待融合的人脸标识关联的多个人脸位置坐标；
基于待融合的人脸标识，确定与待融合的人脸标识相关的配对结果，配对结果包括与待融合的人脸标识对应的人体标识；
获取与待融合的人脸标识对应的人体标识对应的第二行人轨迹，第二行人轨迹包括与待融合的人脸标识对应的人体标识关联的多个人体位置坐标；
对与待融合的人脸标识对应的人体标识关联的多个人体位置坐标进行修正，得到行人的轨迹信息。
可选的，生成模块304，被配置为：
确定关系匹配集合中待融合的人体标识，待融合的人体标识是指与待生成的轨迹信息对应的行人的人体标识；
获取与待融合的人体标识对应的第二行人轨迹，第二行人轨迹包括与待融合的人体标识关联的多个人体位置坐标；
基于待融合的人体标识，确定与待融合的人体标识相关的配对结果，配对结果包括与待融合的人体标识对应的人脸标识；
获取与待融合的人体标识对应的人脸标识对应的第一行人轨迹，第一行人轨迹包括与待融合的人体标识对应的人脸标识关联的多个人脸位置坐标；
对与待融合的人体标识对应的人脸标识关联的多个人脸位置坐标进行修正，得到行人的轨迹信息。
可选的，生成模块304，被配置为：
确定多个人脸位置坐标与多个人体位置坐标的并集，得到与待融合的人脸标识对应的人体标识关联的修正人体位置信息；
按照与待融合的人脸标识对应的人体标识关联的时间信息，将修正人体位置信息进行拼接，得到行人的轨迹信息。
可选的，生成模块304，被配置为：
确定多个人脸位置坐标与多个人体位置坐标的并集，得到与待融合的人体标识对应的人脸标识关联的修正人脸位置信息；
按照与待融合的人体标识对应的人脸标识关联的时间信息，将修正人脸位置信息进行拼接，得到行人的轨迹信息。
可选的，如图8所示，确定模块302，包括：
人脸追踪单元3021，被配置为确定每张人脸图像帧中的每个人脸区域对应的人脸区域位置坐标；
人脸比对单元3022，被配置为对每个人脸区域进行特征提取，得到与每个人脸区域对应的人脸特征图像；
将人脸特征图像与样本人脸特征库中的样本人脸特征图像进行比对，得到与人脸特征图像对应的人脸标识；
人脸标识生成单元3023，被配置为建立人脸区域位置坐标与人脸标识的对应关系。
可选的，如图9所示，确定模块302，包括：
人体追踪单元3024，被配置为确定每张人体图像帧中的每个人体区域对应的人体区域位置坐标；
人体比对单元3025，被配置为对每个人体区域进行特征提取，得到与每个人体区域对应的人体特征图像；
将人体特征图像与样本人体特征库中的至少一个样本人体特征图像进行比对，得到与人体特征图像对应的人体标识；
坐标系转换单元3026，被配置为对人体区域位置坐标进行坐标系转换，得到转换后的人体区域位置坐标；
人体标识生成单元3027，被配置为建立转换后的人体区域位置坐标与人体标识的对应关系。
综上所述，本申请实施例提供的行人轨迹生成装置，可以获取目标采集范围内的至少一张人脸图像帧和至少一张人体图像帧；确定每张人脸图像帧中的至少一个人脸区域和每个人脸区域的人脸标识并生成与人脸标识对应的第一行人轨迹；确定每张人体图像帧中的至少一个人体区域和每个人体区域的人体标识并生成与人体标识对应的第二行人轨迹；建立人脸标识与人体标识之间的关系匹配集合；基于关系匹配集合对第一行人轨迹和第二行人轨迹进行融合修正，得到目标采集范围内行人的轨迹信息。可以以离线方式结合行人的人脸信息和人体信息，获取更精确的行人轨迹信息，以便于追踪行人的轨迹。
图10是根据一示例性实施例示出的一种计算机设备，该计算机设备包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有系统操作所需的各种程序和数据。CPU401、ROM402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本申请的实施例，上文图3和图5描述的过程可以被实现为计算机软件程序。例如，本申请的各个实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、确定模块、建立模块和生成模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，获取模块还可以被描述为“用于获取获取目标采集范围内的至少一张人脸图像帧和至少一张人体图像帧的获取模块”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中描述的行人轨迹生成方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种行人轨迹生成方法，其特征在于，包括：
获取目标采集范围内的至少一张人脸图像帧和至少一张人体图像帧；
确定每张所述人脸图像帧中的至少一个人脸区域和每个所述人脸区域的人脸标识并生成与所述人脸标识对应的第一行人轨迹；
确定每张所述人体图像帧中的至少一个人体区域和每个所述人体区域的人体标识并生成与所述人体标识对应的第二行人轨迹；
建立所述人脸标识与所述人体标识之间的关系匹配集合，所述关系匹配集合包括多个配对结果，每个配对结果表示人脸标识与人体标识之间存在匹配关系；
基于所述关系匹配集合对所述第一行人轨迹和所述第二行人轨迹进行融合修正，得到所述目标采集范围内行人的轨迹信息。
2.根据权利要求1所述的方法，其特征在于，所述建立所述人脸标识与所述人体标识之间的关系匹配集合，包括：
基于每个所述人脸区域的人脸区域位置坐标和人脸标识，以及每个所述人体区域的人体区域位置坐标和人体标识生成代价矩阵，所述代价矩阵中每个元素用于指示所述人脸标识与所述人体标识之间存在关联的可能性；
对所述代价矩阵进行处理，得到所述关系匹配集合。
3.根据权利要求2所述的方法，其特征在于，所述基于每个所述人脸区域的人脸区域位置坐标和人脸标识，以及每个所述人体区域的人体区域位置坐标和人体标识生成代价矩阵，包括：
基于每个所述人脸区域的人脸标识和每个所述人体区域的人体标识之间的组合关系，确定人脸与人体分组，以及所述人脸与人体分组在待生成的代价矩阵中的位置标识；
获取与每个所述人脸与人体分组对应的所述人脸区域位置坐标和所述人体区域位置坐标；
基于与每个所述人脸与人体分组对应的所述人脸区域位置坐标和所述人体区域位置坐标，确定与每个所述人脸与人体分组对应重叠率；
基于标准值与所述重叠率的差值确定与每个所述人脸与人体分组对应的代价值；
基于所述位置标识和与所述人脸与人体分组对应的代价值生成代价矩阵。
4.根据权利要求1所述的方法，其特征在于，所述基于所述关系匹配集合对所述第一行人轨迹和所述第二行人轨迹进行融合修正，得到所述目标采集范围内行人的轨迹信息，包括：
确定所述关系匹配集合中待融合的人脸标识，所述待融合的人脸标识是指与待生成的轨迹信息对应的行人的人脸标识；
获取与所述待融合的人脸标识对应的所述第一行人轨迹，所述第一行人轨迹包括与所述待融合的人脸标识关联的多个人脸位置坐标；
基于所述待融合的人脸标识，确定与所述待融合的人脸标识相关的配对结果，所述配对结果包括与所述待融合的人脸标识对应的人体标识；
获取与所述待融合的人脸标识对应的人体标识对应的第二行人轨迹，所述第二行人轨迹包括与所述待融合的人脸标识对应的人体标识关联的多个人体位置坐标；
对与所述待融合的人脸标识对应的人体标识关联的多个人体位置坐标进行修正，得到所述行人的轨迹信息。
5.根据权利要求1所述的方法，其特征在于，所述基于所述关系匹配集合对所述第一行人轨迹和所述第二行人轨迹进行融合修正，得到所述目标采集范围内行人的轨迹信息，包括：
确定所述关系匹配集合中待融合的人体标识，所述待融合的人体标识是指与待生成的轨迹信息对应的行人的人体标识；
获取与所述待融合的人体标识对应的所述第二行人轨迹，所述第二行人轨迹包括与所述待融合的人体标识关联的多个人体位置坐标；
基于所述待融合的人体标识，确定与所述待融合的人体标识相关的配对结果，所述配对结果包括与所述待融合的人体标识对应的人脸标识；
获取与所述待融合的人体标识对应的人脸标识对应的第一行人轨迹，所述第一行人轨迹包括与所述待融合的人体标识对应的人脸标识关联的多个人脸位置坐标；
对与所述待融合的人体标识对应的人脸标识关联的多个人脸位置坐标进行修正，得到所述行人的轨迹信息。
6.根据权利要求4所述的方法，其特征在于，所述对与所述待融合的人脸标识对应的人体标识关联的多个人体位置坐标进行修正，得到所述行人的轨迹信息，包括：
确定所述多个人脸位置坐标与多个人体位置坐标的并集，得到与所述待融合的人脸标识对应的人体标识关联的修正人体位置信息；
按照与所述待融合的人脸标识对应的人体标识关联的时间信息，将所述修正人体位置信息进行拼接，得到所述行人的轨迹信息。
7.根据权利要求5所述的方法，其特征在于，所述对与所述待融合的人体标识对应的人脸标识关联的多个人脸位置坐标进行修正，得到所述行人的轨迹信息，包括：
确定所述多个人脸位置坐标与多个人体位置坐标的并集，得到与所述待融合的人体标识对应的人脸标识关联的修正人脸位置信息；
按照与所述待融合的人体标识对应的人脸标识关联的时间信息，将所述修正人脸位置信息进行拼接，得到所述行人的轨迹信息。
8.根据权利要求1所述的方法，其特征在于，所述确定每张所述人脸图像帧中的至少一个人脸区域和每个所述人脸区域的人脸标识，包括：
确定每张所述人脸图像帧中的每个人脸区域对应的人脸区域位置坐标；
对每个所述人脸区域进行特征提取，得到与每个所述人脸区域对应的人脸特征图像；
将所述人脸特征图像与样本人脸特征库中的样本人脸特征图像进行比对，得到与所述人脸特征图像对应的人脸标识；
建立所述人脸区域位置坐标与所述人脸标识的对应关系。
9.根据权利要求1所述的方法，其特征在于，所述确定每张所述人体图像帧中的至少一个人体区域和每个所述人体区域的人体标识，包括：
确定每张所述人体图像帧中的每个人体区域对应的人体区域位置坐标；
对每个所述人体区域进行特征提取，得到与每个所述人体区域对应的人体特征图像；
将所述人体特征图像与样本人体特征库中的至少一个样本人体特征图像进行比对，得到与所述人体特征图像对应的人体标识；
对所述人体区域位置坐标进行坐标系转换，得到转换后的人体区域位置坐标；
建立转换后的人体区域位置坐标与所述人体标识的对应关系。
10.一种行人轨迹生成装置，其特征在于，包括：
获取模块，被配置为获取目标采集范围内的至少一张人脸图像帧和至少一张人体图像帧；
确定模块，被配置为确定每张所述人脸图像帧中的至少一个人脸区域和每个所述人脸区域的人脸标识并生成与人脸标识对应的第一行人轨迹；
确定模块，还被配置为确定每张所述人体图像帧中的至少一个人体区域和每个所述人体区域的人体标识并生成与人体标识对应的第二行人轨迹；
建立模块，被配置为建立所述人脸标识与所述人体标识之间的关系匹配集合，所述关系匹配集合包括多个配对结果，每个配对结果表示人脸标识与人体标识之间存在匹配关系；
生成模块，被配置为基于所述关系匹配集合对所述第一行人轨迹和所述第二行人轨迹进行融合修正，得到所述目标采集范围内行人的轨迹信息。
11.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在存储器并可在处理器上运行的计算机程序，所述处理器用于执行所述程序时实现如权利要求1-9任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于实现如权利要求1-9中任一项所述的方法。
CN202011359008.9A 2020-11-27 2020-11-27 行人轨迹生成方法、装置、设备和存储介质 Pending CN114565952A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011359008.9A CN114565952A (zh) 2020-11-27 2020-11-27 行人轨迹生成方法、装置、设备和存储介质
US17/486,441 US20220172377A1 (en) 2020-11-27 2021-09-27 Method, apparatus, computing device and computer-readable storage medium for correcting pedestrian trajectory

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011359008.9A CN114565952A (zh) 2020-11-27 2020-11-27 行人轨迹生成方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114565952A true CN114565952A (zh) 2022-05-31

Family

ID=81712763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011359008.9A Pending CN114565952A (zh) 2020-11-27 2020-11-27 行人轨迹生成方法、装置、设备和存储介质

Country Status (2)

Country Link
US (1) US20220172377A1 (zh)
CN (1) CN114565952A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677607A (zh) * 2020-12-10 2022-06-28 富泰华工业（深圳）有限公司 基于人脸识别的实时行人统计方法以及装置
CN117237418B (zh) * 2023-11-15 2024-01-23 成都航空职业技术学院 一种基于深度学习的运动目标检测方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262331B1 (en) * 2016-01-29 2019-04-16 Videomining Corporation Cross-channel in-store shopper behavior analysis
CN108062809B (zh) * 2017-11-28 2019-02-22 特斯联（北京）科技有限公司 一种实现人员大数据采集分析的住宅门禁系统
CN109859234B (zh) * 2017-11-29 2023-03-24 深圳Tcl新技术有限公司 一种视频人体轨迹跟踪方法、装置及存储介质
CN109753901B (zh) * 2018-12-21 2023-03-24 上海交通大学 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
JP7362102B2 (ja) * 2019-05-08 2023-10-17 株式会社オレンジテクラボ 情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
US20220172377A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
JP6588053B2 (ja) 点群データにアノテーションを付与する方法および装置
CN110705405B (zh) 目标标注的方法及装置
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
CN113869293B (zh) 车道线识别方法、装置、电子设备和计算机可读介质
US20130279758A1 (en) Method and system for robust tilt adjustment and cropping of license plate images
CN111242097A (zh) 一种人脸识别方法、装置、计算机可读介质及电子设备
CN110472599B (zh) 对象数量确定方法、装置、存储介质与电子设备
CN110032964B (zh) 图像处理方法、识别视角的方法、装置、设备和存储介质
CN111160202A (zh) 基于ar设备的身份核验方法、装置、设备及存储介质
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN114565952A (zh) 行人轨迹生成方法、装置、设备和存储介质
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN109859104B (zh) 一种视频生成图片的方法、计算机可读介质及转换系统
CN110598139A (zh) 基于5G云计算的Web浏览器增强现实实时定位的方法
CN113096158A (zh) 运动对象的识别方法、装置、电子设备及可读存储介质
CN112712487A (zh) 一种场景视频融合方法、系统、电子设备及存储介质
CN114926766A (zh) 识别方法及装置、设备、计算机可读存储介质
CN115222920A (zh) 基于图像的数字孪生时空知识图谱构建方法和装置
CN115409867A (zh) 一种基于视频处理技术的轨迹分析方法及系统
JP2008158984A (ja) 画像処理装置および領域追跡プログラム
CN109034214B (zh) 用于生成标记的方法和装置
CN112509058B (zh) 外参的计算方法、装置、电子设备和存储介质
CN111310595B (zh) 用于生成信息的方法和装置
CN110414322B (zh) 提取图片的方法、装置、设备及存储介质
CN111738906B (zh) 室内路网生成方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination