CN111914653A - 一种人员标记方法和装置 - Google Patents

一种人员标记方法和装置 Download PDF

Info

Publication number
CN111914653A
CN111914653A CN202010628076.4A CN202010628076A CN111914653A CN 111914653 A CN111914653 A CN 111914653A CN 202010628076 A CN202010628076 A CN 202010628076A CN 111914653 A CN111914653 A CN 111914653A
Authority
CN
China
Prior art keywords
frame image
video frame
target identification
previous
current video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010628076.4A
Other languages
English (en)
Other versions
CN111914653B (zh
Inventor
齐梓辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Life Insurance Co ltd
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Life Insurance Co ltd
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Life Insurance Co ltd, Taikang Insurance Group Co Ltd filed Critical Taikang Life Insurance Co ltd
Priority to CN202010628076.4A priority Critical patent/CN111914653B/zh
Publication of CN111914653A publication Critical patent/CN111914653A/zh
Application granted granted Critical
Publication of CN111914653B publication Critical patent/CN111914653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种人员标记方法和装置，所述方法包括：在预设时间段中采集到的视频帧图像中，提取至少一个人员对应的目标识别框；确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离，并确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离；根据当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在；在当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在的情况下，标记当前视频帧图像的目标识别框对应的人员为新人员。

Description

一种人员标记方法和装置
技术领域
本发明涉及视觉处理技术领域，特别是涉及一种人员标记方法和一种人员标记装置。
背景技术
现有技术中，为了对商场、企业营业网点、景区、学校、车站等地点的人流量进行监控，通常可以采用视频监控的方式，对指定地点进行视频拍摄，根据视频中拍摄到的人员数量计算人员流量。然而，根据视频监控确认人员流量，通常容易出现无法很好区分已统计人员和新人员，导致后续人员流量统计存在误差的情况。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种人员标记方法和相应的一种人员标记装置。
为了解决上述问题，本发明实施例公开了一种人员标记方法，包括：
在预设时间段中采集到的视频帧图像中，提取至少一个人员对应的目标识别框；
确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离，并确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离；
根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在；
在所述当前视频帧图像的目标识别框对应的人员在所述上一帧视频帧图像中不存在的情况下，标记所述当前视频帧图像的目标识别框对应的人员为新人员。
可选地，所述确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离的步骤，包括：
计算所述当前视频帧图像的目标识别框的中心坐标与所述上一帧视频帧图像的目标识别框的中心坐标之间的坐标欧氏距离，作为所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离。
可选地，所述确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离的步骤，包括：
确定视频帧图像的目标识别框的方向梯度直方图特征；所述方向梯度直方图特征采用n×m矩阵表示；
对于当前视频帧图像的目标识别框的方向梯度直方图特征中第n行第m列元素，计算该元素与上一帧视频帧图像的目标识别框的方向梯度直方图特征中同行同列元素之间的元素欧氏距离；
计算当前视频帧图像的目标识别框的方向梯度直方图特征与上一帧视频帧图像的目标识别框的方向梯度直方图特征之间的元素欧氏距离的平均值，作为当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离。
可选地，所述根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在的步骤，包括：
采用所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离，以及所述视频帧图像的对角长度，计算所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间第一相似值；
采用所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离，以及所述目标识别框对应的方向梯度直方图特征中的矩阵元素数量，计算所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间第二相似值；
根据第一相似值以及第二相似值，确定当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在。
可选地，所述根据所述第一相似值以及所述第二相似值，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在的步骤，包括：
基于预设的第一权重与所述第一相似值计算第一加权值，并基于预设的第二权重与所述第二相似值计算第二加权值；
若所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的所有目标识别框之间的第一加权值与第二加权值之和皆不小于预设阈值，确定该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在；
若存在所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的一目标识别框之间的第一加权值与第二加权值之和小于预设阈值，确定该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中存在。
可选地，所述方法还包括：
在所述当前视频帧图像的目标识别框所处位置的预设距离范围内，所述上一帧视频帧图像中不存在对应的目标识别框的情况下，标记该当前帧图像的目标识别框对应的人员为新人员。
可选地，所述方法还包括：
对于所述上一帧视频帧图像的目标识别框对应的人员，若在所述当前视频帧图像中无法识别到该人员，则标记该人员的状态为离开。
可选地，所述方法还包括：
统计所述预设时间段内所述新人员的数量，得到人员流量；
对于一人员，根据存在所述人员的视频帧图像的时间信息，确定所述人员存在于所述视频帧图像对应的视频采集区域中的时长。
本发明实施例还公开了一种人员标记装置，包括：
提取模块，用于在预设时间段中采集到的视频帧图像中，提取至少一个人员对应的目标识别框；
距离确定模块，用于确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离，并确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离；
人员确定模块，用于根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在；
第一标记模块，用于在所述当前视频帧图像的目标识别框对应的人员在所述上一帧视频帧图像中不存在的情况下，标记所述当前视频帧图像的目标识别框对应的人员为新人员。
可选地，所述距离确定模块包括：
中心坐标距离计算子模块，用于计算所述当前视频帧图像的目标识别框的中心坐标与所述上一帧视频帧图像的目标识别框的中心坐标之间的坐标欧氏距离，作为所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离。
可选地，所述距离确定模块，包括：
方向梯度直方图特征确定子模块，用于确定视频帧图像的目标识别框的方向梯度直方图特征；所述方向梯度直方图特征采用n×m矩阵表示；
元素欧氏距离计算子模块，用于对于当前视频帧图像的目标识别框的方向梯度直方图特征中第n行第m列元素，计算该元素与上一帧视频帧图像的目标识别框的方向梯度直方图特征中同行同列元素之间的元素欧氏距离；
方向梯度直方图特征距离计算子模块，用于计算当前视频帧图像的目标识别框的方向梯度直方图特征与上一帧视频帧图像的目标识别框的方向梯度直方图特征之间的元素欧氏距离的平均值，作为当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离。
可选地，所述人员确定模块包括：
第一相似值计算子模块，用于采用所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离，以及所述视频帧图像的对角长度，计算所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间第一相似值；
第二相似值计算子模块，用于采用所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离，以及所述目标识别框对应的方向梯度直方图特征中的矩阵元素数量，计算所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间第二相似值；
人员确定子模块，用于根据第一相似值以及第二相似值，确定当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在。
可选地，所述人员确定子模块包括：
加权单元，用于基于预设的第一权重与所述第一相似值计算第一加权值，并基于预设的第二权重与所述第二相似值计算第二加权值；
第一人员确定单元，用于若所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的所有目标识别框之间的第一加权值与第二加权值之和皆不小于预设阈值，确定该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在；
第二人员确定单元，用于若存在所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的一目标识别框之间的第一加权值与第二加权值之和小于预设阈值，确定该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中存在。
可选地，所述方法还包括：
第二标记模块，用于在所述当前视频帧图像的目标识别框所处位置的预设距离范围内，所述上一帧视频帧图像中不存在对应的目标识别框的情况下，标记该当前帧图像的目标识别框对应的人员为新人员。
可选地，所述方法还包括：
第三标记模块，用于对于所述上一帧视频帧图像的目标识别框对应的人员，若在所述当前视频帧图像中无法识别到该人员，则标记该人员的状态为离开。
可选地，所述方法还包括：
流量统计模块，用于统计所述预设时间段内所述新人员的数量，得到人员流量；
时长确定模块，用于对于一人员，根据存在所述人员的视频帧图像的时间信息，确定所述人员存在于所述视频帧图像对应的视频采集区域中的时长。
本发明实施例还公开了一种装置，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如本发明实施例所述的一个或多个的方法。
本发明实施例还公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的一个或多个的方法。
本发明实施例包括以下优点：
通过本发明实施例的人员标记方法，在预设时间段中采集到的视频帧图像中，提取至少一个人员对应的目标识别框，并根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在，在所述当前视频帧图像的目标识别框对应的人员在所述上一帧视频帧图像中不存在的情况下，标记所述当前视频帧图像的目标识别框对应的人员为新人员，从而可以采用中心坐标距离以及方向梯度直方图特征距离，准确地标记所述视频帧图像中的新人员，将视频帧图像中的新人员与原本存在的人员进行区别。便于后续基于新人员的数量进行人员流量统计，并统计人员停留在视频采集区域中时长。
附图说明
图1是本发明实施例的一种人员标记方法实施例的步骤流程图；
图2是本发明实施例的另一种人员标记方法实施例的步骤流程图；
图3是本发明的一种人员标记装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种人员标记方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，在预设时间段中采集到的视频帧图像中，提取至少一个人员对应的目标识别框；
在本发明实施例中，可以采用预设的视频采集设备，采集预设时间段内指定地点的视频。所述视频可以由多帧连续的视频帧图像组成。所述视频帧图像中采集到的区域，可以为视频采集区域。
在本发明实施例中，可以对所述视频帧图像进行目标识别，识别所述视频帧图像中的人员，从而提取得到至少一个人员对应的目标识别框。
其中，所述预设时间段可以为过去一段时间内的视频，也可以为过去一时间点至当前时间点的视频，本发明对此不做限制。
其中，所述指定地点可以根据实际需要，设置为商场门口、营业网点业务柜台、景区门口、学校教室内、车站站台、会议厅、活动场地等地点，本发明对此不做限制。
在具体实现中，可以采用预训练好的目标识别模型，识别所述视频帧图像中的人员特征，并采用目标识别框标记所述视频帧图中包含人员特征的区域。其中，根据实际需要，所述人员特征可以为人体、人员面部等，本发明对此不做限制。
在具体实现中，由于视频通常每秒可以由较多数量的视频帧图像组成，从而组成视频的所述视频帧图像的总量可以较多。为了提高处理效率，可以根据实际需要，采用预设的图像采集频率，从所述视频帧图像中抽取部分目标视频帧图像进行目标识别。例如，所述图像采集频率可以为0.1秒一张、1秒一张、5秒一张等，本发明对此不做限制。
可选地，可以对所述视频帧图像进行预处理，将所述视频帧图像处理为相同的尺寸，并调整所述视频帧图像的数据大小处于预设的数据范围中，从而所述目标识别框可以处于相同长度以及相同宽度的坐标系中，且所述视频帧图像中包含的数据量可以相近，可以更加准确地比较不同视频帧图像之间的目标识别框标识的人员是否相同。
步骤102，确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离，并确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离；
在本发明实施例中，为了确定当前视频帧图像中的目标识别框对应人员在之前的视频帧中是否存在，可以依次确定当前视频帧图像的每一目标识别框与上一帧视频帧图像的至少一个目标识别框之间的中心坐标距离，并依次确定当前视频帧图像的每一目标识别框与上一帧视频帧图像的至少一个目标识别框之间的方向梯度直方图特征距离。
其中，所述中心坐标距离可以为所述当前视频帧图像的目标识别框的中心坐标与上一视频帧图像的目标识别框的中心坐标之间的欧氏距离。所述方向梯度直方图特征距离可以为所述当前视频帧图像的目标识别框的方向梯度直方图特征(Histogram oforiented gradient,HOG)与上一视频帧图像的目标识别框的方向梯度直方图特征之间的欧氏距离。
步骤103，根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在；
在本发明实施例中，所述中心坐标距离可以用于确定目标识别框之间是否相近，从而确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的相似度。所述中心坐标距离在出现同一视频帧图像中的目标识别框之间部分重叠的情况下，仍然可以较好地确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的相似度，但是在人员移动速度较快的情况下，容易将现有的人员识别为新人员。
所述方向梯度直方图特征距离可以用于确定目标识别框区域的图像是否相似，从而确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的相似度。所述方向梯度直方图特征距离判断图像是否相似，而与目标识别框之间的距离无关，在所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的距离较远的情况下，仍然可以较好地确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的相似度，但是在出现同一视频帧图像中的目标识别框之间部分重叠的情况下，容易导致相似度判断错误。
由此，可以同时根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，综合地确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的相似度，从而可以较为准确地确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像是否存在。
在具体实现中，若所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离较小，以及方向梯度直方图特征距离较小，则所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间具有较高的相似度，可以认为所述当前视频帧图像的目标识别框对应的人员与所述上一帧视频帧图像的目标识别框对应的人员是同一位人员，从而所述当前视频帧图像的目标识别框对应的人员存在于上一帧视频帧图像中。
若所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离较大，以及方向梯度直方图特征距离较大，则所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间具有较低的相似度，可以认为所述当前视频帧图像的目标识别框对应的人员与所述上一帧视频帧图像的目标识别框对应的人员不为同一人员。若在所述上一帧视频帧图像中无法查找到与所述当前视频帧图像的目标识别框具有较高的相似度的目标识别框，则可以认为当前视频帧图像的目标识别框对应的人员不存在于上一帧视频帧图像中。
步骤104，在所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在的情况下，标记所述当前视频帧图像的目标识别框对应的人员为新人员；
在本发明实施例中，在当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在的情况下，则可以认为所述当前视频帧图像的目标识别框对应的人员是新进入视频采集区域的人员，则可以标记所述当前视频帧图像的目标识别框对应的人员为新人员。
在具体实现中，在当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在的情况下，则可以认为所述当前视频帧图像的目标识别框对应的人员是新进入视频采集区域的人员，并为该人员分配新的标识信息，将所述当前视频帧图像的目标识别框对应的人员标记为新人员。还可以记录所述目标识别框的坐标，作为该人员的坐标信息
在当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中存在的情况下，则可以认为所述当前视频帧图像的目标识别框对应的人员不是新进入视频采集区域的人员。可以更新该人员的坐标信息为当前视频帧图像目标识别框的坐标。从而可以根据所述视频帧图像对人员进行追踪。
在本发明实施例中，可以对所述预设时间段内进入视频采集区域的新人员的数量进行统计，从而可以得到人员流量。可选地，可以统计预设时间段内分配的标识信息的数量，从而可以确定预设时间段内进入视频采集区域的新人员的数量，得到人员流量。由此，在获得所述人员流量之后，还可以对所述人员流量进行分析，从而可以对设置所述视频采集设备的指定地点的人员流量进行分析与监控。
通过本发明实施例的人员标记方法，在预设时间段中采集到的视频帧图像中，提取至少一个人员对应的目标识别框，并根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在，在所述当前视频帧图像的目标识别框对应的人员在所述上一帧视频帧图像中不存在的情况下，标记所述当前视频帧图像的目标识别框对应的人员为新人员，从而可以采用中心坐标距离以及方向梯度直方图特征距离，准确地标记所述视频帧图像中的新人员，将视频帧图像中的新人员与原本存在的人员进行区别。便于后续基于新人员的数量进行流量统计，并统计人员停留在视频采集区域中时长。
参照图2，示出了本发明的一种人员标记方法实施例的步骤流程图，具体可以包括如下步骤：
步骤201，在预设时间段中采集到的视频帧图像中，提取至少一个人员对应的目标识别框；
在本发明实施例中，可以采用预设的视频采集设备，采集预设时间段内指定地点的视频。所述视频可以由多帧连续的视频帧图像组成。所述视频帧图像中采集到的区域，可以为视频采集区域。
在本发明实施例中，可以对所述视频帧图像进行目标识别，识别所述视频帧图像中的人员，从而提取得到至少一个人员对应的目标识别框。
其中，所述预设时间段可以为过去一段时间内的视频，也可以为过去一时间点至当前时间点的视频，本发明对此不做限制。
其中，所述指定地点可以根据实际需要，设置为商场门口、营业网点业务柜台、景区门口、学校教室内、车站站台、会议厅、活动场地等地点，本发明对此不做限制。
在具体实现中，可以采用预训练好的目标识别模型，识别所述视频帧图像中的人员特征，并采用目标识别框标记所述视频帧图中包含人员特征的区域。其中，根据实际需要，所述人员特征可以为人体、人员面部等，本发明对此不做限制。
在具体实现中，由于视频通常每秒可以由较多数量的视频帧图像组成，从而组成视频的所述视频帧图像的总量可以较多。为了提高处理效率，可以根据实际需要，采用预设的图像采集频率，从所述视频帧图像中抽取部分目标视频帧图像进行目标识别。例如，所述图像采集频率可以为0.1秒一张、1秒一张、5秒一张等，本发明对此不做限制。
可选地，可以对所述视频帧图像进行预处理，将所述视频帧图像处理为相同的尺寸，并调整所述视频帧图像的数据大小处于预设的数据范围中，从而所述目标识别框可以处于相同长度以及相同宽度的坐标系中，且所述视频帧图像中包含的数据量可以相近，可以便于后续在相同尺寸的坐标系中计算中心坐标距离以及方向梯度直方图特征距离。
步骤202，确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离，并确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离；
在本发明实施例中，为了确定当前视频帧图像中的目标识别框对应人员在之前的视频帧中是否存在，可以依次确定当前视频帧图像的每一目标识别框与上一帧视频帧图像的至少一个目标识别框之间的中心坐标距离，并依次确定当前视频帧图像的每一目标识别框与上一帧视频帧图像的至少一个目标识别框之间的方向梯度直方图特征距离。
其中，所述中心坐标距离可以为所述当前视频帧图像的目标识别框的中心坐标与上一视频帧图像的目标识别框的中心坐标之间的欧氏距离。所述方向梯度直方图特征距离可以为所述当前视频帧图像的目标识别框的方向梯度直方图特征(Histogram oforiented gradient,HOG)与上一视频帧图像的目标识别框的方向梯度直方图特征之间的欧氏距离。
在本发明的一种实施例中，所述确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离的步骤，包括：
S11，计算当前视频帧图像的目标识别框的中心坐标与上一帧视频帧图像的目标识别框的中心坐标之间的坐标欧氏距离，作为当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离。
在本发明实施例中，所述目标识别模型在所述视频帧图像中标记所述目标识别框之后，还可以记录所述目标识别框的中心坐标，以及所述目标识别框的宽度以及高度。
在本发明实施例中，可以依次计算当前视频帧图像的每一目标识别框与上一帧视频帧图像的至少一个目标识别框之间的坐标欧式距离，作为当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离。
在具体实现中，可以采用如下公式计算当前视频帧图像的目标识别框的中心坐标与上一帧视频帧图像的目标识别框的中心坐标之间的坐标欧氏距离
Figure BDA0002567292540000131
Figure BDA0002567292540000132
其中，bi,j表示当前视频帧图像，即第i帧视频帧图像的第j个识别出的目标识别框，
Figure BDA0002567292540000133
表示第i帧视频帧图像的第j个识别出的目标识别框的中心坐标的x轴坐标值，
Figure BDA0002567292540000134
表示第i帧视频帧图像的第j个识别出的目标识别框的中心坐标的y轴坐标值。bi-1,j'表示上一帧视频帧图像，即第i-1帧视频帧图像的第j'个识别出的目标识别框，
Figure BDA0002567292540000135
表示第i-1帧视频帧图像的第j'个识别出的目标识别框的中心坐标的x轴坐标值，
Figure BDA0002567292540000136
表示第i-1帧视频帧图像的第j'个识别出的目标识别框的中心坐标的y轴坐标值。
在本发明实施例中，若对于当前视频帧图像的每一目标识别框，都依次计算其与所述上一帧视频帧图像中所有目标识别框之间的中心坐标距离，则在视频帧图像中目标识别框数量较多的情况下，容易导致计算量较大。由此，对于当前视频帧图像的目标识别框，可以只对上一帧视频帧图像中，与该当前视频帧图像的目标识别框之间中心坐标的像素距离在预设像素值以内的目标识别框计算中心坐标距离，从而可以减少计算量。
在本发明的一种实施例中，所述确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离的步骤，包括：
S21，确定视频帧图像的目标识别框的方向梯度直方图特征；所述方向梯度直方图特征采用n×m矩阵表示；
在本发明实施例中，在确定所述视频帧图像的目标识别框之后，可以进一步确定该目标识别框的方向梯度直方图特征。其中，所述方向梯度直方图特征采用n×m矩阵表示。
在具体实现中，可以采用如下方式确定所述视频帧图像的目标识别框的方向梯度直方图特征：首先，可以对所述目标识别框区域的图像进行预处理。具体地，可以将所述目标识别框区域的图像转换为灰度图像，还可以对图像进行伽马校正，以降低光照、亮度等因素的影响。可选地，为了便于后续计算方向梯度直方图特征距离，还可以将所述目标识别框区域的图像统一调整为预设尺寸。其后，可以计算得到所述目标识别框区域的图像的像素梯度图。具体地，可以计算所述目标识别框区域的图像中每一像素点的水平梯度，以及垂直像素梯度，其后，可以根据水平梯度以及垂直梯度，计算得到像素点的梯度幅度以及梯度方向，从而得到像素梯度图。其后，可以计算得到所述目标识别框区域的图像的梯度直方图。具体地，可以将所述目标识别框区域的图像划分为若干大小相同，互不重叠的细胞单元，并根据像素点的梯度幅度以及梯度方向，统计每个细胞单元中像素点的梯度方向，得到梯度直方图。且每一细胞单元可以对应有一个特征向量。统计过程中，可以将梯度幅度作为加权值进行统计。其后，将相邻的若干细胞单元组合为块，且块之间包含重复的细胞单元。根据块中所有细胞单元的特征向量计算得到块的特征向量。从而可以得到所述目标识别框的方向梯度直方图特征，所述方向梯度直方图特征采用n×m矩阵表示，矩阵中每一元素的值即对应块的特征向量。
S22，对于当前视频帧图像的目标识别框的方向梯度直方图特征中第n行第m列元素，计算该元素与上一帧视频帧图像的目标识别框的方向梯度直方图特征中同行同列元素之间的元素欧氏距离；
在本发明实施例中，为了确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离，对于当前视频帧图像的目标识别框的方向梯度直方图特征中第n行第m列元素，计算该元素与上一帧视频帧图像的目标识别框的方向梯度直方图特征中同行同列元素之间的元素欧氏距离。
在具体实现中，可以采用如下公式计算当前视频帧图像的目标识别框的方向梯度直方图特征中第n行第m列元素与上一帧视频帧图像的目标识别框的方向梯度直方图特征中同行同列元素之间的元素欧氏距离
Figure BDA0002567292540000151
Figure BDA0002567292540000152
其中，
Figure BDA0002567292540000153
表示上一帧视频帧图像，即第i-1帧视频帧图像的第j'个识别出的目标识别框对应的方向梯度直方图特征中第n行第m列元素的特征值，
Figure BDA0002567292540000154
表示当前视频帧图像，即第i帧视频帧图像的第j个识别出的目标识别框对应的方向梯度直方图特征中第n行第m列元素的特征值。
可以采用上述公式，计算当前视频帧图像的目标识别框的方向梯度直方图特征中每一元素与上一帧视频帧图像的目标识别框的方向梯度直方图特征中同行同列元素之间的元素欧氏距离。
S23，计算当前视频帧图像的目标识别框的方向梯度直方图特征与上一帧视频帧图像的目标识别框的方向梯度直方图特征之间的元素欧氏距离的平均值，作为当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离。
在本发明实施例中，可以进一步计算当前视频帧图像的目标识别框的方向梯度直方图特征与上一帧视频帧图像的目标识别框的方向梯度直方图特征之间的元素欧氏距离的平均值，作为当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离。
在具体实现中，可以采用如下公式计算当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离
Figure BDA0002567292540000155
Figure BDA0002567292540000156
其中，Nc表示所述方向梯度直方图特征的矩阵行数量，Mc表示所述方向梯度直方图特征的矩阵列数量，
Figure BDA0002567292540000157
表示当前视频帧图像的目标识别框的方向梯度直方图特征中第n行第m列元素与上一帧视频帧图像的目标识别框的方向梯度直方图特征中同行同列元素之间的元素欧氏距离。
将如前述得到的，当前视频帧图像的目标识别框的方向梯度直方图特征中每一元素与上一帧视频帧图像的目标识别框的方向梯度直方图特征中同行同列元素之间的元素欧氏距离
Figure BDA0002567292540000158
全部相加，得到加和值
Figure BDA0002567292540000159
其后，将加和值
Figure BDA0002567292540000161
除以元素的数量Nc×Mc，得到元素欧氏距离的平均值，并将其作为方向梯度直方图特征距离
Figure BDA0002567292540000162
步骤203，采用当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离，以及所述视频帧图像的对角长度，计算当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间第一相似值；
在本发明实施例中，可以将所述视频帧图像的对角长度作为基准，判断所述当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框是否相近，以确定所述当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框是否相似。由此，可以采用当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离，以及所述视频帧图像的对角长度，计算当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间第一相似值。
在具体实现中，可以采用如下公式计算第一相似值cj：
Figure BDA0002567292540000163
其中，
Figure BDA0002567292540000164
表示当前视频帧图像的目标识别框的中心坐标与上一帧视频帧图像的目标识别框的中心坐标之间的坐标欧氏距离，d表示视频帧图像的对角长度。
步骤204，采用当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离，以及所述目标识别框对应的方向梯度直方图特征中的矩阵元素数量，计算当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间第二相似值；
在本发明实施例中，可以采用所述目标识别框对应的方向梯度直方图特征中的矩阵元素数量作为基准，判断所述当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离是否相近，以确定所述当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框是否相似。由此，可以采用当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离，以及所述目标识别框对应的方向梯度直方图特征中的矩阵元素数量，计算当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间第二相似值。
在具体实现中，可以采用如下公式计算第二相似值hj：
Figure BDA0002567292540000171
其中，
Figure BDA0002567292540000172
表示当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离，n表示方向梯度直方图特征中矩阵行的数量，m表示方向梯度直方图特征中矩阵列的数量。
步骤205，根据第一相似值以及第二相似值，确定当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在。
在本发明实施例中，所述中心坐标距离可以用于确定目标识别框之间是否相近，从而确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的相似度。所述中心坐标距离在出现同一视频帧图像中的目标识别框之间部分重叠的情况下，仍然可以较好地确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的相似度，但是在人员移动速度较快的情况下，容易将现有的人员识别为新人员。
所述方向梯度直方图特征距离可以用于确定目标识别框区域的图像是否相似，从而确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的相似度。所述方向梯度直方图特征距离判断图像是否相似，而与目标识别框之间的距离无关，在所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的距离较远的情况下，仍然可以较好地确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的相似度，但是在出现同一视频帧图像中的目标识别框之间部分重叠的情况下，容易导致相似度判断错误。
由此，可以根据基于所述中心坐标距离得到所述第一相似值，以及基于所述方向梯度直方图特征距离得到的第二相似值，确定当前视频帧图像的目标识别对应的人员在上一帧视频帧图像中是否存在。第一相似值以所述视频帧图像的对角长度作为基准，第二相似值以方向梯度直方图特征中的矩阵元素数量作为基准，可以更准确地判断所述当前视频帧图像的目标识别对应的人员在上一帧视频帧图像中是否存在。
在具体实现中，若所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的第一相似值较小，以及第二相似值较小，则所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间具有较高的相似度，可以认为所述当前视频帧图像的目标识别框对应的人员与所述上一帧视频帧图像的目标识别框对应的人员是同一位人员，从而所述当前视频帧图像的目标识别框对应的人员存在于上一帧视频帧图像中。
若所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的第一相似值较大，以及第二相似值较大，则所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间具有较低的相似度，可以认为所述当前视频帧图像的目标识别框对应的人员与所述上一帧视频帧图像的目标识别框对应的人员不为同一人员。若在所述上一帧视频帧图像中无法查找到与所述当前视频帧图像的目标识别框具有较高的相似度的目标识别框，则可以认为当前视频帧图像的目标识别框对应的人员不存在于上一帧视频帧图像中。
在本发明的一种实施例中，所述根据第一相似值概率以及第二相似值概率，确定当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在的步骤，包括：
S31，基于预设的第一权重与第一相似值计算第一加权值，并基于预设的第二权重与第二相似值计算第二加权值；
在本发明实施例中，由于在不同情况下，基于所述中心坐标距离得到所述第一相似值，以及基于所述方向梯度直方图特征距离得到的第二相似值可以具有不同的准确度。由此，可以为所述第一相似值与所述第二相似值赋予权重，从而可以在不同情况下更准确地识别出新人员。
在本发明实施例中，可能存在所述第一相似值与所述第二相似值之间的数值相差较大的情况。在此情况下，可能出现确定当前视频帧图像的目标识别框对应的人员是否存在于上一帧视频帧图像中，基本取决于所述第一相似值与所述第二相似值中数值明显更大的值。为了避免该种情况，为所述第一相似值与所述第二相似值赋予权重的同时，可以采用所述第一权重对第一相似值的数值范围进行调整，采用所述第二权重对所述第二相似值的数值范围进行调整，使第一加权值与所述第二加权值处于相近的数值范围内，
在本发明实施例中，可以基于预设的第一权重与第一相似值计算第一加权值，并基于预设的第二权重与第二相似值计算第二加权值。其中，所述第一权重与第二权重可以根据实际需要确定，本发明对此不做限制。
在具体实现中，所述第一加权值可以为所述第一权重与所述第一相似值的乘积，所述第二加权值可以为所述第二权重与所述第二相似值的乘积。可选地，所述第一权重与所述第二权重之和可以为1。
S32，若所述当前视频帧图像的目标识别框与上一帧视频帧图像的所有目标识别框之间的第一加权值与第二加权值之和皆不小于预设阈值，确定该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在；
在本发明实施例中，可以采用第一加权值与第二加权值之和确定当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在，从而可以结合中心坐标距离，以及方向梯度直方图特征距离确定当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在。
在本发明实施例中，对于一当前视频帧图像的目标识别框来说，若该当前视频帧图像的目标识别框与上一帧视频帧图像的所有目标识别框之间的第一加权值与第二加权值之和皆不小于预设阈值，可以认为该当前视频帧图像的目标识别框与所述上一帧视频帧图像的所有目标识别框之间具有较低的相似度，该当前视频帧图像的目标识别框对应的人员不是所述上一帧视频帧图像的目标识别框对应的任何一员，从而可以确定该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在。
S33，若存在所述当前视频帧图像的目标识别框与上一帧视频帧图像的一目标识别框之间的第一加权值与第二加权值之和小于预设阈值，确定该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中存在。
在本发明实施例中，对于一当前视频帧图像的目标识别框来说，若存在所述当前视频帧图像的目标识别框与上一帧视频帧图像的一目标识别框之间的第一加权值与第二加权值之和小于预设阈值，可以认为该当前视频帧图像的目标识别框与上一帧视频帧图像的一目标识别框之间具有较高的相似度，该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中存在。
其中，所述预设阈值可以根据实际需要确定，本发明对此不做限制。
步骤206，在所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在的情况下，标记所述当前视频帧图像的目标识别框对应的人员为新人员；
在本发明实施例中，在当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在的情况下，则可以认为所述当前视频帧图像的目标识别框对应的人员是新进入视频采集区域的人员，则可以标记所述当前视频帧图像的目标识别框对应的人员为新人员。
在具体实现中，在当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在的情况下，则可以认为所述当前视频帧图像的目标识别框对应的人员是新进入视频采集区域的人员，并为该人员分配新的标识信息，将所述当前视频帧图像的目标识别框对应的人员标记为新人员。还可以记录所述目标识别框的坐标，作为该人员的坐标信息
在当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中存在的情况下，则可以认为所述当前视频帧图像的目标识别框对应的人员不是新进入视频采集区域的人员。可以更新该人员的坐标信息为当前视频帧图像目标识别框的坐标。从而可以根据所述视频帧图像对人员进行追踪。
在本发明的一种实施例中，所述方法还包括：
S41，在所述当前视频帧图像的目标识别框所处位置的预设距离范围内，所述上一帧视频帧图像中不存在对应的目标识别框的情况下，标记该当前帧图像的目标识别框对应的人员为新人员。
在本发明实施例中，在根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在之前，还可以先确定在当前视频帧图像的目标识别框所处位置的预设距离范围内，所述上一帧视频帧图像中是否存在对应的目标识别框。
若在当前视频帧图像的目标识别框所处位置的预设距离范围内，所述上一帧视频帧图像中不存在对应的目标识别框，则可以认为所述当前视频帧图像的目标识别框与上一帧视频帧图像中的目标识别框具有明显区别，可以认为该当前视频帧图像的目标识别框对应的人员即为新人员，而不需要基于中心坐标距离，以及方向梯度直方图特征距离确定该当前视频帧图像的目标识别框对应的人员是否为新人员。
在具体实现中，可以若在所述当前视频帧图像的目标识别框的中心坐标的预设距离范围内，所述上一帧视频帧图像中不存在对应的目标识别框，可以标记该当前帧图像的目标识别框对应的人员为新人员。其中，所述预设距离范围可以根据实际需要确定，本发明对此不做限制。
在本发明的一种实施例中，所述方法还包括：
S51，对于所述上一帧视频帧图像的目标识别框对应的人员，若在所述当前视频帧图像中无法识别到该人员，则标记该人员的状态为离开。
在本发明实施例中，在确定所述当前帧图像的目标识别框对应的人员是否为新人员的同时，还可以确定是否存在所述上一帧视频帧图像的目标识别框对应的人员，在所述当前视频帧图像中无法识别到。若在所述当前视频帧图像中无法识别到该人员，则可以认为该人员已经离开视频采集区域，并可以标记该人员的状态为离开，便于后续统计人员存在于视频采集区域中的时长。
在具体实现中，可以依次确定所述当前视频帧图像的每一目标识别框与所述上一帧视频帧图像的目标识别框是否相似，从而在所述上一帧视频帧图像中，可以存在目标识别框与所述当前视频帧图像的一目标识别框相似，也可以存在目标识别框与所述当前视频帧图像的任一目标识别框皆不相似。在所述上一帧视频帧图像的一目标识别框与所述当前视频帧图像的任一目标识别框皆不相似的情况下，可以认为在所述当前视频帧图像中无法识别到该上一帧视频帧图像的目标识别框对应的人员，从而可以标记该人员的状态为离开。
在本发明的一种实施例中，所述方法还包括：
S61，统计所述预设时间段内所述新人员的数量，得到人员流量；
在本发明实施例中，在对预设时间段中采集到的视频帧图像中的新人员进行标记之后，还可以对所述预设时间段内进入视频采集区域的新人员的数量进行统计，从而可以得到人员流量。可选地，可以统计预设时间段内分配的标识信息的数量，从而可以确定预设时间段内进入视频采集区域的新人员的数量，得到人员流量。由此，在获得所述人员流量之后，还可以对所述人员流量进行分析，从而可以对设置所述视频采集设备的指定地点的人员流量进行分析与监控。
S62，对于一人员，根据存在所述人员的视频帧图像的时间信息，确定所述人员存在于所述视频帧图像对应的视频采集区域中的时长。
在本发明实施例中，所述视频帧图像可以具有时间信息。对于一人员来说，可以将标记该人员为新人员对应的视频帧图像的时间信息，作为该人员进入视频采集区域的时间。将标记该人员的状态为离开对应的视频帧图像的时间信息，作为该人员离开视频采集区域的时间，从而可以得知该人员存在于所述视频帧图像对应的视频采集区域中的时长。
在本发明实施例中，在所述视频采集设备设置于人员使用设备提供的服务的位置，如银行柜机等，或者所述视频采集设备设置于人员使用服务员提供的服务的位置，如业务柜台等的情况下，可以根据人员存在于视频采集区域的时长，确定人员使用服务的时长。其后，还可以根据人员流量、人员使用服务的时长等数据，对服务质量进行分析与监控。
通过本发明实施例的人员标记方法，在预设时间段中采集到的视频帧图像中，提取至少一个人员对应的目标识别框，并根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在，在所述当前视频帧图像的目标识别框对应的人员在所述上一帧视频帧图像中不存在的情况下，标记所述当前视频帧图像的目标识别框对应的人员为新人员，从而可以采用中心坐标距离以及方向梯度直方图特征距离，准确地标记所述视频帧图像中的新人员，将视频帧图像中的新人员与原本存在的人员进行区别。便于后续基于新人员的数量进行流量统计，并统计人员停留在视频采集区域中时长。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图3，示出了本发明的一种人员标记装置实施例的结构框图，具体可以包括如下模块：
提取模块301，用于在预设时间段中采集到的视频帧图像中，提取至少一个人员对应的目标识别框；
距离确定模块302，用于确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离，并确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离；
人员确定模块303，用于根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在；
第一标记模块304，用于在所述当前视频帧图像的目标识别框对应的人员在所述上一帧视频帧图像中不存在的情况下，标记所述当前视频帧图像的目标识别框对应的人员为新人员。
在本发明一种实施例中，所述距离确定模块包括：
中心坐标距离计算子模块，用于计算所述当前视频帧图像的目标识别框的中心坐标与所述上一帧视频帧图像的目标识别框的中心坐标之间的坐标欧氏距离，作为所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离。
在本发明一种实施例中，所述距离确定模块，包括：
方向梯度直方图特征确定子模块，用于确定视频帧图像的目标识别框的方向梯度直方图特征；所述方向梯度直方图特征采用n×m矩阵表示；
元素欧氏距离计算子模块，用于对于当前视频帧图像的目标识别框的方向梯度直方图特征中第n行第m列元素，计算该元素与上一帧视频帧图像的目标识别框的方向梯度直方图特征中同行同列元素之间的元素欧氏距离；
方向梯度直方图特征距离计算子模块，用于计算当前视频帧图像的目标识别框的方向梯度直方图特征与上一帧视频帧图像的目标识别框的方向梯度直方图特征之间的元素欧氏距离的平均值，作为当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离。
在本发明一种实施例中，所述人员确定模块包括：
第一相似值计算子模块，用于采用所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离，以及所述视频帧图像的对角长度，计算所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间第一相似值；
第二相似值计算子模块，用于采用所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离，以及所述目标识别框对应的方向梯度直方图特征中的矩阵元素数量，计算所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间第二相似值；
人员确定子模块，用于根据第一相似值以及第二相似值，确定当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在。
在本发明一种实施例中，所述人员确定子模块包括：
加权单元，用于基于预设的第一权重与所述第一相似值计算第一加权值，并基于预设的第二权重与所述第二相似值计算第二加权值；
第一人员确定单元，用于若所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的所有目标识别框之间的第一加权值与第二加权值之和皆不小于预设阈值，确定该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在；
第二人员确定单元，用于若存在所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的一目标识别框之间的第一加权值与第二加权值之和小于预设阈值，确定该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中存在。
在本发明一种实施例中，所述方法还包括：
第二标记模块，用于在所述当前视频帧图像的目标识别框所处位置的预设距离范围内，所述上一帧视频帧图像中不存在对应的目标识别框的情况下，标记该当前帧图像的目标识别框对应的人员为新人员。
在本发明一种实施例中，所述方法还包括：
第三标记模块，用于对于所述上一帧视频帧图像的目标识别框对应的人员，若在所述当前视频帧图像中无法识别到该人员，则标记该人员的状态为离开。
在本发明一种实施例中，所述方法还包括：
流量统计模块，用于统计所述预设时间段内所述新人员的数量，得到人员流量；
时长确定模块，用于对于一人员，根据存在所述人员的视频帧图像的时间信息，确定所述人员存在于所述视频帧图像对应的视频采集区域中的时长。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种装置，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行本发明实施例所述的方法。
本发明实施例还提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行本发明实施例所述的方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种人员标记方法和一种人员标记装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种人员标记方法，其特征在于，包括：
在预设时间段中采集到的视频帧图像中，提取至少一个人员对应的目标识别框；
确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离，并确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离；
根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在；
在所述当前视频帧图像的目标识别框对应的人员在所述上一帧视频帧图像中不存在的情况下，标记所述当前视频帧图像的目标识别框对应的人员为新人员。
2.根据权利要求1所述的方法，其特征在于，所述确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离的步骤，包括：
确定视频帧图像的目标识别框的方向梯度直方图特征；所述方向梯度直方图特征采用n×m矩阵表示；
对于当前视频帧图像的目标识别框的方向梯度直方图特征中第n行第m列元素，计算该元素与上一帧视频帧图像的目标识别框的方向梯度直方图特征中同行同列元素之间的元素欧氏距离；
计算当前视频帧图像的目标识别框的方向梯度直方图特征与上一帧视频帧图像的目标识别框的方向梯度直方图特征之间的元素欧氏距离的平均值，作为当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在的步骤，包括：
采用所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离，以及所述视频帧图像的对角长度，计算所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间第一相似值；
采用所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离，以及所述目标识别框对应的方向梯度直方图特征中的矩阵元素数量，计算所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间第二相似值；
根据所述第一相似值以及所述第二相似值，确定所述当前视频帧图像的目标识别框对应的人员在所述上一帧视频帧图像中是否存在。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一相似值以及所述第二相似值，确定所述当前视频帧图像的目标识别框对应的人员在所述上一帧视频帧图像中是否存在的步骤，包括：
基于预设的第一权重与所述第一相似值计算第一加权值，并基于预设的第二权重与所述第二相似值计算第二加权值；
若所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的所有目标识别框之间的第一加权值与第二加权值之和皆不小于预设阈值，确定该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中不存在；
若存在所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的一目标识别框之间的第一加权值与第二加权值之和小于预设阈值，确定该当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中存在。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述当前视频帧图像的目标识别框所处位置的预设距离范围内，所述上一帧视频帧图像中不存在对应的目标识别框的情况下，标记该当前帧图像的目标识别框对应的人员为新人员。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于所述上一帧视频帧图像的目标识别框对应的人员，若在所述当前视频帧图像中无法识别到该人员，则标记该人员的状态为离开。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
统计所述预设时间段内所述新人员的数量，得到人员流量；
对于一人员，根据存在所述人员的视频帧图像的时间信息，确定所述人员存在于所述视频帧图像对应的视频采集区域中的时长。
8.一种人员标记装置，其特征在于，包括：
提取模块，用于在预设时间段中采集到的视频帧图像中，提取至少一个人员对应的目标识别框；
距离确定模块，用于确定当前视频帧图像的目标识别框与上一帧视频帧图像的目标识别框之间的中心坐标距离，并确定所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的方向梯度直方图特征距离；
人员确定模块，用于根据所述当前视频帧图像的目标识别框与所述上一帧视频帧图像的目标识别框之间的中心坐标距离以及方向梯度直方图特征距离，确定所述当前视频帧图像的目标识别框对应的人员在上一帧视频帧图像中是否存在；
第一标记模块，用于在所述当前视频帧图像的目标识别框对应的人员在所述上一帧视频帧图像中不存在的情况下，标记所述当前视频帧图像的目标识别框对应的人员为新人员。
9.一种装置，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1-7所述的一个或多个方法。
10.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如权利要求1-7所述的一个或多个方法。
CN202010628076.4A 2020-07-02 2020-07-02 一种人员标记方法和装置 Active CN111914653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010628076.4A CN111914653B (zh) 2020-07-02 2020-07-02 一种人员标记方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010628076.4A CN111914653B (zh) 2020-07-02 2020-07-02 一种人员标记方法和装置

Publications (2)

Publication Number Publication Date
CN111914653A true CN111914653A (zh) 2020-11-10
CN111914653B CN111914653B (zh) 2023-11-07

Family

ID=73227269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010628076.4A Active CN111914653B (zh) 2020-07-02 2020-07-02 一种人员标记方法和装置

Country Status (1)

Country Link
CN (1) CN111914653B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270302A (zh) * 2020-11-17 2021-01-26 支付宝(杭州)信息技术有限公司 肢体控制方法、装置和电子设备
CN112819706A (zh) * 2021-01-14 2021-05-18 杭州睿影科技有限公司 确定叠加显示的识别框的方法及可读存储介质和电子设备
CN117333929A (zh) * 2023-12-01 2024-01-02 贵州省公路建设养护集团有限公司 基于深度学习实现道路施工下的异常人员识别方法及系统
CN117910997A (zh) * 2024-03-19 2024-04-19 北京卓越未来国际医药科技发展有限公司 基于临床试验项目的工时统计方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609686A (zh) * 2012-01-19 2012-07-25 宁波大学 一种行人检测方法
CN105631418A (zh) * 2015-12-24 2016-06-01 浙江宇视科技有限公司 一种人数统计的方法和装置
WO2016159442A1 (ko) * 2015-04-01 2016-10-06 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법
CN107590821A (zh) * 2017-09-25 2018-01-16 武汉大学 一种基于轨迹优化的目标跟踪方法及系统
CN108509861A (zh) * 2018-03-09 2018-09-07 山东师范大学 一种基于样本学习和目标检测结合的目标跟踪方法和装置
WO2020082258A1 (zh) * 2018-10-24 2020-04-30 深圳鲲云信息科技有限公司 一种多目标实时跟踪方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609686A (zh) * 2012-01-19 2012-07-25 宁波大学 一种行人检测方法
WO2016159442A1 (ko) * 2015-04-01 2016-10-06 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법
CN105631418A (zh) * 2015-12-24 2016-06-01 浙江宇视科技有限公司 一种人数统计的方法和装置
CN107590821A (zh) * 2017-09-25 2018-01-16 武汉大学 一种基于轨迹优化的目标跟踪方法及系统
CN108509861A (zh) * 2018-03-09 2018-09-07 山东师范大学 一种基于样本学习和目标检测结合的目标跟踪方法和装置
WO2020082258A1 (zh) * 2018-10-24 2020-04-30 深圳鲲云信息科技有限公司 一种多目标实时跟踪方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘鹏 等: "基于相关滤波的改进Staple人脸跟踪算法", 新疆大学学报(自然科学版) *
张雯晖: "人体姿态估计与姿态距离度量学习方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
李航: "基于计算机视觉的人流量统计技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270302A (zh) * 2020-11-17 2021-01-26 支付宝(杭州)信息技术有限公司 肢体控制方法、装置和电子设备
CN112819706A (zh) * 2021-01-14 2021-05-18 杭州睿影科技有限公司 确定叠加显示的识别框的方法及可读存储介质和电子设备
CN112819706B (zh) * 2021-01-14 2024-05-14 杭州睿影科技有限公司 确定叠加显示的识别框的方法及可读存储介质和电子设备
CN117333929A (zh) * 2023-12-01 2024-01-02 贵州省公路建设养护集团有限公司 基于深度学习实现道路施工下的异常人员识别方法及系统
CN117333929B (zh) * 2023-12-01 2024-02-09 贵州省公路建设养护集团有限公司 基于深度学习实现道路施工下的异常人员识别方法及系统
CN117910997A (zh) * 2024-03-19 2024-04-19 北京卓越未来国际医药科技发展有限公司 基于临床试验项目的工时统计方法、装置、设备及介质
CN117910997B (zh) * 2024-03-19 2024-06-18 北京卓越未来国际医药科技发展有限公司 基于临床试验项目的工时统计方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111914653B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN111914653B (zh) 一种人员标记方法和装置
CN111259850B (zh) 一种融合随机批掩膜和多尺度表征学习的行人重识别方法
CN111507283B (zh) 基于课堂场景的学生行为识别方法及系统
CN106407946B (zh) 跨线计数方法和深度神经网络训练方法、装置和电子设备
CN104063883B (zh) 一种基于对象和关键帧相结合的监控视频摘要生成方法
US8582816B2 (en) Method and apparatus for video analytics based object counting
JP7292492B2 (ja) オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム
CN109583373B (zh) 一种行人重识别实现方法
CN108229352B (zh) 一种基于深度学习的站立检测方法
CN112329691A (zh) 一种监控视频的分析方法及装置、电子设备、存储介质
CN106778637B (zh) 一种对男女客流的统计方法
CN107483894A (zh) 基于场景判断实现客运管理的高铁车站视频监控系统
CN107358163A (zh) 基于人脸识别的游客线路跟踪统计方法、电子设备及存储介质
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN111382655A (zh) 一种举手行为识别方法及装置、电子设备
CN115661698A (zh) 扶梯乘客异常行为检测方法、系统、电子设备及存储介质
CN113435402B (zh) 一种用于列车车厢的不文明行为检测方法及系统
CN112669294B (zh) 相机遮挡检测方法、装置、电子设备及存储介质
CN114581990A (zh) 一种跑步智能测试方法以及装置
CN115661586B (zh) 模型训练和人流量统计方法、装置及设备
CN110348386B (zh) 一种基于模糊理论的人脸图像识别方法、装置及设备
CN112686173A (zh) 一种客流计数方法、装置、电子设备及存储介质
Shen et al. Metro Pedestrian Detection Based on Mask R-CNN and Spatial-temporal Feature
CN114821487B (zh) 客流统计方法、装置、智能终端、系统、设备及介质
CN117636402B (zh) 基于行人重识别的客情分析方法及装置、计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant