CN115512279A - 行为类别识别方法、装置、电子设备以及计算机存储介质 - Google Patents

行为类别识别方法、装置、电子设备以及计算机存储介质 Download PDF

Info

Publication number
CN115512279A
CN115512279A CN202211374764.8A CN202211374764A CN115512279A CN 115512279 A CN115512279 A CN 115512279A CN 202211374764 A CN202211374764 A CN 202211374764A CN 115512279 A CN115512279 A CN 115512279A
Authority
CN
China
Prior art keywords
behavior
standard
video
similarity
mobile object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211374764.8A
Other languages
English (en)
Other versions
CN115512279B (zh
Inventor
潘科辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shenxiang Intelligent Technology Co ltd
Original Assignee
Zhejiang Lianhe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lianhe Technology Co ltd filed Critical Zhejiang Lianhe Technology Co ltd
Priority to CN202211374764.8A priority Critical patent/CN115512279B/zh
Publication of CN115512279A publication Critical patent/CN115512279A/zh
Application granted granted Critical
Publication of CN115512279B publication Critical patent/CN115512279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供行为类别识别方法、装置、电子设备以及计算机存储介质，在该方法中，先确定待识别视频中的关注区域，基于关注区域，在待识别视频中筛选视频帧，并对选定视频帧中移动对象的行为特征进行特征提取，获得移动对象的行为特征，由于在获得移动对象的行为特征时，基于选定视频帧进行特征提取，进而使得提取移动对象的行为特征的效率更高。在获得移动对象的行为特征后，将移动对象的行为特征与各个标准行为特征进行比较，进而确定移动对象的行为特征与各个标准行为特征之间的第一相似度，之后，基于第一相似度与标准行为特征的标准行为类型，确定移动对象的目标行为类型，使得确定的移动对象的行为类型更加准确。

Description

行为类别识别方法、装置、电子设备以及计算机存储介质
技术领域
本申请涉及计算机技术领域，具体涉及一种行为类别识别方法、装置、电子设备以及计算机存储介质。
背景技术
随着图像处理技术在图像处理领域中的快速发展，现在越来越多的图像处理方式在日常的图像处理过程中占据着重要地位，作为图像处理的一个环节，基于图像识别技术对图像中对象的行为进行分析，越来越受到关注。
例如，在对图像或者视频中的内容进行识别时，可以对图像中的人物的行为特征进行分析，进而确定出图像中人物的具体行为类型。这种对图像中人物的具体行为类型进行确定的方式，可以用于多种场景中。例如，在售卖汽车的实体店中，可以对图像或者视频中人物的上车或者下车行为进行分析统计并进行计数，进而确定出用户对各个汽车型号的喜好程度。然而，在一些场景中，不同的行为可能在图像或者视频识别过程中较难以区分，导致无法精确分析出图像或者视频中对象的某种行为，因而，如何对图像或者视频进行分析以精确识别图像或者视频中对象的行为类型成为当前亟需解决的技术问题。
发明内容
本申请提供一种行为类别识别方法，以解决如何对图像或者视频进行分析以精确识别图像或者视频中对象的行为类型的技术问题，本申请还提供与行为类别识别方法对应的装置、电子设备以及计算机存储介质。
本申请提供一种行为类别识别方法，包括：
对待识别视频进行区域检测，确定所述待识别视频中的关注区域；
将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧；
基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征；
确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度；
基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型。
可选的，所述基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型，包括：
基于所述第一相似度，确定各个标准行为特征中与所述移动对象的行为特征最相似的候选标准行为特征；
判断所述候选标准行为特征与所述移动对象的行为特征之间的第一相似度是否满足设定的第一相似度阈值条件；
如果是，则将所述候选标准行为特征的标准行为类型作为所述目标行为类型。
可选的，所述待识别视频包括多个视频，所述多个视频来自于多个视频获取设备；所述第一相似度包括各个视频中移动对象的行为特征与各个标准行为特征之间的第一相似度；
所述基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型，包括：
针对某个选定视频，确定所述选定视频中移动对象的标准行为类型作为候选标准行为类型；
确定所述选定视频中移动对象的行为特征与所述候选标准行为类型的标准行为特征之间的第一候选相似度；
将各个候选标准行为类型与其对应的第一候选相似度进行加权运算，确定所述移动对象的目标行为类型，所述各个候选标准行为类型为各个选定视频中移动对象的标准行为类型。
可选的，所述将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧，包括：
基于所述待识别视频，对所述关注区域进行背景建模，确定所述待识别视频的背景；
基于所述背景，在所述待识别视频中识别出前景区域；
判断所述前景区域像素在相邻接的视频帧中是否存在像素偏差，若是，则选择存在像素偏差的相关视频帧序列作为所述选定视频帧。
可选的，所述基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征，包括：
将所述选定视频帧作为经过训练的特征提取网络模型的输入数据，获得所述移动对象的行为特征；所述经过训练的特征提取网络模型是用于根据视频帧获得视频帧中对象的行为特征的模型。
可选的，还包括：获得各个标准行为特征；
所述获得各个标准行为特征，包括：将预先采集的包含各个标准行为的视频帧序列分别作为所述特征提取网络模型的输入数据，从中提取各个标准行为的属性特征，作为所述标准行为特征。
可选的，还包括：基于所述选定视频帧，在预设的标准对象库中，确定所述移动对象对应的标准对象。
可选的，所述基于所述选定视频帧，在预设的标准对象库中，确定所述移动对象对应的标准对象，包括：
获得所述选定视频帧中移动对象的属性特征；
确定所述移动对象的属性特征与所述标准对象库中各个标准对象的属性特征之间的第二相似度；
基于所述第二相似度，确定各个标准对象中与所述移动对象最相似的候选标准对象；
判断所述候选标准对象的属性特征与所述移动对象的属性特征之间的第二相似度是否满足设定的第二相似度阈值条件；
如果是，则将所述候选标准对象作为所述移动对象对应的标准对象。
可选的，所述确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度，包括：
获得用于对所述移动对象的行为特征进行向量表示的对象行为特征向量；
获得用于对所述各个标准行为特征进行向量表示的各个标准行为特征向量；
分别对所述对象行为特征向量与所述各个标准行为特征向量进行向量点积运算，确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度。
可选的，如果所述候选标准行为特征与所述移动对象的行为特征之间的第一相似度不满足设定的第一相似度阈值条件，所述方法还包括：
计算所述移动对象的行为类型被确认为各个标准行为类型的置信度；
将置信度最高的标准行为类型作为所述目标行为类型。
可选的，所述计算所述移动对象的行为类型被确认为各个标准行为类型的置信度，包括：
针对某个选定标准行为类型，将所述选定标准行为类型的标准行为特征与所述移动对象的行为特征之间的第一相似度、用于评价获取所述待识别视频的视频获取设备的质量指标进行相乘，获得所述移动对象的行为类型被确认为所述选定标准行为类型的置信度。
可选的，还包括：获得用于评价获取所述待识别视频的视频获取设备的质量指标；
所述获得用于评价获取所述待识别视频的视频获取设备的质量指标，包括：
将所述待识别视频的各个视频帧作为图像质量指标获得模型的输入数据，获得各个视频帧对应的图像质量指标；所述图像质量指标获得模型是用于根据图像获得图像对应的图像质量指标的模型；
根据所述各个视频帧对应的图像质量指标，获得用于评价获取所述待识别视频的视频获取设备的质量指标。
可选的，还包括：针对所述目标行为类型进行计数处理，获得所述目标行为类型的计数结果。
对应地，本申请提供一种行为类别识别装置，包括：
关注区域确定单元，用于对待识别视频进行区域检测，确定所述待识别视频中的关注区域；
待识别视频处理单元，用于将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧；
特征提取单元，用于基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征；
第一相似度确定单元，用于确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度；
目标行为类型确定单元，用于基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型。
对应地，本申请提供一种电子设备，包括：
处理器；
存储器，用于存储计算机程序，该计算机程序被处理器运行，执行上述行为类别识别方法。
对应地，本申请提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行上述行为类别识别方法。
与现有技术相比，本申请实施例具有以下优点：
本申请提供一种行为类别识别方法，包括：对待识别视频进行区域检测，确定待识别视频中的关注区域；将待识别视频中存在有在关注区域范围进行移动的移动对象的视频帧，作为选定视频帧；基于移动对象，对选定视频帧进行特征提取，获得移动对象的行为特征；确定移动对象的行为特征与各个标准行为特征之间的第一相似度；基于第一相似度与标准行为特征的标准行为类型，确定移动对象的目标行为类型。由于在该方法中，先确定待识别视频中的关注区域，并基于关注区域，在待识别视频中筛选存在有在关注区域范围进行移动的移动对象的视频帧作为选定视频帧，并对选定视频帧中移动对象的行为特征进行特征提取，获得移动对象的行为特征，由于在获得移动对象的行为特征时，是基于选定视频帧进行特征提取的，进而使得提取移动对象的行为特征的效率更高。在获得移动对象的行为特征后，将移动对象的行为特征与各个标准行为特征进行比较，进而确定移动对象的行为特征与各个标准行为特征之间的第一相似度，之后，基于第一相似度与标准行为特征的标准行为类型，确定移动对象的目标行为类型，使得确定的移动对象的行为类型更加准确。
在本申请的进一步优选的实施方案中，由于基于第一相似度，确定各个标准行为特征中与移动对象的行为特征最接近的标准行为特征，并且在最接近的标准行为特征与移动对象的行为特征之间的第一相似度满足第一相似度阈值条件时，将最接近的标准行为特征的标准行为类型作为目标行为类型，也使最终确定的移动对象的行为类型更加准确。
在本申请的又进一步优选的实施方案中，通过多个视频获取设备获取多个视频，并基于多个视频获取移动对象的行为类型，一方面避免了由于一个视频中多个移动对象相互遮挡无法确定被遮挡移动对象的行为类型；同时，由于通过多个视频确定同一个移动对象的行为类型，进而使得基于不同角度视频确定的该移动对象的行为类型更加精确。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请的行为类别识别方法的第一场景示意图。
图2为本申请第一实施例提供的行为类别识别方法的流程图。
图3为本申请的行为类别识别方法的第二场景示意图。
图4为本申请的行为类别识别方法的第三场景示意图。
图5为本申请的行为类别识别方法的第四场景示意图。
图6为本申请第二实施例提供的行为类别识别装置的示意图。
图7为本申请第三实施例提供的电子设备的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施的限制。
本申请提供行为类别识别方法、装置、电子设备以及计算机存储介质。以下通过具体的实施例分别介绍行为类别识别方法、装置、电子设备以及计算机存储介质。
本申请的行为类别识别方法，可以运用在对各种各样的图像或者视频进行处理以识别其中对象的行为类型的场景中。在该行为类别识别方法中，可以预先收集对象的各个行为类型的行为特征，将预先收集的对象的各个行为类型作为各个标准行为类型，将预先收集的各个行为类型的行为特征作为各个标准行为特征。
在收集各个标准行为类型以及各个标准行为特征时，可以采用视频获取设备或者图像获取设备获取对应各个标准行为类型的视频或者图像，进而基于视频或者图像确定各个标准行为类型，并提取视频中或者图像中的各个标准行为类型的行为特征作为各个标准行为特征。
例如，在线下售卖汽车的实体店场景中，可以收集顾客在观看或者体验汽车过程中涉及的上车行为视频、下车行为视频或者其他行为（例如顾客通过某个车门将上身探入车内但是脚站在地上的行为或者通过某个车门或者车窗将头部探出车外但仍坐在汽车座椅上的行为）视频，并分别基于这些视频提取上车行为特征、下车行为特征，或者可以收集顾客在车外通过车门或者车窗查看车内情形的行为特征（例如，可以是顾客通过某个车门将上身探入车内但是脚站在地上的行为特征），或者还可以收集顾客在车内通过车门查看车外情形的行为特征（例如，可以是顾客通过某个车门或者车窗将头部探出车外但仍坐在汽车座椅上的行为特征）。上述的上车行为特征即为一个标准行为特征的示例，上车行为特征对应着上车行为类型，上车行为类型即为一个标准行为类型的示例。当然除了上述介绍的标准行为类型以及标准行为特征，还可以将其他行为类型作为标准行为类型或者其他行为特征作为标准行为特征。
之所以预先收集各个标准行为类型与各个标准行为特征，是为了使用各个标准行为特征与待识别视频中移动对象的行为特征进行比对，并基于标准行为特征与待识别视频中移动对象的行为特征之间的相似度，以及各个标准行为特征与各个标准行为类型之间的对应关系，确定待识别视频中移动对象的行为类型。
为了便于理解上述行为类别识别方法，请参照图1，其为本申请的行为类别识别方法的第一场景示意图。在该场景中，以在服务端执行该行为类别识别方法为例，所谓服务端为用于为客户端提供数据处理、存储等服务的计算设备，一般地，服务端可以是指服务器或者服务器集群。客户端一般为便于用户直接操作或者为用户展示数据处理结果或者信息处理结果的电子设备。
在本申请中，通过服务端对待识别视频中移动对象的行为类型进行识别，获得待识别视频中移动对象的行为类型，同时还能够确定移动对象对应的标准对象，并将移动对象的行为类型与移动对象对应的标准对象识别结果信息提供给客户端，以供用户基于移动对象的行为类型与移动对象对应的标准对象识别结果信息快速了解待识别视频中的主要内容。
当然，也可以是在客户端中执行该行为类别识别方法，具体地，在客户端对应的电子设备中预先配置有用于实现本申请提供的行为类别识别方法的程序或者软件，或者在其内部安装的目标应用中预先配置用于实现本申请提供的行为类别识别方法的模块。所谓电子设备一般为智能手机、以及包括平板电脑在内一系列不同类型的电脑。上述目标应用一般为APP（Application，应用程序）或者电脑应用。
具体地，请参见图1，服务端首先获得的是视频获取设备提供的待识别视频，在获得待识别视频后，对待识别视频进行区域检测，确定待识别视频中的关注区域。之后，将待识别视频中存在有在关注区域范围进行移动的移动对象的视频帧作为选定视频帧；在确定选定视频帧之后，对其进行特征提取，获得移动对象的行为特征。再之后，计算移动对象的行为特征与预先收集的各个标准行为特征之间的第一相似度，基于第一相似度与标准行为特征的标准行为类型，确定移动对象的目标行为类型。同时，基于该选定视频帧提取移动对象的属性特征，基于移动对象的属性特征与预设的标准对象库中各个标准对象的属性特征之间的第二相似度；确定该移动对象对应的标准对象，最终，将移动对象的行为类型与移动对象对应的标准对象识别结果信息提供给客户端。
例如，在线下售卖汽车的实体店场景中，可以通过顾客在体验汽车过程中的上车行为与下车行为的数量来确定顾客对各个车型汽车的喜爱程度。例如，假设某个实体店内摆放了两辆车，在某一段时间内，顾客针对第一辆车的上车以及下车的数量为100次，针对第二辆车的上车以及下车的数量为10次，可以确定顾客对第一辆车更喜爱。
当然，基于上述上车行为与下车行为的数量判断对某个车型汽车的喜爱程度仅仅是一种示例，还可以基于其他行为来确定顾客对各个车型汽车的喜爱程度，例如可以是咨询某车型汽车的顾客数量或者对某车型汽车进行围观的顾客数量，在本实施例中，以上车行为与下车行为的数量作为判断喜好某个车型汽车的一种示例。可以理解的是，在统计上车行为与下车行为的数量之前，必然需要基于视频识别出顾客的上车行为与下车行为。
假设在实体店中安置有如图1示意的四个视频获取设备，并且这四个视频获取设备从不同角度拍摄实体店中放置的车辆。之所以在实体店中安置多个视频获取设备，是为了保证当顾客数量较多时，尽可能获取包含较多顾客的上车行为与下车行为的视频，如果仅仅安置一个视频获取设备，可能有些顾客被其他顾客遮挡或者被车辆遮挡，获取不到包含该顾客上车行为、下车行为的视频。因而，可以设置至少两个视频获取设备能拍摄到各个车辆的每个车门。
在各个视频获取设备拍摄到视频后，将各个视频获取设备提供的视频作为待识别视频。
对于每个待识别视频，先对待识别视频进行区域检测，确定待识别视频中的关注区域。例如，可以将车辆的车门区域作为关注区域。当顾客进行上车或者下车时，必然需要在车门区域附近进行移动。
为了在提取移动对象的行为特征时，使得提取特征的效率更高，可以筛选待识别视频中的部分视频帧作为选定视频帧，进而提取选定视频帧中移动对象的行为特征。具体地，可以将待识别视频中存在有在关注区域范围进行移动的移动对象的视频帧，作为选定视频帧，例如，当在待识别视频中的视频帧中检测到有顾客在车门附近移动时，可以将该视频帧作为选定视频帧。
实际上，选定视频帧可以是多个视频帧，即相关的视频帧序列。预先收集的各个标准行为视频也是视频帧序列，例如，当标准行为视频中包含顾客的上车行为时，相关的视频帧序列为顾客的一只脚迈入车门为起始帧，以完全坐进车内为终止帧。当标准行为视频中包含顾客的下车行为时，相关的视频帧序列为顾客的一只脚迈出车门为起始帧，以完全站在地上为终止帧。又例如当标准行为视频中包含顾客通过车门查看车外情形的行为时，相关的视频帧序列为顾客的头部开始探向车外为起始帧，以拍摄到顾客的头部完全在车内为终止帧。当然，标准行为视频还可以是涉及顾客其他行为的视频帧序列。
在获得上述选定视频帧之后，基于移动对象，对选定视频帧进行特征提取，获得移动对象的行为特征。例如，可以在选定视频帧中提取顾客在上车或者下车时的各个行为特征，当然还可以是提取顾客的其他行为特征（如顾客通过车门查看车内情形的行为特征或者在车内通过车门查看车外情形的行为特征）。
在确定移动对象的行为特征之后，可以计算移动对象的行为特征与各个标准行为特征之间的第一相似度。如前文描述，各个标准行为特征是预先收集的，可以存储在标准行为特征库中。例如，可以将提取的顾客的某种行为特征与预先收集的各个标准行为特征进行比对，进而获得顾客的某种行为特征与各个标准行为特征之间的第一相似度。
基于第一相似度与标准行为特征的标准行为类型，确定移动对象的目标行为类型。
在获得上述第一相似度之后，可以基于第一相似度，确定各个标准行为特征中与移动对象的行为特征最相似的候选标准行为特征；之后，判断候选标准行为特征与移动对象的行为特征之间的第一相似度是否满足设定的第一相似度阈值条件；如果是，则将候选标准行为特征的标准行为类型作为目标行为类型。
在确定待识别视频中的移动对象的行为类型之后，还可以基于该选定视频帧，在预设的标准对象库中，确定该移动对象对应的标准对象。例如，当某个顾客为待识别视频中的顾客，并且选定视频帧为该顾客的上车行为视频帧序列时，可以基于该视频帧序列与预设的标准对象库将该顾客识别出来，预设的标准对象库可以是存储了各个人物与其对应的属性特征之间的对应关系的数据库。
基于上述过程，可以将待识别视频中的各个顾客的行为类型识别出来，并且将各个顾客识别出来。例如，最终的识别结果可以是在一个待识别视频中包含了顾客1的上车行为，同时包含了顾客2的下车行为以及顾客3通过车门查看车内情形的行为。
上述介绍的图1即为针对本申请的行为类别识别方法的一种应用场景的图示，本申请的实施例中不对行为类别识别方法的应用场景做具体的限定，上述行为类别识别方法的应用场景，仅仅是本申请提供的行为类别识别方法的应用场景的一个实施例，提供该应用场景实施例的目的是便于理解本申请提供的行为类别识别方法，而并非用于限定本申请提供的行为类别识别方法。本申请实施例对行为类别识别方法的其它应用场景，不再一一赘述。
第一实施例
本申请第一实施例提供一种行为类别识别方法，以下结合图2-图5进行说明。该行为类别识别方法的适用场景已经在上述场景实施例进行了详细介绍，关于本实施例的一些示例请参见上述场景实施例。
请参照图2，其为本申请第一实施例提供的行为类别识别方法的流程图。
本申请实施例的行为类别识别方法，包括如下步骤。
步骤S201：对待识别视频进行区域检测，确定待识别视频中的关注区域。
本实施例的行为类别识别方法主要是用于对各种各样场景下视频中的对象的行为进行识别，以获得对象的行为类型。
作为对待识别视频中对象的行为进行识别的方法的首要步骤，首先要获得待识别视频。由于本实施例的方法要检测待识别视频中对象的行为，必然涉及提取视频中对象的行为特征，并基于提取的对象的行为特征对对象行为进行识别。因而在获得待识别视频后，为了便于获取待识别视频中对象的行为特征，先确定待识别视频中的关注区域。
具体地，为了便于提取对象的行为特征，可以先在待识别视频中寻找参照物，当检测到有对象相对于参照物进行移动时，可以提取这些移动的特征作为行为特征。上述关注区域中的某个（某些）物体或者对象即可作为参照物。
以识别顾客的上下车行为特征为例，为了便于检测顾客的上下车行为或者其他行为（如顾客通过车门查看车内情形的行为或者在车内通过车门查看车外情形的行为），可以将车门（每个车的车门）附近区域作为待识别视频中的关注区域，因而需要预先检测待识别视频中的车门区域。具体可以采用车门检测算法对待识别视频中的车门进行检测，以确定车门区域。当然这只是对待识别视频进行区域检测，确定待识别视频中的关注区域的一种示例，还可以将待识别视频中的其他类型区域作为关注区域。
上述确定待识别视频中的关注区域，是为了便于提取待识别视频中关注区域的对象的行为特征，进而识别对象在关注区域的行为类型。由于要提取对象的行为特征，该对象在待识别视频中可以是移动的，因而可以将其称之为移动对象。
为了便于理解本实施例方法的整体思路，以识别顾客的上下车行为或者其他行为为例介绍该方法的整体思路，请参见图3，其为本申请行为类别识别方法的第二场景示意图。
在获得待识别视频之后，对待识别视频进行车门检测，在检测到车门区域后，将其作为关注区域。然后对车门区域进行背景建模，确定待识别视频的背景，实际上背景可以认为是前文中提及的参照物。例如，可以是某个车门附近的车轮胎，或者，也可以将该车门作为背景。
背景建模实际上可以是指将视频中不产生移动（或者运动）的物体或者对象作为背景，在进行背景建模后，可以基于背景识别视频中移动的对象或者移动的物体。当然，在背景建模时，也可以将视频中产生移动（或者运动）的物体或者对象作为背景，在进行背景建模后，可以基于背景识别视频中与背景产生相对移动的对象或者相对移动的物体。例如，当某个顾客在某个车门处进行移动时，实际上该顾客相对于车轮胎产生了相对移动，进而可以将该视频中的顾客确认为移动对象。实际上该移动对象是在前景区域中检测出的，前景区域是与背景区域相对的区域。
在确认待识别视频中的移动对象之后，可以获得待识别视频中存在有在关注区域范围进行移动的移动对象的视频帧作为指定视频帧，例如，在某个待识别视频中只有中间的一些视频帧出现了顾客上车行为，则可以将该待识别视频的起始视频帧与末尾视频帧去除，剩余的视频帧作为指定视频帧，但是起始视频帧与末尾视频帧可能可以用于上文提及的背景建模。
在获得指定视频帧之后，可以基于指定视频帧，提取移动对象的行为特征。
在获得移动对象的行为特征之后，可以将移动对象的行为特征与预先收集的各个标准行为特征进行比对，进而获得移动对象的行为特征与各个标准行为特征之间的相似度，最终可以将与移动对象的行为特征最相似的标准行为特征的标准行为类型作为移动对象的行为类型。例如，基于该相似度可以确定该待识别视频中包含了某个顾客的上车行为或者下车行为。
步骤S202：将待识别视频中存在有在关注区域范围进行移动的移动对象的视频帧，作为选定视频帧。
在步骤S201确定关注区域后，可以基于关注区域在待识别视频中筛选部分视频帧作为指定视频帧。具体地，可以将待识别视频中存在有在关注区域范围进行移动的移动对象的视频帧，作为选定视频帧。
作为将待识别视频中存在有在关注区域范围进行移动的移动对象的视频帧，作为选定视频帧的一种实施方式：首先，基于待识别视频，对关注区域进行背景建模，确定待识别视频的背景；之后，基于背景，在待识别视频中识别出前景区域；最终，判断前景区域像素在相邻接的视频帧中是否存在像素偏差，若是，则选择存在像素偏差的相关视频帧序列作为选定视频帧。
关于如何基于待识别视频进行背景建模，以及如何基于背景确认前景区域中的移动对象可以参见前文的描述。
具体地，在筛选待识别视频中的指定视频帧时，实际上可以判断前景区域像素在相邻接的视频帧中是否存在像素偏差，例如，当某个顾客在其中一个视频帧（视频帧M）中的行为为刚在地上抬起一只脚时，但是下一视频帧（视频帧N）为该脚悬在地面与车之间时，这两个视频帧之间应当存在像素偏差，这两个视频帧可以作为指定视频帧，当然，采用上述方式，可以逐一判断待识别视频中的各个视频帧，以确定最后的指定视频帧。
之所以要在待识别视频中筛选指定视频帧，这样后续在提取移动对象的行为特征时，需要处理的视频帧数量减少，进而提升提取特征的效率。
步骤S203：基于移动对象，对选定视频帧进行特征提取，获得移动对象的行为特征。
在确定移动对象并确定指定视频帧之后，可以基于移动对象，对选定视频帧进行特征提取，获得移动对象的行为特征。
由于在确定指定视频帧之后，可能指定视频帧中有多个移动对象。例如某些指定视频帧中有多个顾客通过上下车体验新车。此时，可以针对任一移动对象，对选定视频帧进行特征提取，进而获得各个移动对象的行为特征。例如，当指定视频帧中既包含顾客1又包含顾客2时，并且顾客1与顾客2均为移动对象，可以获得顾客1的行为特征，也可以获得顾客2的行为特征。
当然，可以理解的是，如果此处获得了多个移动对象的行为特征，后续可以针对每个移动对象的行为特征，对每个对象的行为类型进行识别。
作为基于移动对象，对选定视频帧进行特征提取，获得移动对象的行为特征的一种实施方式，可以是指：将选定视频帧作为经过训练的特征提取网络模型的输入数据，获得移动对象的行为特征；经过训练的特征提取网络模型是用于根据视频帧获得视频帧中对象的行为特征的模型。
上述经过训练的特征提取网络模型可以为经过训练的深度卷积神经网络模型，深度卷积神经网络模型如3D（three-dimensional，即三维）卷积神经网络模型。
上述经过训练的特征提取网络模型实际上可以预先经过大量图像样本训练，进而可以提取图像中的各个行为特征。例如，预先收集在某个汽车实体店中顾客体验汽车的各种行为视频帧序列，然后将视频帧序列与其对应的行为类型对初始特征提取网络模型进行训练，进而获得经过训练的特征提取网络模型。经过训练的特征提取网络模型泛化能力较好，能够提取到各种移动对象的行为特征。
当然，上述提取的移动对象（针对某一个移动对象）的行为特征可能有多个，如果有多个行为特征，可以将多个行为特征进行融合，进而获得融合行为特征，并将该移动对象的融合行为特征与后续的各个标准行为特征进行比对，当然各个标准行为特征也可以是融合的标准行为特征。例如，当顾客在上车时，在待识别视频中，可能顾客的脚会产生一系列行为（包括抬起、落脚在车上等），顾客的手可能也会产生一系列行为（包括拉动车门、关闭车门等）。为了后续便于比较行为特征与标准行为特征，可以将多个行为特征进行融合。
步骤S204：确定移动对象的行为特征与各个标准行为特征之间的第一相似度。
在获得移动对象的行为特征之后，还需要获得各个标准行为特征，进而便于将移动对象的行为特征与各个标准行为特征进行比对，以确定移动对象的行为特征与各个标准行为特征之间的第一相似度。
作为上述获得各个标准行为特征的一种方式：可以将预先采集的包含各个标准行为的视频帧序列分别作为经过训练的特征提取网络模型的输入数据，从中提取各个标准行为的属性特征，作为标准行为特征。
例如，可以预先采集包含顾客的上车行为视频帧序列（可以是通过人工方式采集包含上车行为视频帧序列），预先采集包含顾客的上车行为视频帧序列可以是各种方式的包含上车行为视频帧序列，这里主要是考虑到不同人的上车方式不同，为了精确识别待识别视频中移动对象的行为类型，在此处，可以尽可能多收集一些上车方式的上车行为视频帧序列，并将多种上车行为对应的上车行为视频帧序列进行平均化，作为包含标准上车行为的标准行为视频帧序列。当然，其他类型的包含标准行为的视频帧序列也可以参考包含标准上车行为的标准行为视频帧序列的获取方式，此处不再赘述。
在获得预先采集的包含各个标准行为的标准行为视频帧序列之后，可以将其作为经过训练的特征提取网络模型的输入数据，从中提取各个标准行为的属性特征，作为标准行为特征。
上述属性特征在上车行为或者下车行为的场景中，可以体现为顾客的手或者脚的行为特征。
在本实施例中，作为确定移动对象的行为特征与各个标准行为特征之间的第一相似度的一种方式，可以是对行为特征向量进行点积运算，进而获得两者之间的第一相似度，具体计算过程描述如下：
首先，获得用于对移动对象的行为特征进行向量表示的对象行为特征向量；之后，获得用于对各个标准行为特征进行向量表示的各个标准行为特征向量；最终，分别对对象行为特征向量与各个标准行为特征向量进行向量点积运算，确定移动对象的行为特征与各个标准行为特征之间的第一相似度。
步骤S205：基于第一相似度与标准行为特征的标准行为类型，确定移动对象的目标行为类型。
在获得第一相似度之后，基于第一相似度与标准行为特征的标准行为类型，确定移动对象的目标行为类型。
具体地，基于第一相似度与标准行为特征的标准行为类型，确定移动对象的目标行为类型，可以是指：首先，基于第一相似度，确定各个标准行为特征中与移动对象的行为特征最相似的候选标准行为特征；之后，判断候选标准行为特征与移动对象的行为特征之间的第一相似度是否满足设定的第一相似度阈值条件；最终，如果是，则将候选标准行为特征的标准行为类型作为目标行为类型。
例如，假设有四个标准行为类型，分别为标准上车行为、标准下车行为、标准从车内查看车外的行为、标准从车外查看车内的行为。自然对应四个标准行为特征，即：标准上车行为特征、标准下车行为特征、标准从车内查看车外的行为特征、标准从车外查看车内的行为特征。
例如，当待识别视频中包含某个顾客的行为特征时，可以分别计算该顾客的行为特征与上述标准上车行为特征、标准下车行为特征、标准从车内查看车外的行为特征、标准从车外查看车内的行为特征之间的第一相似度，假设这四个第一相似度分别为0.90、0.55、001、0.02，则将标准上车行为特征作为候选标准行为特征。
之后，判断标准上车行为特征与该顾客的行为特征之间的第一相似度是否满足设定的第一相似度阈值条件，假设第一相似度阈值条件为第一相似度大于等于0.8，则认为标准上车行为特征与该顾客的行为特征之间的第一相似度满足设定的第一相似度阈值条件，可以将该顾客的行为确认为上车行为。
在本实施例中，作为一种示例，待识别视频包括多个视频，多个视频来自于多个视频获取设备；第一相似度包括各个视频中的移动对象的行为特征与各个标准行为特征之间的第一相似度。例如，包含某个顾客的行为的待识别视频可以来源于多个视频获取设备。
因而，当待识别视频包括多个视频时，作为基于第一相似度与标准行为特征的标准行为类型，确定移动对象的目标行为类型的一种方式：首先，针对某个选定视频，确定选定视频中移动对象的标准行为类型作为候选标准行为类型；之后，确定选定视频中移动对象的行为特征与候选标准行为类型的标准行为特征之间的第一候选相似度；最终，将各个候选标准行为类型与其对应的第一候选相似度进行加权运算，确定移动对象的目标行为类型，各个候选标准行为类型为各个选定视频中移动对象的标准行为类型。
例如，当包含某顾客的行为的待识别视频分别来源于视频获取设备A、视频获取设备B以及视频获取设备C时，请参见图4中的识别该顾客的行为类型的示意图，图4为本申请的行为类别识别方法的第三场景示意图。
首先，针对视频获取设备A获取的视频，先确定该顾客的行为类型（例如可以是上车行为，其为一种候选标准行为类型的示例）；之后，确定视频获取设备A获取的视频中该顾客的行为特征与标准上车行为特征之间的第一候选相似度，例如可以是0.8；与标准下车行为特征之间的第一相似度是0.2；与此同时，针对视频获取设备B获取的视频，也先确定该顾客的行为类型（例如可以是上车行为）；之后，确定视频获取设备B获取的视频中该顾客的行为特征与标准上车行为特征之间的第一候选相似度，例如可以是0.7；与标准下车行为特征之间的第一相似度是0.2；与此同时，针对视频获取设备C获取的视频，也先确定该顾客的行为类型（例如也可以是上车行为）；之后，确定视频获取设备C获取的视频中该顾客的行为特征与标准上车行为特征之间的第一候选相似度，例如可以是0.4；与标准下车行为特征之间的第一相似度是0.1；最后，确定该顾客为上车行为的表征参数可以是0.8+0.7+0.4=1.9；确定该顾客为下车行为的表征参数可以是0.2+0.2+0.1=0.5；由于上车行为的表征参数1.9大于下车行为的表征参数0.5，因而判断该顾客行为上车行为。
为了识别出移动对象，在本实施例中，还包括：基于选定视频帧，在预设的标准对象库中，确定移动对象对应的标准对象。
具体地，基于选定视频帧，在预设的标准对象库中，确定移动对象对应的标准对象，可以按照如下方式：首先，获得选定视频帧中移动对象的属性特征；之后，确定移动对象的属性特征与标准对象库中各个标准对象的属性特征之间的第二相似度；再之后，基于第二相似度，确定各个标准对象中与移动对象最相似的候选标准对象；判断候选标准对象的属性特征与移动对象的属性特征之间的第二相似度是否满足设定的第二相似度阈值条件；最终，如果第二相似度满足设定的第二相似度阈值条件，则将候选标准对象作为移动对象对应的标准对象。
例如，在已有的客流系统中存储了各顾客的属性特征，存储的顾客即为标准对象的一种示例。当某个顾客的属性特征（可以是面部识别特征、鞋子特征等外观特征）与已有的客流系统中顾客1的属性特征之间的第二相似度为0.99时，并且当第二相似度阈值条件为第二相似度大于等于0.9时，可以判断某顾客即为顾客1。
为了便于理解如何识别移动对象，具体地，请参见图5，其为本申请的行为类别识别方法的第四场景示意图。例如，当利用上述过程识别出了各个顾客的行为类型，可以将每个车门作为一个研究对象，确定每个车门处顾客具体为哪个顾客。例如，图5中包含三个车门，分别为车门A、车门B以及车门C，可以分别基于车门A处的行为类型判断车门A处顾客具体为哪些顾客、基于车门B处的行为类型判断车门B处顾客具体为哪些顾客、以及基于车门C处的行为类型判断车门C处顾客具体为哪些顾客。还可以综合这些所有车门的行为特征来判断有哪些顾客。
在本实施例中，已经详细介绍了如果候选标准行为特征与移动对象的行为特征之间的第一相似度满足设定的第一相似度阈值条件，则将候选标准行为特征的标准行为类型作为目标行为类型；当候选标准行为特征与移动对象的行为特征之间的第一相似度不满足设定的第一相似度阈值条件时，该方法还可以：计算移动对象的行为类型被确认为各个标准行为类型的置信度；并将置信度最高的标准行为类型作为目标行为类型。
作为计算移动对象的行为类型被确认为各个标准行为类型的置信度的一种方式：针对某个选定标准行为类型，将选定标准行为类型的标准行为特征与移动对象的行为特征之间的第一相似度、用于评价获取待识别视频的视频获取设备的质量指标进行相乘，获得移动对象的行为类型被确认为选定标准行为类型的置信度。
例如，当待识别视频中包含某顾客的行为特征时，分别计算该顾客的行为特征与标准上车行为特征、标准下车行为特征、标准从车内查看车外的行为特征、标准从车外查看车内的行为特征之间的第一相似度，假设这四个第一相似度分别为0.70、0.55、001、0.02，假设第一相似度阈值条件为第一相似度大于等于0.8，则这四个第一相似度均不满足第一相似度阈值条件。假设获取待识别视频的视频获取设备的质量指标为0.5，则该顾客的行为类型被确认为标准上车行为、标准下车行为、标准从车内查看车外的行为、标准从车外查看车内的行为的置信度分别为：0.30、0.275、0005、0.01。
当然上述是以一个视频获取设备获取待识别视频为例介绍如何获得移动对象的行为类型被确认为选定标准行为类型的置信度的，当待识别视频来源于多个视频获取设备时，在获得移动对象的行为类型被确认为选定标准行为类型的置信度时，将用于评价每个获取待识别视频的视频获取设备的质量指标与对应的第一相似度进行相乘，获得第一乘积结果，再将各个第一乘积结果进行求和运算，具体地，请参照如下公式：
Figure 839291DEST_PATH_IMAGE001
其中，K为置信度，n为视频获取设备编号，
Figure 349907DEST_PATH_IMAGE002
为第i个视频获取设备的质量指标，
Figure 598485DEST_PATH_IMAGE003
为第i个视频中移动对象的行为特征被确认为选定标准行为类型的标准行为特征与移动对象的行为特征之间的第一相似度。
上述移动对象的行为类型被确认为选定标准行为类型的置信度在本实施例的场景中可以是指：针对某个车门的某个顾客的行为类型被确认为选定标准行为类型的置信度。
在本实施例中，还包括：获得用于评价获取待识别视频的视频获取设备的质量指标。
作为获得用于评价获取待识别视频的视频获取设备的质量指标，可以是指：首先，将待识别视频的各个视频帧作为图像质量指标获得模型的输入数据，获得各个视频帧对应的图像质量指标；图像质量指标获得模型是用于根据图像获得图像对应的图像质量指标的模型；之后，根据各个视频帧对应的图像质量指标，获得用于评价获取待识别视频的视频获取设备的质量指标。
图像质量指标可以是指图像的清晰度指标或者图像中对象的清晰度指标，上述图像对应的图像质量指标可以是图像质量得分，也可以是指用于衡量图像质量的其他指标，例如当选择一个较为清晰的图像作为清晰图像样本时，被比较图像与清晰图像样本之间的质量匹配度可以作为衡量被比较图像的一种图像质量指标。
在本实施中，在确定各个移动对象的目标行为类型之后，还包括：针对目标行为类型进行计数处理，获得目标行为类型的计数结果。例如，可以统计一段时间内，各个顾客上车的次数，以判断顾客对某个车型的喜爱程度。
本申请提供一种行为类别识别方法，由于在该方法中，先确定待识别视频中的关注区域，并基于关注区域，在待识别视频中筛选存在有在关注区域范围进行移动的移动对象的视频帧作为选定视频帧，并对选定视频帧中移动对象的行为特征进行特征提取，获得移动对象的行为特征，由于在获得移动对象的行为特征时，是基于选定视频帧进行特征提取的，进而使得提取移动对象的行为特征的效率更高。在获得移动对象的行为特征后，将移动对象的行为特征与各个标准行为特征进行比较，进而确定移动对象的行为特征与各个标准行为特征之间的第一相似度，之后，基于第一相似度与标准行为特征的标准行为类型，确定移动对象的目标行为类型，使得确定的移动对象的行为类型更加准确。
第二实施例
与本申请第一实施例提供的行为类别识别方法相对应的，本申请第二实施例还提供一种行为类别识别装置。由于装置实施例基本类似于第一实施例，所以描述得比较简单，相关之处参见第一实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
请参照图6，其为本申请第二实施例提供的行为类别识别装置的示意图。
该行为类别识别装置600，包括：
关注区域确定单元601，用于对待识别视频进行区域检测，确定所述待识别视频中的关注区域；
待识别视频处理单元602，用于将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧；
特征提取单元603，用于基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征；
第一相似度确定单元604，用于确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度；
目标行为类型确定单元605，用于基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型。
可选的，所述目标行为类型确定单元，具体用于：
基于所述第一相似度，确定各个标准行为特征中与所述移动对象的行为特征最相似的候选标准行为特征；
判断所述候选标准行为特征与所述移动对象的行为特征之间的第一相似度是否满足设定的第一相似度阈值条件；
如果是，则将所述候选标准行为特征的标准行为类型作为所述目标行为类型。
可选的，所述待识别视频包括多个视频，所述多个视频来自于多个视频获取设备；所述第一相似度包括各个视频中移动对象的行为特征与各个标准行为特征之间的第一相似度；
所述目标行为类型确定单元，具体用于：
针对某个选定视频，确定所述选定视频中移动对象的标准行为类型作为候选标准行为类型；
确定所述选定视频中移动对象的行为特征与所述候选标准行为类型的标准行为特征之间的第一候选相似度；
将各个候选标准行为类型与其对应的第一候选相似度进行加权运算，确定所述移动对象的目标行为类型，所述各个候选标准行为类型为各个选定视频中移动对象的标准行为类型。
可选的，所述待识别视频处理单元，具体用于：
基于所述待识别视频，对所述关注区域进行背景建模，确定所述待识别视频的背景；
基于所述背景，在所述待识别视频中识别出前景区域；
判断所述前景区域像素在相邻接的视频帧中是否存在像素偏差，若是，则选择存在像素偏差的相关视频帧序列作为所述选定视频帧。
可选的，所述特征提取单元，具体用于：
将所述选定视频帧作为经过训练的特征提取网络模型的输入数据，获得所述移动对象的行为特征；所述经过训练的特征提取网络模型是用于根据视频帧获得视频帧中对象的行为特征的模型。
可选的，还包括：标准行为特征获得单元，用于获得各个标准行为特征；
所述标准行为特征获得单元，具体用于：将预先采集的包含各个标准行为的视频帧序列分别作为所述特征提取网络模型的输入数据，从中提取各个标准行为的属性特征，作为所述标准行为特征。
可选的，还包括：标准对象确定单元，用于基于所述选定视频帧，在预设的标准对象库中，确定所述移动对象对应的标准对象。
可选的，所述标准对象确定单元，具体用于：
获得所述选定视频帧中移动对象的属性特征；
确定所述移动对象的属性特征与所述标准对象库中各个标准对象的属性特征之间的第二相似度；
基于所述第二相似度，确定各个标准对象中与所述移动对象最相似的候选标准对象；
判断所述候选标准对象的属性特征与所述移动对象的属性特征之间的第二相似度是否满足设定的第二相似度阈值条件；
如果是，则将所述候选标准对象作为所述移动对象对应的标准对象。
可选的，所述第一相似度确定单元，具体用于：
获得用于对所述移动对象的行为特征进行向量表示的对象行为特征向量；
获得用于对所述各个标准行为特征进行向量表示的各个标准行为特征向量；
分别对所述对象行为特征向量与所述各个标准行为特征向量进行向量点积运算，确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度。
可选的，如果所述候选标准行为特征与所述移动对象的行为特征之间的第一相似度不满足设定的第一相似度阈值条件，所述装置还包括：置信度计算单元；
所述置信度计算单元，用于计算所述移动对象的行为类型被确认为各个标准行为类型的置信度；
所述目标行为类型确定单元，还具体用于：将置信度最高的标准行为类型作为所述目标行为类型。
可选的，所述置信度计算单元，具体用于：
针对某个选定标准行为类型，将所述选定标准行为类型的标准行为特征与所述移动对象的行为特征之间的第一相似度、用于评价获取所述待识别视频的视频获取设备的质量指标进行相乘，获得所述移动对象的行为类型被确认为所述选定标准行为类型的置信度。
可选的，还包括：质量指标获得单元，用于获得用于评价获取所述待识别视频的视频获取设备的质量指标；
所述质量指标获得单元，具体用于：
将所述待识别视频的各个视频帧作为图像质量指标获得模型的输入数据，获得各个视频帧对应的图像质量指标；所述图像质量指标获得模型是用于根据图像获得图像对应的图像质量指标的模型；
根据所述各个视频帧对应的图像质量指标，获得用于评价获取所述待识别视频的视频获取设备的质量指标。
可选的，还包括：计数结果获得单元，用于针对所述目标行为类型进行计数处理，获得所述目标行为类型的计数结果。
第三实施例
与本申请第一实施例的方法相对应的，本申请第三实施例还提供一种电子设备。
如图7所示，图7为本申请第三实施例中提供的一种电子设备的示意图。
在本实施例中，该电子设备700的一种可选硬件结构可如图7所示，包括：至少一个处理器701，至少一个存储器702和至少一个通信总线705；存储器702中包含有程序703与数据704。
总线705可以是在电子设备700内部的组件之间传输数据的通信设备，诸如内部总线（例如，CPU-存储器总线，中央处理器即为central processing unit，简称CPU）、外部总线（例如，通用串行总线端口、外围组件互连快速端口）等。
另外，电子设备中还包括：至少一个网络接口706，至少一个外设接口707。网络接口706以提供与外部网络708（例如，因特网、内联网、局域网、移动通信网络等）相关的有线或无线通信；在一些实施例中，网络接口706可以包括任意数量的网络接口控制器(英文：network interface controller，简称NIC)、射频(英文：Radio Frequency，简称RF)模块、转发器、收发器、调制解调器、路由器、网关、有线网络适配器的任意组合、无线网络适配器、蓝牙适配器、红外适配器、近场通信（英文：Near Field Communication，简称NFC）适配器、蜂窝网络芯片等。
外设接口707用于与外设连接，外设可以如图中的外设1（图7中的709）、外设2（图7中的710）以及外设3（图7中的711）。外设即外围设备，外围设备可以包括但不限于光标控制设备（例如鼠标、触摸板或触摸屏）、键盘、显示器（例如阴极射线管显示器、液晶显示器）。显示器或发光二极管显示器、视频输入设备（例如，摄像机或通信耦合到视频档案的输入接口）等。
处理器701可能是CPU，或者是特定集成电路ASIC（Application SpecificIntegrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器702可能包含高速RAM（全称：Random Access Memory，即随机存取存储器）存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
其中，处理器701调用存储器702所存储的程序与数据，以执行本申请第一实施例提供的行为类别识别方法。
第四实施例
与本申请第一实施例的方法相对应的，本申请第四实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，以执行本申请第一实施例提供的行为类别识别方法。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、 输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM) 和/或非易失性内存等形式，如只读存储器 (英文：Read-Only Memory，简称ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、 程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (英文：phase change memory；简称PRAM)、静态随机存取存储器 (英文：Static Random Access Memory；简称SRAM)、动态随机存取存储器 (英文：Dynamic Random Access Memory；简称DRAM)、 其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (英文：Electrically-Erasable Programmable Read-Only Memory；简称EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (英文：Compact Disc Read-Only Memory；简称CD-ROM)、数字多功能光盘 (英文：Digital versatile disc；简称DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读存储媒体(non-transitorycomputer readable storage media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

Claims (16)

1.一种行为类别识别方法，其特征在于，包括：
对待识别视频进行区域检测，确定所述待识别视频中的关注区域；
将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧；
基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征；
确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度；
基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型，包括：
基于所述第一相似度，确定各个标准行为特征中与所述移动对象的行为特征最相似的候选标准行为特征；
判断所述候选标准行为特征与所述移动对象的行为特征之间的第一相似度是否满足设定的第一相似度阈值条件；
如果是，则将所述候选标准行为特征的标准行为类型作为所述目标行为类型。
3.根据权利要求1所述的方法，其特征在于，所述待识别视频包括多个视频，所述多个视频来自于多个视频获取设备；所述第一相似度包括各个视频中移动对象的行为特征与各个标准行为特征之间的第一相似度；
所述基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型，包括：
针对某个选定视频，确定所述选定视频中移动对象的标准行为类型作为候选标准行为类型；
确定所述选定视频中移动对象的行为特征与所述候选标准行为类型的标准行为特征之间的第一候选相似度；
将各个候选标准行为类型与其对应的第一候选相似度进行加权运算，确定所述移动对象的目标行为类型，所述各个候选标准行为类型为各个选定视频中移动对象的标准行为类型。
4.根据权利要求1所述的方法，其特征在于，所述将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧，包括：
基于所述待识别视频，对所述关注区域进行背景建模，确定所述待识别视频的背景；
基于所述背景，在所述待识别视频中识别出前景区域；
判断所述前景区域像素在相邻接的视频帧中是否存在像素偏差，若是，则选择存在像素偏差的相关视频帧序列作为所述选定视频帧。
5.根据权利要求1所述的方法，其特征在于，所述基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征，包括：
将所述选定视频帧作为经过训练的特征提取网络模型的输入数据，获得所述移动对象的行为特征；所述经过训练的特征提取网络模型是用于根据视频帧获得视频帧中对象的行为特征的模型。
6.根据权利要求5所述的方法，其特征在于，还包括：获得各个标准行为特征；
所述获得各个标准行为特征，包括：将预先采集的包含各个标准行为的视频帧序列分别作为所述特征提取网络模型的输入数据，从中提取各个标准行为的属性特征，作为所述标准行为特征。
7.根据权利要求5所述的方法，其特征在于，还包括：基于所述选定视频帧，在预设的标准对象库中，确定所述移动对象对应的标准对象。
8.根据权利要求7所述的方法，其特征在于，所述基于所述选定视频帧，在预设的标准对象库中，确定所述移动对象对应的标准对象，包括：
获得所述选定视频帧中移动对象的属性特征；
确定所述移动对象的属性特征与所述标准对象库中各个标准对象的属性特征之间的第二相似度；
基于所述第二相似度，确定各个标准对象中与所述移动对象最相似的候选标准对象；
判断所述候选标准对象的属性特征与所述移动对象的属性特征之间的第二相似度是否满足设定的第二相似度阈值条件；
如果是，则将所述候选标准对象作为所述移动对象对应的标准对象。
9.根据权利要求1所述的方法，其特征在于，所述确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度，包括：
获得用于对所述移动对象的行为特征进行向量表示的对象行为特征向量；
获得用于对所述各个标准行为特征进行向量表示的各个标准行为特征向量；
分别对所述对象行为特征向量与所述各个标准行为特征向量进行向量点积运算，确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度。
10.根据权利要求2所述的方法，其特征在于，如果所述候选标准行为特征与所述移动对象的行为特征之间的第一相似度不满足设定的第一相似度阈值条件，所述方法还包括：
计算所述移动对象的行为类型被确认为各个标准行为类型的置信度；
将置信度最高的标准行为类型作为所述目标行为类型。
11.根据权利要求10所述的方法，其特征在于，所述计算所述移动对象的行为类型被确认为各个标准行为类型的置信度，包括：
针对某个选定标准行为类型，将所述选定标准行为类型的标准行为特征与所述移动对象的行为特征之间的第一相似度、用于评价获取所述待识别视频的视频获取设备的质量指标进行相乘，获得所述移动对象的行为类型被确认为所述选定标准行为类型的置信度。
12.根据权利要求11所述的方法，其特征在于，还包括：获得用于评价获取所述待识别视频的视频获取设备的质量指标；
所述获得用于评价获取所述待识别视频的视频获取设备的质量指标，包括：
将所述待识别视频的各个视频帧作为图像质量指标获得模型的输入数据，获得各个视频帧对应的图像质量指标；所述图像质量指标获得模型是用于根据图像获得图像对应的图像质量指标的模型；
根据所述各个视频帧对应的图像质量指标，获得用于评价获取所述待识别视频的视频获取设备的质量指标。
13.根据权利要求1所述的方法，其特征在于，还包括：针对所述目标行为类型进行计数处理，获得所述目标行为类型的计数结果。
14.一种行为类别识别装置，其特征在于，包括：
关注区域确定单元，用于对待识别视频进行区域检测，确定所述待识别视频中的关注区域；
待识别视频处理单元，用于将所述待识别视频中存在有在所述关注区域范围进行移动的移动对象的视频帧，作为选定视频帧；
特征提取单元，用于基于所述移动对象，对所述选定视频帧进行特征提取，获得所述移动对象的行为特征；
第一相似度确定单元，用于确定所述移动对象的行为特征与各个标准行为特征之间的第一相似度；
目标行为类型确定单元，用于基于所述第一相似度与所述标准行为特征的标准行为类型，确定所述移动对象的目标行为类型。
15.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储计算机程序，该计算机程序被处理器运行，执行权利要求1-13任意一项所述的方法。
16.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行权利要求1-13任意一项所述的方法。
CN202211374764.8A 2022-11-04 2022-11-04 行为类别识别方法、装置、电子设备以及计算机存储介质 Active CN115512279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211374764.8A CN115512279B (zh) 2022-11-04 2022-11-04 行为类别识别方法、装置、电子设备以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211374764.8A CN115512279B (zh) 2022-11-04 2022-11-04 行为类别识别方法、装置、电子设备以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN115512279A true CN115512279A (zh) 2022-12-23
CN115512279B CN115512279B (zh) 2023-08-29

Family

ID=84512453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211374764.8A Active CN115512279B (zh) 2022-11-04 2022-11-04 行为类别识别方法、装置、电子设备以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115512279B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182893A1 (en) * 2012-01-18 2013-07-18 Xerox Corporation System and method for video episode viewing and mining
CN110619286A (zh) * 2019-08-29 2019-12-27 深圳市城市交通规划设计研究中心有限公司 一种车辆开关门动作识别方法、系统及存储介质
CN112560958A (zh) * 2020-12-17 2021-03-26 北京赢识科技有限公司 基于人像识别的人员接待方法、装置及电子设备
JP2021174431A (ja) * 2020-04-30 2021-11-01 日本信号株式会社 人物識別システム
CN113642360A (zh) * 2020-04-27 2021-11-12 杭州海康威视数字技术股份有限公司 一种行为计时方法、装置、电子设备及存储介质
CN114241595A (zh) * 2021-11-03 2022-03-25 橙狮体育(北京)有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN114332744A (zh) * 2022-03-10 2022-04-12 成都诺比侃科技有限公司 一种基于机器视觉的变电站自适应安防方法及系统
CN114359601A (zh) * 2021-12-29 2022-04-15 浙江大华技术股份有限公司 目标相似度计算方法、装置、电子设备及计算机存储介质
CN114913602A (zh) * 2022-05-20 2022-08-16 深圳市商汤科技有限公司 行为识别方法、装置、设备及存储介质
US20220297724A1 (en) * 2021-03-16 2022-09-22 Honda Motor Co., Ltd. Mobile object control system, mobile object control method, and storage medium
CN115187924A (zh) * 2022-06-01 2022-10-14 浙江大华技术股份有限公司 一种目标检测方法、装置、终端及计算机可读存储介质
CN115222969A (zh) * 2022-06-20 2022-10-21 北京字跳网络技术有限公司 标识信息识别方法、装置、设备、可读存储介质及产品

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182893A1 (en) * 2012-01-18 2013-07-18 Xerox Corporation System and method for video episode viewing and mining
CN110619286A (zh) * 2019-08-29 2019-12-27 深圳市城市交通规划设计研究中心有限公司 一种车辆开关门动作识别方法、系统及存储介质
CN113642360A (zh) * 2020-04-27 2021-11-12 杭州海康威视数字技术股份有限公司 一种行为计时方法、装置、电子设备及存储介质
JP2021174431A (ja) * 2020-04-30 2021-11-01 日本信号株式会社 人物識別システム
CN112560958A (zh) * 2020-12-17 2021-03-26 北京赢识科技有限公司 基于人像识别的人员接待方法、装置及电子设备
US20220297724A1 (en) * 2021-03-16 2022-09-22 Honda Motor Co., Ltd. Mobile object control system, mobile object control method, and storage medium
CN114241595A (zh) * 2021-11-03 2022-03-25 橙狮体育(北京)有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN114359601A (zh) * 2021-12-29 2022-04-15 浙江大华技术股份有限公司 目标相似度计算方法、装置、电子设备及计算机存储介质
CN114332744A (zh) * 2022-03-10 2022-04-12 成都诺比侃科技有限公司 一种基于机器视觉的变电站自适应安防方法及系统
CN114913602A (zh) * 2022-05-20 2022-08-16 深圳市商汤科技有限公司 行为识别方法、装置、设备及存储介质
CN115187924A (zh) * 2022-06-01 2022-10-14 浙江大华技术股份有限公司 一种目标检测方法、装置、终端及计算机可读存储介质
CN115222969A (zh) * 2022-06-20 2022-10-21 北京字跳网络技术有限公司 标识信息识别方法、装置、设备、可读存储介质及产品

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WASSIMA AITFARES: "Suspicious behavior detection of people by monitoring camera", 《2016 5TH INTERNATIONAL CONFERENCE ON MULTIMEDIA COMPUTING AND SYSTEMS (ICMCS)》 *
张治学;陈曦;: "基于改进的加权累积差分法的人体行为识别", 电视技术, no. 17 *

Also Published As

Publication number Publication date
CN115512279B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN108460389B (zh) 一种识别图像中对象的类型预测方法、装置及电子设备
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
US10083233B2 (en) Video processing for motor task analysis
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
US8792722B2 (en) Hand gesture detection
US8750573B2 (en) Hand gesture detection
WO2016150240A1 (zh) 身份认证方法和装置
US20150220806A1 (en) Intelligent determination of aesthetic preferences based on user history and properties
US20170140210A1 (en) Image processing apparatus and image processing method
CN112651292A (zh) 基于视频的人体动作识别方法、装置、介质及电子设备
WO2022041830A1 (zh) 行人重识别方法和装置
CN103514432A (zh) 人脸特征提取方法、设备和计算机程序产品
Audebert et al. How useful is region-based classification of remote sensing images in a deep learning framework?
US10102635B2 (en) Method for moving object detection by a Kalman filter-based approach
US20150269739A1 (en) Apparatus and method for foreground object segmentation
CN112580458B (zh) 人脸表情识别方法、装置、设备及存储介质
CN112784810A (zh) 手势识别方法、装置、计算机设备和存储介质
CN111738120B (zh) 人物识别方法、装置、电子设备及存储介质
CN112052730B (zh) 一种3d动态人像识别监控设备及方法
CN112215831B (zh) 一种用于人脸图像质量的评价方法和系统
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
US11164327B2 (en) Estimation of human orientation in images using depth information from a depth camera
US20170053172A1 (en) Image processing apparatus, and image processing method
CN110910445A (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN111199169A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231122

Address after: Room 801-6, No. 528 Yan'an Road, Gongshu District, Hangzhou City, Zhejiang Province, 310005

Patentee after: Zhejiang Shenxiang Intelligent Technology Co.,Ltd.

Address before: 310030 room 5034, building 3, No. 820, Wener West Road, Xihu District, Hangzhou City, Zhejiang Province

Patentee before: ZHEJIANG LIANHE TECHNOLOGY Co.,Ltd.