CN110796071A - 行为检测方法、系统、机器可读介质及设备 - Google Patents

行为检测方法、系统、机器可读介质及设备 Download PDF

Info

Publication number
CN110796071A
CN110796071A CN201911031891.6A CN201911031891A CN110796071A CN 110796071 A CN110796071 A CN 110796071A CN 201911031891 A CN201911031891 A CN 201911031891A CN 110796071 A CN110796071 A CN 110796071A
Authority
CN
China
Prior art keywords
feature
behavior
convolution
target behavior
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911031891.6A
Other languages
English (en)
Other versions
CN110796071B (zh
Inventor
周曦
姚志强
李继伟
高伽林
施志祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Boyan Intelligent Technology Co Ltd
Original Assignee
Guangzhou Boyan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Boyan Intelligent Technology Co Ltd filed Critical Guangzhou Boyan Intelligent Technology Co Ltd
Priority to CN201911031891.6A priority Critical patent/CN110796071B/zh
Publication of CN110796071A publication Critical patent/CN110796071A/zh
Application granted granted Critical
Publication of CN110796071B publication Critical patent/CN110796071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种行为检测方法、系统、机器可读介质及设备，包括获取包含有目标行为的待检测连续帧图像；利用神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；根据分类器对表征后的待检测连续帧图像进行分类，获取至少两个分类结果；对至少两个分类结果进行合并，获得目标行为检测结果。本发明能够使每一帧图像感知该视频包含的全部信息，根据该图像生成得分，对得分进行排序，选择得分值高的生成候选时域、区域，不会造成漏检、误检。同时，对分类结果进行边界调整，能够准确定位目标行为的起始时间，适应多样化的人类行为和不同时间尺度的人类行为。

Description

行为检测方法、系统、机器可读介质及设备
技术领域
本发明涉及数据处理技术领域，特别是涉及一种用于进行行为检测的行为检测方法、系统、机器可读介质及设备。
背景技术
随着互联网产业的飞速发展和高清摄像头的普及，每天产生了数以百万计的视频。无论是视频内容审核还是公共场合安全监控，都需要自动化视频处理技术来分析这些视频的内容和检测人类行为。而目前检测人类行为大多数是利用人工智能技术的感知能力进行检测，通过感知视频内容信息检测人类行为。现有的人类行为检测流程可以分为两类：(1)基于滑动窗的检测；(2)基于行为得分的检测。
而通过滑动窗检测容易造成两个重要的问题缺陷：1)行为检测的边界不准确，即不能准确定位行为的起止时间；2)不能适应多样性的人类行为，即不能同时适用于不同时间尺度的人类行为。并且行为得分检测极度依赖于打分机制，从而造成两个问题：1)目前的打分机制只关注于当前内容，无法感知全局的上下文信息，从而导致其打分质量差；2)依据质量欠佳的行为得分生成候选时域区域提案容易造成漏检、误检等问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供行为检测方法、系统、机器可读介质及设备，用于解决现有技术中存在的问题。
为实现上述目的及其他相关目的，本发明提供一种行为检测方法，包括有：
获取包含有目标行为的待检测连续帧图像；
利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；
一个或多个分类器，根据所述一个或多个分类器对表征后的待检测连续帧图像进行分类，获取至少两个分类结果；
对所述至少两个分类结果进行合并，获得目标行为检测结果。
可选地，所述目标行为检测结果包括以下至少之一：目标行为中间检测结果、目标行为最终检测结果。
可选地，根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个神经网络中的参数。
可选地，根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个分类器中的参数。
可选地，还包括对待检测连续帧图像进行标注，所述标注包括以下至少之一：对一个或多个目标行为类别进行标注、对一个或多个目标行为的起始时间进行标注。
可选地，还包括根据以下至少之一更新所述一个或多个神经网络中的参数：一个或多个连续帧图像、一个或多个连续帧图像中的目标行为特征。
可选地，所述目标行为特征包括以下至少之一：目标行为类别、目标行为起始时间。
可选地，还包括有将所述目标行为开始时间转化为第一数值，所述目标行为结束时间转化为第二数值。
可选地，利用一个或多个神经网络对待检测连续帧图像进行表征前，还包括对获取的待检测连续帧图像进行特征分割，将待检测连续帧图像分割为一个或多个特征片段。
可选地，所述特征分割包括以下至少之一：按照帧率分割、按照帧数分割或按照时间值分割。
可选地，利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；包括：
获取一个或多个特征片段，将所述特征片段输入至一个或多个卷积神经网络进行卷积，获取初始的特征矩阵；对所述初始的特征矩阵进行卷积后输入至预设感知器模型中进行感知，或者，直接将所述初始的特征矩阵输入至预设感知器模型中进行感知，使每一帧图像能够感知当前帧图像具有的目标行为特征信息和其他帧图像具有的目标行为特征信息。
可选地，所述预设感知模型的感知过程包括：
对经过卷积的所述初始的特征矩阵，或者，所述初始的特征矩阵进行数据编码；
对编码后的特征矩阵进行时间尺度压缩，获取均值统计量；
将所述均值统计值输入至一个或多个卷积神经网络进行卷积，对卷积结果进行归一化；
对归一化后的特征矩阵与初始的特征矩阵进行合并。
可选地，按照帧数进行特征分割，将待检测连续帧图像按照帧数分割为一个或多个特征片段；将分割后的特征片段输入至一个或多个卷积神经网络进行卷积，获得具有时序关系的特征矩阵。
可选地，所述时序关系包括以下至少之一：正时序关系、反时序关系、同时包含正时序关系和反时序关系；
其中，正时序关系表示从当前特征片段到下一特征片段进行卷积；反时序关系表示从下一特征片段到当前特征片段进行卷积。
可选地，选取同时包含正时序关系和反时序关系的特征矩阵，将具有正时序关系的特征矩阵与具有反时序关系的特征矩阵进行级联，通过一个或多个卷积神经网络进行卷积融合，获得卷积融合后的特征矩阵。
可选地，获取一个或多个能够感知当前帧目标行为特征和其他帧目标行为特征的特征片段，对所述特征片段通过一个或多个卷积神经网络进行卷积，获得用于预测特征片段中出现目标行为的概率。
可选地，获取用于预测特征片段中出现目标行为的概率，根据所述概率设置不同阈值，生成一个或多个第一分类结果。
可选地，每一个分类器包括有一层或多层，每一层包括有一个或多个模板、一个或多个待训练的卷积神经网络；所述模板包括一个或多个所述感知器模型、一个或多个训练后的卷积神经网络；
获取经过卷积的所述初始的特征矩阵，或者所述初始的特征矩阵，将其输入至所述一个或多个模板中进行卷积和感知；
改变卷积和感知后的特征矩阵的时间尺度，使所述分类器中当前层中经过卷积和感知后的特征矩阵的时间尺度为下一层中经过卷积和感知后的特征矩阵的时间尺度的两倍；
再对所述分类器中经过卷积和感知后的特征矩阵进行上采样，将上采样结果输入至一个或多个待训练的卷积神经网络进行训练，生成一个或多个第二分类结果。
可选地，获取第一分类结果和第二分类结果，并确定所述第一分类结果与所述第二分类结果中出现目标行为的重合度；筛选出重合度最高的第一分类结果和第二分类结果，将重合度最高的第一分类结果和所述第二分类结果融合得到目标行为检测结果。
可选地，获取一个或多个待检测连续帧图像，将每一个待检测连续帧图像按照帧数分割为多个特征片段；
计算分类器模板中用于预先训练卷积神经网络的训练样本中目标行为的时间尺度与分割后每一个特征片段中目标行为的时间尺度的重叠百分比；
获取最大重叠百分比，将与最大重叠百分比所对应的模板中的所有训练样本设置为第一训练样本；其余模板中的训练样本设置为第二训练样本。
可选地，获取所有第二训练样本，判断所有第二训练样本所对应的重叠百分比是否小于预设阈值，筛选出重叠百分比小于预设阈值的第二训练样本。
可选地，获取重叠百分比小于预设阈值的第二训练样本，根据重叠百分比小于预设阈值的第二训练样本建立用于更新所述一个或多个神经网络、一个或多个分类器的损失函数。
本发明还提供一种行为检测系统，包括有：
图像获取模块，用于获取包含有目标行为的待检测连续帧图像；
图像表征模块，用于利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；
分类检测模块，包括有一个或多个分类器，用于根据所述一个或多个分类器对表征后的待检测连续帧图像进行分类，获取至少两个分类结果；
结果合并模块，用于对所述至少两个分类结果进行合并，获得目标行为检测结果。
可选地，所述目标行为检测结果包括以下至少之一：目标行为中间检测结果、目标行为最终检测结果。
可选地，根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个神经网络中的参数。
可选地，根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个分类器中的参数。
可选地，还包括有图像分割模块，所述图像分割模块用于对获取的待检测连续帧图像进行特征分割，将待检测连续帧图像分割为一个或多个特征片段。
可选地，所述图像分割模块包括有以下至少之一：
帧率分割单元，用于将待检测连续帧图像按照帧率分割为一个或多个特征片段；
帧数分割单元，用于将待检测连续帧图像按照帧数分割为一个或多个特征片段；
时间分割单元，用于将待检测连续帧图像按照时间分割为一个或多个特征片段。
可选地，所述图像表征模块包括有：
所述第一表征单元，用于获取一个或多个特征片段，将所述特征片段输入至一个或多个卷积神经网络进行卷积，获取初始的特征矩阵；
所述第二表征单元，用于对所述初始的特征矩阵进行卷积后输入至预设感知器模型中进行感知，或者，将所述初始的特征矩阵直接输入至预设感知器模型中进行感知，使每一帧图像能够感知当前帧图像具有的目标行为特征信息和其他帧图像具有的目标行为特征信息。
可选地，所述预设感知器模型的感知过程包括有：
编码单元，用于将经过卷积的所述初始的特征矩阵，或者，所述初始的特征矩阵进行数据编码；
压缩单元，用于对编码后的特征矩阵进行时间尺度压缩，获取均值统计量；
处理单元，用于将所述均值统计值输入一个或多个卷积神经网络进行卷积，对卷积结果进行归一化；
合并单元，用于对归一化后的特征矩阵与初始的特征矩阵进行合并。
可选地，按照帧数进行特征分割，将待检测连续帧图像按照帧数分割为一个或多个特征片段；将分割后的特征片段输入至一个或多个卷积神经网络进行卷积，获得具有时序关系的特征矩阵。
可选地，所述时序关系包括以下至少之一：正时序关系、反时序关系、同时包含正时序关系和反时序关系；
其中，正时序关系表示从当前特征片段到下一特征片段进行卷积；反时序关系表示从下一特征片段到当前特征片段进行卷积。
可选地，选取同时包含正时序关系和反时序关系的特征矩阵，将具有正时序关系的特征矩阵与具有反时序关系的特征矩阵进行级联，通过一个或多个卷积神经网络进行卷积融合，获得卷积融合后的特征矩阵。
可选地，还包括有行为概率模块，所述行为概率模块用于获取一个或多个能够感知当前帧目标行为特征和其他帧目标行为特征的特征片段，对所述特征片段通过一个或多个卷积神经网络进行卷积，获得用于预测特征片段中出现目标行为的概率。
可选地，所述分类检测模块包括有第一检测单元，用于获取行为概率模块中的概率，根据所述概率设置不同阈值，生成一个或多个第一分类结果。
可选地，所述分类检测模块中的每一个分类器包括有一层或多层，每一层包括有一个或多个模板、一个或多个待训练的卷积神经网络；所述模板包括一个或多个所述感知器模型、一个或多个训练后的卷积神经网络；
所述分类检测模块还包括有第二检测单元，所述第二检测单元用于获取经过卷积的所述初始的特征矩阵，或者，所述初始的特征矩阵，将其输入至所述一个或多个模板中进行卷积和感知；改变卷积和感知后的特征矩阵的时间尺度，使所述分类器中当前层中经过卷积和感知后的特征矩阵的时间尺度为下一层中经过卷积和感知后的特征矩阵时间尺度的两倍；再对所述分类器中经过卷积和感知后的特征矩阵进行上采样，将上采样结果输入至一个或多个待训练的卷积神经网络进行训练，生成一个或多个第二分类结果。
可选地，所述结果合并模块获取第一分类结果和第二分类结果，并确定所述第一分类结果与所述第二分类结果中出现目标行为的重合度；筛选出重合度最高的第一分类结果和第二分类结果，将重合度最高的第一分类结果和所述第二分类结果融合得到目标行为检测结果。
可选地，还包括有样本标定模块，所述样本标定模块包括：
第一分割单元，用于获取一个或多个待检测连续帧图像，将每一个待检测连续帧图像按照帧数分割为多个特征片段；
重叠百分比单元，用于计算分类器模板中用于预先训练卷积神经网络的训练样本中目标行为的时间尺度与分割后每一个特征片段中目标行为的时间尺度的重叠百分比；
标定单元，用于获取最大重叠百分比，将与最大重叠百分比所对应的模板中的所有训练样本设置为第一训练样本；其余模板中的训练样本设置为第二训练样本。
可选地，所述样本标定模块还包括有样本筛选单元，所述样本筛选单元用于获取所有第二训练样本，判断所有第二训练样本所对应的重叠百分比是否小于预设阈值，筛选出重叠百分比小于预设阈值的第二训练样本。
可选地，所述样本标定模块还包括有更新单元，所述更新单元用于获取重叠百分比小于预设阈值的第二训练样本，根据重叠百分比小于预设阈值的第二训练样本建立用于更新所述一个或多个神经网络、一个或多个分类器的损失函数。
本发明还提供一种行为检测设备，包括有：
获取包含有目标行为的待检测连续帧图像；
利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；
一个或多个分类器，根据所述一个或多个分类器对表征后的待检测连续帧图像进行分类，获取至少两个分类结果；
对所述至少两个分类结果进行合并，获得目标行为检测结果。
本发明还提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行上述中一个或多个所述的方法。
本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行上述中一个或多个所述的方法。
如上所述，本发明提供的一种行为检测方法、系统、机器可读介质及设备，具有以下有益效果：本发明通过获取包含有目标行为的待检测连续帧图像；利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；根据一个或多个分类器对表征后的待检测连续帧图像进行分类，获取至少两个分类结果；对所述至少两个分类结果进行合并，获得目标行为检测结果。本发明能够在采用打分机制的同时，能够使每一帧图像都能感知整个连续帧图像的目标行为特征信息；并且对分类器生成分类结果进行合并，能够更好地适应目标行为的多样性。
附图说明
图1为一实施例中的行为检测方法流程示意图。
图2为一实施例中的行为检测系统连接示意图。
图3为一实施例提供的图像获取模块的硬件结构示意图。
图4为另一实施例中的行为检测系统连接示意图。
图5为一实施例提供的图像分割模块的硬件结构示意图。
图6为一实施例提供的图像表征模块的硬件结构示意图。
图7为一实施例中的感知器模型示意图。
图8为另一实施例中的行为检测系统连接示意图。
图9为一实施例提供的分类检测模块的硬件结构示意图。
图10为另一实施例中的行为检测系统连接示意图。
图11为一实施例提供的样本标定模块的硬件结构示意图。
图12为一实施例提供的终端设备的硬件结构示意图。
图13为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
M10图像获取模块；M20图像表征模块；M30分类检测模块；M40结果合并模块；
M50图像分割模块；M60行为概率检测模块；M70样本标定模块；
D10图像标注单元；D20归一化单元；D30帧率分割单元；D40帧数分割单元；
D50时间分割单元；D60卷积单元；D70编码单元；D80压缩单元；
D90处理单元；D100合并单元；D110第一检测单元；D120第二检测单元；
D130第一分割单元；D140重叠百分比单元；D150标定单元；D160筛选单元；
D170更新单元；D210第一表征单元；D220第二表征单元；
1100输入设备；1101第一处理器；1102输出设备；1103第一存储器；1104通信总线；
1200处理组件；1201第二处理器；1202第二存储器；1203通信组件；
1204电源组件；1205多媒体组件；1206语音组件；1207输入/输出接口；1208传感器组件。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种行为检测方法，包括有：
S100，获取包含有目标行为的待检测连续帧图像；例如采集或输入具有一段时间长度的包括有人类行为、动物体行为、植物体行为的视频数据。以人类行为动作为例，对人类行为类别标注可以按照“胡耿丹,王乐军,牛文鑫.运动生物力学.同济大学出版社.2013年12月,第1版”中的记载进行划分。例如，上肢运动可以包括以下至少之一：推、拉和鞭打；下肢运动可以包括以下至少之一：缓冲、蹬伸和鞭打；全身运动可以包括以下至少之一：摆动、扭动和相向运动。而对人类行为的起始时间进行标注可以通过直接观看视频数据进行标注，或者更新需要的视频数据片段进行自定义标注。
S200，利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；
S300，一个或多个分类器，根据所述一个或多个分类器对表征后的待检测连续帧图像进行分类，获取至少两个分类结果；
S400，对所述至少两个分类结果进行合并，获得目标行为检测结果。
通过上述方案的记载能够解决现有技术中采用行为得分检测方法时，无法关注当前内容，无法感知全局的上下文信息的问题，以及解决现有技术中采用滑动窗检测方法时不能适应多样性的人类行为问题。通过上述方案的记载能够在采用打分机制的同时，使每一帧图像都能感知整个连续帧图像的目标行为特征信息；并且对分类器生成分类结果进行合并，能够更好地适应目标行为的多样性。
在一示例性实施例中，所述目标行为检测结果包括以下至少之一：目标行为中间检测结果、目标行为最终检测结果。其中，目标行为中间检测结果包括根据分类器生成的分类结果，例如包括目标行为动作分数值、目标行为动作分数值的排序结果、根据目标行为动作分数值生成的提案(Proposal)、根据目标行为动作分数值的排序结果生成的提案等。目标行为最终检测结果包括根据分类器生成的分类结果、根据目标行为中间检测结果生成的最终结果。例如包括目标行为动作分数值、目标行为动作分数值的排序结果、根据目标行为动作分数值生成的提案、根据目标行为动作分数值的排序结果生成的提案、根据目标行为动作分数值识别出的目标行为动作、根据目标行为动作分数值的排序结果识别出的目标行为动作、根据目标行为动作分数值生成的提案识别出的目标行为动作、根据目标行为动作分数值的排序结果生成的提案识别出的目标行为动作、根据目标行为动作分数值生成的提案与根据目标行为动作分数值的排序结果生成的提案结合生成的提案识别出的目标行为动作等。
在一示例性实施例中，还根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个神经网络中的参数。将目标行为中间检测结果或目标行为最终检测结果输入用来更新神经网络中的参数，可以对神经网络进行训练优化，使其对目标行为动作的识别更快、更准确。例如，利用人类行为的中间检测结果或人类行为最终检测结果对卷积神经网络、感知器进行训练优化，能够神经网络在识别人类行为时更快、更准确。另外，更新神经网络中的参数或对神经网络的训练还可以通过一个或多个连续帧图像、一个或多个连续帧图像中的目标行为特征来完成。例如，针对要识别的人类行为动作，可以通过不同人在同一环境下录取的视频数据进行训练、同一人在不同环境下录取的视频数据进行训练、以及不同人在不同环境下录取的视频数据进行训练；且这些录取的视频数据中均包括有需要识别或需要检测的人类行为动作。
在一示例性实施例中，根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个分类器中的参数。将目标行为中间检测结果或目标行为最终检测结果输入用来更新分类器中的参数，可以对分类器进行训练优化，使其对目标行为动作的分类更快、更准确。例如，利用人类行为的中间检测结果或人类行为的最终检测结果对分类器进行训练优化，使其在对人类行为进行分类或打分时更加快速、更加准确，不会超出其边界。
在一示例性实施例中，还包括对待检测连续帧图像进行标注，所述标注包括以下至少之一：对一个或多个目标行为类别进行标注、对一个或多个目标行为的起始时间进行标注。例如对人类行为类别标注可以按照“胡耿丹,王乐军,牛文鑫.运动生物力学.同济大学出版社.2013年12月,第1版”中的记载进行标注划分。例如，上肢运动可以包括以下至少之一：推、拉和鞭打；下肢运动可以包括以下至少之一：缓冲、蹬伸和鞭打；全身运动可以包括以下至少之一：摆动、扭动和相向运动。而对人类行为的起始时间进行标注可以通过直接观看视频数据进行标注，或者更新需要的视频数据片段进行自定义标注。
根据上述示例性实施例记载可知，目标行为特征包括以下至少之一：目标行为类别、目标行为起始时间。通过目标行为类别和目标行为起始时间找出目标行为特征，可以对准备训练的目标行为视频数据或需要检测的目标行为视频数据进行对应的标注。方便前期的训练优化以及后面的识别检测过程。
在一示例性实施例中，还包括有将所述目标行为开始时间转化为第一数值，所述目标行为结束时间转化为第二数值。将目标行为的开始时间和结束时间都进行一个转化，例如可以完成归一化等操作。例如，可以将人类行为的视频数据中某一个动作的开始时间设置为0，该动作的结束时间设置为1。
根据上述示例性实施例可知，利用一个或多个神经网络对待检测连续帧图像进行表征前，还包括对获取的待检测连续帧图像进行特征分割，将待检测连续帧图像分割为一个或多个特征片段。所述特征分割的方式包括：按照帧率分割、按照帧数分割或按照时间值分割。本申请实施例中，例如可以选择将包含有人类行为动作“推”的视频数据按照帧率进行分割，分割为多个视频片段，并对分割后的视频片段数进行统计。将包含有人类行为动作“拉”的视频数据按照帧数进行分割，分割为多个视频片段，并对分割后的视频片段数进行统计。将包含有人类行为动作“摆动”的视频数据按照视频时间进行分割，分割为多个视频片段，并对分割后的视频片段数进行统计。还可以选择，将包含有人类行为动作的视频数据按照帧数进行分割为一帧或多帧的一个片段，并将一个或多个片段组合为一个片段组，统计片段组的数量。
在一示例性实施例中，根据步骤S200的记载，利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；还可以包括：
获取上面分割完成后的一个或多个特征片段，将所述特征片段输入至一个或多个三维卷积神经网络进行卷积，获取初始的特征矩阵；对所述初始的特征矩阵进行一次或多次卷积后输入至预设感知器模型中进行感知，使每一帧图像能够感知当前帧图像具有的目标行为特征信息和其他帧图像具有的目标行为特征信息。
例如，处理所有的人类行为视频数据，将其按照一帧进行特征分割，统计按照一帧分割后每个视频数据产生的图片总个数t。将分割后的图片序列按照一时间尺度T组合为一个视频片段wi，则一个视频可以表示成片段的组合
Figure BDA0002250380050000111
例如令T＝16，并放弃不足该时间尺度的视频长度。对每一个视频片段wi，用训练后的三维卷积神经网络进行卷积，提取时间尺度为T，特征维度为C的初始的特征矩阵T×C或特征图T×C。再将初始的特征矩阵T×C进行一次或多次卷积后，输入至预设感知器模型中进行感知。
其中，预设感知器模型根据历史特征片段或者当前特征片段训练得到。本申请中的感知器模型的感知过程包括：
对经过卷积的所述初始的特征矩阵进行数据编码；
对编码后的特征矩阵进行时间尺度压缩，获取均值统计量；
将所述均值统计值输入至一个或多个卷积神经网络进行卷积，对卷积结果进行归一化；
对归一化后的特征矩阵与初始的特征矩阵进行合并。具体地，获取一个或多个特征片段作为当前特征片段，将所述当前特征片段输入至一个或多个三维卷积神经网络进行卷积，获取经过卷积的初始的特征矩阵T′×C。例如，对任意人类行为视频数据，按照一帧进行特征分割，分别利用三个一维的卷积神经网络α、β、γ进行卷积，得到经过卷积的初始的特征矩阵T′×C。通过对人类行为视频数据按照帧数进行分割，能够表现出经过卷积的初始的特征矩阵T′×C具有的时间尺度。
将所述经过卷积的初始的特征矩阵T′×C进行数据编码，获取特征矩阵T′×T′。例如，将经过卷积的初始的特征矩阵T′×C映射到编码空间进行数据编码，对卷积神经网络α、β采用矩阵乘法，得到编码后的特征矩阵T′×T′。
为了获得全局的信息表示，对所述特征矩阵T′×T′进行时间尺度压缩，获取均值统计量。特征矩阵T′×T′包括上三角矩阵、下三角矩阵，通过一个连接层将上三角矩阵与下三角矩阵进行连接，再采用矩阵乘法将卷积神经网络γ与经过连接层连接后的特征矩阵T′×T′进行矩乘，将矩乘后的结果输入全局平均池化层中进行处理。对经过全局平均池化层处理后的特征矩阵T′×T′进行时间尺度压缩，获取均值统计量。
将所述均值统计值通过两个训练后的卷积神经网络进行卷积，对卷积结果进行归一化，获取归一化后的特征矩阵1×C。
将所述特征矩阵1×C与所述经过卷积的初始的特征矩阵T′×C进行合并或求和，将特征矩阵1×C上的信息加到经过卷积的初始的特征矩阵T′×C上，利用全局信息增强经过卷积的初始的特征矩阵T′×C，使经过卷积的初始的特征矩阵T′×C中的任意片段时刻Ti与其他时刻Tj都能够感知整个视频的目标行为特征信息或人类行为特征信息。其中，在单个视频数据或单个特征片段中，时刻Ti出现的顺序早于时刻Tj。
在另一示例性实施例中，还可以直接获取初始的特征矩阵T×C，将初始的特征矩阵T×输入感知器模型进行感知，同样能够使初始的特征矩阵T×C中的任意片段时刻Ti与其他时刻Tj都能够感知整个视频的目标行为特征信息或人类行为特征信息。对初始的特征矩阵T×C的感知包括有：采用经过卷积的初始的特征矩阵T′×C训练后的感知器模型对初始的特征矩阵T×C进行感知，对初始的特征举证的感知过程与对经过卷积的初始的特征矩阵相同；使初始的特征矩阵T×C中的任意片段时刻Ti与其他时刻Tj都能够感知整个视频的目标行为特征信息或人类行为特征信息。
其中，
Figure BDA0002250380050000121
时间尺度T和特征维度C可以根据实际情况进行具体设定，但时间尺度T必须为2的倍数，例如可以设定本实施例中的T＝16，32，64，128，256，512等。
在一示例性实施例中，按照帧数进行特征分割，将待检测连续帧图像按照帧数分割为一个或多个特征片段；将分割后的特征片段输入至一个或多个卷积神经网络进行卷积，获得具有时序关系的特征矩阵。由于经过卷积的初始的特征矩阵T′×C也是按照帧数进行分割，所以经过卷积的初始的特征矩阵T′×C也具有时序关系。其中，时序关系包括以下正时序关系、反时序关系、同时包含正时序关系和反时序关系。正时序关系表示从当前特征片段到下一特征片段进行卷积；反时序关系表示从下一特征片段到当前特征片段进行卷积。
如果不考虑时序关系，则经过卷积的初始的特征矩阵T′×C是一个对称矩阵，说明时刻T与时刻Tj的关系是正时序和反时序都一样。如果只考虑正时序，即从时刻Ti到时刻Tj，则该矩阵为上三角矩阵，则说明只有过去的信息能对将来起作用，反之则不成立。如果只考虑反时序，即从时刻Tj到时刻Ti，则该矩阵为下三角矩阵，说明将来的信息能用来更新过去的信息。如果同时考虑正时序和反时序，则是双方向关系(bi-direction relationship)，则利用一个连接层将正时序和反时序级联起来，再利用一个卷积层学习如何融合正时序与反时序，则得到更新后的信息，得到卷积融合后的特征矩阵，其仍为T′×C。
在一示例性实施例中，获取一个或多个能够感知当前帧目标行为特征和其他帧目标行为特征的特征片段，对所述特征片段通过一个或多个卷积神经网络进行卷积，获得用于预测特征片段中出现目标行为的概率。具体地，本申请实施例按照帧数进行分割，选取按照帧数分割的特征片段，对其进行卷积。例如，本申请实施例可以选择卷积融合后的特征矩阵T′×C，对卷积融合后的特征矩阵T′×C再进行一次或多次卷积，得到一条T×1的曲线；根据这个曲线来进行每个视频片段中的行为概率。再根据所述概率设置不同阈值，生成一个或多个第一分类结果或第一类提案(temporal action grouping proposal，时间维度上的行为概率分组提案)，第一分类结果可以用来修正第二分类结果的边界，第一类提案可以用来修正第二类提案的边界，使边界更加精准。
在一示例性实施例中，根据步骤S300中的记载，每一个分类器包括有一层或多层，每一层包括有一个或多个模板(anchor)、一个或多个待训练的卷积神经网络；所述模板包括一个或多个所述感知器模型、一个或多个训练后的卷积神经网络；通过设置模板，可以快速提取出目标行为动作，节约识别时间，提高识别效率。
获取经过卷积的初始的特征矩阵，或者，所述初始的特征矩阵，将其输入至所述一个或多个模板中进行卷积和感知；改变卷积和感知后的特征矩阵的时间尺度，使所述分类器中当前层中经过卷积和感知后的特征矩阵的时间尺度为下一层中经过卷积和感知后的特征矩阵的时间尺度的两倍；再对所述分类器中经过卷积和感知后的特征矩阵进行上采样，将上采样结果输入至一个或多个待训练的卷积神经网络进行训练，生成一个或多个第二分类结果。
具体地，获取初始的特征矩阵T×C，将其输入至所述一个或多个模板中进行卷积和感知；
改变卷积和感知后的初始的特征矩阵T×C的时间尺度，使所述分类器中当前层中经过卷积和感知后的初始的特征矩阵T×C的时间尺度为下一层中经过卷积和感知后的特征矩阵初始的T×C的时间尺度的两倍；
再对所述分类器中经过卷积和感知后的初始的特征矩阵T×C进行上采样，除了对最后一层不进行上采样，对其他层均进行上采样，将上采样结果输入至一个或多个待训练的卷积神经网络进行训练，生成一个或多个第二分类结果或第二类提案(relation-awarepyramid proposal，关系感知金字塔提案)，第二分类结果或第二类提案可以用来检测时间尺度长短不同的目标行为。
具体地，例如一个分类器结构为金字塔层，最顶层为初始的特征矩阵T×C，则第i层为
Figure BDA0002250380050000131
依次类推，上一层的时间尺度为下一层时间尺度的两倍。时间尺度，即为每个时间点所代表的时间单位，每一层为除了不对金字塔的最后一层进行上采样外，对金字塔层的其他层均进行上采样，再将上采样输入至待训练的卷积神经网络进行卷积训练，根据训练结果生成一个或多个第二分类结果或第二类提案(relation-aware pyramidproposal，关系感知金字塔提案)。
为了对人类行为进行更精准的识别，还需要对上面两类提案进行边界信息调整。根据步骤S400的描述，对分类结果进行合并，具体地，获取第一分类结果和第二分类结果，并确定所述第一分类结果与所述第二分类结果中出现目标行为的重合度；筛选出重合度最高的第一分类结果和第二分类结果，将重合度最高的第一分类结果和所述第二分类结果按比例融合得到调整后的边界信息，再对调整边界信息后的提案进行打分、排序，根据排序最靠前或得分值最高的提案确定目标行为检测结果，使当前帧图像能够感知其他帧图像的目标特征行为信息，通过这种感知机制生成的得分值，再根据得分值的高低生成候选时域、区域，不会再出现漏检或误检。其中，本申请实施例中的比例可以根据实际情况进行灵活设定。通过调节提案的边界信息，弥补了现有技术中的缺陷，使本申请能够确定目标行为的开始时间和结束时间，同时还能够适应人类行为的多样性，以及能够适应不同时间尺度的人类行为。
根据一些示例性实施例的记载，还包括对样本的标定，具体地，获取一个或多个待检测连续帧图像，将每一个待检测连续帧图像按照帧数分割为多个特征片段；计算分类器模板中用于预先训练卷积神经网络的训练样本中目标行为的时间尺度与分割后每一个特征片段中目标行为的时间尺度的重叠百分比；获取最大重叠百分比，将与最大重叠百分比所对应的模板中的所有训练样本设置为第一训练样本；其余模板中的训练样本设置为第二训练样本。
针对每一个视频数据，计算每一个模板中用于预先训练卷积神经网络的训练视频数据中的目标行为的时间尺度与当前视频数据中标注的目标行为的时间尺度的重叠百分比，并将最大重叠百分比所对应的模板中的所有训练视频数据设置为第一训练样本，或者对这些训练视频数据进行标签设置，并根据第一训练样本将其余模块中的训练样本设置为第二训练样本，或设置不同的标签。例如，本申请实施例中，可以将最大重叠百分比所对应的模板中的所有训练样本设置为正样本或设置标签为1，其余模板中的训练样本设置为负样本或设置标签为0。同时，由于样本或标签的设置方法引入了正负样本类别不平衡，因此，我们需要对负样本进行筛选。具体地，获取所有第二训练样本，判断所有第二训练样本所对应的重叠百分比是否小于预设阈值θ，筛选出重叠百分比小于预设阈值θ的第二训练样本。其中的预设阈值θ可以根据实际情况进行灵活设定。筛选出重叠百分比小于预设阈值θ的第二训练样本后，可以认为其是真正的负样本，而其余的负样本则不予计算损失函数。损失函数，用于根据第二训练样本明确卷积神经网络、分类器更新参数时的方向。例如，本申请实施例中，设置损失函数的损失为：模板中心点、模板尺度、模板置信度、模板对应的目标行为类别、行为得分等。
根据本发明选择打分机制时，由于每一帧图像所包含的目标特征行为信息都能够感知整个视频所包含的目标行为特征信息，所以能够解决现有技术中的打分机制只关注当前的问题。再对生成的得分进行排序，选择得分值高的生成候选时域、区域，这样不会造成漏检、误检等问题。同时，本方法通过检测行为概率的分类结果对检测时间尺度的分类结果进行边界调整，不仅能够准确定位目标行为的起始时间，还能够使本方法在人类行为检测过程中，能够适应多样化的人类行为和适应不同时间尺度的人类行为。
如图2至图11所示，本发明还提供一种行为检测系统，其特征在于，包括有：
图像获取模块M10，用于获取包含有目标行为的待检测连续帧图像；例如采集或输入具有一段时间长度的包括有人类行为、动物体行为、植物体行为的视频数据。以人类行为动作为例，对人类行为类别标注可以按照“胡耿丹,王乐军,牛文鑫.运动生物力学.同济大学出版社.2013年12月,第1版”中的记载进行划分。例如，上肢运动可以包括以下至少之一：推、拉和鞭打；下肢运动可以包括以下至少之一：缓冲、蹬伸和鞭打；全身运动可以包括以下至少之一：摆动、扭动和相向运动。而对人类行为的起始时间进行标注可以通过直接观看视频数据进行标注，或者更新需要的视频数据片段进行自定义标注。
图像表征模块M20，用于利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；
分类检测模块M30，包括有一个或多个分类器，用于根据所述一个或多个分类器对表征后的待检测连续帧图像进行分类，获取至少两个分类结果；
结果合并模块M40，用于对所述至少两个分类结果进行合并，获得目标行为检测结果。
通过上述方案的记载能够解决现有技术中采用行为得分检测方法时，无法关注当前内容，无法感知全局的上下文信息的问题，以及解决现有技术中采用滑动窗检测方法时不能适应多样性的人类行为问题。通过上述方案的记载能够在采用打分机制的同时，使每一帧图像都能感知整个连续帧图像的目标行为特征信息；并且对分类器生成分类结果进行合并，能够更好地适应目标行为的多样性。
在一示例性实施例中，所述目标行为检测结果包括以下至少之一：目标行为中间检测结果、目标行为最终检测结果。其中，目标行为中间检测结果包括根据分类器生成的分类结果，例如包括目标行为动作分数值、目标行为动作分数值的排序结果、根据目标行为动作分数值生成的提案(Proposal)、根据目标行为动作分数值的排序结果生成的提案等。目标行为最终检测结果包括根据分类器生成的分类结果、根据目标行为中间检测结果生成的最终结果。例如包括目标行为动作分数值、目标行为动作分数值的排序结果、根据目标行为动作分数值生成的提案、根据目标行为动作分数值的排序结果生成的提案、根据目标行为动作分数值识别出的目标行为动作、根据目标行为动作分数值的排序结果识别出的目标行为动作、根据目标行为动作分数值生成的提案识别出的目标行为动作、根据目标行为动作分数值的排序结果生成的提案识别出的目标行为动作、根据目标行为动作分数值生成的提案与根据目标行为动作分数值的排序结果生成的提案结合生成的提案识别出的目标行为动作等。
在一示例性实施例中，还根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个神经网络中的参数。将目标行为中间检测结果或目标行为最终检测结果输入用来更新神经网络中的参数，可以对神经网络进行训练优化，使其对目标行为动作的识别更快、更准确。例如，利用人类行为的中间检测结果或人类行为最终检测结果对卷积神经网络、感知器进行训练优化，能够神经网络在识别人类行为时更快、更准确。另外，更新神经网络中的参数或对神经网络的训练还可以通过一个或多个连续帧图像、一个或多个连续帧图像中的目标行为特征来完成。例如，针对要识别的人类行为动作，可以通过不同人在同一环境下录取的视频数据进行训练、同一人在不同环境下录取的视频数据进行训练、以及不同人在不同环境下录取的视频数据进行训练；且这些录取的视频数据中均包括有需要识别或需要检测的人类行为动作。
在一示例性实施例中，根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个分类器中的参数。将目标行为中间检测结果或目标行为最终检测结果输入用来更新分类器中的参数，可以对分类器进行训练优化，使其对目标行为动作的分类更快、更准确。例如，利用人类行为的中间检测结果或人类行为的最终检测结果对分类器进行训练优化，使其在对人类行为进行分类或打分时更加快速、更加准确，不会超出其边界。
在一示例性实施例中，如图3所示，图像获取模块M10还包括有图像标注单元D10，所述图像标注单元D10用于对待检测连续帧图像进行标注。所述标注包括以下至少之一：对一个或多个目标行为类别进行标注、对一个或多个目标行为的起始时间进行标注。例如对人类行为类别标注可以按照“胡耿丹,王乐军,牛文鑫.运动生物力学.同济大学出版社.2013年12月,第1版”中的记载进行标注划分。例如，上肢运动可以包括以下至少之一：推、拉和鞭打；下肢运动可以包括以下至少之一：缓冲、蹬伸和鞭打；全身运动可以包括以下至少之一：摆动、扭动和相向运动。而对人类行为的起始时间进行标注可以通过直接观看视频数据进行标注，或者更新需要的视频数据片段进行自定义标注。根据上述示例性实施例记载可知，目标行为特征包括以下至少之一：目标行为类别、目标行为起始时间。通过目标行为类别和目标行为起始时间找出目标行为特征，可以对准备训练的目标行为视频数据或需要检测的目标行为视频数据进行对应的标注。方便前期的训练优化以及后面的识别检测过程。
在一示例性实施例中，如图3所示，图像获取模块M10还包括有与图像标注单元D10连接的归一化单元D20。所述归一化单元D20用于将所述目标行为开始时间转化为第一数值，所述目标行为结束时间转化为第二数值。将目标行为的开始时间和结束时间都进行一个转化，例如可以完成归一化等操作。例如，可以将人类行为的视频数据中某一个动作的开始时间设置为0，该动作的结束时间设置为1。
在一示例性实施例中，如图4所示，还包括有与图像获取模块M10、图像表征模块M20连接的图像分割模块M50，所述图像分割模块M50用于对获取的待检测连续帧图像进行特征分割，将待检测连续帧图像分割为一个或多个特征片段。如图5所示，所述图像分割模块包括有以下至少之一：
帧率分割单元D30，用于将待检测连续帧图像按照帧率分割为一个或多个特征片段；
帧数分割单元D40，用于将待检测连续帧图像按照帧数分割为一个或多个特征片段；
时间分割单元D50，用于将待检测连续帧图像按照时间分割为一个或多个特征片段。
本申请实施例中，例如可以选择将包含有人类行为动作“推”的视频数据按照帧率进行分割，分割为多个视频片段，并对分割后的视频片段数进行统计。将包含有人类行为动作“拉”的视频数据按照帧数进行分割，分割为多个视频片段，并对分割后的视频片段数进行统计。将包含有人类行为动作“摆动”的视频数据按照视频时间进行分割，分割为多个视频片段，并对分割后的视频片段数进行统计。还可以选择，将包含有人类行为动作的视频数据按照帧数进行分割为一帧或多帧的一个片段，并将一个或多个片段组合为一个片段组，统计片段组的数量。
在一示例性实施例中，如图6所示，所述图像表征模块M20包括有：
所述第一表征单元D210，用于获取一个或多个特征片段，将所述特征片段输入至一个或多个三维卷积神经网络进行卷积，获取初始的特征矩阵；
所述第二表征单元D220，用于对所述初始的特征矩阵进行一次或多次卷积后输入至预设感知器模型中进行感知，或者，将所述初始的特征矩阵直接输入至预设感知器模型中进行感知，使每一帧图像能够感知当前帧图像具有的目标行为特征信息和其他帧图像具有的目标行为特征信息。
例如，处理所有的人类行为视频数据，将其按照一帧进行特征分割，统计按照一帧分割后每个视频数据产生的图片总个数t。将分割后的图片序列按照一时间尺度T组合为一个视频片段wi，则一个视频可以表示成片段的组合
Figure BDA0002250380050000171
例如令T＝16，并放弃不足该时间尺度的视频长度。对每一个视频片段wi，用训练后的三维卷积神经网络进行卷积，提取时间尺度为T，特征维度为C的初始的特征矩阵T×C或特征图T×C。再将初始的特征矩阵T×C进行一次或多次卷积后，输入至预设感知器模型中进行感知。
其中，预设感知器模型根据历史特征片段或者当前特征片段训练得到。如图7所示，本申请中的感知器模型的感知过程至少包括：
编码单元D70，用于将所述经过卷积的所述初始的特征矩阵进行数据编码，获得编码后的特征矩阵；
压缩单元D80，用于对编码后的特征矩阵进行时间尺度压缩，获取均值统计量；
处理单元D90，用于将所述均值统计值输入一个或多个卷积神经网络进行卷积，对卷积结果进行归一化；
合并单元D100，用于对归一化后的特征矩阵与初始的特征矩阵进行合并。
具体地，卷积单元D60，用于获取一个或多个特征片段作为当前特征片段，将所述当前特征片段输入至一个或多个三维卷积神经网络进行卷积，获取经过卷积的初始的特征矩阵T′×C；例如，对任意人类行为视频数据，按照一帧进行特征分割，分别利用三个一维的卷积神经网络α、β、γ进行卷积，得到经过卷积的初始的特征矩阵T′×C。通过对人类行为视频数据按照帧数进行分割，能够表现出经过卷积的初始的特征矩阵T′×C具有的时间尺度。
编码单元D70，用于将所述经过卷积的初始的特征矩阵T′×C进行数据编码，获取经过卷积的初始的特征矩阵T′×T′；例如，将特征矩阵T′×C映射到编码空间进行数据编码，对卷积神经网络α、β采用矩阵乘法，得到特征矩阵T′×T′。
压缩单元D80，用于对所述特征矩阵T′×T′进行时间尺度压缩，获取均值统计量。特征矩阵T′×T′包括上三角矩阵、下三角矩阵，通过一个连接层将上三角矩阵与下三角矩阵进行连接，再采用矩阵乘法将卷积神经网络γ与经过连接层连接后的特征矩阵T′×T′进行矩乘，将矩乘后的结果输入全局平均池化层中进行处理。对经过全局平均池化层处理后的特征矩阵T′×T′进行时间尺度压缩，获取均值统计量。
处理单元D90，用于将所述均值统计值通过一个或多个卷积神经网络进行卷积，对卷积结果进行归一化，获取归一化后的特征矩阵1×C；
合并单元D100，将所述特征矩阵1×C与所述经过卷积的初始的特征矩阵T′×C进行合并。例如，将所述特征矩阵1×C与所述经过卷积的初始的特征矩阵T′×C进行合并或求和，将特征矩阵1×C上的信息加到经过卷积的初始的特征矩阵T′×C上，利用全局信息增强经过卷积的初始的特征矩阵T′×C，使经过卷积的初始的特征矩阵T′×C中的任意片段时刻Ti与其他时刻Tj都能够感知整个视频的目标行为特征信息或人类行为特征信息。其中，在单个视频数据或单个特征片段中，时刻Ti出现的顺序早于时刻Tj。
在另一示例性实施例中，还可以直接获取初始的特征矩阵T×C，将初始的特征矩阵T×C
输入感知器模型进行感知，同样能够使初始的特征矩阵T×C中的任意片段时刻Ti与其他时刻Tj都能够感知整个视频的目标行为特征信息或人类行为特征信息。对初始的特征矩阵T×C的感知包括有：采用经过卷积的初始的特征矩阵T′×C训练后的感知器模型对初始的特征矩阵T×C进行感知，对初始的特征举证的感知过程与对经过卷积的初始的特征矩阵相同；使初始的特征矩阵T×C中的任意片段时刻Ti与其他时刻Tj都能够感知整个视频的目标行为特征信息或人类行为特征信息。
其中，
Figure BDA0002250380050000191
时间尺度T和特征维度C可以根据实际情况进行具体设定，但时间尺度T必须为2的倍数，例如可以设定本实施例中的T＝16，32，64，128，256，512等。
在一示例性实施例中，按照帧数进行特征分割，将待检测连续帧图像按照帧数分割为一个或多个特征片段；将分割后的特征片段输入至一个或多个卷积神经网络进行卷积，获得具有时序关系的特征矩阵。由于经过卷积的初始的特征矩阵T′×C也是按照帧数进行分割，所以经过卷积的初始的特征矩阵T′×C也具有时序关系。其中，时序关系包括以下正时序关系、反时序关系、同时包含正时序关系和反时序关系。正时序关系表示从当前特征片段到下一特征片段进行卷积；反时序关系表示从下一特征片段到当前特征片段进行卷积。
如果不考虑时序关系，则经过卷积的初始的特征矩阵T′×C是一个对称矩阵，说明时刻T与时刻Tj的关系是正时序和反时序都一样。如果只考虑正时序，即从时刻Ti到时刻Tj，则该矩阵为上三角矩阵，则说明只有过去的信息能对将来起作用，反之则不成立。如果只考虑反时序，即从时刻Tj到时刻Ti，则该矩阵为下三角矩阵，说明将来的信息能用来更新过去的信息。如果同时考虑正时序和反时序，则是双方向关系(bi-direction relationship)，则利用一个连接层将正时序和反时序级联起来，再利用一个卷积层学习如何融合正时序与反时序，则得到更新后的信息，得到卷积融合后的特征矩阵，其仍为T′×C。
在一示例性实施例中，如图8所示，还包括有图像表征模块M20、分类检测模块M30连接的行为概率模块M60，所述行为概率模块M60用于获取一个或多个能够感知当前帧目标行为特征和其他帧目标行为特征的特征片段，对所述特征片段通过一个或多个卷积神经网络进行卷积，获得用于预测特征片段中出现目标行为的概率。具体地，本申请实施例按照帧数进行分割，选取按照帧数分割的特征片段，对其进行卷积。如图9所示，所述分类检测模块M30包括有第一检测单元D110，用于获取行为概率模块中的概率，根据所述概率设置不同阈值，生成第一分类结果。例如，本申请实施例可以选择卷积融合后的特征矩阵T′×C，对卷积融合后的特征矩阵T′×C再进行一次或多次卷积，得到一条T×1的曲线；根据这个曲线来进行每个视频片段中的行为概率。再根据所述概率设置不同阈值，生成一个或多个第一分类结果或第一类提案(temporal action grouping proposal，时间维度上的行为概率分组提案)，第一分类结果可以用来修正第二分类结果的边界，第一类提案可以用来修正第二类提案的边界，使边界更加精准。
在一示例性实施例中，所述分类检测模块M30中的每一个分类器包括有一层或多层，每一层包括有一个或多个模板、一个或多个待训练的卷积神经网络；所述模板包括一个或多个所述感知器模型、一个或多个训练后的卷积神经网络；所述分类检测模块还包括有第二检测单元，所述第二检测单元用于获取经过卷积的所述初始的特征矩阵，或者，所述初始的特征矩阵，将其输入至所述一个或多个模板中进行卷积和感知；改变卷积和感知后的特征矩阵的时间尺度，使所述分类器中当前层中经过卷积和感知后的特征矩阵的时间尺度为下一层中经过卷积和感知后的特征矩阵的时间尺度的两倍；再对所述分类器中经过卷积和感知后的特征矩阵进行上采样，将上采样结果输入至一个或多个待训练的卷积神经网络进行训练，生成一个或多个第二分类结果。
如图9所示，所述分类检测模块M30还包括有第二检测单元D120，所述第二检测单元D120用于获取特征矩阵T×C，将其输入至所述一个或多个模板中进行卷积和感知；改变卷积和感知后的特征矩阵T×C的时间尺度，使所述分类器中当前层中经过卷积和感知后的特征矩阵T×C的时间尺度为下一层中经过卷积和感知后的特征矩阵T×C的时间尺度的两倍；再对所述分类器中经过卷积和感知后的特征矩阵T×C进行上采样，除了对最后一层布进行上采样，对其他层均进行上采样，将上采样结果输入至一个或多个待训练的卷积神经网络进行训练，生成一个或多个第二分类结果或第二类提案(relation-aware pyramidproposal，关系感知金字塔提案)，第二分类结果或第二类提案可以用来检测时间尺度长短不同的目标行为。
具体地，例如一个分类器结构为金字塔层，最顶层为特征矩阵T×C，则第i层为
Figure BDA0002250380050000201
依次类推，上一层的时间尺度为下一层时间尺度的两倍。时间尺度，即为每个时间点所代表的时间单位，每一层为
Figure BDA0002250380050000202
除了不对金字塔的最后一层进行上采样外，对金字塔层的其他层均进行上采样，再将上采样输入至待训练的卷积神经网络进行卷积训练，根据训练结果生成一个或多个第二分类结果或第二类提案(relation-aware pyramidproposal，关系感知金字塔提案)。
在一示例性实施例中，所述结果合并模块M40获取第一分类结果和第二分类结果，并确定所述第一分类结果与所述第二分类结果中出现目标行为的重合度；筛选出重合度最高的第一分类结果和第二分类结果，将重合度最高的第一分类结果和所述第二分类结果按比例融合得到调整后的边界信息，再对调整边界信息后的提案进行打分、排序，根据排序最靠前或得分值最高的提案确定目标行为检测结果，使当前帧图像能够感知其他帧图像的目标特征行为信息，通过这种感知机制生成的得分值，再根据得分值的高低生成候选时域、区域，不会再出现漏检或误检。其中，本申请实施例中的比例可以根据实际情况进行灵活设定。通过调节提案的边界信息，弥补了现有技术中的缺陷，使本申请能够确定目标行为的开始时间和结束时间，同时还能够适应人类行为的多样性，以及能够适应不同时间尺度的人类行为。
在一示例性实施例中，如图10和图11所示，还包括有与图像获取模块M10、图像表征模块M20连接的样本标定模块M70，所述样本标定模块M70包括：
第一分割单元D130，用于获取一个或多个待检测连续帧图像，将每一个待检测连续帧图像按照帧数分割为多个特征片段；
重叠百分比单元D140，用于计算分类器模板中用于预先训练卷积神经网络的训练样本中目标行为的时间尺度与分割后每一个特征片段中目标行为的时间尺度的重叠百分比分割后每一个特征片段中目标行为的时间尺度的重叠百分比；
标定单元D150，用于获取最大重叠百分比，将与最大重叠百分比所对应的模板中的所有训练样本设置为第一训练样本；其余模板中的训练样本设置为第二训练样本。
针对每一个视频数据，计算每一个模板中训练视频数据中的目标行为时间尺度与当前视频标注中目标行为时间尺度的重叠百分比时间尺度，并将最大重叠百分比所对应的模板中的所有训练视频数据设置为第一训练样本，或者对这些训练视频数据进行标签，并根据第一训练样本将其余模块中的训练视频数据设置为第二训练样本，或设置不同的标签。例如，本申请实施例中，可以将最大重叠百分比所对应的模板中的训练样本设置为正样本或设置标签为1，其余模板中的训练样本设置为负样本或设置标签为0。同时，由于样本或标签的设置方法引入了正负样本类别不平衡，因此，我们需要对负样本进行筛选。
具体地，所述样本标定模块M70还包括有样本筛选单元D160，所述样本筛选单元D160用于获取所有第二训练样本，判断所有第二训练样本所对应的重叠百分比是否小于预设阈值θ，筛选出重叠百分比小于预设阈值θ的第二训练样本。其中的预设阈值θ可以根据实际情况进行灵活设定。筛选出重叠百分比小于预设阈值θ的第二训练样本后，可以认为其是真正的负样本，而其余的负样本则不予计算损失函数。所述样本标定模块还包括有更新单元D170，所述更新单元用于获取重叠百分比小于预设阈值的第二训练样本，根据重叠百分比小于预设阈值的第二训练样本建立用于更新所述一个或多个神经网络、一个或多个分类器的损失函数。损失函数，用于根据第二训练样本明确卷积神经网络、分类器更新参数时的方向。例如，本申请实施例中，设置损失函数的损失为：模板中心点、模板尺度、模板置信度、模板对应的目标行为类别、行为得分等。
根据本系统选择打分机制时，由于每一帧图像所包含的目标特征行为信息都能够感知整个视频所包含的目标行为特征信息，所以能够解决现有技术中的打分机制只关注当前的问题。再对生成的得分进行排序，选择得分值高的生成候选时域、区域，这样不会造成漏检、误检等问题。同时，本系统通过检测行为概率的分类结果对检测时间尺度的分类结果进行边界调整，不仅能够准确定位目标行为的起始时间，还能够使本系统在人类行为检测过程中，能够适应多样化的人类行为和适应不同时间尺度的人类行为。
本申请实施例还提供了一种行为检测设备，获取包含有目标行为的待检测连续帧图像；
利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；
一个或多个分类器，根据所述一个或多个分类器对表征后的待检测连续帧图像进行分类，获取至少两个分类结果；
对所述至少两个分类结果进行合并，获得目标行为检测结果。
在本实施例中，该行为检测设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中行为检测方法所包含步骤的指令(instructions)。
图12为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图13为本申请的一个实施例提供的终端设备的硬件结构示意图。图13是对图12在实现过程中的一个具体的实施例。如图13所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述行为检测方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图13实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图12实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (43)

1.一种行为检测方法，其特征在于，包括有：
获取包含有目标行为的待检测连续帧图像；
利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；
一个或多个分类器，根据所述一个或多个分类器对表征后的待检测连续帧图像进行分类，获取至少两个分类结果；
对所述至少两个分类结果进行合并，获得目标行为检测结果。
2.根据权利要求1所述的行为检测方法，其特征在于，所述目标行为检测结果包括以下至少之一：目标行为中间检测结果、目标行为最终检测结果。
3.根据权利要求2所述的行为检测方法，其特征在于，根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个神经网络中的参数。
4.根据权利要求2所述的行为检测方法，其特征在于，根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个分类器中的参数。
5.根据权利要求1所述的行为检测方法，其特征在于，还包括对待检测连续帧图像进行标注，所述标注包括以下至少之一：对一个或多个目标行为类别进行标注、对一个或多个目标行为的起始时间进行标注。
6.根据权利要求3所述的行为检测方法，其特征在于，还包括根据以下至少之一更新所述一个或多个神经网络中的参数：一个或多个连续帧图像、一个或多个连续帧图像中的目标行为特征。
7.根据权利要求5所述的行为检测方法，其特征在于，所述目标行为特征包括以下至少之一：目标行为类别、目标行为起始时间。
8.根据权利要求7所述的行为检测方法，其特征在于，还包括有将所述目标行为开始时间转化为第一数值，所述目标行为结束时间转化为第二数值。
9.根据权利要求1所述的行为检测方法，其特征在于，利用一个或多个神经网络对待检测连续帧图像进行表征前，还包括对获取的待检测连续帧图像进行特征分割，将待检测连续帧图像分割为一个或多个特征片段。
10.根据权利要求9所述的行为检测方法，其特征在于，所述特征分割包括以下至少之一：按照帧率分割、按照帧数分割或按照时间值分割。
11.根据权利要求9所述的行为检测方法，其特征在于，利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；包括：
获取一个或多个特征片段，将所述特征片段输入至一个或多个卷积神经网络进行卷积，获取初始的特征矩阵；对所述初始的特征矩阵进行卷积后输入至预设感知器模型中进行感知，或者，直接将所述初始的特征矩阵输入至预设感知器模型中进行感知，使每一帧图像能够感知当前帧图像具有的目标行为特征信息和其他帧图像具有的目标行为特征信息。
12.根据权利要求11所述的行为检测方法，其特征在于，所述预设感知模型的感知过程包括：
对所述经过卷积的所述初始的特征矩阵，或者，所述初始的特征矩阵进行数据编码；
对编码后的特征矩阵进行时间尺度压缩，获取均值统计量；
将所述均值统计值输入至一个或多个卷积神经网络进行卷积，对卷积结果进行归一化；
对归一化后的特征矩阵与所述初始的特征矩阵进行合并。
13.根据权利要求9至12任一所述的行为检测方法，其特征在于，按照帧数进行特征分割，将待检测连续帧图像按照帧数分割为一个或多个特征片段；将分割后的特征片段输入至一个或多个卷积神经网络进行卷积，获得具有时序关系的特征矩阵。
14.根据权利要求13所述的行为检测方法，其特征在于，所述时序关系包括以下至少之一：正时序关系、反时序关系、同时包含正时序关系和反时序关系；
其中，正时序关系表示从当前特征片段到下一特征片段进行卷积；反时序关系表示从下一特征片段到当前特征片段进行卷积。
15.根据权利要求14所述的行为检测方法，其特征在于，选取同时包含正时序关系和反时序关系的特征矩阵，将具有正时序关系的特征矩阵与具有反时序关系的特征矩阵进行级联，通过一个或多个卷积神经网络进行卷积融合，获得卷积融合后的特征矩阵。
16.根据权利要求11或12所述的行为检测方法，其特征在于，获取一个或多个能够感知当前帧目标行为特征和其他帧目标行为特征的特征片段，对所述特征片段通过一个或多个卷积神经网络进行卷积，获得用于预测特征片段中出现目标行为的概率。
17.根据权利要求16所述的行为检测方法，其特征在于，获取用于预测特征片段中出现目标行为的概率，根据所述概率设置不同阈值，生成一个或多个第一分类结果。
18.根据权利要求17所述的行为检测方法，其特征在于，每一个分类器包括有一层或多层，每一层包括有一个或多个模板、一个或多个待训练的卷积神经网络；所述模板包括一个或多个所述感知器模型、一个或多个训练后的卷积神经网络；
获取经过卷积的所述初始的特征矩阵，或者所述初始的特征矩阵，将其输入至所述一个或多个模板中进行卷积和感知；
改变卷积和感知后的特征矩阵的时间尺度，使所述分类器中当前层中经过卷积和感知后的特征矩阵的时间尺度为下一层中经过卷积和感知后的特征矩阵的时间尺度的两倍；
再对所述分类器中经过卷积和感知后的特征矩阵进行上采样，将上采样结果输入至一个或多个待训练的卷积神经网络进行训练，生成一个或多个第二分类结果。
19.根据权利要求18所述的行为检测方法，其特征在于，获取第一分类结果和第二分类结果，并确定所述第一分类结果与所述第二分类结果中出现目标行为的重合度；筛选出重合度最高的第一分类结果和第二分类结果，将重合度最高的第一分类结果和所述第二分类结果融合得到目标行为检测结果。
20.根据权利要求9至12中任一所述的行为检测方法，其特征在于，获取一个或多个待检测连续帧图像，将每一个待检测连续帧图像按照帧数分割为多个特征片段；
计算分类器模板中用于预先训练卷积神经网络的训练样本中目标行为的时间尺度与分割后每一个特征片段中目标行为的时间尺度的重叠百分比；
获取最大重叠百分比，将与最大重叠百分比所对应的模板中的所有训练样本设置为第一训练样本；其余模板中的训练样本设置为第二训练样本。
21.根据权利要求20所述的行为检测方法，其特征在于，获取所有第二训练样本，判断所有第二训练样本所对应的重叠百分比是否小于预设阈值，筛选出重叠百分比小于预设阈值的第二训练样本。
22.根据权利要求21所述的行为检测方法，其特征在于，获取重叠百分比小于预设阈值的第二训练样本，根据重叠百分比小于预设阈值的第二训练样本建立用于更新所述一个或多个神经网络、一个或多个分类器的损失函数。
23.一种行为检测系统，其特征在于，包括有：
图像获取模块，用于获取包含有目标行为的待检测连续帧图像；
图像表征模块，用于利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；
分类检测模块，包括有一个或多个分类器，用于根据所述一个或多个分类器对表征后的待检测连续帧图像进行分类，获取至少两个分类结果；
结果合并模块，用于对所述至少两个分类结果进行合并，获得目标行为检测结果。
24.根据权利要求23所述的行为检测系统，其特征在于，所述目标行为检测结果包括以下至少之一：目标行为中间检测结果、目标行为最终检测结果。
25.根据权利要求24所述的行为检测系统，其特征在于，根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个神经网络中的参数。
26.根据权利要求24所述的行为检测系统，其特征在于，根据所述目标行为中间检测结果或目标行为最终检测结果更新所述一个或多个分类器中的参数。
27.根据权利要求23所述的行为检测系统，其特征在于，还包括有图像分割模块，所述图像分割模块用于对获取的待检测连续帧图像进行特征分割，将待检测连续帧图像分割为一个或多个特征片段。
28.根据权利要求27所述的行为检测系统，其特征在于，所述图像分割模块包括有以下至少之一：
帧率分割单元，用于将待检测连续帧图像按照帧率分割为一个或多个特征片段；
帧数分割单元，用于将待检测连续帧图像按照帧数分割为一个或多个特征片段；
时间分割单元，用于将待检测连续帧图像按照时间分割为一个或多个特征片段。
29.根据权利要求27所述的行为检测系统，其特征在于，所述图像表征模块包括有：
所述第一表征单元，用于获取一个或多个特征片段，将所述特征片段输入至一个或多个卷积神经网络进行卷积，获取初始的特征矩阵；
所述第二表征单元，用于对所述初始的特征矩阵进行卷积后输入至预设感知器模型中进行感知，或者，将所述初始的特征矩阵直接输入至预设感知器模型中进行感知，使每一帧图像能够感知当前帧图像具有的目标行为特征信息和其他帧图像具有的目标行为特征信息。
30.根据权利要求29所述的行为检测系统，其特征在于，所述预设感知器模型的感知过程包括有：
编码单元，用于将经过卷积的所述初始的特征矩阵，或者，所述初始的特征矩阵进行数据编码；
压缩单元，用于对编码后的特征矩阵进行时间尺度压缩，获取均值统计量；
处理单元，用于将所述均值统计值输入一个或多个卷积神经网络进行卷积，对卷积结果进行归一化；
合并单元，用于对归一化后的特征矩阵与初始的特征矩阵进行合并。
31.根据权利要求28至30任一所述的行为检测系统，其特征在于，按照帧数进行特征分割，将待检测连续帧图像按照帧数分割为一个或多个特征片段；将分割后的特征片段输入至一个或多个卷积神经网络进行卷积，获得具有时序关系的特征矩阵。
32.根据权利要求31所述的行为检测系统，其特征在于，所述时序关系包括以下至少之一：正时序关系、反时序关系、同时包含正时序关系和反时序关系；
其中，正时序关系表示从当前特征片段到下一特征片段进行卷积；反时序关系表示从下一特征片段到当前特征片段进行卷积。
33.根据权利要求32所述的行为检测系统，其特征在于，选取同时包含正时序关系和反时序关系的特征矩阵，将具有正时序关系的特征矩阵与具有反时序关系的特征矩阵进行级联，通过一个或多个卷积神经网络进行卷积融合，获得卷积融合后的特征矩阵。
34.根据权利要求29或30所述的行为检测系统，其特征在于，还包括有行为概率模块，所述行为概率模块用于获取一个或多个能够感知当前帧目标行为特征和其他帧目标行为特征的特征片段，对所述特征片段通过一个或多个卷积神经网络进行卷积，获得用于预测特征片段中出现目标行为的概率。
35.根据权利要求34所述的行为检测系统，其特征在于，所述分类检测模块包括有第一检测单元，用于获取行为概率模块中的概率，根据所述概率设置不同阈值，生成一个或多个第一分类结果。
36.根据权利要求35所述的行为检测系统，其特征在于，所述分类检测模块中的每一个分类器包括有一层或多层，每一层包括有一个或多个模板、一个或多个待训练的卷积神经网络；所述模板包括一个或多个所述感知器模型、一个或多个训练后的卷积神经网络；
所述分类检测模块还包括有第二检测单元，所述第二检测单元用于获取经过卷积的所述初始的特征矩阵，或者，所述初始的特征矩阵，将其输入至所述一个或多个模板中进行卷积和感知；改变卷积和感知后的特征矩阵的时间尺度，使所述分类器中当前层中经过卷积和感知后的特征矩阵的时间尺度为下一层中经过卷积和感知后的特征矩阵时间尺度的两倍；再对所述分类器中经过卷积和感知后的特征矩阵进行上采样，将上采样结果输入至一个或多个待训练的卷积神经网络进行训练，生成一个或多个第二分类结果。
37.根据权利要求36所述的行为检测系统，其特征在于，所述结果合并模块获取第一分类结果和第二分类结果，并确定所述第一分类结果与所述第二分类结果中出现目标行为的重合度；筛选出重合度最高的第一分类结果和第二分类结果，将重合度最高的第一分类结果和所述第二分类结果融合得到目标行为检测结果。
38.根据权利要求28至30中任一所述的行为检测系统，其特征在于，还包括有样本标定模块，所述样本标定模块包括：
第一分割单元，用于获取一个或多个待检测连续帧图像，将每一个待检测连续帧图像按照帧数分割为多个特征片段；
重叠百分比单元，用于计算分类器模板中用于预先训练卷积神经网络的训练样本中目标行为的时间尺度与分割后每一个特征片段中目标行为的时间尺度的重叠百分比；
标定单元，用于获取最大重叠百分比，将与最大重叠百分比所对应的模板中的所有训练样本设置为第一训练样本；其余模板中的训练样本设置为第二训练样本。
39.根据权利要求38所述的行为检测系统，其特征在于，所述样本标定模块还包括有样本筛选单元，所述样本筛选单元用于获取所有第二训练样本，判断所有第二训练样本所对应的重叠百分比是否小于预设阈值，筛选出重叠百分比小于预设阈值的第二训练样本。
40.根据权利要求39所述的行为检测系统，其特征在于，所述样本标定模块还包括有更新单元，所述更新单元用于获取重叠百分比小于预设阈值的第二训练样本，根据重叠百分比小于预设阈值的第二训练样本建立用于更新所述一个或多个神经网络、一个或多个分类器的损失函数。
41.一种行为检测设备，其特征在于，包括有：
获取包含有目标行为的待检测连续帧图像；
利用一个或多个神经网络对待检测连续帧图像进行表征，使每一帧图像能够感知当前帧图像具有的目标行为特征信息、其他帧图像具有的目标行为特征信息；
一个或多个分类器，根据所述一个或多个分类器对表征后的待检测连续帧图像进行分类，获取至少两个分类结果；
对所述至少两个分类结果进行合并，获得目标行为检测结果。
42.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-22中一个或多个所述的方法。
43.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-22中一个或多个所述的方法。
CN201911031891.6A 2019-10-28 2019-10-28 行为检测方法、系统、机器可读介质及设备 Active CN110796071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911031891.6A CN110796071B (zh) 2019-10-28 2019-10-28 行为检测方法、系统、机器可读介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911031891.6A CN110796071B (zh) 2019-10-28 2019-10-28 行为检测方法、系统、机器可读介质及设备

Publications (2)

Publication Number Publication Date
CN110796071A true CN110796071A (zh) 2020-02-14
CN110796071B CN110796071B (zh) 2021-02-19

Family

ID=69441564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911031891.6A Active CN110796071B (zh) 2019-10-28 2019-10-28 行为检测方法、系统、机器可读介质及设备

Country Status (1)

Country Link
CN (1) CN110796071B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881818A (zh) * 2020-07-27 2020-11-03 复旦大学 医疗行为细粒度识别装置及计算机可读存储介质
WO2021184852A1 (zh) * 2020-03-16 2021-09-23 平安科技（深圳）有限公司 动作区域提取方法、装置、设备及计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065326A (zh) * 2012-12-26 2013-04-24 西安理工大学 基于时-空多尺度运动注意力分析的目标检测方法
CN105632186A (zh) * 2016-03-11 2016-06-01 博康智能信息技术有限公司 检测车辆加塞行为的方法和装置
CN106022229A (zh) * 2016-05-11 2016-10-12 北京航空航天大学 基于视频运动信息特征提取与自适应增强算法的误差反向传播网络的异常行为识别方法
US20170372153A1 (en) * 2014-01-09 2017-12-28 Irvine Sensors Corp. Methods and Devices for Cognitive-based Image Data Analytics in Real Time
CN107992854A (zh) * 2017-12-22 2018-05-04 重庆邮电大学 基于机器视觉的林业生态环境人机交互方法
CN108647582A (zh) * 2018-04-19 2018-10-12 河南科技学院 一种复杂动态环境下目标行为识别与预测方法
CN108830212A (zh) * 2018-06-12 2018-11-16 北京大学深圳研究生院 一种视频行为时间轴检测方法
CN108898047A (zh) * 2018-04-27 2018-11-27 中国科学院自动化研究所 基于分块遮挡感知的行人检测方法及系统
CN109543590A (zh) * 2018-11-16 2019-03-29 中山大学 一种基于行为关联度融合特征的视频人体行为识别算法
CN110032916A (zh) * 2018-01-12 2019-07-19 北京京东尚科信息技术有限公司 一种检测目标物体的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065326A (zh) * 2012-12-26 2013-04-24 西安理工大学 基于时-空多尺度运动注意力分析的目标检测方法
US20170372153A1 (en) * 2014-01-09 2017-12-28 Irvine Sensors Corp. Methods and Devices for Cognitive-based Image Data Analytics in Real Time
CN105632186A (zh) * 2016-03-11 2016-06-01 博康智能信息技术有限公司 检测车辆加塞行为的方法和装置
CN106022229A (zh) * 2016-05-11 2016-10-12 北京航空航天大学 基于视频运动信息特征提取与自适应增强算法的误差反向传播网络的异常行为识别方法
CN107992854A (zh) * 2017-12-22 2018-05-04 重庆邮电大学 基于机器视觉的林业生态环境人机交互方法
CN110032916A (zh) * 2018-01-12 2019-07-19 北京京东尚科信息技术有限公司 一种检测目标物体的方法和装置
CN108647582A (zh) * 2018-04-19 2018-10-12 河南科技学院 一种复杂动态环境下目标行为识别与预测方法
CN108898047A (zh) * 2018-04-27 2018-11-27 中国科学院自动化研究所 基于分块遮挡感知的行人检测方法及系统
CN108830212A (zh) * 2018-06-12 2018-11-16 北京大学深圳研究生院 一种视频行为时间轴检测方法
CN109543590A (zh) * 2018-11-16 2019-03-29 中山大学 一种基于行为关联度融合特征的视频人体行为识别算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUIJUAN XU等: "R-C3D: Region Convolutional 3D Network for Temporal Activity Detection", 《ARXIV:1703.07814V2》 *
JIALIN GAO等: "Relation-Aware Pyramid Network (RapNet) for temporal action proposal", 《ARXIV:1908.03448V1》 *
TIANWEI LIN等: "BSN: Boundary Sensitive Network for Temporal Action Proposal Generation", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
YUE ZHAO等: "Temporal Action Detection with Structured Segment Networks", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184852A1 (zh) * 2020-03-16 2021-09-23 平安科技（深圳）有限公司 动作区域提取方法、装置、设备及计算机可读存储介质
CN111881818A (zh) * 2020-07-27 2020-11-03 复旦大学 医疗行为细粒度识别装置及计算机可读存储介质
CN111881818B (zh) * 2020-07-27 2022-07-22 复旦大学 医疗行为细粒度识别装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN110796071B (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN110796069B (zh) 一种行为检测方法、系统、设备及机器可读介质
CN108090458B (zh) 人体跌倒检测方法和装置
KR102385463B1 (ko) 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체
CN110602527B (zh) 视频处理方法、装置及存储介质
US8750573B2 (en) Hand gesture detection
CN111160434B (zh) 目标检测模型的训练方法、装置及计算机可读存储介质
WO2023040506A1 (zh) 一种基于模型的数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN109002766A (zh) 一种表情识别方法及装置
CN112200187A (zh) 一种目标检测方法、装置、机器可读介质及设备
CN110222582B (zh) 一种图像处理方法和相机
CN108986137B (zh) 人体跟踪方法、装置及设备
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN110796071B (zh) 行为检测方法、系统、机器可读介质及设备
CN111126347B (zh) 人眼状态识别方法、装置、终端及可读存储介质
CN106372603A (zh) 遮挡人脸识别方法及装置
CN113139403A (zh) 违规行为识别方法、装置、计算机设备和存储介质
CN113496208B (zh) 视频的场景分类方法及装置、存储介质、终端
CN110083386B (zh) 随机数产生控制方法、装置、计算机设备及存储介质
CN113793323A (zh) 一种元器件检测方法、系统、设备及介质
CN110796039B (zh) 一种面部瑕疵检测方法、装置、电子设备及存储介质
CN111414910A (zh) 基于双重卷积神经网络的小目标增强检测方法和装置
KR20210041856A (ko) 딥 러닝 기반으로 애니메이션 캐릭터를 학습하는 데 필요한 학습 데이터 생성 방법 및 장치
CN112308143A (zh) 一种基于多样性的样本筛选方法、系统、设备及介质
CN111291666A (zh) 游戏直播视频识别方法、装置、电子设备及存储介质
CN110751004A (zh) 二维码检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 511458 room 1110, jinmaowan, Nansha, No.1, West 4th Street, Jinmao, Nansha District, Guangzhou City, Guangdong Province (self compiled T4 building) (for office use only)

Applicant after: Guangzhou yuncongboyan Intelligent Technology Co., Ltd

Address before: 511458 room 1110, jinmaowan, Nansha, No.1, West 4th Street, Jinmao, Nansha District, Guangzhou City, Guangdong Province (self compiled T4 building) (for office use only)

Applicant before: Guangzhou Boyan Intelligent Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant