CN108985259A - 人体动作识别方法和装置 - Google Patents

人体动作识别方法和装置 Download PDF

Info

Publication number
CN108985259A
CN108985259A CN201810878634.5A CN201810878634A CN108985259A CN 108985259 A CN108985259 A CN 108985259A CN 201810878634 A CN201810878634 A CN 201810878634A CN 108985259 A CN108985259 A CN 108985259A
Authority
CN
China
Prior art keywords
video
human body
key point
sample
frame sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810878634.5A
Other languages
English (en)
Other versions
CN108985259B (zh
Inventor
沈辉
高原
何栋梁
刘霄
李旭斌
孙昊
文石磊
丁二锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810878634.5A priority Critical patent/CN108985259B/zh
Publication of CN108985259A publication Critical patent/CN108985259A/zh
Priority to EP19184608.8A priority patent/EP3605394B1/en
Priority to US16/509,118 priority patent/US11367313B2/en
Application granted granted Critical
Publication of CN108985259B publication Critical patent/CN108985259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了人体动作识别方法和装置。该方法的一具体实施方式包括：对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列；采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图，人体关键点位置热图用于表征预设人体关键点所在位置的概率特征；将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作。该实施方式实现了利用待识别视频中人体关键点的协调配合关系及人体动作的时间连续特性进行动作识别，有利于提升识别精度。

Description

人体动作识别方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及图像处理技术领域，尤其涉及人体动作识别方法和装置。
背景技术
图像处理反映了机器对空间事物的理解，是人工智能技术中的一项重要技术。目前基于静态图像的处理方法在图像分类、目标跟踪等任务上取得了较大的进步，而对于由连续图像帧形成的视频的处理，由于除了空间维度的信息之外，还涉及时间维度的信息，处理复杂度较高。
图像处理可以具体应用在人体动作行为的理解中。在基于图像处理技术的人体动作识别技术中，通常会对利用成像设备采集人体动作图像，然后基于人体动作图像进行静态的分类识别。通常人体动作是受到身体结构之间的协调关系的约束、且在时间上连续的行为，每个动作在时间维度上都具有上下文信息，基于静态图像分类识别的动作识别技术难以对这些信息加以利用。
发明内容
本申请实施例提出了人体动作识别方法和装置。
第一方面，本申请实施例提供了一种人体动作识别方法，包括：对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列；采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图，人体关键点位置热图用于表征预设人体关键点所在位置的概率特征；将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作。
在一些实施例中，上述对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列，包括：将输入的待识别视频划分为多个视频段，从每个视频段中抽取一帧图像作为该视频段的采样图像帧，基于各视频段的采样图像帧生成待识别视频的采样图像帧序列。
在一些实施例中，上述将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作识别结果，包括：将采样图像帧序列中的各采样图像帧的人体关键点位置热图输入已训练的动作分类模型的图像特征提取网络，提取出采样图像帧序列的人体关键点位置特征图；将采样图像帧序列的人体关键点位置特征图输入已训练的动作分类模型的动作特征提取网络，得到采样图像帧序列对应的动作特征；基于采样图像帧序列的动作特征对采样图像帧序列对应的待识别视频所指示的人体动作进行分类，得到待识别视频的人体动作识别结果。
在一些实施例中，上述方法还包括：基于已标注的样本图像集合训练得出人体关键点检测模型，包括：获取样本图像集合，样本图像集合包括样本图像和样本图像中人体关键点位置的标注信息；基于样本图像中标注的人体关键点位置，生成以人体关键点位置为中心、向人体关键点位置的四周概率递减的概率热图，作为样本图像的人体关键点位置热图的标注结果；将样本图像输入待训练的人体关键点检测模型对应的神经网络进行预测，基于待训练的人体关键点检测模型对应的神经网络的预测结果与样本图像的人体关键点位置热图的标注结果之间的差异，迭代调整待训练的人体关键点检测模型对应的神经网络的参数，在满足预设的第一收敛条件时停止迭代，得到已训练的人体关键点检测模型。
在一些实施例中，上述方法还包括：基于已标注的样本视频集合训练得出动作分类模型，包括：获取样本视频集合，样本视频集合包括样本视频和样本视频所指示的人体动作的标注信息；对样本视频进行采样，得到样本视频的样本采样图像帧序列；采用已训练的人体关键点检测模型对样本采样图像帧序列进行关键点检测，得到样本采样图像帧序列中每个样本采样图像帧的人体关键点位置热图；将样本采样图像帧序列的人体关键点位置热图输入待训练的动作分类模型对应的神经网络进行预测，基于待训练的动作分类模型对应的神经网络的预测结果与对应的样本视频所指示的人体动作的标注信息之间的差异，迭代调整待训练的动作分类模型对应的神经网络的参数，在满足预设的第二收敛条件时停止迭代，得到已训练的动作分类模型。
在一些实施例中，上述基于已标注的样本视频集合训练得出动作分类模型，还包括：从样本视频的图像帧中提取出人体区域，对人体区域进行预设缩放倍数的缩放操作和/或预设平移距离的平移操作后生成模拟样本视频，获取模拟样本视频所指示的人体动作的标注信息并将模拟样本视频添加至样本视频集合。
第二方面，本申请实施例提供了一种人体动作识别装置，包括：采样单元，被配置成对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列；检测单元，被配置成采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图，人体关键点位置热图用于表征预设人体关键点所在位置的概率特征；识别单元，被配置成将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作识别结果。
在一些实施例中，上述采样单元进一步被配置成按照如下方式对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列：将输入的待识别视频划分为多个视频段，从每个视频段中抽取一帧图像作为该视频段的采样图像帧，基于各视频段的采样图像帧生成待识别视频的采样图像帧序列。
在一些实施例中，上述识别单元进一步被配置成按照如下方式得到待识别视频对应的人体动作识别结果：将采样图像帧序列中的各采样图像帧的人体关键点位置热图输入已训练的动作分类模型的图像特征提取网络，提取出采样图像帧序列的人体关键点位置特征图；将采样图像帧序列的人体关键点位置特征图输入已训练的动作分类模型的动作特征提取网络，得到采样图像帧序列对应的动作特征；基于采样图像帧序列的动作特征对采样图像帧序列对应的待识别视频所指示的人体动作进行分类，得到待识别视频的人体动作识别结果。
在一些实施例中，上述装置还包括：第一训练单元，被配置成基于已标注的样本图像集合，按照如下方式训练得出人体关键点检测模型：获取样本图像集合，样本图像集合包括样本图像和样本图像中人体关键点位置的标注信息；基于样本图像中标注的人体关键点位置，生成以人体关键点位置为中心、向人体关键点位置的四周概率递减的概率热图，作为样本图像的人体关键点位置热图的标注结果；将样本图像输入待训练的人体关键点检测模型对应的神经网络进行预测，基于待训练的人体关键点检测模型对应的神经网络的预测结果与样本图像的人体关键点位置热图的标注结果之间的差异，迭代调整待训练的人体关键点检测模型对应的神经网络的参数，在满足预设的第一收敛条件时停止迭代，得到已训练的人体关键点检测模型。
在一些实施例中，上述装置还包括：第二训练单元，被配置成基于已标注的样本视频集合，按照如下方式训练得出动作分类模型：获取样本视频集合，样本视频集合包括样本视频和样本视频所指示的人体动作的标注信息；对样本视频进行采样，得到样本视频的样本采样图像帧序列；采用已训练的人体关键点检测模型对样本采样图像帧序列进行关键点检测，得到样本采样图像帧序列中每个样本采样图像帧的人体关键点位置热图；将样本采样图像帧序列的人体关键点位置热图输入待训练的动作分类模型对应的神经网络进行预测，基于待训练的动作分类模型对应的神经网络的预测结果与对应的样本视频所指示的人体动作的标注信息之间的差异，迭代调整待训练的动作分类模型对应的神经网络的参数，在满足预设的第二收敛条件时停止迭代，得到已训练的动作分类模型。
在一些实施例中，上述第二训练单元还被配置成：从样本视频的图像帧中提取出人体区域，对人体区域进行预设缩放倍数的缩放操作和/或预设平移距离的平移操作后生成模拟样本视频，获取模拟样本视频所指示的人体动作的标注信息并将模拟样本视频添加至样本视频集合。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的人体动作识别方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现第一方面提供的人体动作识别方法。
本申请上述实施例的人体动作识别方法和装置，通过对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列，随后采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图，其中人体关键点位置热图用于表征预设人体关键点所在位置的概率特征，之后将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作，实现了利用待识别视频中人体关键点的协调配合关系及人体动作的时间连续特性进行动作识别，有利于提升识别精度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的人体动作识别方法的一个实施例的流程图；
图3是根据本申请的人体动作识别方法的另一个实施例的流程图；
图4是图3所示人体动作识别方法的原理示意图；
图5是根据本申请的人体动作识别方法中训练人体关键点检测模型的一种具体实现方式的流程图；
图6是根据本申请的人体动作识别方法中训练动作分类模型的一种具体实现方式的流程图；
图7是本申请的人体动作识别装置的一个结构示意图；
图8是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的人体动作识别方法或人体动作识别装置的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102，网络103、以及服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102可以是具有成像功能并支持互联网访问的各种电子设备，可以为专用的摄像设备，例如监控摄像头、车载摄像头等，或者是具有摄像功能的其他电子设备，例如智能手机、平板电脑、笔记本电脑等等。
终端设备101、102可以对其成像范围内的人成像，并以视频的方式编码并存储一段时间内采集到的多幅图像。
服务器104可以是对终端设备采集的图像或视频进行处理的服务器。服务器104可以与终端设备101、102连接，接收终端设备101、102传输的图像或视频，对终端设备101、102传输的图像或视频进行特征提取、目标识别等处理，并可以将处理结果反馈给终端设备101、102。
需要说明的是，本申请实施例所提供的人体动作识别方法可以由服务器104执行，相应地，人体动作识别装置可以设置于服务器104中。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
当终端设备包含用于执行物理运算的部件(例如GPU等处理器)时，本申请实施例所提供的人体动作识别方法也可以由终端设备101、102执行，相应地，人体动作识别装置可以设置于终端设备101、102中。
应该理解，图1中的终端设备、网络、服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器。
继续参考图2，其示出了根据本申请的人体动作识别方法的一个实施例的流程200。该人体动作识别方法，包括以下步骤：
步骤201，对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列。
在本实施例中，人体动作识别方法的执行主体可以获取输入的待识别视频，该待识别视频可以是对包含人物的场景进行连续成像形成的待识别视频，可以包括时间连续的多帧图像。
在实践中，上述执行主体可以通过与采集待识别视频的电子设备建立连接来获取待识别视频，或者可以从本地存储器中读取出待识别视频。可选地，上述执行主体可以响应于接收到人体动作识别指令而获取指定的待识别视频，即该待识别视频可以是在人体动作识别指令发出后被读取至上述执行主体中的，例如在实际场景中用户可以指定对某一段待识别视频进行人体动作识别，则可以读取指定的待识别视频作为上述输入的待识别视频。
在获取输入的待识别视频之后，可以对待识别视频进行时间维度的采样，到待识别视频的采样图像帧序列。可以在待识别视频所包含的图像帧中选择其中一些图像帧作为采样图像帧，并按照采样图像帧的生成时间组合为采样图像帧序列。
在本实施的一些可选的实现方式中，可以采用随机抽样的方式，随机地从待识别视频中抽取预设数量的采样图像帧。
在本实施例的另一些可选的实现方式中，可以采用TSN(Temporal SegmentNetwork，时序分段网络)算法，对待识别的视频进行分割采样，具体可以将输入的待识别视频划分为多个视频段，从每个视频段中抽取一帧图像作为该视频段的采样图像帧，并基于各视频段的采样图像帧生成待识别视频的采样图像帧序列。例如可以将输入的待识别视频均匀地划分为k个视频段，在每个视频段内随机地抽取一帧图像，或者抽取每个视频段的起始时刻、中间时刻、或终止时刻的一帧图像，作为该视频段的采样图像帧，然后将各视频段的采样图像帧按照生成时间排序生成采样图像帧序列，则生成的采样图像帧序列包含k个采样图像帧。
本实施例中还可以采用其他已有的采样方法对待识别视频中的图像进行采样，本申请对此不做特殊限定。
步骤202，采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图。
在本实施例中，可以将采样图像帧序列输入已训练的人体关键点检测模型，人体关键点检测模型可以对输入的采样图像帧序列中的每一个采样图像帧进行人体关键点位置检测，生成每个采样图像帧的人体关键点位置热图。其中，人体关键点位置热图用于表征预设人体关键点所在位置的概率特征。在人体关键点位置热图中，每个像素点的像素值表示人体关键点位于该像素点对应位置处的概率。
上述人体关键点可以是影响人体位置姿态的身体结构的关键节点，例如可以是人体关节点。预设人体关键点可以是预先设定的人体关键点，可以例如包括肩关节、肘关节、腕关节、髋关节、膝关节、踝关节等关节点。人体关键点检测模型可以对输入的每一个采样图像帧进行特征提取和关键点定位，检测出图像中上述预设的人体关键点的在不同位置的概率，然后根据检测出的人体关键点在不同位置的概率生成人体关键点位置热图。
可选地，上述人体关键点位置热图可以是多通道的图像，每个通道对应预先设定的一个人体关键点。例如预先设定了N个人体关键点，则人体关键点检测模型可以在每一个采样图像帧中检测N个人体关键点的位置，得到包含N个通道的特征图，每个通道的特征图为一个人体关键点的所在位置的概率特征图。
人体关键点检测模型可以是基于深度神经网络构建的模型，例如可以是基于CNN(Convolutional Neural Network，卷积神经网络)或RNN(Recurrent Neural Network，循环神经网络)等构建的模型。可以预先利用样本数据训练得出人体关键点检测模型，其中样本数据可以包括已标注人体关键点位置的图像。在训练过程中可以调整人体关键点检测模型的参数，使得人体关键点检测模型对以标注人体关键点的图像的检测结果与标注的人体关键点的位置之间的差异不断缩小。
步骤203，将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作。
在本实施例中，可以将步骤202得到的采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型，已训练的动作分类模型可以根据人体关键点位置热图对采样图像帧序列所指示的人体动作进行分类，得到采样图像帧对应的待识别视频中的人体动作的识别结果。
上述已训练的动作分类模型可以是基于深度学习网络构建的模型，例如可以是基于CNN或RNN构建的神经网络。并且，已训练的动作分类模型可以是基于样本数据训练得出的，这里的样本数据可以包括从作为样本的视频中提取出的图像帧序列及该图像帧序列对应的人体动作的标注信息。在实践中，可以标注出样本数据中每段视频对应的人体动作，从而生成该段视频的图像帧序列的标注信息。可以提取样本数据中的每一个图像帧的人体关键点位置热图，将提取出的人体关键点位置热图输入待训练的动作分类模型进行动作分类，在训练过程中可以迭代调整待训练的动作分类模型的参数，使得动作分类模型对样本数据中的图像帧序列的分类结果与对应的标注信息之间的差异不断缩小。
本申请上述实施例的人体动作识别方法，通过对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列，随后采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图，其中人体关键点位置热图用于表征预设人体关键点所在位置的概率特征，之后将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作，实现了利用待识别视频中人体关键点的协调配合关系及人体动作的时间连续特性进行动作识别，有利于提升识别精度。
本申请实施例的一个示例性应用场景为：在无人驾驶车辆行驶时，可以通过车载摄像头采集交警的指挥动作视频，可以在本地或云端利用该视频进行动作识别，对该视频进行采样得到采样图像帧序列，随后采用人体关键点检测模型检测出采样图像帧序列的人体关键位置热图，之后将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型，得到该视频中交警的指挥动作的识别结果。进而无人驾驶车辆可以根据识别结果进行相应的操作，例如靠边停车、减速慢行等。
在一些实施例中，上述动作分类模型可以由多个实现不同功能的神经网络构建而成，例如可以包括图像特征提取网络和动作特征提取网络，其中图像特征提取网络和动作特征提取网络均可以是多层神经网络。这时，在上述步骤203中，可以依次利用图像特征提取网络和动作特征提取网络提取输入的图像帧序列的人体关键点位置热图的特征，并基于提取出的特征识别出人体动作。
请参考图3，其示出了根据本申请的人体动作识别方法的另一个实施例的流程图。如图3所示，本实施例的人体动作识别方法的流程300，包括以下步骤：
步骤301，对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列。
在本实施例中，人体动作识别方法的执行主体可以获取输入的待识别视频，该待识别视频可以是对包含人物的场景进行连续成像形成的待识别视频，可以包括时间连续的多帧图像。
在获取输入的待识别视频之后，可以对待识别视频进行时间维度的采样，到待识别视频的采样图像帧序列。可以在待识别视频所包含的图像帧中选择其中一些图像帧作为采样图像帧，并按照采样图像帧的生成时间组合为采样图像帧序列。
在本实施的一些可选的实现方式中，可以采用随机抽样的方式，随机地从待识别视频中抽取预设数量的采样图像帧。在本实施例的另一些可选的实现方式中，可以将输入的待识别视频划分为多个视频段，从每个视频段中抽取一帧图像作为该视频段的采样图像帧，并基于各视频段的采样图像帧生成待识别视频的采样图像帧序列。
步骤302，采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图。
在本实施例中，可以将采样图像帧序列输入已训练的人体关键点检测模型，对每一个采样图像帧进行人体关键点位置检测，生成每个采样图像帧的人体关键点位置热图。其中，人体关键点位置热图用于表征预设人体关键点所在位置的概率特征。在人体关键点位置热图中，每个像素点的像素值表示关节点在该像素点对应位置处的概率。
上述人体关键点可以是影响人体位置姿态的身体结构的关键节点，例如可以是人体关节点。预设人体关键点可以是预先设定的人体关键点，可以例如包括肩关节、肘关节、腕关节、髋关节、膝关节、踝关节等关节点。人体关键点检测模型可以检测出图像中上述预设的人体关键点的在不同位置的概率，然后根据检测出的人体关键点在不同位置的概率生成人体关键点位置热图。
本实施例中步骤301和步骤302分别与前述实施例的步骤201和步骤202相对应，步骤301和步骤302的具体实现方式还可以与前述步骤201和步骤202的具体实现方式一致，此处不再赘述。
步骤303，将采样图像帧序列中的各采样图像帧的人体关键点位置热图输入已训练的动作分类模型的图像特征提取网络，提取出采样图像帧序列的人体关键点位置特征图。
在本实施例中，可以首先将步骤302得到的采样图像帧序列中的各采样图像帧的人体关键点位置热图输入已训练的动作分类模型的图像特征提取网络，该图像特征提取网络可以是基于卷积神经网络构建的，包含多个卷积层。采样图像帧序列中的每一个采样图像帧的人体关键点位置热图经过多个卷积层提取图像特征之后，可以得到多幅特征图，即得到每一个采样图像帧的人体关键点位置特征图，则对采样图像帧序列中的所有采样图像帧进行图像特征提取之后，可以得出采样图像帧序列的人体关键点位置特征图。
可选地，由于输入动作分类模型的人体关键点位置热图仅包含关键点的位置信息，与人体其他身体结构无关，所以可以设置较少数量的卷积层(例如3层卷积层)作为图像特征提取网络。这样，可以在保证模型的精度的同时提升计算速度。
步骤304，将采样图像帧序列的人体关键点位置特征图输入已训练的动作分类模型的动作特征提取网络，得到采样图像帧序列对应的动作特征。
在提取出各采样图像帧的人体关键点位置特征图之后，可以将同一采样图像帧序列的人体关键点位置特征图输入上述已训练的动作分类模型的动作特征提取网络，从而提取出采样图像帧序列对应的动作特征。在这里，动作特征提取网络可以是用于处理序列化信息的网络，可以例如为LSTM(Long Short-Term Memory，长短期记忆)网络。LSTM网络可以在预测当前采样图像帧的人体关键点位置特征图的输出时利用之前所有采样图像帧的人体关键点位置特征图的信息进行预测，这样可以利用人体动作的时间连续性来提取动作特征。将人体关键点位置特征图按照对应的采样图像帧序列的顺序依次输入动作特征提取网络后，可以提取出采样图像帧序列对应的动作特征。该动作特征可以采用特征向量的形式表示。
步骤305，基于采样图像帧序列的动作特征对采样图像帧序列对应的待识别视频所指示的人体动作进行分类，得到待识别视频的人体动作识别结果。
随后，可以将提取出的动作特征输入已训练的动作分类模型中的全连接层和分类层进行分类。其中，全连接层的每个节点与动作分类模型中上一层(即动作特征提取网络中的最后一层)的所有节点连接，分类层可以是基于softmax函数的分类器或基于sigmod函数的分类器。在经过全连接层和分类层进行分类之后，可以得到人体动作的识别结果，即可以确定出步骤301输入的待识别视频所指示的人体动作。
请参考图4，其示出了图3所示人体动作识别方法的原理示意图。如图4所示，首先，可以对包含多个连续图像帧的待识别视频V进行采样，得到采样图像帧序列S1、S2、S3、….、Sk，其中k为正整数，例如可以将待识别视频切分为多个视频段，从每个视频段中抽取一帧图像作为采样图像帧。然后可以将采样图像帧序列S1、S2、S3、….、Sk输入已训练的人体关键点检测模型，得到采样图像帧序列S1、S2、S3、….、Sk中每个采样图像帧的人体关键点位置热图，其中已训练的人体关键点检测模型可以是包含多个卷积层CONV的卷积神经网络。之后可以将采样图像帧序列中各采样图像帧的人体关键点位置热图输入已训练的动作分类模型进行处理。动作分类模型可以包括由多个卷积层CONV形成的图像特征提取网络、基于LSTM网络的动作特征提取网络、全连接层FC以及分类层C。经过动作分类模型中的图像特征提取网络、动作特征提取网络、全连接层FC以及分类层C处理之后可以得到动作识别结果。
以上图3和图4所示实施例提供的人体动作识别方法，通过采用图像特征提取网络提取每个采样图像帧的图像特征，采用动作特征提取网络提取出包含空间维度和时间维度特征信息的动作特征，并基于动作特征进行动作识别，能够准确地提取出人体关键点的位置特征以及由不同人体关键点协调配合形成的动作的潜在动作特征，利用待识别视频所包含的时间连续性特性进行动作识别，可以进一步提升识别精度。
在上述结合图2、图3、图4描述的实施例中，人体关键点检测模型和动作分类模型都可以是基于样本数据训练得出的。在上述实施例的一些可选的实现方式中，上述人体动作识别模型还可以包括基于已标注的样本图像集合训练得出人体关键点检测模型的步骤和/或基于已标注的样本视频集合训练得出动作分类模型的步骤。
具体地，请继续参考图5和图6，其分别示出了根据本申请的人体动作识别方法中基于已标注的样本图像集合训练得出人体关键点检测模型的一种具体实现方式的流程图和根据本申请的人体动作识别方法中基于已标注的样本视频集合训练得出动作分类模型的一种具体实现方式的流程图。
如图5所示，本实施例的基于已标注的样本图像集合训练得出人体关键点检测模型的方法流程500，包括以下步骤：
步骤501，获取样本图像集合。
样本图像集合可以包括样本图像和样本图像中人体关键点位置的标注信息。在实践中，可以选择包含人体对象的图像作为样本图像，标注出样本图像中的人体关键点，然后计算出人体关键点的图像坐标，作为样本图像中人体关键点位置的标注信息。在本实施例中，可以获取已标注了所包含的人体关键点位置信息的样本图像，来构建样本图像集合，或者可以先选择大量的样本图像构建样本图像集合，然后获取对样本图像集合中的样本图像进行标注得到的标注信息。
步骤502，基于样本图像中标注的人体关键点位置，生成以人体关键点位置为中心、向人体关键点位置的四周概率递减的概率热图，作为样本图像的人体关键点位置热图的标注结果。
随后，可以根据样本图像中标注的人体关键点位置，在人体关键点周围生成以标注的关键点为中心、向四周能量递减的关键点位置概率热图。在概率热图中标注的人体关键点处概率值最高、沿标注的人体关键点向四周概率值逐渐递减。这样，可以对每个标注的人体关键点，生成相应的概率热图。可选地，生成的概率热图可以满足高斯分布。可以将生成的人体关键点的概率热图作为样本图像中对应的人体关键点位置热图的标注结果。
步骤503，将样本图像输入待训练的人体关键点检测模型对应的神经网络进行预测，基于待训练的人体关键点检测模型对应的神经网络的预测结果与样本图像的人体关键点位置热图的标注结果之间的差异，迭代调整待训练的人体关键点检测模型对应的神经网络的参数，在满足预设的第一收敛条件时停止迭代，得到已训练的人体关键点检测模型。
在获取样本图像中对应的人体关键点位置热图的标注结果之后，可以将样本图像输入待训练的人体关键点模型对应的神经网络，利用待训练的人体关键点模型对应的神经网络对样本图像中的人体关键点的位置进行预测，得到样本图像的人体关键点位置热图的预测结果。然后，可以基于样本图像的人体关键点位置热图的预测结果与样本图像的人体关键点位置热图的标注结果之间的差异构建第一损失函数，判断第一损失函数的值是否达到预设的第一收敛值。若第一损失函数的值未达到预设的第一收敛值，则可以采用反向传播算法迭代调整待训练的人体关键点检测模型对应的神经网络的参数，然后利用调整参数后的人体关键点检测模型重新预测样本图像中人体关键点的位置，得到样本图像的人体关键点位置热图的新的预测结果。之后判断是否满足预设的第一收敛条件，具体可以判断第一损失函数的值是否达到预设的第一收敛值和/或迭代次数是否达到预设的第一次数，若损失函数的值达到预设的第一收敛值和/或迭代次数达到预设的第一次数，即满足预设的第一收敛条件，则可以停止迭代，固定人体关键点检测模型对应的神经网络的参数，得到已训练的人体关键点检测模型。若不满足预设的第一收敛条件，则可以采用反向传播算法继续调整待训练的人体关键点检测模型对应的神经网络的参数，直到迭代后满足预设的第一收敛条件，输出已训练的人体关键点检测模型。
如图6所示，本实施例的基于已标注的样本视频集合训练得出动作分类模型的方法流程600，包括以下步骤：
步骤601，获取样本视频集合。
样本视频集合可以包括样本视频和样本视频所指示的人体动作的标注信息。在实践中，可以获取包含人体动作的样本视频，并标注样本视频中的人体动作，生成样本视频的人体动作标注信息。例如可以录制包含人体动作的视频，或者从网络视频资源库中选择包含人体动作的视频作为样本视频，并人工标注样本视频所指示的人体动作。
步骤602，对样本视频进行采样，得到样本视频的样本采样图像帧序列。
在本实施例中，可以采用与待识别视频相同的采样方法，对样本视频进行采样，从样本视频中抽取出多帧样本采样图像，形成样本采样图像帧序列。
在本实施例的一些可选的实现方式中，可以采用TSN算法，对样本视频进行采样，构成样本采样图像帧序列。具体地，可以将样本视频划分为多个视频段，例如可以均匀地分为多个视频段。然后可以从每个视频段中随机选取一帧作为该视频段的采样图像帧，整个样本视频中选取出的采样图像帧构成样本采样图像帧序列。
步骤603，采用已训练的人体关键点检测模型对样本采样图像帧序列进行关键点检测，得到样本采样图像帧序列中每个样本采样图像帧的人体关键点位置热图。
在本实施例中，可以将样本采样图像帧序列输入已训练的人体关键点检测模型进行关键点检测，得到每个样本采样图像帧的人体关键点位置热图。其中，人体关键点位置热图用于表征预设人体关键点所在位置的概率特征。在人体关键点位置热图中，每个像素点的像素值表示关键点在对应位置处的概率。人体关键点可以是预先设定的关键点，可例如为预先设定的肩关节、肘关节、腕关节、髋关节、膝关节、踝关节等与人体动作相关的关节点。在这里，人体关键点检测模型可以是基于深度神经网络构建的模型，例如可以是基于CNN或RNN等构建的模型。人体关键点检测模型可以采用图5所示的方法流程训练得出。
步骤604，将样本采样图像帧序列的人体关键点位置热图输入待训练的动作分类模型对应的神经网络进行预测，基于待训练的动作分类模型对应的神经网络的预测结果与对应的样本视频所指示的人体动作的标注信息之间的差异，迭代调整待训练的动作分类模型对应的神经网络的参数，在满足预设的第二收敛条件时停止迭代，得到已训练的动作分类模型。
之后，可以将样本视频对应的样本图像帧序列的人体关键点位置热图输入待训练的动作分类模型对应的神经网络，得到样本图像帧序列对应的人体动作的预测结果，然后比对待训练的动作分类模型对应的神经网络的预测结果与对应的样本视频所指示的人体动作的标注信息，可以基于比对得出的二者的差异构建第二损失函数，计算第二损失函数的值。接着，可以判断第二损失函数的值是否达到预设的第二收敛值。若第二损失函数的值未达到预设的第二收敛值，则可以采用反向传播算法迭代调整待训练的动作分类模型对应的神经网络的参数，然后利用调整参数后的动作分类模型重新预测样本采样图像帧序列的人体动作，得到样本采样图像帧序列的人体动作的新的预测结果。之后判断是否满足预设的第二收敛条件，具体可以判断第二损失函数的值是否达到预设的第二收敛值和/或迭代次数是否达到预设的第二次数，若第二损失函数的值达到预设的第二收敛值和/或迭代次数达到预设的第二次数，即满足预设的第二收敛条件，则可以停止迭代，固定动作分类模型对应的神经网络的参数，得到已训练的动作分类模型。若不满足预设的第二收敛条件，则可以采用反向传播算法继续调整待训练的动作分类模型对应的神经网络的参数，直到迭代后满足预设的第二收敛条件，输出已训练的动作分类模型。
在本实施例的一些可选的实现方式中，上述基于已标注的样本视频集合训练得出动作分类模型的流程600还可以包括以下步骤：
从样本视频的图像帧中提取出人体区域，对人体区域进行预设缩放倍数的缩放操作和/或预设平移距离的平移操作后生成模拟样本视频，获取模拟样本视频所指示的人体动作的标注信息并将模拟样本视频添加至样本视频集合。
也就是说，可以基于人体区域的边缘特征、颜色特征等从样本视频的图像帧中提取出人体区域，对人体区域进行缩放和/或平移操作后形成新的图像。在这里，缩放倍数和平移距离可以是预先设定的倍数和距离，例如放大2倍、沿图像边缘方向平移100个像素宽度等。缩放倍数和平移距离也可以是根据人体区域在图像中的比例和相对位置确定的。例如当人体区域在图像中占比小于三分之一时，可以按照预设的缩放倍数表，将人体区域放大至少一倍；当人体区域位于图像边缘时，将人体区域平移0.5倍图像宽度或长度的距离以将人体区域移动到图像中间位置处。接着将对人体区域缩放和/或平移操作后生成的图像，按照对应的原图像的时间顺序组合生成模拟样本视频。获取对模拟样本视频中的人体动作进行标注得到的标注信息，然后可以将模拟样本视频加入样本视频集合。这样，可以保证样本视频集合中包含各种尺寸、处于各种不同位置的人体，能够增强训练得出的动作分类模型的鲁棒性。
进一步可选地，在上述缩放操作中，在对人体区域缩小或放大之后，可以利用空白像素填充多余的像素位置，即可以将新产生的像素利用像素值0或255填充。同样地，在上述平移操作之后，可以对平移之前人体区域所在位置的像素进行相同的填充。
在应用上述结合图5和/或图6描述的模型训练方法后，本申请实施例的人体动作识别方法可以基于样本数据训练出可靠的人体关键点检测模型和/或动作分类模型。并且，由于在训练过程中对样本数据和在使用模型进行预测时对实际待识别视频进行了相同或相类似的处理，例如对样本视频进行采样、对待识别的视频也进行采样，又例如对样本图像的人体关键点标注信息进行处理生成样本图像的人体关键点位置热图的标注结果，保持了样本数据与实际预测过程所针对的数据之间的一致性，且样本数据具有良好的随机性，使得训练得出的模型对待识别视频的处理具有较高的准确性。
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种人体动作识别装置的一个实施例，该装置实施例与图2至图6所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例的人体动作识别装置700包括：采样单元701、检测单元702以及识别单元703。其中，采样单元701可以被配置成对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列；检测单元702可以被配置成采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图，人体关键点位置热图用于表征预设人体关键点所在位置的概率特征；识别单元703可以被配置成将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作识别结果。
在一些实施例中，上述采样单元701可以进一步被配置成按照如下方式对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列：将输入的待识别视频划分为多个视频段，从每个视频段中抽取一帧图像作为该视频段的采样图像帧，基于各视频段的采样图像帧生成待识别视频的采样图像帧序列。
在一些实施例中，上述识别单元703可以进一步被配置成按照如下方式将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作识别结果：将采样图像帧序列中的各采样图像帧的人体关键点位置热图输入已训练的动作分类模型的图像特征提取网络，提取出采样图像帧序列的人体关键点位置特征图；将采样图像帧序列的人体关键点位置特征图输入已训练的动作分类模型的动作特征提取网络，得到采样图像帧序列对应的动作特征；基于采样图像帧序列的动作特征对采样图像帧序列对应的待识别视频所指示的人体动作进行分类，得到待识别视频的人体动作识别结果。
在一些实施例中，上述装置700还可以包括：第一训练单元，被配置成基于已标注的样本图像集合，按照如下方式训练得出人体关键点检测模型：获取样本图像集合，样本图像集合包括样本图像和样本图像中人体关键点位置的标注信息；基于样本图像中标注的人体关键点位置，生成以人体关键点位置为中心、向人体关键点位置的四周概率递减的概率热图，作为样本图像的人体关键点位置热图的标注结果；将样本图像输入待训练的人体关键点检测模型对应的神经网络进行预测，基于待训练的人体关键点检测模型对应的神经网络的预测结果与样本图像的人体关键点位置热图的标注结果之间的差异，迭代调整待训练的人体关键点检测模型对应的神经网络的参数，在满足预设的第一收敛条件时停止迭代，得到已训练的人体关键点检测模型。
在一些实施例中，上述装置700还可以包括：第二训练单元，被配置成基于已标注的样本视频集合，按照如下方式训练得出动作分类模型：获取样本视频集合，样本视频集合包括样本视频和样本视频所指示的人体动作的标注信息；对样本视频进行采样，得到样本视频的样本采样图像帧序列；采用已训练的人体关键点检测模型对样本采样图像帧序列进行关键点检测，得到样本采样图像帧序列中每个样本采样图像帧的人体关键点位置热图；将样本采样图像帧序列的人体关键点位置热图输入待训练的动作分类模型对应的神经网络进行预测，基于待训练的动作分类模型对应的神经网络的预测结果与对应的样本视频所指示的人体动作的标注信息之间的差异，迭代调整待训练的动作分类模型对应的神经网络的参数，在满足预设的第二收敛条件时停止迭代，得到已训练的动作分类模型。
在一些实施例中，上述第二训练单元还被配置成：从样本视频的图像帧中提取出人体区域，对人体区域进行预设缩放倍数的缩放操作和/或预设平移距离的平移操作后生成模拟样本视频，获取模拟样本视频所指示的人体动作的标注信息并将模拟样本视频添加至样本视频集合。
应当理解，装置700中记载的诸单元与参考图2至图6描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置700及其中包含的单元，在此不再赘述。
本申请上述实施例的人体动作识别装置700，通过采样单元对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列，随后检测单元采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图，其中人体关键点位置热图包括用于表征预设人体关键点所在位置的概率的特征图，之后识别单元将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作，实现了利用待识别视频中人体关键点的协调配合关系及人体动作的时间连续特性进行动作识别，有利于提升识别精度。
下面参考图8，其示出了适于用来实现本申请实施例的电子设备的计算机系统800的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括采样单元、检测单元和识别单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，采样单元还可以被描述为“对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列；采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图，人体关键点位置热图用于表征预设人体关键点所在位置的概率特征；将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种人体动作识别方法，包括：
对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列；
采用已训练的人体关键点检测模型对所述采样图像帧序列进行关键点检测，得到所述采样图像帧序列中每个采样图像帧的人体关键点位置热图，所述人体关键点位置热图用于表征预设人体关键点所在位置的概率特征；
将所述采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到所述待识别视频对应的人体动作识别结果。
2.根据权利要求1所述的方法，其中，所述对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列，包括：
将输入的待识别视频划分为多个视频段，从每个视频段中抽取一帧图像作为该视频段的采样图像帧，基于各视频段的采样图像帧生成所述待识别视频的采样图像帧序列。
3.根据权利要求1所述的方法，其中，所述将所述采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到所述待识别视频对应的人体动作识别结果，包括：
将所述采样图像帧序列中的各采样图像帧的人体关键点位置热图输入所述已训练的动作分类模型的图像特征提取网络，提取出所述采样图像帧序列的人体关键点位置特征图；
将所述采样图像帧序列的人体关键点位置特征图输入所述已训练的动作分类模型的动作特征提取网络，得到所述采样图像帧序列对应的动作特征；
基于所述采样图像帧序列的动作特征对所述采样图像帧序列对应的待识别视频所指示的人体动作进行分类，得到所述待识别视频的人体动作识别结果。
4.根据权利要求1所述的方法，其中，所述方法还包括：
基于已标注的样本图像集合训练得出所述人体关键点检测模型，包括：
获取样本图像集合，所述样本图像集合包括样本图像和样本图像中人体关键点位置的标注信息；
基于所述样本图像中标注的人体关键点位置，生成以所述人体关键点位置为中心、向所述人体关键点位置的四周概率递减的概率热图，作为所述样本图像的人体关键点位置热图的标注结果；
将所述样本图像输入待训练的人体关键点检测模型对应的神经网络进行预测，基于所述待训练的人体关键点检测模型对应的神经网络的预测结果与所述样本图像的人体关键点位置热图的标注结果之间的差异，迭代调整所述待训练的人体关键点检测模型对应的神经网络的参数，在满足预设的第一收敛条件时停止迭代，得到已训练的人体关键点检测模型。
5.根据权利要求1-4任一项所述的方法，其中，所述方法还包括：
基于已标注的样本视频集合训练得出所述动作分类模型，包括：
获取样本视频集合，所述样本视频集合包括样本视频和样本视频所指示的人体动作的标注信息；
对所述样本视频进行采样，得到样本视频的样本采样图像帧序列；
采用已训练的人体关键点检测模型对所述样本采样图像帧序列进行关键点检测，得到所述样本采样图像帧序列中每个样本采样图像帧的人体关键点位置热图；
将所述样本采样图像帧序列的人体关键点位置热图输入待训练的动作分类模型对应的神经网络进行预测，基于所述待训练的动作分类模型对应的神经网络的预测结果与对应的样本视频所指示的人体动作的标注信息之间的差异，迭代调整所述待训练的动作分类模型对应的神经网络的参数，在满足预设的第二收敛条件时停止迭代，得到已训练的动作分类模型。
6.根据权利要求5所述的方法，其中，所述基于已标注的样本视频集合训练得出所述动作分类模型，还包括：
从所述样本视频的图像帧中提取出人体区域，对所述人体区域进行预设缩放倍数的缩放操作和/或预设平移距离的平移操作后生成模拟样本视频，获取所述模拟样本视频所指示的人体动作的标注信息并将所述模拟样本视频添加至所述样本视频集合。
7.一种人体动作识别装置，包括：
采样单元，被配置成对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列；
检测单元，被配置成采用已训练的人体关键点检测模型对所述采样图像帧序列进行关键点检测，得到所述采样图像帧序列中每个采样图像帧的人体关键点位置热图，所述人体关键点位置热图用于表征预设人体关键点所在位置的概率特征；
识别单元，被配置成将所述采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到所述待识别视频对应的人体动作识别结果。
8.根据权利要求7所述的装置，其中，所述采样单元进一步被配置成按照如下方式对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列：
将输入的待识别视频划分为多个视频段，从每个视频段中抽取一帧图像作为该视频段的采样图像帧，基于各视频段的采样图像帧生成所述待识别视频的采样图像帧序列。
9.根据权利要求7所述的装置，其中，所述识别单元进一步被配置成按照如下方式得到所述待识别视频对应的人体动作识别结果：
将所述采样图像帧序列中的各采样图像帧的人体关键点位置热图输入所述已训练的动作分类模型的图像特征提取网络，提取出所述采样图像帧序列的人体关键点位置特征图；
将所述采样图像帧序列的人体关键点位置特征图输入所述已训练的动作分类模型的动作特征提取网络，得到所述采样图像帧序列对应的动作特征；
基于所述采样图像帧序列的动作特征对所述采样图像帧序列对应的待识别视频所指示的人体动作进行分类，得到所述待识别视频的人体动作识别结果。
10.根据权利要求7所述的装置，其中，所述装置还包括：
第一训练单元，被配置成基于已标注的样本图像集合，按照如下方式训练得出所述人体关键点检测模型：
获取样本图像集合，所述样本图像集合包括样本图像和样本图像中人体关键点位置的标注信息；
基于所述样本图像中标注的人体关键点位置，生成以所述人体关键点位置为中心、向所述人体关键点位置的四周概率递减的概率热图，作为所述样本图像的人体关键点位置热图的标注结果；
将所述样本图像输入待训练的人体关键点检测模型对应的神经网络进行预测，基于所述待训练的人体关键点检测模型对应的神经网络的预测结果与所述样本图像的人体关键点位置热图的标注结果之间的差异，迭代调整所述待训练的人体关键点检测模型对应的神经网络的参数，在满足预设的第一收敛条件时停止迭代，得到已训练的人体关键点检测模型。
11.根据权利要求7-10任一项所述的装置，其中，所述装置还包括：
第二训练单元，被配置成基于已标注的样本视频集合，按照如下方式训练得出所述动作分类模型：
获取样本视频集合，所述样本视频集合包括样本视频和样本视频所指示的人体动作的标注信息；
对所述样本视频进行采样，得到样本视频的样本采样图像帧序列；
采用已训练的人体关键点检测模型对所述样本采样图像帧序列进行关键点检测，得到所述样本采样图像帧序列中每个样本采样图像帧的人体关键点位置热图；
将所述样本采样图像帧序列的人体关键点位置热图输入待训练的动作分类模型对应的神经网络进行预测，基于所述待训练的动作分类模型对应的神经网络的预测结果与对应的样本视频所指示的人体动作的标注信息之间的差异，迭代调整所述待训练的动作分类模型对应的神经网络的参数，在满足预设的第二收敛条件时停止迭代，得到已训练的动作分类模型。
12.根据权利要求11所述的装置，其中，所述第二训练单元还被配置成：
从所述样本视频的图像帧中提取出人体区域，对所述人体区域进行预设缩放倍数的缩放操作和/或预设平移距离的平移操作后生成模拟样本视频，获取所述模拟样本视频所指示的人体动作的标注信息并将所述模拟样本视频添加至所述样本视频集合。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201810878634.5A 2018-08-03 2018-08-03 人体动作识别方法和装置 Active CN108985259B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810878634.5A CN108985259B (zh) 2018-08-03 2018-08-03 人体动作识别方法和装置
EP19184608.8A EP3605394B1 (en) 2018-08-03 2019-07-05 Method and apparatus for recognizing body movement
US16/509,118 US11367313B2 (en) 2018-08-03 2019-07-11 Method and apparatus for recognizing body movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810878634.5A CN108985259B (zh) 2018-08-03 2018-08-03 人体动作识别方法和装置

Publications (2)

Publication Number Publication Date
CN108985259A true CN108985259A (zh) 2018-12-11
CN108985259B CN108985259B (zh) 2022-03-18

Family

ID=64554848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810878634.5A Active CN108985259B (zh) 2018-08-03 2018-08-03 人体动作识别方法和装置

Country Status (3)

Country Link
US (1) US11367313B2 (zh)
EP (1) EP3605394B1 (zh)
CN (1) CN108985259B (zh)

Cited By (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145783A (zh) * 2018-08-03 2019-01-04 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109508698A (zh) * 2018-12-19 2019-03-22 中山大学 一种基于二叉树的人体行为识别方法
CN109740522A (zh) * 2018-12-29 2019-05-10 广东工业大学 一种人员检测方法、装置、设备及介质
CN109784253A (zh) * 2019-01-04 2019-05-21 上海钧正网络科技有限公司 一种单车用户异常行为的检测方法
CN109829451A (zh) * 2019-03-22 2019-05-31 京东方科技集团股份有限公司 生物体动作识别方法、装置、服务器及存储介质
CN109829392A (zh) * 2019-01-11 2019-05-31 平安科技（深圳）有限公司 考场作弊识别方法、系统、计算机设备和存储介质
CN109858444A (zh) * 2019-01-31 2019-06-07 北京字节跳动网络技术有限公司 人体关键点检测模型的训练方法和装置
CN109871775A (zh) * 2019-01-22 2019-06-11 北京影谱科技股份有限公司 一种基于行为检测的滑冰场监控方法和装置
CN109918996A (zh) * 2019-01-17 2019-06-21 平安科技（深圳）有限公司 人员违法动作识别方法、系统、计算机设备和存储介质
CN109979265A (zh) * 2019-04-28 2019-07-05 广州世祥教育科技有限公司 一种动作捕捉智能识别方法及教学系统
CN109993851A (zh) * 2019-04-08 2019-07-09 上海钧正网络科技有限公司 一种单车状态检测方法、装置及电子设备
CN110070029A (zh) * 2019-04-17 2019-07-30 北京易达图灵科技有限公司 一种步态识别方法及装置
CN110390315A (zh) * 2019-07-29 2019-10-29 深兰科技（上海）有限公司 一种图像处理方法及装置
CN110399794A (zh) * 2019-06-20 2019-11-01 平安科技（深圳）有限公司 基于人体的姿态识别方法、装置、设备及存储介质
CN110472554A (zh) * 2019-08-12 2019-11-19 南京邮电大学 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN110532984A (zh) * 2019-09-02 2019-12-03 北京旷视科技有限公司 关键点检测方法、手势识别方法、装置及系统
CN110569772A (zh) * 2019-08-30 2019-12-13 北京科技大学 一种泳池内人员状态检测方法
CN110688929A (zh) * 2019-09-20 2020-01-14 北京华捷艾米科技有限公司 一种人体骨架关节点定位方法及装置
CN110738654A (zh) * 2019-10-18 2020-01-31 中国科学技术大学 髋关节影像中的关键点提取及骨龄预测方法
CN110765967A (zh) * 2019-10-30 2020-02-07 腾讯科技（深圳）有限公司 一种基于人工智能的动作识别方法和相关装置
CN110852185A (zh) * 2019-10-21 2020-02-28 西南民族大学 基于人体骨骼关键点识别的视力检测设备及方法
CN110895809A (zh) * 2019-10-18 2020-03-20 中国科学技术大学 准确提取髋关节影像中关键点的方法
CN110909663A (zh) * 2019-11-20 2020-03-24 北京奇艺世纪科技有限公司 一种人体关键点识别方法、装置及电子设备
CN110909665A (zh) * 2019-11-20 2020-03-24 北京奇艺世纪科技有限公司 一种多任务的图像处理方法、装置、电子设备及存储介质
CN111027481A (zh) * 2019-12-10 2020-04-17 浩云科技股份有限公司 基于人体关键点检测的行为分析方法及装置
CN111178323A (zh) * 2020-01-10 2020-05-19 北京百度网讯科技有限公司 基于视频的群体行为识别方法、装置、设备及存储介质
CN111311732A (zh) * 2020-04-26 2020-06-19 中国人民解放军国防科技大学 3d人体网格获取方法及装置
CN111353349A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 人体关键点检测方法、装置、电子设备及存储介质
CN111401188A (zh) * 2020-03-10 2020-07-10 清华大学 一种基于人体关键点特征的交警手势识别方法
CN111476115A (zh) * 2020-03-23 2020-07-31 深圳市联合视觉创新科技有限公司 一种人体行为识别方法、装置及设备
CN111488773A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种动作识别方法、装置、设备及存储介质
CN111553185A (zh) * 2019-01-16 2020-08-18 联发科技股份有限公司 突出显示处理方法及其关联系统
CN111753796A (zh) * 2020-06-30 2020-10-09 北京爱奇艺科技有限公司 图像中关键点的识别方法、装置、电子设备及存储介质
CN111753801A (zh) * 2020-07-02 2020-10-09 上海万面智能科技有限公司 人体姿态跟踪与动画生成方法及装置
CN111783724A (zh) * 2020-07-14 2020-10-16 上海依图网络科技有限公司 一种目标对象识别方法和装置
CN111783626A (zh) * 2020-06-29 2020-10-16 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备及存储介质
CN111914643A (zh) * 2020-06-30 2020-11-10 西安理工大学 一种基于骨骼关键点检测的人体动作识别方法
CN111967406A (zh) * 2020-08-20 2020-11-20 高新兴科技集团股份有限公司 人体关键点检测模型生成方法、系统、设备和存储介质
CN112163480A (zh) * 2020-09-16 2021-01-01 北京邮电大学 一种行为识别方法及装置
CN112200041A (zh) * 2020-09-29 2021-01-08 Oppo（重庆）智能科技有限公司 视频动作识别方法、装置、存储介质与电子设备
CN112287866A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种基于人体关键点的人体动作识别方法及装置
CN112307868A (zh) * 2019-07-31 2021-02-02 百度（美国）有限责任公司 图像识别方法、电子设备和计算机可读介质
CN112364696A (zh) * 2020-10-13 2021-02-12 特斯联科技集团有限公司 一种利用家庭监控视频提高家庭安全的方法及系统
CN112446244A (zh) * 2019-08-29 2021-03-05 华为技术有限公司 人体动作的识别方法、神经网络的训练方法及相关装置、设备
CN112507954A (zh) * 2020-12-21 2021-03-16 深圳市优必选科技股份有限公司 一种人体关键点识别方法、装置、终端设备及存储介质
CN112580577A (zh) * 2020-12-28 2021-03-30 出门问问(苏州)信息科技有限公司 一种基于面部关键点生成说话人图像的训练方法及装置
CN112655021A (zh) * 2020-04-09 2021-04-13 深圳市大疆创新科技有限公司 图像处理方法、装置、电子设备和存储介质
WO2021068589A1 (zh) * 2019-10-09 2021-04-15 东软睿驰汽车技术（沈阳）有限公司 一种图像中物体及其关键点的确定方法和装置
CN112668359A (zh) * 2019-10-15 2021-04-16 富士通株式会社 动作识别方法、动作识别装置和电子设备
CN112820071A (zh) * 2021-02-25 2021-05-18 泰康保险集团股份有限公司 一种行为识别方法和装置
CN112883931A (zh) * 2021-03-29 2021-06-01 动者科技(杭州)有限责任公司 基于长短期记忆网络的实时真假运动判断方法
CN113111721A (zh) * 2021-03-17 2021-07-13 同济大学 基于多无人机视角图像数据驱动的人体行为智能识别方法
CN113255408A (zh) * 2020-02-11 2021-08-13 深圳绿米联创科技有限公司 行为识别方法、装置、电子设备及存储介质
CN113468913A (zh) * 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理、动作识别、模型训练方法、设备及存储介质
CN113486763A (zh) * 2021-06-30 2021-10-08 上海商汤临港智能科技有限公司 车舱内人员冲突行为的识别方法及装置、设备和介质
CN113569817A (zh) * 2021-09-23 2021-10-29 山东建筑大学 基于图像区域定位机制的驾驶人注意力分散检测方法
CN113569671A (zh) * 2021-07-13 2021-10-29 北京大数医达科技有限公司 异常行为报警方法、装置
CN113657200A (zh) * 2021-07-28 2021-11-16 上海影谱科技有限公司 一种基于掩码r-cnn的视频行为动作识别方法及系统
CN113920583A (zh) * 2021-10-14 2022-01-11 根尖体育科技（北京）有限公司 细粒度行为识别模型构建方法及系统
CN114022900A (zh) * 2021-10-29 2022-02-08 北京百度网讯科技有限公司 检测模型的训练方法、检测方法、装置、设备和介质
WO2022027895A1 (zh) * 2020-08-07 2022-02-10 上海商汤临港智能科技有限公司 异常坐姿识别方法、装置、电子设备、存储介质及程序
CN114384819A (zh) * 2020-10-02 2022-04-22 丰田自动车株式会社 服务管理装置
CN114596637A (zh) * 2022-03-23 2022-06-07 北京百度网讯科技有限公司 图像样本数据增强训练方法、装置及电子设备
CN114944010A (zh) * 2022-05-13 2022-08-26 此刻启动(北京)智能科技有限公司 一种动作数据的保存方法和系统
CN115083022A (zh) * 2022-08-22 2022-09-20 深圳比特微电子科技有限公司 一种宠物行为识别方法、装置和可读存储介质
CN115214430A (zh) * 2022-03-23 2022-10-21 广州汽车集团股份有限公司 车辆座椅调节方法及车辆
CN115810203A (zh) * 2022-12-19 2023-03-17 天翼爱音乐文化科技有限公司 一种障碍物躲避识别方法、系统、电子设备及存储介质
WO2023087420A1 (zh) * 2021-11-17 2023-05-25 南京航空航天大学 一种基于热红外视觉的停机坪人体动作识别方法及系统
CN116311537A (zh) * 2023-05-18 2023-06-23 讯龙(广东)智能科技有限公司 一种视频动作识别算法模型的训练方法、存储介质及系统
CN116597426A (zh) * 2023-05-26 2023-08-15 北京中科睿途科技有限公司 一种司乘人员安全状态的识别方法和装置
CN117392606A (zh) * 2023-10-19 2024-01-12 应急管理部大数据中心 基于图像识别的粉尘设备维护行为监测方法和系统
WO2024060978A1 (zh) * 2022-09-20 2024-03-28 广州市百果园信息技术有限公司 关键点检测模型训练及虚拟角色驱动的方法和装置
CN117854114A (zh) * 2024-03-06 2024-04-09 中国地质大学（武汉） 一种斑马鱼求偶行为智能识别方法、设备及介质
CN117953591A (zh) * 2024-03-27 2024-04-30 中国人民解放军空军军医大学 一种智能肢体康复辅助方法及设备

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059522B (zh) * 2018-01-19 2021-06-25 北京市商汤科技开发有限公司 人体轮廓关键点检测方法、图像处理方法、装置及设备
CN109766473B (zh) * 2018-11-30 2019-12-24 北京达佳互联信息技术有限公司 信息交互方法、装置、电子设备及存储介质
US11103748B1 (en) * 2019-03-05 2021-08-31 Physmodo, Inc. System and method for human motion detection and tracking
US11663494B2 (en) 2019-12-05 2023-05-30 Uchicago Argonne, Llc Systems and methods for hierarchical multi-objective optimization
US11651839B2 (en) 2020-03-02 2023-05-16 Uchicago Argonne, Llc Systems and methods for generating phase diagrams for metastable material states
CN111353447B (zh) * 2020-03-05 2023-07-04 辽宁石油化工大学 一种基于图卷积网络的人体骨架行为识别方法
CN113468924B (zh) * 2020-03-31 2024-06-18 北京沃东天骏信息技术有限公司 关键点检测模型训练方法和装置、关键点检测方法和装置
CN111462209B (zh) * 2020-03-31 2022-05-24 北京市商汤科技开发有限公司 动作迁移方法、装置、设备及存储介质
US11710038B2 (en) * 2020-04-13 2023-07-25 Uchicago Argonne, Llc Systems and methods for active learning from sparse training data
CN112102947B (zh) * 2020-04-13 2024-02-13 国家体育总局体育科学研究所 用于身体姿态评估的装置和方法
CN111680544B (zh) * 2020-04-24 2023-07-21 北京迈格威科技有限公司 人脸识别方法、装置、系统、设备及介质
CN111539360B (zh) * 2020-04-28 2022-11-22 重庆紫光华山智安科技有限公司 安全带佩戴识别方法、装置及电子设备
IT202000011569A1 (it) * 2020-05-19 2021-11-19 Ikonic S R L Sistema e procedimento di profilazione
CN111598035B (zh) * 2020-05-22 2023-05-23 北京爱宾果科技有限公司 一种视频处理方法及系统
CN111563480B (zh) * 2020-06-01 2024-01-12 北京嘀嘀无限科技发展有限公司 冲突行为检测方法、装置、计算机设备和存储介质
CN111680624A (zh) * 2020-06-08 2020-09-18 上海眼控科技股份有限公司 行为检测方法、电子设备和存储介质
CN111814588B (zh) * 2020-06-18 2023-08-01 浙江大华技术股份有限公司 行为检测方法以及相关设备、装置
CN111767985B (zh) * 2020-06-19 2022-07-22 深圳市商汤科技有限公司 一种神经网络的训练方法、视频识别方法及装置
CN111881754A (zh) * 2020-06-28 2020-11-03 浙江大华技术股份有限公司 行为检测的方法、系统、设备和计算机设备
CN111898642B (zh) * 2020-06-30 2021-08-13 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
CN111913574B (zh) * 2020-07-15 2024-04-30 抖音视界有限公司 用于控制设备的方法、装置、电子设备和计算机可读介质
CN111950419A (zh) * 2020-08-03 2020-11-17 中国民用航空华东地区空中交通管理局 图像信息预测方法、装置、计算机设备和存储介质
US11514605B2 (en) * 2020-09-29 2022-11-29 International Business Machines Corporation Computer automated interactive activity recognition based on keypoint detection
CN112203018A (zh) * 2020-09-30 2021-01-08 钟竞 一种基于人工智能的相机防抖动自适应调节方法及系统
CN112257579A (zh) * 2020-10-21 2021-01-22 平安科技（深圳）有限公司 模型训练方法、动作识别方法、装置、设备及存储介质
CN112395978B (zh) * 2020-11-17 2024-05-03 平安科技（深圳）有限公司 行为检测方法、装置及计算机可读存储介质
CN112464882B (zh) * 2020-12-11 2021-09-10 东莞先知大数据有限公司 连续动作的识别方法、装置、介质及设备
CN112529895B (zh) * 2020-12-23 2023-07-25 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质
CN112633221A (zh) * 2020-12-30 2021-04-09 深圳市捷顺科技实业股份有限公司 一种人脸方向的检测方法及相关装置
CN112966592A (zh) * 2021-03-03 2021-06-15 北京百度网讯科技有限公司 手部关键点检测方法、装置、设备和介质
CN112966599B (zh) * 2021-03-04 2023-07-28 北京百度网讯科技有限公司 关键点识别模型的训练方法、关键点识别方法及装置
KR102530222B1 (ko) 2021-03-17 2023-05-09 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법
CN113111838A (zh) * 2021-04-25 2021-07-13 上海商汤智能科技有限公司 行为识别方法及装置、设备和存储介质
CN113556599A (zh) * 2021-07-07 2021-10-26 深圳创维－Rgb电子有限公司 视频教学方法、装置、电视机及存储介质
CN113553952A (zh) * 2021-07-23 2021-10-26 上海商汤智能科技有限公司 异常行为识别方法及装置、设备、存储介质、程序产品
CN113673412B (zh) * 2021-08-17 2023-09-26 驭势（上海）汽车科技有限公司 关键目标物的识别方法、装置、计算机设备及存储介质
CN114419856A (zh) * 2021-11-25 2022-04-29 珠海格力电器股份有限公司 一种踢被检测预警系统及其控制方法和空调器
CN114187177B (zh) * 2021-11-30 2024-06-07 抖音视界有限公司 特效视频的生成方法、装置、设备及存储介质
US20230252784A1 (en) * 2022-02-04 2023-08-10 Walid Mohamed Aly AHMED Methods, systems, and media for identifying human coactivity in images and videos using neural networks
CN115240106B (zh) * 2022-07-12 2023-06-20 北京交通大学 任务自适应的小样本行为识别方法及系统
CN115061590B (zh) * 2022-08-17 2023-03-17 芯见(广州)科技有限公司 基于视频识别的kvm坐席系统控制方法及kvm坐席系统
CN115147872B (zh) * 2022-08-30 2022-11-22 北京竞业达数字系统科技有限公司 一种考场中教师行为的检测方法及系统
CN115471917B (zh) * 2022-09-29 2024-02-27 中国电子科技集团公司信息科学研究院 手势探测识别系统及方法
CN115714888B (zh) * 2022-10-09 2023-08-29 名之梦(上海)科技有限公司 视频生成方法、装置、设备与计算机可读存储介质
CN115410137B (zh) * 2022-11-01 2023-04-14 杭州新中大科技股份有限公司 基于时空特征的双流工人劳动状态识别方法
DE102022133342A1 (de) 2022-12-14 2024-06-20 Continental Automotive Technologies GmbH Computer- implementiertes Verfahren zur Aktionserkennung und Anwendung für die Überwachung von Fahrzeuginsassen oder Personen außerhalb des Fahrzeugs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171127A1 (en) * 2014-12-15 2016-06-16 Autodesk, Inc. Skin-based approach to virtual modeling
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107832708A (zh) * 2017-11-09 2018-03-23 云丁网络技术(北京)有限公司 一种人体动作识别方法及装置
CN107992836A (zh) * 2017-12-12 2018-05-04 中国矿业大学(北京) 一种矿工不安全行为的识别方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7715589B2 (en) * 2005-03-07 2010-05-11 Massachusetts Institute Of Technology Occluding contour detection and storage for digital photography
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US8611642B2 (en) * 2011-11-17 2013-12-17 Apple Inc. Forming a steroscopic image using range map
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
JP6618766B2 (ja) * 2015-10-27 2019-12-11 株式会社デンソーテン 画像処理装置および画像処理方法
CN107273782B (zh) * 2016-04-08 2022-12-16 微软技术许可有限责任公司 使用递归神经网络的在线动作检测
CN109690554B (zh) * 2016-07-21 2023-12-05 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
US10699421B1 (en) * 2017-03-29 2020-06-30 Amazon Technologies, Inc. Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
US10646288B2 (en) * 2017-04-12 2020-05-12 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
US10699152B1 (en) * 2017-12-13 2020-06-30 Amazon Technologies, Inc. Image data illumination detection
GB2578325B (en) * 2018-10-24 2023-02-15 Future Health Works Ltd Computer based object detection within a video or image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171127A1 (en) * 2014-12-15 2016-06-16 Autodesk, Inc. Skin-based approach to virtual modeling
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107832708A (zh) * 2017-11-09 2018-03-23 云丁网络技术(北京)有限公司 一种人体动作识别方法及装置
CN107992836A (zh) * 2017-12-12 2018-05-04 中国矿业大学(北京) 一种矿工不安全行为的识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG FENG ET AL.: "Learning Effective Gait Features Using LSTM", 《2016 23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *

Cited By (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145783A (zh) * 2018-08-03 2019-01-04 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109145783B (zh) * 2018-08-03 2022-03-25 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109508698A (zh) * 2018-12-19 2019-03-22 中山大学 一种基于二叉树的人体行为识别方法
CN109508698B (zh) * 2018-12-19 2023-01-10 中山大学 一种基于二叉树的人体行为识别方法
CN111353349B (zh) * 2018-12-24 2023-10-17 杭州海康威视数字技术股份有限公司 人体关键点检测方法、装置、电子设备及存储介质
CN111353349A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 人体关键点检测方法、装置、电子设备及存储介质
CN109740522A (zh) * 2018-12-29 2019-05-10 广东工业大学 一种人员检测方法、装置、设备及介质
CN109784253A (zh) * 2019-01-04 2019-05-21 上海钧正网络科技有限公司 一种单车用户异常行为的检测方法
CN109829392A (zh) * 2019-01-11 2019-05-31 平安科技（深圳）有限公司 考场作弊识别方法、系统、计算机设备和存储介质
CN111553185B (zh) * 2019-01-16 2023-10-24 联发科技股份有限公司 突出显示处理方法及其关联系统
CN111553185A (zh) * 2019-01-16 2020-08-18 联发科技股份有限公司 突出显示处理方法及其关联系统
CN109918996A (zh) * 2019-01-17 2019-06-21 平安科技（深圳）有限公司 人员违法动作识别方法、系统、计算机设备和存储介质
CN109871775A (zh) * 2019-01-22 2019-06-11 北京影谱科技股份有限公司 一种基于行为检测的滑冰场监控方法和装置
CN111488773A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种动作识别方法、装置、设备及存储介质
CN109858444A (zh) * 2019-01-31 2019-06-07 北京字节跳动网络技术有限公司 人体关键点检测模型的训练方法和装置
US11138416B2 (en) 2019-03-22 2021-10-05 Boe Technology Group Co., Ltd. Method and apparatus for recognizing an organism action, server, and storage medium
CN109829451A (zh) * 2019-03-22 2019-05-31 京东方科技集团股份有限公司 生物体动作识别方法、装置、服务器及存储介质
CN109993851A (zh) * 2019-04-08 2019-07-09 上海钧正网络科技有限公司 一种单车状态检测方法、装置及电子设备
CN110070029A (zh) * 2019-04-17 2019-07-30 北京易达图灵科技有限公司 一种步态识别方法及装置
CN109979265A (zh) * 2019-04-28 2019-07-05 广州世祥教育科技有限公司 一种动作捕捉智能识别方法及教学系统
CN110399794A (zh) * 2019-06-20 2019-11-01 平安科技（深圳）有限公司 基于人体的姿态识别方法、装置、设备及存储介质
CN110390315A (zh) * 2019-07-29 2019-10-29 深兰科技（上海）有限公司 一种图像处理方法及装置
CN112307868A (zh) * 2019-07-31 2021-02-02 百度（美国）有限责任公司 图像识别方法、电子设备和计算机可读介质
CN112307868B (zh) * 2019-07-31 2024-04-19 百度（美国）有限责任公司 图像识别方法、电子设备和计算机可读介质
CN110472554B (zh) * 2019-08-12 2022-08-30 南京邮电大学 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN110472554A (zh) * 2019-08-12 2019-11-19 南京邮电大学 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN112446244A (zh) * 2019-08-29 2021-03-05 华为技术有限公司 人体动作的识别方法、神经网络的训练方法及相关装置、设备
CN110569772B (zh) * 2019-08-30 2022-03-08 北京科技大学 一种泳池内人员状态检测方法
CN110569772A (zh) * 2019-08-30 2019-12-13 北京科技大学 一种泳池内人员状态检测方法
CN110532984A (zh) * 2019-09-02 2019-12-03 北京旷视科技有限公司 关键点检测方法、手势识别方法、装置及系统
CN110532984B (zh) * 2019-09-02 2022-10-11 北京旷视科技有限公司 关键点检测方法、手势识别方法、装置及系统
CN110688929A (zh) * 2019-09-20 2020-01-14 北京华捷艾米科技有限公司 一种人体骨架关节点定位方法及装置
CN110688929B (zh) * 2019-09-20 2021-11-30 北京华捷艾米科技有限公司 一种人体骨架关节点定位方法及装置
WO2021068589A1 (zh) * 2019-10-09 2021-04-15 东软睿驰汽车技术（沈阳）有限公司 一种图像中物体及其关键点的确定方法和装置
CN112668359A (zh) * 2019-10-15 2021-04-16 富士通株式会社 动作识别方法、动作识别装置和电子设备
CN110895809A (zh) * 2019-10-18 2020-03-20 中国科学技术大学 准确提取髋关节影像中关键点的方法
CN110895809B (zh) * 2019-10-18 2022-07-15 中国科学技术大学 准确提取髋关节影像中关键点的方法
CN110738654A (zh) * 2019-10-18 2020-01-31 中国科学技术大学 髋关节影像中的关键点提取及骨龄预测方法
CN110738654B (zh) * 2019-10-18 2022-07-15 中国科学技术大学 髋关节影像中的关键点提取及骨龄预测方法
CN110852185A (zh) * 2019-10-21 2020-02-28 西南民族大学 基于人体骨骼关键点识别的视力检测设备及方法
CN110765967A (zh) * 2019-10-30 2020-02-07 腾讯科技（深圳）有限公司 一种基于人工智能的动作识别方法和相关装置
CN110765967B (zh) * 2019-10-30 2022-04-22 腾讯科技（深圳）有限公司 一种基于人工智能的动作识别方法和相关装置
CN110909665B (zh) * 2019-11-20 2022-09-02 北京奇艺世纪科技有限公司 一种多任务的图像处理方法、装置、电子设备及存储介质
CN110909663B (zh) * 2019-11-20 2022-10-25 北京奇艺世纪科技有限公司 一种人体关键点识别方法、装置及电子设备
CN110909663A (zh) * 2019-11-20 2020-03-24 北京奇艺世纪科技有限公司 一种人体关键点识别方法、装置及电子设备
CN110909665A (zh) * 2019-11-20 2020-03-24 北京奇艺世纪科技有限公司 一种多任务的图像处理方法、装置、电子设备及存储介质
CN111027481A (zh) * 2019-12-10 2020-04-17 浩云科技股份有限公司 基于人体关键点检测的行为分析方法及装置
CN111027481B (zh) * 2019-12-10 2023-04-07 浩云科技股份有限公司 基于人体关键点检测的行为分析方法及装置
CN111178323A (zh) * 2020-01-10 2020-05-19 北京百度网讯科技有限公司 基于视频的群体行为识别方法、装置、设备及存储介质
CN111178323B (zh) * 2020-01-10 2023-08-29 北京百度网讯科技有限公司 基于视频的群体行为识别方法、装置、设备及存储介质
CN113255408A (zh) * 2020-02-11 2021-08-13 深圳绿米联创科技有限公司 行为识别方法、装置、电子设备及存储介质
CN113255408B (zh) * 2020-02-11 2024-03-29 深圳绿米联创科技有限公司 行为识别方法、装置、电子设备及存储介质
CN111401188B (zh) * 2020-03-10 2023-10-31 清华大学 一种基于人体关键点特征的交警手势识别方法
CN111401188A (zh) * 2020-03-10 2020-07-10 清华大学 一种基于人体关键点特征的交警手势识别方法
CN111476115B (zh) * 2020-03-23 2023-08-29 深圳市联合视觉创新科技有限公司 一种人体行为识别方法、装置及设备
CN111476115A (zh) * 2020-03-23 2020-07-31 深圳市联合视觉创新科技有限公司 一种人体行为识别方法、装置及设备
CN113468913A (zh) * 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理、动作识别、模型训练方法、设备及存储介质
CN112655021A (zh) * 2020-04-09 2021-04-13 深圳市大疆创新科技有限公司 图像处理方法、装置、电子设备和存储介质
CN111311732A (zh) * 2020-04-26 2020-06-19 中国人民解放军国防科技大学 3d人体网格获取方法及装置
CN111783626A (zh) * 2020-06-29 2020-10-16 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备及存储介质
CN111783626B (zh) * 2020-06-29 2024-03-26 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备及存储介质
CN111753796B (zh) * 2020-06-30 2024-03-08 北京爱奇艺科技有限公司 图像中关键点的识别方法、装置、电子设备及存储介质
CN111914643A (zh) * 2020-06-30 2020-11-10 西安理工大学 一种基于骨骼关键点检测的人体动作识别方法
CN111753796A (zh) * 2020-06-30 2020-10-09 北京爱奇艺科技有限公司 图像中关键点的识别方法、装置、电子设备及存储介质
CN111753801A (zh) * 2020-07-02 2020-10-09 上海万面智能科技有限公司 人体姿态跟踪与动画生成方法及装置
CN111783724B (zh) * 2020-07-14 2024-03-26 上海依图网络科技有限公司 一种目标对象识别方法和装置
CN111783724A (zh) * 2020-07-14 2020-10-16 上海依图网络科技有限公司 一种目标对象识别方法和装置
WO2022027895A1 (zh) * 2020-08-07 2022-02-10 上海商汤临港智能科技有限公司 异常坐姿识别方法、装置、电子设备、存储介质及程序
CN111967406A (zh) * 2020-08-20 2020-11-20 高新兴科技集团股份有限公司 人体关键点检测模型生成方法、系统、设备和存储介质
CN112163480A (zh) * 2020-09-16 2021-01-01 北京邮电大学 一种行为识别方法及装置
CN112200041A (zh) * 2020-09-29 2021-01-08 Oppo（重庆）智能科技有限公司 视频动作识别方法、装置、存储介质与电子设备
CN114384819B (zh) * 2020-10-02 2024-06-11 丰田自动车株式会社 服务管理装置
CN114384819A (zh) * 2020-10-02 2022-04-22 丰田自动车株式会社 服务管理装置
CN112364696B (zh) * 2020-10-13 2024-03-19 特斯联科技集团有限公司 一种利用家庭监控视频提高家庭安全的方法及系统
CN112364696A (zh) * 2020-10-13 2021-02-12 特斯联科技集团有限公司 一种利用家庭监控视频提高家庭安全的方法及系统
CN112287866B (zh) * 2020-11-10 2024-05-31 上海依图网络科技有限公司 一种基于人体关键点的人体动作识别方法及装置
CN112287866A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种基于人体关键点的人体动作识别方法及装置
CN112507954A (zh) * 2020-12-21 2021-03-16 深圳市优必选科技股份有限公司 一种人体关键点识别方法、装置、终端设备及存储介质
CN112507954B (zh) * 2020-12-21 2024-01-19 深圳市优必选科技股份有限公司 一种人体关键点识别方法、装置、终端设备及存储介质
CN112580577B (zh) * 2020-12-28 2023-06-30 出门问问(苏州)信息科技有限公司 一种基于面部关键点生成说话人图像的训练方法及装置
CN112580577A (zh) * 2020-12-28 2021-03-30 出门问问(苏州)信息科技有限公司 一种基于面部关键点生成说话人图像的训练方法及装置
CN112820071B (zh) * 2021-02-25 2023-05-05 泰康保险集团股份有限公司 一种行为识别方法和装置
CN112820071A (zh) * 2021-02-25 2021-05-18 泰康保险集团股份有限公司 一种行为识别方法和装置
CN113111721B (zh) * 2021-03-17 2022-07-05 同济大学 基于多无人机视角图像数据驱动的人体行为智能识别方法
CN113111721A (zh) * 2021-03-17 2021-07-13 同济大学 基于多无人机视角图像数据驱动的人体行为智能识别方法
CN112883931A (zh) * 2021-03-29 2021-06-01 动者科技(杭州)有限责任公司 基于长短期记忆网络的实时真假运动判断方法
CN113486763A (zh) * 2021-06-30 2021-10-08 上海商汤临港智能科技有限公司 车舱内人员冲突行为的识别方法及装置、设备和介质
CN113569671A (zh) * 2021-07-13 2021-10-29 北京大数医达科技有限公司 异常行为报警方法、装置
CN113657200A (zh) * 2021-07-28 2021-11-16 上海影谱科技有限公司 一种基于掩码r-cnn的视频行为动作识别方法及系统
CN113569817A (zh) * 2021-09-23 2021-10-29 山东建筑大学 基于图像区域定位机制的驾驶人注意力分散检测方法
CN113920583A (zh) * 2021-10-14 2022-01-11 根尖体育科技（北京）有限公司 细粒度行为识别模型构建方法及系统
CN114022900A (zh) * 2021-10-29 2022-02-08 北京百度网讯科技有限公司 检测模型的训练方法、检测方法、装置、设备和介质
WO2023087420A1 (zh) * 2021-11-17 2023-05-25 南京航空航天大学 一种基于热红外视觉的停机坪人体动作识别方法及系统
CN114596637B (zh) * 2022-03-23 2024-02-06 北京百度网讯科技有限公司 图像样本数据增强训练方法、装置及电子设备
CN115214430A (zh) * 2022-03-23 2022-10-21 广州汽车集团股份有限公司 车辆座椅调节方法及车辆
CN114596637A (zh) * 2022-03-23 2022-06-07 北京百度网讯科技有限公司 图像样本数据增强训练方法、装置及电子设备
CN115214430B (zh) * 2022-03-23 2023-11-17 广州汽车集团股份有限公司 车辆座椅调节方法及车辆
CN114944010A (zh) * 2022-05-13 2022-08-26 此刻启动(北京)智能科技有限公司 一种动作数据的保存方法和系统
CN115083022A (zh) * 2022-08-22 2022-09-20 深圳比特微电子科技有限公司 一种宠物行为识别方法、装置和可读存储介质
WO2024060978A1 (zh) * 2022-09-20 2024-03-28 广州市百果园信息技术有限公司 关键点检测模型训练及虚拟角色驱动的方法和装置
CN115810203A (zh) * 2022-12-19 2023-03-17 天翼爱音乐文化科技有限公司 一种障碍物躲避识别方法、系统、电子设备及存储介质
CN115810203B (zh) * 2022-12-19 2024-05-10 天翼爱音乐文化科技有限公司 一种障碍物躲避识别方法、系统、电子设备及存储介质
CN116311537A (zh) * 2023-05-18 2023-06-23 讯龙(广东)智能科技有限公司 一种视频动作识别算法模型的训练方法、存储介质及系统
CN116597426A (zh) * 2023-05-26 2023-08-15 北京中科睿途科技有限公司 一种司乘人员安全状态的识别方法和装置
CN117392606A (zh) * 2023-10-19 2024-01-12 应急管理部大数据中心 基于图像识别的粉尘设备维护行为监测方法和系统
CN117854114A (zh) * 2024-03-06 2024-04-09 中国地质大学（武汉） 一种斑马鱼求偶行为智能识别方法、设备及介质
CN117854114B (zh) * 2024-03-06 2024-06-04 中国地质大学（武汉） 一种斑马鱼求偶行为智能识别方法、设备及介质
CN117953591A (zh) * 2024-03-27 2024-04-30 中国人民解放军空军军医大学 一种智能肢体康复辅助方法及设备

Also Published As

Publication number Publication date
EP3605394B1 (en) 2023-12-13
US11367313B2 (en) 2022-06-21
US20200042776A1 (en) 2020-02-06
EP3605394A1 (en) 2020-02-05
CN108985259B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN108985259A (zh) 人体动作识别方法和装置
CN109145781B (zh) 用于处理图像的方法和装置
CN110210393A (zh) 人脸图像的检测方法和装置
CN108197623A (zh) 用于检测目标的方法和装置
CN110119757A (zh) 模型训练方法、视频类别检测方法、装置、电子设备和计算机可读介质
CN108416324A (zh) 用于检测活体的方法和装置
CN111259779B (zh) 一种基于中心点轨迹预测的视频动作检测方法
CN108256479A (zh) 人脸跟踪方法和装置
CN109191453A (zh) 用于生成图像类别检测模型的方法和装置
CN109902659A (zh) 用于处理人体图像的方法和装置
CN110503703A (zh) 用于生成图像的方法和装置
CN109308490A (zh) 用于生成信息的方法和装置
CN110009614A (zh) 用于输出信息的方法和装置
CN109858444A (zh) 人体关键点检测模型的训练方法和装置
CN109145828A (zh) 用于生成视频类别检测模型的方法和装置
CN108133197B (zh) 用于生成信息的方法和装置
CN108491823A (zh) 用于生成人眼识别模型的方法和装置
CN110443824A (zh) 用于生成信息的方法和装置
CN108509921A (zh) 用于生成信息的方法和装置
CN110263748A (zh) 用于发送信息的方法和装置
CN115210752A (zh) 缺陷检测方法及装置、模型训练方法及装置及电子设备
CN109815964A (zh) 提取图像的特征图的方法和装置
CN110310299A (zh) 用于训练光流网络、以及处理图像的方法和装置
CN110516598A (zh) 用于生成图像的方法和装置
CN110163052B (zh) 视频动作识别方法、装置和机器设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant