CN111881854A - 动作识别方法、装置、计算机设备及存储介质 - Google Patents

动作识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111881854A
CN111881854A CN202010755553.3A CN202010755553A CN111881854A CN 111881854 A CN111881854 A CN 111881854A CN 202010755553 A CN202010755553 A CN 202010755553A CN 111881854 A CN111881854 A CN 111881854A
Authority
CN
China
Prior art keywords
feature
action
motion detection
image
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010755553.3A
Other languages
English (en)
Inventor
王飞
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202010755553.3A priority Critical patent/CN111881854A/zh
Publication of CN111881854A publication Critical patent/CN111881854A/zh
Priority to KR1020227026434A priority patent/KR20220122735A/ko
Priority to JP2021565729A priority patent/JP2022546153A/ja
Priority to PCT/CN2021/087693 priority patent/WO2022021948A1/zh
Priority to TW110123621A priority patent/TWI776566B/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Hardware Redundancy (AREA)

Abstract

本公开提供了一种动作识别方法、装置、计算机设备及存储介质，其中，该方法包括：获取第一图像；识别所述第一图像中包含目标对象的目标图像区域；利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理，得到所述目标对象对应的多种第一动作检测结果；其中，不同动作检测分支检测的动作类别不同；基于与多个动作检测分支分别对应的第一动作检测结果，确定所述目标对象的第二动作检测结果。本公开实施例通过利用具有多个动作检测分支的动作检测网络对学生的动作进行识别，能够得到学生做出多种动作中每种动作的检测结果，进而能够全面的对学生的动作进行识别。

Description

动作识别方法、装置、计算机设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及一种动作识别方法、装置、计算机设备及存储介质。
背景技术
当前互联网教育行业发展迅速，为学生与老师提供了方便舒适的上课环境。课堂交互智能化是当前互联网教育的重要方向。课堂交互智能化主要包括基于学生动作识别与表情识别方面的智能化。而传统互联网教育主要是通过电子按铃等方式完成学生与老师的互动，学生的状态难以辨别，体验较为局限。
发明内容
本公开实施例至少提供一种动作识别方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种动作识别方法，包括：获取第一图像；识别所述第一图像中包含目标对象的目标图像区域；利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理，得到所述目标对象对应的多种第一动作检测结果；其中，不同动作检测分支检测的动作类别不同；基于与多个动作检测分支分别对应的第一动作检测结果，确定所述目标对象的第二动作检测结果。
这样，通过利用具有多个动作检测分支的动作检测网络对学生的动作进行识别，其中，不同的动作检测分支能够检测的动作类别不同，进而能够通过一次检测处理过程，得到学生做出多种动作中每种动作的检测结果，从而能够全面、准确地对学生的动作进行识别。
一种可选的实施方式中，所述识别所述第一图像中包含目标对象的目标图像区域，包括：对所述第一图像进行特征提取处理，得到所述第一图像的第一特征图；所述第一特征图包括多个特征通道分别对应的特征子图；不同所述特征子图中包含的特征不同；基于多个特征子图中的第一特征子图包含的特征，确定所述目标对象的中心点在所述第一特征图中的第一坐标信息；以及基于所述中心点在所述第一特征图中的第一坐标信息以及所述多个特征子图中的第二特征子图中包含的特征，确定所述目标对象在所述第一特征图中的第一尺寸信息；基于所述第一坐标信息以及所述第一尺寸信息，确定所述目标图像区域。
这样，能够准确的从第一图像中确定出包括了目标对象的目标图像区域。
一种可选的实施方式中，所述基于多个特征子图中的第一特征子图包含的特征，确定所述目标对象的中心点在所述第一特征图中的第一坐标信息，包括：按照预设的池化尺寸和池化步长，对所述第一特征子图进行最大池化处理，得到多个池化值以及与多个所述池化值中的每个池化值对应的位置索引；所述位置索引用于标识所述池化值在所述第一特征子图中的位置；基于所述每个池化值以及第一阈值，从多个所述池化值中确定属于所述中心点的目标池化值；基于所述目标池化值对应的位置索引，确定所述中心点在所述第一特征图中的第一坐标信息。
这样，通过对第一特征子图进行最大池化处理，进而能够更准确的从多个池化值中确定属于目标对象的中心点的目标池化值，从而更精确的将目标对象的位置从第一图像中确定出来。
一种可选的实施方式中，所述基于所述第一坐标信息以及所述第一尺寸信息，确定所述目标图像区域，包括：基于所述第一坐标信息、所述第一尺寸信息、以及所述第一特征图中的第一特征点和所述第一图像中各个像素点之间的位置映射关系，确定所述中心点在所述第一图像中的第二坐标信息、以及所述目标对象在所述第一图像中的第二尺寸信息；基于所述第二坐标信息、以及所述的第二尺寸信息，确定所述目标图像区域。
一种可选的实施方式中，所述基于所述第二坐标信息、以及所述的第二尺寸信息，确定所述目标图像区域，包括：基于所述第二坐标信息、以及所述第二尺寸信息，从所述第一图像中确定包含所述目标对象的第一区域范围；基于包含所述目标对象的第一区域范围，确定包含所述目标对象的第二区域范围，所述第二区域范围大于所述第一区域范围；基于所述第二区域范围，从所述第一图像中确定所述目标图像区域。
这样，通过对第一区域范围进行外扩，得到第一区域范围，能够将目标对象更完整的包括在内，从而在基于目标图像区域检测目标对象做出的动作时，能够得到更精确的检测结果。
一种可选的实施方式中，所述动作检测网络包括：特征提取网络以及与所述特征提取网络连接的多个动作检测分支网络；所述利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理，包括：利用所述特征提取网络对所述目标图像区域进行特征提取处理，得到所述目标图像区域的第二特征图；利用多个所述动作检测分支网络分别对所述第二特征图进行动作检测处理，得到与每个所述动作检测分支网络分别对应的第一动作检测结果。
这样，利用多个动作检测分支网络分别对目标图像区域的第二特征图进行动作检测处理，实现对每个目标对象的目标图像区域进行多种动作类别的检测，进而得到每个目标对象更加全面的动作检测结果。
一种可选的实施方式中，所述利用多个所述动作检测分支网络分别对所述第二特征图进行动作检测处理，得到与每个所述动作检测分支网络分别对应的第一动作检测结果，包括：针对多个动作检测分支网络中的每个动作检测分支网络，利用所述每个动作检测分支网络对所述第二特征图进行动作检测处理，得到所述目标对象做出所述动作检测分支网络检测的动作类别的概率；基于所述概率、以及预先确定的第二阈值，确定与所述每个动作检测分支网络对应的第一动作检测结果。
第二方面，本公开实施例还提供一种动作识别装置，包括：获取模块，用于获取第一图像；识别模块，用于识别所述第一图像中包含目标对象的目标图像区域；检测模块，用于利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理，得到所述目标对象对应的多种第一动作检测结果；其中，不同动作检测分支检测的动作类别不同；确定模块，用于基于与多个动作检测分支分别对应的第一动作检测结果，确定所述目标对象的第二动作检测结果。
一种可能的实施方式中，所述识别模块，在识别所述第一图像中包含目标对象的目标图像区域时，用于：对所述第一图像进行特征提取处理，得到所述第一图像的第一特征图；所述第一特征图包括多个特征通道分别对应的特征子图；不同所述特征子图中包含的特征不同；基于多个特征子图中的第一特征子图包含的特征，确定所述目标对象的中心点在所述第一特征图中的第一坐标信息；以及基于所述中心点在所述第一特征图中的第一坐标信息以及所述多个特征子图中的第二特征子图中包含的特征，确定所述目标对象在所述第一特征图中的第一尺寸信息；基于所述第一坐标信息以及所述第一尺寸信息，确定所述目标图像区域。
一种可能的实施方式中，所述识别模块，在基于多个特征子图中的第一特征子图包含的特征，确定所述目标对象的中心点在所述第一特征图中的第一坐标信息时，用于：按照预设的池化尺寸和池化步长，对所述第一特征子图进行最大池化处理，得到多个池化值以及与多个所述池化值中的每个池化值对应的位置索引；所述位置索引用于标识所述池化值在所述第一特征子图中的位置；基于所述每个池化值以及第一阈值，从多个所述池化值中确定属于所述中心点的目标池化值；基于所述目标池化值对应的位置索引，确定所述中心点在所述第一特征图中的第一坐标信息。
一种可能的实施方式中，所述识别模块，在基于所述第一坐标信息以及所述第一尺寸信息，确定所述目标图像区域时，用于：基于所述第一坐标信息、所述第一尺寸信息、以及所述第一特征图中的第一特征点和所述第一图像中各个像素点之间的位置映射关系，确定所述中心点在所述第一图像中的第二坐标信息、以及所述目标对象在所述第一图像中的第二尺寸信息；基于所述第二坐标信息、以及所述的第二尺寸信息，确定所述目标图像区域。
一种可能的实施方式中，所述识别模块，在基于所述第二坐标信息、以及所述的第二尺寸信息，确定所述目标图像区域时，用于：基于所述第二坐标信息、以及所述第二尺寸信息，从所述第一图像中确定包含所述目标对象的第一区域范围；基于包含所述目标对象的第一区域范围，确定包含所述目标对象的第二区域范围，所述第二区域范围大于所述第一区域范围；基于所述第二区域范围，从所述第一图像中确定所述目标图像区域。
一种可能的实施方式中，所述动作检测网络包括：特征提取网络以及与所述特征提取网络连接的多个动作检测分支网络；所述检测模块，在利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理时，用于：利用所述特征提取网络对所述目标图像区域进行特征提取处理，得到所述目标图像区域的第二特征图；利用多个所述动作检测分支网络分别对所述第二特征图进行动作检测处理，得到与每个所述动作检测分支网络分别对应的第一动作检测结果。
一种可能的实施方式中，所述检测模块，在利用多个所述动作检测分支网络分别对所述第二特征图进行动作检测处理，得到与每个所述动作检测分支网络分别对应的第一动作检测结果时，用于：针对多个动作检测分支网络中的每个动作检测分支网络，利用所述每个动作检测分支网络对所述第二特征图进行动作检测处理，得到所述目标对象做出所述动作检测分支网络检测的动作类别的概率；基于所述概率、以及预先确定的第二阈值，确定与所述每个动作检测分支网络对应的第一动作检测结果。
第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种动作识别方法的流程图；
图2示出了本公开实施例所提供的识别第一图像中包含目标对象的目标图像区域的具体方法的流程图；
图3示出了本公开实施例所提供的一种动作识别网络的结构的示意图；
图4示出了本公开实施例所提供的一种动作识别装置的示意图；
图5示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，基于计算机视觉的课堂学生动作识别，主要通过人体检测、追踪与动作分类技术，分析课堂上学生的动作，包括站立、举手、趴桌子等行为。在针对学生的动作分类识别时，模型结构的设计通常为多分类的设计，例如，对于站立、举手、趴桌子三种动作，会通过一个三分类的神经网络，预测出学生做出站立、举手和趴桌子三种动作中每一种动作的概率；然后将其中概率最大者确定为学生做出的动作。但在实际的课堂中，学生可能同时做出多个动作，例如举手和站立同时发生，或者举手和趴桌子同时发生。但当前的检测方法并不能检测到学生同时做出的多种动作，导致对课堂上学生的动作识别存在不全面的问题。
基于上述研究，本公开提供了一种动作识别方法，通过利用具有多个动作检测分支的动作检测网络对学生的动作进行识别，其中，不同的动作检测分支能够检测的动作类别不同，进而能够通过一次检测处理过程，得到学生做出多种动作中每种动作的检测结果，从而能够全面、准确地对学生的动作进行识别。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种动作识别方法进行详细介绍，本公开实施例所提供的动作识别方法的执行主体一般为动作识别设备，该动作识别设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该动作识别方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为动作识别设备为例对本公开实施例提供的动作识别方法加以说明。需要注意的是，本公开实施例提供的动作识别方法不仅仅能够在课堂上对学生的动作进行识别，还可以应用于其他可以同时做出多种动作的动作检测的场景。
参见图1所示，为本公开实施例提供的动作识别方法的流程图，所述方法包括步骤S101～S104，其中：
S101：获取第一图像；
S102：识别所述第一图像中包含目标对象的目标图像区域；
S103：利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理，得到所述目标对象对应的多种第一动作检测结果；其中，不同动作检测分支检测的动作类别不同；
S104：基于与多个动作检测分支分别对应的第一动作检测结果，确定所述目标对象的第二动作检测结果。
在本公开实施例提供的动作识别方法中，目标对象，例如包括人、动物、机械设备、车辆、机器人等中任一种。
动作检测网络，例如为对神经网络进行训练后，得到的能够对第一图像中包括的目标对象做所做出的动作进行检测的神经网络模型。在该神经网络模型中，包括多个动作检测分支，动作检测分支又称检测头，是动作检测网络中的分支网络。各个检测头，能够分别得到目标对象执行某种类别的动作的概率。不同检测头，检测的动作类别不同。与每个动作检测分支对应的第一动作检测结果，能够指示目标对象是否执行与对应动作检测分支检测的动作类别。第二动作检测结果，能够指示目标对象是否执行与多个动作检测分支分别检测的动作类别。
本公开实施例在获取第一图像后，识别第一图像中包含的目标对象的目标图像区域，后利用具有多个动作检测分支的动作检测网络，对目标图像区域进行动作检测处理，得到目标对象对应多种第一动作检测结果，然后基于与多个动作检测分支分别对应的第一动作检测结果，确定目标对象的第二动作检测结果，进而能够通过一次检测处理过程，得到学生做出多种动作中每种动作的检测结果，从而能够全面、准确地对学生的动作进行识别。
本公开实施例以将动作识别方法应用于对学生进行动作检测为例，对上述S101～S104加以详细描述。
I：在上述S101中，针对不同的应用场景，获取第一图像的方式有所区别。
示例性的，针对将该方法应用于课堂场景下，可以在老师授课的教室中设置动作识别设备，该动作识别设备例如为终端设备；动作识别设备能够通过在授课的教室中安装的摄像头实时获取学生上课时的第一图像；或者在动作识别设备上设置有摄像头，动作识别设备能够通过自身设置的摄像头获取学生上课时的第一图像。
在网络课堂场景下，动作识别设备例如为教师终端、学生终端、或者服务器；在动作识别设备为教师终端的情况下，学生终端连接有摄像头；学生终端通过摄像头捕捉包括有学生的第一图像，并将该第一图像发送至教师终端；教师终端接收学生终端发送的第一图像，并基于第一图像对学生做出的动作进行检测。在动作识别设备为学生终端的情况下，学生终端连接有摄像头，学生终端通过其连接的摄像头获取包括有学生的第一图像，并基于第一图像对学生做出的动作进行检测，然后将检测结果发送至教师终端，从而使得教师能够通过教师终端实时获知学生所做出的动作。在动作识别设备为服务器的情况下，服务器接收学生终端发送的第一图像，并基于第一图像对学生做出的动作进行检测，然后将检测结果发送至教师终端。
II：在上述S102中，在获取的第一图像中，除了包括目标对象外，还包括有其他图像背景信息，图像背景信息可能会对目标对象的第二动作检测结果造成一定的干扰，因此可以首先对第一图像中包括的目标对象的目标图像区域进行检测，然后基于目标图像区域实现对目标对象的动作检测。
示例性地，参见图2所示，本公开实施例提供一种识别所述第一图像中包含目标对象的目标图像区域的具体方法，包括：
S201：对所述第一图像进行特征提取处理，得到所述第一图像的第一特征图；所述第一特征图包括多个特征通道分别对应的特征子图；不同所述特征子图中包含的特征不同。
此处，例如可以利用卷积神经网络对第一图像进行特征提取处理，得到第一图像的第一特征图。在利用卷积神经网络对第一图像进行特征提取处理后，得到第一图像的第一特征图。
示例性的，第一特征图由多个通道的特征子图构成；多个特征子图叠加后，形成第一特征图。
S202：基于多个特征子图中的第一特征子图包含的特征，确定所述目标对象的中心点在所述第一特征图中的第一坐标信息；以及基于所述中心点在所述第一特征图中的第一坐标信息以及所述多个特征子图中的第二特征子图中包含的特征，确定所述目标对象在所述第一特征图中的第一尺寸信息。
示例性的，在构成第一特征图的多个特征子图中，第i个通道的特征子图(也即上述第一特征子图)中包含的特征，用于表征第一特征图中的各个第一特征点是否为目标对象的中心点。可以利用sigmoid激活函数对第一特征子图进行激活处理，将第一特征图中的各个第一特征点在第一特征子图中的特征值，转换为a1至a2之间的数值。示例性的，a1例如为0；a2例如为1。
其中针对某个第一特征点而言，该第一特征点在第一特征子图中的特征值在转换至0至1之间的数值后，对应的数值越趋向于1，则其属于目标对象的中心点的概率也就越大。
进而，能够基于各个第一特征点在第一特征子图中的特征值转换至0至1之间后的数值，确定各个目标对象的中心点在第一特征图中对应的第一特征点，并将确定的第一特征点的第一坐标信息，确定为目标对象的中心点在第一特征图中的第一坐标信息。
在另一种可能的实施方式中，在实际预测过程中，在将第一特征图中的各个第一特征点在第一特征子图中的特征值，转换为0至1之间的数值后，位置接近的第一特征点对应的数值也可能较为接近；为了能够为每个目标对象确定唯一的中心点，本公开实施例还可以采用下述方式确定所述目标对象的中心点在所述第一特征图中的第一坐标信息：
按照预设的池化尺寸和池化步长，对所述第一特征子图进行最大池化处理，得到多个池化值以及与多个所述池化值中的每个池化值对应的位置索引；所述位置索引用于标识所述池化值在所述第一特征子图中的位置；
基于所述每个池化值以及第一阈值，从多个所述池化值中确定属于所述中心点的目标池化值；
基于所述目标池化值对应的位置索引，确定所述中心点在所述第一特征图中的第一坐标信息。
示例性的，例如可以对第一特征子图进行3×3，且步长为1的最大池化处理；在池化时，针对每3×3个第一特征点在第一特征子图中的特征值，确定3×3个第一特征点的最大响应值及最大响应值在都第一特征图上的位置索引。此时，最大响应值的数量与第一特征图的尺寸相关；例如若第一特征图的尺寸为80×60×3，则在对第一特征子图进行最大池化处理后，得到的最大响应值共80×60个；且对于每个最大响应值，都可能存在至少一个其他最大响应值与其位置索引相同。
然后将位置索引相同的最大响应值合并，得到M个最大响应值，以及M个最大响应值中每个最大响应值对应的位置索引。
然后将M个最大响应值中的每个最大响应值与第一阈值进行比对；在某最大响应值大于该第一阈值时，将该最大响应值确定为目标池化值。目标池化值对应的位置索引，即目标对象的中心点在第一特征图中的第一坐标信息。
这里，可以在对第一特征子图进行激活处理，将第一特征图中的各个第一特征点在第一特征子图中的特征值转换为0-1之间的数值后，再进行最大池化处理，也可以直接对第一特征子图进行最大池化处理。
在对第一特征子图直接进行最大池化处理的情况下，可以在对第一特征子图进行最大池化处理后，将各个池化值利用激活了函数进行激活处理，将各个池化值转换为0-1之间的数值，然后再基于第一转换为0-1之间的数值的池化值以及第一阈值，得从多个池化值中确定属于目标对象的中心点的目标池化值。
另外，在对第一特征子图直接进行最大池化处理的情况下，可以在对第一特征子图进行最大池化处理后，还可以直接基于池化值以及第一阈值，从多个池化值中确定属于目标对象的中心点的目标池化值，此时，第一阈值和上述几种要进行激活处理的示例中的第一阈值的值不同。具体可以根据实际的需要进行具体选择。
在另一示例中，在在构成第一特征图的多个特征子图中，第j个通道和第k个通道的特征子图(也即上述第二特征子图)中包含的特征，用于表征第一图像的目标对象在第一特征图中的第一尺寸信息。
示例性的，第一特征图中的各个第一特征点在第j个通道的特征子图中的特征值，表征与各个第一特征点的对应的第一尺寸信息中的长度值；各个第一特征点在第k个通道的特征子图中的特征值，表征与各个第一特征点对应的第一尺寸信息中的宽度值。
例如，在特征子图的数量为3时，i例如为0，j例如为1；k例如为2。具体的i、j和k的取值，根据实际的神经网络处理过程进行设定。
在得到中心点在第一特征图中的第一坐标信息后，基于该第一坐标信息，从第二特征子图中读取表征中心点的第一特征点在第二特征子图中的特征值，并将读取的特征值确定为目标对象在第一特征图中的第一尺寸信息。
S203：基于所述第一坐标信息以及所述第一尺寸信息，确定所述目标图像区域。
在具体实施中，在对第一图像进行特征提取处理，得到第一图像的第一特征图后，会生成第一图像中各个像素点、与第一特征图中的第一特征点之间的位置映射关系。基于该位置映射关系，能够基于中心点在第一特征图中的第一坐标信息，确定中心点在第一图像中的第二坐标信息，并基于目标对象在第一特征图中的第一尺寸信息，确定目标对象在第一图像中的第二尺寸信息，然后根据中心点在第一图像中的第二坐标信息、以及目标对象在第一图像中的第二尺寸信息，确定目标图像区域。
在基于第二坐标信息、以及第二尺寸信息确定目标图像区域时，在一种可能的实施方式中，可以直接将基于第二坐标信息、以及第二尺寸信息确定为目标图像区域；在另一种可能的实施方式中，还可以基于第二坐标信息和第二尺寸信息，从第一图像中确定包括目标对象的第一区域范围，然后基于第一区域范围，从第一图像中确定包含目标对象的第二区域范围。此处，第二区域范围大于第一区域范围，然后基于第二区域范围，从第一图像中确定目标图像区域。
III：在上述S103中，动作检测网络例如包括：特征提取网络以及与所述特征提取网络连接的多个动作检测分支网络。其中，每个动作检测分支网络对应一动作检测分支，且不同动作检测分支网络检测的动作类别不同。
在利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理时，例如可以采用下述过程：
利用所述特征提取网络对所述目标图像区域进行特征提取处理，得到所述目标图像区域的第二特征图；
此处，例如可以利用多个所述动作检测分支网络分别对所述第二特征图进行动作检测处理，得到与每个所述动作检测分支网络分别对应的第一动作检测结果。
针对多个动作检测分支网络中的每个动作检测分支网络，利用所述每个动作检测分支网络对所述第二特征图进行动作检测处理，得到所述目标对象做出所述动作检测分支网络检测的动作类别的概率；基于所述概率、以及预先确定的第二阈值，确定与所述每个动作检测分支网络对应的第一动作检测结果。
示例性的，参见图3所示，本公开实施例提供一种动作检测网络的具体结构的示例；在将本公开实施例提供的动作识别方法用于对课堂上学生的动作识别时，动作检测分支网络有三个，分别为A、B和C，动作检测分支网络A检测的动作类别为：站立；动作检测分支网络B检测的动作类别为举手，动作检测分支网络C检测的动作类别为趴桌子。则在获取第一图图像，并确定第一图像中的各个学生在第一图像中的目标图像区域后，利用特征提取网络M，对各个学生对应的目标图像区域进行特征提取处理，得到每个学生对应的第二特征图，然后利用动作检测分支网络A对第二特征图进行动作检测处理，得到该学生做出站立动作的概率，然后根据该学生做出站立动作的概率，以及对应的第二阈值，确定该学生做出站立动作的动作检测结果，例如，在动作检测分支网络A得到的学生做出站立动作的概率，大于对应的第二阈值时，则确定该学生做出站立动作。
类似的，利用动作检测分支网络B对第二特征图进行动作检测处理，得到该学生做出举手动作的概率，并根据该学生做出举手动作的概率，以及对应的第二阈值，确定该学生做出举手动作的动作检测结果。
利用动作检测分支网络C对第二特征图进行动作检测处理，得到该学生做出趴桌子动作的概率，并根据该学生做出趴桌子动作的概率，以及对应的第二阈值，确定该学生做出趴桌子动作的第一动作检测结果s1。
最终基于该学生做出站立动作、做出举手动作、做出趴桌子动作分别对应的第一动作检测结果，确定该学生最终的第二动作检测结果。
例如，若动作检测分支网络A得到的第一动作检测结果为：未站立，动作检测分支网络B得到的第一动作检测结果为：举手；动作检测分支网络C得到的第一动作检测结果为：未趴桌子，则对应的第二动作检测结果为：未站立、举手，且未趴桌子。
这里需要注意的是，不同动作检测分支网络对应的第二阈值可以相同，也可以不同，具体可以根据实际的需要进行设定。
示例性的，输入特征提取网络的目标图像区域的图像尺寸为112×112，特征提取网络通过对目标图像区域进行4次下采样，得到尺寸为7×7的第二特征图；其中，对目标图像区域的下采样过程，例如为对目标图像区域依次进行4次步长为2的卷积操作。
然后将7×7的第二特征图分别输入至不同的动作检测分支网络。针对每个动作检测分支网络，首先对第二特征图进行卷积处理，然后对卷积处理的结果进行平均池化处理，得到一维数据，然后采用sigmoid对一维数据进行激活处理，最终得到与动作检测分支网络对应的概率。
另外，在相关技术中，在利用神经网络对图像中包括的目标对象的动作进行检测前，通常会利用来源于多个图像获取设备的样本图像对神经网络进行训练；来源于不同图像获取设备的样本图像由于拍摄参数的差异，会包含有不同的图像特征；神经网络能够在训练过程中学习到来源不同的样本图像的不同特征，从而能够；在利用神经网络对图像中包括的目标对象的动作进行检测时，从而能够增强神经网络的泛化能力。在利用这种神经网络对图像进行动检检测处理时，神经网络能够输出图像中的目标对象执行某种动作的概率，然后将该概率与预设的概率阈值进行比对，并基于比对结果，确定目标对象对应的动作检测结果。但由于不同摄像头的图像获取参数不同，造成了不同摄像头所获取的图像质量会有所差异，图像质量不同，所包含的图像特征也会存在差异；进而导致了利用相同的概率阈值作为统一的判断标准，得到不同摄像头获得的图像的动作检测结果时，未必是最优的结果，会造成对部分图像出现误判的情况，导致检测的准确度低的问题。
为了解决上述问题，本公开实施例还提供一种确定第二阈值的具体方法，包括：
利用所述动作检测网络，对与第一图像具有关联的多张第二图像中的每张第二图像进行分类处理，得到每张所述第二图像的分类预测概率；
基于多张所述第二图像分别对应的分类预测概率以及多张所述第二图像分别对应的预先标注好的实际分类结果，确定第二阈值。
此处，第一图像和第二图像具有关联，包括下述至少一种：
所述第一图像和所述第二图像的拍摄参数的相似度大于预设的相似度阈值；
多张所述第一图像以及所述第二图像为同一图像获取设备获取到的。
这样，基于对由与第一图像具有关联的多张第二图像的分类结果，得到第二阈值，然后在对第一图像进行分类处理的过程中，由于第一图像和第二图像具有关联，因此将上述第一分类阈值作为分类处理过程中的判断标准之一时，能够以更高的精度得到第二图像的动作检测结果，从而可以提升分类结果的准确率。
第一图像和第二图像具有关联，例如包括下述至少一种：
(1)：所述第一图像和所述第二图像的拍摄参数的相似度大于预设的相似度阈值。
此处，例如可以将不同图像的拍摄参数构成一参数向量；不同图像的拍摄参数的相似度，例如可以通过不同图像的参数向量之间的向量距离来表征；在不同图像的参数向量之间的向量距离小于预设的距离阈值时，即表征该不同图像的拍摄参数的相似度大与预设的相似度阈值。
(2)：多张所述第一图像以及所述第二图像为同一图像获取设备获取到的。
这样，在图像获取设备投入使用前，可以通过上述步骤S101～S102，为图像获取设备确定一第一概率阈值；在该图像获取设备投入使用后，所获取的第二图像通过为其确定的第一概率阈值，进行分类处理。
在确定第二阈值时，是要使得利用确定的第二阈值对第二图像的分类结果进行判别时，使得判别结果的正确率达到预设的正确率阈值。
具体地，例如可以采用下述方式确定第二阈值：
确定多个备选阈值；针对多个所述备选阈值中的每个备选阈值，根据多张所述第二图像分别对应的分类预测概率和实际分类结果，确定与每个所述备选阈值对应的预测正确率；基于多个所述备选阈值分别对应的预测正确率，从多个所述备选阈值中确定所述第二阈值。
在具体实施中，例如可以基于第二阈值的取值范围、以及预设的取值步长，在取值范围内确定多个备选阈值。
示例性的，在利用动作检测网络对第二图像进行分类处理后，例如可以利用sigmoid激活函数，对分类处理的结果进行激活处理，将分类处理的结果变化值0-1的取值区间范围内；此时，分类处理的结果即能够表征第二图像的分类预测概率。相应的，第二阈值的取值范围为[0,1]。以0.05作为取值步长，则去也定的多个备选阈值分别为：0，0.1、0.15、0.2、0.25、0.3、0.35、0.4、0.45、0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95、1。
这里需要注意的是，第二阈值的取值范围，可以根据实际的情况确定，同时取值步长也可以根据实际的需要进行确定，例如还可以将取值步长确定为0.01、0.02等。
示例性的，假设动作检测网络对第二图像的分类结果包括：第二图像中的目标对象做出了某动作或者第二图像中的目标对象未做出该动作，在利用动作检测网络对多张第二图像进行分类处理后，得到第n张第二图像的分类预测概率表示为：score_n。假设第二阈值的取值范围为：[0,1]，取值步长为0.001，则按照该步长0.001遍历第二阈值的可能取值：thrd＝0+0.001×k，其中，k∈[0,1000]。针对第p次遍历，确定的备选阈值为：thrd_p＝0+0.001×p，在此备选阈值thrd_p下，若score_n大于thrd_p，则表征第二图像的预测分类结果为做出对应动作，否则，第二图像的预测分类结果为未做出对应动作。
然后，根据n张第二图像对应的预测分类结果，以及n张第二图像分别对应的实际分类结果，统计得到下述参量：
TP：实际做出动作，且在thrd_p备选阈值下预测为做出动作的第二图像的数量；
TN：实际做出动作，且在thrd_p备选阈值下预测为未做出动作的第二图像的数量；
FP：实际未做出动作，且在thrd_p备选阈值下预测为做出动作的第二图像的数量；
FN：实际未做出动作，且thrd_p备选阈值下预测为未做出动作的第二图像的数量。
然后基于下述公式：(1)～公式(3)，得到thrd_p备选阈值对应的预测正确率F：
Figure BDA0002611444340000191
Figure BDA0002611444340000192
Figure BDA0002611444340000193
在得到所有备选阈值的预测正确率后，将预测正确率F最大的备选阈值确定为第二阈值。
另外，在本公开另一实施例中，为了能够更准确的确定第二阈值，还可以将第二阈值的取值范围划分为多个取值区间，然后针对每个取值区间，根据多个第二图像分别对应的分类预测概率和实际分类结果，确定每个取值区间对应的预测正确率，后基于多个取值区间分别对应的预测正确率，从多个取值区间中确定一目标取值区间，然后从多个目标取值区间内，确定多个备选阈值，并基于上述过程确定每个备选阈值对应的预测正确率，从而能够减少在确定第二阈值时需要的计算量，节省计算资源和计算时间。
另外，还可以采用逐步逼近法确定第二阈值。
本领域技术人员可以理解，上述方法的具体实施方式中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与动作识别方法对应的动作识别装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述动作识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种动作识别装置的示意图，所述装置包括：获取模块41、识别模块42、检测模块43、以及确定模块44；其中，
获取模块41，用于获取第一图像；
识别模块42，用于识别所述第一图像中包含目标对象的目标图像区域；
检测模块43，用于利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理，得到所述目标对象对应的多种第一动作检测结果；其中，不同动作检测分支检测的动作类别不同；
确定模块44，用于基于与多个动作检测分支分别对应的第一动作检测结果，确定所述目标对象的第二动作检测结果。
一种可能的实施方式中，所述识别模块42，在识别所述第一图像中包含目标对象的目标图像区域时，用于：
对所述第一图像进行特征提取处理，得到所述第一图像的第一特征图；所述第一特征图包括多个特征通道分别对应的特征子图；不同所述特征子图中包含的特征不同；
基于多个特征子图中的第一特征子图包含的特征，确定所述目标对象的中心点在所述第一特征图中的第一坐标信息；以及基于所述中心点在所述第一特征图中的第一坐标信息以及所述多个特征子图中的第二特征子图中包含的特征，确定所述目标对象在所述第一特征图中的第一尺寸信息；
基于所述第一坐标信息以及所述第一尺寸信息，确定所述目标图像区域。
一种可能的实施方式中，所述识别模块42，在基于多个特征子图中的第一特征子图包含的特征，确定所述目标对象的中心点在所述第一特征图中的第一坐标信息时，用于：
按照预设的池化尺寸和池化步长，对所述第一特征子图进行最大池化处理，得到多个池化值以及与多个所述池化值中的每个池化值对应的位置索引；所述位置索引用于标识所述池化值在所述第一特征子图中的位置；
基于所述每个池化值以及第一阈值，从多个所述池化值中确定属于所述中心点的目标池化值；
基于所述目标池化值对应的位置索引，确定所述中心点在所述第一特征图中的第一坐标信息。
一种可能的实施方式中，所述识别模块42，在基于所述第一坐标信息以及所述第一尺寸信息，确定所述目标图像区域时，用于：
基于所述第一坐标信息、所述第一尺寸信息、以及所述第一特征图中的第一特征点和所述第一图像中各个像素点之间的位置映射关系，确定所述中心点在所述第一图像中的第二坐标信息、以及所述目标对象在所述第一图像中的第二尺寸信息；
基于所述第二坐标信息、以及所述的第二尺寸信息，确定所述目标图像区域。
一种可能的实施方式中，所述识别模块42，在基于所述第二坐标信息、以及所述的第二尺寸信息，确定所述目标图像区域时，用于：
基于所述第二坐标信息、以及所述第二尺寸信息，从所述第一图像中确定包含所述目标对象的第一区域范围；
基于包含所述目标对象的第一区域范围，确定包含所述目标对象的第二区域范围，所述第二区域范围大于所述第一区域范围；
基于所述第二区域范围，从所述第一图像中确定所述目标图像区域。
一种可能的实施方式中，所述动作检测网络包括：特征提取网络以及与所述特征提取网络连接的多个动作检测分支网络；
所述检测模块43，在利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理时，用于：
利用所述特征提取网络对所述目标图像区域进行特征提取处理，得到所述目标图像区域的第二特征图；
利用多个所述动作检测分支网络分别对所述第二特征图进行动作检测处理，得到与每个所述动作检测分支网络分别对应的第一动作检测结果。
一种可能的实施方式中，所述检测模块43，在利用多个所述动作检测分支网络分别对所述第二特征图进行动作检测处理，得到与每个所述动作检测分支网络分别对应的第一动作检测结果时，用于：
针对多个动作检测分支网络中的每个动作检测分支网络，利用所述每个动作检测分支网络对所述第二特征图进行动作检测处理，得到所述目标对象做出所述动作检测分支网络检测的动作类别的概率；
基于所述概率、以及预先确定的第二阈值，确定与所述每个动作检测分支网络对应的第一动作检测结果。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种计算机设备，如图5所示，为本公开实施例提供的计算机设备的结构示意图，包括：
处理器11和存储器12；所述存储器12存储有所述处理器11可执行的机器可读指令，当计算机设备运行时，所述机器可读指令被所述处理器执行以实现下述步骤：
获取第一图像；
识别所述第一图像中包含目标对象的目标图像区域；
利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理，得到所述目标对象对应的多种第一动作检测结果；其中，不同动作检测分支检测的动作类别不同；
基于与多个动作检测分支分别对应的第一动作检测结果，确定所述目标对象的第二动作检测结果。
上述指令的具体执行过程可以参考本公开实施例中所述的动作识别方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的动作识别方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的动作识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的动作识别方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种动作识别方法，其特征在于，包括：
获取第一图像；
识别所述第一图像中包含目标对象的目标图像区域；
利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理，得到所述目标对象对应的多种第一动作检测结果；其中，不同动作检测分支检测的动作类别不同；
基于与多个动作检测分支分别对应的第一动作检测结果，确定所述目标对象的第二动作检测结果。
2.根据权利要求1所述的动作识别方法，其特征在于，所述识别所述第一图像中包含目标对象的目标图像区域，包括：
对所述第一图像进行特征提取处理，得到所述第一图像的第一特征图；所述第一特征图包括多个特征通道分别对应的特征子图；不同所述特征子图中包含的特征不同；
基于多个特征子图中的第一特征子图包含的特征，确定所述目标对象的中心点在所述第一特征图中的第一坐标信息；以及基于所述中心点在所述第一特征图中的第一坐标信息以及所述多个特征子图中的第二特征子图中包含的特征，确定所述目标对象在所述第一特征图中的第一尺寸信息；
基于所述第一坐标信息以及所述第一尺寸信息，确定所述目标图像区域。
3.根据权利要求2所述的动作识别方法，其特征在于，所述基于多个特征子图中的第一特征子图包含的特征，确定所述目标对象的中心点在所述第一特征图中的第一坐标信息，包括：
按照预设的池化尺寸和池化步长，对所述第一特征子图进行最大池化处理，得到多个池化值以及与多个所述池化值中的每个池化值对应的位置索引；所述位置索引用于标识所述池化值在所述第一特征子图中的位置；
基于所述每个池化值以及第一阈值，从多个所述池化值中确定属于所述中心点的目标池化值；
基于所述目标池化值对应的位置索引，确定所述中心点在所述第一特征图中的第一坐标信息。
4.根据权利要求2或3所述的动作识别方法，其特征在于，所述基于所述第一坐标信息以及所述第一尺寸信息，确定所述目标图像区域，包括：
基于所述第一坐标信息、所述第一尺寸信息、以及所述第一特征图中的第一特征点和所述第一图像中各个像素点之间的位置映射关系，确定所述中心点在所述第一图像中的第二坐标信息、以及所述目标对象在所述第一图像中的第二尺寸信息；
基于所述第二坐标信息、以及所述的第二尺寸信息，确定所述目标图像区域。
5.根据权利要求4所述的动作识别方法，其特征在于，所述基于所述第二坐标信息、以及所述的第二尺寸信息，确定所述目标图像区域，包括：
基于所述第二坐标信息、以及所述第二尺寸信息，从所述第一图像中确定包含所述目标对象的第一区域范围；
基于包含所述目标对象的第一区域范围，确定包含所述目标对象的第二区域范围，所述第二区域范围大于所述第一区域范围；
基于所述第二区域范围，从所述第一图像中确定所述目标图像区域。
6.根据权利要求1-5任一项所述的动作识别方法，其特征在于，所述动作检测网络包括：特征提取网络以及与所述特征提取网络连接的多个动作检测分支网络；
所述利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理，包括：
利用所述特征提取网络对所述目标图像区域进行特征提取处理，得到所述目标图像区域的第二特征图；
利用多个所述动作检测分支网络分别对所述第二特征图进行动作检测处理，得到与每个所述动作检测分支网络分别对应的第一动作检测结果。
7.根据权利要求6所述的动作识别方法，其特征在于，所述利用多个所述动作检测分支网络分别对所述第二特征图进行动作检测处理，得到与每个所述动作检测分支网络分别对应的第一动作检测结果，包括：
针对多个动作检测分支网络中的每个动作检测分支网络，利用所述每个动作检测分支网络对所述第二特征图进行动作检测处理，得到所述目标对象做出所述动作检测分支网络检测的动作类别的概率；
基于所述概率、以及预先确定的第二阈值，确定与所述每个动作检测分支网络对应的第一动作检测结果。
8.一种动作识别装置，其特征在于，包括：
获取模块，用于获取第一图像；
识别模块，用于识别所述第一图像中包含目标对象的目标图像区域；
检测模块，用于利用具有多个动作检测分支的动作检测网络，对所述目标图像区域进行动作检测处理，得到所述目标对象对应的多种第一动作检测结果；其中，不同动作检测分支检测的动作类别不同；
确定模块，用于基于与多个动作检测分支分别对应的第一动作检测结果，确定所述目标对象的第二动作检测结果。
9.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任一项所述的动作识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至7任一项所述的动作识别方法的步骤。
CN202010755553.3A 2020-07-31 2020-07-31 动作识别方法、装置、计算机设备及存储介质 Withdrawn CN111881854A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010755553.3A CN111881854A (zh) 2020-07-31 2020-07-31 动作识别方法、装置、计算机设备及存储介质
KR1020227026434A KR20220122735A (ko) 2020-07-31 2021-04-16 동작 인식 방법, 장치, 컴퓨터 기기 및 저장 매체
JP2021565729A JP2022546153A (ja) 2020-07-31 2021-04-16 動作認識方法、装置、コンピュータ機器及び記憶媒体
PCT/CN2021/087693 WO2022021948A1 (zh) 2020-07-31 2021-04-16 动作识别方法、装置、计算机设备及存储介质
TW110123621A TWI776566B (zh) 2020-07-31 2021-06-28 動作識別方法、電腦設備及電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010755553.3A CN111881854A (zh) 2020-07-31 2020-07-31 动作识别方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111881854A true CN111881854A (zh) 2020-11-03

Family

ID=73204793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010755553.3A Withdrawn CN111881854A (zh) 2020-07-31 2020-07-31 动作识别方法、装置、计算机设备及存储介质

Country Status (5)

Country Link
JP (1) JP2022546153A (zh)
KR (1) KR20220122735A (zh)
CN (1) CN111881854A (zh)
TW (1) TWI776566B (zh)
WO (1) WO2022021948A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469056A (zh) * 2021-07-02 2021-10-01 上海商汤智能科技有限公司 行为识别方法、装置、电子设备及计算机可读存储介质
WO2022021948A1 (zh) * 2020-07-31 2022-02-03 上海商汤临港智能科技有限公司 动作识别方法、装置、计算机设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841140B (zh) * 2022-04-20 2023-08-11 北京爱芯科技有限公司 一种反最大池化运算方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681695A (zh) * 2018-04-26 2018-10-19 北京市商汤科技开发有限公司 视频动作识别方法及装置、电子设备和存储介质
CN109726803A (zh) * 2019-01-10 2019-05-07 广州小狗机器人技术有限公司 池化方法、图像处理方法及装置
WO2019220622A1 (ja) * 2018-05-18 2019-11-21 日本電気株式会社 画像処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
CN110879993A (zh) * 2019-11-29 2020-03-13 北京市商汤科技开发有限公司 神经网络训练方法、人脸识别任务的执行方法及装置
CN111160491A (zh) * 2020-04-03 2020-05-15 北京精诊医疗科技有限公司 一种卷积神经网络中的池化方法和池化模型
CN111310616A (zh) * 2020-02-03 2020-06-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2020151172A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 运动目标检测方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6751773B2 (ja) * 2016-12-07 2020-09-09 オリンパス株式会社 画像処理装置及び画像処理装置の作動方法
CN112292690A (zh) * 2018-06-14 2021-01-29 奇跃公司 增强现实深度手势网络
CN108875674B (zh) * 2018-06-29 2021-11-16 东南大学 一种基于多列融合卷积神经网络的驾驶员行为识别方法
CN111435422B (zh) * 2019-01-11 2024-03-08 商汤集团有限公司 动作识别方法、控制方法及装置、电子设备和存储介质
CN111401144B (zh) * 2020-02-26 2023-04-07 华南理工大学 一种基于视频监控的手扶电梯乘客行为识别方法
CN111881854A (zh) * 2020-07-31 2020-11-03 上海商汤临港智能科技有限公司 动作识别方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681695A (zh) * 2018-04-26 2018-10-19 北京市商汤科技开发有限公司 视频动作识别方法及装置、电子设备和存储介质
WO2019220622A1 (ja) * 2018-05-18 2019-11-21 日本電気株式会社 画像処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
CN109726803A (zh) * 2019-01-10 2019-05-07 广州小狗机器人技术有限公司 池化方法、图像处理方法及装置
WO2020151172A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 运动目标检测方法、装置、计算机设备及存储介质
CN110879993A (zh) * 2019-11-29 2020-03-13 北京市商汤科技开发有限公司 神经网络训练方法、人脸识别任务的执行方法及装置
CN111310616A (zh) * 2020-02-03 2020-06-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111160491A (zh) * 2020-04-03 2020-05-15 北京精诊医疗科技有限公司 一种卷积神经网络中的池化方法和池化模型

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022021948A1 (zh) * 2020-07-31 2022-02-03 上海商汤临港智能科技有限公司 动作识别方法、装置、计算机设备及存储介质
CN113469056A (zh) * 2021-07-02 2021-10-01 上海商汤智能科技有限公司 行为识别方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
TWI776566B (zh) 2022-09-01
JP2022546153A (ja) 2022-11-04
TW202207075A (zh) 2022-02-16
WO2022021948A1 (zh) 2022-02-03
KR20220122735A (ko) 2022-09-02

Similar Documents

Publication Publication Date Title
CN109840531B (zh) 训练多标签分类模型的方法和装置
CN111881854A (zh) 动作识别方法、装置、计算机设备及存储介质
CN110033023B (zh) 一种基于绘本识别的图像数据处理方法及系统
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
CN111950528B (zh) 图表识别模型训练方法以及装置
CN112001428B (zh) 一种基于特征匹配优化的无锚框目标检测网络训练方法
CN109448007B (zh) 图像处理方法、图像处理装置及存储介质
CN113111154B (zh) 相似度评估方法、答案搜索方法、装置、设备及介质
CN109359196B (zh) 文本多模态表示方法及装置
CN113326835A (zh) 一种动作检测方法、装置、终端设备和存储介质
CN111401318A (zh) 动作识别方法及装置
CN115187772A (zh) 目标检测网络的训练及目标检测方法、装置及设备
CN112101114B (zh) 一种视频目标检测方法、装置、设备以及存储介质
CN111582358A (zh) 户型识别模型的训练方法及装置、户型判重的方法及装置
CN112381227A (zh) 神经网络生成方法、装置、电子设备及存储介质
CN109978058B (zh) 确定图像分类的方法、装置、终端及存储介质
CN113420763B (zh) 文本图像处理方法、装置、电子设备及可读存储介质
CN114299546A (zh) 识别宠物身份的方法、装置、存储介质及电子设备
KR20210054349A (ko) 환자의 상지 동작에 의해 도출되는 특징값을 이용한 임상평가척도 예측 방법
KR101334858B1 (ko) 나비종 자동분류 시스템 및 방법, 이를 이용한 나비종 자동분류 기능이 구비된 휴대 단말기
CN111429414A (zh) 基于人工智能的病灶影像样本确定方法和相关装置
CN111881855A (zh) 图像处理方法、装置、计算机设备及存储介质
US11244206B2 (en) Image normalization for facial analysis
CN112215840A (zh) 图像检测、行驶控制方法、装置、电子设备及存储介质
CN113807150A (zh) 数据处理、姿态预测方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40038875

Country of ref document: HK

WW01 Invention patent application withdrawn after publication

Application publication date: 20201103

WW01 Invention patent application withdrawn after publication