CN116363756A - 动作朝向识别方法及装置 - Google Patents

动作朝向识别方法及装置 Download PDF

Info

Publication number
CN116363756A
CN116363756A CN202310344265.2A CN202310344265A CN116363756A CN 116363756 A CN116363756 A CN 116363756A CN 202310344265 A CN202310344265 A CN 202310344265A CN 116363756 A CN116363756 A CN 116363756A
Authority
CN
China
Prior art keywords
point data
action
user
orientation
bone point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310344265.2A
Other languages
English (en)
Inventor
刘志宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Calorie Information Technology Co ltd
Original Assignee
Beijing Calorie Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Calorie Information Technology Co ltd filed Critical Beijing Calorie Information Technology Co ltd
Priority to CN202310344265.2A priority Critical patent/CN116363756A/zh
Publication of CN116363756A publication Critical patent/CN116363756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供动作朝向识别方法及装置,其中所述动作朝向识别方法包括:通过数据采集设备对用户的用户动作数据进行采集,并基于所述用户动作数据获得包含第一骨骼点数据的动作骨骼点数据;根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据;根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态;根据所述动作姿态对应的朝向识别策略对所述动作骨骼点数据进行处理,确定所述用户针对所述数据采集设备的动作朝向。从而准确地确定出用户针对数据采集设备的动作朝向,提高了动作朝向识别的准确度。

Description

动作朝向识别方法及装置
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种动作朝向识别方法。
背景技术
随着计算机技术的不断发展,各种丰富人们日常生活的互联网服务也被人们广泛使用。在用户使用各种互联网服务的过程中,经常涉及到需要对当前肢体动作信息进行采集的内容。而在采集用户动作之后,为了保证采集到的肢体动作信息的准确性,需要判断采集的用户动作与摄像头之间是否符合特定的动作朝向;例如,在用户跟随锻炼教学视频进行训练的场景中,需要根据用户是否正面朝向摄像头,判断用户动作是否标准。基于此,如何准确识别用户针对摄像头的动作朝向成为亟需解决的问题。
发明内容
有鉴于此,本说明书实施例提供了一种动作朝向识别方法。本说明书一个或者多个实施例同时涉及一种动作朝向识别系统,一种动作朝向识别装置,一种计算设备,一种计算机可读存储介质,一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种动作朝向识别方法,包括:
通过数据采集设备对用户的用户动作数据进行采集,并基于所述用户动作数据获得包含第一骨骼点数据的动作骨骼点数据;
根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据;
根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态;
根据所述动作姿态对应的朝向识别策略对所述动作骨骼点数据进行处理,确定所述用户针对所述数据采集设备的动作朝向。
根据本说明书实施例的第二方面,提供了一种一种动作朝向识别系统,所述系统包括控制端,所述控制端关联的摄像头以及所述控制端关联的显示装置,其中,
所述控制端,被配置为通过所述显示装置向用户展示标准动作,并通过摄像头对所述用户根据所述标准动作执行的用户动作视频进行拍摄;
基于所述用户动作视频获得包含第一骨骼点数据的动作骨骼点数据;
根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据;
根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态;
根据所述动作姿态对应的朝向识别策略对所述动作骨骼点数据进行处理,确定所述用户针对所述摄像头的动作朝向。
根据本说明书实施例的第三方面,提供了一种动作朝向识别装置,包括:
数据采集模块,被配置为通过数据采集设备对用户的用户动作数据进行采集,并基于所述用户动作数据获得包含第一骨骼点数据的动作骨骼点数据;
数据生成模块,被配置为根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据;
姿态确定模块,被配置为根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态;
朝向识别模块,被配置为根据所述动作姿态对应的朝向识别策略对所述动作骨骼点数据进行处理,确定所述用户针对所述数据采集设备的动作朝向。
根据本说明书实施例的第四方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现所述动作朝向识别方法的步骤。
根据本说明书实施例的第五方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现所述动作朝向识别方法的步骤。
根据本说明书实施例的第六方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行所述动作朝向识别方法的步骤。
本说明书提供的动作朝向识别方法,包括:通过数据采集设备对用户的用户动作数据进行采集,并基于所述用户动作数据获得包含第一骨骼点数据的动作骨骼点数据;根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据;根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态;根据所述动作姿态对应的朝向识别策略对所述动作骨骼点数据进行处理,确定所述用户针对所述数据采集设备的动作朝向。
具体的,本说明书提供的动作朝向识别方法,基于数据采集设备所采集的用户动作数据,获得包含第一骨骼点数据的动作骨骼点数据,再根据动作骨骼点数据中除第一骨骼点数据之外的其他骨骼点数据生成第二骨骼点数据;利用第一骨骼点数据和第二骨骼点数据的坐标信息确定用户的动作姿态;从而根据用户的动作姿态对应的朝向识别策略对动作骨骼点数据进行动作朝向识别,准确地确定出用户针对数据采集设备的动作朝向,提高了动作朝向识别的准确度。
附图说明
图1是本说明书一个实施例提供的一种动作朝向识别系统的结构示意图;
图2是本说明书一个实施例提供的一种动作朝向识别方法的流程图;
图3是本说明书一个实施例提供的一种动作朝向识别方法的处理过程流程图;
图4是本说明书一个实施例提供的一种动作朝向识别装置的结构示意图;
图5是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
vitpose模型:一种基于简单的transformer结构的姿态估计模型。
transformer:是一个完全依赖于自注意力机制来计算其输入和输出的表示的转换模型。
随着计算机技术的不断发展,各种丰富人们日常生活的互联网服务也被人们广泛使用。在用户使用各种互联网服务的过程中,经常涉及到需要对当前肢体动作进行采集的内容。而在采集用户动作之后,为了保证采集到的肢体动作信息的准确性,因此需要判断采集的用户动作与摄像头之间是否符合特定的动作朝向;例如,在用户跟随锻炼教学视频进行训练的场景中,需要根据用户是否正面朝向摄像头,判断用户动作是否标准。本方案提供的一个解决方案是通过简单的骨骼点坐标对比进行动作朝向判断,例如,确定左肘、右肘、髌骨等多个骨骼点的坐标是否均大于右肩骨骼点坐标,在此情况下时确定朝向为正面。但该方案的对比过程较为繁杂,效率较低,并且识别出的朝向结果不精准。
基于此,在本说明书中,提供了一种动作朝向识别方法,本说明书同时涉及一种动作朝向识别系统,一种动作朝向识别装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一个实施例提供的一种动作朝向识别系统的结构示意图,所述系统包括控制端,所述控制端关联的摄像头以及所述控制端关联的显示装置,其中,所述控制端,被配置为通过所述显示装置向用户展示标准动作,并通过摄像头对所述用户根据所述标准动作执行的用户动作视频进行拍摄;基于所述用户动作视频获得包含第一骨骼点数据的动作骨骼点数据;根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据;根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态;根据所述动作姿态对应的朝向识别策略对所述动作骨骼点数据进行处理,确定所述用户针对所述摄像头的动作朝向。
其中,控制端可以理解为用于对摄像头、显示装置进行控制,并且能够根据用户动作数据对用户针对摄像头的动作朝向进行识别的终端。该动作朝向是指用户身体的某一面或某个部分对应的方向。例如,用户的面部对应的方向,或者,用户的背部对应的方向,或者,用户的胸腔对应的方向。再例如,用户以播放训练视频的终端为参考点,用户的面部与终端的摄像头相对时,可以认为用户的朝向为正面。
该用户动作可以理解为用户根据显示装置上展示的标准动作所执行的动作。该标准动作可以为以人体动作形式指示用户执行特定标准动作的信息,例如,训练视频中教练所展示的动作,或者身体数据采集场景下指示用户做出特定动作的信息等。所述显示装置可以理解为用于显示文字、数据、图像、视频等各种信息的设备,包括但不限于电脑、电视等设备的显示屏;可以被投影仪投射视频、文字、数据、图像等各种信息的幕布等,本说明书对此不做具体限制。在说明书提供的一实施例中,该显示装置能够向用户展示包含标准动作的训练视频。在本说明书提供的实施例,该显示装置与控制端之间通过有线或无线连接,或者该显示装置被配置在控制端上,从而能够接收该控制端发送的标准动作并展示给用户。该视频数据采集设备也与该控制端通过有线或无线相连接,或者该视频数据采集设备为被配置在该控制端上的摄像头,用于基于控制端的指示对用户的用户动作视频进行采集。基于此,该控制端可以理解为终端设备。
具体的,本说明书提供的动作朝向识别系统中的控制端,能够通过显示装置向用户展示标准动作,并通过摄像头对用户根据标准动作执行的用户动作进行拍摄,从而获得用户的用户动作视频。从用户动作视频中确定用户动作视频帧,并基于骨骼点提取模型从用户动作视频帧中提取包含第一骨骼点数据的动作骨骼点数据。然后根据动作骨骼点数据中除第一骨骼点数据之外的其他骨骼点数据的坐标信息,生成第二骨骼点数据。再根据第一骨骼点数据的坐标信息以及第二骨骼点数据的坐标信息,确定用户的动作姿态。基于动作姿态对应的朝向识别策略对动作骨骼点数据进行处理,从而确定用户针对所述摄像头的动作朝向。
需要说明的是,本说明提供的动作姿态包括但不限于站姿动作和卧姿动作。本说明提供的动作朝向包括但不限于:站姿正面朝向、站姿左侧朝向、站姿右侧朝向、站姿非正面朝向、卧姿左侧朝向、卧姿右侧朝向、未知动作朝向等,其中,站姿动作对应有3种朝向,站姿正面朝向、站姿左侧朝向(用户向左转,视频图像中用户面朝图像左边)、站姿右侧朝向(用户向右转,视频图像中用户面朝图像右边)。卧姿动作对应有2种朝向,卧姿左侧朝向(用户头倒向终端设备左侧,面朝摄像头或看天看地;图像中用户头在图像左侧,仰卧与俯卧相同)、卧姿右侧朝向(用户头倒向终端设备右侧)。
在实际应用中,控制端的应用层在不同标准动作中会引导用户朝向,但不保证用户一定会按照引导的朝向做,因此,所以要同时做两个处理,一是实时识别用户的面部朝向及头的方向,二是生成不同朝向时同一动作的不同规则,在不同朝向时都使用对应的正确规则实现最大化计数。
本说明书提供的动作朝向识别系统中的控制端,能够通过显示装置向用户展示标准动作,并通过摄像头对用户根据标准动作执行的用户动作进行拍摄,从而获得用户的用户动作视频。从用户动作视频中确定用户动作视频帧,该用户动作视频是指基于数据采集设备所采集的用户动作数据,从用户动作视频帧中获得包含第一骨骼点数据的动作骨骼点数据,再根据动作骨骼点数据中除第一骨骼点数据之外的其他骨骼点数据生成第二骨骼点数据;利用第一骨骼点数据和第二骨骼点数据的坐标信息确定用户的动作姿态;从而根据用户的动作姿态对应的朝向识别策略对动作骨骼点数据进行动作朝向识别,准确地确定出用户针对数据采集设备的动作朝向,提高了动作朝向识别的准确度。
图2示出了根据本说明书一个实施例提供的一种动作朝向识别方法的流程图,具体包括以下步骤。
步骤202:通过数据采集设备对用户的用户动作数据进行采集,并基于所述用户动作数据获得包含第一骨骼点数据的动作骨骼点数据。
在本说明书提供的一实施例中,本说明书提供的动作朝向识别方法可以应用于上述动作朝向识别系统中的控制端。
其中,该数据采集设备可以理解为对该用户动作数据进行采集的设备,包括但不限于摄像机、红外扫描仪等。该用户动作数据可以理解为表征该用户当前动作的数据,包括但不限于图像、视频、三维建模数据、点云数据等等。该动作骨骼点数据可以理解为该用户当前动作对应的骨骼点数据。该骨骼点数据也可称为人体骨骼点、关键骨骼点。骨骼点识别是人体图像处理的一个重要组成部分。在进行人体图像处理的过程中,一般需要先对人体图像(2D图像或3D图像)进行骨骼点识别,并利用识别出的各个骨骼点进行后续处理,例如,可以通过各个骨骼点的位置信息识别人体图像中的动作、根据骨骼点确定用户的朝向等。该第一骨骼点数据可以理解为该动作骨骼点数据中用于计算用户动作姿态的骨骼点数据,例如,该第一骨骼点数据可以为用户的头部骨骼点数据。
在本说明书提供的一实施例中,本方法可以应用在用户根据教练视频训练场景下,对该用户的用户动作视频进行采集,后续基于从该用户动作视频中提取的动作骨骼点数据,准确地确定用户针对该数据采集设备的动作朝向。具体为,所述用户动作数据为用户动作视频;
相应地,所述通过数据采集设备对用户的用户动作数据进行采集,并基于所述用户动作数据获得包含第一骨骼点数据的动作骨骼点数据,包括:
通过视频数据采集设备对用户的用户动作进行采集,获得所述用户的用户动作视频,其中,所述用户动作为所述用户根据显示装置中展示的标准动作执行的动作;
从所述用户动作视频中确定用户动作视频帧,并从所述用户动作视频帧中获得包含第一骨骼点数据的动作骨骼点数据。
其中,该视频数据采集设备可以理解为进行视频拍摄的设备,包括但不限于摄像机、相机、终端设备的摄像头等。
该用户动作可以理解为用户根据显示装置上展示的标准动作所执行的动作。该标准动作可以为以人体动作形式指示用户执行特定标准动作的信息,例如,训练视频中教练所展示的动作,或者在身体数据采集场景下指示用户做出特定动作的信息等。在本说明书提供的实施例,该显示装置与终端设备连接,或者该显示装置为配置在终端设备上的显示装置,能够接收该终端设备发送的标准动作并展示给用户。该视频数据采集设备也与该终端设备相连接,或者该视频数据采集设备为配置在该终端设备上的摄像头,用于基于终端设备的指示对用户的用户动作视频进行采集。基于此,该终端设备可以理解为控制端。
下面以本方法在用户根据教练视频训练场景下的应用为例,对从用户动作视频帧中获得动作骨骼点数据进行说明。本方法中能够通过终端设备上的显示装置向用户展示标准动作,该标准动作为教练标准动作。该用户跟随显示装置中展示的教练标准动作执行对应的动作,以到达运动、训练的目的。在用户根据教练动作进行运动的过程中,终端设备上的摄像头会实时的对用户的动作进行拍摄,获得用户动作视频。之后终端会从该用户动作视频中确定每一用户动作视频帧,并从该用户动作视频帧中提取中用户的动作骨骼点数据。具体提取该动作骨骼点数据的方式可以为,将用户动作视频帧输入骨骼点提取模型中,利用该骨骼点提取模型对该用户动作视频帧进行处理,从而获得用户的动作骨骼点数据。该骨骼点提取模型包括但不限于vitpose模型。也即是说,用户骨骼点数据由从多个用户动作视频帧中提取的动作骨骼点数据构成。
在本说明书提供的一实施例中,该终端设备也可以将该用户动作视频发送至服务器,利用服务器从用户动作视频帧中提取中用户的动作骨骼点数据,从而降低终端设备的计算压力。
步骤204:根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据。
其中,在该第一骨骼点数据为头部骨骼点数据的情况下,该其他骨骼点数据可以为该动作骨骼点数据中除头部骨骼点数据之外的肩部骨骼点数据、腿部骨骼点数据等。该第二骨骼点数据可以理解为根据其他骨骼点数据生成虚拟骨骼点数据。
在本说明书提供的一实施例,会根据该除头部骨骼点数据之外的肩部骨骼点数据、腿部骨骼点数据等其他骨骼点数据生成一个虚拟骨骼点,从而实现从整体角度准确地判断该用户的动作姿态。具体的,所述根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据,包括:
确定所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据;
根据所述其他骨骼点数据的坐标信息,计算所述其他骨骼点数据之间的平均坐标信息;
根据所述平均坐标信息生成第二骨骼点数据。
其中,坐标信息可以理解为该骨骼点数据的横坐标以及纵坐标信息。该平均坐标信息是指其他骨骼点数据的坐标信息的平均值。
沿用上例,该第一骨骼点数据为头部骨骼点数据。基于此,该终端设备能够从用户整体的动作骨骼点数据中,确定除该头部骨骼点数据之外的其他骨骼点。之后计算该其他骨骼点数据的坐标信息的平均值,获得一个包含横坐标和纵坐标的平均坐标信息,并基于该平均坐标信息生成一个虚拟骨骼点数据,用于后续准确地计算用户动作姿态。
步骤206:根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态。
其中,该动作姿态可以理解为用户动作所展现的姿态,该动作姿态包括站姿、卧姿。
在本说明提供的实施例中,为了准确的确定该用户的动作朝向,需要根据该动作姿态对应的朝向识别策略对该用户骨骼点数据进行处理,因此,需要基于该第一骨骼点数据和第二骨骼点数据的坐标信息对用户的动作姿态进行判断。具体的,所述根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态,包括:
根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的姿态识别参数;
判断所述姿态识别参数是否大于预设姿态识别阈值,若是,则判断所述用户的动作姿态为站姿,若否,则判断所述用户的动作姿态为卧姿。
其中,该姿态识别参数可以理解为用于判断该用户动作姿态所计算的参数。该姿态识别参数可以为[0,1]或[0,100]区间范围的任意数值。该预设姿态识别阈值可以根据实际应用场景进行设置,本说明书对此不作具体现在,例如,该预设姿态识别阈值可以为3。
沿用上例,该预设姿态识别阈值为3。基于此,本方法能够根据头部骨骼点数据的坐标信息和虚拟骨骼点数据的坐标信息计算出姿态识别参数,并判断该姿态识别参数是否大于预设姿态识别阈值3,若是,则认为是站姿,若否,则认为是卧姿。
进一步的,在本说明提供的一实施例中,所述根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的姿态识别参数,包括:
根据所述第一骨骼点数据的横坐标信息与所述第二骨骼点数据的横坐标信息,获得所述第一骨骼点数据与所述第二骨骼点数据之间的横坐标向量;
根据所述第一骨骼点数据的纵坐标信息与所述第二骨骼点数据的纵坐标信息,获得所述第一骨骼点数据与所述第二骨骼点数据之间的纵坐标向量;
根据所述横坐标向量与所述纵坐标向量,确定所述用户的姿态识别参数。
沿用上例,本方法为了确定用户为站姿或卧姿的过程中,需要根据头部骨骼点数据和虚拟骨骼点数据的坐标信息,从骨骼整体考虑准确地计算出姿态识别参数,具体的,本方法利用虚拟骨骼点数据的横坐标信息,减去头部骨骼点数据的横坐标信息,从而获得区分站姿/卧姿的向量x方向,其中,该x用于表征横坐标,y用于表征纵坐标。
然后,利用虚拟骨骼点数据的纵坐标信息,减去头部骨骼点数据的纵坐标信息,从而获得区分站姿/卧姿的向量y方向。
然后利用向量y方向除以向量x方向,从而获得姿态识别参数。
在实际应用中,计算该姿态识别参数的方式可以参见下述公式(1)。
abs(y2-y1)/(x2-x1)公式(1)
其中,abs可以为一个函数名,通过调用该函数名能够计算获得该姿态识别参数。该abs函数通过公式(y2-y1)/(x2-x1)计算获得姿态识别参数。该(x1、y1)为头部骨骼点数据的横坐标信息以及纵坐标信息、(x2、y2)为虚拟骨骼点数据的横坐标信息以及纵坐标信息。
步骤208:根据所述动作姿态对应的朝向识别策略对所述动作骨骼点数据进行处理,确定所述用户针对所述数据采集设备的动作朝向。
其中,该朝向识别策略可以理解为能够根据该动作骨骼点数据计算出用户动作朝向的策略,该朝向识别策略可以根据实际应用场景进行设置,本说明书对此不作具体限制。
在本说明书提供的一实施例中,所述动作姿态为站姿;
相应地,根据所述动作姿态对应的朝向识别策略对所述动作骨骼点进行处理,确定所述用户针对所述数据采集设备的动作朝向,包括:
在所述动作姿态为站姿的情况下,根据所述动作骨骼点数据中肩部骨骼点数据的坐标信息、颈部骨骼点数据的坐标信息以及头部骨骼点数据的坐标信息,确定所述用户的站姿朝向识别参数;
在确定所述站姿朝向识别参数大于预设站姿正面朝向阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿正面朝向。
其中,站姿朝向识别参数可以理解为用于识别用户在站姿情况下的动作朝向的参数。该预设站姿正面朝向阈值可以根据实际应用场景进行设置,该预设站姿正面朝向阈值可以为1。
沿用上例,在确定用户的动作姿态为站姿的情况下,根据动作骨骼点数据中肩部骨骼点数据的坐标信息、颈部骨骼点数据的坐标信息以及头部骨骼点数据的坐标信息,计算获得用户的站姿朝向识别参数;
在确定站姿朝向识别参数大于预设站姿正面朝向阈值1的情况下,确定用户针对数据采集设备的动作朝向为站姿正面朝向,从而准确地确定出用户的动作朝向。如果站姿朝向识别参数小于等于1,则确定用户的动作朝向为非正面,需要继续判定动作朝向是否为站姿左侧/右侧。
进一步的,在本说明书提供的实施例中,所述根据所述动作骨骼点数据中肩部骨骼点数据的坐标信息、颈部骨骼点数据的坐标信息以及头部骨骼点数据的坐标信息,确定所述用户的站姿朝向识别参数,包括:
根据所述动作骨骼点数据中肩部骨骼点数据的坐标信息,获得双肩距离值;
根据所述动作骨骼点数据中颈部骨骼点数据的坐标信息以及头部骨骼点数据的坐标信息,获得头颈距离值;
根据所述双肩距离值以及头颈距离值,计算获得所述用户的站姿朝向识别参数。
其中,该双肩距离值可以理解为表征用户骨骼点数据中双肩距离的数值。该头颈距离值可以理解为表征用户骨骼点数据中头部骨骼点数据与颈部骨骼点数据之间距离的数值。
沿用上例,在确定该站姿朝向识别参数过程中,为了保证准确的区分用户的动作朝向是否为正面,需要基于该分子和分母对该站姿朝向识别参数进行计算,从而便于后续准确的区分用户的动作朝向是否为正面。其中,该分子可以为动作骨骼点数据中的双肩距离,该分母可以为动作骨骼点数据中的头颈距离。该双肩距离可以根据该动作骨骼点数据中肩部骨骼点数据的坐标信息确定。该头颈距离根据该动作骨骼点数据中头部骨骼点数据和颈部骨骼点数据的坐标信息确定。之后利用双肩距离除以头颈距离,获得站姿朝向识别参数。
进一步的,在站姿朝向识别参数不大于预设站姿正面朝向阈值的情况下,本方法则确定用户在站姿情况下的动作朝向可能是侧面或背面等朝向,基于此,需要进一步确定该用户的动作朝向。具体的,所述根据所述动作骨骼点数据中肩部骨骼点数据的坐标信息、颈部骨骼点数据的坐标信息以及头部骨骼点数据的坐标信息,确定所述用户的站姿朝向识别参数之后,还包括步骤一至步骤二:
步骤一:在确定所述站姿朝向识别参数小于等于预设站姿正面朝向阈值的情况下,根据所述颈部骨骼点数据的坐标信息以及所述头部骨骼点数据的坐标信息,确定所述用户的站姿侧面识别参数。
其中,站姿侧面识别参数可以理解为用于在用户的动作朝向不是站姿正面的情况下,判断用户是何种侧面朝向的参数。
具体的,所述根据所述颈部骨骼点数据的坐标信息以及所述头部骨骼点数据的坐标信息,确定所述用户的站姿侧面识别参数,包括:
根据所述颈部骨骼点数据的横坐标信息以及所述头部骨骼点数据的横坐标信息,确定头颈横坐标向量;
根据所述颈部骨骼点数据的纵坐标信息以及头部骨骼点数据的纵坐标信息,确定头颈纵坐标向量;
根据所述头颈横坐标向量以及所述头颈纵坐标向量,确定所述用户的站姿侧面识别参数。
沿用上例,在确定该站姿朝向识别参数过程中,当确定用户的动作朝向不是站姿正面的情况下,需要计算出站姿朝向识别参数,从而基于该站姿朝向识别参数准确地判断用户是何种侧面朝向。基于此,本方法需要利用头部骨骼点数据的横坐标减去颈部骨骼点数据的横坐标信息,从而确定区分站姿左侧/右侧的向量x方向(即头颈横坐标向量)。利用头部骨骼点数据的纵坐标减去颈部骨骼点数据的纵坐标信息,从而确定区分站姿左侧/右侧的向量y方向(即头颈纵坐标向量)。之后利用向量y方向除以向量x方向,从而站姿朝向识别参数。
在实际应用中,计算该站姿朝向识别参数的方式可以参见下述公式(2)。
abs(y_头-y_颈/x_头-x_颈)公式(2)
其中,abs可以为一个函数名,通过调用该函数名能够计算获得该站姿朝向识别参数。该abs函数通过公式(y_头-y_颈/x_头-x_颈)计算获得姿态识别参数。该(x_头、y_头)为头部骨骼点数据的横坐标信息以及纵坐标信息。(x_颈、y_颈)为虚拟骨骼点数据的横坐标信息以及纵坐标信息。
步骤二:根据所述站姿侧面识别参数,确定所述用户针对所述数据采集设备的动作朝向。
具体的,所述根据所述站姿侧面识别参数,确定所述用户针对所述数据采集设备的动作朝向,包括:
在所述站姿侧面识别参数小于第一侧面识别阈值且大于第二侧面识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿右侧朝向;
在所述站姿侧面识别参数小于等于所述第二侧面识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿左侧朝向;或者
在所述站姿侧面识别参数大于等于所述第一侧面识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿背面朝向。
其中,该第一侧面识别阈值可以理解为一种用于计算该用户是何种站姿侧面朝向的阈值。第二侧面识别阈值可以理解为另一种用于计算该用户是何种站姿侧面朝向的阈值。该第一侧面识别阈值和第二侧面识别阈值可以根据实际应用场景进行设置,例如,第一侧面识别阈值为2、第二侧面识别阈值为0。
沿用上例,在确定站姿侧面识别参数小于第一侧面识别阈值2且大于第二侧面识别阈值0的情况下,确定用户针对数据采集设备的动作朝向为站姿右侧朝向;在确定站姿侧面识别参数小于等于第二侧面识别阈值0的情况下,确定用户针对数据采集设备的动作朝向为站姿左侧朝向;或者在确定站姿侧面识别参数大于等于第一侧面识别阈值2的情况下,确定用户针对所述数据采集设备的动作朝向为站姿背面朝向,也即是站姿非正面朝向。
在本说明书提供的一实施例中,所述动作姿态为卧姿;
相应地,根据所述动作姿态对应的朝向识别策略对所述动作骨骼点进行处理,确定所述用户针对所述数据采集设备的动作朝向,包括:
根据所述第二骨骼点数据的横坐标信息以及所述动作骨骼点数据中头部骨骼点数据的横坐标信息,确定所述用户的卧姿朝向识别参数;
根据所述卧姿朝向识别参数确定所述用户针对所述数据采集设备的动作朝向。
其中,卧姿朝向识别参数可以理解为用于识别用户在卧姿情况下的动作朝向的参数。
在本说明书提供的一实施例中,所述根据所述卧姿朝向识别参数确定所述用户针对所述数据采集设备的动作朝向,包括:
在所述卧姿朝向识别参数大于卧姿朝向识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为卧姿左侧朝向;
在所述卧姿朝向识别参数小于卧姿朝向识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为卧姿右侧朝向;或者
在所述卧姿朝向识别参数等于卧姿朝向识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为未知动作朝向。
其中,卧姿朝向识别阈值可以理解为一种用于计算该用户是何种卧姿朝向的阈值。该卧姿朝向识别阈值可以根据实际应用场景进行设置,例如卧姿朝向识别阈值为0。
沿用上例,在确定卧姿朝向识别参数大于0的情况下,确定用户针对数据采集设备的动作朝向为卧姿左侧朝向;在确定卧姿朝向识别参数小于0的情况下,确定用户针对数据采集设备的动作朝向为卧姿右侧朝向;或者在确定卧姿朝向识别参数等于0的情况下,确定用户针对数据采集设备的动作朝向为未知动作朝向。
在本说明书提供的一实施例中,在计算用户的动作朝向过程中,还可以根据用户动作数据的数据大小直接确定该用户的动作朝向。以用户动作数据为用户动作视频为例,在用户动作视频小于1秒的情况下,由于采集的用户动作视频较短,无法准确地基于该用户动作视频进行动作朝向判断,因此可以直接确定该用户朝向是未知动作朝向,从而提高终端设备的处理效率,避免处理资源浪费。具体的,所述通过数据采集设备对用户的用户动作数据进行采集之后,还包括:
在确定所述用户动作数据的数据大小满足数据异常阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为未知动作朝向。
其中,该数据大小可以理解为表征该用户动作数据大小的数据。例如,视频时长等。该数据异常阈值可以根据实际应用场景进行设置,例如1秒。
沿用上例,终端设备在确定采集到的用户动作视频小于1秒钟,则直接确定用户针对摄像机的动作朝向为未知动作朝向。
在本说明书提供的实施例中,在用户动作数据的数据大小不满足数据异常阈值时,会执行上述基于用户动作数据获得包含第一骨骼点数据的动作骨骼点数据,直至确定用户针对所述数据采集设备的动作朝向。
在本说明书提供的实施例中,可以通过上述实施例中的步骤对用户动作视频中的单一用户动作视频帧进行动作朝向识别,从而确定单一用户动作视频帧的动作朝向。之后,统计该用户动作视频中所有用户动作视频帧的动作朝向,并将数量最多的动作朝向作为通过用户动作视频识别获得的最终动作朝向。
基于此,本说明书提供的动作朝向识别方法,基于数据采集设备所采集的用户动作数据,获得包含第一骨骼点数据的动作骨骼点数据,再根据动作骨骼点数据中除第一骨骼点数据之外的其他骨骼点数据生成第二骨骼点数据;利用第一骨骼点数据和第二骨骼点数据的坐标信息确定用户的动作姿态;从而根据用户的动作姿态对应的朝向识别策略对动作骨骼点数据进行动作朝向识别,准确的确定出用户针对数据采集设备的动作朝向,提高了动作朝向识别的准确度。
下述结合附图3,以本说明书提供的动作朝向识别方法在用户根据教练视频训练场景下的应用为例,对所述动作朝向识别方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的一种动作朝向识别方法的处理过程流程图,具体包括以下步骤。
步骤302:判断站姿/卧姿,若是站姿,则执行步骤304;若是卧姿,则执行步骤308。
具体的,本方法的终端设备,能够通过终端设备的显示装置向用户展示标准动作,并通过终端设备的摄像头对用户根据标准动作执行的用户动作进行拍摄,从而获得用户的用户动作视频。
从用户动作视频中确定用户动作视频帧,并基于骨骼点提取模型从用户动作视频帧中提取用户的动作骨骼点数据。
基于除头部骨骼点数据之外的肩部骨骼点数据、腿部骨骼点数据等其他骨骼点数据的坐标平均值,生成一个虚拟骨骼点数据。
确定该头部骨骼点数据的坐标信息以及虚拟骨骼点数据的坐标信息,计算(y2-y1)/(x2-x1)的结果。具体计算方式为:利用虚拟骨骼点数据的横坐标信息x2,减去头部骨骼点数据的横坐标信息x1,从而获得区分站姿/卧姿的向量x方向。利用虚拟骨骼点数据的纵坐标信息y2,减去头部骨骼点数据的纵坐标信息y1,从而获得区分站姿/卧姿的向量y方向。利用向量y方向除以向量x方向,从而获得姿态识别参数。
如果该姿态识别参数<=3,认为是卧姿,则执行步骤308,否则为站姿,则执行步骤304。
步骤304:站姿站姿正面/侧面,若是正面,则确定动作朝向为站姿正面;若是侧面,则执行步骤306。
具体的,在确定用户的站姿的情况下,计算双肩距离/头颈距离的结果,如果该相除结果>1,则确定为站姿正面;否则为站姿非正面,且继续判定站姿左侧/右侧。
其中,双肩距离根据双肩骨骼点数据的坐标信息确定;该头颈距离根据头部骨骼点数据的坐标信息以及颈部骨骼点数据的坐标信息确定。
步骤306:判断站姿左侧/右侧。
具体的,在站姿非正面情况下,计算(y_头-y_颈)/(x_头-x_颈)的结果,如果该相除结果>=2,则确定朝向为站姿非正面。如果该相除结果<2,继续判断该结果是否>0,若是,则朝向为站姿右侧。若否,则为站姿左侧。
步骤308:判断卧姿左侧/右侧。
具体地,在确定用户姿态为卧姿的情况下,计算(x2-x1)的结果。其中x2为虚拟骨骼点数据的横坐标信息;x1为头部骨骼点数据的横坐标信息。如果结果>0,则确定朝向为卧姿左侧。如果结果<0则确定朝向为卧姿右侧。若结果=0,则确定朝向为未知。
基于上述步骤可知,本方法通过对用户的动作姿态进行初步判断,从而快速的多种朝向中,确定出需要对站姿/卧姿分类下的朝向进行判断,降低了判断朝向的范围,提高了效率。并且,后续通过不同计算方法,有针对性地进行朝向识别,提升了识别准确率。
与上述方法实施例相对应,本说明书还提供了动作朝向识别装置实施例,图4示出了本说明书一个实施例提供的一种动作朝向识别装置的结构示意图。如图4所示,该装置包括:
数据采集模块402,被配置为通过数据采集设备对用户的用户动作数据进行采集,并基于所述用户动作数据获得包含第一骨骼点数据的动作骨骼点数据;
数据生成模块404,被配置为根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据;
姿态确定模块406,被配置为根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态;
朝向识别模块408,被配置为根据所述动作姿态对应的朝向识别策略对所述动作骨骼点数据进行处理,确定所述用户针对所述数据采集设备的动作朝向。
可选地,所述数据生成模块404,还被配置为:
确定所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据;
根据所述其他骨骼点数据的坐标信息,计算所述其他骨骼点数据之间的平均坐标信息;
根据所述平均坐标信息生成第二骨骼点数据。
可选地,所述姿态确定模块406,还被配置为:
根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的姿态识别参数;
判断所述姿态识别参数是否大于预设姿态识别阈值,若是,则判断所述用户的动作姿态为站姿,若否,则判断所述用户的动作姿态为卧姿。
可选地,所述姿态确定模块406,还被配置为:
根据所述第一骨骼点数据的横坐标信息与所述第二骨骼点数据的横坐标信息,获得所述第一骨骼点数据与所述第二骨骼点数据之间的横坐标向量;
根据所述第一骨骼点数据的纵坐标信息与所述第二骨骼点数据的纵坐标信息,获得所述第一骨骼点数据与所述第二骨骼点数据之间的纵坐标向量;
根据所述横坐标向量与所述纵坐标向量,确定所述用户的姿态识别参数。
可选地,所述动作姿态为站姿;
相应地,所述朝向识别模块408,还被配置为:
在所述动作姿态为站姿的情况下,根据所述动作骨骼点数据中肩部骨骼点数据的坐标信息、颈部骨骼点数据的坐标信息以及头部骨骼点数据的坐标信息,确定所述用户的站姿朝向识别参数;
在确定所述站姿朝向识别参数大于预设站姿正面朝向阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿正面朝向。
可选地,所述朝向识别模块408,还被配置为:
在确定所述站姿朝向识别参数小于等于预设站姿正面朝向阈值的情况下,根据所述颈部骨骼点数据的坐标信息以及所述头部骨骼点数据的坐标信息,确定所述用户的站姿侧面识别参数;
根据所述站姿侧面识别参数,确定所述用户针对所述数据采集设备的动作朝向。
可选地,所述朝向识别模块408,还被配置为:
在所述站姿侧面识别参数小于第一侧面识别阈值且大于第二侧面识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿右侧朝向;
在所述站姿侧面识别参数小于等于所述第二侧面识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿左侧朝向;或者
在所述站姿侧面识别参数大于等于所述第一侧面识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿背面朝向。
可选地,所述朝向识别模块408,还被配置为:
根据所述颈部骨骼点数据的横坐标信息以及所述头部骨骼点数据的横坐标信息,确定头颈横坐标向量;
根据所述颈部骨骼点数据的纵坐标信息以及头部骨骼点数据的纵坐标信息,确定头颈纵坐标向量;
根据所述头颈横坐标向量以及所述头颈纵坐标向量,确定所述用户的站姿侧面识别参数。
可选地,所述朝向识别模块408,还被配置为:
根据所述动作骨骼点数据中肩部骨骼点数据的坐标信息,获得双肩距离值;
根据所述动作骨骼点数据中颈部骨骼点数据的坐标信息以及头部骨骼点数据的坐标信息,获得头颈距离值;
根据所述双肩距离值以及头颈距离值,计算获得所述用户的站姿朝向识别参数。
可选地,所述动作朝向识别装置,还包括未知动作朝向识别模块,被配置为:
在确定所述用户动作数据的数据大小满足数据异常阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为未知动作朝向。
可选地,所述动作姿态为卧姿;
相应地,所述朝向识别模块408,还被配置为:
根据所述第二骨骼点数据的横坐标信息以及所述动作骨骼点数据中头部骨骼点数据的横坐标信息,确定所述用户的卧姿朝向识别参数;
根据所述卧姿朝向识别参数确定所述用户针对所述数据采集设备的动作朝向。
可选地,所述朝向识别模块408,还被配置为:
在所述卧姿朝向识别参数大于卧姿朝向识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为卧姿左侧朝向;
在所述卧姿朝向识别参数小于卧姿朝向识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为卧姿右侧朝向;或者
在所述卧姿朝向识别参数等于卧姿朝向识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为未知动作朝向。
可选地,所述用户动作数据为用户动作视频;
相应地,所述数据采集模块402,还被配置为:
通过视频数据采集设备对用户的用户动作进行采集,获得所述用户的用户动作视频,其中,所述用户动作为所述用户根据显示装置中展示的标准动作执行的动作;
从所述用户动作视频中确定用户动作视频帧,并从所述用户动作视频帧中获得包含第一骨骼点数据的动作骨骼点数据。
本说明书提供的动作朝向识别装置,基于数据采集设备所采集的用户动作数据,获得包含第一骨骼点数据的动作骨骼点数据,再根据动作骨骼点数据中除第一骨骼点数据之外的其他骨骼点数据生成第二骨骼点数据;利用第一骨骼点数据和第二骨骼点数据的坐标信息确定用户的动作姿态;从而根据用户的动作姿态对应的朝向识别策略对动作骨骼点数据进行动作朝向识别,准确地确定出用户针对数据采集设备的动作朝向,提高了动作朝向识别的准确度。
上述为本实施例的一种动作朝向识别装置的示意性方案。需要说明的是,该动作朝向识别装置的技术方案与上述的动作朝向识别方法的技术方案属于同一构思,动作朝向识别装置的技术方案未详细描述的细节内容,均可以参见上述动作朝向识别方法的技术方案的描述。
图5示出了根据本说明书一个实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接,数据库550用于保存数据。
计算设备500还包括接入设备540,接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图5所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备500可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
其中,处理器520用于执行如下计算机可执行指令,该计算机可执行指令被处理器520执行时实现上述动作朝向识别方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的动作朝向识别方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述动作朝向识别方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述动作朝向识别方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的动作朝向识别方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述动作朝向识别方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述动作朝向识别方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的动作朝向识别方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述动作朝向识别方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (17)

1.一种动作朝向识别方法,其特征在于,包括:
通过数据采集设备对用户的用户动作数据进行采集,并基于所述用户动作数据获得包含第一骨骼点数据的动作骨骼点数据;
根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据;
根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态;
根据所述动作姿态对应的朝向识别策略对所述动作骨骼点数据进行处理,确定所述用户针对所述数据采集设备的动作朝向。
2.根据权利要求1所述的动作朝向识别方法,其特征在于,所述根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据,包括:
确定所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据;
根据所述其他骨骼点数据的坐标信息,计算所述其他骨骼点数据之间的平均坐标信息;
根据所述平均坐标信息生成第二骨骼点数据。
3.根据权利要求1所述的动作朝向识别方法,其特征在于,所述根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态,包括:
根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的姿态识别参数;
判断所述姿态识别参数是否大于预设姿态识别阈值,若是,则判断所述用户的动作姿态为站姿,若否,则判断所述用户的动作姿态为卧姿。
4.根据权利要求3所述的动作朝向识别方法,其特征在于,所述根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的姿态识别参数,包括:
根据所述第一骨骼点数据的横坐标信息与所述第二骨骼点数据的横坐标信息,获得所述第一骨骼点数据与所述第二骨骼点数据之间的横坐标向量;
根据所述第一骨骼点数据的纵坐标信息与所述第二骨骼点数据的纵坐标信息,获得所述第一骨骼点数据与所述第二骨骼点数据之间的纵坐标向量;
根据所述横坐标向量与所述纵坐标向量,确定所述用户的姿态识别参数。
5.根据权利要求1所述的动作朝向识别方法,其特征在于,所述动作姿态为站姿;
相应地,所述根据所述动作姿态对应的朝向识别策略对所述动作骨骼点进行处理,确定所述用户针对所述数据采集设备的动作朝向,包括:
在所述动作姿态为站姿的情况下,根据所述动作骨骼点数据中肩部骨骼点数据的坐标信息、颈部骨骼点数据的坐标信息以及头部骨骼点数据的坐标信息,确定所述用户的站姿朝向识别参数;
在确定所述站姿朝向识别参数大于预设站姿正面朝向阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿正面朝向。
6.根据权利要求5所述的动作朝向识别方法,其特征在于,所述根据所述动作骨骼点数据中肩部骨骼点数据的坐标信息、颈部骨骼点数据的坐标信息以及头部骨骼点数据的坐标信息,确定所述用户的站姿朝向识别参数之后,还包括:
在确定所述站姿朝向识别参数小于等于预设站姿正面朝向阈值的情况下,根据所述颈部骨骼点数据的坐标信息以及所述头部骨骼点数据的坐标信息,确定所述用户的站姿侧面识别参数;
根据所述站姿侧面识别参数,确定所述用户针对所述数据采集设备的动作朝向。
7.根据权利要求6所述的动作朝向识别方法,其特征在于,所述根据所述站姿侧面识别参数,确定所述用户针对所述数据采集设备的动作朝向,包括:
在所述站姿侧面识别参数小于第一侧面识别阈值且大于第二侧面识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿右侧朝向;
在所述站姿侧面识别参数小于等于所述第二侧面识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿左侧朝向;或者
在所述站姿侧面识别参数大于等于所述第一侧面识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为站姿背面朝向。
8.根据权利要求6所述的动作朝向识别方法,其特征在于,所述根据所述颈部骨骼点数据的坐标信息以及所述头部骨骼点数据的坐标信息,确定所述用户的站姿侧面识别参数,包括:
根据所述颈部骨骼点数据的横坐标信息以及所述头部骨骼点数据的横坐标信息,确定头颈横坐标向量;
根据所述颈部骨骼点数据的纵坐标信息以及头部骨骼点数据的纵坐标信息,确定头颈纵坐标向量;
根据所述头颈横坐标向量以及所述头颈纵坐标向量,确定所述用户的站姿侧面识别参数。
9.根据权利要求5所述的动作朝向识别方法,其特征在于,所述根据所述动作骨骼点数据中肩部骨骼点数据的坐标信息、颈部骨骼点数据的坐标信息以及头部骨骼点数据的坐标信息,确定所述用户的站姿朝向识别参数,包括:
根据所述动作骨骼点数据中肩部骨骼点数据的坐标信息,获得双肩距离值;
根据所述动作骨骼点数据中颈部骨骼点数据的坐标信息以及头部骨骼点数据的坐标信息,获得头颈距离值;
根据所述双肩距离值以及头颈距离值,计算获得所述用户的站姿朝向识别参数。
10.根据权利要求1所述的动作朝向识别方法,其特征在于,所述通过数据采集设备对用户的用户动作数据进行采集之后,还包括:
在确定所述用户动作数据的数据大小满足数据异常阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为未知动作朝向。
11.根据权利要求1所述的动作朝向识别方法,其特征在于,所述动作姿态为卧姿;
相应地,所述根据所述动作姿态对应的朝向识别策略对所述动作骨骼点进行处理,确定所述用户针对所述数据采集设备的动作朝向,包括:
根据所述第二骨骼点数据的横坐标信息以及所述动作骨骼点数据中头部骨骼点数据的横坐标信息,确定所述用户的卧姿朝向识别参数;
根据所述卧姿朝向识别参数确定所述用户针对所述数据采集设备的动作朝向。
12.根据权利要求11所述的动作朝向识别方法,其特征在于,所述根据所述卧姿朝向识别参数确定所述用户针对所述数据采集设备的动作朝向,包括:
在所述卧姿朝向识别参数大于卧姿朝向识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为卧姿左侧朝向;
在所述卧姿朝向识别参数小于卧姿朝向识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为卧姿右侧朝向;或者
在所述卧姿朝向识别参数等于卧姿朝向识别阈值的情况下,确定所述用户针对所述数据采集设备的动作朝向为未知动作朝向。
13.根据权利要求1所述的动作朝向识别方法,其特征在于,所述用户动作数据为用户动作视频;
相应地,所述通过数据采集设备对用户的用户动作数据进行采集,并基于所述用户动作数据获得包含第一骨骼点数据的动作骨骼点数据,包括:
通过视频数据采集设备对用户的用户动作进行采集,获得所述用户的用户动作视频,其中,所述用户动作为所述用户根据显示装置中展示的标准动作执行的动作;
从所述用户动作视频中确定用户动作视频帧,并从所述用户动作视频帧中获得包含第一骨骼点数据的动作骨骼点数据。
14.一种动作朝向识别系统,其特征在于,所述系统包括控制端,所述控制端关联的摄像头以及所述控制端关联的显示装置,其中,
所述控制端,被配置为通过所述显示装置向用户展示标准动作,并通过摄像头对所述用户根据所述标准动作执行的用户动作视频进行拍摄;
基于所述用户动作视频获得包含第一骨骼点数据的动作骨骼点数据;
根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据;
根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态;
根据所述动作姿态对应的朝向识别策略对所述动作骨骼点数据进行处理,确定所述用户针对所述摄像头的动作朝向。
15.一种动作朝向识别装置,其特征在于,包括:
数据采集模块,被配置为通过数据采集设备对用户的用户动作数据进行采集,并基于所述用户动作数据获得包含第一骨骼点数据的动作骨骼点数据;
数据生成模块,被配置为根据所述动作骨骼点数据中除所述第一骨骼点数据之外的其他骨骼点数据,生成第二骨骼点数据;
姿态确定模块,被配置为根据所述第一骨骼点数据的坐标信息以及所述第二骨骼点数据的坐标信息,确定所述用户的动作姿态;
朝向识别模块,被配置为根据所述动作姿态对应的朝向识别策略对所述动作骨骼点数据进行处理,确定所述用户针对所述数据采集设备的动作朝向。
16.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至13任意一项所述动作朝向识别方法的步骤。
17.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至13任意一项所述动作朝向识别方法的步骤。
CN202310344265.2A 2023-03-31 2023-03-31 动作朝向识别方法及装置 Pending CN116363756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310344265.2A CN116363756A (zh) 2023-03-31 2023-03-31 动作朝向识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310344265.2A CN116363756A (zh) 2023-03-31 2023-03-31 动作朝向识别方法及装置

Publications (1)

Publication Number Publication Date
CN116363756A true CN116363756A (zh) 2023-06-30

Family

ID=86936329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310344265.2A Pending CN116363756A (zh) 2023-03-31 2023-03-31 动作朝向识别方法及装置

Country Status (1)

Country Link
CN (1) CN116363756A (zh)

Similar Documents

Publication Publication Date Title
CN110349081B (zh) 图像的生成方法、装置、存储介质和电子设备
Chen et al. Robust activity recognition for aging society
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
CN110427900B (zh) 一种智能指导健身的方法、装置和设备
CN107930048B (zh) 一种太空体感识别运动分析系统及运动分析方法
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和系统
CN111401318B (zh) 动作识别方法及装置
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
Chang et al. Poselifter: Absolute 3d human pose lifting network from a single noisy 2d human pose
CN110838353A (zh) 动作匹配方法及相关产品
WO2016165614A1 (zh) 一种即时视频中的表情识别方法和电子设备
WO2019011073A1 (zh) 人脸活体检测方法及相关产品
US20230230305A1 (en) Online streamer avatar generation method and apparatus
CN111107278B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN111046825A (zh) 人体姿态识别方法、装置、系统及计算机可读存储介质
CN112489036A (zh) 图像评价方法、图像评价装置、存储介质与电子设备
Kwon et al. Hands-free human activity recognition using millimeter-wave sensors
CN108174141B (zh) 一种视频通信的方法和一种移动装置
CN114333046A (zh) 舞蹈动作评分方法、装置、设备和存储介质
CN115227234A (zh) 一种基于摄像头的心肺复苏按压动作评估方法与系统
CN113239849B (zh) 健身动作质量评估方法、系统、终端设备及存储介质
CN111104827A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112329663A (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
WO2023035725A1 (zh) 虚拟道具展示方法及装置
CN106600702A (zh) 基于虚拟现实技术的图像处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination