CN111885419B - 姿态处理方法及装置、存储介质、电子装置 - Google Patents

姿态处理方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN111885419B
CN111885419B CN202010725105.9A CN202010725105A CN111885419B CN 111885419 B CN111885419 B CN 111885419B CN 202010725105 A CN202010725105 A CN 202010725105A CN 111885419 B CN111885419 B CN 111885419B
Authority
CN
China
Prior art keywords
standard
gesture
target
similarity
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010725105.9A
Other languages
English (en)
Other versions
CN111885419A (zh
Inventor
雷晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202010725105.9A priority Critical patent/CN111885419B/zh
Publication of CN111885419A publication Critical patent/CN111885419A/zh
Application granted granted Critical
Publication of CN111885419B publication Critical patent/CN111885419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种姿态处理方法及装置、存储介质、电子装置，上述方法包括：在目标视频被播放的过程中，获取目标对象的姿态，以及所述姿态对应的时间戳；确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，其中，所述标准姿态包括：从所述目标视频中按照预设规则提取的姿态；根据所述相似度确定对所述姿态的响应策略。解决了现有技术中，无法参照目标视频的姿态判断目标对象是否标准等问题，确保了目标对象在学习目标视频中的姿态时的准确性，提高对目标对象的保护，提升了目标对象学习目标视频的体验。

Description

姿态处理方法及装置、存储介质、电子装置
技术领域
本发明涉及通信领域，具体而言，涉及一种姿态处理方法及装置、存储介质、电子装置。
背景技术
随着互联网的快速发展，越来越多的舞蹈短视频发布到各大平台供人们交流学习，由于疫情期间，长期在家不能出门，部分人选择在家通过在平台的视频区学习一些舞蹈，进而缓解焦虑，但由于视频学习的局限性，目标对象的动作学习是否标准，无从而知，并且会因为长期的动作不标准导致身体或者骨骼出现差异化，给人身体带来不必要的伤害。
在相关技术中，目前大多数舞蹈视频学习软件均是提供相应的视频教程，目标对象只能跟随学习，无法得到相应的指导，所以到底有没有达到标准，无从而知，只是伴随视频进行一味模仿，对于一些动作上的细节问题并不能及时做出调整。
针对相关技术中，无法判断目标对象参照目标视频的姿态是否标准等问题，尚未提出有效的技术方案。
发明内容
本发明实施例提供了一种姿态处理方法及装置、系统、存储介质、电子装置，以至少解决相关技术中，无法判断目标对象参照目标视频的姿态是否标准等问题。
根据本发明的一个实施例，提供了一种姿态处理方法，包括：在目标视频被播放的过程中，获取目标对象的姿态，以及所述姿态对应的时间戳；确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，其中，所述标准姿态包括：从所述目标视频中按照预设规则提取的姿态；根据所述相似度确定对所述姿态的响应策略。
在一个示例性实施例中，获取目标对象的姿态，以及所述姿态对应的时间戳之前，上述方法还包括：获取所述目标视频；将所述目标视频按照预设时间间隔提取N个标准姿态，其中，所述N为正整数，N个标准姿态对应N个时间戳。
在一个示例性实施例中，根据所述相似度确定对所述姿态的响应策略，包括：在所述相似度高于预设阈值的情况下，至少执行以下操作之一：指示目标设备显示所述姿态符合要求的提示信息、继续播放所述目标视频，其中，所述目标设备用于播放所述目标视频；在所述相似度小于或等于预设阈值的情况下，至少执行以下操作之一：语音提示所述目标对象所述姿态不符合所述标准姿态、在所述目标设备上重复播放所述姿态对应的标准姿态。
在一个示例性实施例中，在所述相似度小于或等于预设阈值的情况下，上述方法还包括：获取所述目标对象再次执行M次的姿态，并确定所述再次执行的M次姿态与标准姿态的相似度，其中，M为正整数；在所述M次姿态与所述标准姿态的相似度均小于预设阈值的情况下，继续播放所述目标视频。
在一个示例性实施例中，确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，包括：分别将所述标准姿态和所述姿态输入到网络映射模型中，以确定所述标准姿态对应的第一映射值和所述姿态对应的第二映射值；根据所述第一映射值和所述第二映射值确定所述相似度。
在一个示例性实施例中，根据所述第一映射值和所述第二映射值确定所述相似度，包括：根据以下公式确定损失函数值：Ew(X1,X2)＝||Gw(X1)–Gw(X2)||，其中，Gw(X1)为所述第一映射值，Gw(X2)为所述第二映射值；将所述损失函数值作为所述相似度。
根据本发明的另一个实施例，提供了一种姿态处理装置，包括：获取模块，用于在目标视频被播放的过程中，获取目标对象的姿态，以及所述姿态对应的时间戳；第一确定模块，用于确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，其中，所述标准姿态包括：从所述目标视频中按照预设规则提取的姿态；第二确定模块，用于根据所述相似度确定对所述姿态的响应策略。
在一个示例性实施例中，上述第二确定模块，还用于在所述相似度高于预设阈值的情况下，至少执行以下操作之一：指示目标设备显示所述姿态符合要求的提示信息、继续播放所述目标视频，其中，所述目标设备用于播放所述目标视频；在所述相似度小于或等于预设阈值的情况下，至少执行以下操作之一：语音提示所述目标对象所述姿态不符合所述标准姿态、在所述目标设备上重复播放所述姿态对应的标准姿态。
在一个示例性实施例中，上述装置还包括：提取模块，用于获取所述目标视频；将所述目标视频按照预设时间间隔提取N个标准姿态，其中，所述N为正整数，N个标准姿态对应N个时间戳。
在一个示例性实施例中，上述第二确定模块，还用于获取所述目标对象再次执行M次的姿态，并确定所述再次执行的M次姿态与标准姿态的相似度，其中，M为正整数；在所述M次姿态与所述标准姿态的相似度均小于预设阈值的情况下，继续播放所述目标视频。
在一个示例性实施例中，上述第一确定模块，还用于分别将所述标准姿态和所述姿态输入到网络映射模型中，以确定所述标准姿态对应的第一映射值和所述姿态对应的第二映射值；根据所述第一映射值和所述第二映射值确定所述相似度。
在一个示例性实施例中，上述第一确定模块，还用于根据以下公式确定损失函数值：Ew(X1,X2)＝||Gw(X1)–Gw(X2)||，其中，Gw(X1)为所述第一映射值，Gw(X2)为所述第二映射值；将所述损失函数值作为所述相似度。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，在目标视频被播放的过程中，获取目标对象的姿态，以及所述姿态对应的时间戳；确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，其中，所述标准姿态包括：从所述目标视频中按照预设规则提取的姿态；根据所述相似度确定对所述姿态的响应策略。即通过在目标视频在播放过程中，在目标服务器上保存目标视频中的标准姿态和对应的时间戳，当目标对象参照目标视频做姿态时，获取目标对象的姿态与标准姿态进行相似度确定，并根据相似度确认结果执行相应的响应策略提醒目标对象进行姿态调整，因此，可以解决现有技术中，无法参照目标视频的姿态判断目标对象是否标准等问题，确保了目标对象在学习目标视频中的姿态时的准确性，提高对目标对象的保护，提升了目标对象学习目标视频的体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种姿态处理方法的计算机终端的硬件结构框图；
图2是根据本发明实施例的姿态处理方法的流程图；
图3是根据本发明可选实施例的相似度比较的流程示意图；
图4是根据本发明可选实施例的一种姿态处理方法软件的使用流程图；
图5是根据本发明实施例的一种姿态处理装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种姿态处理方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的姿态处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种姿态处理方法，应用于上述计算机终端，图2是根据本发明实施例的姿态处理方法的流程图，该流程包括如下步骤：
步骤S202，在目标视频被播放的过程中，获取目标对象的姿态，以及所述姿态对应的时间戳；
步骤S204，确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，其中，所述标准姿态包括：从所述目标视频中按照预设规则提取的姿态；
步骤S206，根据所述相似度确定对所述姿态的响应策略。
通过上述步骤，在目标视频在播放过程中，通过在目标服务器上保存目标视频中的标准姿态和对应的时间戳，当目标对象参照目标视频做的姿态，获取目标对象的姿态与标准姿态进行相似度确定，并根据相似度确认结果执行相应的响应策略提醒目标对象进行姿态调整，因此，可以解决现有技术中，无法参照目标视频的姿态判断目标对象是否标准等问题，确保了目标对象在学习目标视频中的姿态时的准确性，提高对目标对象的保护，提升了目标对象学习目标视频的体验。
上述步骤S202的获取目标视频中的标准姿态的方式有多种，在一个可选实施例中，可以通过以下方案实现：获取目标视频；将目标视频按照预设时间间隔提取N个标准姿态，其中，N为正整数，N个标准姿态对应N个时间戳。
也就是说，将目标视频中标准姿态和标准姿态对应的时间戳保存在目标服务器上，在播放目标视频的过程中，在确认目标对象所要参照的目标视频后，将目标视频按照预设的时间间隔提取出N个标准姿态，其中，提取N个标准姿态的过程也可以是在播放目标视频之前就预先处理好的过程，并比较相同时间戳下的目标对象的姿态与标准姿态，以确定目标对象的姿态是否标准。
需要说明的是，目标服务器可以是单个也可以是多个服务器组成的服务器集群，还可以是其他具有保存功能的云平台等，本发明对此不做过多限定。
可选地，为了使目标对象可以及时了解姿态和标准姿态的相似度的确认结果，进而根据相似度确定对姿态的响应策略，上述步骤S206可以通过以下技术方案实现：
在相似度高于预设阈值的情况下，至少执行以下操作之一：指示目标设备显示姿态符合要求的提示信息、继续播放目标视频，其中，目标设备用于播放目标视频；在相似度小于或等于预设阈值的情况下，至少执行以下操作之一：语音提示姿态不符合标准姿态、在目标设备上重复播放姿态对应的标准姿态。
也就是说，通过设置相似度的预设阈值，当姿态和标准姿态的相似度高于预设阈值时，证明目标对象的姿态是接近于标准姿态的，不需要进行太大调整，此时，在播放目标视频的目标设备上显示姿态符合要求的提示信息，和/或继续播放目标视频，当出现相似度小于预设阈值时，通过语音提示姿态不符合标准姿态，并在目标设备上重复播放不符合的目标姿态相对应的标准姿态，供目标对象参考改正。
需要说明的是，播放目标视频的目标设备可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。
在一个示例性实施例中，在相似度小于或等于预设阈值的情况下，上述方法还包括：获取目标对象再次执行M次的姿态，并确定再次执行的M次姿态与标准姿态的相似度，其中，M为正整数；在M次姿态与标准姿态的相似度均小于预设阈值的情况下，继续播放目标视频。
目标对象根据目标设备上重复播放的标准姿态，调整姿态，并重新比较姿态和标准姿态的相似度，当相似度依旧低于预设阈值时，重新获取调整后的目标对象姿态与标准姿态进行比对，直至相似度不低于预设阈值后结束目标视频的标准姿态的播放。
其中，如果重复播放标准姿态多次后，目标对象的姿态仍然不符合要求，可以根据提前设置的最多重复播放标准姿态的次数，或者通过与目标对象进行交互确认是否仍然继续播放标准姿态，如果播放标准姿态的次数超过了最多重复播放标准姿态的次数，或者目标对象指示无需继续播放标准姿态，此时，可以继续播放目标视频，而无需纠正目标对象的姿态。
可选地，确定目标服务器上保存的时间戳对应的标准姿态与姿态的相似度，包括：分别将标准姿态和姿态输入到网络映射模型中，以确定标准姿态对应的第一映射值和姿态对应的第二映射值；根据第一映射值和第二映射值确定相似度。
本发明可选实施例中，根据第一映射值和第二映射值确定相似度，包括：根据以下公式确定损失函数值：Ew(X1,X2)＝||Gw(X1)–Gw(X2)||，其中，Gw(X1)为第一映射值，Gw(X2)为第二映射值；将损失函数值作为相似度。
为了更好地比较姿态和标准姿态的相似度，将目标视频中时间戳对应的标准姿态和获取到的姿态输入到网络映射模型中，根据标准姿态对应的第一映射值和姿态对应的第二映射值，通过Ew(X1,X2)＝||Gw(X1)–Gw(X2)||，其中，Gw(X1)为第一映射值，Gw(X2)为第二映射值；进而得到用于表示相似度的损失函数值。
为了更好的理解上述姿态处理方法的过程，以下结合可选实施例对上述姿态处理方法流程进行说明。
本发明可选实施例中，主要提供了一种姿态处理方法，通过将标准视频流(相当于本发明实施例中的目标视频)中的连续视频信号分段成N份具有时间戳的标准信号(相当于本发明实施例中的标准姿态)上传到资源服务器(相当于本发明实施例中的目标服务器)上进行源数据存储，利用摄像头采集目标对象的图像(相当于本发明实施例中的姿态)，将目标对象的图像转化成目标信号，与相对应时间戳的标准信号进行比对，根据比对结果判断目标对象的姿态动作是否标准，最终通过语音信号给出目标对象相应的调整提示。
本发明可选实施例通过以下过程来实现对目标对象姿态的处理。
第一步，源数据存储，该过程包括：首先提供一套标准的视频流，视频流原本是连续的信号，可以处理成多个离散的信号，通过一定的时间间隔，固定的分段存储在资源服务器，每一个时间节点存储相应的标准信号，可以理解为把视频信号分段成N多份图像信号存储。
第二步，数据采集，该过程包括：通过摄像头对正在动作的目标对象进行图像采集，图像采集可以设置时间间隔，比如2s或者3s对目标对象的图像进行抓取，然后将此目标对象的图像及采集目标对象的图像所对应的时间戳传递到资源服务器与标准信号进行比对，筛选。
第三步，数据查询，该过程包括：资源服务器拿到所采集目标对象的图像及采集目标对象的图像所对应的时间戳的信号后，提取该信号的时间戳，对比资源服务器上该时间点上保存的标准信号，如果在误差范围内，认为标准，否则判断为非标准。
第四步，结果分析，该过程包括：当采集到的信号进行对比后判定为标准动作，则不做出任何相应，保证目标对象的动作继续进行。若判定为非标准动作，则对该时间点所存储的标准动作和目标对象的非标准动作进一步进行比较，最终通过语音信号给出目标对象相应的提示。
需要说明的是，分析目标数据和源存储数据中对应时间戳的相似度可以参考Siames网络相关理论。假设源数据中已经找到相对应时间戳的标准信号X1，目标信号设为X2，此时可以把问题转化成比较X1和X2的相似度，如图3所示:
通过对比X1和X2是否相似，构建了网络映射函数Gw(x),接着把X1,X2作为参数，得到Gw(X1),Gw(X2)，得出损失函数Ew(X1,X2)＝||Gw(X1)–Gw(X2)||，就可以得到X1和X2的相似度及差异化。
进一步的，本发明可选实施例的姿态处理方法还可以应用于软件中，如图4所示为本发明可选实施例的一种姿态处理方法软件的使用流程图，包含以下步骤：
S402：通过采集目标对象的图像，得到目标对象的图像所对应的目标数据；
S404：将通过数据采集得到的目标对象的图像所对应的目标数据传输至存储源数据的资源服务器中；
S406：资源服务器获取到包含采集目标对象的图像所对应的目标数据和目标数据所对应的时间戳的信号后，对比资源服务器上该时间点上保存的标准信号，如果在误差范围内，认为标准，否则判断为非标准
S408：分析处理结果，将目标对象图像与标准信号所对应的差异化结果通过语音传递给目标对象，从而结束处理流程。
综上，通过本发明可选实施例，通过将标准视频流中的连续视频信号分段成N份具有时间戳的标准信号上传到资源服务器上进行源数据存储，利用摄像头采集目标对象的图像，并将目标对象的图像转化成目标信号，与相对应时间戳的标准信号进行比对，根据比对结果判断目标对象的姿态动作是否标准，最终通过语音信号给出目标对象相应的调整提示，确保了目标对象在学习目标视频中的姿态时的准确性，提高对目标对象的保护，提升了目标对象学习目标视频的体验，进而，在目标对象进行居家舞蹈或者其它运动的过程中，可以精准找出每一个时刻的非标准动作，及时进行改正，避免了目标对象只能跟随学习，无法得到相应的指导的问题。
需要说明的是，上述步骤的执行顺序在部分情况下可以进行调换或者循环执行，本发明实施例对此不进行限定。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种姿态处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的一种姿态处理装置的结构框图，如图5所示，该装置包括：
(1)获取模块52，用于在目标视频被播放的过程中，获取目标对象的姿态，以及所述姿态对应的时间戳；
(2)第一确定模块54，用于确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，其中，所述标准姿态包括：从所述目标视频中按照预设规则提取的姿态；
(3)第二确定模块56，用于根据所述相似度确定对所述姿态的响应策略。
通过上述装置，在目标视频在播放过程中，通过在目标服务器上保存目标视频中的标准姿态和对应的时间戳，当目标对象参照目标视频做的姿态，获取姿态与标准姿态进行相似度确定，并根据相似度确认结果执行相应的响应策略提醒目标对象进行姿态调整，因此，可以解决现有技术中，无法判断目标对象参照目标视频的姿态是否标准等问题，确保了目标对象在学习目标视频中的姿态时的准确性，提高对目标对象的保护，提升了目标对象学习目标视频的体验。
在一个示例性实施例中，上述第二确定模块，还用于在所述相似度高于预设阈值的情况下，至少执行以下操作之一：指示目标设备显示所述姿态符合要求的提示信息、继续播放所述目标视频，其中，所述目标设备用于播放所述目标视频；在所述相似度小于或等于预设阈值的情况下，至少执行以下操作之一：语音提示所述目标对象所述姿态不符合所述标准姿态、在所述目标设备上重复播放所述姿态对应的标准姿态。
也就是说，通过设置相似度的预设阈值，当姿态和标准姿态的相似度高于预设阈值时，证明目标对象的姿态是接近于标准姿态的，不需要进行太大调整，此时，在播放目标视频的目标设备上显示姿态符合要求的提示信息，和/或继续播放目标视频，当出现相似度小于预设阈值时，通过语音提示姿态不符合标准姿态，并在目标设备上重复播放不符合的目标姿态相对应的标准姿态，供目标对象参考改正。
需要说明的是，播放目标视频的目标设备可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。
在一个示例性实施例中，上述装置还包括：提取模块，用于获取所述目标视频；将所述目标视频按照预设时间间隔提取N个标准姿态，其中，所述N为正整数，N个标准姿态对应N个时间戳。
也就是说，将目标视频中标准姿态和标准姿态对应的时间戳保存在目标服务器上，在播放目标视频的过程中，在确认目标对象所要参照的目标视频后，将目标视频按照预设的时间间隔提取出N个标准姿态，其中，提取N个标准姿态的过程也可以是在播放目标视频之前就预先处理好的过程，并比较相同时间戳下的目标对象的姿态与标准姿态，以确定目标对象的姿态是否标准。
在一个示例性实施例中，上述第二确定模块，还用于获取所述目标对象再次执行M次的姿态，并确定所述再次执行的M次姿态与标准姿态的相似度，其中，M为正整数；在所述M次姿态与所述标准姿态的相似度均小于预设阈值的情况下，继续播放所述目标视频。
目标对象根据目标设备上重复播放的标准姿态，调整姿态，并重新比较姿态和标准姿态的相似度，当相似度依旧低于预设阈值时，重新获取调整后的姿态，直至相似度不低于预设阈值后结束目标视频的标准姿态的播放。
其中，如果重复播放标准姿态多次后，目标对象的姿态仍然不符合要求，可以根据提前设置的最多重复播放标准姿态的次数，或者通过与目标对象进行交互确认是否仍然继续播放标准姿态，如果播放标准姿态的次数超过了最多重复播放标准姿态的次数，或者目标对象指示无需继续播放标准姿态，此时，可以继续播放目标视频，而无需纠正目标对象的姿态。
可选地，上述第一确定模块，还用于分别将所述标准姿态和所述姿态输入到网络映射模中，以确定所述标准姿态对应的第一映射值和所述姿态对应的第二映射值；根据所述第一映射值和所述第二映射值确定所述相似度。
本发明可选实施例中，上述第一确定模块，还用于根据以下公式确定损失函数值：Ew(X1,X2)＝||Gw(X1)–Gw(X2)||，其中，Gw(X1)为所述第一映射值，Gw(X2)为所述第二映射值；将所述损失函数值作为所述相似度。
为了更好地比较姿态和标准姿态的相似度，将目标视频中时间戳对应的标准姿态和获取到的姿态输入到网络映射模型中，根据标准姿态对应的第一映射值和姿态对应的第二映射值，通过Ew(X1,X2)＝||Gw(X1)–Gw(X2)||，其中，Gw(X1)为所述第一映射值，Gw(X2)为所述第二映射值；进而得到用于表示相似度的损失函数值。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，在目标视频被播放的过程中，获取目标对象的姿态，以及所述姿态对应的时间戳；
S2，确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，其中，所述标准姿态包括：从所述目标视频中按照预设规则提取的姿态；
S3，根据所述相似度确定对所述姿态的响应策略。
在一个示例性实施例中，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
在一个示例性实施例中，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，在目标视频被播放的过程中，获取目标对象的姿态，以及所述姿态对应的时间戳；
S2，确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，其中，所述标准姿态包括：从所述目标视频中按照预设规则提取的姿态；
S3，根据所述相似度确定对所述姿态的响应策略。
在一个示例性实施例中，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，在一个示例性实施例中，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种姿态处理方法，其特征在于，包括：
在目标视频被播放的过程中，获取目标对象的姿态，以及所述姿态对应的时间戳；
确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，其中，所述标准姿态包括：从所述目标视频中按照预设规则提取的姿态；
根据所述相似度确定对所述姿态的响应策略；
其中，确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，包括：
分别将所述标准姿态和所述姿态输入到网络映射模型中，以确定所述标准姿态对应的第一映射值和所述姿态对应的第二映射值；
根据所述第一映射值和所述第二映射值确定所述相似度；
其中，根据所述第一映射值和所述第二映射值确定所述相似度，包括：
根据以下公式确定损失函数值：
Ew(X1,X2)＝||Gw(X1)–Gw(X2)||，其中，Gw(X1)为所述第一映射值，Gw(X2)为所述第二映射值；
将所述损失函数值作为所述相似度；
获取目标对象的姿态，以及所述姿态对应的时间戳之前，所述方法还包括：
获取所述目标视频；
将所述目标视频按照预设时间间隔提取N个标准姿态，其中，所述N为正整数，N个标准姿态对应N个时间戳；
其中，提取N个标准姿态包括：将所述目标视频中标准姿态和标准姿态对应的时间戳保存在目标服务器上；在播放所述目标视频的过程中，将目标对象所要参照的目标视频按照预设的时间间隔提取出N个标准姿态，或者，在播放所述目标视频之前，预先按照预设的时间间隔提取N个标准姿态；
根据所述相似度确定对所述姿态的响应策略，包括：
在所述相似度高于预设阈值的情况下，至少执行以下操作之一：指示目标设备显示所述姿态符合要求的提示信息、继续播放所述目标视频，其中，所述目标设备用于播放所述目标视频；
在所述相似度小于或等于预设阈值的情况下，至少执行以下操作之一：语音提示所述目标对象所述姿态不符合所述标准姿态、在所述目标设备上重复播放所述姿态对应的标准姿态；
如果重复播放所述标准姿态多次后，所述目标对象的姿态仍然不符合要求，则根据提前设置的最多重复播放标准姿态的次数，或者通过与所述目标对象进行交互确认是否仍然继续播放所述标准姿态，如果播放标准姿态的次数超过了最多重复播放标准姿态的次数，或者目标对象指示无需继续播放标准姿态，则继续播放目标视频。
2.根据权利要求1所述的方法，其特征在于，在所述相似度小于或等于预设阈值的情况下，所述方法还包括：
获取所述目标对象再次执行M次的姿态，并确定所述再次执行的M次姿态与标准姿态的相似度，其中，M为正整数；
在所述M次姿态与所述标准姿态的相似度均小于预设阈值的情况下，继续播放所述目标视频。
3.一种姿态处理装置，其特征在于，包括：
获取模块，用于在目标视频被播放的过程中，获取目标对象的姿态，以及所述姿态对应的时间戳；
第一确定模块，用于确定目标服务器上保存的所述时间戳对应的标准姿态与所述姿态的相似度，其中，所述标准姿态包括：从所述目标视频中按照预设规则提取的姿态；
第二确定模块，用于根据所述相似度确定对所述姿态的响应策略；
所述第一确定模块，还用于分别将所述标准姿态和所述姿态输入到网络映射模型中，以确定所述标准姿态对应的第一映射值和所述姿态对应的第二映射值；根据所述第一映射值和所述第二映射值确定所述相似度；
所述第一确定模块，还用于根据以下公式确定损失函数值：Ew(X1,X2)＝||Gw(X1)–Gw(X2)||，其中，Gw(X1)为所述第一映射值，Gw(X2)为所述第二映射值；将所述损失函数值作为所述相似度；
所述装置还包括：提取模块，用于获取所述目标视频；将所述目标视频按照预设时间间隔提取N个标准姿态，其中，所述N为正整数，N个标准姿态对应N个时间戳；
其中，提取N个标准姿态包括：将所述目标视频中标准姿态和标准姿态对应的时间戳保存在目标服务器上；在播放所述目标视频的过程中，将目标对象所要参照的目标视频按照预设的时间间隔提取出N个标准姿态，或者，在播放所述目标视频之前，预先按照预设的时间间隔提取N个标准姿态；
所述第二确定模块，还用于在所述相似度高于预设阈值的情况下，至少执行以下操作之一：指示目标设备显示所述姿态符合要求的提示信息、继续播放所述目标视频，其中，所述目标设备用于播放所述目标视频；在所述相似度小于或等于预设阈值的情况下，至少执行以下操作之一：语音提示所述目标对象所述姿态不符合所述标准姿态、在所述目标设备上重复播放所述姿态对应的标准姿态；
如果重复播放所述标准姿态多次后，所述目标对象的姿态仍然不符合要求，则根据提前设置的最多重复播放标准姿态的次数，或者通过与所述目标对象进行交互确认是否仍然继续播放所述标准姿态，如果播放标准姿态的次数超过了最多重复播放标准姿态的次数，或者目标对象指示无需继续播放标准姿态，则继续播放目标视频。
4.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至2任一项中所述的方法。
5.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至2任一项中所述的方法。
CN202010725105.9A 2020-07-24 2020-07-24 姿态处理方法及装置、存储介质、电子装置 Active CN111885419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010725105.9A CN111885419B (zh) 2020-07-24 2020-07-24 姿态处理方法及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010725105.9A CN111885419B (zh) 2020-07-24 2020-07-24 姿态处理方法及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN111885419A CN111885419A (zh) 2020-11-03
CN111885419B true CN111885419B (zh) 2022-12-06

Family

ID=73200488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010725105.9A Active CN111885419B (zh) 2020-07-24 2020-07-24 姿态处理方法及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN111885419B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113069220A (zh) * 2021-03-23 2021-07-06 布令可科技(上海)有限公司 一种手术器材及手术器材使用过程记录系统
CN114021945A (zh) * 2021-11-02 2022-02-08 青岛海尔工业智能研究院有限公司 一种生产监督方法、装置、服务器和存储介质
CN114333071B (zh) * 2022-03-10 2022-05-06 天津市天泽恒升科技有限公司 一种基于人体姿态估计的视频教学方法、系统和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298309B (zh) * 2019-06-28 2024-09-13 腾讯科技（深圳）有限公司 基于图像的动作特征处理方法、装置、终端及存储介质
CN110675474B (zh) * 2019-08-16 2023-05-02 咪咕动漫有限公司 虚拟角色模型的学习方法、电子设备和可读存储介质
CN110751050A (zh) * 2019-09-20 2020-02-04 郑鸿 一种基于ai视觉感知技术的运动教学系统

Also Published As

Publication number Publication date
CN111885419A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111885419B (zh) 姿态处理方法及装置、存储介质、电子装置
US10943091B2 (en) Facial feature point tracking method, apparatus, storage medium, and device
CN109993150B (zh) 用于识别年龄的方法和装置
CN105095919A (zh) 图像识别方法和装置
CN110427849B (zh) 人脸姿态确定方法、装置、存储介质和电子设备
CN112887897B (zh) 终端的定位方法、装置和计算机可读存储介质
CN115937478B (zh) 一种标定信息确定方法、装置、电子设备和存储介质
CN112994980B (zh) 时延测试方法、装置、电子设备和存储介质
CN111881740B (zh) 人脸识别方法、装置、电子设备及介质
CN114327201B (zh) 云手机操控方法、装置及计算机设备
CN112084959A (zh) 一种人群图像处理方法及装置
CN110796096B (zh) 一种手势识别模型的训练方法、装置、设备及介质
CN110415318B (zh) 图像处理方法和装置
CN110097004B (zh) 面部表情识别方法和装置
CN113900519A (zh) 注视点获取方法、装置以及电子设备
CN116050548B (zh) 一种联邦学习方法、装置及电子设备
CN110335237B (zh) 用于生成模型的方法、装置和用于识别图像的方法、装置
CN113780291B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN115187673A (zh) 一种扫描仪标定方法、装置、电子设备及存储介质
CN115620710A (zh) 语音识别的方法、装置、存储介质以及电子装置
CN116320711A (zh) 图像拍摄方法及装置
CN110347247B (zh) 人机交互方法、装置、存储介质及电子设备
CN109040774B (zh) 一种节目信息提取方法、终端设备、服务器及存储介质
CN112767348B (zh) 一种检测信息的确定方法和装置
CN112580596B (zh) 一种数据处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant