CN114745576A - 一种家庭健身互动方法、装置、电子设备以及存储介质 - Google Patents

一种家庭健身互动方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN114745576A
CN114745576A CN202210302962.7A CN202210302962A CN114745576A CN 114745576 A CN114745576 A CN 114745576A CN 202210302962 A CN202210302962 A CN 202210302962A CN 114745576 A CN114745576 A CN 114745576A
Authority
CN
China
Prior art keywords
image
message
user
transmitted
uvc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210302962.7A
Other languages
English (en)
Inventor
袁芳林
杨治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hezhi Information Technology Co ltd
Original Assignee
Shanghai Hezhi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hezhi Information Technology Co ltd filed Critical Shanghai Hezhi Information Technology Co ltd
Priority to CN202210302962.7A priority Critical patent/CN114745576A/zh
Publication of CN114745576A publication Critical patent/CN114745576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及家庭健身的技术领域,尤其是涉及一种家庭健身互动方法、装置、电子设备以及存储介质,其方法包括获取用户健身动作视频,并对所述用户健身动作视频进行分帧处理,得到每一帧的用户健身图像;将每一帧所述用户健身图像输入至预先集成在所述摄像头中的人体骨骼识别模块进行识别,得到与每一帧所述用户健身图像对应的人体骨骼数据;将所述用户健身图像和对应的所述人体骨骼数据生成UVC协议报文;逐帧将所述UVC协议报文发送至所述电视机顶盒,以便对所述用户健身动作进行动作标准校验,并通过与所述电视机顶盒连接的电视机展示动作标准校验的结果。本申请具有使用户在家中健身及时获取到其作出的动作是否标准的效果。

Description

一种家庭健身互动方法、装置、电子设备以及存储介质
技术领域
本发明涉及家庭健身的技术领域,尤其是涉及一种家庭健身互动方法、装置、电子设备以及存储介质。
背景技术
目前,人们对于生活健康方面的关注越来越重视,其中,健身锻炼的方式是人们保持身体健康的选择之一。
考虑到经济成本以及便捷性,在家中锻炼进行锻炼已经是人们锻炼的常见选择之一。在家中进行锻炼时,通常是通过相关的锻炼软件,该软件中会包含各种健身动作的视频,用户在播放对应的视频的同时,通过模仿视频中动作,起到锻炼的效果。
上述中的现有技术方案存在以下缺陷:
由于进行锻炼的用户,存在有对健身动作不够熟悉,即使模仿视频中的健身动作,也会存在无法知道自身的动作不够标准而导致影响健身效果,甚至有受伤的风险。
发明内容
为了使用户在家中健身及时获取到其作出的动作是否标准,本申请提供一种家庭健身互动方法、装置、电子设备以及存储介质。
本申请的上述发明目的一是通过以下技术方案得以实现的:
一种家庭健身互动方法,所述家庭健身互动方法应用在连接于电视机顶盒的摄像头,包括:
获取用户健身动作视频,并对所述用户健身动作视频进行分帧处理,得到每一帧的用户健身图像;
将每一帧所述用户健身图像输入至预先集成在所述摄像头中的人体骨骼识别模块进行识别,得到与每一帧所述用户健身图像对应的人体骨骼数据;
将所述用户健身图像和对应的所述人体骨骼数据生成UVC协议报文;
逐帧将所述UVC协议报文发送至所述电视机顶盒,以便对所述用户健身动作进行动作标准校验,并通过与所述电视机顶盒连接的电视机展示动作标准校验的结果。
通过采用上述技术方案,在家中进行健身的时候,通过将摄像头连接于电视机顶盒,能够使得用户在观看健身视频,并模仿健身视频中的动作进行健身的同时,将用户的动作通过摄像头拍摄成用户健身动作视频,并通过预先集成在摄像头中的人体骨骼识别模型识别出对应的人体骨骼数据,并将人体骨骼数据和用户健身图像生成对应的UVC协议报文,有助于摄像头将获取得到的用户健身图像和人体骨骼数据传输至电视机顶盒;在将该人体骨骼数据传输至电视机顶盒后,能够通过电视机顶盒进行解析,以便电视机顶盒能够根据健身视频中的动作判断用户的动作是否标准,从而有助于用户根据判断结果改善自己的动作,使自己的健身动作更加趋近于标准动作,进而有助于提升用户在家健身的效果,也减少了因动作不标准而导致受伤的风险;由于电视机顶盒的计算能力有限,通过在摄像头中集成有人体骨骼识别模型,能够通过摄像头对拍摄得到的用户健身图像进行识别计算,从而减轻了电视机顶盒的计算负担,提升了动作标准校验的效率。
本申请在一较佳示例中可以进一步配置为:所述将所述用户健身图像和对应的所述人体骨骼数据生成UVC协议报文,具体包括:
获取预设的UVC传输协议,根据所述UVC传输协议对所述用户健身图像进行封装,得到待传输图像报文;
将与所述待传输图像报文对应的人体骨骼数据根据所述UVC传输协议进行转换后,得到所述UVC协议报文。
通过采用上述技术方案,由于摄像头与电视机顶盒的连接方式通常为USB连接,因此,通过将人体骨骼数据根据UVC传输协议进行转换,能够利用USB视频捕获设备定义的协议标准,将识别得到的人体骨骼数据传输至电视机顶盒,从而实现了电视机顶盒的计算外置,以及将计算结果传输至电视机顶盒进行解析以及展示。
本申请在一较佳示例中可以进一步配置为:所述将与所述待传输图像报文对应的人体骨骼数据根据所述UVC传输协议进行转换后,得到所述UVC协议报文,具体包括:
获取用户健身动作视频的参与人数信息;
根据所述参与人数信息将与所述待传输图像报文对应的人体骨骼数据根据所述UVC传输协议进行转换后,得到所述UVC协议报文。
通过采用上述技术方案,能够根据参与人数的不同,切换对应的算法获取该人体骨骼数据,从而能够适应不同数量用户在家中健身的时候,提示用户健身的动作是否标准,有助于提升用户在家中健身的效果,减少受伤的风险。
本申请在一较佳示例中可以进一步配置为:所述根据所述参与人数信息将与所述待传输图像报文对应的人体骨骼数据根据所述UVC传输协议进行转换后,得到所述UVC协议报文,具体包括:
当所述参与人数信息为一人参与时,则根据所述UVC传输协议将所述人体骨骼数据转换成待传输数据报文,并将所述待传输数据报文添加至对应的待传输图像报文的字节后,或者,将所述待传输数据报文替换至所述待传输图像报文的字节边缘,得到所述UVC协议报文。
通过采用上述技术方案,由于UVC传输协议是电视机顶盒获取摄像头拍摄的图像视频的标准协议,因此,在只有一个用户进行健身的时候,将待传输数据报文添加至对应的待传输图像报文的字节后面,能够在将摄像头拍摄得到的图像通过UVC传输协议的同时,将人体骨骼识别模型识别的结果通过该UVC传输协议传输至电视机顶盒,既不影响图像数据的正常传输,也能够使电视机顶盒解析得到人体骨骼识别模型识别的结果。
本申请在一较佳示例中可以进一步配置为:根据所述参与人数信息将与所述待传输图像报文对应的人体骨骼数据根据所述UVC传输协议进行转换后,得到所述UVC协议报文,具体包括:
当所述参与人数信息为多人参与时,则根据所述用户健身动作视频获取参与人数信息;
根据所述参与人数信息从前N帧所述用户健身图像中生成对应数量的人员图像标识,并根据所述UVC传输协议将所述人体骨骼数据转换成待传输数据报文,将与每个人员图像标识对应的待传输数据报文依次添加至待传输图像报文的字节后,或者,将每个所述人员图像标识对应的所述待传输数据报文依次替换至所述待传输图像报文的字节边缘,得到待定义报文,其中,N为大于1的整数;
将所述参与人数信息添加至所述待定义报文的字节后,得到所述UVC协议报文。
通过采用上述技术方案,在参与人数为多人参与的时候,即有至少两个用户在进行家庭健身的场景时,摄像头切换至识别每个人的人体骨骼数据,并在传输的之前,为每一个用户生成对应的人员图像标识,并在传输的过程中,将每个人员图像标识与对应的待传输数据报文依次添加至待传输报文的字节后,能够在电视机顶盒进行解析以及动作标准校验时,将解析以及校验的结果与每个用户进行对应,同时,在报文的末尾,添加具体的人数,能够在解析的过程中,解析程序快速识别出需要解析的数量。
本申请在一较佳示例中可以进一步配置为:所述将所述待传输数据报文替换至所述待传输图像报文的字节边缘,具体包括:
从所述待传输图像报文中,获取所述用户健身图像中的边缘图像对应的报文字节;
将所述报文字节替换成所述待传输数据报文,得到所述UVC协议报文。
通过采用上述技术方案,将待传输数据报文替换至边缘图像对应的报文字节后,得到的UVC协议报文,从而能够将UVC协议报文以图片的协议报文的形式传输至电视机顶盒,进而实现将AI数据,即人体骨骼数据,连同用户健身图像一起传输至电视机顶盒,并可在电视机上进行同时展示,同时,以替换的方式生成UVC协议报文,能够减少数据传输时的传输量,从而提升数据传输的效率。
本申请在一较佳示例中可以进一步配置为:所述将所述报文字节替换成所述待传输数据报文,得到所述UVC协议报文,具体包括:
从所述用户健身动作视频中获取图像展示延迟选择结果,其中,所述图像展示延迟选择结果包括同步展示和异步展示;
当所述图像展示延迟选择结果为同步展示时,则将所述待传输数据报文替换至对应的所述待传输图像报文中或添加至待传输图像报文的字节后;
当所述图像展示延迟选择结果为异步展示时,则根据获取到所述待传输数据报文的时间点,将所述待传输数据报文替换至与所述时间点对应的待传输图像报文中,或者添加至与所述时间点对应的待传输图像报文的字节后。
通过采用上述技术方案,由于通过人体骨骼识模块识别出人体骨骼数据时,需要的耗时较长,因此,采用同步展示和异步展示的方式,采用同步展示的方式,在传输的过程中,每一帧用户健身图像在传输至电视机顶盒时,均需要等待人体骨骼识别模块识别出人体骨骼数据,并以UVC协议报文的形式传输至电视机顶盒,能够使得每一帧人体骨骼数据中均包含对应的AI数据;采用异步展示的方式,在传输每一帧用户健身图像的过程中,不需要等待识别出人体骨骼数据,在获取到人体骨骼数据时,再将人体骨骼数据与此时的用户健身图像生成UVC协议报文,从而能够降低传输的延迟,在电视机上展示时,以最高帧率的图像进行展示。
本申请的上述发明目的二是通过以下技术方案得以实现的:
一种家庭健身互动方法,所述家庭健身互动方法应用于连接有摄像头的电视机顶盒,包括:
接收所述摄像头发送的如上述的UVC协议报文;
所述电视机顶盒根据UVC传输协议,逐帧解析所述UVC协议报文,得到对应的用户健身图像和人体骨骼数据;
获取标准动作图像,将所述人体骨骼数据与所述标准动作图像进行动作标准校验,得到动作校验结果;
逐帧将所述动作校验结果和所述用户健身图像展示在与所述电视机顶盒连接的电视机上。
通过采用上述技术方案,通过接收到摄像头发送的UVC协议报文后,对该UVC协议报文进行解析,从而得到摄像头拍摄得到的用户健身图像和通过集成在摄像头中的人体骨骼识别模型识别出的人体骨骼数据,并将人体骨骼数据与对应的标准动作图像进行动作标准校验后,将校验结果和用户健身图像展示在电视机上,使得用户能够在家中健身的同时,查看到自身的健身动作,以及获取到自身的健身动作是否标准,有助于获取到自身的动作不标准时,及时做出相应的改进,以提升自身的健身效果,降低因不知道动作不够标准而导致受伤的风险。
本申请在一较佳示例中可以进一步配置为:所述电视机顶盒根据UVC传输协议,逐帧解析所述UVC协议报文,得到对应的用户健身图像和人体骨骼数据,具体包括:
按照所述UVC协议报文字节从前往后的顺序获取健身图像报文,并对所述健身图像报文进行解析,得到所述用户健身图像;
从所述UVC协议报文中获取参与人数,按照所述UVC协议报文字节从后往前的顺序,根据所述参与人数解析出对应的所述人体骨骼数据。
本申请在一较佳示例中可以进一步配置为:所述解析出对应的所述人体骨骼数据,具体包括:
判断所述UVC协议报文的字节末尾是否包含待传输协议报文;
若是,则按照所述待传输协议报文从后往前的顺序,解析出对应的所述人体骨骼数据;
若否,则从所述UVC协议报文中获取边缘行字节,将所述边缘行字节解析出对应的所述人体骨骼数据。
通过采用上述技术方案,能够根据生成UVC协议报文的形式,判断具体解析的方式,进而能够在电视机上展示UVC协议报文的内容。
通过采用上述技术方案,在对UVC协议报文进行解析的时候,通过从UVC协议报文中获取参与人数,能够根据每个人途骨骼图像对应的协议的字节的长度,分别解析出对应人员的人体骨骼数据,同时,由于健身图像报文的字节在UVC协议报文字节的前面,因此,按照UVC协议报文字节从前往后的顺序,能够识别并解析出对应的用户健身图像。
本申请的上述发明目的三是通过以下技术方案得以实现的:
一种家庭健身互动装置,所述家庭健身互动装置包括:
摄像头,包括图像采集模块和图像处理模块,所述图像采集模块与所述图像处理模块通信连接,所述图像处理模块用于执行上述的家庭健身互动方法;
与所述摄像头连接的电视机顶盒,包括处理器,所述处理器用于执行上述的家庭健身互动方法;
与所述电视机顶盒连接的电视机,用于展示所述用户健身图像和动作校验结果。
通过采用上述技术方案,能够使得用户家庭健身的场景下,实现上述家庭健身互动方法,以提升健身的效果以及减少受伤的风险。
本申请的上述发明目的四是通过以下技术方案得以实现的:
一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述家庭健身互动方法的步骤。
本申请的上述发明目的五是通过以下技术方案得以实现的:
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述家庭健身互动方法的步骤。
综上所述,本申请包括以下至少一种有益技术效果:
1、家中进行健身的时候,通过将摄像头连接于电视机顶盒,能够使得用户在观看健身视频,并模仿健身视频中的动作进行健身的同时,将用户的动作通过摄像头拍摄成用户健身动作视频,并通过预先集成在摄像头中的人体骨骼识别模型识别出对应的人体骨骼数据,并将人体骨骼数据和用户健身图像生成对应的UVC协议报文,有助于摄像头将获取得到的用户健身图像和人体骨骼数据传输至电视机顶盒;在将该人体骨骼数据传输至电视机顶盒后,能够通过电视机顶盒进行解析,以便电视机顶盒能够根据健身视频中的动作判断用户的动作是否标准,从而有助于用户根据判断结果改善自己的动作,使自己的健身动作更加趋近于标准动作,进而有助于提升用户在家健身的效果,也减少了因动作不标准而导致受伤的风险;由于电视机顶盒的计算能力有限,通过在摄像头中集成有人体骨骼识别模型,能够通过摄像头对拍摄得到的用户健身图像进行识别计算,从而减轻了电视机顶盒的计算负担,提升了动作标准校验的效率;
2、能够根据参与人数的不同,切换对应的算法获取该人体骨骼数据,从而能够适应不同数量用户在家中健身的时候,提示用户健身的动作是否标准,有助于提升用户在家中健身的效果,减少受伤的风险;
3、由于UVC传输协议是电视机顶盒获取摄像头拍摄的图像视频的标准协议,因此,在只有一个用户进行健身的时候,将待传输数据报文添加至对应的待传输图像报文的字节后面,能够在将摄像头拍摄得到的图像通过UVC传输协议的同时,将人体骨骼识别模型识别的结果通过该UVC传输协议传输至电视机顶盒,既不影响图像数据的正常传输,也能够使电视机顶盒解析得到人体骨骼识别模型识别的结果;
4、在参与人数为多人参与的时候,即有至少两个用户在进行家庭健身的场景时,摄像头切换至识别每个人的人体骨骼数据,并在传输的之前,为每一个用户生成对应的人员图像标识,并在传输的过程中,将每个人员图像标识与对应的待传输数据报文依次添加至待传输报文的字节后,能够在电视机顶盒进行解析以及动作标准校验时,将解析以及校验的结果与每个用户进行对应,同时,在报文的末尾,添加具体的人数,能够在解析的过程中,解析程序快速识别出需要解析的数量;
5、通过接收到摄像头发送的UVC协议报文后,对该UVC协议报文进行解析,从而得到摄像头拍摄得到的用户健身图像和通过集成在摄像头中的人体骨骼识别模型识别出的人体骨骼数据,并将人体骨骼数据与对应的标准动作图像进行动作标准校验后,将校验结果和用户健身图像展示在电视机上,使得用户能够在家中健身的同时,查看到自身的健身动作,以及获取到自身的健身动作是否标准,有助于获取到自身的动作不标准时,及时做出相应的改进,以提升自身的健身效果,降低因不知道动作不够标准而导致受伤的风险。
附图说明
图1是本申请一实施例中家庭健身互动方法的一流程图;
图2是本申请一实施例中家庭健身互动方法中步骤S30的实现流程图;
图3是本申请一实施例中家庭健身互动方法中步骤S32的实现流程图;
图4是本申请一实施例中家庭健身互动方法中步骤S322的实现流程图;
图5是本申请一实施例中家庭健身互动方法中步骤S32211或步骤S32222中的实现流程图;
图6是本申请一实施例中家庭健身互动方法中步骤S332的实现流程图;
图7是本申请一实施例中家庭健身互动方法中另一实现流程图;
图8是本申请一实施例中家庭健身互动方法中步骤S60的实现流程图;
图9是本申请一实施例中家庭健身互动方法中步骤S62的实现流程图;
图10是本申请一实施例中家庭健身互动装置的一原理框图;
图11是本申请一实施例中的设备示意图。
图中,1、摄像头;2、电视机顶盒;3、电视机。
具体实施方式
以下结合附图对本申请作进一步详细说明。
在一实施例中,如图1所示,本申请公开了一种家庭健身互动方法,家庭健身互动方法应用在连接于电视机顶盒的摄像头,具体包括如下步骤:
S10:获取用户健身动作视频,并对用户健身动作视频进行分帧处理,得到每一帧的用户健身图像。
在本实施例中,用户健身动作视频是指用户在家庭中进行健身时,通过摄像头拍摄获取得到的视频。用户健身图像是指记录有当前用户健身的姿态的图像。
在大屏电视IPTV/OTT场景下, 用户选择在家中进行健身时,可以通过与电视机连接的电视机顶盒下载用于辅助健身的软件,通过在该软件中选择对应的健身课程后,例如瑜伽课程,课程中包含有若干拍摄好的动作视频,用户可以按照课程中预先拍摄好的健身视频进行播放,从而跟随并模仿电视屏幕中的人物动作,以实现运动健身。
具体地,本申请为了在这个过程中,使用户能够实时观看到自身的动作,以及在用户的动作不标准的时候做出提醒,在电视机顶盒上连接有摄像头,通过摄像头拍摄获取该用户健身动作视频,并在持续获取到该用户健身动作视频的同时,对以获取的视频做分帧处理,得到每一帧的帧图像,作为用户健身图像。
S20:将每一帧用户健身图像输入至预先集成在摄像头中的人体骨骼识别模块进行识别,得到与每一帧用户健身图像对应的人体骨骼数据。
在本实施例中,人体骨骼识别模块是指加载有预先训练好用于从用户健身图像中识别出用户动作的姿态的人工智能模型的智能设备。人体骨骼数据是指标示有用户健身时的动作姿态的图像。
具体地,虽然电视机顶盒内包含有运算的功能,但是该电视机顶盒所包含的功能繁多,导致该电视机顶盒的运算能力下降,影响识别人体骨骼数据的效率以及效果,因此,本申请所应用的摄像头中,预先安装好该人体骨骼识别模块,并在该人体骨骼识别模块中加载能够从图像中识别出人物以及人物的眼睛、鼻子、嘴巴、躯干以及四肢等部位的人工智能模型。
进一步地,在获取到每一帧的用户健身图像后,按照用户健身动作视频获取的顺序,逐帧将该用户健身图像输入至人体骨骼识别模块中的人工智能模型中进行识别,进而得到该与每一帧用户健身图像对应的人体骨骼数据。
S30:将用户健身图像和对应的人体骨骼数据生成UVC协议报文。
在本实施例中,UVC协议报文是指用于通过摄像头与电视机顶盒连接的USB端口进行数据传输的字节。
具体地,在获取到每一帧的用户健身图像以及对应的人体骨骼数据后,根据UVC协议的要求,将该用户健身图像以及人体骨骼数据转换成UVC协议报文,即每一帧的用户健身图像与对应的人体骨骼数据转换为一串UVC协议报文。
S40:逐帧将UVC协议报文发送至电视机顶盒,以便对用户健身动作进行动作标准校验,并通过与电视机顶盒连接的电视机展示动作标准校验的结果。
在本实施例中,动作标注标准校验是指用于检验用户的健身动作与视频中的动作的相匹配的程度。
具体地,逐帧用户健身图像对应的UVC协议报文通过USB端口发送至电视机顶盒,使得电视机顶盒接收到UVC协议报文后,在解析用户健身图像的同时,一并解析出对应的人体骨骼数据,从而能够在与该电视机顶盒连接的电视机上同时展示出每一帧的用户健身图像以及人体骨骼数据,并对人体骨骼数据与课程视频中的人员的姿态进行比对,即进行动作标砖校验,从而使得用户能够查看到自身的健身姿态的同时,查看到动作姿态是否标准,以便用户在查看到自身动作不标准时,及时进行调整,进而能够提升健身的效果,减少受伤的风险。
在本实施例中,在家中进行健身的时候,通过将摄像头连接于电视机顶盒,能够使得用户在观看健身视频,并模仿健身视频中的动作进行健身的同时,将用户的动作通过摄像头拍摄成用户健身动作视频,并通过预先集成在摄像头中的人体骨骼识别模型识别出对应的人体骨骼数据,并将人体骨骼数据和用户健身图像生成对应的UVC协议报文,有助于摄像头将获取得到的用户健身图像和人体骨骼数据传输至电视机顶盒;在将该人体骨骼数据传输至电视机顶盒后,能够通过电视机顶盒进行解析,以便电视机顶盒能够根据健身视频中的动作判断用户的动作是否标准,从而有助于用户根据判断结果改善自己的动作,使自己的健身动作更加趋近于标准动作,进而有助于提升用户在家健身的效果,也减少了因动作不标准而导致受伤的风险;由于电视机顶盒的计算能力有限,通过在摄像头中集成有人体骨骼识别模型,能够通过摄像头对拍摄得到的用户健身图像进行识别计算,从而减轻了电视机顶盒的计算负担,提升了动作标准校验的效率。
在一实施例中,如图2所示,在步骤S30中,即将用户健身图像和对应的人体骨骼数据生成UVC协议报文,具体包括:
S31:获取预设的UVC传输协议,根据UVC传输协议对用户健身图像进行封装,得到待传输图像报文。
在本实施例中,待传输图像报文是指用于将用户健身图像传输至电视机顶盒的字节。
具体地,根据UVC传输协议,将每一帧的用户健身图像进行转换,从而得到对应的UVC报文,并将该UVC报文作为待传输图像报文。
S32:将与待传输图像报文对应的人体骨骼数据根据UVC传输协议进行转换后,得到UVC协议报文。
具体地,在将用户健身图像根据UVC传输协议的要求转换成待传输报文后,根据该UVC传输协议再将人体骨骼数据转换成UVC报文后,得到该UVC协议报文。其中,该人体骨骼数据是通过坐标的方式对识别到的用户的每个器官进行位置标记,例如,在1280*720的分辨率下,鼻子的坐标在(55,100)的位置,在对人体骨骼数据转换成UVC报文时,是将对应的坐标数据进行转换。
在一实施例中,如图3所示,在步骤S32中,即将与待传输图像报文对应的人体骨骼数据根据UVC传输协议进行转换后,得到UVC协议报文,具体包括:
S321:获取用户健身动作视频的参与人数信息。
在本实施例中,参与人数信息是指在当前跟随课程视频进行家庭健身时用户的数量。
具体地,在用户开始进行健身时,会通过电视机顶盒中的健身软件选择对应的健身场景以及课程,可以根据选择的健身场景和课程的自身属性,获取该用户健身动作视频的参与人数信息,例如,用户选择了双人瑜伽的课程,则说明要跟随该课程视频进行健身时,需要两个人共同完成,则根据该健身场景以及课程的自身属性获取得到的参与人数信息为2,或者,虽然该健身场景以及课程的自身属性为一人参与,但是同时有多个用户希望共同参与该课程,则可通过用户输入参与的人数的方式,获取该参与人数信息。
S322:根据参与人数信息将与待传输图像报文对应的人体骨骼数据根据UVC传输协议进行转换后,得到UVC协议报文。
具体地,根据该参与人数信息,若该参与人数信息为一人,则调取用于识别一人的人工智能模型识别该人体骨骼数据,若该参与人数信息为大于一人,则调取用户识别大于鱼人的人工智能模型识别每个用户的人体骨骼数据。
进一步地,在获取到一个用户或者每个用户的人体骨骼数据后,根据该UVC传输协议对人体骨骼数据进行转换后,得到该UVC协议报文。
在一实施例中,在步骤S322中,即根据参与人数信息将与待传输图像报文对应的人体骨骼数据根据UVC传输协议进行转换后,得到UVC协议报文,具体包括:
S32211:当参与人数信息为一人参与时,则根据UVC传输协议将人体骨骼数据转换成待传输数据报文,并将待传输数据报文添加至对应的待传输图像报文的字节后,或者,将所述待传输数据报文替换至所述待传输图像报文的字节边缘,得到UVC协议报文。
具体地, 在参与人数信息为一人参与时,通过UVC传输协议,将人体骨骼数据转换成待传输数据报文后,直接将该待传输数据报文添加至对应的待传输图像报文的字节末尾,或者将待传输数据报文在待传输报文的字节边缘对应的字节中进行替换,从而得到该UVC协议报文。
在一实施例中,如图4所示,在步骤S322中,即根据参与人数信息将与待传输图像报文对应的人体骨骼数据根据UVC传输协议进行转换后,得到UVC协议报文,具体包括:
S32221:当参与人数信息为多人参与时,则根据用户健身动作视频获取参与人数信息。
在本实施例中,参与人数信息是指同时参与该健身课程的用户的具体数量。
具体地,当通过课程的自身属性或者是用户输入的数字中判定出参与人数信息为大于等于2时,即该参与人数信息为多人参与时,获取该具体的人数,作为该参与人数信息。
S32222:根据参与人数信息从前N帧用户健身图像中生成对应数量的人员图像标识,并根据UVC传输协议将人体骨骼数据转换成待传输数据报文,将与每个人员图像标识对应的待传输数据报文依次添加至待传输图像报文的字节后,或者,将每个所述人员图像标识对应的所述待传输数据报文依次替换至所述待传输图像报文的字节边缘,得到待定义报文,其中,N为大于等于1的整数。
在本实施例中,人员图像标识是指用于区分每一个正在参与健身的用户的唯一标识。
具体地,为了在多个用户同时参与健身课程时,位置互换的时候,例如前后位置互换或左右位置互换等,能够将对应的人体骨骼数据标记在对应的人员图像上,可以通过面部识别或者人像识别的方式,从前N帧的用户健身图像中识别每个用户的面部特征或者人像特征,作为人员图像标识,其中,N为大于等于1的整数,具体的数量可以根据预先训练得到的面部识别模型或人像识别模型的识别能力进行确定,只要能够准确识别出能够区分每个用户的特征即可,N的具体数量在此不做限定。
进一步地,在有多人参与该家庭健身时,从人体骨骼识别模块中调用对应识别多个用户健身时的动作姿态的人工智能模型,获取到每一个用户对应的人体骨骼数据,并使用对应的人员图像标识对人体骨骼数据进行标记后,根据UVC传输协议对标记的人体骨骼数据转换成对应的待传输数据报文。
进一步地,依次将待传输数据报文添加至待传输图像报文的字节后,或者,依次将待传输报文在待传输报文的字节边缘对应的字节中进行替换,得到待定定义报文。
S32223:将参与人数信息添加至待定义报文的字节后,得到UVC协议报文。
具体地,为了便于电视机顶盒在获取到UVC协议报文时,能够根据参与人数信息依次识别出对应用户的动作姿态,因此,在待定义报文后添加上参与人数信息,例如,该参与人数信息为“3”,则在待定义报文后加上字符“3”,从而得到该UVC协议报文。
在一实施例中,如图5所示,在步骤S32211或步骤S32222中,即将所述待传输数据报文替换至所述待传输图像报文的字节边缘,具体包括:
S331:从所述待传输图像报文中,获取所述用户健身图像中的边缘图像对应的报文字节。
在本实施例中,边缘图像是指在用户健身图像中,位于图像边缘的部分。
具体地,将待传输图像报文中,顶部或者底部的若干行字节,例如一两行,作为该报文字节。
S332:将所述报文字节替换成所述待传输数据报文,得到所述UVC协议报文。
具体地,将获取得到的报文字节替换成对应的待传输数据报文,从而得到该UVC协议报文。
在一实施例中,如图6所示,在步骤S332中,即将所述报文字节替换成所述待传输数据报文,得到所述UVC协议报文,具体包括:
S3321:从所述用户健身动作视频中获取图像展示延迟选择结果,其中,所述图像展示延迟选择结果包括同步展示和异步展示。
在本实施例中,图像展示延迟选择结果是指由用户选择的,在电视机上展示UVC协议报文的内容的延迟程度的结果。
具体地,由于本技术方案是在摄像头内的人体骨骼识别模块中识别出人体骨骼数据,因此,获取到人体骨骼数据的速度受限于人体骨骼识别模块中对应的人工智能算法,因此若需要每一帧用户健身图像在展示的过程中均包含对应的人体骨骼数据,即同步展示的方式;若每一帧用户健身图像在展示的过程中,不需要每一帧均包含人体骨骼数据,则采用异步展示的方式。
进一步地,可以根据用户选择的健身课程的内容,获取该图像展示延迟选择结果,例如,对于平板支撑的健身课程,用户需要长时间维持一个动作,在这个过程中,用户动作的变化幅度和频率均比较低,因此可以采用同步展示结果;对于动作幅度或频率较高的健身课程,可以采用异步展示,使得展示在电视机上的图像能够与用户当前的姿态对应。
S3322:当所述图像展示延迟选择结果为同步展示时,则将所述待传输数据报文替换至对应的所述待传输图像报文中或添加至待传输图像报文的字节后。
具体地,在图像展示延迟选择结果为同步展示时,在获取到用户健身图像时,等待人体骨骼识别模块识别出对应的人体骨骼数据后,再将该人体骨骼数据对应的待传输图像报文添加或者替换至待传输图像报文中,从而得到该UVC协议报文。
S3323:当所述图像展示延迟选择结果为异步展示时,则根据获取到所述待传输数据报文的时间点,将所述待传输数据报文替换至与所述时间点对应的待传输图像报文中,或者添加至与所述时间点对应的待传输图像报文的字节后。
具体地,在图像展示延迟选择结果为异步展示时,则用户健身图像在传输的过程中,无需等待人体骨骼识别模块识别出对应的人体骨骼数据,当未获取到人体骨骼数据时,用户健身图像以待传输图像报文的形式传输至电视机顶盒,并展示在电视机上;当获取到人体骨骼数据时,将该人体骨骼数据对应的待传输数据报文与此时用户健身图像对应的待传输图像报文生成对应的UVC协议报文。需要说明的是,当人体骨骼识别模块中的AI算法提升至获取人体骨骼数据的速度与获取到用户健身图像的速度相等或者在预设的阈值内时,可以直接采用同步展示的方式,而无需判断是否采用异步展示。
在一实施例中,如图7所示,本申请公开了一种家庭健身互动方法,家庭健身互动方法应用于连接有摄像头的电视机顶盒,包括:
S50:接收摄像头发送的上述家庭健身互动方法中,摄像头生成的UVC协议报文。
具体地,该电视机顶盒通过与摄像头连接的USB端口,获取该UVC协议报文。
S60:电视机顶盒根据UVC传输协议,逐帧解析UVC协议报文,得到对应的用户健身图像和人体骨骼数据。
具体地,在接收到摄像头发送的UVC协议报文后,对该UVC协议报文进行解析,从而得到每一帧的用户健身图像以及对应的人体骨骼数据。
S70:获取标准动作图像,将人体骨骼数据与标准动作图像进行动作标准校验,得到动作校验结果。
在本实施例中,标准动作图像是指通过电视机顶盒播放在电视机上的健身视频中的标准动作的图像。
具体地,从该健身视频中的动作示范人物的动作姿态中,获取该标准动作图像,并从该标准动作图像中获取示范人物的各个器官之间的具体位置以及相互之间的相互位置,作为动作标准校验的基准。
进一步地,将每个用户的人体骨骼数据中,用户的各个器官的具体位置以及相互之间的相互位置作为待比较的图像,其中,可以是针对该课程中的具体健身中,为了保证健身效果和/或避免受伤的动作关键点,例如对于平板支撑,其动作关键点可以是躯干伸直,头部、肩部、胯部和踝部保持在同一平面,则从人体骨骼数据中获取用户的躯干、头部、肩部、胯部以及踝部的相对位置,进而与动作标准校验的基准进行比较,从而得到对应的动作校验结果。
S80:逐帧将动作校验结果和用户健身图像展示在与电视机顶盒连接的电视机上。
具体地,逐帧将用户健身图像展示于与电视机顶盒的电视机上,从而在电视机上将每一帧的用户健身图像组成视频的方式进行展示,使得用户能够在电视机上看到自身的动作姿态;同时,将每一帧的人体骨骼数据和校验结果同步展示于该电视机上,并在校验结果为动作异常时,可以根据异常的具体内容,向用户发出对应的用于改善动作的提示,例如,对于平板支撑,用户的躯干伸直的程度不够,腰部存在塌陷或者拱起的现象,则该提示可以是让用户挺起腰部或者让腰部不要过度拱起,从而使得用户能够及时改善动作,提升家庭建设内的效果以及减少受伤的风险。
在本实施例中,通过接收到摄像头发送的UVC协议报文后,对该UVC协议报文进行解析,从而得到摄像头拍摄得到的用户健身图像和通过集成在摄像头中的人体骨骼识别模型识别出的人体骨骼数据,并将人体骨骼数据与对应的标准动作图像进行动作标准校验后,将校验结果和用户健身图像展示在电视机上,使得用户能够在家中健身的同时,查看到自身的健身动作,以及获取到自身的健身动作是否标准,有助于获取到自身的动作不标准时,及时做出相应的改进,以提升自身的健身效果,降低因不知道动作不够标准而导致受伤的风险。
在一实施例中,如图8所示,在步骤S60中,即电视机顶盒根据UVC传输协议,逐帧解析UVC协议报文,得到对应的用户健身图像和人体骨骼数据,具体包括:
S61:按照UVC协议报文字节从前往后的顺序获取健身图像报文,并对健身图像报文进行解析,得到用户健身图像。
具体地,由于在将用户健身图像转换成UVC协议的报文时,有固定的字节的长度,且在封装成UVC协议报文时,用户健身图像的字节在该UVC协议报文的前面,因此,根据健身图像报文的字节的长度,按照UVC协议报文字节从前往后的顺序获取健身图像报文,并对健身图像报文进行解析,得到用户健身图像。
S62:从UVC协议报文中获取参与人数,按照UVC协议报文字节从后往前的顺序,根据参与人数解析出对应的人体骨骼数据。
具体地,当参与人数为一人时,直接对UVC协议报文剩余部分进行解析,从而得到该人体骨骼数据;当参与人数为多人参与时,从该UVC协议报文的字节的最后一位,获取参与人数,并根据该参与人数,将UVC协议报文中,健身图像报文与最后一位之间的字节平分成对应的部分,并对每一部分进行解析,从而得到与每个用户对应的人体骨骼数据。
在一实施例中,如图9所示,在步骤S62中,即解析出对应的所述人体骨骼数据,具体包括:
S621:判断所述UVC协议报文的字节末尾是否包含待传输协议报文。
具体地,可以通过该UVC协议报文的字节大小,判断字节末尾是否包含待传输协议报文,即当UVC协议报文的字节大小大于预设值时,即可判断该UVC协议报文是通过将待传输协议报文添加至待传输图像报文的字节后得到的,否则可判断该UVC协议报文是通过将待传输数据报文替换至待传输图像报文中得到的。
S622:若是,则按照所述待传输协议报文从后往前的顺序,解析出对应的所述人体骨骼数据。
具体地,若该UVC协议报文是通过添加末尾的方式得到的,则从UVC协议报文的末尾,解析出对应的人体骨骼数据。
S623:若否,则从所述UVC协议报文中获取边缘行字节,将所述边缘行字节解析出对应的所述人体骨骼数据。
具体地,若该UVC协议报文是通过替换的方式得到的,则根据获取UVC协议报文时,获取边缘图像对应的字节,作为该边缘行字节,并采用解析待传输数据报文的方式,对边缘行字节进行解析,从而得到对应的人体骨骼数据。通过替换的传输以及解析该UVC协议报文,能够减少传输的数据量,虽然边缘行字节并非属于的用户健身图像的部分,在展示于电视机上时,会出现花屏,但由于边缘行字节位于用户健身图像的顶部或者底部,且在本技术方案中,仅仅只占用一两行,因此不会影响用户的观看。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在一实施例中,提供一种家庭健身互动装置,该家庭健身互动装置与上述实施例中家庭健身互动方法一一对应。如图10所示,该家庭健身互动装置包括:
摄像头1,用于采集用户健身动作视频,以生成UVC协议报文,包括图像采集模块以及与镜头通信连接的图像处理模块,其中,图像处理模块包括SOC芯片以及USB端口,SOC芯片中包括有用于获取接收图像采集模块接收到的图像的图像接收模块、集成有人体骨骼识别模块的NPU硬件计算模块以及图像和算法输出处理模块;
与摄像头1连接的电视机顶盒2,包括处理器,该处理器用于接收并解析摄像头1发送的UVC协议报文,得到用户健身图像和人体骨骼数据,并对人体骨骼数据进行动作标准校验,得到对应的校验结果;
与电视机顶盒2连接的电视机3,用于展示用户健身图像和动作校验结果。
其中,图像采集模块,即镜头,获取到的用户健身视频经过图像接收模块的切分处理后,将得到的用户健身图像传入NPU硬件计算模块,通过NPU硬件计算模块中的人体骨骼识别模块进行识别后,得到人体骨骼数据,然后将用户健身图像和人体骨骼数据通过图像和算法输出处理模块处理后,得到UVC协议报文,通过USB端口传输至电视机顶盒2。
关于家庭健身互动装置的具体限定可以参见上文中对于家庭健身互动方法的限定,在此不再赘述。上述家庭健身互动装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储预先训练好的人工智能模型。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种家庭健身互动方法。
在一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
获取用户健身动作视频,并对用户健身动作视频进行分帧处理,得到每一帧的用户健身图像;
将每一帧用户健身图像输入至预先集成在摄像头中的人体骨骼识别模块进行识别,得到与每一帧用户健身图像对应的人体骨骼数据;
将用户健身图像和对应的人体骨骼数据生成UVC协议报文;
逐帧将UVC协议报文发送至电视机顶盒,以便对用户健身动作进行动作标准校验,并通过与电视机顶盒连接的电视机展示动作标准校验的结果。
或者,处理器执行计算机程序时实现以下步骤:
接收摄像头发送的上述UVC协议报文;
电视机顶盒根据UVC传输协议,逐帧解析UVC协议报文,得到对应的用户健身图像和人体骨骼数据;
获取标准动作图像,将人体骨骼数据与标准动作图像进行动作标准校验,得到动作校验结果;
逐帧将动作校验结果和用户健身图像展示在与电视机顶盒连接的电视机上。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取用户健身动作视频,并对用户健身动作视频进行分帧处理,得到每一帧的用户健身图像;
将每一帧用户健身图像输入至预先集成在摄像头中的人体骨骼识别模块进行识别,得到与每一帧用户健身图像对应的人体骨骼数据;
将用户健身图像和对应的人体骨骼数据生成UVC协议报文;
逐帧将UVC协议报文发送至电视机顶盒,以便对用户健身动作进行动作标准校验,并通过与电视机顶盒连接的电视机展示动作标准校验的结果。
或者,计算机程序被处理器执行时实现以下步骤:
接收摄像头发送的上述UVC协议报文;
电视机顶盒根据UVC传输协议,逐帧解析UVC协议报文,得到对应的用户健身图像和人体骨骼数据;
获取标准动作图像,将人体骨骼数据与标准动作图像进行动作标准校验,得到动作校验结果;
逐帧将动作校验结果和用户健身图像展示在与电视机顶盒连接的电视机上。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (13)

1.一种家庭健身互动方法,其特征在于,所述家庭健身互动方法应用在连接于电视机顶盒的摄像头,包括:
获取用户健身动作视频,并对所述用户健身动作视频进行分帧处理,得到每一帧的用户健身图像;
将每一帧所述用户健身图像输入至预先集成在所述摄像头中的人体骨骼识别模块进行识别,得到与每一帧所述用户健身图像对应的人体骨骼数据;
将所述用户健身图像和对应的所述人体骨骼数据生成UVC协议报文;
逐帧将所述UVC协议报文发送至所述电视机顶盒,以便对所述用户健身动作进行动作标准校验,并通过与所述电视机顶盒连接的电视机展示动作标准校验的结果。
2.根据权利要求1所述的家庭健身互动方法,其特征在于,所述将所述用户健身图像和对应的所述人体骨骼数据生成UVC协议报文,具体包括:
获取预设的UVC传输协议,根据所述UVC传输协议对所述用户健身图像进行封装,得到待传输图像报文;
将与所述待传输图像报文对应的人体骨骼数据根据所述UVC传输协议进行转换后,得到所述UVC协议报文。
3.根据权利要求2所述的家庭健身互动方法,其特征在于,所述将与所述待传输图像报文对应的人体骨骼数据根据所述UVC传输协议进行转换后,得到所述UVC协议报文,具体包括:
获取用户健身动作视频的参与人数信息;
根据所述参与人数信息将与所述待传输图像报文对应的人体骨骼数据根据所述UVC传输协议进行转换后,得到所述UVC协议报文。
4.根据权利要求3所述的家庭健身互动方法,其特征在于,所述根据所述参与人数信息将与所述待传输图像报文对应的人体骨骼数据根据所述UVC传输协议进行转换后,得到所述UVC协议报文,具体包括:
当所述参与人数信息为一人参与时,则根据所述UVC传输协议将所述人体骨骼数据转换成待传输数据报文,并将所述待传输数据报文添加至对应的待传输图像报文的字节后,或者,将所述待传输数据报文替换至所述待传输图像报文的字节边缘,得到所述UVC协议报文。
5.根据权利要求3所述的家庭健身互动方法,其特征在于,根据所述参与人数信息将与所述待传输图像报文对应的人体骨骼数据根据所述UVC传输协议进行转换后,得到所述UVC协议报文,具体包括:
当所述参与人数信息为多人参与时,则根据所述用户健身动作视频获取参与人数信息;
根据所述参与人数信息从前N帧所述用户健身图像中生成对应数量的人员图像标识,并根据所述UVC传输协议将所述人体骨骼数据转换成待传输数据报文,将与每个人员图像标识对应的所述待传输数据报文依次添加至待传输图像报文的字节后,或者,将每个所述人员图像标识对应的所述待传输数据报文依次替换至所述待传输图像报文的字节边缘,得到待定义报文,其中,N为大于1的整数;
将所述参与人数信息添加至所述待定义报文的字节后,得到所述UVC协议报文。
6.根据权利要求4-5任意一项所述的家庭健身互动方法,其特征在于,所述将所述待传输数据报文替换至所述待传输图像报文的字节边缘,具体包括:
从所述待传输图像报文中,获取所述用户健身图像中的边缘图像对应的报文字节;
将所述报文字节替换成所述待传输数据报文,得到所述UVC协议报文。
7.根据权利要求6所述的家庭健身互动方法,其特征在于,所述将所述报文字节替换成所述待传输数据报文,得到所述UVC协议报文,具体包括:
从所述用户健身动作视频中获取图像展示延迟选择结果,其中,所述图像展示延迟选择结果包括同步展示和异步展示;
当所述图像展示延迟选择结果为同步展示时,则将所述待传输数据报文替换至对应的所述待传输图像报文中或添加至待传输图像报文的字节后;
当所述图像展示延迟选择结果为异步展示时,则根据获取到所述待传输数据报文的时间点,将所述待传输数据报文替换至与所述时间点对应的待传输图像报文中,或者添加至与所述时间点对应的待传输图像报文的字节后。
8.一种家庭健身互动方法,其特征在于,所述家庭健身互动方法应用于连接有摄像头的电视机顶盒,包括:
接收所述摄像头发送的如权利要求1-7任意一项所述的UVC协议报文;
所述电视机顶盒根据UVC传输协议,逐帧解析所述UVC协议报文,得到对应的用户健身图像和人体骨骼数据;
获取标准动作图像,将所述人体骨骼数据与所述标准动作图像进行动作标准校验,得到动作校验结果;
逐帧将所述动作校验结果和所述用户健身图像展示在与所述电视机顶盒连接的电视机上。
9.根据权利要求6所述的家庭健身互动方法,其特征在于,所述电视机顶盒根据UVC传输协议,逐帧解析所述UVC协议报文,得到对应的用户健身图像和人体骨骼数据,具体包括:
按照所述UVC协议报文字节从前往后的顺序获取健身图像报文,并对所述健身图像报文进行解析,得到所述用户健身图像;
从所述UVC协议报文中获取参与人数,按照所述UVC协议报文字节从后往前的顺序,根据所述参与人数解析出对应的所述人体骨骼数据。
10.根据权利要求9所述的家庭健身互动方法,其特征在于,所述解析出对应的所述人体骨骼数据,具体包括:
判断所述UVC协议报文的字节末尾是否包含待传输协议报文;
若是,则按照所述待传输协议报文从后往前的顺序,解析出对应的所述人体骨骼数据;
若否,则从所述UVC协议报文中获取边缘行字节,将所述边缘行字节解析出对应的所述人体骨骼数据。
11.一种家庭健身互动装置,其特征在于,所述家庭健身互动装置包括:
摄像头(1),包括图像采集模块和图像处理模块,所述图像采集模块与所述图像处理模块通信连接,所述图像处理模块用于执行权利要求1-7任意一项所述的家庭健身互动方法;
与所述摄像头(1)连接的电视机顶盒(2),包括处理器,所述处理器用于执行权利要求8-10任意一项所述的家庭健身互动方法;
与所述电视机顶盒(2)连接的电视机(3),用于展示所述用户健身图像和动作校验结果。
12.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述家庭健身互动方法的步骤。
13.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述家庭健身互动方法的步骤。
CN202210302962.7A 2022-03-25 2022-03-25 一种家庭健身互动方法、装置、电子设备以及存储介质 Pending CN114745576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210302962.7A CN114745576A (zh) 2022-03-25 2022-03-25 一种家庭健身互动方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210302962.7A CN114745576A (zh) 2022-03-25 2022-03-25 一种家庭健身互动方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN114745576A true CN114745576A (zh) 2022-07-12

Family

ID=82277065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210302962.7A Pending CN114745576A (zh) 2022-03-25 2022-03-25 一种家庭健身互动方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN114745576A (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041406A1 (en) * 2000-10-05 2002-04-11 Naoki Takahashi Image reading apparatus and processing apparatus
JP2003274374A (ja) * 2002-03-18 2003-09-26 Sony Corp 画像伝送装置及び方法、送信装置及び方法、受信装置及び方法、並びにロボット装置
CN1937631A (zh) * 2006-10-24 2007-03-28 杭州华为三康技术有限公司 用户数据报协议报文的处理方法及装置
US20080159646A1 (en) * 2006-12-27 2008-07-03 Konica Minolta Holdings, Inc. Image processing device and image processing method
KR101619776B1 (ko) * 2014-11-27 2016-05-12 (주)이더블유비엠 4컬러 센서를 이용한 뎁스맵 시스템에서 ir정보를 이용한 rgb 디블러링 방법
WO2019100757A1 (zh) * 2017-11-23 2019-05-31 乐蜜有限公司 视频生成方法、装置和电子设备
WO2019120032A1 (zh) * 2017-12-21 2019-06-27 Oppo广东移动通信有限公司 模型构建方法、拍照方法、装置、存储介质及终端
CN110298218A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 交互式健身装置和交互式健身系统
CN112237730A (zh) * 2019-07-17 2021-01-19 腾讯科技(深圳)有限公司 健身动作纠正方法及电子设备
CN112418046A (zh) * 2020-11-17 2021-02-26 武汉云极智能科技有限公司 一种基于云机器人的健身指导方法、存储介质及系统
CN113139506A (zh) * 2021-05-11 2021-07-20 深圳创维-Rgb电子有限公司 一种计步方法、设备及存储介质
CN113298013A (zh) * 2021-06-08 2021-08-24 Tcl通讯(宁波)有限公司 运动动作矫正方法、装置、存储介质及电子设备
CN113316028A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 投屏方法、投屏设备及存储介质
CN113534943A (zh) * 2020-04-13 2021-10-22 华为技术有限公司 一种健身场地的判断方法及设备
CN113590003A (zh) * 2021-01-30 2021-11-02 华为技术有限公司 一种用户确定方法、电子设备和计算机可读存储介质
WO2021244411A1 (zh) * 2020-06-01 2021-12-09 华为技术有限公司 一种动作自适应同步方法及电子设备
CN113949807A (zh) * 2020-07-17 2022-01-18 杭州光粒科技有限公司 一种多路数据组合方法、系统及智能可穿戴设备
CN215734456U (zh) * 2021-06-17 2022-02-01 海信视像科技股份有限公司 摄像头以及显示装置

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041406A1 (en) * 2000-10-05 2002-04-11 Naoki Takahashi Image reading apparatus and processing apparatus
JP2003274374A (ja) * 2002-03-18 2003-09-26 Sony Corp 画像伝送装置及び方法、送信装置及び方法、受信装置及び方法、並びにロボット装置
US20040008738A1 (en) * 2002-03-18 2004-01-15 Masaki Fukuchi Image transmission device and method, transmitting device and method, receiving device and method, and robot apparatus
CN1937631A (zh) * 2006-10-24 2007-03-28 杭州华为三康技术有限公司 用户数据报协议报文的处理方法及装置
US20080159646A1 (en) * 2006-12-27 2008-07-03 Konica Minolta Holdings, Inc. Image processing device and image processing method
KR101619776B1 (ko) * 2014-11-27 2016-05-12 (주)이더블유비엠 4컬러 센서를 이용한 뎁스맵 시스템에서 ir정보를 이용한 rgb 디블러링 방법
WO2019100757A1 (zh) * 2017-11-23 2019-05-31 乐蜜有限公司 视频生成方法、装置和电子设备
WO2019120032A1 (zh) * 2017-12-21 2019-06-27 Oppo广东移动通信有限公司 模型构建方法、拍照方法、装置、存储介质及终端
CN110298218A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 交互式健身装置和交互式健身系统
CN112237730A (zh) * 2019-07-17 2021-01-19 腾讯科技(深圳)有限公司 健身动作纠正方法及电子设备
CN113316028A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 投屏方法、投屏设备及存储介质
CN113534943A (zh) * 2020-04-13 2021-10-22 华为技术有限公司 一种健身场地的判断方法及设备
WO2021244411A1 (zh) * 2020-06-01 2021-12-09 华为技术有限公司 一种动作自适应同步方法及电子设备
CN113949807A (zh) * 2020-07-17 2022-01-18 杭州光粒科技有限公司 一种多路数据组合方法、系统及智能可穿戴设备
CN112418046A (zh) * 2020-11-17 2021-02-26 武汉云极智能科技有限公司 一种基于云机器人的健身指导方法、存储介质及系统
CN113590003A (zh) * 2021-01-30 2021-11-02 华为技术有限公司 一种用户确定方法、电子设备和计算机可读存储介质
CN113139506A (zh) * 2021-05-11 2021-07-20 深圳创维-Rgb电子有限公司 一种计步方法、设备及存储介质
CN113298013A (zh) * 2021-06-08 2021-08-24 Tcl通讯(宁波)有限公司 运动动作矫正方法、装置、存储介质及电子设备
CN215734456U (zh) * 2021-06-17 2022-02-01 海信视像科技股份有限公司 摄像头以及显示装置

Similar Documents

Publication Publication Date Title
CN113240782B (zh) 基于虚拟角色的流媒体生成方法及装置
US9600722B2 (en) Education site improvement support system, education site improvement support method, information processing apparatus, communication terminal, and control methods and control programs of information processing apparatus and communication terminal
CN110418095B (zh) 虚拟场景的处理方法、装置、电子设备及存储介质
US11778263B2 (en) Live streaming video interaction method and apparatus, and computer device
WO2018214528A1 (zh) 运动效果的展示方法及装置
EP4072147A1 (en) Video stream processing method, apparatus and device, and medium
JP2016537922A (ja) 擬似ビデオ通話方法及び端末
CN107705341B (zh) 用户表情头像生成的方法及其装置
CN110677685B (zh) 网络直播显示方法及装置
WO2023155675A1 (zh) 一种虚拟数字世界的体验系统
CN110119700A (zh) 虚拟形象控制方法、虚拟形象控制装置和电子设备
CN112669422B (zh) 仿真3d数字人生成方法、装置、电子设备及存储介质
KR20210129570A (ko) 사용자 맞춤형 운동미션 제공을 통해 사용자간 경쟁을 유도하기 위한 운동강의 관리 서버
CN111866535A (zh) 一种直播体感项目互动方法、装置、设备及存储介质
US11663795B2 (en) Streaming-based VR multi-split system and method
CN108339257A (zh) 一种形体动作综合训练装置
CN111967407A (zh) 动作评价方法、电子设备和计算机可读存储介质
CN111932967A (zh) 远程课堂的互动方法、装置、计算机设备以及存储介质
CN113051013B (zh) 页面展示方法及装置
CN114745576A (zh) 一种家庭健身互动方法、装置、电子设备以及存储介质
CN109039851B (zh) 交互数据处理方法、装置、计算机设备和存储介质
CN113556599A (zh) 视频教学方法、装置、电视机及存储介质
KR20220069355A (ko) 사용자 맞춤형 체형관리가 가능한 스마트 미러
CN112364478A (zh) 基于虚拟现实的测试方法及相关装置
JP2020080096A (ja) オブジェクト識別装置、識別システムおよび識別方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination