CN116168799A - 一种运动评分方法、装置和电子设备 - Google Patents

一种运动评分方法、装置和电子设备 Download PDF

Info

Publication number
CN116168799A
CN116168799A CN202211599183.4A CN202211599183A CN116168799A CN 116168799 A CN116168799 A CN 116168799A CN 202211599183 A CN202211599183 A CN 202211599183A CN 116168799 A CN116168799 A CN 116168799A
Authority
CN
China
Prior art keywords
image
human body
frame
actual
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211599183.4A
Other languages
English (en)
Inventor
刘胤伯
李佳琳
付廷杰
张帅帅
王之奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Publication of CN116168799A publication Critical patent/CN116168799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种运动评分方法、装置和电子设备，涉及健身镜技术领域，用于解决如何评价用户根据健身镜展示的健身视频进行跟随锻炼时的健身效果的问题。该方法包括：获取播放目标视频时图像采集装置采集的视频帧数据；对视频帧数据进行处理，确定人体对应的至少一组待匹配序列；通过目标滑窗对待匹配序列进行匹配，确定每组待匹配序列的匹配结果；根据匹配结果，确定视频帧数据的评分结果。

Description

一种运动评分方法、装置和电子设备
本申请要求于2022年9月30日提交国家知识产权局、申请号为
202211214175.3、申请名称为“一种运动评分方法、装置和电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及健身镜技术领域，尤其涉及一种运动评分方法、装置和电子设备。
背景技术
目前，在健身镜技术领域，用户可以实时根据健身镜展示的健身视频进行跟随锻炼，从而实现健身效果。但是，由于不同的用户跟随健身视频进行锻炼时，锻炼的动作存在差异，使得无法达到预期的健身效果。
如何评价用户根据健身镜展示的健身视频进行跟随锻炼时的健身效果成为了一个亟待解决的问题。
发明内容
为了解决上述技术问题，本公开提供了一种运动评分方法、装置和电子设备。
本公开的技术方案如下：
第一方面，本公开提供一种运动评分方法，包括：获取播放目标视频时图像采集装置采集的视频帧数据；其中，目标视频包括至少一个健身动作，一个健身动作对应一个标准动作模板，标准动作模板中包含完成标准动作模板对应的健身动作的每个关键帧的关键信息；对视频帧数据进行处理，确定人体对应的至少一组待匹配序列；其中，一组待匹配序列中包括人体对应的至少一个实际关键点；通过目标滑窗对待匹配序列进行匹配，确定每组待匹配序列的匹配结果；其中，目标滑窗根据目标视频中包含的健身动作所对应的标准动作模板确定的；根据匹配结果，确定视频帧数据的评分结果。
第二方面，本公开提供一种标准动作模板的生成方法，包括：获取预设视频；其中，一个预设视频中对应一个标准健身动作；对预设视频中的每张帧图像进行检测，确定至少一个人体关键点；根据每张帧图像包含的人体关键点，确定帧图像与其它图像之间的相似度；其中，其它图像表示除帧图像以外的每张帧图像；根据相似度对帧图像进行归类，确定每个图像类别对应的关键帧；其中，处于同一个图像归类中的帧图像为相同图像；根据每个图像类别对应的关键帧，生成标准健身动作对应的标准动作模板。
第三方面，本公开提供一种运动评分方法，包括：响应于启动操作，加载至少一个标准动作模板；其中，一个标准动作模板对应一个标准健身动作，标准动作模板中包含完成标准动作模板对应的标准健身动作的每个关键帧；响应于对目标视频的播放操作，获取目标视频的视频模板；其中，视频模板包括目标视频中包含的至少一个实际健身动作；在标准动作模板中选取与实际健身动作相匹配的标准健身动作，确定每个实际健身动作对应的关键帧；播放目标视频，并获取图像采集装置采集的视频帧数据；将关键帧与视频帧数据进行匹配，得到匹配结果；根据匹配结果，生成评分结果。
第四方面，本公开提供一种运动评分装置，包括：获取单元，用于获取显示单元播放目标视频时图像采集装置采集的视频帧数据；其中，目标视频包括至少一个健身动作，一个健身动作对应一个标准动作模板，标准动作模板中包含完成标准动作模板对应的健身动作的每个关键帧的关键信息；处理单元，用于对获取单元获取的视频帧数据进行处理，确定人体对应的至少一组待匹配序列；其中，一组待匹配序列中包括人体对应的至少一个实际关键点；处理单元，还用于通过目标滑窗对待匹配序列进行匹配，确定每组待匹配序列的匹配结果；其中，目标滑窗根据目标视频中包含的健身动作所对应的标准动作模板确定的；处理单元，还用于根据匹配结果，确定视频帧数据的评分结果。
第五方面，本公开提供一种标准动作模板的生成装置，包括：获取单元，用于获取预设视频；其中，一个预设视频中对应一个标准健身动作；处理单元，用于对获取单元获取的预设视频中的每张帧图像进行检测，确定至少一个人体关键点；处理单元，还用于根据每张帧图像包含的人体关键点，确定帧图像与其它图像之间的相似度；其中，其它图像表示除帧图像以外的每张帧图像；处理单元，还用于根据相似度对帧图像进行归类，确定每个图像类别对应的关键帧；其中，处于同一个图像归类中的帧图像为相同图像；处理单元，还用于根据每个图像类别对应的关键帧，生成标准健身动作对应的标准动作模板。
第六方面，本公开提供一种运行评分装置，包括：处理单元，用于响应于启动操作，加载至少一个标准动作模板；其中，一个标准动作模板对应一个标准健身动作，标准动作模板中包含完成标准动作模板对应的标准健身动作的每个关键帧；处理单元，还用于响应于对目标视频的播放操作，获取目标视频的视频模板；其中，视频模板包括目标视频中包含的至少一个实际健身动作；处理单元，还用于在标准动作模板中选取与实际健身动作相匹配的标准健身动作，确定每个实际健身动作对应的关键帧；处理单元，还用于控制显示单元播放目标视频，并控制获取单元获取图像采集装置采集的视频帧数据；处理单元，还用于将关键帧与获取单元获取的视频帧数据进行匹配，得到匹配结果；处理单元，还用于根据匹配结果，生成评分结果。
第七方面，本公开提供一种电子设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在执行计算机程序时，使得电子设备实现如上述第一方面提供的任一项运动评分方法。
第八方面，本公开提供一种计算机可读存储介质，包括：计算机可读存储介质上存储有计算机程序，当计算机程序被计算设备执行时，使得计算设备实现如上述第一方面提供的任一项运动评分方法。
第九方面，本发明提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面提供的任一项的运动评分方法。
第十方面，本公开提供一种电子设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在执行计算机程序时，使得电子设备实现如上述第一方面提供的任一项标准动作模板的生成方法。
第十一方面，本公开提供一种计算机可读存储介质，包括：计算机可读存储介质上存储有计算机程序，当计算机程序被计算设备执行时，使得计算设备实现如上述第一方面提供的任一项标准动作模板的生成方法。
第十二方面，本发明提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面提供的任一项的标准动作模板的生成方法。
第十三方面，本公开提供一种电子设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在执行计算机程序时，使得电子设备实现如上述第一方面提供的任一项标准动作模板的生成方法。
第十四方面，本公开提供一种计算机可读存储介质，包括：计算机可读存储介质上存储有计算机程序，当计算机程序被计算设备执行时，使得计算设备实现如上述第一方面提供的任一项标准动作模板的生成方法。
第十五方面，本发明提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面提供的任一项的标准动作模板的生成方法。
需要说明的是，上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中，第一计算机可读存储介质可以与目标装置的处理器封装在一起的，也可以与目标装置的处理器单独封装，本公开对此不作限定。其中，目标装置包括运行评分装置和标准动作模板的生成装置中的一项或者多项。
本公开中第四方面、第七方面、第八方面以及第九方面的描述，可以参考第一方面的详细描述；并且，第四方面、第七方面、第八方面以及第九方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。
本公开中第五方面、第十方面、第十一方面以及第十二方面的描述，可以参考第一方面的详细描述；并且，第五方面、第十方面、第十一方面以及第十二方面的描述的有益效果，可以参考第二方面的有益效果分析，此处不再赘述。
本公开中第六方面、第十三方面、第十四方面以及第十五方面的描述，可以参考第一方面的详细描述；并且，第六方面、第十三方面、第十四方面以及第十五方面的描述的有益效果，可以参考第三方面的有益效果分析，此处不再赘述。
在本公开中，上述运行评分装置，和标准动作模板的生成装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本公开类似，属于本公开权利要求及其等同技术的范围之内。
本公开的这些方面或其他方面在以下的描述中会更加简明易懂。
本公开提供的技术方案与现有技术相比具有如下优点：
用户需要健身时，可以按照播放的目标视频(如健身视频)的提示，执行相应的健身动作，以达到健身效果。在此期间，通过获取图像采集装置会实时地采集用户的健身动作，形成视频帧数据。之后，对视频帧数据进行处理，确定人体对应的至少一组待匹配序列。之后，通过目标滑窗对待匹配序列进行匹配，确定每组待匹配序列的匹配结果；根据匹配结果，确定视频帧数据的评分结果。这样，就可以根据用户根据提示做出的健身动作给出评分结果，使得用户可以及时根据该评分结果，确定当前的健身效果。解决了如何评价用户根据健身镜展示的健身视频进行跟随锻炼时的健身效果成为了一个亟待解决的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的运动评分方法的场景示意图；
图2为本申请实施例提供的运动评分方法中显示设备的结构示意图之一；
图3为本申请实施例提供的运动评分方法中显示设备的结构示意图之二；
图4为本申请实施例提供的运动评分方法的流程示意图之一；
图5为本申请实施例提供的运动评分方法的流程示意图之二；
图6为本申请实施例提供的运动评分方法的流程示意图之三；
图7为本申请实施例提供的运动评分方法的流程示意图之四；
图8为本申请实施例提供的运动评分方法的流程示意图之五；
图9为本申请实施例提供的运动评分方法的流程示意图之六；
图10为本申请实施例提供的运动评分方法的流程示意图之七；
图11为本申请实施例提供的运动评分方法的流程示意图之八；
图12为本申请实施例提供的运动评分方法的流程示意图之九；
图13为本申请实施例提供的运动评分方法的流程示意图之十；
图14为本申请实施例提供的运动评分方法的流程示意图之十一；
图15为本申请实施例提供的运动评分方法的流程示意图之十二；
图16为本申请实施例提供的运动评分方法的流程示意图之十三；
图17为本申请实施例提供的运动评分方法的流程示意图之十四；
图18为本申请实施例提供的运动评分方法的流程示意图之十五；
图19为本申请实施例提供的运动评分方法的流程示意图之十六；
图20为本申请实施例提供的运动评分方法中关节区域的示意图；
图21为本申请实施例提供的运动评分方法中双链匈牙利匹配逻辑示意图；
图22为本申请实施例提供的运动评分方法的流程示意图之十七。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本公开实施例中的YOLO是指You Only Look Once，是一种目标检测算法。
本公开实施例中的单激发多框探测器是指Single Shot MultiBox Detector，简称SSD。
本公开实施例中的Faster RCNN，是指Faster Region-Convolutional NeuralNetworks。
本公开实施例中的基于热图的人体骨骼点检测网络HRNet是指High-ResolutionNet。
本公开实施例中的Simple Baseline是指SBL，为人体姿态估计提供了一套基准框架。
本公开实施例中的argmax是一种函数，是对函数求参数(集合)的函数。
本公开实施例中的KM算法是一种计算机算法，功能是求完备匹配下的最大权匹配。
本公开实施例中的CPM是指Convolutional Pose Machine，用于将深度学习应用于人体姿态分析，是CMU开源项目OpenPose的前身。
本公开实施例中的OpenPose，是基于卷积神经网络和监督学习并以Caffe为框架开发的开源库。
图1为根据本申请一个或多个实施例的显示设备与控制装置之间操作场景的示意图，如图1所示，用户可通过移动终端300和控制装置100操作显示设备200。控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信、蓝牙协议通信，无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。
在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。也可以将移动终端300上显示音视频内容传输到显示设备200上，实现同步显示功能显示设备200还与显示设备200通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。显示设备200可以向显示设备200提供各种内容和互动。显示设备200，可以液晶显示器、OLED显示器、投影显示设备。显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。
在一些实施例中，本申请实施例提供电子设备可以为上述显示设备200。其中，用户在需要健身时，可以将显示设备200开机，显示设备200运行可以播放目标视频(如健身视频)的第一应用。第一应用响应于启动操作，加载至少一个标准动作模板。之后，用户需要播放目标视频时，可以在第一应用显示的页面中，对目标视频进行播放操作。第一应用响应于对目标视频的播放操作，获取目标视频的视频模板。之后，第一应用在标准动作模板中选取与实际健身动作相匹配的标准健身动作，确定每个实际健身动作对应的关键帧。第一应用播放该健身视频时，此时用户就可以根据健身视频的提示，按照提示执行相应的健身动作，以达到健身效果。在此期间，设置于显示设备200上的图像采集装置会实时地采集用户的健身动作，形成视频帧数据。之后，第一应用通过将关键帧与图像采集装置采集的视频帧数据进行匹配，得到匹配结果；根据匹配结果，生成评分结果。这样，显示设备200就可以显示第一应用生成的评分结果，使得用户可以及时根据该评分结果，确定当前的健身效果。
图2示出了根据示例性实施例中显示设备200的硬件配置框图。如图2所示显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。显示器260可为具有触控功能的显示器，如触控显示器。调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。检测器230用于采集外部环境或与外部交互的信号。控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
在一些实施例中，图像采集装置可以是摄像头。显示设备200可以设置至少一个摄像头。其中，摄像头可以是内置在显示设备200上，或者摄像头通过有线或者无线的方式与显示设备200相连接。例如，摄像头可以设置于显示设备200的显示器260的下侧边缘处。当然，本申请实施例对摄像头在显示设备200上的位置不作限定。或者，显示设备200可以不包括摄像头，即上述摄像头并未设置于显示设备200中。显示设备200可以通过接口(如USB接口130)外接摄像头。该外接的摄像头可以通过外部固定件(如带夹子的摄像头支架)固定在显示设备200上。例如，外接的摄像头可以通过外部固定件，固定在显示设备200的显示器260的边缘处，如上侧边缘处。
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。
在一些示例中，以申请一个或多个实施例的显示设备200为电视机1，并且电视机1的操作系统为Android系统为例，如图3所示，电视机1从逻辑上可以分为应用程序(Applications)层(简称“应用层”)21，应用程序框架(Application Framework)层(简称“框架层”)22，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)23，以及内核层24。
其中，应用层21包括一个或多个应用。应用可以为系统应用，也可以为第三方应用。如，应用层21包括第一应用，第一应用可以提供健身视频的播放功能。框架层22为应用层21的应用程序提供应用编程接口(application programming interface，API)和编程框架。系统运行库层23为上层即框架层22提供支撑，当框架层22被使用时，安卓操作系统会运行系统运行库层23中包含的C/C++库以实现框架层22要实现的功能。内核层24作为硬件层和应用层21之间的软件中间件，用于管理和控制硬件与软件资源。
在一些示例中，内核层24包括第一驱动，第一驱动用于将检测器230采集的用户操作发送至第一应用。
服务器400的获取单元110，用于获取预设视频；服务器400的处理单元111，用于对获取单元110获取的预设视频中的每张帧图像进行检测，确定至少一个人体关键点；处理单元111，还用于根据每张帧图像包含的人体关键点，确定帧图像与其它图像之间的相似度；处理单元111，还用于根据相似度对帧图像进行归类，确定每个图像类别对应的关键帧；处理单元111，还用于根据每个图像类别对应的关键帧，生成标准健身动作对应的标准动作模板。这样，电视机1开机后，电视机1与服务器400建立通信连接。电视机1中的第一应用启动。第一应用向服务器400发送获取标准动作模板的请求。服务器400在接收到电视机1发送的获取标准动作模板的请求后，将标准动作模板发送至电视机1。第一应用的获取单元210在接收到服务器400发送的标准动作模板，将标准动作模板存储至存储单元213中。之后，第一驱动用于将检测器230采集的用户操作发送至第一应用进行识别。之后，第一应用的处理单元212响应于用户操作，如：启动操作，从存储单元213中读取标准动作模板，并加载至少一个标准动作模板。之后，第一应用的处理单元212响应于用户操作，如：对第一应用中的目标视频进行了播放操作，获取目标视频的视频模板。处理单元212在标准动作模板中选取与实际健身动作相匹配的标准健身动作，确定每个实际健身动作对应的关键帧。处理单元212控制显示单元211播放该目标视频。之后，获取单元210获取设置于电视机1上的图像采集装置实时采集的用户的健身动作所形成视频帧数据。之后，处理单元212将关键帧与获取单元210获取的视频帧数据进行匹配，得到匹配结果。处理单元212根据匹配结果，生成评分结果。这样，显示设备200就可以按照用户根据目标视频的提示做出的健身动作给出评分结果，使得用户可以及时根据该评分结果，确定当前的健身效果。
具体的，本公开实施例提供的电子设备可以是上述显示200或者服务器400，此处不做限定。
具体的，存储单元213中用于存储第一应用的应用程序，用户每次播放目标视频时的评分结果，每个标准健身动作对应的标准动作模板，或者每个目标视频的视频模板。
本申请所涉及的视频帧数据可以为经用户授权或者经过各方充分授权的数据。
以下实施例中以执行本公开实施例提供的运动评分方法的执行主体为上述显示设备200为例，对本申请实施例的方法进行说明。
本申请实施例提供一种运动评分方法，如图4所示，该运动评分方法可以包括S11-S16。
S11、响应于启动操作，加载至少一个标准动作模板。其中，一个标准动作模板对应一个标准健身动作，标准动作模板中包含完成标准动作模板对应的标准健身动作的每个关键帧。
在一些示例中，为了便于对用户做出的健身动作进行评估，本公开实施例提供的运动评分方法，通过对每个标准健身动作提前进行录制，从而可以得到每个标准健身动作的分解动作，之后，对每个标准分解动作对应的视频帧进行处理，得到每个分解动作在每个视频帧的理论关键点和理论检测框。这样，将标准健身动作的每个分解动作在每个视频帧的关键信息，如：理论关键点和理论检测框进行汇总，从而得到该标准健身动作对应的标准动作模板，形成Action模板。
在一些示例中，在存储标准动作模板时，需要为标准健身动作分配一个名称信息action_name字段，并且包含为标准健身动作赋予独特的标识码(Identity document，id)的字段acion_id。其次，需要包含标准健身动作的类型action_type、分值action_score、显示动作需要重点关注部分的权重action_weight、理论检测框bbox以及理论关键点keypoints。
S12、响应于对目标视频的播放操作，获取目标视频的视频模板。其中，视频模板包括目标视频中包含的至少一个实际健身动作。
在一些示例中，为了便于对用户做出的健身动作进行评估，本公开实施例提供的运动评分方法，通过为对目标视频进行分析(如：根据目标视频的简介，或者通过人工标注的方式，或者通过将目标视频的视频帧与标准健身动作的视频帧进行匹配等)，从而可以得到该目标视频中出现的至少一个实际健身动作的视频信息和动作信息。其中，视频信息包含该目标视频的视频名称vid_name字段、目标视频的帧率framePerSecond字段、目标视频的总帧数total_frame字段，动作信息包含实际健身动作在目标视频中出现的顺序标识(如id)的字段、该实际健身动作的第一动作名称action_name字段和第一标识码action_id字段、实际健身动作的起止时间v_start和实际健身动作的终止实际v_end字段、将关键帧与视频帧数据进行匹配的起止时间time_start字段、以及将关键帧与视频帧数据进行匹配的终止时间time_end字段。之后，通过对目标视频的视频信息和动作信息进行汇总，从而生成目标视频的视频模板，即Video info模板。可以看出，通过视频信息和动作信息的组合，可以用最小的内存占用还原出该目标视频所包含的所有动作，保证电视机1运行的流畅性。
S13、在标准动作模板中选取与实际健身动作相匹配的标准健身动作，确定每个实际健身动作对应的关键帧。
在一些示例中，一个实际健身动作对应一个实际配置信息，实际配置信息包括第一动作标识，第一动作标识包括第一动作名称和第一标识码中的一项或者多项，一个标准健身动作对应一个标准配置信息，标准配置信息包括第二动作标识，第二动作标识包括第二动作名称和第二标识码中的一项或者多项。
当第一动作名称和第二动作名称相同时，认为第一动作名称对应的实际健身动作与第二动作名称对应的标准健身动作相匹配，此时第一动作名称对应的实际健身动作对应的关键帧等于第二动作名称对应的标准健身动作对应的关键帧。
或者，当第一标识码和第二标识码相同时，认为第一标识码对应的实际健身动作与第二标识码对应的标准健身动作相匹配，此时第一标识码对应的实际健身动作对应的关键帧等于第二标识码对应的标准健身动作对应的关键帧。
或者，当第一动作名称和第二动作名称相同，且第一标识码和第二标识码相同时，认为第一动作名称对应的实际健身动作与第二动作名称对应的标准健身动作相匹配(或者认为第一标识码对应的实际健身动作与第二标识码对应的标准健身动作相匹配)，此时第一动作名称对应的实际健身动作对应的关键帧等于第二动作名称对应的标准健身动作对应的关键帧(或者此时第一标识码对应的实际健身动作对应的关键帧等于第二标识码对应的标准健身动作对应的关键帧)。
S14、播放目标视频，并获取图像采集装置采集的视频帧数据。
S15、将关键帧与视频帧数据进行匹配，得到匹配结果。
在一些示例中，将关键帧与视频帧数据进行匹配时，可以先对视频帧数据进行处理，确定帧图像中人体对应的人体关键点，如：提取关键帧对应的帧图像的至少一个关键特征点，提取视频帧数据中帧图像的至少一个实际特征点。根据关键特征点与实际特征点之间的目标距离(如：欧式距离(Euclidean Distance)或者曼哈顿距离(ManhattanDistance))，确定与关键帧对应的帧图像相匹配的视频帧数据中的帧图像。之后，将关键帧对应的人体关键点与视频帧数据中的帧图像对应的人体关键点进行匹配，如：根据关键帧对应的人体关键点与视频帧数据中的帧图像对应的人体关键点之间的匹配率，得到匹配结果。
具体的，一个标准健身动作对应一个标准得分。根据标准健身动作中关键帧对应的人体关键点与视频帧数据中的帧图像对应的人体关键点之间的匹配率大于匹配率阈值的关键帧的比例与标准得分的乘积，确定与该标准健身动作对应的实际健身动作的实际得分为该标准得分(如：标准健身动作包含4个关键帧，该标准健身动作对应的标准得分为10分，若标准健身动作中关键帧对应的人体关键点与视频帧数据中的帧图像对应的人体关键点之间的匹配率大于匹配率阈值的关键帧的总数为3，此时标准健身动作中关键帧对应的人体关键点与视频帧数据中的帧图像对应的人体关键点之间的匹配率大于匹配率阈值的关键帧的比例为0.75。因此，与该标准健身动作对应的实际健身动作的实际得分为该标准得分为7.5分)。之后，通过统计每个实际健身动作的实际得分，得到生成评分结果。
在另一些示例中，可以将关键帧与视频帧数据输入至匹配模型进行处理，得到每个实际健身动作的实际得分。之后，通过统计每个实际健身动作的实际得分，得到生成评分结果。其中，匹配模型的训练过程如下：
获取训练样本数据和训练样本数据的标记结果。其中，训练样本数据包括历史关键帧与历史视频帧数据，标记结果包括历史视频帧数据中每个实际健身动作的历史得分。
将训练样本数据输入至神经网络模型进行训练，得到神经网络模型对训练样本数据的预测结果。
基于预测结果和标记结果，调整神经网络模型的网络参数，直至满足训练条件时，认为神经网络模型收敛，得到匹配模型。其中，训练条件包括神经网络模型迭代训练的次数大于或等于预设次数(如200次)，或者预测结果和标记结果连续相同的次数大于或等于次数阈值。
S16、根据匹配结果，生成评分结果。
由上述可知，用户需要健身时，可以按照播放的目标视频(如健身视频)的提示，执行相应的健身动作，以达到健身效果。在此期间，应于启动操作，加载至少一个标准动作模板。之后，响应于对目标视频的播放操作，获取目标视频的视频模板。在标准动作模板中选取与实际健身动作相匹配的标准健身动作，确定每个实际健身动作对应的关键帧。这样，在播放目标视频的过程中，通过获取图像采集装置会实时地采集用户的健身动作，形成视频帧数据。之后，对视频帧数据进行处理，确定人体对应的至少一组待匹配序列。之后，将关键帧与视频帧数据进行匹配，得到匹配结果。进一步，根据匹配结果，生成评分结果，使得用户可以及时根据该评分结果，确定当前的健身效果。
在一些可实施的示例中，一个实际健身动作对应一个实际配置信息，实际配置信息包括第一动作标识，动作标识包括第一动作名称和第一标识码中的一项或者多项，一个标准健身动作对应一个标准配置信息，标准配置信息包括第二动作标识，第二动作标识包括第二动作名称和第二标识码中的一项或者多项；结合图4，如图5所示，上述S13具体可以通过下述S130实现。
S130、对于每个实际健身动作执行如下操作：根据实际健身动作对应的第一动作标识，确定与第一动作标识相同的第二动作标识；确定实际健身动作的关键帧为与第一动作标识相同的第二动作标识对应的标准动作模板中包含的关键帧。
在一些可实施的示例中，实际配置信息还包括：起始时间；结合图4，如图6所示，上述S13具体可以通过下述S131-S133实现。
S131、在当前播放时刻等于起始时间的情况下，确定起始时间对应的实际健身动作。
在一些示例中，目标视频的播放进度等于目标视频的当前播放时刻，如：目标视频的视频长为100分钟，此时播放至60分钟时，即当前播放时刻等于第60分钟。实际健身动作，如下蹲的起始时间为第61分钟，在当前播放时刻等于第61分钟的情况下，认为当前播放时刻等于起始时间。由于下蹲的起始时间为第61分钟，因此可以确定起始时间第61分钟对应的实际健身动作为下蹲。
在一些示例中，目标视频在播放的过程中，目标视频中的实际健身动作也在不断的切换，为了保证能够及时地对用户做出的健身动作做出分析，需要提前获取每个实际健身动作对应的关键帧。一种情况下，在得到视频模板后，分别在标准动作模板中选取与实际健身动作相匹配的标准健身动作，确定每个实际健身动作对应的关键帧，此种方式虽然能够保证每个实际健身动作对应的关键帧的获取实际，但是需要占用大量的存储资源来存储每个实际健身动作对应的关键帧。另一种情况下，在得到视频模板后，在当前播放时刻等于起始时间时，再在标准动作模板中选取与实际健身动作相匹配的标准健身动作，确定实际健身动作对应的关键帧，这样可以大大地降低对存储资源的占用。在另一种情况下，当前播放时刻等于将关键帧与视频帧数据进行匹配的起止时间时，再在标准动作模板中选取与实际健身动作相匹配的标准健身动作，从而可以提前确定实际健身动作对应的关键帧，如此可以防止由于计算资源紧张，导致播放进度到达实际健身动作的起始时间时，还未得到该实际健身动作对应的关键帧。
S132、根据起始时间对应的实际健身动作，确定与起始时间对应的实际健身动作的第一动作标识相同的第二动作标识。
S133、确定与起始时间对应的实际健身动作的关键帧为与起始时间对应的实际健身动作的第一动作标识相同的第二动作标识对应的标准动作模板中包含的关键帧。
在一些可实施的示例中，实际配置信息还包括：顺序标识，顺序标识用于指示实际健身动作在目标视频中出现的顺序；结合图4，如图7所示，上述S13具体可以通过下述S134-S136实现。
S134、根据目标视频的播放进度，确定当前播放时刻对应的顺序标识。
在一些示例中，目标视频在播放的过程中，实际健身动作出现的顺序不同。因此，可以为每个实际健身动作分配一个顺序标识。从而可以根据目标视频的播放进度，确定当前播放时刻对应的顺序标识，如：预先配置了不同的进度区间与顺序标识的对应的播放关系。之后，根据当前播放时刻处于的进度区间，确定该进度区间对应的顺序标识，从而得到当前播放时刻对应的顺序标识。或者，每个播放进度对应一个顺序标识，这样就可以根据目标视频的播放进度，查询该播放进度对应的顺序标识，从而得到当前播放时刻对应的顺序标识。
具体的，为了降低对计算资源的占用，可以在目标视频的播放进度为播放目标健身动作的第一帧的帧图像时，根据目标视频的播放进度，确定当前播放时刻对应的顺序标识。
S135、根据顺序标识，确定与顺序标识对应的第一动作标识相同的第二动作标识。
S136、确定与顺序标识对应的实际健身动作的关键帧为与顺序标识对应的第一动作标识相同的第二动作标识对应的标准健身动作中包含的关键帧。
以下实施例中以执行本公开实施例提供的标准动作模板的生成方法的执行主体为上述服务器400为例，对本申请实施例的方法进行说明。
本申请实施例提供一种标准动作模板的生成方法，如图8所示，该运动评分方法可以包括S21-S25。
S21、获取预设视频。其中，一个预设视频中对应一个标准健身动作。
在一些示例中，为了便于对用户做出的健身动作进行评估，本公开实施例提供的运动评分方法，通过对每个标准健身动作的分解动作提前进行录制，从而得到每个标准健身动作对应的预设视频。之后，对预设视频中每个标准分解动作对应的视频帧进行处理，得到每个分解动作在每个视频帧的理论关键点和理论检测框。这样，将标准健身动作的每个分解动作在每个视频帧的关键信息，如：理论关键点进行汇总，从而得到该标准健身动作对应的标准动作模板，从而形成Action模板。
S22、对预设视频中的每张帧图像进行检测，确定至少一个人体关键点。
在一些示例中，在对预设视频中的每张帧图像进行检测时，需要预设视频中的每张帧图像进行预处理，确定预处理后的第一图像。之后，对第一图像进行识别，确定人体对应的实际检测框。之后，基于实际检测框对帧图像进行剪裁，得到人体的人体图像。之后，对人体图像进行识别，确定人体对应的至少一个目标关键点。或者，采用人体检测算法对预设视频中的每张帧图像进行检测，确定至少一个人体关键点。
在一些示例性，预处理包括去噪、缩放、畸变矫正和立体矫正中的至少一项。
在一些示例中，电视机1可以根据当前的帧图像对应的标准健身动作的理论检测框对第一图像进行投影，从而可以确定第一图像在该理论检测框内的图像。之后，对该理论检测框内的图像进行前景和背景分离，从而得到对应的前景。之后，在该前景中进行图像识别，从而可以确定该前景中包含的人体。最后，通过对该人体进行识别，确定与该人体内切的最小矩形，从而将该最小矩形作为该人体对应的实际检测框。
或者，对第一图像进行前景和背景分离，确定该第一图像中的前景。之后，在该前景中进行图像识别，从而可以确定该前景中包含的人体。最后，通过对该人体进行识别，确定与该人体内切的最小矩形，从而将该最小矩形作为该人体对应的实际检测框。或者，将第一图像输入至人体第一目标检测网络，确定人体对应的实际检测框。
在一些示例中，基于实际检测框对帧图像进行剪裁时，先将实际检测框和帧图像进行投影，从而确定帧图像在该实际检测框中的图像。之后，对实际检测框中的图像进行前景和背景分离，从而得到对应的前景。之后，在该前景中进行图像识别，从而可以确定该前景中包含的人体。进而，将该前景中包含的人体进行剪裁，得到人体的人体图像。
S23、根据每张帧图像包含的人体关键点，确定帧图像与其它图像之间的相似度。其中，其它图像表示除帧图像以外的每张帧图像。
在一些示例中，通过确定帧图像中包含的人体关键点在预设范围内是否存在落入该预设范围内的其他图像的人体关键点的数量，得到帧图像与其它图像之间的相似度，如：帧图像1的人体关键点1对应一个位置信息，以该位置信息为中心，按照预设半径画圆，从而得到预设范围。若帧图像2的人体关键点1落入该预设范围内，说明帧图像2中存在落入帧图像1的人体关键点1的预设范围内的人体关键点。之后，通过统计帧图像2中存在落入帧图像1的人体关键点的预设范围内的人体关键点的总数，从而得到帧图像1和帧图像2之间的相似度，如：帧图像1和帧图像2均包含14个人体关键点，帧图像2中存在8个人体关键点分别落入了帧图像1的8个人体关键点的预设范围内，因此可以确定帧图像1和帧图像2之间的相似度等于
Figure BDA0003994490950000111
或者，根据每张帧图像包含的人体关键点的位置信息，确定帧图像与其它图像之间的第一皮尔逊系数。根据每张帧图像包含的人体关键点的骨骼点夹角，确定帧图像与其它图像之间的第二皮尔逊系数。根据第一皮尔逊系数、第二皮尔逊系数、第一皮尔逊系数对应的第一权重和第二皮尔逊系数对应的第二权重，确定帧图像与其它图像之间的相似度。
S24、根据相似度对帧图像进行归类，确定每个图像类别对应的关键帧。其中，处于同一个图像归类中的帧图像为相同图像。
在一些示例中，当帧图像与其它图像的相似度大于或等于预设阈值时，说明该帧图像和该其他图像为相同的图像。因此，可以基于帧图像与其它图像的相似度和预设阈值的大小关系，从而其他图像中找出与该帧图像相同的图像，如：将将相似度大于或等于预设阈值的帧图像划分为同一个图像归类。如此，可以大大提高关键帧的获取速率。
在一些示例中，在根据相似度对帧图像进行归类时，可以根据每个图像类型内包含的帧图像的总数，筛选出出现频率较高的帧图像，如：根据图像归类中包含的帧图像的总数和预设视频中包含的帧图像的总数，确定图像归类对应的实际占比。筛选实际占比大于或等于预设占比的图像归类的帧图像进行处理，从而可以保证得到的关键帧的通用性和代表性。
S25、根据每个图像类别对应的关键帧，生成标准健身动作对应的标准动作模板。
在一些可实施的示例中，结合图8，如图9所示，上述S22具体可以通过下述S220实现。
S220、采用人体检测算法对预设视频中的每张帧图像进行检测，确定至少一个人体关键点。
在一些示例中，人体检测算法包括：CPM算法，或者OpenPose算法中的任一项。
在一些可实施的示例中，结合图8，如图10所示，上述S23具体可以通过下述S230-S232实现。
S230、根据每张帧图像包含的人体关键点的位置信息，确定帧图像与其它图像之间的第一皮尔逊系数。
在一些示例中，第一皮尔逊系数满足如下公式：
Figure BDA0003994490950000121
其中，γ表示第一皮尔逊系数，xi表示帧图像中的第i个人体关键点的位置信息，
Figure BDA0003994490950000122
表示帧图像中所有人体关键点的中心点的位置信息(等于所有人体关键点的位置信息的平均值)，yi表示其它图像中的第i个人体关键点的中心点的位置信息(等于所有人体关键点的位置信息的平均值)，/>
Figure BDA0003994490950000123
表示其它图像中所有人体关键点的位置信息的平均值，/>
Figure BDA0003994490950000124
表示帧图像中的第i个人体关键点与帧图像中所有人体关键点的中心点之间的距离，/>
Figure BDA0003994490950000125
表示其它图像中的第i个人体关键点与其它像中所有人体关键点的中心点之间的距离，n表示帧图像中包含的人体关键点的总数，i∈[0，n]，且i和n均为大于或等于0的整数。
具体的，帧图像中包含的人体关键点的总数等于其它图像中包含的人体关键点的总数。
S231、根据每张帧图像包含的人体关键点的骨骼点夹角，确定帧图像与其它图像之间的第二皮尔逊系数。
在一些示例中，第二皮尔逊系数满足如下公式：
Figure BDA0003994490950000126
其中，τ表示第二皮尔逊系数，ai表示帧图像中的第i个人体关键点的骨骼点夹角，
Figure BDA0003994490950000127
表示帧图像中所有人体关键点的骨骼点夹角的平均值，bi表示其它图像中的第i个人体关键点的骨骼点夹角，/>
Figure BDA0003994490950000128
表示其它图像中所有人体关键点的骨骼点夹角的平均值，n表示帧图像中包含的人体关键点的总数，i∈[0，n]，且i和n均为大于或等于0的整数。
S232、根据第一皮尔逊系数、第二皮尔逊系数、第一皮尔逊系数对应的第一权重和第二皮尔逊系数对应的第二权重，确定帧图像与其它图像之间的相似度。
在一些示例中，相似度满足如下公式：
δ＝α×γ+β×τ。
其中，δ表示相似度，γ表示第一皮尔逊系数、α表示第一权重，τ表示第二皮尔逊系数，β表示第二权重。
在一些示例中，权重(如：第一权重或者第二权重)用于平衡第一皮尔逊系数和第二皮尔逊系数两者之间所占比重。权重的大小反映了关键帧选取过程中规则的关注点，是更关注骨骼点的位置关系，还是更看重骨骼点的骨骼点夹角。示例性的，α＝0.5，β＝0.5。
在一些示例中，β＝1-α。
在一些可实施的示例中，结合图8，如图11所示，上述S24具体可以通过下述S240和S241实现。
S240、对于每张帧图像执行如下操作：根据帧图像与其它图像之间的相似度，将相似度大于或等于预设阈值的帧图像划分为同一个图像归类。
S241、对每个图像归类的帧图像进行如下操作：获取图像归类的帧图像的位置关系；根据位置关系，对图像类别中的帧图像进行处理，确定图像类别对应的关键帧。其中，位置关系用于指示帧图像在预设视频的全部帧图像中的位置。
在一些示例中，预设视频中包含多张帧图像，如包含10张帧图像，依次分别为帧图像1、帧图像2、帧图像3、帧图像4、帧图像5、帧图像6、帧图像7、帧图像8、帧图像9和帧图像10。假设帧图像1、帧图像2、帧图像3和帧图像6四者归属于图像类别1，帧图像4、帧图像5、帧图像7、帧图像8、帧图像9五者归属于图像类别2，帧图像10归属于图像类别3。由于帧图像1、帧图像2、帧图像3归属于图像类别1，同时帧图像1、帧图像2、帧图像3三者是连续出现的帧图像，因此可以在帧图像1、帧图像2、帧图像3中选择一张帧图像作为关键帧。同时，由于帧图像6与帧图像1、帧图像2、帧图像3归属于图像类别1，并且帧图像6与帧图像5不归属于一个图像类别，帧图像6与帧图像7不归属于一个图像类别。因此，可以将帧图像6作为一个关键帧。同理，帧图像4和帧图像5归属于图像类别2，同时帧图像4和帧图像5二者是连续出现的帧图像，因此可以在帧图像4和帧图像5中选择一张帧图像作为关键帧。同时，帧图像7、帧图像8、帧图像9与帧图像4和帧图像5归属于图像类别2，同时帧图像7、帧图像8和帧图像9三者是连续出现的帧图像，因此可以在帧图像7、帧图像8和帧图像9中选择一张帧图像作为关键帧。同理，帧图像10归属于图像类别3，并且帧图像10与帧图像9不归属于一个图像类别。因此，可以将帧图像10作为一个关键帧。
在另一些示例中，预设视频中包含多张帧图像，如包含10张帧图像，依次分别为帧图像1、帧图像2、帧图像3、帧图像4、帧图像5、帧图像6、帧图像7、帧图像8、帧图像9和帧图像10。假设帧图像1、帧图像2、帧图像3和帧图像6四者归属于一个图像类别1，帧图像4、帧图像5、帧图像7、帧图像8、帧图像9五者归属于一个图像类别2，帧图像10归属于一个图像类别3。可以看出，图像类别1对应的实际占比为40％，图像类别2对应的实际占比为50％，图像类别3对应的实际占比为10％。当预设占比为30％时，此时仅需确定图像类别1和图像类别2中包含的关键帧即可，而图像类别3中的帧图像的实际占比小于预设占比，说明图像类别3中的帧图像在预设视频中出现的概率较低，因此可以用图像类别1和图像类别2中包含的关键帧来代表预设视频对应的标准健身动作的关键帧。其中，确定图像类别1中的关键帧的过程如下：由于帧图像1、帧图像2、帧图像3归属于图像类别1，同时帧图像1、帧图像2、帧图像3三者是连续出现的帧图像，因此可以在帧图像1、帧图像2、帧图像3中选择一张帧图像作为关键帧。同时，由于帧图像6与帧图像1、帧图像2、帧图像3归属于图像类别1，并且帧图像6与帧图像5不归属于一个图像类别，帧图像6与帧图像7不归属于一个图像类别。因此，可以将帧图像6作为一个关键帧。确定图像类别2中的关键帧的过程如下：帧图像4和帧图像5归属于图像类别2，同时帧图像4和帧图像5二者是连续出现的帧图像，因此可以在帧图像4和帧图像5中选择一张帧图像作为关键帧。同时，帧图像7、帧图像8、帧图像9与帧图像4和帧图像5归属于图像类别2，同时帧图像7、帧图像8和帧图像9三者是连续出现的帧图像，因此可以在帧图像7、帧图像8和帧图像9中选择一张帧图像作为关键帧。
在一些可实施的示例中，结合图11，如图12所示，上述S241具体可以通过下述S2410和S2411实现。
S2410、对每个图像归类的帧图像进行如下操作：获取图像归类的帧图像的位置关系；根据位置关系，将连续出现的帧图像中的任一张帧图像作为图像类别对应的关键帧。
S2411、根据位置关系，将除连续出现的帧图像中的每张帧图像作为图像类别对应的关键帧。
在一些可实施的示例中，结合图8，如图13所示，上述S24具体可以通过下述S242和S243实现。
S242、根据相似度，确定每个图像归类对应的实际占比。
S243、对实际占比大于或等于预设占比的图像归类的帧图像进行处理，确定每个图像类别对应的关键帧。
在一些可实施的示例中，结合图13，如图14所示，上述S242具体可以通过下述S2420实现。
S2420、对于每张帧图像执行如下操作：根据帧图像与其它图像之间的相似度，将相似度大于或等于预设阈值的帧图像划分为同一个图像归类；根据图像归类中包含的帧图像的总数和预设视频中包含的帧图像的总数，确定图像归类对应的实际占比。
在一些示例中，实际占比等于图像归类中包含的帧图像的总数与预设视频中包含的帧图像的总数的比值。
以下实施例中以执行本公开实施例提供的运动评分方法的执行主体为上述服务器400为例，对本申请实施例的方法进行说明。
本申请实施例提供一种运动评分方法，如图15所示，该运动评分方法可以包括S31-S34。
S31、获取播放目标视频时图像采集装置采集的视频帧数据。其中，目标视频包括至少一个健身动作，一个健身动作对应一个标准动作模板，标准动作模板中包含完成标准动作模板对应的健身动作的每个关键帧的关键信息。
在一些示例中，为了便于对用户做出的健身动作进行评估，本公开实施例提供的运动评分方法，通过对每个健身动作提前进行录制，从而可以得到每个健身动作的分解动作，之后，对于每个分解动作对应的视频帧进行处理，得到每个分解动作在每个视频帧的理论关键点和理论检测框。这样，将健身动作的每个分解动作在每个视频帧的关键信息，如：理论关键点进行汇总，从而得到该健身动作对应的标准动作模板，从而形成Action模板。
在一些示例中，本公开实施例提供的运动评分方法中，标准动作模板的数量大于或等于4，且小于或等于10，标准动作模板无编号。
S32、对视频帧数据进行处理，确定人体对应的至少一组待匹配序列。其中，一组待匹配序列中包括人体对应的至少一个实际关键点。
S33、通过目标滑窗对待匹配序列进行匹配，确定每组待匹配序列的匹配结果。其中，目标滑窗根据目标视频中包含的健身动作所对应的标准动作模板确定的。
在一些示例中，如果用户在做健身动作时，做了一半后重新做该健身动作时，通过单个标准动作模板匹配待匹配序列，无法给出健身动作的准确计数和评价。本公开实施例提供的运动评分方法，目标滑窗由a(如a等于2)个匹配滑窗构成(如匹配滑窗0和匹配滑窗1)，每个匹配滑窗内包含的标准动作模板的数量大于等于b(如b等于4)。在将目标滑窗对待匹配序列进行匹配时，需要分别将匹配滑窗0与待匹配序列进行匹配，同时将匹配滑窗1与待匹配序列进行匹配，以为增加提升运动评分方法的容错率和鲁棒性。其中，匹配滑窗包括一个滑窗状态变量、一个滑窗历史状态变量、一个滑窗模板向量和一个滑窗计时器，滑窗状态变量的格式为[[0，scorek0，scorea0]，[1，scorek1，scorea1]，…，[m-1，scorekm-1，scoream-1]]，其中第一个参数m代表模板序号，scorekm代表第m个标准动作模板匹配的关键点总分，scoream代表第m个标准动作模板匹配的关键角总分。其中，a和b均为大于或等于0的整数，m为大于或等于1的整数。
具体的，匹配滑窗内包含的标准动作模板的数量可根据需求而定。
S34、根据匹配结果，确定视频帧数据的评分结果。
由上述可知，用户需要健身时，可以按照电视机1播放的目标视频(如健身视频)的提示，按照提示执行相应的健身动作，以达到健身效果。在此期间，电视机1通过获取设置在电视机1上的图像采集装置会实时地采集用户的健身动作，形成视频帧数据。之后，电视机1对视频帧数据进行处理，确定人体对应的至少一组待匹配序列。之后，电视机1通过目标滑窗对待匹配序列进行匹配，确定每组待匹配序列的匹配结果。电视机1根据匹配结果，确定视频帧数据的评分结果。这样，就可以根据用户根据提示做出的健身动作给出评分结果，使得用户可以及时根据该评分结果，确定当前的健身效果。
在一些可实施的示例中，关键信息包括理论检测框；结合图15，如图16所示，上述S32具体可以通过下述S320-S325实现。
S320、对视频帧数据中的帧图像进行预处理，确定预处理后的第一图像。
在一些示例性，预处理包括去噪、缩放、畸变矫正和立体矫正中的至少一项。
S321、对第一图像进行识别，确定人体对应的实际检测框。
在一些示例中，电视机1可以根据当前的帧图像对应的健身动作的理论检测框对第一图像进行投影，从而可以确定第一图像在该理论检测框内的图像。之后，对该理论检测框内的图像进行前景和背景分离，从而得到对应的前景。之后，在该前景中进行图像识别，从而可以确定该前景中包含的人体。最后，通过对该人体进行识别，确定与该人体内切的最小矩形，从而将该最小矩形作为该人体对应的实际检测框。
或者，对第一图像进行前景和背景分离，确定该第一图像中的前景。之后，在该前景中进行图像识别，从而可以确定该前景中包含的人体。最后，通过对该人体进行识别，确定与该人体内切的最小矩形，从而将该最小矩形作为该人体对应的实际检测框。
或者，将第一图像输入至人体第一目标检测网络，确定人体对应的实际检测框。
S322、基于实际检测框对帧图像进行剪裁，得到人体的人体图像。
在一些示例中，基于实际检测框对帧图像进行剪裁时，先将实际检测框和帧图像进行投影，从而确定帧图像在该实际检测框中的图像。之后，对实际检测框中的图像进行前景和背景分离，从而得到对应的前景。之后，在该前景中进行图像识别，从而可以确定该前景中包含的人体。进而，将该前景中包含的人体进行剪裁，得到人体的人体图像。
S323、对人体图像进行识别，确定人体对应的至少一个目标关键点。
在一些示例中，健身动作在每个分解动作中，不同的分解动作对应不同的理论关键点。在对人体图像进行识别时，将当前健身动作对应的分解动作的理论图像与人体图像进行特征匹配，确定最匹配的理论图像。之后，将人体图像投影至最匹配的理论图像，确定理论图像中的每个理论关键点在人体图像上对应的位置点，之后将每个位置点作为一个目标关键点。或者，将人体图像输入至预先训练的人体关键点检测网络，确定人体对应的至少一个目标关键点。
S324、基于理论检测框、实际检测框对目标关键点进行归一化处理，确定至少一个实际关键点。
在一些示例中，在对基于理论检测框、实际检测框对目标关键点进行归一化处理时，可以将理论检测框、实际检测框对目标关键点输入至归一化公式，从而得到实际关键点。其中，归一化公式包括：
Figure BDA0003994490950000161
其中，第n个目标关键点Sk_n的坐标等于(xk_n，yk_n)，实际检测框B0等于[B0_xmin，B0_ymin，B0_w，B0_h]，rb0等于实际检测框的宽度B0_w/实际检测框的高度B0_h，第n个实际关键点SNk_n的坐标等于(xNk_n，yNk_n)，B0_xmin和B0_ymin分别为实际检测框B0映射在帧图像时，实际检测框B0的左上角坐标中的x和y，as是归一化系数，理论检测框B1＝[B1_xmin，B1_ymin，B1_w，B1_h]，as＝(asx，asy)，asx＝理论检测框的宽度B1_w与实际检测框的宽度B0_w的比值，asy＝理论检测框的高度B1_h与实际检测框的高度B0_h的比值。
S325、根据实际关键点，确定人体对应的至少一组待匹配序列。
在一些示例中，将每一帧的帧图像对应的实际关键点入栈在关键点缓冲寄存器Buffer中，当Buffer中缓存的帧图像的总数大于或等于目标滑窗中包含的标准动作模板的总数(如4)时，将Buffer中缓存的4帧帧图像的实际关键点取出，组成待匹配序列。
或者，在视频帧数据中每M帧挑选一帧的帧图像对应的实际关键点，组成一个待匹配序列，从而可以大大降低对计算资源的占用，M为大于或等于1的整数。
在一些可实施的示例中，结合图16，如图17所示，上述S321具体可以通过下述S3210实现。
S3210、将第一图像输入至人体第一目标检测网络，确定人体对应的实际检测框。其中，人体第一目标检测网络基于训练图像，以及训练图像的标记结果对第一目标检测网络进行训练得到，标记结果包括标记检测框。
在一些示例中，训练图像的尺寸与图像采集装置采集的帧图像的尺寸可能不同，此时在将第一图像输入至人体第一目标检测网络时，需要判别第一图像的尺寸是否与人体第一目标检测网络的输入图像的尺寸相同。若二者相同，则可以将第一图像直接输入人体第一目标检测网络。若二者不同，则需要将第一图像的尺寸转换为与人体第一目标检测网络的输入图像的尺寸相同的尺寸，之后，在将尺寸转换后的第一图像输入至人体第一目标检测网络。
具体的，人体第一目标检测网络的训练过程如下：
获取训练图像，以及训练图像的标记结果。
将训练图像输入至第一目标检测网络，得到第一目标检测网络对该训练图像的预测结果。其中，第一目标检测网络至少包括目标检测算法YOLO、单激发多框探测器SSD算法和目标检测算法Faster RCNN中的任一项。
在标记结果与预测结果不同的情况下，反复调整第一目标检测网络的网络参数，直至整第一目标检测网络收敛，得到人体第一目标检测网络。
在一些可实施的示例中，结合图16，如图18所示，上述S323具体可以通过下述S3230实现。
S3230、将人体图像输入至人体关键点检测网络，确定人体对应的至少一个目标关键点。其中，人体关键点检测网络基于训练样本图像和训练监督图像对第二目标检测网络进行训练得到的。
在一些示例中，人体图像的尺寸与人体关键点检测网络的输入图像的尺寸可能不同，此时在将人体图像输入至人体关键点检测网络时，需要判别人体图像的尺寸是否与人体关键点检测网络的输入图像的尺寸相同。若二者相同，则可以将人体图像直接输入人体关键点检测网络。若二者不同，则需要将人体图像的尺寸转换为与人体关键点检测网络的输入图像的尺寸相同的尺寸，之后，在将尺寸转换后的人体图像输入至人体第一目标检测网络。
具体的，人体关键点检测网络的训练过程如下：
获取训练样本图像和训练监督图像；其中，训练样本图像和训练监督图像均包括人体，以及人体对应的关键点。
基于训练样本图像训练第二目标检测网络，得到预训练的第二目标检测网络。
其中，第二目标检测网络至少包括基于热图的人体骨骼点检测网络HRNet、SimpleBaseline、或者输出端为argmax的非热图类网络中的任一项
基于训练监督图像对预训练的第二目标检测网络的网络参数进行调整，直至预训练的第二目标检测网络收敛，得到人体关键点检测网络。
在一些可实施的示例中，一个实际关键点对应一个骨骼区域和一个关节区域，一个骨骼区域对应一个第一权重值，一个关节区域对应一个第二权重值，匹配结果包括关键点得分和关节角得分；结合图15，如图19所示，上述S33具体可以通过下述S330-S333实现。
S330、基于目标滑窗中的每个标准动作模板、待匹配序列中的每个实际关键点和实际关键点对应的骨骼区域的第一权重值进行二分图匹配，确定每个实际关键点与每个标准动作模板的第一皮尔逊积矩。
在一些示例中，可以将标准动作模板作为左顶点X，将待匹配序列作为有顶点Y，并以实际关键点对应的骨骼区域的第一权重值进行二分图匹配，使得每组左右链接XiYj的皮尔逊积矩的和最大，最后去掉匹配边权值小于模板匹配阈值的边，得到每个实际关键点与每个标准动作模板的第一皮尔逊积矩。
在一些示例中，可以将人体的骨骼分布划分为至少一个骨骼区域，将人体的关节分布划分为至少一个关节区域。
示例性的，可以将人体的骨骼分布划分为5个骨骼区域，如：躯干、左上肢、右上肢、左下肢和右下肢。将人体的关节分布划分为12个关节区域，如：左躯干角、右躯干角、左肘角、左臂角、右肘角、右臂角、左膝角、左胯角、左脚角、右膝角、右胯角、右脚角。
其中，躯干包括：左右眼、左右耳、鼻子、左右肩、左右胯、左上肢包括：左手心、左腕、左胳膊肘和左肩、右上肢包括：右手心、右腕、右胳膊肘和右肩、左下肢包括：左胯、左膝盖、左脚腕、右下肢包括：右胯、右膝盖、右脚腕。根据标准动作模板中不同健身动作所锻炼的不同身体部位给上述5个骨骼区域配置了不同的第一权重值。因此，在将待匹配序列中的每个实际关键点与标准动作模板中的理论关键点进行匹配时，可以根据实际关键点归属的骨骼区域，确定该实际关键点对应的第一权重值等于该实际关键点归属的骨骼区域的第一权重值。
同理，为了更准确的描述标准动作模板的健身动作，我们引入了关节区域的概念，关节角共有12个，包括A0左躯干角、A1右躯干角、A2左肘角、A3左臂角、A4右肘角、A5右臂角、A6左膝角、A7左胯角、A8左脚角、A9右膝角、A10右胯角、A11右脚角。
同样，我们也根据骨骼分布划分的5个骨骼区域，将关节角也划分进上述5个骨骼区域内，其中躯干包括：A0左躯干角和A1右躯干角，左上肢包括：A2左肘角、A3左臂角，右上肢包括：A4右肘角、A5右臂角，左下肢包括：A6左膝角、A7左胯角、A8左脚角，右下肢包括：A9右膝角、A10右胯角、A11右脚角，具体角度如图20所示。因此，在将待匹配序列中的每个实际关键点与标准动作模板中的理论关键点进行匹配时，可以根据实际关键点归属的关节区域所对应的骨骼区域，确定该实际关键点对应的第二权重值等于该实际关键点归属的关节区域所对应的骨骼区域的第一权重值。
S331、基于目标滑窗中的每个标准动作模板、待匹配序列中的每个实际关键点和实际关键点对应的关节区域的第二权重值进行带权二分图匹配，确定每个实际关键点与每个标准动作模板的第二皮尔逊积矩。
在一些示例中，可以将标准动作模板作为左顶点X，将待匹配序列作为有顶点Y，并以实际关键点对应的关节区域的第二权重值进行带权二分图匹配，使得每组左右链接XiYj的皮尔逊积矩的和最大，最后去掉匹配边权值小于模板匹配阈值的边，得到每个实际关键点与每个标准动作模板的第二皮尔逊积矩。
S332、根据第一皮尔逊积矩，确定待匹配序列的关键点得分。
在一些示例中，根据待匹配序列中每个实际关键点与每个标准动作模板的第一皮尔逊积矩，确定每个实际关键点对应的第一皮尔逊积矩的第一平均值。之后，每个实际关键点对应的第一平均值，确定待匹配序列对应的第二平均值。之后，根据待匹配序列对应的第二平均值，确定关键点得分为待匹配序列对应的第二平均值。
S333、根据第二皮尔逊积矩，确定待匹配序列的关节角得分。
在一些示例中，根据待匹配序列中每个实际关键点与每个标准动作模板的第二皮尔逊积矩，确定每个实际关键点对应的第二皮尔逊积矩的第三平均值。之后，每个实际关键点对应的第三平均值，确定待匹配序列对应的第四平均值。之后，根据待匹配序列对应的第四平均值，确定关节角得分为待匹配序列对应的第四平均值。
在一些示例中，匹配结果还包括匹配度。其中，匹配度等于关键点总分和关键角总分的皮尔逊积矩。
在通过目标滑窗对所述待匹配序列进行匹配时，需要统计每个每组待匹配序列的匹配结果。由于，相邻的帧图像之间的匹配结果差异较小，因此可以设置匹配结果的更新逻辑，如：如果当前帧的帧图像在于匹配滑窗进行匹配时，若该匹配滑窗中的任一个标准动作模板的匹配度大于该标准动作模板在与当前帧相邻且连续的上一帧的匹配度，并且匹配滑窗中在该标准动作模板之前的所有匹配滑窗模板的匹配度都大于模板匹配阈值(如0.5)时，更新待匹配序列的匹配度、关键点评分和关键角评分。如果匹配滑窗中前c(如c等于2)个标准动作模板的匹配度均大于模板匹配阈值时，更新匹配滑窗，将匹配滑窗中前两个标准动作模板弹出，在队列末尾加入除该匹配滑窗中包含的标准动作模板以外的d(如d等于2)个标准动作模板。如果匹配滑窗中只有2个标准动作模板，且每个标准动作模板的匹配度均大于模板匹配阈值时，返回滑窗匹配成功。其中，c和d均为大于或等于0的整数。
具体的，将匹配滑窗0与待匹配序列进行匹配，同时将匹配滑窗1与待匹配序列进行匹配时，对应的双链匈牙利匹配逻辑如图21所示。
步骤一、首先在t0时刻，获得当前帧的帧图像的实际关键点SNk_t0后，将当前帧的实际关键点SNk_t0入栈关键点缓存Buffers。
步骤二、当缓存帧数大于等于匹配滑窗长度nlen(如6)时，从关键点缓存Buffers中取出6帧的帧图像的实际关键点组成待匹配序列Seqs，即Seqs＝[SNk_t0，SNk_t1，SNk_t2，SNk_3，SNk_4，SNk_5]。同时，在Action模板中按照目标视频出现的健身动作的先后顺序取出n(如6)个标准动作模板，组成匹配滑窗0和匹配滑窗1。其中，匹配滑窗0(SeqT0)＝匹配滑窗1(SeqT1)＝[SNTk_0,SNTk_1，SNTk_2，SNTk_3，SNTk_4，SNTk_5])，其中SNTk_0代表第0帧的标准动作模板。
步骤三、进行超时判断，当匹配滑窗0的滑窗计时器0没有超时进入(步骤四)，当滑窗计时器0超时后，判断滑窗计时器1是否开启，如果滑窗计时器1已经开启，则将滑窗模板SeqT1的值都赋给滑窗模板SeqT0，并重置滑窗模板SeqT1，将滑窗计时器1清零。如果滑窗计时器1没有启动，则将滑窗模板SeqT0重置，滑窗计时器0清零。
步骤四、当SeqT0中的第0个模板等于SNTk_0时，使用KM算法将待匹配序列Seqs和SeqT0做匹配，匹配后更新SeqT0。
步骤五、在SeqT0更新后，如果匹配滑窗0的状态发生了变化，则让滑窗计时器0清零并开启计时。
步骤六、当SeqT0中的第0个模板不等于SNTk_0时，首先判断滑窗计时器1的状态，如果滑窗计时器1超时，则重置匹配滑窗1，并清零滑窗计时器1。如果滑窗计时器1没有超时，则分别使用KM算法分别将待匹配序列Seqs与SeqT0和SeqT1做匹配。在匹配后分别SeqT0和SeqT1，更新策略与(步骤四)中相同。
步骤七、在SeqT0和SeqT1更新后，如果匹配滑窗0或者匹配滑窗1的状态发生了变化，则分别让滑窗计时器0、滑窗计时器1清零并开启计时。如果匹配滑窗0或者匹配滑窗1内剩余的标准模板数量为0，则代表该匹配滑窗匹配成功。故先判断匹配滑窗0，如果其匹配成功，则将匹配滑窗1的数值传递给0号，并给出提示：匹配滑窗0匹配成功。如果匹配滑窗0没有匹配成功，匹配滑窗1匹配成功，则重置匹配滑窗0、匹配滑窗1和相关状态寄存器、计时器，并发送提示匹配滑窗1匹配成功。
在一些可实施的示例中，匹配结果包括关键点得分和关节角得分；结合图15，如图22所示，上述S34具体可以通过下述S340-S342实现。
S340、根据每组待匹配序列的关键点得分，确定视频帧数据的关键点总分。
在一些示例中，视频帧数据的关键点总分等于该视频帧数据中每组待匹配序列的关键点得分的平均值。或者，视频帧数据的关键点总分等于该视频帧数据中每组待匹配序列的关键点得分的最大值。
S341、根据每组待匹配序列的关节角得分，确定视频帧数据的关键角总分。
在一些示例中，视频帧数据的关节角总分等于该视频帧数据中每组待匹配序列的关节角得分的平均值。或者，视频帧数据的关节角总分等于该视频帧数据中每组待匹配序列的关键点得分的最大值。
S342、根据关键点总分和关键角总分，确定视频帧数据的评分结果。
在一些示例中，可以根据关键点总分和关键角总分查询评分关系表，得到评分结果。其中，评分关系表包括关键点总分区间、关键角总分区间和评分结果的对应关系。
示例性的，评分关系表如表1所示。
表1
Figure BDA0003994490950000201
如此，当关键点总分为0.3，关节角总分为0.8时，通过查询表1可知，评分结果为“评分结果7”。
或者，评分结果直接将关键点总分和关键角总分展示给用户。
或者，根据关键点总分和关键角总分，确定一个总健身分。之后，根据总健总分查询评分表，得到评分结果。其中，评分表包括健总分和评分结果的对应关系。
示例性的，评分表如表2所示。
表2
健身分区间 评分结果
[0.8，1] 评分结果10
[0.5，0.8) 评分结果11
[0，0.5) 评分结果12
如此，可以将关键点总分和关键角总分带入总分公式，确定总健身分。其中，总分公式包括：F＝a×b+c×d。其中，a+c等于1，且a和c均为大于或等于0，且小于或等于1的常数，b表示关键点总分，d表示关键角总分，F表示总健身分。若a等于0.5，c等于0.5，b等于0.9，d等于0.8时，总健身分等于0.5×0.9+0.5×0.8等于0.85。之后，查询表2可知，评分结果为“评分结果10”。
或者，评分结果直接将总健身分展示给用户。
具体的，健身分区间可以根据历史的每个用户的关键点总分和关键角总分进行划分得到，此处不做限定。需要说明的是，上述示例是以执行本公开实施例提供的运动评分方法的执行主体为电视机1为例进行说明的。在其他的一些示例，执行本公开实施例提供的运动评分方法的执行主体还可以是上述服务器400。如：用户在需要健身时，可以将显示设备200开机，并指示显示设备200显示目标视频(如健身视频)，此时用户就可以根据健身视频的提示，按照提示执行相应的健身动作，以达到健身效果。在此期间，设置于显示设备200上的图像采集装置会实时地采集用户的健身动作，形成视频帧数据。之后，电视机1将该视频帧数据发送至服务器400。服务器400对视频帧数据进行处理，确定人体对应的至少一组待匹配序列。之后，服务器400通过目标滑窗对待匹配序列进行匹配，确定每组待匹配序列的匹配结果；服务器400根据匹配结果，确定视频帧数据的评分结果。服务器400向电视机1发送携带该评分结果的显示信息，以便电视机在接收到服务器400发送的显示信息后，显示该显示信息中的评分结果。上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。本申请实施例可以根据上述方法示例对运动评分装置和标准动作模板的生成装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。本申请的实施例提供一种显示设备200的结构示意图。包括通信器101、显示器102和处理器103。处理器103，用于响应于启动操作，加载至少一个标准动作模板；其中，一个标准动作模板对应一个标准健身动作，标准动作模板中包含完成标准动作模板对应的标准健身动作的每个关键帧；处理器103，还用于响应于对目标视频的播放操作，控制通信器101获取目标视频的视频模板；其中，视频模板包括目标视频中包含的至少一个实际健身动作；处理器103，还用于在标准动作模板中选取与通信器101获取的实际健身动作相匹配的标准健身动作，确定每个实际健身动作对应的关键帧；处理器103，还用于控制显示器102播放目标视频，并控制通信器10获取图像采集装置采集的视频帧数据；处理器103，还用于将关键帧与通信器101获取的视频帧数据进行匹配，得到匹配结果；处理器103，还用于根据匹配结果，生成评分结果。在一些可实施的示例中，一个实际健身动作对应一个实际配置信息，实际配置信息包括第一动作标识，动作标识包括第一动作名称和第一标识码中的一项或者多项，一个标准健身动作对应一个标准配置信息，标准配置信息包括第二动作标识，第二动作标识包括第二动作名称和第二标识码中的一项或者多项；处理器103，具体用于对于每个通信器101获取的实际健身动作执行如下操作：根据图实际健身动作对应的第一动作标识，确定与第一动作标识相同的第二动作标识；确定实际健身动作的关键帧为与第一动作标识相同的第二动作标识对应的标准动作模板中包含的关键帧。在一些可实施的示例中，实际配置信息还包括：起始时间；处理器103，具体用于在当前播放时刻等于起始时间的情况下，确定起始时间对应的实际健身动作；处理器103，具体用于根据起始时间对应的实际健身动作，确定与起始时间对应的实际健身动作的第一动作标识相同的第二动作标识；处理器103，具体用于确定与起始时间对应的实际健身动作的关键帧为与起始时间对应的实际健身动作的第一动作标识相同的第二动作标识对应的标准动作模板中包含的关键帧。在一些可实施的示例中，实际配置信息还包括：顺序标识，顺序标识用于指示实际健身动作在目标视频中出现的顺序；处理器103，具体用于根据目标视频的播放进度，确定当前播放时刻对应的顺序标识；处理器103，具体用于根据顺序标识，确定与顺序标识对应的第一动作标识相同的第二动作标识；处理器103，具体用于确定与顺序标识对应的实际健身动作的关键帧为与顺序标识对应的第一动作标识相同的第二动作标识对应的标准健身动作中包含的关键帧。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。当然，本申请实施例提供的显示设备200包括但不限于上述模块，例如显示设备200还可以包括存储器104。存储器104可以用于存储该显示设备200的程序代码，还可以用于存储显示设备200在运行过程中生成的数据，如写请求中的数据等。作为一个示例，结合图3，服务器400中的获取单元210实现的功能通信器101的功能相同，显示单元211实现的功能与显示器102的功能相同，处理单元212实现的功能与处理器103的功能相同，存储单元213实现的功能与存储器104的功能相同。本申请实施例还提供一种芯片系统，该芯片系统可以应用于前述实施例中的显示设备200。该芯片系统包括至少一个处理器1501和至少一个接口电路1502。该处理器1501可以是上述显示设备200中的处理器。处理器1501和接口电路1502可通过线路互联。该处理器1501可以通过接口电路1502从上述显示设备200的存储器接收并执行计算机指令。当计算机指令被处理器1501执行时，可使得显示设备200执行上述实施例中显示设备200执行的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。本申请实施例还提供一种计算机可读存储介质，用于存储上述显示设备200运行的计算机指令。本申请实施例还提供一种计算机程序产品，包括上述显示设备200运行的计算机指令。本申请的实施例提供一种服务器400的结构示意图。包括通信器201和处理器202。通信器201，用于获取预设视频；其中，一个预设视频中对应一个标准健身动作；处理器202，用于对通信器201获取的预设视频中的每张帧图像进行检测，确定至少一个人体关键点；处理器202，还用于根据每张帧图像包含的人体关键点，确定帧图像与其它图像之间的相似度；其中，其它图像表示除帧图像以外的每张帧图像；处理器202，还用于根据相似度对帧图像进行归类，确定每个图像类别对应的关键帧；其中，处于同一个图像归类中的帧图像为相同图像；处理器202，还用于根据每个图像类别对应的关键帧，生成标准健身动作对应的标准动作模板。在一些可实施的示例中，处理器202，具体用于采用人体检测算法对通信器201获取的预设视频中的每张帧图像进行检测，确定至少一个人体关键点。在一些可实施的示例中，处理器202，具体用于根据每张帧图像包含的人体关键点的位置信息，确定帧图像与其它图像之间的第一皮尔逊系数；处理器202，具体用于根据每张帧图像包含的人体关键点的骨骼点夹角，确定帧图像与其它图像之间的第二皮尔逊系数；处理器202，具体用于根据第一皮尔逊系数、第二皮尔逊系数、第一皮尔逊系数对应的第一权重和第二皮尔逊系数对应的第二权重，确定帧图像与其它图像之间的相似度。在一些可实施的示例中，处理器202，具体用于对于每张帧图像执行如下操作：根据帧图像与其它图像之间的相似度，将相似度大于或等于预设阈值的帧图像划分为同一个图像归类；处理器202，具体用于对每个图像归类的帧图像进行如下操作：获取图像归类的帧图像的位置关系；根据位置关系，对图像类别中的帧图像进行处理，确定图像类别对应的关键帧；其中，位置关系用于指示帧图像在预设视频的全部帧图像中的位置。在一些可实施的示例中，处理器202，具体用于根据位置关系，将连续出现的帧图像中的任一张帧图像作为图像类别对应的关键帧；处理器202，具体用于根据位置关系，将除连续出现的帧图像中的每张帧图像作为图像类别对应的关键帧。在一些可实施的示例中，处理器202，具体用于根据相似度，确定每个图像归类对应的实际占比；处理器202，具体用于对实际占比大于或等于预设占比的图像归类的帧图像进行处理，确定每个图像类别对应的关键帧。在一些可实施的示例中，处理器202，具体用于对于每张帧图像执行如下操作：根据帧图像与其它图像之间的相似度，将相似度大于或等于预设阈值的帧图像划分为同一个图像归类；根据图像归类中包含的帧图像的总数和预设视频中包含的帧图像的总数，确定图像归类对应的实际占比。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。当然，本申请实施例提供的服务器400包括但不限于上述模块，例如服务器400还可以包括存储器203。存储器203可以用于存储该服务器400的程序代码，还可以用于存储服务器400在运行过程中生成的数据，如写请求中的数据等。作为一个示例，结合图3，服务器400中的获取单元110实现的功能通信器201的功能相同，处理单元111实现的功能与处理器202的功能相同，存储单元112实现的功能与存储器203的功能相同。本申请实施例还提供一种芯片系统，该芯片系统可以应用于前述实施例中的服务器400。该芯片系统包括至少一个处理器2501和至少一个接口电路2502。该处理器2501可以是上述服务器400中的处理器。处理器2501和接口电路2502可通过线路互联。该处理器2501可以通过接口电路2502从上述服务器400的存储器接收并执行计算机指令。当计算机指令被处理器2501执行时，可使得服务器400执行上述实施例中服务器400执行的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。本申请实施例还提供一种计算机可读存储介质，用于存储上述服务器400运行的计算机指令。本申请实施例还提供一种计算机程序产品，包括上述服务器400运行的计算机指令。本申请的实施例提供一种显示设备200的结构示意图。包括通信器301、显示器302和处理器303。通信器301，用于获取显示器302播放目标视频时图像采集装置采集的视频帧数据；其中，目标视频包括至少一个健身动作，一个健身动作对应一个标准动作模板，标准动作模板中包含完成标准动作模板对应的健身动作的每个关键帧的关键信息；处理器303，用于对通信器301获取的视频帧数据进行处理，确定人体对应的至少一组待匹配序列；其中，一组待匹配序列中包括人体对应的至少一个实际关键点；处理器303，还用于通过目标滑窗对待匹配序列进行匹配，确定每组待匹配序列的匹配结果；其中，目标滑窗根据目标视频中包含的健身动作所对应的标准动作模板确定的；处理器303，还用于根据匹配结果，确定视频帧数据的评分结果。在一些可实施的示例中，关键信息包括理论检测框；处理器303，具体用于对通信器301获取的视频帧数据中的帧图像进行预处理，确定预处理后的第一图像；处理器303，具体用于对第一图像进行识别，确定人体对应的实际检测框；处理器303，具体用于基于实际检测框对通信器301获取的帧图像进行剪裁，得到人体的人体图像；处理器303，具体用于对人体图像进行识别，确定人体对应的至少一个目标关键点；处理器303，具体用于基于理论检测框、实际检测框对目标关键点进行归一化处理，确定至少一个实际关键点；处理器303，具体用于根据实际关键点，确定人体对应的至少一组待匹配序列。在一些可实施的示例中，处理器303，具体用于将第一图像输入至人体第一目标检测网络，确定人体对应的实际检测框；其中，人体第一目标检测网络基于训练图像，以及训练图像的标记结果对第一目标检测网络进行训练得到，标记结果包括标记检测框，第一目标检测网络至少包括目标检测算法YOLO、单激发多框探测器SSD算法和目标检测算法Faster RCNN中的任一项。在一些可实施的示例中，处理器303，具体用于将人体图像输入至人体关键点检测网络，确定人体对应的至少一个目标关键点；其中，人体关键点检测网络基于训练样本图像和训练监督图像对第二目标检测网络进行训练得到的，第二目标检测网络至少包括基于热图的人体骨骼点检测网络HRNet、Simple Baseline、或者输出端为argmax的非热图类网络中的任一项。在一些可实施的示例中，一个实际关键点对应一个骨骼区域和一个关节区域，一个骨骼区域对应一个第一权重值，一个关节区域对应一个第二权重值，匹配结果包括关键点得分和关节角得分；处理器303，具体用于基于目标滑窗中的每个标准动作模板、待匹配序列中的每个实际关键点和实际关键点对应的骨骼区域的第一权重值进行二分图匹配，确定每个实际关键点与每个标准动作模板的第一皮尔逊积矩；处理器303，具体用于基于目标滑窗中的每个标准动作模板、待匹配序列中的每个实际关键点和实际关键点对应的关节区域的第二权重值进行带权二分图匹配，确定每个实际关键点与每个标准动作模板的第二皮尔逊积矩；处理器303，具体用于根据第一皮尔逊积矩，确定待匹配序列的关键点得分；处理器303，具体用于根据第二皮尔逊积矩，确定待匹配序列的关节角得分。在一些可实施的示例中，匹配结果包括关键点得分和关节角得分；处理器303，具体用于根据每组待匹配序列的关键点得分，确定视频帧数据的关键点总分；处理器303，具体用于根据每组待匹配序列的关节角得分，确定视频帧数据的关键角总分；处理器303，具体用于根据关键点总分和关键角总分，确定视频帧数据的评分结果。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。当然，本申请实施例提供的显示设备200包括但不限于上述模块，例如显示设备200还可以包括存储器304。存储器304可以用于存储该显示设备200的程序代码，还可以用于存储显示设备200在运行过程中生成的数据，如写请求中的数据等。作为一个示例，结合图3，显示设备200中的获取单元210实现的功能通信器301的功能相同，显示单元211实现的功能与显示器302的功能相同，处理单元212实现的功能与处理器303的功能相同，存储单元213实现的功能与存储器304的功能相同。本申请实施例还提供一种芯片系统，该芯片系统可以应用于前述实施例中的显示设备200。该芯片系统包括至少一个处理器3501和至少一个接口电路3502。该处理器3501可以是上述显示设备200中的处理器。处理器3501和接口电路3502可通过线路互联。该处理器3501可以通过接口电路3502从上述显示设备200的存储器接收并执行计算机指令。当计算机指令被处理器3501执行时，可使得显示设备200执行上述实施例中显示设备200执行的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。本申请实施例还提供一种计算机可读存储介质，用于存储上述显示设备200运行的计算机指令。本申请实施例还提供一种计算机程序产品，包括上述显示设备200运行的计算机指令。以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种运动评分方法，其特征在于，包括：
获取播放目标视频时图像采集装置采集的视频帧数据；其中，所述目标视频包括至少一个健身动作，一个健身动作对应一个标准动作模板，所述标准动作模板中包含完成所述标准动作模板对应的健身动作的每个关键帧的关键信息；
对所述视频帧数据进行处理，确定人体对应的至少一组待匹配序列；其中，一组待匹配序列中包括所述人体对应的至少一个实际关键点；
通过目标滑窗对所述待匹配序列进行匹配，确定每组待匹配序列的匹配结果；其中，所述目标滑窗根据所述目标视频中包含的健身动作所对应的标准动作模板确定的；
根据所述匹配结果，确定所述视频帧数据的评分结果。
2.根据权利要求1所述的运动评分方法，其特征在于，所述关键信息包括理论检测框；
所述对所述视频帧数据进行处理，确定人体对应的至少一组待匹配序列，包括：
对所述视频帧数据中的帧图像进行预处理，确定预处理后的第一图像；
对所述第一图像进行识别，确定所述人体对应的实际检测框；
基于所述实际检测框对所述帧图像进行剪裁，得到所述人体的人体图像；
对所述人体图像进行识别，确定所述人体对应的至少一个目标关键点；
基于所述理论检测框、所述实际检测框对所述目标关键点进行归一化处理，确定至少一个实际关键点；
根据所述实际关键点，确定人体对应的至少一组待匹配序列。
3.根据权利要求2所述的运动评分方法，其特征在于，所述对所述第一图像进行识别，确定所述人体对应的实际检测框，包括：
将所述第一图像输入至人体第一目标检测网络，确定所述人体对应的实际检测框；其中，所述人体第一目标检测网络基于训练图像，以及训练图像的标记结果对第一目标检测网络进行训练得到，所述标记结果包括标记检测框。
4.根据权利要求2所述的运动评分方法，其特征在于，所述对所述人体图像进行识别，确定所述人体对应的至少一个目标关键点，包括：
将所述人体图像输入至人体关键点检测网络，确定所述人体对应的至少一个目标关键点；其中，所述人体关键点检测网络基于训练样本图像和训练监督图像对第二目标检测网络进行训练得到的。
5.根据权利要求2所述的运动评分方法，其特征在于，一个实际关键点对应一个骨骼区域和一个关节区域，一个骨骼区域对应一个第一权重值，一个关节区域对应一个第二权重值，所述匹配结果包括关键点得分和关节角得分；
所述通过目标滑窗对所述待匹配序列进行匹配，确定每组待匹配序列的匹配结果，包括：
基于所述目标滑窗中的每个标准动作模板、所述待匹配序列中的每个实际关键点和所述实际关键点对应的骨骼区域的第一权重值进行二分图匹配，确定每个所述实际关键点与每个所述标准动作模板的第一皮尔逊积矩；
基于所述目标滑窗中的每个标准动作模板、所述待匹配序列中的每个实际关键点和所述实际关键点对应的关节区域的第二权重值进行带权二分图匹配，确定每个所述实际关键点与每个所述标准动作模板的第二皮尔逊积矩；
根据所述第一皮尔逊积矩，确定所述待匹配序列的关键点得分；
根据所述第二皮尔逊积矩，确定所述待匹配序列的关节角得分。
6.根据权利要求1所述的运动评分方法，其特征在于，所述匹配结果包括关键点得分和关节角得分；
所述根据所述匹配结果，确定所述视频帧数据的评分结果，包括：
根据每组所述待匹配序列的关键点得分，确定所述视频帧数据的关键点总分；
根据每组所述待匹配序列的关节角得分，确定所述视频帧数据的关键角总分；
根据所述关键点总分和所述关键角总分，确定所述视频帧数据的评分结果。
7.一种运动评分装置，其特征在于，包括：
获取单元，用于获取播放目标视频时图像采集装置采集的视频帧数据；其中，所述目标视频包括至少一个健身动作，一个健身动作对应一个标准动作模板，所述标准动作模板中包含完成所述标准动作模板对应的健身动作的每个关键帧的关键信息；
处理单元，用于对所述获取单元获取的所述视频帧数据进行处理，确定人体对应的至少一组待匹配序列；其中，一组待匹配序列中包括所述人体对应的至少一个实际关键点；
所述处理单元，还用于通过目标滑窗对所述待匹配序列进行匹配，确定每组待匹配序列的匹配结果；其中，所述目标滑窗根据所述目标视频中包含的健身动作所对应的标准动作模板确定的；
所述处理单元，还用于根据所述匹配结果，确定所述视频帧数据的评分结果。
8.根据权利要求7所述的运动评分装置，其特征在于，所述关键信息包括理论检测框；
所述处理单元，具体用于对所述获取单元获取的所述视频帧数据中的帧图像进行预处理，确定预处理后的第一图像；
所述处理单元，具体用于对所述第一图像进行识别，确定所述人体对应的实际检测框；
所述处理单元，具体用于基于所述实际检测框对所述获取单元获取的所述帧图像进行剪裁，得到所述人体的人体图像；
所述处理单元，具体用于对所述人体图像进行识别，确定所述人体对应的至少一个目标关键点；
所述处理单元，具体用于基于所述理论检测框、所述实际检测框对所述目标关键点进行归一化处理，确定至少一个实际关键点；
所述处理单元，具体用于根据所述实际关键点，确定人体对应的至少一组待匹配序列。
9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现权利要求1-6任一项所述的运动评分方法。
10.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-6任一项所述的运动评分方法。
CN202211599183.4A 2022-09-30 2022-12-12 一种运动评分方法、装置和电子设备 Pending CN116168799A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211214175 2022-09-30
CN2022112141753 2022-09-30

Publications (1)

Publication Number Publication Date
CN116168799A true CN116168799A (zh) 2023-05-26

Family

ID=86415341

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211599183.4A Pending CN116168799A (zh) 2022-09-30 2022-12-12 一种运动评分方法、装置和电子设备
CN202211599182.XA Pending CN116417110A (zh) 2022-09-30 2022-12-12 一种运动评分方法、装置和电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211599182.XA Pending CN116417110A (zh) 2022-09-30 2022-12-12 一种运动评分方法、装置和电子设备

Country Status (1)

Country Link
CN (2) CN116168799A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216313A (zh) * 2023-09-13 2023-12-12 中关村科学城城市大脑股份有限公司 姿态评价音频输出方法、装置、电子设备和可读介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078976B (zh) * 2023-10-16 2024-01-30 华南师范大学 动作评分方法、装置、计算机设备以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216313A (zh) * 2023-09-13 2023-12-12 中关村科学城城市大脑股份有限公司 姿态评价音频输出方法、装置、电子设备和可读介质

Also Published As

Publication number Publication date
CN116417110A (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN116168799A (zh) 一种运动评分方法、装置和电子设备
US20220239988A1 (en) Display method and apparatus for item information, device, and computer-readable storage medium
CN108520229B (zh) 图像检测方法、装置、电子设备和计算机可读介质
CN109905772B (zh) 视频片段查询方法、装置、计算机设备及存储介质
US10970605B2 (en) Electronic apparatus and method of operating the same
CN109471945B (zh) 基于深度学习的医疗文本分类方法、装置及存储介质
WO2022022152A1 (zh) 视频片段定位方法、装置、计算机设备及存储介质
US20220284327A1 (en) Resource pushing method and apparatus, device, and storage medium
US20170046568A1 (en) Systems and methods of identifying a gesture using gesture data compressed by principal joint variable analysis
US11417095B2 (en) Image recognition method and apparatus, electronic device, and readable storage medium using an update on body extraction parameter and alignment parameter
CN108664651B (zh) 一种图案推荐方法、装置及存储介质
CN108647571A (zh) 视频动作分类模型训练方法、装置及视频动作分类方法
CN111695458A (zh) 一种视频图像帧处理方法及装置
CN111708913A (zh) 一种标签生成方法、设备及计算机可读存储介质
CN105631404B (zh) 对照片进行聚类的方法及装置
CN111797854A (zh) 场景模型建立方法、装置、存储介质及电子设备
CN109741108A (zh) 基于情境感知的流式应用推荐方法、装置和电子设备
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN111798019B (zh) 意图预测方法、装置、存储介质及电子设备
CN110781809A (zh) 基于注册特征更新的识别方法、装置及电子设备
CN116110125A (zh) 动作评分设备及方法
CN113591865B (zh) 一种回环检测方法、装置以及电子设备
WO2020241208A1 (ja) 検索装置、制御方法、及びプログラム
CN111488476B (zh) 图像推送方法、模型训练方法及对应装置
CN114092746A (zh) 一种多属性识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination