CN109432753B - 动作矫正方法、装置、存储介质及电子设备 - Google Patents

动作矫正方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN109432753B
CN109432753B CN201811126713.7A CN201811126713A CN109432753B CN 109432753 B CN109432753 B CN 109432753B CN 201811126713 A CN201811126713 A CN 201811126713A CN 109432753 B CN109432753 B CN 109432753B
Authority
CN
China
Prior art keywords
skeleton
user
model
video
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811126713.7A
Other languages
English (en)
Other versions
CN109432753A (zh
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811126713.7A priority Critical patent/CN109432753B/zh
Publication of CN109432753A publication Critical patent/CN109432753A/zh
Application granted granted Critical
Publication of CN109432753B publication Critical patent/CN109432753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/22—Dancing

Abstract

本申请公开了一种动作矫正方法、装置、存储介质及电子设备，包括：获取待模仿的动作视频；根据该动作视频生成对应的骨架运动视频，该骨架运动视频中包括骨架参考模型，该骨架参考模型包括第一骨骼节点；在显示屏中播放该骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像；根据每帧拍摄图像确定对应的用户骨架模型，该用户骨架模型包括第二骨骼节点；在该显示屏的播放画面上生成该用户骨架模型，以使该目标用户根据该用户骨架模型和骨架参考模型对模仿动作进行矫正，从而能便于用户在视频舞蹈学习中较快速的掌握动作精髓，及时发现并矫正自身模仿错误的地方，方法简单，模仿效果好。

Description

动作矫正方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种动作矫正方法、装置、存储介质及电子设备。
背景技术
随着终端科技和网络技术的不断发展，各种基于网络的终端应用也应运而生，极大丰富了人们的生活。
目前，用户不仅可以在网络上进行娱乐活动，还可以进行教学活动，比如舞蹈教学，现有舞蹈教学方式通常为：舞蹈老师录制自己的舞蹈视频分享至网络，学习者可以在线观看或下载该舞蹈视频进行模仿，从而充分利用了网络资源，无需去实体店报名学习，但由于模仿过程中学习者只能通过镜子或录制视频肉眼观察自己的模仿情况，故难以及时发现模仿错误的地方，不利于对模仿动作进行精准矫正，模仿效果差。
发明内容
本申请实施例提供一种动作矫正方法、装置、存储介质及电子设备，有利于用户在舞蹈教学过程中及时准确地对自身模仿动作进行矫正，模仿效果好。
本申请实施例提供了一种动作矫正方法，应用于电子设备，包括：
获取待模仿的动作视频；
根据所述动作视频生成对应的骨架运动视频，所述骨架运动视频中包括骨架参考模型，所述骨架参考模型包括第一骨骼节点；
在显示屏中播放所述骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像；
根据每帧拍摄图像确定对应的用户骨架模型，所述用户骨架模型包括第二骨骼节点；
在所述显示屏的播放画面上生成所述用户骨架模型，以使所述目标用户根据所述用户骨架模型和骨架参考模型对模仿动作进行矫正。
本申请实施例还提供了一种动作矫正装置，应用于电子设备，包括：
获取模块，用于获取待模仿的动作视频；
第一生成模块，用于根据所述动作视频生成对应的骨架运动视频，所述骨架运动视频中包括骨架参考模型，所述骨架参考模型包括第一骨骼节点；
拍摄模块，用于在显示屏中播放所述骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像；
确定模块，用于根据每帧拍摄图像确定对应的用户骨架模型，所述用户骨架模型包括第二骨骼节点；
第二生成模块，用户在所述显示屏的播放画面上生成所述用户骨架模型，以使所述目标用户根据所述用户骨架模型和骨架参考模型对模仿动作进行矫正。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项动作矫正方法。
本申请实施例还提供了一种电子设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于上述任一项所述的动作矫正方法中的步骤。
本申请提供的动作矫正方法、装置、存储介质及电子设备，应用于电子设备，通过获取待模仿的动作视频，并根据该动作视频生成对应的骨架运动视频，该骨架运动视频中包括骨架参考模型，该骨架参考模型包括第一骨骼节点，接着，在显示屏中播放该骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像，之后根据每帧拍摄图像确定对应的用户骨架模型，该用户骨架模型包括第二骨骼节点，并在该显示屏的播放画面上生成该用户骨架模型，以使该目标用户根据该用户骨架模型和骨架参考模型对模仿动作进行矫正，从而能便于用户在视频舞蹈学习中较快速的掌握动作精髓，及时发现并矫正自身模仿错误的地方，方法简单，模仿效果好。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1为本申请实施例提供的动作矫正方法的流程示意图。
图2为本申请实施例提供的动作矫正方法的另一流程示意图。
图3为本申请实施例提供的骨架运动视频的生成过程示意图。
图4为本申请实施例提供的用户骨架模型的生成过程示意图。
图5为本申请实施例提供的显示屏播放画面的示意图。
图6为本申请实施例提供的动作矫正装置的结构示意图。
图7为本申请实施例提供的驱动模块的结构示意图。
图8为本申请实施例提供的电子设备的结构示意图。
图9为本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
一种动作矫正方法，包括：获取待模仿的动作视频；根据该动作视频生成对应的骨架运动视频，该骨架运动视频中包括骨架参考模型，该骨架参考模型包括第一骨骼节点；在显示屏中播放该骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像；根据每帧拍摄图像确定对应的用户骨架模型，该用户骨架模型包括第二骨骼节点；在该显示屏的播放画面上生成该用户骨架模型，以使该目标用户根据该用户骨架模型和骨架参考模型对模仿动作进行矫正。
如图1所示，图1是本申请实施例提供的动作矫正方法的流程示意图，其应用于电子设备，该动作矫正方法具体流程可以如下：
101.获取待模仿的动作视频。
本实施例中，该动作视频主要是人物肢体动作的视频，其可以是从网上下载的，或者在线播放的。
102.根据该动作视频生成对应的骨架运动视频，该骨架运动视频中包括骨架参考模型，该骨架参考模型包括第一骨骼节点。
例如，上述步骤102具体可以包括：
利用训练好的深度学习模型，对该动作视频中的每帧视频图像进行处理，以识别出第一骨骼节点；
获取该第一骨骼节点在对应帧视频图像中的第一图像坐标；
根据该第一图像坐标生成包含该第一骨骼节点的骨架参考模型；
根据连续帧视频图像对应的骨架参考模型生成骨架运动视频。
本实施例中，该深度学习模型可以是神经网络模型，具体的，可以预先利用已标注好骨骼节点的大量样本图像对该深度学习模型进行训练，该骨骼节点的数量和位置可以人为设定，比如可以包括头、鼻子，肩椎，中部脊椎，骶椎，左肩，左肘，左腕，左髋，左膝，左脚踝，右肩，右肘，右腕，右髋，右膝，右脚踝这17个关键部位点，之后将训练好的模型存储在电子设备中。
该骨架参考模型可以包括由第一骨骼节点、以及相邻第一骨骼节点之间的连接线段构成的四肢和躯干。该骨架运动视频通常和动作视频具有相同的图像帧数量和播放长度，具体的，可以保留原动作视频中的背景部分和音乐部分，采用同一坐标系将动作视频中的人物部分替换成骨架参考模型，形成骨架运动视频，或者，也可以采用指定背景图像和/或指定音乐形成骨架运动视频。
需要指出的是，为便于用户观察每个骨架参考模型所作动作的实际显示效果，该骨架运动视频还可以包括动作视频中的原始人物部分，该原始人物部分和骨架参考模型可以以等比例形式显示在同一视频画面中，也可以以不同比例大小进行显示。
103.在显示屏中播放该骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像。
本实施例中，在生成骨架运动视频之后，当电子设备进入教学模式，比如点击某个指定虚拟按键以启动教学模式时，可以播放该骨架运动视频，与此同时，调用摄像头对镜头前的目标用户进行连续帧图像拍摄。
104.根据每帧拍摄图像确定对应的用户骨架模型，该用户骨架模型包括第二骨骼节点。
例如，上述步骤104具体可以包括：
识别每帧拍摄图像中的第二骨骼节点；
获取该第二骨骼节点在对应帧拍摄图像中的第二图像坐标；
根据该第二图像坐标确定包含该第二骨骼节点的用户骨架模型。
本实施例中，在图像拍摄过程中，对于每帧拍摄图像，同样可以利用训练好的深度学习模型进行骨骼点识别。该用户骨架模型可以包括由第二骨骼节点、以及相邻第二骨骼节点之间的连接线段构成的四肢和躯干。
105.在该显示屏的播放画面上生成该用户骨架模型，以使该目标用户根据该用户骨架模型和骨架参考模型对模仿动作进行矫正。
本实施例中，显示屏的最终播放画面至少可以包括用户骨架模型和骨架参考模型，还可以包括动作视频中原始的人物图像。
例如，上述步骤105具体可以包括：
根据该骨架参考模型的大小对该用户骨架模型进行尺寸调整；
将调整后的用户骨架模型叠加在对应播放画面中的骨架参考模型上，并以预设线条参数进行显示。
本实施例中，考虑到目标用户与电子设备间相隔的实际距离会影响用户骨架模型的整体大小，为避免用户骨架模型和骨架参考模型的尺寸相差较多，影响对比效果，可以先对用户骨架模型进行尺寸缩放，缩小两者间的显示差距。该预设线条参数可以根据骨架参考模型的线条参数而定，主要用于肉眼明显区分区用户骨架模型和骨架参考模型，其可以人为设置，比如可以是指定线条颜色(譬如红色或绿色)，和/或指定线条类型(比如虚线或实线)。
例如，在上述步骤105之后，该动作矫正方法还可以包括：
根据该第一骨骼节点计算该骨架参考模型中四肢和躯干间的第一夹角；
根据该第二骨骼节点计算该用户骨架模型中四肢和躯干间的第二夹角；
在该播放画面上显示该第一夹角和第二夹角。
本实施例中，对于骨架参考模型和用户骨架模型，可以分别计算出上肢(包括左手与右手)与躯干间、以及下肢(包括左腿和右腿)与躯干间的夹角，也即分别计算出四个夹角，通常，不同肢体动作所对应的四个夹角完全不同，或者部分不同。该第一夹角和第二夹角可以在模型的对应位置处显示，也可以按照一定的排列顺序在播放画面的空白区域显示，方便用户查看。
例如，在该播放画面上显示该第一夹角和第二夹角之后，该动作矫正方法还可以包括：
计算该第一夹角和对应第二夹角之间的差值；
根据该差值确定对应播放时刻该目标用户的模仿相似度；
根据该模仿相似度确定该目标用户的总表演分数，并向该目标用户提供该总表演分数。
本实施例中，对于每个播放时刻，都可以计算出四个第一夹角和四个第二夹角，之后可以通过第一夹角和第二夹角之间的差值平均值计算模仿相似度，或者，考虑到不同肢体动作对四肢的考察重点不同，可以根据肢体动作为四个夹角之间的差值设置权重，比如双手平举考察的是左右手，则可以为左右手与躯干间的夹角的差值设置比较高的权重值，将左右腿与躯干间的夹角的差值设置比较低的权重值，此时，上述步骤“根据该差值确定对应播放时刻该目标用户的模仿相似度”具体可以包括：
获取当前播放时刻对应的预设加权算法；
根据该预设加权算法和差值确定该目标用户的模仿相似度。
本实施例中，可以将该差值输入预设加权算法中计算加权差值，根据该加权差值确定模仿相似度，通常，加权差值越大，模仿相似度越小。
由上述可知，本实施例提供的动作矫正方法，应用于电子设备，通过获取待模仿的动作视频，并根据该动作视频生成对应的骨架运动视频，该骨架运动视频中包括骨架参考模型，该骨架参考模型包括第一骨骼节点，接着，在显示屏中播放该骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像，之后根据每帧拍摄图像确定对应的用户骨架模型，该用户骨架模型包括第二骨骼节点，并在该显示屏的播放画面上生成该用户骨架模型，以使该目标用户根据该用户骨架模型和骨架参考模型对模仿动作进行矫正，从而能便于用户在视频舞蹈学习中较快速的掌握动作精髓，及时发现并矫正自身模仿错误的地方，方法简单，模仿效果好。
在本实施例中，将从动作矫正装置的角度进行描述，具体将以该动作矫正装置集成在电子设备中为例进行详细说明。
请参见图2，一种动作矫正方法，应用于电子设备，具体流程可以如下：
201.电子设备获取待模仿的动作视频。
譬如，该动作视频可以是电子设备本地库中的，也可以是从网上下载或在线播放的。
202.电子设备利用训练好的深度学习模型，对该动作视频中的每帧视频图像进行处理，以识别出第一骨骼节点，并获取该第一骨骼节点在对应帧视频图像中的第一图像坐标。
203.电子设备根据该第一图像坐标生成包含该第一骨骼节点的骨架参考模型，并根据连续帧视频图像对应的骨架参考模型生成骨架运动视频。
譬如，请参见图3，该深度学习模型可以是神经网络模型，该第一骨骼节点可以包括头B1、鼻子B2，肩椎B3，中部脊椎B4，骶椎B5，左肩B6，左肘B7，左腕B8，左髋B9，左膝B10，左脚踝B11，右肩B12，右肘B13，右腕B14，右髋B15，右膝B16和右脚踝B17，通过线段将这些第一骨骼点连接成一个整体，形成骨架参考模型，并将每帧视频图像中的人物部分替换成该骨架参考模型，或者在新的背景图像上生成该骨架参考模型，得到骨架运动视频。
204.电子设备在显示屏中播放该骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像。
205.电子设备识别每帧拍摄图像中的第二骨骼节点，并获取该第二骨骼节点在对应帧拍摄图像中的第二图像坐标，之后根据该第二图像坐标确定包含该第二骨骼节点的用户骨架模型。
譬如，用户可以通过点击操作界面上的某个按键，比如“开始学习”按钮进入教学模式，此时，电子设备会一边播放骨架运动视频，一边启动摄像头进行拍摄，请参见图4，在拍摄过程中，电子设备会实时利用深度学习模型识别出拍摄图像中的第二骨骼节点，比如头C1、鼻子C2，肩椎C3，中部脊椎C4，骶椎C5，左肩C6，左肘C7，左腕C8，左髋C9，左膝C10，左脚踝C11，右肩C12，右肘C13，右腕C14，右髋C15，右膝C16和右脚踝C17，通过线段将这些第二骨骼点连接成一个整体，形成用户骨架模型。
206.电子设备根据该骨架参考模型的大小对该用户骨架模型进行尺寸调整，将调整后的用户骨架模型叠加在对应播放画面中的骨架参考模型上，并以预设线条参数进行显示。
譬如，请参见图5，可以对用户骨架模型进行放大或缩小，以缩小用户骨架模型和骨架参考模型之间的尺寸差距。当该骨架参考模型以实线且黑色线条显示时，该用户骨架模型可以是红色且虚线显示。
207.电子设备根据该第一骨骼节点计算该骨架参考模型中四肢和躯干间的第一夹角，并根据该第二骨骼节点计算该用户骨架模型中四肢和躯干间的第二夹角，之后在该播放画面上显示该第一夹角和第二夹角。
譬如，在图5中，对于具有m帧视频图像的骨架运动视频，当播放时刻为Ti时，第一夹角αi1～αi4、以及第二夹角βi1～βi4可以如图所示，其中i∈[1，m]。
208.电子设备计算该第一夹角和对应第二夹角之间的差值，并根据该差值确定对应播放时刻该目标用户的模仿相似度，之后根据该模仿相似度确定该目标用户的总表演分数，并向该目标用户提供该总表演分数。
譬如，可以计算αij与βij之间的差值γij，其中j∈[1，4]，之后计算γi1～γi4的平均值，根据平均值的总和确定总表演分数。
根据上述实施例所描述的方法，本实施例将从动作矫正装置的角度进一步进行描述，该动作矫正装置具体可以作为独立的实体来实现，也可以集成在电子设备，比如终端中来实现，该终端可以包括手机、平板电脑等。
请参阅图6，图6具体描述了本申请实施例提供的动作矫正装置，应用于电子设备，该动作矫正装置可以包括：获取模块10、第一生成模块20、拍摄模块30、确定模块40和第二生成模块50，其中：
(1)获取模块10
获取模块10，用于获取待模仿的动作视频。
本实施例中，该动作视频主要是人物肢体动作的视频，其可以是从网上下载的，或者在线播放的。
(2)第一生成模块20
第一生成模块20，用于根据该动作视频生成对应的骨架运动视频，该骨架运动视频中包括骨架参考模型，该骨架参考模型包括第一骨骼节点。
例如，该第一生成模块20具体可以用于：
利用训练好的深度学习模型，对该动作视频中的每帧视频图像进行处理，以识别出第一骨骼节点；
获取该第一骨骼节点在对应帧视频图像中的第一图像坐标；
根据该第一图像坐标生成包含该第一骨骼节点的骨架参考模型；
根据连续帧视频图像对应的骨架参考模型生成骨架运动视频。
本实施例中，该深度学习模型可以是神经网络模型，具体的，可以预先利用已标注好骨骼节点的大量样本图像对该深度学习模型进行训练，该骨骼节点的数量和位置可以人为设定，比如可以包括头、鼻子，肩椎，中部脊椎，骶椎，左肩，左肘，左腕，左髋，左膝，左脚踝，右肩，右肘，右腕，右髋，右膝，右脚踝这17个关键部位点，之后将训练好的模型存储在电子设备中。
该骨架参考模型可以包括由第一骨骼节点、以及相邻第一骨骼节点之间的连接线段构成的四肢和躯干。该骨架运动视频通常和动作视频具有相同的图像帧数量和播放长度，具体的，可以保留原动作视频中的背景部分和音乐部分，采用同一坐标系将动作视频中的人物部分替换成骨架参考模型，形成骨架运动视频，或者，也可以采用指定背景图像和/或指定音乐形成骨架运动视频。
需要指出的是，为便于用户观察每个骨架参考模型所作动作的实际显示效果，该骨架运动视频还可以包括动作视频中的原始人物部分，该原始人物部分和骨架参考模型可以以等比例形式显示在同一视频画面中，也可以以不同比例大小进行显示。
(3)拍摄模块30
拍摄模块30，用于在显示屏中播放该骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像。
本实施例中，在生成骨架运动视频之后，当电子设备进入教学模式，比如点击某个指定虚拟按键以启动教学模式时，可以播放该骨架运动视频，与此同时，调用摄像头对镜头前的目标用户进行连续帧图像拍摄。
(4)确定模块40
确定模块40，用于根据每帧拍摄图像确定对应的用户骨架模型，该用户骨架模型包括第二骨骼节点。
例如，该确定模块40具体可以用于：
识别每帧拍摄图像中的第二骨骼节点；
获取该第二骨骼节点在对应帧拍摄图像中的第二图像坐标；
根据该第二图像坐标确定包含该第二骨骼节点的用户骨架模型。
本实施例中，在图像拍摄过程中，对于每帧拍摄图像，同样可以利用训练好的深度学习模型进行骨骼点识别。该用户骨架模型可以包括由第二骨骼节点、以及相邻第二骨骼节点之间的连接线段构成的四肢和躯干。
(5)第二生成模块50
第二生成模块50，用户在该显示屏的播放画面上生成该用户骨架模型，以使该目标用户根据该用户骨架模型和骨架参考模型对模仿动作进行矫正。
本实施例中，显示屏的最终播放画面至少可以包括用户骨架模型和骨架参考模型，还可以包括动作视频中原始的人物图像。
例如，该第二生成模块50具体可以用于：
根据该骨架参考模型的大小对该用户骨架模型进行尺寸调整；
将调整后的用户骨架模型叠加在对应播放画面中的骨架参考模型上，并以预设线条参数进行显示。
本实施例中，考虑到目标用户与电子设备间相隔的实际距离会影响用户骨架模型的整体大小，为避免用户骨架模型和骨架参考模型的尺寸相差较多，影响对比效果，可以先对用户骨架模型进行尺寸缩放，缩小两者间的显示差距。该预设线条参数可以根据骨架参考模型的线条参数而定，主要用于肉眼明显区分区用户骨架模型和骨架参考模型，其可以人为设置，比如可以是指定线条颜色(譬如红色或绿色)，和/或指定线条类型(比如虚线或实线)。
例如，请参见图7，该动作矫正装置还可以包括显示模块60，用于：
在该显示屏的播放画面上生成该用户骨架模型之后，根据该第一骨骼节点计算该骨架参考模型中四肢和躯干间的第一夹角；
根据该第二骨骼节点计算该用户骨架模型中四肢和躯干间的第二夹角；
在该播放画面上显示该第一夹角和第二夹角。
本实施例中，对于骨架参考模型和用户骨架模型，可以分别计算出上肢(包括左手与右手)与躯干间、以及下肢(包括左腿和右腿)与躯干间的夹角，也即分别计算出四个夹角，通常，不同肢体动作所对应的四个夹角完全不同，或者部分不同。该第一夹角和第二夹角可以在模型的对应位置处显示，也可以按照一定的排列顺序在播放画面的空白区域显示，方便用户查看。
例如，该动作矫正装置还可以包括计算模块70，用于：
在该播放画面上显示该第一夹角和第二夹角之后，计算该第一夹角和对应第二夹角之间的差值；
根据该差值确定对应播放时刻该目标用户的模仿相似度；
根据该模仿相似度确定该目标用户的总表演分数，并向该目标用户提供该总表演分数。
本实施例中，对于每个播放时刻，都可以计算出四个第一夹角和四个第二夹角，之后可以通过第一夹角和第二夹角之间的差值平均值计算模仿相似度，或者，考虑到不同肢体动作对四肢的考察重点不同，可以根据肢体动作为四个夹角之间的差值设置权重，比如双手平举考察的是左右手，则可以为左右手与躯干间的夹角的差值设置比较高的权重值，将左右腿与躯干间的夹角的差值设置比较低的权重值，此时，该计算模块70进一步可以用于：
获取当前播放时刻对应的预设加权算法；
根据该预设加权算法和差值确定该目标用户的模仿相似度。
本实施例中，可以将该差值输入预设加权算法中计算加权差值，根据该加权差值确定模仿相似度，通常，加权差值越大，模仿相似度越小。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上述可知，本实施例提供的动作矫正装置，应用于电子设备，通过获取模块10获取待模仿的动作视频，第一生成模块20根据该动作视频生成对应的骨架运动视频，该骨架运动视频中包括骨架参考模型，该骨架参考模型包括第一骨骼节点，接着，拍摄模块30在显示屏中播放该骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像，之后确定模块40根据每帧拍摄图像确定对应的用户骨架模型，该用户骨架模型包括第二骨骼节点，第二生成模块50在该显示屏的播放画面上生成该用户骨架模型，以使该目标用户根据该用户骨架模型和骨架参考模型对模仿动作进行矫正，从而能便于用户在视频舞蹈学习中较快速的掌握动作精髓，及时发现并矫正自身模仿错误的地方，方法简单，模仿效果好。
另外，本申请实施例还提供一种电子设备，该电子设备可以是智能手机、平板电脑等设备。如图8所示，电子设备400包括处理器401、存储器402。其中，处理器401与存储器402电性连接。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：
获取待模仿的动作视频；
根据该动作视频生成对应的骨架运动视频，该骨架运动视频中包括骨架参考模型，该骨架参考模型包括第一骨骼节点；
在显示屏中播放该骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像；
根据每帧拍摄图像确定对应的用户骨架模型，该用户骨架模型包括第二骨骼节点；
在该显示屏的播放画面上生成该用户骨架模型，以使该目标用户根据该用户骨架模型和骨架参考模型对模仿动作进行矫正。
请参阅图9，图9为本申请实施例提供的电子设备结构示意图。该电子设备500可以包括有一个或一个以上计算机可读存储介质的存储器501、输入单元502、显示单元503、音频电路504、无线保真(WiFi，Wireless Fidelity)模块505、包括有一个或者一个以上处理核心的处理器506、以及电源507等部件。本领域技术人员可以理解，图9中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储器501可用于存储应用程序和数据。存储器501存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器506通过运行存储在存储器501的应用程序，从而执行各种功能应用以及数据处理。存储器501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器501可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器501还可以包括存储器控制器，以提供处理器506和输入单元502对存储器501的访问。
输入单元502可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元502可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器506，并能接收处理器506发来的命令并加以执行。
显示单元503可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元503可包括显示面板。可选的，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器506以确定触摸事件的类型，随后处理器506根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图9中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
音频电路504可通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路504可将接收到的音频数据转换成电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路504接收后转换为音频数据，再将音频数据输出处理器506处理后，经射频电路501以发送给比如另一电子设备，或者将音频数据输出至存储器501以便进一步处理。音频电路504还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。
无线保真(WiFi)属于短距离无线传输技术，电子设备通过无线保真模块505可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图9示出了无线保真模块505，但是可以理解的是，其并不属于电子设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器506是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器501内的应用程序，以及调用存储在存储器501内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器506可包括一个或多个处理核心；优选的，处理器506可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器506中。
电子设备还包括给各个部件供电的电源507(比如电池)。优选的，电源可以通过电源管理系统与处理器506逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源507还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图9中未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种动作矫正方法中的步骤。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种动作矫正方法中的步骤，因此，可以实现本发明实施例所提供的任一种动作矫正方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
综上该，虽然本申请已以优选实施例揭露如上，但上述优选实施例并非用以限制本申请，本领域的普通技术人员，在不脱离本申请的精神和范围内，均可作各种更动与润饰，因此本申请的保护范围以权利要求界定的范围为准。

Claims (13)

1.一种动作矫正方法，应用于电子设备，其特征在于，包括：
获取待模仿的动作视频；
根据所述动作视频生成对应的骨架运动视频，所述骨架运动视频中包括骨架参考模型，所述骨架参考模型包括由第一骨骼节点、以及相邻第一骨骼节点之间的连接线段构成的四肢和躯干；
在显示屏中播放所述骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像；
根据每帧拍摄图像确定对应的用户骨架模型，所述用户骨架模型包括第二骨骼节点；
根据该骨架参考模型的大小对该用户骨架模型进行尺寸调整，
将调整后的用户骨架模型叠加在对应播放画面中的骨架参考模型上，并以预设线条参数进行显示，以使所述目标用户根据所述用户骨架模型和骨架参考模型对模仿动作进行矫正。
2.根据权利要求1所述的动作矫正方法，其特征在于，所述根据所述动作视频生成对应的骨架运动视频，包括：
利用训练好的深度学习模型，对所述动作视频中的每帧视频图像进行处理，以识别出第一骨骼节点；
获取所述第一骨骼节点在对应帧视频图像中的第一图像坐标；
根据所述第一图像坐标生成包含所述第一骨骼节点的骨架参考模型；
根据连续帧视频图像对应的骨架参考模型生成骨架运动视频。
3.根据权利要求1所述的动作矫正方法，其特征在于，所述根据每帧拍摄图像确定对应的用户骨架模型，包括：
识别每帧拍摄图像中的第二骨骼节点；
获取所述第二骨骼节点在对应帧拍摄图像中的第二图像坐标；
根据所述第二图像坐标确定包含所述第二骨骼节点的用户骨架模型。
4.根据权利要求1-3中任意一项所述的动作矫正方法，其特征在于，在所述显示屏的播放画面上生成所述用户骨架模型之后，还包括：
根据所述第一骨骼节点计算所述骨架参考模型中四肢和躯干间的第一夹角；
根据所述第二骨骼节点计算所述用户骨架模型中四肢和躯干间的第二夹角；
在所述播放画面上显示所述第一夹角和第二夹角。
5.根据权利要求4所述的动作矫正方法，其特征在于，在所述播放画面上显示所述第一夹角和第二夹角之后，还包括：
计算所述第一夹角和对应第二夹角之间的差值；
根据所述差值确定对应播放时刻所述目标用户的模仿相似度；
根据所述模仿相似度确定所述目标用户的总表演分数，并向所述目标用户提供所述总表演分数。
6.一种动作矫正装置，应用于电子设备，其特征在于，
获取模块，用于获取待模仿的动作视频；
第一生成模块，用于根据所述动作视频生成对应的骨架运动视频，所述骨架运动视频中包括骨架参考模型，所述骨架参考模型包括由第一骨骼节点、以及相邻第一骨骼节点之间的连接线段构成的四肢和躯干；
拍摄模块，用于在显示屏中播放所述骨架运动视频，并在播放过程中对目标用户进行图像拍摄，得到连续帧拍摄图像；
确定模块，用于根据每帧拍摄图像确定对应的用户骨架模型，所述用户骨架模型包括第二骨骼节点；
第二生成模块，用于根据该骨架参考模型的大小对该用户骨架模型进行尺寸调整，以及将调整后的用户骨架模型叠加在对应播放画面中的骨架参考模型上，并以预设线条参数进行显示，以使所述目标用户根据所述用户骨架模型和骨架参考模型对模仿动作进行矫正。
7.根据权利要求6所述的动作矫正装置，其特征在于，所述第一生成模块具体用于：
利用训练好的深度学习模型，对所述动作视频中的每帧视频图像进行处理，以识别出第一骨骼节点；
获取所述第一骨骼节点在对应帧视频图像中的第一图像坐标；
根据所述第一图像坐标生成包含所述第一骨骼节点的骨架参考模型；
根据连续帧视频图像对应的骨架参考模型生成骨架运动视频。
8.根据权利要求6所述的动作矫正装置，其特征在于，所述确定模块具体用于：
识别每帧拍摄图像中的第二骨骼节点；
获取所述第二骨骼节点在对应帧拍摄图像中的第二图像坐标；
根据所述第二图像坐标确定包含所述第二骨骼节点的用户骨架模型。
9.根据权利要求6所述的动作矫正装置，其特征在于，所述第二生成模块具体用于：
根据所述骨架参考模型的大小对所述用户骨架模型进行尺寸调整；
将调整后的用户骨架模型叠加在对应播放画面中的骨架参考模型上，并以预设线条参数进行显示。
10.根据权利要求6-9中任意一项所述的动作矫正装置，其特征在于，还包括显示模块，用于：
在所述显示屏的播放画面上生成所述用户骨架模型之后，根据所述第一骨骼节点计算所述骨架参考模型中四肢和躯干间的第一夹角；
根据所述第二骨骼节点计算所述用户骨架模型中四肢和躯干间的第二夹角；
在所述播放画面上显示所述第一夹角和第二夹角。
11.根据权利要求10所述的动作矫正装置，其特征在于，还包括计算模块，用于：
在所述播放画面上显示所述第一夹角和第二夹角之后，计算所述第一夹角和对应第二夹角之间的差值；
根据所述差值确定对应播放时刻所述目标用户的模仿相似度；
根据所述模仿相似度确定所述目标用户的总表演分数，并向所述目标用户提供所述总表演分数。
12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至5任一项所述的动作矫正方法。
13.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行权利要求1至5任一项所述的动作矫正方法中的步骤。
CN201811126713.7A 2018-09-26 2018-09-26 动作矫正方法、装置、存储介质及电子设备 Active CN109432753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811126713.7A CN109432753B (zh) 2018-09-26 2018-09-26 动作矫正方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811126713.7A CN109432753B (zh) 2018-09-26 2018-09-26 动作矫正方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN109432753A CN109432753A (zh) 2019-03-08
CN109432753B true CN109432753B (zh) 2020-12-29

Family

ID=65544390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811126713.7A Active CN109432753B (zh) 2018-09-26 2018-09-26 动作矫正方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN109432753B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887017B (zh) * 2019-03-25 2021-09-03 北京奇艺世纪科技有限公司 一种相似度计算方法及装置
CN110298309A (zh) * 2019-06-28 2019-10-01 腾讯科技（深圳）有限公司 基于图像的动作特征处理方法、装置、终端及存储介质
CN110418205A (zh) * 2019-07-04 2019-11-05 安徽华米信息科技有限公司 健身教学方法、装置、设备、系统及存储介质
CN116074564A (zh) * 2019-08-18 2023-05-05 聚好看科技股份有限公司 一种界面显示方法及显示设备
CN110531854A (zh) * 2019-08-27 2019-12-03 深圳创维－Rgb电子有限公司 一种动作模仿显示方法、动作模仿显示系统及存储介质
CN112449088A (zh) * 2019-08-30 2021-03-05 华为技术有限公司 摄像头控制的方法、装置和终端设备
CN110781820B (zh) * 2019-10-25 2022-08-05 网易（杭州）网络有限公司 游戏角色的动作生成方法、装置、计算机设备及存储介质
CN113033242A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 动作识别方法及系统
CN111347438A (zh) * 2020-02-24 2020-06-30 五邑大学 一种学习式机器人及基于其的学习矫正方法
CN111641861B (zh) * 2020-05-27 2022-08-02 维沃移动通信有限公司 视频播放方法及电子设备
CN111627094B (zh) * 2020-06-04 2023-08-08 珠海西山居数字科技有限公司 一种骨骼动画生成的方法和装置
CN111760261B (zh) * 2020-07-23 2021-11-09 重庆邮电大学 一种基于虚拟现实技术的体育优化训练系统及方法
CN112348942B (zh) * 2020-09-18 2024-03-19 当趣网络科技(杭州)有限公司 一种健身交互方法和系统
CN112188267B (zh) * 2020-09-24 2022-09-09 腾讯科技（深圳）有限公司 视频播放方法、装置和设备及计算机存储介质
CN112528768A (zh) * 2020-11-26 2021-03-19 腾讯科技（深圳）有限公司 视频中的动作处理方法、装置、电子设备及存储介质
CN112717364A (zh) * 2020-12-08 2021-04-30 怀化学院 一种舞蹈动作指导及纠正系统
CN113289342B (zh) * 2021-05-12 2023-03-10 广州博冠信息科技有限公司 动作数据处理方法、装置、存储介质与电子设备
CN113298013A (zh) * 2021-06-08 2021-08-24 Tcl通讯（宁波）有限公司 运动动作矫正方法、装置、存储介质及电子设备
CN113657278A (zh) * 2021-08-18 2021-11-16 成都信息工程大学 一种运动姿态识别方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN104598867B (zh) * 2013-10-30 2017-12-01 中国艺术科技研究所 一种人体动作自动评估方法及舞蹈评分系统
KR101936532B1 (ko) * 2014-10-10 2019-04-03 후지쯔 가부시끼가이샤 기억 매체, 스킬 판정 방법 및 스킬 판정 장치
CN107038455B (zh) * 2017-03-22 2019-06-28 腾讯科技（深圳）有限公司 一种图像处理方法及装置
CN107943291B (zh) * 2017-11-23 2021-06-08 卓米私人有限公司 人体动作的识别方法、装置和电子设备
CN107832736B (zh) * 2017-11-24 2020-10-27 南京华捷艾米软件科技有限公司 实时人体动作的识别方法和实时人体动作的识别装置
CN107818318B (zh) * 2017-11-27 2020-05-22 华南理工大学 一种人形机器人模仿相似度评价方法
CN108229332B (zh) * 2017-12-08 2020-02-14 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
CN107993720A (zh) * 2017-12-19 2018-05-04 中国科学院自动化研究所 基于深度相机和虚拟现实技术的康复功能评定装置及方法

Also Published As

Publication number Publication date
CN109432753A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109432753B (zh) 动作矫正方法、装置、存储介质及电子设备
CN111460875B (zh) 图像处理方法及装置、图像设备及存储介质
US10438415B2 (en) Systems and methods for mixed reality medical training
US20160048993A1 (en) Image processing device, image processing method, and program
CN111091732B (zh) 一种基于ar技术的心肺复苏指导器及指导方法
JP6124308B2 (ja) 動作評価装置及びそのプログラム
CN105374251A (zh) 一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统
CN110947181A (zh) 游戏画面显示方法、装置、存储介质及电子设备
CN109426343B (zh) 基于虚拟现实的协作训练方法及系统
CN110796005A (zh) 在线教学监控的方法、装置、电子设备及介质
KR20220028654A (ko) 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법
CN113426117B (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN114022512A (zh) 运动辅助方法、装置及介质
US20190102951A1 (en) Sensor-based object tracking and monitoring
CN109407826A (zh) 球类运动模拟方法、装置、存储介质及电子设备
CN113051973A (zh) 用于姿势矫正的方法及装置、电子设备
CN116153510B (zh) 矫正镜控制方法、装置、设备、存储介质及智能矫正镜
TWI724858B (zh) 基於手勢動作的混合實境評量系統
US20220406206A1 (en) Recording medium recorded with cardiopulmonary resuscitation training program, cardiopulmonary resuscitation training method, apparatus, and system
Wei et al. Exploration on Intelligent Virtual Reality Technology and Algorithms for VR Platforms under Intelligent Control and Computer Vision
CN114255196A (zh) 一种展示方法及其相关设备
EP4356356A1 (en) Automated capture of neutral facial expression
CN117954047A (zh) 一种康复训练方案确定方法、装置、计算机设备及介质
WO2023244579A1 (en) Virtual remote tele-physical examination systems
JP2023055313A (ja) 準備体操評価装置、準備体操評価方法、及び準備体操評価プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant