CN110147468A - 基于人工智能的视频教学方法及相关设备 - Google Patents
基于人工智能的视频教学方法及相关设备 Download PDFInfo
- Publication number
- CN110147468A CN110147468A CN201910298198.9A CN201910298198A CN110147468A CN 110147468 A CN110147468 A CN 110147468A CN 201910298198 A CN201910298198 A CN 201910298198A CN 110147468 A CN110147468 A CN 110147468A
- Authority
- CN
- China
- Prior art keywords
- artis
- type
- action
- real
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Abstract
本申请涉及人工智能领域，本申请公开了一种基于人工智能的视频教学方法及相关设备，所述方法包括：创建动作类型ID及关节点类型ID，将所述动作类型ID与所述关节点类型ID相关联；生成关节点标准动作轨迹并将所述关节点标准动作轨迹存储在数据库中；获取实时关节点动作轨迹及与所述实时关节点动作轨迹对应的动作类型ID；根据所述动作类型ID查询所述数据库中的关节点标准动作轨迹，并将所述实时关节点动作轨迹与关节点标准动作轨迹进行比对，根据比对结果发送提示信息。本申请通过视频将标准动作录入，并和录入的学员实时练习动作进行比对，给出提示，提高学员动作准确性，提高练习效率。
Description
技术领域
本申请涉及人工智能领域，特别涉及一种基于人工智能的视频教学方法及相关设备。
背景技术
视频教学，指教师将要传授给学生的知识、技能等内容制作成视频形式，进行现代化多媒体教学；或者借助互联网计算机技术将视频内容以串流媒体的形式存于因特网之上，可被电脑接收与播放进行教学。这种教学方式既帮助老师能够更加生动，形象的展现出在课堂上无法实际操作的内容，同时又真实的记录了教学内容，方便学习者能够随时随地反复学习。
但是针对羽毛球、篮球或者乒乓球等运动的教学软件，目前市面上还没有作为教练的APP软件。都是通过视频等方式进行教学，这种教学方式只能由学员自己去根据视频学习，缺少教练的动作矫正，学习效果不好。
发明内容
本申请的目的在于针对现有技术的不足，提供一种基于人工智能的视频教学方法及相关设备，有效的提高学员的动作准确性，提高练习效率。
为达到上述目的，本申请的技术方案提供一种基于人工智能的视频教学方法及相关设备。
本申请公开了一种基于人工智能的视频教学方法，包括以下步骤：
创建动作类型ID及关节点类型ID，将所述动作类型ID与所述关节点类型ID相关联；
生成关节点标准动作轨迹并将所述关节点标准动作轨迹存储在数据库中；
获取实时关节点动作轨迹及与所述实时关节点动作轨迹对应的动作类型ID；
根据所述与实时关节点动作轨迹对应的动作类型ID获取关节点类型ID，并根据所述动作类型ID及关节点类型ID查询所述数据库中的关节点标准动作轨迹，并将所述实时关节点动作轨迹与所述在数据库中查询获得的关节点标准动作轨迹进行比对，根据比对结果发送提示信息。
较佳地，所述生成关节点标准动作轨迹并将所述关节点标准动作轨迹存储在数据库中，包括：
获取标准动作视频，将所述标准动作视频与动作类型ID相关联，对所述标准动作视频中的每一帧图像进行截取，并将所述截取的每一帧图像根据时间顺序进行排序；
对所述截取的每一帧图像根据与所属动作类型ID相关联的关节点类型ID进行检测，获取每一帧图像中的关节点动作图像；
为所述关节点动作图像添加关节点类型ID；
将所属同一关节点类型ID的关节点动作图像根据所述截取的每一帧图像的顺序进行顺序编号，生成关节点标准动作轨迹并存储在数据库中。
较佳地，所述获取实时关节点动作轨迹及与所述实时关节点动作轨迹对应的动作类型ID，包括：
获取实时动作视频及与所述实时动作视频对应的动作类型ID，对实时动作视频中的每一帧图像进行截取，并将所述截取的每一帧图像根据时间顺序进行排序；
对所述截取的每一帧图像根据与所述动作类型ID相关联的关节点类型ID进行检测，获取截取的每一帧图像中的关节点动作图像；
为所述关节点动作图像添加关节点类型ID，并将所属同一关节点类型ID的关节点动作图像根据所述截取的每一帧图像的顺序进行顺序编号，生成实时关节点动作轨迹。
较佳地，所述对所述截取的每一帧图像根据与所述动作类型ID相关联的关节点类型ID进行检测，获取截取的每一帧图像中的关节点动作图像，包括：
根据与所述实时动作视频对应的动作类型ID获取与所述动作类型ID相关联的关节点类型ID；
对所述截取的每一帧图像根据所述关节点类型ID进行检测，获取与所述关节点类型ID对应的关节点区域；
在所述截取的每一帧图像上对所述关节点区域进行图像截取，生成关节点动作图像。
较佳地，所述根据所述与实时关节点动作轨迹对应的动作类型ID获取关节点类型ID，并根据所述动作类型ID及关节点类型ID查询所述数据库中的关节点标准动作轨迹，并将所述实时关节点动作轨迹与所述在数据库中查询获得的关节点标准动作轨迹进行比对，根据比对结果发送提示信息，包括：
根据所述与实时关节点动作轨迹对应的动作类型ID获取与所述动作类型ID相关联的关节点类型ID；
根据所述动作类型ID及关节点类型ID在数据库中查询关节点标准动作轨迹中的关节点动作图像；
根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，并根据比对结果发送提示信息。
较佳地，所述根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，并根据比对结果发送提示信息，包括：
预设任一动作类型ID的标准动作满分值及实时动作总分值，并根据所述标准动作满分值给与所述标准动作满分值所属的动作类型ID对应的每个关节点动作图像平均分配分值；
根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，当实时关节点动作轨迹中的关节点动作图像与关节点标准动作轨迹中的关节点动作图像匹配时，对与所述获取的关节点类型ID对应的实时动作总分值进行累计；
当所述逐一比对完成后，发送所述实时动作总分值信息。
较佳地，所述根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，并根据比对结果发送提示信息，包括：
根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，当实时关节点动作轨迹中的关节点动作图像与关节点标准动作轨迹中的关节点动作图像不匹配时，记录不匹配信息；
当所述逐一比对完成后，发送不匹配信息。
本申请还公开了一种基于人工智能的视频教学装置，所述装置包括：
动作类型创建模块：设置为创建动作类型ID及所述关节点类型ID，将所述动作类型ID与关节点类型ID相关联；
标准动作生成模块：设置为生成关节点标准动作轨迹并将所述关节点标准动作轨迹存储在数据库中；
实时动作获取模块：设置为获取实时关节点动作轨迹及与所述实时关节点动作轨迹对应的动作类型ID；
动作比对模块：根据所述与实时关节点动作轨迹对应的动作类型ID获取关节点类型ID，并根据所述动作类型ID及关节点类型ID查询所述数据库中的关节点标准动作轨迹，并将所述实时关节点动作轨迹与所述在数据库中查询获得的关节点标准动作轨迹进行比对，根据比对结果发送提示信息。
本申请还公开了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述所述视频教学方法的步骤。
本申请还公开了一种存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述视频教学方法的步骤。
本申请的有益效果是：本申请通过视频将标准动作录入，并和录入的学员实时练习动作进行比对，给出提示，提高学员动作准确性，提高练习效率。
附图说明
图1为本申请实施例的一种基于人工智能的视频教学方法的流程示意图；
图2为本申请实施例的一种基于人工智能的视频教学方法的流程示意图；
图3为本申请实施例的一种基于人工智能的视频教学方法的流程示意图；
图4为本申请实施例的一种基于人工智能的视频教学方法的流程示意图；
图5为本申请实施例的一种基于人工智能的视频教学方法的流程示意图；
图6为本申请实施例的一种基于人工智能的视频教学方法的流程示意图；
图7为本申请实施例的一种基于人工智能的视频教学方法的流程示意图；
图8为本申请实施例的一种基于人工智能的视频教学装置结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本申请实施例的一种基于人工智能的视频教学方法流程如图1所示，本实施例包括以下步骤：
步骤s101，创建动作类型ID及关节点类型ID，将所述动作类型ID与所述关节点类型ID相关联；
具体的，可在数据库中预先创建动作类型ID及关节点类型ID，所述动作类型ID用于区分不同的动作，比如羽毛球动作中有挥拍动作、移动动作；所述关节点类型ID用于区分不同的关节动作，比如羽毛球挥拍动作中有肩关节动作、肘关节动作及腕关节动作；其中，关节点动作与动作类型是相关联的，如羽毛球挥拍动作中有肩关节动作、肘关节动作及腕关节动作，而羽毛球移动动作中有膝关节动作和踝关节动作。
步骤s102，生成关节点标准动作轨迹并将所述关节点标准动作轨迹存储在数据库中；
具体的，可通过摄像头或者录像获取标准动作视频，当获取到所述标准动作视频后，可将所述标准动作视频与动作类型ID进行关联并通过图像截取工具对所述标准动作视频进行图像截取，获取所述标准动作视频中的每一帧图像，当获取到每一帧图像后，可根据所述每一帧图像的时间顺序给所述截取的图像进行排序。
具体的，当将所述标准动作视频与动作类型ID进行关联后，可根据动作类型ID与关节点类型ID的关联性获取关节点类型ID，然后根据所述关节点类型ID通过人工智能图像检测模型对标准动作视频中的每一帧图像进行检测。
具体的，当经过人工智能图像检测模型检测以后，可以获取标准动作视频中的每一帧图像的关节点区域，将所述关节点区域从所述标准动作视频中的每一帧图像中进行截取并进行存储，生成关节点动作图像。
具体的，当生成关节点动作图像以后，可为所述关节点动作图像添加关节点类型ID。
具体的，对于任意一个动作类型，当对某个动作类型的所有关节点动作图像添加关节点类型ID后，还需要对关节点动作图像进行编号，以便进行识别和查询，由于标准动作视频中的每一帧图像是按时间顺序进行排序的，而标准动作视频中的每一帧图像与关节点动作图像是对应的，所以关节点动作图像可按标准动作视频中的每一帧图像的时间顺序进行编号，所述编号对于属于同一关节点类型ID的关节点动作图像应单独编号，所述编号的标准动作关节点动作图像即为关节点标准动作轨迹，并可将所述关节点标准动作轨迹存储在数据库中。
步骤s103，获取实时关节点动作轨迹及与所述实时关节点动作轨迹对应的动作类型ID；
具体的，可通过摄像头或者录像获取实时动作视频，当获取到所述实时动作视频后，可通过图像截取工具对所述实时动作视频进行图像截取，获取所述实时动作视频中的每一帧图像，当获取到每一帧图像后，可根据所述每一帧图像的时间顺序给所述截取的图像进行排序。
具体的，所述获取与所述实时动作视频对应的动作类型ID可预先设定，如预先设定本次动作类型ID为挥拍动作。
具体的，当获取到动作类型ID后，可根据动作类型ID与关节点类型ID的关联性获取关节点类型ID，然后根据所述关节点类型ID通过人工智能图像检测模型对实时动作视频中的每一帧图像进行检测。
具体的，当经过人工智能图像检测模型检测以后，可以获取实时动作视频中的每一帧图像的关节点区域，如肩关节区域、肘关节区域及腕关节区域，将所述关节点区域从所述实时动作视频中的每一帧图像中进行截取，生成关节点动作图像。
具体的，当生成关节点动作图像以后，可为所述关节点动作图像添加关节点类型ID。
具体的，对于任意一个动作类型，当对某个动作类型的所有关节点动作图像添加关节点类型ID后，还需要对关节点动作图像进行编号，以便进行识别和查询，由于实时动作视频中的每一帧图像是按时间顺序进行排序的，而实时动作视频中的每一帧图像与关节点动作图像是对应的，所以关节点动作图像可按标准动作视频中的每一帧图像的时间顺序进行编号，所述编号对于属于同一关节点类型ID的关节点动作图像应单独编号；所述编号的实时动作关节点动作图像即为实时关节点动作轨迹。
步骤s104，根据所述与实时关节点动作轨迹对应的动作类型ID获取关节点类型ID，并根据所述动作类型ID及关节点类型ID查询所述数据库中的关节点标准动作轨迹，并将所述实时关节点动作轨迹与所述在数据库中查询获得的关节点标准动作轨迹进行比对，根据比对结果发送提示信息。
具体的，当获取实时关节点动作轨迹对应的动作类型ID后，可根据动作类型ID与关节点类型ID的关联性获取与所述实时关节点动作轨迹对应的动作类型ID相关联的关节点类型ID。
具体的，当获取实时关节点动作轨迹对应的动作类型ID后，可根据所述实时关节点动作轨迹对应的动作类型ID在所述数据库中查询与所述实时关节点动作轨迹对应的动作类型ID对应的关节点标准动作轨迹，如数据库中有挥拍动作关节点标准动作轨迹及移动动作关节点标准动作轨迹，当收到动作类型ID＝挥拍动作的查询时，可在数据库中进行和挥拍动作对应的关节点标准动作轨迹的查询。
具体的，当在数据库中查询到与所述实时关节点动作轨迹对应的动作类型ID对应的关节点标准动作轨迹后，可以通过人工智能图像比对模型将实时关节点动作轨迹中的关节点动作图像逐一与关节点标准动作轨迹中的关节点动作图像进行比对，所述人工智能图像比对模型通过提取两副图像的特征进行比对，确定是否两幅图像相同，所述逐一比对为将属于同一关节点类型ID的相同编号的实时动作轨迹中的关节点动作图像与标准动作轨迹中的关节点动作图像进行比对。
当实时动作轨迹中的所有关节点动作图像与标准动作轨迹中的关节点动作图像比对完成后，获取比对结果，并可将所述比对结果发送给用户。
本实施例中，通过视频将标准动作录入，并和录入的学员实时练习动作进行比对，给出提示，提高学员动作准确性，提高练习效率。
图2为本申请实施例的一种基于人工智能的视频教学方法流程示意图，如图所示，所述步骤s102，生成关节点标准动作轨迹并将所述关节点标准动作轨迹存储在数据库中，包括：
步骤s201，获取标准动作视频，将所述标准动作视频与动作类型ID相关联，对所述标准动作视频中的每一帧图像进行截取，并将所述截取的每一帧图像根据时间顺序进行排序；
具体的，所述获取标准动作视频可通过摄像头或者录像获取标准动作视频，当获取到所述标准动作视频后，可将所述标准动作视频与动作类型ID进行关联，如当前获取的是挥拍动作视频，可为所述标准动作视频添加挥拍动作类型ID，并通过图像截取工具对所述标准动作视频进行图像截取，获取所述标准动作视频中的每一帧图像，当获取到每一帧图像后，可根据所述每一帧图像的时间顺序给所述截取的图像进行排序。
具体的，由于获取的标准动作视频会有多个，因此可根据动作类型ID的不同分别对不同标准动作视频进行图像的排序，排序后的图像可看成多个队列，如挥拍动作有一个有序排列的图像队列，移动动作有一个有序排列的图像队列，彼此并不相关。
步骤s202，对所述截取的每一帧图像根据与所属动作类型ID相关联的关节点类型ID进行检测，获取每一帧图像中的关节点动作图像；
具体的，当获取到有序排列的图像后，可对所述图像进行检测，所述图像的检测可通过人工智能图像检测模型，所述人工智能图像检测模型可选取经过关节点数据训练的模型。
具体的，当将所述标准动作视频与动作类型ID进行关联后，可根据动作类型ID与关节点类型ID的关联性获取关节点类型ID，然后根据所述关节点类型ID通过人工智能图像检测模型对标准动作视频中的每一帧图像进行检测，如输入人工智能检测模型的是挥拍动作的图像，而挥拍动作对应的是肩关节动作、肘关节动作及腕关节动作，那么会对标准动作视频中的每一帧图像的肩关节动作、肘关节动作及腕关节动作进行检测。
具体的，当经过人工智能图像检测模型检测以后，可以获取标准动作视频中的每一帧图像的关节点区域，如肩关节区域、肘关节区域及腕关节区域，将所述关节点区域从所述标准动作视频中的每一帧图像中进行截取并进行存储，生成关节点动作图像。
步骤s203，为所述关节点动作图像添加关节点类型ID；
具体的，当生成关节点动作图像以后，可为所述关节点动作图像添加关节点类型ID，如标准动作视频中的一帧图像中分别有肩关节动作、肘关节动作及腕关节动作，那么分别为肩关节动作图像、肘关节动作图像及腕关节动作图像添加肩关节动作ID、肘关节动作ID及腕关节动作ID。
步骤s204，将所属同一关节点类型ID的关节点动作图像根据所述截取的每一帧图像的顺序进行顺序编号，生成关节点标准动作轨迹并存储在数据库中。
具体的，对于任意一个动作类型，当对某个动作类型的所有关节点动作图像添加关节点类型ID后，还需要对关节点动作图像进行编号，以便进行识别和查询，由于标准动作视频中的每一帧图像是按时间顺序进行排序的，而标准动作视频中的每一帧图像与关节点动作图像是对应的，所以关节点动作图像可按标准动作视频中的每一帧图像的时间顺序进行编号，所述编号对于属于同一关节点类型ID的关节点动作图像应单独编号，如挥拍动作中有3个肩关节动作图像、3个肘关节动作图像及3个腕关节动作图像，那么进行编号之后就是1号肩关节动作图像、2号肩关节动作图像及3号肩关节动作图像，1号肘关节动作图像、2号肘关节动作图像及3号肘关节动作图像，1号腕关节动作图像、2号腕关节动作图像及3号腕关节动作图像；所述编号的标准动作关节点动作图像即为关节点标准动作轨迹，并可将所述关节点标准动作轨迹存储在数据库中。
本实施例中，通过对标准动作视频截取并进行编号，可以获取标准动作轨迹，为动作的校正提供依据。
图3为本申请实施例的一种基于人工智能的视频教学方法流程示意图，如图所示，所述步骤s103，获取实时关节点动作轨迹及与所述实时关节点动作轨迹对应的动作类型ID，包括：
步骤s301，获取实时动作视频及与所述实时动作视频对应的动作类型ID，对实时动作视频中的每一帧图像进行截取，并将所述截取的每一帧图像根据时间顺序进行排序；
具体的，所述获取实时动作视频可通过摄像头或者录像获取实时动作视频，当获取到所述实时动作视频后，可通过图像截取工具对所述实时动作视频进行图像截取，获取所述实时动作视频中的每一帧图像，当获取到每一帧图像后，可根据所述每一帧图像的时间顺序给所述截取的图像进行排序。
具体的，所述获取与所述实时动作视频对应的动作类型ID可预先设定，如预先设定本次动作类型ID为挥拍动作。
步骤s302，对所述截取的每一帧图像根据与所述动作类型ID相关联的关节点类型ID进行检测，获取截取的每一帧图像中的关节点动作图像；
具体的，当获取到动作类型ID后，可根据动作类型ID与关节点类型ID的关联性获取关节点类型ID，然后根据所述关节点类型ID通过人工智能图像检测模型对实时动作视频中的每一帧图像进行检测。
具体的，当经过人工智能图像检测模型检测以后，可以获取实时动作视频中的每一帧图像的关节点区域，如肩关节区域、肘关节区域及腕关节区域，将所述关节点区域从所述实时动作视频中的每一帧图像中进行截取，生成关节点动作图像。
步骤s303，为所述关节点动作图像添加关节点类型ID，并将所属同一关节点类型ID的关节点动作图像根据所述截取的每一帧图像的顺序进行顺序编号，生成实时关节点动作轨迹。
具体的，当生成关节点动作图像以后，可为所述关节点动作图像添加关节点类型ID，如实时动作视频中的一帧图像中分别有肩关节动作、肘关节动作及腕关节动作，那么分别为肩关节动作图像、肘关节动作图像及腕关节动作图像添加肩关节动作ID、肘关节动作ID及腕关节动作ID。
具体的，对于任意一个动作类型，当对某个动作类型的所有关节点动作图像添加关节点类型ID后，还需要对关节点动作图像进行编号，以便进行识别和查询，由于实时动作视频中的每一帧图像是按时间顺序进行排序的，而实时动作视频中的每一帧图像与关节点动作图像是对应的，所以关节点动作图像可按标准动作视频中的每一帧图像的时间顺序进行编号，所述编号对于属于同一关节点类型ID的关节点动作图像应单独编号；所述编号的实时动作关节点动作图像即为实时关节点动作轨迹。
本实施例中，通过对实时动作视频截取并进行编号，可以获取实时关节点动作轨迹，对实时动作进行校正。
图4为本申请实施例的一种基于人工智能的视频教学方法流程示意图，如图所示，所述步骤s302，对所述截取的每一帧图像根据与所述动作类型ID相关联的关节点类型ID进行检测，获取截取的每一帧图像中的关节点动作图像，包括：
步骤s401，根据与所述实时动作视频对应的动作类型ID获取与所述动作类型ID相关联的关节点类型ID；
具体的，当获取到动作类型ID后，可根据动作类型ID与关节点类型ID的关联性获取关节点类型ID。
步骤s402，对所述截取的每一帧图像根据所述关节点类型ID进行检测，获取与所述关节点类型ID对应的关节点区域；
具体的，可根据所述关节点类型ID通过人工智能图像检测模型对截取的实时动作视频中的每一帧图像进行检测。
具体的，当经过人工智能图像检测模型检测以后，可以获取截取的实时动作视频中的每一帧图像的关节点区域，如肩关节区域、肘关节区域及腕关节区域。
步骤s403，在所述截取的每一帧图像上对所述关节点区域进行图像截取，生成关节点动作图像。
具体的，可通过图像截取工具将所述关节点区域从所述实时动作视频中的每一帧图像中进行截取，生成关节点动作图像。
本实施例中，通过人工智能图像的检测获取关节点区域，并将关节点区域截取获取关节点动作图像，可以有效获取动作轨迹。
图5为本申请实施例的一种基于人工智能的视频教学方法流程示意图，如图所示，所述步骤s104，根据所述与实时关节点动作轨迹对应的动作类型ID获取关节点类型ID，并根据所述动作类型ID及关节点类型ID查询所述数据库中的关节点标准动作轨迹，并将所述实时关节点动作轨迹与所述在数据库中查询获得的关节点标准动作轨迹进行比对，根据比对结果发送提示信息，包括：
步骤s501，根据所述与实时关节点动作轨迹对应的动作类型ID获取与所述动作类型ID相关联的关节点类型ID；
具体的，当获取与实时关节点动作轨迹对应的动作类型ID后，可根据动作类型ID与关节点类型ID的关联性获取与所述实时关节点动作轨迹对应的动作类型ID相关联的关节点类型ID。
步骤s502，根据所述动作类型ID及关节点类型ID在数据库中查询关节点标准动作轨迹中的关节点动作图像；
具体的，当获取实时关节点动作轨迹对应的动作类型ID及关节点类型ID后，可根据所述实时关节点动作轨迹对应的动作类型ID及关节点类型ID在所述数据库中查询关节点标准动作轨迹的关节点动作图像，如数据库中有挥拍动作关节点标准动作轨迹及移动动作关节点标准动作轨迹的关节点动作图像，当收到动作类型ID＝挥拍动作、关节点类型ID＝腕关节动作的查询时，可在数据库中进行和挥拍动作及腕关节动作对应的关节点动作图像的查询。
步骤s503，根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，并根据比对结果发送提示信息。
具体的，当在数据库中查询到关节点标准动作轨迹的关节点动作图像后，可以通过人工智能图像比对模型将实时关节点动作轨迹中的关节点动作图像逐一与关节点标准动作轨迹中的关节点动作图像进行比对，所述人工智能图像比对模型通过提取两副图像的特征进行比对，确定是否两幅图像相同，所述逐一比对为将属于同一关节点类型ID的相同编号的实时动作轨迹中的关节点动作图像与标准动作轨迹中的关节点动作图像进行比对。
具体的，当实时动作轨迹中的关节点动作图像与标准动作轨迹中的关节点动作图像进行比对时，如果两幅关节点动作图像不匹配，可以将所述不匹配的关节点动作图像对应的动作类型ID、关节点类型ID及编号记录下来；对于一个动作类型，当实时动作中的所有关节点动作图像与标准动作中的关节点动作图像比对完成后，可将所述记录的不匹配的关节点动作图像对应的动作类型ID、关节点类型ID及编号信息发送给用户。
具体的，当实时动作轨迹中的关节点动作图像与标准动作轨迹中的关节点动作图像进行比对前，还可对任意一个动作类型ID的关节点标准动作轨迹预设满分值，为每个动作类型ID设置实时关节点动作轨迹总分值并设置为0，并给与所属同一动作类型ID的关节点标准动作轨迹中的每个关节点动作图像平均分配分值，即所述满分值对应的关节点标准动作轨迹与所述平均分值对应的关节点动作图像属于同一动作类型ID；如挥拍动作满分值设为90分，其中，包含10个肩关节动作图像、10个肘关节动作图像及10个腕关节动作图像，则每个关节动作图像可设为3分；如移动动作满分值设为100分，其中，包含10个膝关节动作图像和10个踝关节动作图像，则每个关节图像可设为5分。当实时动作轨迹中的关节点动作图像与标准动作轨迹中的关节点动作图像进行比对时，如果匹配，可以对实时关节点动作轨迹总分值进行累计，所述实时关节点动作轨迹总分值的累计与动作类型ID对应，即所述实时关节点动作轨迹总分值对应的动作类型ID与比对的关节点动作图像对应的动作类型ID相一致。如比对的是挥拍动作，当挥拍动作中的关节点动作图像匹配时，则对挥拍动作实时关节点动作轨迹总分值进行累计，当移动动作中的关节点动作图像匹配时，挥拍动作实时关节点动作轨迹总分值不累计。
本实施例中，通过动作类型ID及关节点类型ID对动作轨迹进行查询后比对，可以有效的对动作进行校正，提高教学效率。
图6为本申请实施例的一种基于人工智能的视频教学方法流程示意图，如图所示，所述步骤s503，根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，并根据比对结果发送提示信息，包括：
步骤s601，预设任一动作类型ID的标准动作满分值及实时动作总分值，并根据所述标准动作满分值给与所述标准动作满分值所属的动作类型ID对应的每个关节点动作图像平均分配分值；
具体的，当实时动作轨迹中的关节点动作图像与标准动作轨迹中的关节点动作图像进行比对前，还可对任意一个动作类型ID设置标准动作满分值及实时动作总分值，如将标准动作满分值设为100分，实时动作总分值设为0分，并给与所属同一动作类型ID的关节点标准动作轨迹中的每个关节点动作图像平均分配分值，即所述满分值对应的关节点标准动作轨迹与所述平均分值对应的关节点动作图像属于同一动作类型ID；如挥拍动作满分值设为90分，其中，包含10个肩关节动作图像、10个肘关节动作图像及10个腕关节动作图像，则每个关节动作图像可设为3分；如移动动作满分值设为100分，其中，包含10个膝关节动作图像和10个踝关节动作图像，则每个关节图像可设为5分。
步骤s602，根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，当实时关节点动作轨迹中的关节点动作图像与关节点标准动作轨迹中的关节点动作图像匹配时，对与所述获取的关节点类型ID对应的实时动作总分值进行累计；
具体的，当实时动作轨迹中的关节点动作图像与标准动作轨迹中的关节点动作图像进行比对时，如果匹配，可以对实时动作总分值进行累计，所述实时动作总分值的累计与动作类型ID对应，即所述实时动作总分值对应的动作类型ID与比对的关节点动作图像对应的动作类型ID相一致。如比对的是挥拍动作，当挥拍动作中的关节点动作图像匹配时，则对挥拍动作实时动作总分值进行累计，当移动动作中的关节点动作图像匹配时，挥拍动作实时动作总分值不累计。
步骤s603，当所述逐一比对完成后，发送所述实时动作总分值信息。
具体的，对于一个动作类型，当实时动作轨迹中的所有关节点动作图像与标准动作轨迹中的关节点动作图像比对完成后，可将与所述动作类型ID对应的实时动作总分值信息发送给用户。
本实施例中，通过在动作比对过程中进行打分，可让练习者清楚了解学习进展，提高练习效率。
图7为本申请实施例的一种基于人工智能的视频教学方法流程示意图，如图所示，所述步骤s503，根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，并根据比对结果发送提示信息，包括：
步骤s701，当根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，当实时关节点动作轨迹中的关节点动作图像与关节点标准动作轨迹中的关节点动作图像不匹配时，记录不匹配信息；
具体的，当实时动作轨迹中的关节点动作图像与标准动作轨迹中的关节点动作图像进行比对时，如果两幅关节点动作图像不匹配，可以将所述不匹配的关节点动作图像对应的动作类型ID、关节点类型ID及编号记录下来。
步骤s702，当所述逐一比对完成后，发送不匹配信息。
具体的，对于一个动作类型，当实时动作中的所有关节点动作图像与标准动作中的关节点动作图像比对完成后，可将所述记录的不匹配的关节点动作图像对应的动作类型ID、关节点类型ID及编号信息发送给用户。
本实施例中，通过在动作比对过程中记录不匹配动作的信息，可以帮助练习者了解练习情况，提高练习效率。
本申请实施例的一种基于人工智能的视频教学装置结构如图8所示，包括：
动作类型创建模块801、标准动作生成模块802、实时动作获取模块803以及动作比对模块804；其中，动作类型创建模块801与标准动作生成模块802相连；标准动作生成模块802与实时动作获取模块803相连；实时动作获取模块803与动作比对模块804相连；动作类型创建模块801设置为创建动作类型ID及关节点类型ID，将所述动作类型ID与所述关节点类型ID相关联；标准动作生成模块802设置为生成关节点标准动作轨迹并将所述关节点标准动作轨迹存储在数据库中；实时动作获取模块803设置为获取实时关节点动作轨迹及与所述实时关节点动作轨迹对应的动作类型ID；动作比对模块804设置为根据所述与实时关节点动作轨迹对应的动作类型ID获取关节点类型ID，并根据所述动作类型ID及关节点类型ID查询所述数据库中的关节点标准动作轨迹，并将所述实时关节点动作轨迹与所述在数据库中查询获得的关节点标准动作轨迹进行比对，根据比对结果发送提示信息。
本申请实施例还公开了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述各实施例中所述视频教学方法中的步骤。
本申请实施例还公开了一种存储介质，所述存储介质可被处理器读写，所述存储器存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中所述视频教学方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于人工智能的视频教学方法，其特征在于，包括以下步骤：
创建动作类型ID及关节点类型ID，将所述动作类型ID与所述关节点类型ID相关联；
生成关节点标准动作轨迹并将所述关节点标准动作轨迹存储在数据库中；
获取实时关节点动作轨迹及与所述实时关节点动作轨迹对应的动作类型ID；
根据所述与实时关节点动作轨迹对应的动作类型ID获取关节点类型ID，并根据所述动作类型ID及关节点类型ID查询所述数据库中的关节点标准动作轨迹，并将所述实时关节点动作轨迹与所述在数据库中查询获得的关节点标准动作轨迹进行比对，根据比对结果发送提示信息。
2.如权利要求1所述的基于人工智能的视频教学方法，其特征在于，所述生成关节点标准动作轨迹并将所述关节点标准动作轨迹存储在数据库中，包括：
获取标准动作视频，将所述标准动作视频与动作类型ID相关联，对所述标准动作视频中的每一帧图像进行截取，并将所述截取的每一帧图像根据时间顺序进行排序；
对所述截取的每一帧图像根据与所属动作类型ID相关联的关节点类型ID进行检测，获取每一帧图像中的关节点动作图像；
为所述关节点动作图像添加关节点类型ID；
将所属同一关节点类型ID的关节点动作图像根据所述截取的每一帧图像的顺序进行顺序编号，生成关节点标准动作轨迹并存储在数据库中。
3.如权利要求1所述的基于人工智能的视频教学方法，其特征在于，所述获取实时关节点动作轨迹及与所述实时关节点动作轨迹对应的动作类型ID，包括：
获取实时动作视频及与所述实时动作视频对应的动作类型ID，对实时动作视频中的每一帧图像进行截取，并将所述截取的每一帧图像根据时间顺序进行排序；
对所述截取的每一帧图像根据与所述动作类型ID相关联的关节点类型ID进行检测，获取截取的每一帧图像中的关节点动作图像；
为所述关节点动作图像添加关节点类型ID，并将所属同一关节点类型ID的关节点动作图像根据所述截取的每一帧图像的顺序进行顺序编号，生成实时关节点动作轨迹。
4.如权利要求3所述的基于人工智能的视频教学方法，其特征在于，所述对所述截取的每一帧图像根据与所述动作类型ID相关联的关节点类型ID进行检测，获取截取的每一帧图像中的关节点动作图像，包括：
根据与所述实时动作视频对应的动作类型ID获取与所述动作类型ID相关联的关节点类型ID；
对所述截取的每一帧图像根据所述关节点类型ID进行检测，获取与所述关节点类型ID对应的关节点区域；
在所述截取的每一帧图像上对所述关节点区域进行图像截取，生成关节点动作图像。
5.如权利要求1所述的基于人工智能的视频教学方法，其特征在于，所述根据所述与实时关节点动作轨迹对应的动作类型ID获取关节点类型ID，并根据所述动作类型ID及关节点类型ID查询所述数据库中的关节点标准动作轨迹，并将所述实时关节点动作轨迹与所述在数据库中查询获得的关节点标准动作轨迹进行比对，根据比对结果发送提示信息，包括：
根据所述与实时关节点动作轨迹对应的动作类型ID获取与所述动作类型ID相关联的关节点类型ID；
根据所述动作类型ID及关节点类型ID在数据库中查询关节点标准动作轨迹中的关节点动作图像；
根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，并根据比对结果发送提示信息。
6.如权利要求5所述的基于人工智能的视频教学方法，其特征在于，所述根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，并根据比对结果发送提示信息，包括：
预设任一动作类型ID的标准动作满分值及实时动作总分值，并根据所述标准动作满分值给与所述标准动作满分值所属的动作类型ID对应的每个关节点动作图像平均分配分值；
根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，当实时关节点动作轨迹中的关节点动作图像与关节点标准动作轨迹中的关节点动作图像匹配时，对与所述获取的关节点类型ID对应的实时动作总分值进行累计；
当所述逐一比对完成后，发送所述实时动作总分值信息。
7.如权利要求5所述的基于人工智能的视频教学方法，其特征在于，所述根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，并根据比对结果发送提示信息，包括：
根据所述获取的关节点类型ID及关节点类型ID将实时关节点动作轨迹中的关节点动作图像与在数据库中查询获得的关节点标准动作轨迹中的关节点动作图像进行逐一比对，当实时关节点动作轨迹中的关节点动作图像与关节点标准动作轨迹中的关节点动作图像不匹配时，记录不匹配信息；
当所述逐一比对完成后，发送不匹配信息。
8.一种基于人工智能的视频教学装置，其特征在于，所述装置包括：
动作类型创建模块：设置为创建动作类型ID及关节点类型ID，将所述动作类型ID与所述关节点类型ID相关联；
标准动作生成模块：设置为生成关节点标准动作轨迹并将所述关节点标准动作轨迹存储在数据库中；
实时动作获取模块：设置为获取实时关节点动作轨迹及与所述实时关节点动作轨迹对应的动作类型ID；
动作比对模块：设置为根据所述与实时关节点动作轨迹对应的动作类型ID获取关节点类型ID，并根据所述动作类型ID及关节点类型ID查询所述数据库中的关节点标准动作轨迹，并将所述实时关节点动作轨迹与所述在数据库中查询获得的关节点标准动作轨迹进行比对，根据比对结果发送提示信息。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行如权利要求1至7中任一项所述视频教学方法的步骤。
10.一种存储介质，其特征在于，所述存储介质可被处理器读写，所述存储介质存储有计算机指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项所述视频教学方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910298198.9A CN110147468A (zh) | 2019-04-15 | 2019-04-15 | 基于人工智能的视频教学方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910298198.9A CN110147468A (zh) | 2019-04-15 | 2019-04-15 | 基于人工智能的视频教学方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110147468A true CN110147468A (zh) | 2019-08-20 |
Family
ID=67588913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910298198.9A Pending CN110147468A (zh) | 2019-04-15 | 2019-04-15 | 基于人工智能的视频教学方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110147468A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101202994A (zh) * | 2006-12-14 | 2008-06-18 | 北京三星通信技术研究有限公司 | 辅助用户健身的方法和装置 |
| CN103390174A (zh) * | 2012-05-07 | 2013-11-13 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
| CN105903157A (zh) * | 2016-04-19 | 2016-08-31 | 深圳泰山体育科技股份有限公司 | 电子教练实现方法及系统 |
| CN107349594A (zh) * | 2017-08-31 | 2017-11-17 | 华中师范大学 | 一种虚拟舞蹈系统的动作评价方法 |
| CN107833283A (zh) * | 2017-10-30 | 2018-03-23 | 努比亚技术有限公司 | 一种教学方法及移动终端 |
| CN108615055A (zh) * | 2018-04-19 | 2018-10-02 | 咪咕动漫有限公司 | 一种相似度计算方法、装置及计算机可读存储介质 |
| CN109621331A (zh) * | 2018-12-13 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 辅助健身方法、装置及存储介质、服务器 |
-
2019
- 2019-04-15 CN CN201910298198.9A patent/CN110147468A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101202994A (zh) * | 2006-12-14 | 2008-06-18 | 北京三星通信技术研究有限公司 | 辅助用户健身的方法和装置 |
| CN103390174A (zh) * | 2012-05-07 | 2013-11-13 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
| CN105903157A (zh) * | 2016-04-19 | 2016-08-31 | 深圳泰山体育科技股份有限公司 | 电子教练实现方法及系统 |
| CN107349594A (zh) * | 2017-08-31 | 2017-11-17 | 华中师范大学 | 一种虚拟舞蹈系统的动作评价方法 |
| CN107833283A (zh) * | 2017-10-30 | 2018-03-23 | 努比亚技术有限公司 | 一种教学方法及移动终端 |
| CN108615055A (zh) * | 2018-04-19 | 2018-10-02 | 咪咕动漫有限公司 | 一种相似度计算方法、装置及计算机可读存储介质 |
| CN109621331A (zh) * | 2018-12-13 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 辅助健身方法、装置及存储介质、服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Raca et al. | System for assessing classroom attention | |
| JP2852925B2 (ja) | 肉体的運動熟達教育用システム | |
| Aghazadeh et al. | Performance of robotic simulated skills tasks is positively associated with clinical robotic surgical performance | |
| US11113988B2 (en) | Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same | |
| Huang et al. | A web-based e-learning platform for physical education | |
| Johnson et al. | Detecting hand posture in piano playing using depth data | |
| CA3048542C (en) | System for peer-to-peer, self-directed or consensus human motion capture, motion characterization, and software-augmented motion evaluation | |
| Pan | A big data-based data mining tool for physical education and technical and tactical analysis | |
| Put et al. | Faster, slower or real time? Perceptual-cognitive skills training with variable video speeds | |
| CN110991943B (zh) | 一种基于云计算的教学质量评价系统 | |
| CN110147468A (zh) | 基于人工智能的视频教学方法及相关设备 | |
| Chow et al. | Possibilities and implications of using a motion-tracking system in physical education | |
| Xiong et al. | Intelligent strategy of internet of things computing in badminton sports activities | |
| KR20170140756A (ko) | 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법 | |
| Liu | A study of athlete pose estimation techniques in sports game videos combining multiresidual module convolutional neural networks | |
| Miletić | Distance learning in dance sport during the Covid-19 outbreak | |
| Gao | The application of wireless network-based artificial intelligence robots in badminton teaching and training | |
| Guo et al. | Online evaluation system of college physical education students based on big data and artificial intelligence technology | |
| Kyriakidis et al. | The impact of blended learning and direct video feedback on primary school students’ three-step ball throwing technique | |
| Shiyan et al. | Automatic Recognition of Teachers' Nonverbal Behavior Based on Dilated Convolution | |
| Le Noury et al. | XR Programmers Give Their Perspective on How XR Technology can be Effectively Utilised in High-Performance Sport | |
| Deja | Piano learning and improvisation through adaptive visualisation and digital augmentation | |
| Liu | Development and application of sports video analysis platform in sports training | |
| LUEDKE JR | Range of motion as the focus of teaching the overhand throwing pattern to children | |
| TWI750613B (zh) | 遠距教學成效呈現系統及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |