CN112529895B - 用于处理图像的方法、装置、设备以及存储介质 - Google Patents
用于处理图像的方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN112529895B CN112529895B CN202011538538.XA CN202011538538A CN112529895B CN 112529895 B CN112529895 B CN 112529895B CN 202011538538 A CN202011538538 A CN 202011538538A CN 112529895 B CN112529895 B CN 112529895B
- Authority
- CN
- China
- Prior art keywords
- action
- image frame
- category
- motion
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000009471 action Effects 0.000 claims abstract description 177
- 230000033001 locomotion Effects 0.000 claims abstract description 99
- 238000013519 translation Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 abstract description 36
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000012552 review Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000009189 diving Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000386 athletic effect Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009182 swimming Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000004049 embossing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种用于处理图像的方法、装置、设备以及存储介质，涉及图像处理领域，具体涉及深度学习、人工智能、智能搜索领域。具体实现方案为：获取目标视频，其中，目标视频中包含至少一个包含用户的运动动作的图像帧；确定图像帧中各运动动作的类别；基于类别，确定图像帧中的错误动作图像帧；对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。本实现方式通过根据目标视频中的图像帧中的各运动动作的类别，确定错误动作图像帧，并通过对确定出的错误动作图像帧进行错误动作的纠正，可以方便教练员对学员的动作的指导，有利于学员的复习，有效地促进了学员的训练质量，提高了对大量训练视频的使用率。
Description
技术领域
本申请涉及图像处理领域，具体涉及深度学习、人工智能、智能搜索领域，尤其涉及用于处理图像的方法、装置、设备以及存储介质。
背景技术
为了更有针对性地训练，跳水队教练和运动员们需要通过对日常训练的录像回放进行分析总结。但传统技术下，对每天产生的大量训练视频的使用效率并不高。主要体现在以下几个方面：
国家跳水队每天会产生大量的训练视频，但是运动员很难挑出来自己的训练视频用于总结与整理，需要耗费大量人力浏览剪切视频片段，无法快速生成一段时间的训练视频，缺失视频收藏、整理、标注等功能；尽管可以慢动作播放，但是由于传统摄像机帧率不高，不能及时指出动作缺陷以及调整训练对策。
发明内容
本公开提供了一种用于处理图像的方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种用于处理图像的方法，包括：获取目标视频，其中，目标视频中包含至少一个包含用户的运动动作的图像帧；确定图像帧中各运动动作的类别；基于类别，确定图像帧中的错误动作图像帧；对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。
根据本公开的另一方面，提供了一种用于处理图像的装置，包括：获取单元，被配置成获取目标视频，其中，目标视频中包含至少一个包含用户的运动动作的图像帧；动作类别确定单元，被配置成确定图像帧中各运动动作的类别；错误动作图像帧确定单元，被配置成基于类别，确定图像帧中的错误动作图像帧；正确动作图像帧生成单元，被配置成对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。
根据本公开的再一方面，提供了一种用于处理图像的电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述用于处理图像的方法。
根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如上述用于处理图像的方法。
根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如上述用于处理图像的方法。
根据本申请的技术解决了对每天产生的大量训练视频的使用率并不高的问题，通过根据目标视频中的图像帧中的各运动动作的类别，确定错误动作图像帧，并通过对确定出的错误动作图像帧进行错误动作的纠正，可以方便教练员对学员的动作的指导，有利于学员的复习，有效地促进了学员的训练质量，提高了对大量训练视频的使用率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于处理图像的方法的一个实施例的流程图；
图3是根据本申请的用于处理图像的方法的一个应用场景的示意图；
图4是根据本申请的用于处理图像的方法的另一个实施例的流程图；
图5是根据本申请的用于处理图像的装置的一个实施例的结构示意图；
图6是用来实现本申请实施例的用于处理图像的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于处理图像的方法或用于处理图像的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括相机101、102，网络103、服务器104和终端设备105。网络103用以在相机101、102和服务器104、终端设备105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
相机101、102可以通过网络103与服务器104、终端设备105交互，以接收或发送消息。相机101、102可以采集目标视频，并将采集的视频发送给服务器104或终端设备105，或者存储于本地。相机101、102可以固定在泳池旁、跳板处等位置，以拍摄目标视频。
服务器104或终端设备105可以从相机101、102处获取采集的目标视频，并对目标视频进行处理，确定目标视频的图像帧中各运动动作的类别。并基于确定的类别，确定图像帧中的错误动作图像帧，对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。服务器104或终端设备105上可以安装有各种通讯客户端应用，例如图像处理类应用等。
终端设备105可以是硬件，也可以是软件。当终端设备105为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备105为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的用于处理图像的方法可以由服务器104或终端设备105执行。相应地，用于处理图像的装置可以设置于服务器104或终端设备105中。
应该理解，图1中的相机、网络、服务器和终端设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的相机、网络、服务器和终端设备。
继续参考图2，示出了根据本申请的用于处理图像的方法的一个实施例的流程200。本实施例的用于处理图像的方法，包括以下步骤：
步骤201，获取目标视频。
本实施例中，用于处理图像的方法的执行主体(例如图1中的服务器104)可以通过有线连接或者无线连接的方式获取相机拍摄的目标视频。其中，目标视频中包含至少一个包含用户的运动动作的图像帧。相机可以设置于跳板处或者设置于泳池旁，可以用于拍摄运动员跳水的视频。本实施例中所述的用户可以是每一个跳水运动员，当然，也可以是每一花样滑冰者，本申请对此不做具体限定。目标视频，可以是根据预先设定的需要重点观察的运动员拍摄的、其在预设时间进行跳水运动的视频。
示例的，可以在跳板处设置视频采集设备，泳池两边设置4台高速摄像机，用于采集跳水动作，另外，每个跳板处和泳池边安装1～2个监控摄像头，用于运动员识别。当识别到运动员上板时，高速摄像机进行动作采集，当检测到运动员上岸，高速摄像机停止视频采集。
步骤202，确定图像帧中各运动动作的类别。
执行主体在获取目标视频后，可以确定目标视频的图像帧中各运动动作的类别。具体地，执行主体可以将各图像帧输入预训练的分类模型，输出得到各图像帧中各运动动作的类别标识。其中，预训练的分类模型用于表征每一帧图像中的各运动动作与类别标识的对应关系。预训练的分类模型可以是深入学习卷积神经网络(CNN)模型。
步骤203，基于类别，确定图像帧中的错误动作图像帧。
执行主体在得到各运动动作的类别后，可以基于类别，确定图像帧中的错误动作图像帧。具体地，执行主体可以根据运动动作的类别，自动搜索所存储的运动动作数据库中与所述类别相同或相似的运动动作，并分别与对应的运动动作进行比较，将运动动作的比较结果的差异值超过预设阈值的运动动作所对应的图像帧，确定为错误动作图像帧。
步骤204，对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。
执行主体在确定图像帧中的错误动作图像帧后，可以对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。具体地，执行主体可以将错误动作图像帧输出至教练员所使用的终端，以供教练员查看，以使教练员对错误动作图像帧中的错误动作按照正确动作在终端屏幕上进行调整纠正，执行主体接收教练员在终端屏幕上的触发的纠正动作，并根据纠正后的动作生成正确动作图像帧。
继续参考图3，其示出了根据本申请的用于处理图像的方法的一个应用场景的示意图。在图3的应用场景中，服务器(图中未示出)获取由相机301拍摄的目标视频302，其中，目标视频302中包含至少一个包含用户的运动动作的图像帧303、304、305。服务器确定图像帧303、304、305中各运动动作的类别306。服务器基于类别306，确定图像帧303、304、305中的错误动作图像帧304。服务器对错误动作图像帧304中的错误动作a进行纠正，生成包含正确动作b的正确动作图像帧307。
本实施例通过根据目标视频中的图像帧中的各运动动作的类别，确定错误动作图像帧，并通过对确定出的错误动作图像帧进行错误动作的纠正，可以方便教练员对学员的动作的指导，有利于学员的复习，有效地促进了学员的训练质量，提高了对大量训练视频的使用率。
继续参考图4，其示出了根据本申请的用于处理图像的方法的另一个实施例的流程400。如图4所示，本实施例的用于处理图像的方法，可以包括以下步骤：
步骤401，获取目标视频。
本实施例中，目标视频中包含至少一个包含用户的运动动作的图像帧。
步骤402，确定图像帧中各运动动作的类别。
步骤401～步骤402的原理与步骤201～步骤202的原理类似，此处不再赘述。
具体地，步骤402还可以通过步骤4021～步骤4022来实现：
步骤4021，确定目标视频中的用户标识。
执行主体在获取目标视频后，可以确定目标视频中的用户标识。用户标识可以是视频中每一个运动员用于指示身份的ID。具体地，执行主体可以将目标视频传输至“人工智能训练指导一体机上”，该“人工智能训练指导一体机上”是预先设置好的，该一体机根据人脸识别结果对目标视频做自动剪辑，并实时存入存储数据库。视频存入存储后，教练员与运动员可通过ipad等终端设备对这些经过剪辑处理的训练视频按运动员ID分类查询；并可按时间维度进行检索查询、回放。具体地，执行主体可以将目标视频输入预训练的人脸识别模型中，输出目标视频中的各个用户的用户标识，其中，预训练的人脸识别模型用于表征视频中的人脸与标识的对应关系。
步骤4022，确定图像帧中每个用户标识对应的用户的运动动作的类别。
执行主体在确定目标视频中的用户标识后，可以确定图像帧中每个用户标识对应的用户的运动动作的类别。具体地，执行主体可以针对每一个用户标识对应的用户，确定该用户的运动动作的类别。具体地，执行主体可以分别将每一个用户的运动动作显示于终端屏幕上，并触发弹窗供教练员选择弹窗对应的用户的运动动作的类别，其中，触发的弹窗中可以包括各种运行动作的类别选项按钮；执行主体可以接收教练员在终端屏幕上反馈(或称点击)的针对某一用户所选择的其运动动作的类别，并将该类别确定为该用户的运动动作的类别。对于其他的任一用户执行同样的操作，直至全部确定出图像帧中每个用户标识对应的用户的运动动作的类别。运动动作的类别，可以是踏板、空中姿态、压水花等。
本实施例中执行主体得到用户标识主要是为了针对每一个用户，确定每一个用户的运动动作的类别，以便于用户可以方便地找到属于自己的运动(训练)视频，即便于运动员(用户)容易地找出自己的训练视频用于总结与整理，并通过回放找出自己的运动动作所存在的问题，提升训练质量，提高对训练视频的使用率。
步骤403，基于类别，确定图像帧中的错误动作图像帧。
步骤404，对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。
步骤403～步骤404的原理与步骤203～步骤204的原理类似，此处不再赘述。
具体地，步骤404还可以通过步骤4041～步骤4042来实现：
步骤4041，基于错误动作图像帧和预训练的骨架嵌入模型，确定错误动作图像帧中的错误动作对应的三维骨架。
本实施例中，执行主体在得到错误动作图像帧后，可以基于错误动作图像帧和预训练的骨架嵌入模型，确定错误动作图像帧中的错误动作对应的三维骨架。预训练的骨架嵌入模型用于表征动作图像帧与三维骨架的对应关系。具体地，“人工智能训练指导一体机”可以对目标视频进行“动作抽取”和“姿势纠正”。示例的，教练员可以在ipad上查看，对错误动作进行标记，并对错误的跳水动作进行动作编辑予以纠正，提供给运动员形象化的指导。教练员可以根据运动动作的三维骨架对图像中错误的人体动作进行编辑，得到正确的跳水动作。
这里面包含两个关键技术，分别是：人体骨架的自动检测与嵌入，三维骨架指导的二维图像编辑。
在人体骨架的自动检测与嵌入的关键技术中，首先获取训练集训练骨架嵌入模型，即采集大量的跳水运动图像，对图像中的人体根据身高体型选择对应的人体骨架，然后依次调整各个骨架的旋转角度，最终实现与图像中的人体姿态保持一致，并标记此时的图像与骨架的对应关系(手动调整获取骨架标记数据的过程即获取训练集的过程)。在获得人体骨架的标记数据之后，训练卷积神经网络，对人体图像的三维骨架姿态进行学习，即将人体图像作为骨架嵌入模型的输入，将标记的对应的三维骨架作为期望输出对骨架嵌入模型进行训练。训练好模型后，直接输入跳水图像，预训练的骨架嵌入模型自动准确输出对应的人体三维骨架。
步骤4042，基于确定出的三维骨架，对错误动作进行纠正，生成正确动作图像帧。
执行主体在确定出三维骨架后，可以基于确定出的三维骨架，对错误动作进行纠正，生成正确动作图像帧。具体地，在三维骨架指导的二维图像编辑的关键技术中，执行主体根据骨架嵌入模型所输出的三维骨架，自动根据预存的对应错误动作图像帧中的运动动作类别的正确的运动动作对人体姿态进行编辑(例如平移、旋转)。三维骨架与错误动作图像帧中的像素是绑定起来的，在对三维骨架进行调整时(例如平移、旋转)，会联动的对周围的图像像素进行对应的移动，从而获得调整后的人体动作图像。
本实施例通过根据人体骨架的自动检测与嵌入获取错误动作图像帧中的错误运动动作的三维骨架，并基于三维骨架指导的二维图像编辑计技术对错误的人体的三维骨架进行调整，从而得到正确动作图像帧，可以实现对目标视频中的目标用户或任一用户的错误动作的检测更加准确、迅速，对错误动作的纠正更加快捷、准确，便于运动员(用户)容易地找出自己的训练视频用于总结与整理，有效地促进了学员的训练质量，提高了对大量训练视频的使用率。
具体地，步骤4042还可以通过步骤40421～步骤40422来实现：
步骤40421，确定错误动作图像帧中的错误动作的错误类别。
执行主体在确定错误动作图像帧后，可以确定错误动作图像帧中的错误动作的错误类别，例如，可以是运动员的“上板”动作不标准，有错误，则错误类别可以是“上板”，当然，错误类别也可以是“空中姿态”、“压水花”等，本申请对错误类别不做具体限定。
步骤40422，基于确定出的三维骨架、错误类别和预设的错误类别与正确动作的对应关系，对错误动作进行纠正，生成正确动作图像帧。
执行主体在得到错误运动动作的三维骨架、错误类别和预设的错误类别与正确动作的对应关系后，可以获取对应该错误类别的正确动作，例如正确的“空中姿态”，并可以将正确的“空中姿态”在终端的显示屏上显示给教练员，以供教练员根究该正确的“空中姿态”对对应的错误运动动作的三维骨架进行调整与纠正，执行主体根据调整与纠正后的运动动作的三维骨架生成正确动作图像帧。
本实施例通过根据错误动作图像帧中的错误动作的错误类别来确定对应该错误类别的正确动作，从而可以将确定的正确动作展示给教练员，以使教练员更准确地对错误动作的三维骨架进纠正，无须执行主体对错误动作进行纠正，节省了执行主体的任务资源，提升了错误动作的纠正效率，并有效地促进了学员的训练质量。
在本实施例的一些可选的实现方式中，步骤40422中的“对错误动作进行纠正”还可以包括图4中未示出的如下步骤404221：
步骤404221，根据预设的错误类别与正确动作的对应关系，对三维骨架进行平移和/或旋转操作，以使三维骨架与正确动作重合，并生成正确动作图像帧。
执行主体在确定错误动作图像帧中的错误动作的错误类别后，可以根据预设的错误类别与正确动作的对应关系，对三维骨架进行平移和/或旋转操作，以使三维骨架与正确动作重合或者偏差小于预设阈值，并生成正确动作图像帧。本申请对上述预设阈值不做具体限定。
示例的，本申请首先获取运动员(或称用户或学员，全文同)的人脸图像数据和跳水的高速视频数据，执行主体利用人脸识别结果，确定运动员的ID，并对跳水动作进行进一步细分类。对其中错误的动作，利用训练好的深度网络模型(即预训练的骨架嵌入模型)，自动为其中的错误动作嵌入三维骨架，再对骨架进行平移、旋转操作时，对应的图像像素会进行相应的移动，最终生成正确的跳水动作，并通过终端的屏幕输出显示。
本实施例通过对错误运动动作的三维骨架进行平移和/或旋转操作，使之与或正确的动作重合或有小于预设阈值的偏差，从而可以准确、快速地对错误动作进行纠正，方便运动员(或称用户或学员，全文同)及时看到自己不标准的运动动作(或称训练动作，全文同)以及自己的错误动作纠正方案，有效地促进了学员的训练质量，提高了对大量训练视频的使用率。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于处理图像的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于处理图像的装置500包括：获取单元501、动作类别确定单元502、错误动作图像帧确定单元503和正确动作图像帧生成单元504。
获取单元501，被配置成获取目标视频，其中，目标视频中包含至少一个包含用户的运动动作的图像帧。
动作类别确定单元502，被配置成确定图像帧中各运动动作的类别。
错误动作图像帧确定单元503，被配置成基于类别，确定图像帧中的错误动作图像帧。
正确动作图像帧生成单元504，被配置成对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。
在本实施例的一些可选的实现方式中，动作类别确定单元502进一步被配置成：确定目标视频中的用户标识；确定图像帧中每个用户标识对应的用户的运动动作的类别。
在本实施例的一些可选的实现方式中，正确动作图像帧生成单元504进一步被配置成：基于错误动作图像帧和预训练的骨架嵌入模型，确定错误动作图像帧中的错误动作对应的三维骨架，其中，预训练的骨架嵌入模型用于表征动作图像帧与三维骨架的对应关系；基于确定出的三维骨架，对错误动作进行纠正，生成正确动作图像帧。
在本实施例的一些可选的实现方式中，正确动作图像帧生成单元504进一步被配置成：确定错误动作图像帧中的错误动作的错误类别；基于确定出的三维骨架、错误类别和预设的错误类别与正确动作的对应关系，对错误动作进行纠正，生成正确动作图像帧。
在本实施例的一些可选的实现方式中，正确动作图像帧生成单元504进一步被配置成：根据预设的错误类别与正确动作的对应关系，对三维骨架进行平移和/或旋转操作，以使三维骨架与正确动作重合，并生成正确动作图像帧。
应当理解，用于处理图像的装置500中记载的单元501至单元504分别与参考图2中描述的方法中的各个步骤相对应。由此，上文针对用于处理图像的方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。
根据本公开的实施例，本公开还提供了一种用于处理图像的电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如用于处理图像的方法。例如，在一些实施例中，用于处理图像的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的用于处理图像的方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行用于处理图像的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请实施例的技术方案，通过根据目标视频中的图像帧中的各运动动作的类别，确定错误动作图像帧，并通过对确定出的错误动作图像帧进行错误动作的纠正，可以方便教练员对学员的动作的指导，有利于学员的复习，有效地促进了学员的训练质量，提高了对大量训练视频的使用率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (6)
1.一种用于处理图像的方法，包括：
获取目标视频，其中，所述目标视频中包含至少一个包含用户的运动动作的图像帧；
确定所述图像帧中各运动动作的类别；
基于所述类别，确定所述图像帧中的错误动作图像帧；
基于所述错误动作图像帧和预训练的骨架嵌入模型，确定所述错误动作图像帧中的错误动作对应的三维骨架，其中，所述预训练的骨架嵌入模型用于表征动作图像帧与三维骨架的对应关系；
确定所述错误动作图像帧中的错误动作的错误类别；
基于确定出的所述三维骨架、所述错误类别和预设的错误类别与正确动作的对应关系，对所述错误动作进行纠正，生成正确动作图像帧，其中，所述对所述错误动作进行纠正，包括：根据预设的错误类别与正确动作的对应关系，对所述三维骨架进行平移和/或旋转操作，以使所述三维骨架与所述正确动作重合，并生成正确动作图像帧。
2.根据权利要求1所述的方法，其中，所述确定所述图像帧中各运动动作的类别，包括：
确定所述目标视频中的用户标识；
确定所述图像帧中每个用户标识对应的用户的运动动作的类别。
3.一种用于处理图像的装置，包括：
获取单元，被配置成获取目标视频，其中，所述目标视频中包含至少一个包含用户的运动动作的图像帧；
动作类别确定单元，被配置成确定所述图像帧中各运动动作的类别；
错误动作图像帧确定单元，被配置成基于所述类别，确定所述图像帧中的错误动作图像帧；
正确动作图像帧生成单元，被配置成基于所述错误动作图像帧和预训练的骨架嵌入模型，确定所述错误动作图像帧中的错误动作对应的三维骨架，其中，所述预训练的骨架嵌入模型用于表征动作图像帧与三维骨架的对应关系；确定所述错误动作图像帧中的错误动作的错误类别；基于确定出的所述三维骨架、所述错误类别和预设的错误类别与正确动作的对应关系，对所述错误动作进行纠正，生成正确动作图像帧，其中，所述对所述错误动作进行纠正，包括：根据预设的错误类别与正确动作的对应关系，对所述三维骨架进行平移和/或旋转操作，以使所述三维骨架与所述正确动作重合，并生成正确动作图像帧。
4.根据权利要求3所述的装置，其中，所述动作类别确定单元进一步被配置成：
确定所述目标视频中的用户标识；
确定所述图像帧中每个用户标识对应的用户的运动动作的类别。
5. 一种用于处理图像的电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-2中任一项所述的方法。
6.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-2中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011538538.XA CN112529895B (zh) | 2020-12-23 | 2020-12-23 | 用于处理图像的方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011538538.XA CN112529895B (zh) | 2020-12-23 | 2020-12-23 | 用于处理图像的方法、装置、设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112529895A CN112529895A (zh) | 2021-03-19 |
| CN112529895B true CN112529895B (zh) | 2023-07-25 |
Family
ID=74976039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011538538.XA Active CN112529895B (zh) | 2020-12-23 | 2020-12-23 | 用于处理图像的方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112529895B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101272495A (zh) * | 2007-03-23 | 2008-09-24 | 三星电子株式会社 | 用于传输基于分组的图像帧的方法和装置 |
| CN109785396A (zh) * | 2019-01-23 | 2019-05-21 | 中国科学院自动化研究所 | 基于双目相机的写字姿态监测方法、系统、装置 |
| WO2019175425A1 (en) * | 2018-03-15 | 2019-09-19 | Pixformance Sports Gmbh | Use of a human pose estimation model for generating and/or refining a movement model |
| EP3605394A1 (en) * | 2018-08-03 | 2020-02-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for recognizing body movement |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19883027T1 (de) * | 1998-12-28 | 2001-11-22 | Fujitsu Ltd Kanagawa Ken | Fehlerabsorptionsvorrichtung für dreidimensionale Skelettdaten |
-
2020
- 2020-12-23 CN CN202011538538.XA patent/CN112529895B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101272495A (zh) * | 2007-03-23 | 2008-09-24 | 三星电子株式会社 | 用于传输基于分组的图像帧的方法和装置 |
| WO2019175425A1 (en) * | 2018-03-15 | 2019-09-19 | Pixformance Sports Gmbh | Use of a human pose estimation model for generating and/or refining a movement model |
| EP3605394A1 (en) * | 2018-08-03 | 2020-02-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for recognizing body movement |
| CN109785396A (zh) * | 2019-01-23 | 2019-05-21 | 中国科学院自动化研究所 | 基于双目相机的写字姿态监测方法、系统、装置 |
Non-Patent Citations (4)
| Title |
|---|
| Correction of motion artifact in cardiac optical mapping using image registration;G.K. Rohde等;IEEE Transactions on Biomedical Engineering;全文 * |
| 单目视频人体三维运动高效恢复;陈成;肖俊;庄越挺;;计算机辅助设计与图形学学报(第08期);全文 * |
| 跳远运动支撑期间下肢动作轨迹预测方法的研究;向云平;;科学技术与工程(第03期);全文 * |
| 运动员动作三维视觉图像准确识别仿真研究;刘和臣;;计算机仿真(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112529895A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11727688B2 (en) | Method and apparatus for labelling information of video frame, device, and storage medium | |
| CN110941990B (zh) | 基于骨骼关键点进行人体动作评估的方法和装置 | |
| CN108256433B (zh) | 一种运动姿态评估方法及系统 | |
| CN111680551B (zh) | 监控牲畜数量的方法、装置、计算机设备及存储介质 | |
| CN111598164B (zh) | 识别目标对象的属性的方法、装置、电子设备和存储介质 | |
| US9183431B2 (en) | Apparatus and method for providing activity recognition based application service | |
| US20220207266A1 (en) | Methods, devices, electronic apparatuses and storage media of image processing | |
| CN111160134A (zh) | 一种以人为主体的视频景别分析方法和装置 | |
| US20240249555A1 (en) | Method for detecting human behavior, electronic device, and storage medium | |
| CN113160231A (zh) | 一种样本生成方法、样本生成装置及电子设备 | |
| CN112766065A (zh) | 一种移动端考生身份认证方法、装置、终端及存储介质 | |
| CN114549557A (zh) | 一种人像分割网络训练方法、装置、设备及介质 | |
| CN114495169A (zh) | 一种人体姿态识别的训练数据处理方法、装置及设备 | |
| CN110348272B (zh) | 动态人脸识别的方法、装置、系统和介质 | |
| CN112381118B (zh) | 一种大学舞蹈考试测评方法及装置 | |
| Zhou et al. | Pose comparison based on part affinity fields | |
| CN112529895B (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
| CN116403285A (zh) | 动作识别方法、装置、电子设备以及存储介质 | |
| CN116704603A (zh) | 一种基于肢体关键点分析的动作评估纠正方法及系统 | |
| CN113947771B (zh) | 图像识别方法、装置、设备、存储介质以及程序产品 | |
| CN113723306B (zh) | 俯卧撑检测方法、设备以及计算机可读介质 | |
| CN114093030B (zh) | 一种基于人体姿态学习的射击训练分析方法 | |
| CN113918769B (zh) | 视频中关键动作标记方法、装置、设备及存储介质 | |
| CN112309181A (zh) | 一种舞蹈教学辅助方法及装置 | |
| CN116433939B (zh) | 样本图像生成方法、训练方法、识别方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |