CN108289180B - 根据肢体动作处理视频的方法、介质和终端装置 - Google Patents
根据肢体动作处理视频的方法、介质和终端装置 Download PDFInfo
- Publication number
- CN108289180B CN108289180B CN201810089973.5A CN201810089973A CN108289180B CN 108289180 B CN108289180 B CN 108289180B CN 201810089973 A CN201810089973 A CN 201810089973A CN 108289180 B CN108289180 B CN 108289180B
- Authority
- CN
- China
- Prior art keywords
- limb
- action
- special effect
- current
- actions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种根据肢体动作处理视频的方法、介质和终端装置，所述根据肢体动作处理视频的方法包括：获取视频中的人体图像；检测所述人体图像中的肢体动作；根据所述肢体动作匹配特效；根据所述特效处理所述视频的图像，得到包含所述特效的视频。本发明可检测视频中的人体图像，并根据人体图像的肢体动作匹配特效，简化了用户自行编辑特效的过程，缩短了用户合成视频特效的时间，降低了视频合成的门槛。
Description
技术领域
本发明涉及信息处理技术，尤其是一种根据肢体动作处理视频的方法、介质和终端装置。
背景技术
现有的视频特效一般为用户预先拍摄好视频后，再经由后期处理添加特效合成得到；这种合成方式较为耗时，对用户的专业程度与操作设备也有一定要求；而且，当用户采用手机进行视频特效合成时，由于手机显示屏幕有限，致使编辑视频的操作区域较小，加之手指操控的误差较大，使得视频特效合成的耗时更长，而且制作精准不佳。为降低手机合成特效的难度，一般只能在手机上预存有限数量的特效，以供用户选择，致使用户合成特效的功能非常有限，娱乐性不佳。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别是针对用户合成视频特效耗时较长的问题。
本发明提供了一种根据肢体动作处理视频的方法，包括：
获取视频中的人体图像；
检测所述人体图像中的肢体动作；
根据所述肢体动作匹配特效；
根据所述特效处理所述视频的图像，得到包含所述特效的视频。
优选地，所述检测所述人体图像中的肢体动作，根据所述肢体动作匹配特效，包括：
获取所述人体图像中当前时间的当前肢体动作和前面预置数量的肢体动作；
根据当前时间的当前肢体动作和前面预置数量的肢体动作，得到当前时间的当前肢体动作匹配的特效；
根据所述特效处理所述视频的图像，包括：
根据所述特效，处理所述视频中当前时间的图像。
优选地，所述根据当前时间的当前肢体动作和前面预置数量的肢体动作，得到当前时间的当前肢体动作匹配的特效，包括：
将当前肢体动作，与最接近当前肢体动作的前面i个数量的肢体动作，构成第i个动作组合；得到包含n个动作组合的第一组合群；其中n为所述预置数量，大于等于2，i大于等于1，且小于等于n；
判断第一组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取i最大相对应的动作组合的特效；
若否，剔除最接近当前肢体动作的前面第一个的肢体动作；将当前肢体动作，与最接近当前肢体动作的前面j个数量的肢体动作，构成第j个动作组合；得到包含n-1个动作组合的第二组合群；其中j大于等于1，且小于等于n-1；
判断第二组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取j最大相对应的动作组合的特效；
若否，获取当前肢体动作的特效。
优选地，所述获取视频中的人体图像，包括：
通过本终端摄像头实时录制视频；
获取所述实时录制的视频中当前时间的人体图像。
优选地，所述获取视频中的人体图像，包括：
获取存储的视频；
获取整个视频中的全部人体图像。
优选地，所述检测所述人体图像中的肢体动作，根据所述肢体动作匹配特效，包括：
检测全部人体图像中的肢体动作；将肢体动作按时间先后进行排序；
获取当前处理的当前肢体动作、前面预设数量的肢体动作和后面预设数量的肢体动作；
根据当前处理的当前肢体动作、前面预设数量的肢体动作和后面预设数量的肢体动作，得到当前时间的肢体动作匹配的特效；
根据所述特效处理所述视频的图像，包括：
根据所述特效，处理所述视频中当前肢体动作对应时间的图像。
优选地，所述根据当前处理的当前肢体动作、前面预设数量的肢体动作和后面预设数量的肢体动作，得到当前时间的肢体动作匹配的特效，包括：
将当前肢体动作，与最接近当前肢体动作的前面k个数量的肢体动作，与最接近当前肢体动作的后面k个数量的肢体动作，构成第k动作组合；得到包含m个动作组合的第三组合群；其中m为所述预设数量，大于等于2，k大于等于1，且小于等于m；
判断第三组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取k最大相对的动作组合的特效；
若否，剔除最接近当前肢体动作的前面第1个的肢体动作和后面第1个的肢体动作；将当前肢体动作，与最接近当前肢体动作的前面x个数量的肢体动作，与最接近当前肢体动作的后面x个数量的肢体动作，构成第x动作组合；得到包含m-1个动作组合的第四组合群；其中x大于等于1，且小于等于m-1；
判断第四组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取x最大相对的动作组合的特效；
若否，获取当前肢体动作的特效。
优选地，所述检测所述人体图像中的肢体动作，根据所述肢体动作匹配特效，包括：
检测所述人体图像中的肢体动作的类型和持续时间；
获取所述肢体动作的类型对应的特效组，从所述特效组中获取所述持续时间对应的特效。
优选地，所述获取所述肢体动作的类型对应的特效组，从所述特效组中获取所述持续时间对应的特效，包括：
读取用户的属性，根据所述属性获取对应的特效组集合，根据所述属性调整所述持续时间；
从所述特效组集合中，获取所述肢体动作的类型对应的特效组；从所述特效组中，获取调整后的持续时间对应的特效。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述任一项所述的方法的步骤。
本发明还提出一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时，实现前述任意一项的方法的步骤。
本发明的有益效果如下：
1、本发明可检测视频中的人体图像，并根据人体图像的肢体动作匹配特效，简化了用户自行编辑特效的过程，缩短了用户合成视频特效的时间，降低了视频合成的门槛。
2、本发明可为即时直播的视频添加特效，也可为存储的视频添加后期特效；本发明不仅可为某一肢体动作匹配特效，在为即时直播的视频添加特效时，还可根据当前时间的当前肢体动作和前面预置数量的肢体动作，识别一系列连贯性的肢体动作，并为该连贯性的肢体动作匹配特效，扩大了匹配特效的动作范围，进一步扩展了视频娱乐的多样性；在为存储的视频添加后期特效时，还可结合当前时间的当前肢体动作之后的肢体动作匹配特效，提高了特效匹配的准确度。
3、本发明还可自动剔除最接近当前肢体动作的前面第一个的肢体动作，并将剔除后的一系列连贯性的肢体动作作为匹配特效的动作组合，可减少人体图像的识别误差，或避免与用户的肢体动作不相关的视频画面动态变化带来的影响，提高了用户体验。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明所述方法第一实施例的流程示意图；
图2为本发明所述方法第二实施例的流程示意图；
图3为本发明所述终端设备的实施例示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本发明提出一种根据肢体动作处理视频的方法，如图1所示的第一实施例，包括如下步骤：
步骤S10：获取视频中的人体图像；
步骤S20：检测所述人体图像中的肢体动作；
步骤S30：根据所述肢体动作匹配特效；
步骤S40：根据所述特效处理所述视频的图像，得到包含所述特效的视频。
其中，每个步骤具体如下：
步骤S10：获取视频中的人体图像；
所述视频可包括离线视频或在线视频；所述离线视频为预存于本终端的视频，在线视频可为与本终端有线或无线连接的摄像机或摄像头拍摄的即时视频，或与本终端通过网络连接的其它设备拍摄的即时视频，例如网络直播的视频。所述人体图像可以为人体全身，亦可为人体的局部，例如头部、四肢等；还可设置特定的检测区域，以便识别该特定的检测区域的人体图像肢体动作，并根据该特定的检测区域的肢体动作匹配特效。
步骤S20：检测所述人体图像中的肢体动作；
所述肢体动作包括头部动作、五官动作、四肢动作、手势动作等。例如：若所述视频中呈现用户的脸部，则获取该用户的脸部视频数据，通过动作分析和对象跟踪技术识别用户的脸部动作；若所述视频中呈现了用户的手势，则获取该用户的手势视频数据，通过动作分析和对象跟踪技术识别用户的手势动作。所述动作分析和对象跟踪技术可通过建立骨骼模型来实时捕捉和转换用户的肢体动作，也可通过机器学习来记忆和识别用户的五官轮廓、手势轮廓等，以跟踪和识别用户的局部肢体动作。
步骤S30：根据所述肢体动作匹配特效；
所检测的所述肢体动作中包括触发特定特效的触发动作，所述触发动作可为一帧特定的动作，也可以为若干帧连续的动作。例如：当检测出用户做出竖起大拇指的动作时，该触发动作可为一帧的静态画面，则为该帧的触发动作匹配撒花的视觉特效，和/或鼓掌的音效；当检测出用户做出跳跃的动作时，该触发动作由若干帧连续的画面组成，则为该触发动作匹配出飞翔的慢动作。所述特效可以为预存于本终端的特效，也可以为由网络推荐的特效，或主动与网络服务器中的特效进行自动匹配；本终端也可通过机器学习识别若干指定动作，并预先为所述若干指定动作匹配预设的特效，以便后续识别出所述指定动作时，自动匹配预设的特效。所述特效可为在所述视频画面上叠加的视觉特效，例如：在人体图像的局部区域叠加心形图案、翅膀轮廓等额外的视觉效果；也可以为将视频中的人体图像、肢体动作、背景画面等进行变形，例如将识别出的人体图像的头部变大，使视频中的人体图像具有萌宠的视觉效果，或在人体图像的局部区域添加特殊滤镜的效果；还可以将人体图像进行剪裁、组合、遮挡等处理。
步骤S40：根据所述特效处理所述视频的图像，得到包含所述特效的视频。
根据所述触发动作匹配特效后，对所述视频的图像进行处理，以得到包含所述特效的视频，供用户观看或预览；所述处理优选为可撤销的处理，以便用户预览之后可选择取消或保留特效效果。
本发明可检测出视频中的肢体动作，并为该肢体动作匹配对应的特效，可实现自动匹配特效的目的，降低了用户自行合成特效的难度，扩大了视频合成的用户范围，也进一步扩展了视频合成娱乐的多样性和娱乐性，提高了用户体验。
基于以上第一实施例，本发明提出又一实施例：所述检测所述人体图像中的肢体动作，根据所述肢体动作匹配特效，包括：
获取所述人体图像中当前时间的当前肢体动作和前面预置数量的肢体动作；
根据当前时间的当前肢体动作和前面预置数量的肢体动作，得到当前时间的当前肢体动作匹配的特效；
根据所述特效处理所述视频的图像，包括：
根据所述特效，处理所述视频中当前时间的图像。
本实施例可在用户做出特殊的连贯性动作时，为用户匹配特效。例如当用户挥动双臂时，将用户的双臂显示为扇动的翅膀；则本终端将根据获取的所述人体图像中当前时间的当前肢体动作以及前面预置数量的肢体动作，确认用户是否做出挥动双臂的动作；若在当前时间可确认用户做出挥动双臂的触发动作，则为用户匹配扇动翅膀的特效，并显示在当前时间的图像中；否则不触发匹配特效的功能。当然，所述当前时间的当前肢体动作亦可匹配不同的特效，具体匹配哪种特效，可结合前面预置数量的肢体动作确定，例如：用户在当前时间做出向左侧伸展的动作，若前面预置数量的肢体动作为向右侧伸展四次，则为当前向左侧伸展的肢体动作匹配向左转动的特效，并在当前时间的图像中显示向左转动的特效；若前面预置数量的肢体动作也为向左侧伸展，而不是向右侧伸展，则为当前向左侧伸展的肢体动作匹配向左伸展的重影动作，并将当前时间的图像显示为带有重影动作的图像。
基于上一实施例，本发明还提出另一实施例：所述根据当前时间的当前肢体动作和前面预置数量的肢体动作，得到当前时间的当前肢体动作匹配的特效，包括：
将当前肢体动作，与最接近当前肢体动作的前面i个数量的肢体动作，构成第i个动作组合；得到包含n个动作组合的第一组合群；其中n为所述预置数量，大于等于2，i大于等于1，且小于等于n；
判断第一组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取i最大相对应的动作组合的特效；
若否，剔除最接近当前肢体动作的前面第一个的肢体动作；将当前肢体动作，与最接近当前肢体动作的前面j个数量的肢体动作，构成第j个动作组合；得到包含n-1个动作组合的第二组合群；其中j大于等于1，且小于等于n-1；
判断第二组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取j最大相对应的动作组合的特效；
若否，获取当前肢体动作的特效。
在视频画面中，有可能出现与肢体动作无关的运动，例如衣服的晃动或头发的下垂等，可能影响肢体动作的识别。本实施例可在第一组合群中的所有动作组合均无特效匹配的情况下，从前面i个数量的肢体动作中剔除最接近当前肢体动作的肢体动作，并以剔除后的一系列肢体动作作为第j个动作组合，再判断第j个动作组合是否有对应的特效，以避免无关的运动对肢体动作识别的影响。
例如：若用户当前的肢体动作为向左侧伸展，若前面向右侧伸展四次，则i＝4，可组成一种向左转动的特效；若前面向右侧伸展两次，则i＝2，可组成一种向左移动的特效。根据本实施例，当用户向右侧伸展四次，再向左侧伸展时，当前的向左侧伸展的肢体动作既可以匹配i向左移动的特效，又可以匹配向左转动的特效，则取获取i最大相对应的动作组合的特效，则为i＝4时的特效：向左转动的特效。
若在前面向右侧伸展四次的肢体运动中，在第四次向右侧伸展的肢体动作和向左侧伸展的肢体动作之间还检测到转头的肢体动作，则在第六个向左侧伸展的肢体动作之前，有五个肢体动作，n＝5；该向左侧伸展的肢体运动与前面第一个数量的肢体动作(即转头的肢体动作)，构成第一个动作组合，i＝1；该向左侧伸展的肢体运动与前面第二个数量的肢体动作(即第四次向右侧伸展的肢体动作)构成第二个动作组合，i＝2；该向左侧伸展的肢体运动与前面第三个数量的肢体动作(即第三次向右侧伸展的肢体动作)构成第三个动作组合，i＝3；该向左侧伸展的肢体运动与前面第四个数量的肢体动作(即第二次向右侧伸展的肢体动作)构成第四个动作组合，i＝4；该向左侧伸展的肢体运动与前面第五个数量的肢体动作(即第一次向右侧伸展的肢体动作)构成第五个动作组合，i＝5；得到包含五个动作组合的第一组合群。故在本实施例中，n＝5，i∈{1,2,3,4,5}。在所述第一组合群中，由于转头的动作将向左侧伸展和向右侧伸展的动作分开了，故无法匹配到向左转动或向左移动的特效，则判定所述第一组合群中的五个动作组合无对应特效。但当用户向左侧伸展时，本实施例可自动剔除与当前的向左侧伸展的肢体动作最接近的前一个肢体动作，即转头的肢体动作；再将剔除转头后的四次向右侧伸展的肢体动作与当前的向左侧伸展的肢体动作进行组合，可得到第二组合群，此时n＝5，j∈{1,2,3,4}；在第二组合群中，包括四个动作组合；在j＝2时，当前的向左侧伸展的肢体动作可与前面两次向右侧伸展的肢体动作匹配到向左移动的特效；在j＝4时，当前的向左侧伸展的肢体动作可与前面四次向右侧伸展的肢体动作匹配到向左转动的特效。当取j最大相对应的动作组合的特效，即为j＝4时的特效：向左转动的特效。
本实施例可持续检测多个连续的肢体动作，并可自当前肢体动作向前追溯若干个肢体动作，以匹配到持续时间最长的连贯性肢体动作所对应的特效，并将该特效作为当前肢体动作匹配的特效，从而为持续时间较长的肢体动作匹配到特效；若多个连续的肢体动作无对应特效时，本实施例还可自动剔除最接近当前肢体动作的前面第一个的肢体动作，以排除肢体动作中的识别误差或异常动作，从而对肢体动作的识别起到纠正作用。
基于第一实施例，根据所述视频的来源，本发明还提出如下实施例：
所述获取视频中的人体图像，包括：
通过本终端摄像头实时录制视频；
获取所述实时录制的视频中当前时间的人体图像。
在本实施例中，所述视频为实时录制的视频，根据实时录制的视频获取当前肢体动作和前面预置数量的肢体动作，可快速匹配到预设的特效，适用于直播场合。
基于第一实施例，根据所述视频的来源，本发明还提出另一实施例：所述获取视频中的人体图像，包括：
获取存储的视频；
获取整个视频中的全部人体图像。
本实施例中的视频可为非实时视频，可获取当前处理时间点的之前的动作或之后的动作，适于处理录制视频的后期特效处理，以用于社交分享等。
基于上一非实时视频的实施例，本发明提出又一实施例：所述检测所述人体图像中的肢体动作，根据所述肢体动作匹配特效，包括：
检测所述全部人体图像中的肢体动作；将肢体动作按时间先后进行排序；
获取当前处理的当前肢体动作、前面预设数量的肢体动作和后面预设数量的肢体动作；
根据当前处理的当前肢体动作、前面预设数量的肢体动作和后面预设数量的肢体动作，得到当前时间的肢体动作匹配的特效；
根据所述特效处理所述视频的图像，包括：
根据所述特效，处理所述视频中当前肢体动作对应时间的图像。
在本实施例中，由于所述视频为已存储的视频，故可获取所述视频中全部时间点上的全部人体图像，并可检测全部时间点上的肢体动作，以在合适的时间点自动插入或推荐匹配的特效；当前处理的当前肢体动作时，由于已知前面的肢体动作和后续的肢体动作，故可将每个肢体动作的起始点、或转折点、或结束点作为当前处理的当前肢体动作。例如：当前处理的当前肢体动作为向左侧伸展的肢体动作，在此之前的肢体动作为向右侧伸展四次的肢体动作，在此之后的肢体动作为站立，则可为当前肢体动作匹配到向左转动的特效；根据该特效，可将当前肢体动作显示为向左转动即将结束的动作，并为在此之前的向右侧伸展四次的肢体动作匹配对应的正在向左旋转的特效，为在此之后的站立的肢体动作匹配向左旋转结束的特效。本实施例可在已知所有肢体动作的前提下，为整个视频在更加精准的时间点匹配恰当的视频，并可避免将当前肢体动作与前面的多个肢体动作进行多次组合以确定最终匹配的特效，提高了特效的匹配速度。
基于上一实施例，本发明进一步提出另一实施例：所述根据当前处理的当前肢体动作、前面预设数量的肢体动作和后面预设数量的肢体动作，得到当前时间的肢体动作匹配的特效，包括：
将当前肢体动作，与最接近当前肢体动作的前面k个数量的肢体动作，与最接近当前肢体动作的后面k个数量的肢体动作，构成第k动作组合；得到包含m个动作组合的第三组合群；其中m为所述预设数量，大于等于2，k大于等于1，且小于等于m；
判断第三组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取k最大相对的动作组合的特效；
若否，剔除最接近当前肢体动作的前面第1个的肢体动作和后面第1个的肢体动作；将当前肢体动作，与最接近当前肢体动作的前面x个数量的肢体动作，与最接近当前肢体动作的后面x个数量的肢体动作，构成第x动作组合；得到包含m-1个动作组合的第四组合群；其中x大于等于1，且小于等于m-1；
判断第四组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取x最大相对的动作组合的特效；
若否，获取当前肢体动作的特效。
与第二实施例类似，本实施例亦将当前肢体动作、当前肢体动作之前的k个数量的肢体动作、当前肢体动作之后的k个数量的肢体动作组合为第k动作组合，当k∈{1,2,……,m}时，可得到m个动作组合，将该m个动作组合作为第三组合群；再为第三组合群中的每个动作组合匹配特效，若第三组合群中有多个动作组合可匹配到不同的特效，则取k值最大的动作组合对应的特效。例如：若当前肢体动作为站立，前面一个的肢体动作为向右侧伸展，后面一个的肢体动作为向左侧伸展，则为当前肢体动作匹配摇晃的特效；若前面两个的肢体动作为向右侧伸展两侧，后面两个的肢体动作为向左侧伸展两侧，则为当前肢体动作匹配旋转的特效。继续以该示例的肢体动作顺序和特效为例，若当前肢体动作为站立，当k＝1时，当前肢体动作与前面一个肢体动作和后面一个肢体动作组成的动作组合可匹配摇晃的特效；当k＝2时，当前肢体动作与前面两个个肢体动作和后面两个肢体动作组成的动作组合又可匹配旋转的特效，根据本实施例，则取k＝2时对应的特效，即为当前的站立的肢体动作匹配旋转的特效，而不是摇晃的特效。本实施例可为视频中当前处理的当前肢体动作找到持续时间最长的连贯性动作对应的特效，以匹配出更加丰富多样的特效，增加了用户完成一系列连贯性动作的乐趣，也增加了以持续时间的长短匹配不同特效的乐趣。
基于第一实施例，本实施例提出第二实施例，如图2所示，所述检测所述人体图像中的肢体动作，根据所述肢体动作匹配特效，包括：
步骤S21：检测所述人体图像中的肢体动作的类型和持续时间；
步骤S31：获取所述肢体动作的类型对应的特效组，从所述特效组中获取所述持续时间对应的特效。
本发明中所述的肢体动作可对应于多种类型的动作，例如舞蹈动作、武术动作、游戏动作、健身动作等，其持续时间的不同可反应出不同的难度或玩法，并对应不同的特效。例如：在检测到用户向下弯腰手掌触地，若持续1秒，则对应动作合格的显示特效，若持续2秒，则对应动作良好的显示特效，若持续3秒，则对应动作优秀的特效。本实施例可根据所述肢体动作的类型确定对应的特效组，以缩短特效的匹配时间，再从所述特效组中获取持续时间对应的特效，增加用户进行视频互动的乐趣。
基于第二实施例，本发明进一步提出另一实施例：所述获取所述肢体动作的类型对应的特效组，从所述特效组中获取所述持续时间对应的特效，包括：
读取用户的属性，根据所述属性获取对应的特效组集合，根据所述属性调整所述持续时间；
从所述特效组集合中，获取所述肢体动作的类型对应的特效组；从所述特效组中，获取调整后的持续时间对应的特效。
由于用户之间的差异，不同用户对同一肢体动作的难度可能不同，例如对于力量性的肢体动作，儿童与成人之间的差异较大，对于部分柔韧性的肢体动作，专业人士与普通人之间的差异也较大，或者高龄人士与低龄儿童之间的差异较大，故可为不同用户设定差异化的特效。例如：对于某一瑜伽动作，若读取到用户的属性中年龄超过六十岁，则将瑜伽动作对应的特效组中的持续时间进行调整，以视频特效的方式鼓励用户继续坚持，增加用户的成就感与乐趣，或提示用户可能存在的风险，提升用户体验。
进一步地，本发明还提出一实施例：所述读取用户的属性，根据所述属性获取对应的特效组集合，根据所述属性调整所述持续时间，还可包括：
读取用户的年龄和性别，根据所述性别获取对应的特效组集合；若所述年龄小于第一预置年龄，将所述持续时间增加第一预置时长，若所述年龄大于等于第一预置年龄、小于第二预置年龄，所述持续时间不变；若所述年龄大于第二预置年龄，将所述持续时间增加第二预置时长。
本实施例可根据性别不同，匹配不同的特效；由于儿童或老年人的身体因素影响，还可分别对儿童、或年纪较大的人分别增加预设的时长，以降低对该特殊人群的时间灵敏度。
本发明中所述的特效除了在视频画面中增加视觉特效外，还可匹配音频特效，例如特殊动作的配音、特殊片段的配乐、特定场景的自然音效等。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述任一项所述的方法的步骤。
本发明还提出一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时，实现前述任意一项的方法的步骤。
本发明还提出一种终端设备，如图3所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器执行所述计算机程序时，实现任一项所述的方法。
如图3所示为本发明所述终端设备的部分结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。所述终端设备可以为包括手机、平板电脑、笔记本电脑、台式电脑等可处理视频的终端设备。下面以手机为例说明本发明终端设备的工作方式。
参考图3，手机包括处理器、存储器、输入单元、显示单元等部件。本领域技术人员可以理解，图3中示出的手机结构并不构成对所有手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器可用于存储计算机程序以及各功能模块，处理器通过运行存储在存储器的计算机程序，从而执行手机的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如处理视频的功能)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其它易失性固态存储器件。
输入单元可用于接收用户输入的搜索关键字，以及产生与手机的用户设置以及功能控制有关的信号输入。具体地，输入单元可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元可用于显示用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元可采用液晶显示器、有机发光二极管等形式。处理器是手机的控制中心，利用各种接口和线路连接手机的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
在本发明实施例中，该终端设备所包括的处理器还具有以下功能：
获取视频中的人体图像；
检测所述人体图像中的肢体动作；
根据所述肢体动作匹配特效；
根据所述特效处理所述视频的图像，得到包含所述特效的视频。
此外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种根据肢体动作处理视频的方法，其特征在于，包括：
获取视频中的人体图像；
检测所述人体图像中的肢体动作；所述肢体动作包括当前肢体动作和前面i个数量的肢体动作；其中，i大于等于1；
确定所述肢体动作对应的动作组合中对应有特效，根据所述肢体动作匹配特效；所述特效为所述动作组合中获取到的i最大相对应的动作组合的特效；
根据所述特效处理所述视频的图像，得到包含所述特效的视频。
2.根据权利要求1所述的方法，其特征在于：所述检测所述人体图像中的肢体动作，根据所述肢体动作匹配特效，包括：
获取所述人体图像中当前时间的当前肢体动作和前面预置数量的肢体动作；
根据当前时间的当前肢体动作和前面预置数量的肢体动作，得到当前时间的当前肢体动作匹配的特效；
根据所述特效处理所述视频的图像，包括：
根据所述特效，处理所述视频中当前时间的图像。
3.根据权利要求2所述的方法，其特征在于：所述根据当前时间的当前肢体动作和前面预置数量的肢体动作，得到当前时间的当前肢体动作匹配的特效，包括：
将当前肢体动作，与最接近当前肢体动作的前面i个数量的肢体动作，构成第i个动作组合；得到包含n个动作组合的第一组合群；其中n为所述预置数量，大于等于2，i大于等于1，且小于等于n；
判断第一组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取i最大相对应的动作组合的特效；
若否，剔除最接近当前肢体动作的前面第一个的肢体动作；将当前肢体动作，与最接近当前肢体动作的前面j个数量的肢体动作，构成第j个动作组合；得到包含n-1个动作组合的第二组合群；其中j大于等于1，且小于等于n-1；
判断第二组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取j最大相对应的动作组合的特效；
若否，获取当前肢体动作的特效。
4.根据权利要求1所述的方法，其特征在于：所述获取视频中的人体图像，包括：
通过本终端摄像头实时录制视频；
获取所述实时录制的视频中当前时间的人体图像。
5.根据权利要求1所述的方法，其特征在于：所述获取视频中的人体图像，包括：
获取存储的视频；
获取整个视频中的全部人体图像。
6.根据权利要求5所述的方法，其特征在于：所述检测所述人体图像中的肢体动作，根据所述肢体动作匹配特效，包括：
检测所述全部人体图像中的肢体动作；将肢体动作按时间先后进行排序；
获取当前处理的当前肢体动作、前面预设数量的肢体动作和后面预设数量的肢体动作；
根据当前处理的当前肢体动作、前面预设数量的肢体动作和后面预设数量的肢体动作，得到当前时间的肢体动作匹配的特效；
根据所述特效处理所述视频的图像，包括：
根据所述特效，处理所述视频中当前肢体动作对应时间的图像。
7.根据权利要求6所述的方法，其特征在于：所述根据当前处理的当前肢体动作、前面预设数量的肢体动作和后面预设数量的肢体动作，得到当前时间的肢体动作匹配的特效，包括：
将当前肢体动作，与最接近当前肢体动作的前面k个数量的肢体动作，与最接近当前肢体动作的后面k个数量的肢体动作，构成第k动作组合；得到包含m个动作组合的第三组合群；其中m为所述预设数量，大于等于2，k大于等于1，且小于等于m；
判断第三组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取k最大相对的动作组合的特效；
若否，剔除最接近当前肢体动作的前面第1个的肢体动作和后面第1个的肢体动作；将当前肢体动作，与最接近当前肢体动作的前面x个数量的肢体动作，与最接近当前肢体动作的后面x个数量的肢体动作，构成第x动作组合；得到包含m-1个动作组合的第四组合群；其中x大于等于1，且小于等于m-1；
判断第四组合群中的动作组合是否对应有特效，若有，从有特效的动作组合中，获取x最大相对的动作组合的特效；
若否，获取当前肢体动作的特效。
8.根据权利要求1所述的方法，其特征在于：所述检测所述人体图像中的肢体动作，根据所述肢体动作匹配特效，包括：
检测所述人体图像中的肢体动作的类型和持续时间；
获取所述肢体动作的类型对应的特效组，从所述特效组中获取所述持续时间对应的特效。
9.根据权利要求8所述的方法，其特征在于：所述获取所述肢体动作的类型对应的特效组，从所述特效组中获取所述持续时间对应的特效，包括：
读取用户的属性，根据所述属性获取对应的特效组集合，根据所述属性调整所述持续时间；
从所述特效组集合中，获取所述肢体动作的类型对应的特效组；从所述特效组中，获取调整后的持续时间对应的特效。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1至9任一项所述的方法的步骤。
11.一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至9任意一项的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810089973.5A CN108289180B (zh) | 2018-01-30 | 2018-01-30 | 根据肢体动作处理视频的方法、介质和终端装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810089973.5A CN108289180B (zh) | 2018-01-30 | 2018-01-30 | 根据肢体动作处理视频的方法、介质和终端装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108289180A CN108289180A (zh) | 2018-07-17 |
| CN108289180B true CN108289180B (zh) | 2020-08-21 |
Family
ID=62836262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810089973.5A Active CN108289180B (zh) | 2018-01-30 | 2018-01-30 | 根据肢体动作处理视频的方法、介质和终端装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108289180B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108882025B (zh) | 2018-08-07 | 2019-12-10 | 北京字节跳动网络技术有限公司 | 视频帧处理方法和装置 |
| CN109086729B (zh) * | 2018-08-13 | 2022-03-01 | 成都云盯科技有限公司 | 通信行为检测方法、装置、设备及存储介质 |
| CN111103967A (zh) * | 2018-10-25 | 2020-05-05 | 北京微播视界科技有限公司 | 虚拟对象的控制方法和装置 |
| CN111107279B (zh) * | 2018-10-26 | 2021-06-29 | 北京微播视界科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN111105345B (zh) * | 2018-10-26 | 2021-11-09 | 北京微播视界科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN111107278B (zh) * | 2018-10-26 | 2022-03-01 | 北京微播视界科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN109492577B (zh) * | 2018-11-08 | 2020-09-18 | 北京奇艺世纪科技有限公司 | 一种手势识别方法、装置及电子设备 |
| CN109660739A (zh) * | 2018-11-13 | 2019-04-19 | 深圳艺达文化传媒有限公司 | 短视频特定效果的叠加方法及相关产品 |
| CN109462776B (zh) * | 2018-11-29 | 2021-08-20 | 北京字节跳动网络技术有限公司 | 一种视频特效添加方法、装置、终端设备及存储介质 |
| CN109348277B (zh) * | 2018-11-29 | 2020-02-07 | 北京字节跳动网络技术有限公司 | 运动像素视频特效添加方法、装置、终端设备及存储介质 |
| CN109495695A (zh) * | 2018-11-29 | 2019-03-19 | 北京字节跳动网络技术有限公司 | 运动物体视频特效添加方法、装置、终端设备及存储介质 |
| CN109525891B (zh) * | 2018-11-29 | 2020-01-21 | 北京字节跳动网络技术有限公司 | 多用户视频特效添加方法、装置、终端设备及存储介质 |
| CN109618183B (zh) * | 2018-11-29 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 一种视频特效添加方法、装置、终端设备及存储介质 |
| CN109474850B (zh) * | 2018-11-29 | 2021-07-20 | 北京字节跳动网络技术有限公司 | 运动像素视频特效添加方法、装置、终端设备及存储介质 |
| CN109600559B (zh) * | 2018-11-29 | 2021-07-23 | 北京字节跳动网络技术有限公司 | 一种视频特效添加方法、装置、终端设备及存储介质 |
| CN109688463B (zh) * | 2018-12-27 | 2020-02-18 | 北京字节跳动网络技术有限公司 | 一种剪辑视频生成方法、装置、终端设备及存储介质 |
| CN109803165A (zh) * | 2019-02-01 | 2019-05-24 | 北京达佳互联信息技术有限公司 | 视频处理的方法、装置、终端及存储介质 |
| CN109889892A (zh) * | 2019-04-16 | 2019-06-14 | 北京字节跳动网络技术有限公司 | 视频效果添加方法、装置、设备及存储介质 |
| CN109889893A (zh) * | 2019-04-16 | 2019-06-14 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置及设备 |
| CN110110142A (zh) * | 2019-04-19 | 2019-08-09 | 北京大米科技有限公司 | 视频处理方法、装置、电子设备及介质 |
| CN110336940A (zh) * | 2019-06-21 | 2019-10-15 | 深圳市茄子咔咔娱乐影像科技有限公司 | 一种基于双摄像头拍摄合成特效的方法和系统 |
| CN112396676B (zh) | 2019-08-16 | 2024-04-02 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN110807728B (zh) | 2019-10-14 | 2022-12-13 | 北京字节跳动网络技术有限公司 | 对象的显示方法、装置、电子设备及计算机可读存储介质 |
| CN111416991B (zh) * | 2020-04-28 | 2022-08-05 | Oppo（重庆）智能科技有限公司 | 特效处理方法和设备，及存储介质 |
| CN112906553B (zh) * | 2021-02-09 | 2022-05-17 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及介质 |
| CN113115099B (zh) * | 2021-05-14 | 2022-07-05 | 北京市商汤科技开发有限公司 | 一种视频录制方法、装置、电子设备以及存储介质 |
| CN113806306B (zh) * | 2021-08-04 | 2024-01-16 | 北京字跳网络技术有限公司 | 媒体文件处理方法、装置、设备、可读存储介质及产品 |
| CN114189738B (zh) * | 2021-12-17 | 2023-06-30 | 中国传媒大学 | 音效合成方法、装置、电子设备及存储介质 |
| CN114399536A (zh) * | 2022-01-19 | 2022-04-26 | 北京百度网讯科技有限公司 | 虚拟人视频的生成方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542247A (zh) * | 2010-09-27 | 2012-07-04 | 索尼公司 | 信息处理设备、信息处理方法以及程序 |
| CN103020648A (zh) * | 2013-01-09 | 2013-04-03 | 北京东方艾迪普科技发展有限公司 | 一种动作类型识别方法、节目播出方法及装置 |
| KR101500412B1 (ko) * | 2013-12-19 | 2015-03-09 | 현대자동차 주식회사 | 차량용 제스처 인식 장치 |
| CN106804007A (zh) * | 2017-03-20 | 2017-06-06 | 合网络技术（北京）有限公司 | 一种网络直播中自动匹配特效的方法、系统及设备 |
| CN107248124A (zh) * | 2017-05-22 | 2017-10-13 | 浙江精益佰汇数字技术有限公司 | 辅助教学用的移动终端及实现方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9962095B2 (en) * | 2013-04-23 | 2018-05-08 | Microsoft Technology Licensing, Llc | Optical heartrate tracking |
| US10295338B2 (en) * | 2013-07-12 | 2019-05-21 | Magic Leap, Inc. | Method and system for generating map data from an image |
-
2018
- 2018-01-30 CN CN201810089973.5A patent/CN108289180B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542247A (zh) * | 2010-09-27 | 2012-07-04 | 索尼公司 | 信息处理设备、信息处理方法以及程序 |
| CN103020648A (zh) * | 2013-01-09 | 2013-04-03 | 北京东方艾迪普科技发展有限公司 | 一种动作类型识别方法、节目播出方法及装置 |
| KR101500412B1 (ko) * | 2013-12-19 | 2015-03-09 | 현대자동차 주식회사 | 차량용 제스처 인식 장치 |
| CN106804007A (zh) * | 2017-03-20 | 2017-06-06 | 合网络技术（北京）有限公司 | 一种网络直播中自动匹配特效的方法、系统及设备 |
| CN107248124A (zh) * | 2017-05-22 | 2017-10-13 | 浙江精益佰汇数字技术有限公司 | 辅助教学用的移动终端及实现方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于KINECT的静态手势和上肢连续动作识别;白栋天;《中国优秀硕士学位论文全文数据库》;20161115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108289180A (zh) | 2018-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108289180B (zh) | 根据肢体动作处理视频的方法、介质和终端装置 | |
| CN109462776B (zh) | 一种视频特效添加方法、装置、终端设备及存储介质 | |
| CN111726536B (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
| CN108712661B (zh) | 一种直播视频处理方法、装置、设备及存储介质 | |
| US20170192500A1 (en) | Method and electronic device for controlling terminal according to eye action | |
| US9159151B2 (en) | Bringing a visual representation to life via learned input from the user | |
| CN110705390A (zh) | 基于lstm的形体姿态识别方法、装置及存储介质 | |
| CN112560605B (zh) | 交互方法、装置、终端、服务器和存储介质 | |
| CN111640202B (zh) | 一种ar场景特效生成的方法及装置 | |
| EP3792821A1 (en) | Action recognition using implicit pose representations | |
| US20200409471A1 (en) | Human-machine interaction system, method, computer readable storage medium and interaction device | |
| WO2016137728A1 (en) | Detect sports video highlights based on voice recognition | |
| CN110110118A (zh) | 妆容推荐方法、装置、存储介质及移动终端 | |
| WO2023273500A1 (zh) | 数据展示方法、装置、电子设备、计算机程序以及计算机可读存储介质 | |
| JP6366626B2 (ja) | 生成装置、生成方法、及び生成プログラム | |
| CN109978640A (zh) | 服饰试穿方法、装置、存储介质及移动终端 | |
| Essid et al. | A multi-modal dance corpus for research into interaction between humans in virtual environments | |
| CN107024990B (zh) | 一种吸引儿童自拍的方法及移动终端 | |
| CN106791437A (zh) | 一种全景图像拍摄方法及移动终端 | |
| WO2023279713A1 (zh) | 特效展示方法、装置、计算机设备、存储介质、计算机程序和计算机程序产品 | |
| US10885691B1 (en) | Multiple character motion capture | |
| CN108096833B (zh) | 基于级联神经网络的体感游戏控制方法及装置、计算设备 | |
| CN111797850A (zh) | 视频分类方法、装置、存储介质及电子设备 | |
| CN112333473B (zh) | 一种交互方法、装置以及计算机存储介质 | |
| Bernardes Jr et al. | Design and implementation of a flexible hand gesture command interface for games based on computer vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211122 Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd. Address before: Building B-1, North District, Wanda Commercial Plaza, Wanbo business district, No. 79, Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |