CN109889892A - 视频效果添加方法、装置、设备及存储介质 - Google Patents

视频效果添加方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109889892A
CN109889892A CN201910302874.5A CN201910302874A CN109889892A CN 109889892 A CN109889892 A CN 109889892A CN 201910302874 A CN201910302874 A CN 201910302874A CN 109889892 A CN109889892 A CN 109889892A
Authority
CN
China
Prior art keywords
video
window
target action
transfer
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910302874.5A
Other languages
English (en)
Inventor
卢艺帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201910302874.5A priority Critical patent/CN109889892A/zh
Publication of CN109889892A publication Critical patent/CN109889892A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例提供一种视频效果添加方法、装置、设备及存储介质,其中该方法包括获取到视频;基于预设窗口遍历所述视频,从所述视频中检测获得目标动作在所述视频中的时间位置;在所述视频的所述时间位置上添加与所述目标动作相对应的视频效果。本申请实施例提供的技术方案能够确保视频效果的出现时间与目标动作的出现时间一致,提高视频效果添加的准确性,使得视频效果与目标动作之间的配合更协调,从而取得更好的视频体验。

Description

视频效果添加方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频技术领域,尤其涉及一种视频效果添加方法、装置、设备及存储介质。
背景技术
在当前的视频制作过程中一般是通过在视频的特定播放时间上添加视频效果来使得该视频效果能够与特定用户动作相配合,以达到较好的视觉效果。比如,在一种常用的方式中可以通过在视频的特定时间上添加相应的视频效果,以使该视频效果与用户的打响指动作相配合,以得到相应的视频效果。
但是,在视频固定时间上添加视频效果的方式,常常会出现添加的视频效果与用户动作出现的时间不匹配或者匹配精确度低的问题,导致视频的效果不佳。
发明内容
本申请实施例提供一种视频效果添加方法、装置、设备及存储介质,用以确保视频效果的出现时间与目标动作的出现时间一致,提高视频效果添加的准确性。
本申请实施例第一方面提供一种视频效果添加方法,包括:获取到视频;基于预设窗口遍历所述视频,从所述视频中检测获得目标动作在所述视频中的时间位置;在所述视频的所述时间位置上添加与所述目标动作相对应的视频效果。
本申请实施例第二方面提供一种视频效果添加装置,该装置包括:
获取模块,用于获取到视频。
动作检测模块,用于基于预设窗口遍历所述视频,从所述视频中检测获得目标动作在所述视频中的时间位置。
添加模块,用于在所述视频的所述时间位置上添加与所述目标动作相对应的视频效果。
本申请实施例第三方面提供一种终端设备,该终端设备包括一个或多个处理器;一个或多个显示组件,用于显示视频的画面;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器执行上述第一方面所述的方法。
本申请实施例第四方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的方法。
基于以上各方面,本申请实施例通过在获取到视频之后,基于预设窗口遍历该视频,从视频中检测获得目标动作在该视频中的时间位置,并在该时间位置上添加与目标动作相对应的视频效果。由于本申请实施例是通过检测手段从视频中检测出目标动作所在的时间位置,并在该时间位置上添加视频效果的,因而能够确保添加得到的视频效果的出现时间与目标动作的出现时间一致,从而在时间上提高了视频效果添加的准确性,另外,视频效果与目标动作在时间上的高度一致性,也能够使得视频效果与目标动作之间的配合更协调,提高视频的视觉体验。
应当理解,上述发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征,亦非用于限制本申请的范围。本公申请的其它特征将通过以下的描述变得容易理解。
附图说明
图1是相关技术提供的一种视频效果添加方法的示意图;
图2是本申请一实施例提供的一种视频效果添加方法的流程图;
图3a-图3c是本申请实施例提供的打响指动作的分解动作示意图;
图4是本申请实施例提供的一种检测目标动作在视频中的时间位置的方法流程图;
图5是本申请实施例提供的一种手势图像的遍历示意图;
图6是本申请实施例提供的另一种检测目标动作在视频中的时间位置的方法流程图;
图7是本申请实施例提供的一种视频效果添加装置的结构示意图;
图8是本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例,然而应当理解的是,本申请可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是,本申请的附图及实施例仅用于示例性作用,并非用于限制本申请的保护范围。
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是相关技术提供的一种视频效果添加方法的示意图,在图1中,t1时刻表示预先设定的添加视频效果的时刻,即添加后的视频效果将在t1时刻出现,t2时刻是用户动作(比如,响指、张手等)实际出现的时间,t1与t3之间的时间段为视频效果播放的时间,t2与t4之间的时间段为用户动作持续的时间,如图1所示,由于相关技术是根据预先设定的固定时间来添加视频效果的,该视频添加时间可能与用户动作的实际出现时间不一致,此时视频效果和用户动作之间将会出现出现时间不一致的情况,另外,由二者出现时间不一致的问题,还可能导致,用户动作还没结束视频效果就提前结束,或者用户动作已经结束,视频效果还没结束的问题,这些问题将会给用户体验带来不好的影响。
针对相关技术存在的问题,本申请实施例提供了一种视频效果的添加方案,该方案通过检测手段检测出目标动作在视频中的时间位置,再将预先设定的与目标动作相对应的视频效果添加到视频的该时间位置上,使得视频效果的出现时间和目标动作的出现时间一致,从而达到了提高视频效果的添加的准确性的目的,增强了视频体验。
图2是本申请一实施例提供的一种视频效果添加方法的流程图,该方法可以由一种终端设备来执行,比如该终端设备可以是手机、平板电脑等具有视频播放和处理功能的电子设备,但不局限于手机和平板电脑。如图2所示,该方法包括如下步骤:
步骤101、获取到视频。
本实施例所称的视频是指包括目标动作的视频,其中,目标动作是指预先设定的可以添加视频效果的动作,比如,打响指、扮鬼脸、比心、打滚、汽车漂移等,但是在具体场景中可以不局限于上述这些动作。
本实施例中所称的目标动作的执行者可以是人或其他生物体,也可以是特定的非生物体,比如机器人或汽车等。
本实施例获取视频的方式可以有多种:
在一种实施方式中,本实施例获取终端设备上搭载的拍摄设备实时拍摄得到的视频,比如,当终端设备被具体为手机时,本实施例目标获取的视频可以是由手机的前置摄像头或者后置摄像头实时拍摄得到的视频。
在另一种实施方式中,本实施例获取存储在指定存取介质或者存储地址中的视频。仍以手机为例,在这种方式中,本实施例目标获取的视频可以是存储在手机存储介质中的视频,也可以是通过无线(比如,蓝牙)/有线(比如光纤)等传输方式从网络或其他设备上下载得到的视频。
当然上述两种方式仅是为了清楚所做的示例性说明而不是对视频获取方式的唯一限定。
步骤102、基于预设窗口遍历所述视频,从所述视频中检测获得目标动作在所述视频中的时间位置。
本实施例所涉及的预设窗口的大小可以根据需要进行设定,预设窗口的大小可以用窗口可包含的做大视频帧的个数来表示,比如在一个示例性的实施例中可以将本实施例中的预设窗口理解为最多可包含三个视频帧的窗口。
在本实施例中,基于预设窗口遍历视频的方式可以有多种:
在一种实施方式中,可以直接将获取到的视频作为遍历的对象,即通过预设窗口对视频包含的所有视频帧进行遍历,比如,在一个示例中,假设视频总共包括一千三百帧,那么在第一种实施方式中,需要通过预设窗口对所有的一千三百帧进行遍历。
在另一种实施例方式中,为了降低遍历的视频帧数,在保证不丢失重要视频图像(比如目标动作的图像)的前提下,可以设置适当的抽样间隔,并基于该抽样间隔从视频中抽取获得多个视频帧,进一步的,再通过预设窗口对抽样获得的多个视频帧进行遍历。比如,在一个示例中,可以每间隔五帧抽取一帧,再基于预设窗口遍历抽取得到的所有视频帧。
当然上述两种方式仅是为了清楚所做的示例性说明而不是对本申请遍历方式的唯一限定。
示例的,在上述遍历方法的基础上,可以进一步结合预设模型对每个窗口包含的动作进行识别,这里要说明的是,一个完整的目标动作可以被拆分为多个分动作,若多个连续窗口所包含的分动作在时间上的排序与构成目标动作的分动作的排序一致,则确定该多个窗口中包括目标动作,此时确定该多个窗口在视频中的时间位置为目标动作在视频中的时间位置。
为了更好的说明,下面以打响指为例,对打响指动作的检测方法以及打响指动作在视频中的时间位置的确定方法进行示例性说明。
示例的,图3a-图3c是本申请实施例提供的打响指动作的分解动作示意图,其中,图3a为打响指动作的起始动作,图3b为打响指动作的中间动作,图3c为打响指动作的结束动作,假设在两个连续的窗口中,在第一个窗口中检测到图3a和图3b所示的起始动作和中间动作,在第二个窗口中检测到图3b和图3c所示的中间动作和结束动作,则确定该两个窗口中包括打响指动作,从而基于该两个窗口中的视频帧在视频中的时间位置,就可以确定出打响指动作在视频中的时间位置。
另外,假设在第二个窗口后的第三个窗口中也包括打响指动作的分动作,但是该窗口中的所有视频帧均包括图3c所示的结束动作,那么实际上一个窗口中同一种打响指的分动作只需要识别出一个就可以了,因此,此时可认为第三个窗口中的一个视频帧(比如窗口中的第一个视频帧)有该种分动作,默认其他视频帧没有打响指动作的分动作。
当然上述示例仅为示例说明而不是对本申请的唯一限定。
步骤103、在所述视频的所述时间位置上添加与所述目标动作相对应的视频效果。
其中,本实施例中所称的视频效果是一种预先设置好的,用于配合某种动作,以增加视频趣味性或显示效果的显示样式。
在实际场景中每个预设动作(包括目标动作)对应一个或多个视频效果,在执行视频效果添加操作时,可以根据动作从一个或多个视频效果中选择一个添加到视频的相应时间位置上,从而使得视频效果与动作相配合,提高视频显示效果。
本实施例通过在获取到视频之后,基于预设窗口遍历该视频,从视频中检测获得目标动作在该视频中的时间位置,并在该时间位置上添加与目标动作相对应的视频效果。由于本实施例是通过检测手段从视频中检测出目标动作所在的时间位置,并在该时间位置上添加视频效果的,因而能够确保添加得到的视频效果的出现时间与目标动作的出现时间一致,从而在时间上提高了视频效果添加的准确性,另外,视频效果与目标动作在时间上的高度一致性,也能够使得视频效果与目标动作之间的配合更协调,提高视频的视觉体验。
下面对上述实施例进行进一步的扩展和优化。
在一个示例性的实施例中,为了减少遍历时间,提高效率,在执行基于预设窗口遍历视频,从视频中检测获得目标动作在视频中的时间位置的操作时,可以先基于预设抽样间隔,从视频中抽取获得多个视频帧,再基于预设窗口遍历该多个视频帧,从该多个视频帧中检测获得目标动作,以及目标动作在视频中的时间位置。其中,在执行基于预设窗口遍历多个视频帧,从多个视频帧中检测获得目标动作,以及目标动作在视频中的时间位置的操作时,可以采用多种实施方式:
示例的,图4是本申请实施例提供的一种检测目标动作在视频中的时间位置的方法流程图,如图4所示,该方法在图2实施例的基础上包括如下步骤:
步骤201、在每个视频帧中检测生物体上用于执行所述目标动作的部位,其中,若所述视频帧中包括所述部位,则从所述视频帧中截取获得所述部位的图像。
由于在视频中可能不是所有的时间、所有的视频帧上都存在目标动作的,并且目标动作的执行是需要依托于生物体上的某一部位来执行的,因此,在执行检测目标动作之前可以先从得到的所有视频帧中识别出包含执行目标动作的部位的视频帧,再在这些视频帧的基础上进一步的执行目标动作的检测。这样不但能够减少被执行目标动作检测的视频帧的数量,提高检测效率,还能够排除其他不包含上述部位的视频帧对目标动作检测的影响,提高目标动作检测的准确性。
另外,本实施例从视频帧中截取包含执行目标动作的部位的图像,并将该图像作为检测目标动作的基础,能够进一步减少检测操作的计算量,提高检测的准确度。
步骤202、基于预设窗口遍历截取获得的所有图像,从所述所有图像中检测获得所述目标动作,以及所述目标动作在所述视频中的时间位置。
其中,本实施例在执行基于预设窗口遍历截取获得的所有图像,从所述所有图像中检测获得所述目标动作,以及所述目标动作在所述视频中的时间位置的步骤时,其可采用的实施方式有多种:
在一种实施方式中,可以将每个窗口中包含的所有图像作为预设模型的输入,该模型的输出为窗口所对应的分动作,这样在识别出所有窗口对应的分动作后,若存在连续的多个窗口,该多个窗口包括构成目标动作的所有分动作,且各分动作在时间上的排序与构成目标动作的分动作的排序一致,则确定该多个窗口中包括目标动作,该多个窗口在视频中所处的时间位置,即为目标动作在视频中的时间位置。
在另一种实施方式中,可以将窗口中的每个图像作为识别对象,采用预设窗口遍历所有图像,针对每个窗口中的每个图像,采用一个或多个预设的分类模型对窗口中的每个图像进行识别,获得每个图像中包含的分动作,以及该分动作在全部分动作中的执行顺序,再基于每个窗口中包含的各类分动作的数量,确定各窗口对应的分动作,比如,在一种可行的设计中,可以确定窗口中包含的个数最多的分动作为窗口对应的分动作,当然这里仅是给出了一种可行的方式,但并不是唯一可实现的方式。当相邻的多个窗口中包括构成目标动作的全部分动作,且该多个窗口对应的分动作的排序与构成目标动作的分动作的排序一致,则确定该多个窗口中包括目标动作,此时将该多个窗口中的第一个窗口作为目标动作的起始窗口,将该多个窗口中的最后一个窗口作为目标动作的结束窗口,由起始窗口和结束窗口,就可以得到目标动作,以及目标动作在视频中的时间位置。也就是说,在本实施例中可以基于相邻窗口之间的分动作的执行顺序识别得到目标动作,再根据相邻窗口之间的分动作的执行顺序,确定目标动作的起始窗口和结束窗口,从而基于所述起始窗口和结束窗口,得到目标动作以及目标动作在视频中的时间位置。
举例来说,图5是本申请实施例提供的一种手势图像的遍历示意图,在图5中示例性的示出了6个手势图像,其中一个方框表示一个手势图像,数字“10”到数字“30”用于表示分动作的分类,其中,数字“10”表示手势图像中包括如图3a所示的打响指的起始动作,数字“20”表示手势图像中包括如图3b所示的中间动作,数字“30”表示手势图像中包括如图3c所示的结束动作。在图5中预设窗口的大小为3,及一个预设窗口中包括3个手势图像。
如图5所示,图5中包括两个窗口,其中,第一个窗口包括两个分动作为“10”的手势图像,一个分动作为“20”的手势图像,第二个窗口中包括一个分动作为“20”的手势图像和两个分动作为“30”的手势图像。在第一个窗口中,分动作“10”的个数超过分动作“20”的个数,因此第一个窗口对应的分动作为“10”,第二个窗口中分动作“30”的个数超过分动作“20”的个数,因此第二个窗口对应的分动作为“30”由于两个窗口统共包括构成打响指动作的全部三个分动作“10”-“30”,且两个窗口对应的分动作的执行顺序为“10”到“30”,该顺序与构成打响指动作的分动作的执行顺序一致,因此,确定图5所示的两个窗口中包括打响指动作,其中从第一个手势图像到第六个手势图像在视频中的时间位置为打响指动作在视频中的时间位置。
当然上述仅为举例说明而不是对本申请的唯一限定。
图4所示的检测方法,通过在每个视频帧中检测生物体上用于执行目标动作的部位,并从视频帧中截取该部位的图像;基于截取获得的所有图像来检测获得目标动作在视频中的时间位置。减少了用于执行目标动作检测的视频帧的数量,提高了目标动作的检测效率,排除可其他不包含上述部位的视频帧对目标动作检测的影响,提高了目标动作检测的准确性。并且通过从视频帧中截取包含执行目标动作的部位的图像,并将该图像作为检测目标动作的基础,能够进一步减少单个视频帧的检测范围,提高检测效率和准确度。
示例的,图6是本申请实施例提供的另一种检测目标动作在视频中的时间位置的方法流程图,如图6所示,该方法在图2实施例的基础上包括如下步骤:
步骤301、基于预设窗口遍历所述多个视频帧。
步骤302、针对每个窗口,基于该窗口中包含的视频帧,采用预设模型检测获得该窗口对应的分动作,以及所述分动作在整个目标动作中的执行顺序。
步骤303、基于各窗口对应的分动作以及相邻窗口之间的分动作的执行顺序,得到所述目标动作。
步骤304、基于所述目标动作对应的各窗口在所述视频中的时间位置,确定所述目标动作的时间位置。
在本实施例中涉及到的预设模型以窗口中包括的全部视频帧为输入,输出为该窗口对应的分动作(在窗口中不包括目标动作的分动作时,输出的是窗口中包括的分动作为空),以及该分动作在整个目标动作的分动作中的执行顺序。该模型可以采用现有的任意一种模型训练方法训练获得。
仍以图5为例,将第一个窗口的三个手势图像输入预设模型后,该模型输出该窗口对应的分动作的类别为“10”,将第二个窗口的是哪个手势图像输入预设模型后,模型输出该窗口对应的分动作的类别为“30”,分动作“10”到分动作“30”的执行顺序与构成打响指动作的分动作的执行顺序一致,所以确定该两个窗口中包括打响指动作。
当然这里仅为示例说明而不是对本申请的唯一限定。
本实施例将窗口中的视频帧作为模型的输入,通过模型识别窗口对应的分动作,以及该分动作的执行顺序,具有较高的识别效率。
图7是本申请实施例提供的一种视频效果添加装置的结构示意图,如图7所示,装置70包括:
获取模块71,用于获取到视频;
动作检测模块72,用于基于预设窗口遍历所述视频,从所述视频中检测获得目标动作在所述视频中的时间位置;
添加模块73,用于在所述视频的所述时间位置上添加与所述目标动作相对应的视频效果。
在一种实施方式中,所述动作检测模块72,包括:
抽样子模块,用于基于预设抽样间隔,从所述视频中抽取获得多个视频帧;
检测子模块,用于基于预设窗口遍历所述多个视频帧,从所述多个视频帧中检测获得目标动作,以及所述目标动作在所述视频中的时间位置。
在一种实施方式中,所述检测子模块,包括:
第一检测单元,用于在每个视频帧中检测生物体上用于执行目标动作的部位,其中,若所述视频帧中包括所述部位,则从所述视频帧中截取获得所述部位的图像;
第二检测单元,用于基于预设窗口遍历截取获得的所有图像,从所述所有图像中检测获得所述目标动作,以及所述目标动作在所述视频中的时间位置。
在一种实施方式中,所述第二检测子单元,用于:
针对截取获得的每个图像,从所述图像中检测获得所述部位在所述图像中执行的分动作,以及该分动作在整个目标动作中的执行顺序;
采用预设窗口遍历所述所有图像,基于各窗口中包括的各分动作的数量,确定各窗口对应的分动作;
基于相邻窗口之间的分动作的执行顺序,识别得到目标动作;
基于所述目标动作对应的各窗口在所述视频中处于的时间位置,确定所述目标动作在所述视频中的时间位置。
在一种实施方式中,所述第二检测子单元在执行基于各窗口中包括的各分动作的数量,确定各窗口对应的分动作的操作时,用于:
针对每个窗口,确定所述窗口中包含的个数最多的分动作为所述窗口对应的分动作。
在一种实施方式中,所述第二检测子单元在执行基于相邻窗口之间的分动作,识别得到目标动作的操作时,用于:
根据相邻窗口之间的分动作的执行顺序,确定目标动作的起始窗口和结束窗口;
基于所述起始窗口和结束窗口,得到所述目标动作。
在一种实施方式中,所述检测子模块,包括:
遍历单元,用于基于预设窗口遍历所述多个视频帧;
第三检测单元,用于基于各窗口对应的分动作以及相邻窗口之间的分动作的执行顺序,得到所述目标动作,以及基于所述目标动作对应的各窗口在所述视频中的时间位置,确定所述目标动作的时间位置。
在一种实施方式中,所述目标动作包括打响指的动作。
本实施例提供的装置,能够用于执行图2-图6中任一实施例所示的方法,其执行方式和有益效果类似,在这里不再赘述。
图8是本申请实施例提供的一种终端设备的结构示意图,如图8所示,终端设备80包括:一个或多个处理器81;一个或多个显示组件82,用于显示视频的画面;存储装置83,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器81执行,使得所述一个或多个处理器执行图2-图6中任一实施例所示的方法,其执行方式和有益效果类似,在这里不再赘述。
本申请实施例还提供在一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述图2-图6中任一实施例所示的方法,其执行方式和有益效果类似,在这里不再赘述。。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (18)

1.一种视频效果添加方法,其特征在于,包括:
获取到视频;
基于预设窗口遍历所述视频,从所述视频中检测获得目标动作在所述视频中的时间位置;
在所述视频的所述时间位置上添加与所述目标动作相对应的视频效果。
2.根据权利要求1所述的方法,其特征在于,所述基于预设窗口遍历所述视频,从所述视频中检测获得目标动作在所述视频中的时间位置,包括:
基于预设抽样间隔,从所述视频中抽取获得多个视频帧;
基于预设窗口遍历所述多个视频帧,从所述多个视频帧中检测获得目标动作,以及所述目标动作在所述视频中的时间位置。
3.根据权利要求2所述的方法,其特征在于,所述基于预设窗口遍历所述多个视频帧,从所述多个视频帧中检测获得目标动作,以及所述目标动作在所述视频中的时间位置,包括:
在每个视频帧中检测生物体上用于执行所述目标动作的部位,其中,若所述视频帧中包括所述部位,则从所述视频帧中截取获得所述部位的图像;
基于预设窗口遍历截取获得的所有图像,从所述所有图像中检测获得所述目标动作,以及所述目标动作在所述视频中的时间位置。
4.根据权利要求3所述的方法,其特征在于,基于预设窗口遍历截取获得的所有图像,从所述所有图像中检测获得所述目标动作,以及所述目标动作在所述视频中的时间位置,包括:
针对截取获得的每个图像,从所述图像中检测获得所述部位在所述图像中执行的分动作,以及该分动作在整个目标动作中的执行顺序;
采用预设窗口遍历所述所有图像,基于各窗口中包括的各分动作的数量,确定各窗口对应的分动作;
基于相邻窗口之间的分动作的执行顺序,识别得到所述目标动作;
基于所述目标动作对应的各窗口在所述视频中处于的时间位置,确定所述目标动作在所述视频中的时间位置。
5.根据权利要求4所述的方法,其特征在于,所述基于各窗口中包括的各分动作的数量,确定各窗口对应的分动作,包括:
针对每个窗口,确定所述窗口中包含的个数最多的分动作为所述窗口对应的分动作。
6.根据权利要求4所述的方法,其特征在于,所述基于相邻窗口之间的分动作的执行顺序,识别得到所述目标动作,包括:
根据相邻窗口之间的分动作的执行顺序,确定目标动作的起始窗口和结束窗口;
基于所述起始窗口和结束窗口,得到所述目标动作。
7.根据权利要求2所述的方法,其特征在于,所述基于预设窗口遍历所述多个视频帧,从所述多个视频帧中检测获得目标动作,以及所述目标动作在所述视频中的时间位置,包括:
基于预设窗口遍历所述多个视频帧;
针对每个窗口,基于该窗口中包含的视频帧,采用预设模型检测获得该窗口对应的分动作,以及所述分动作在整个目标动作中的执行顺序;
基于各窗口对应的分动作以及相邻窗口之间的分动作的执行顺序,得到所述目标动作;
基于所述目标动作对应的各窗口在所述视频中的时间位置,确定所述目标动作的时间位置。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述目标动作包括打响指的动作。
9.一种视频效果添加装置,其特征在于,包括:
获取模块,用于获取到视频;
动作检测模块,用于基于预设窗口遍历所述视频,从所述视频中检测获得目标动作在所述视频中的时间位置;
添加模块,用于在所述视频的所述时间位置上添加与所述目标动作相对应的视频效果。
10.根据权利要求9所述的装置,其特征在于,所述动作检测模块,包括:
抽样子模块,用于基于预设抽样间隔,从所述视频中抽取获得多个视频帧;
检测子模块,用于基于预设窗口遍历所述多个视频帧,从所述多个视频帧中检测获得目标动作,以及所述目标动作在所述视频中的时间位置。
11.根据权利要求10所述的装置,其特征在于,所述检测子模块,包括:
第一检测单元,用于在每个视频帧中检测生物体上用于执行目标动作的部位,其中,若所述视频帧中包括所述部位,则从所述视频帧中截取获得所述部位的图像;
第二检测单元,用于基于预设窗口遍历截取获得的所有图像,从所述所有图像中检测获得所述目标动作,以及所述目标动作在所述视频中的时间位置。
12.根据权利要求11所述的装置,其特征在于,所述第二检测子单元,用于:
针对截取获得的每个图像,从所述图像中检测获得所述部位在所述图像中执行的分动作,以及该分动作在整个目标动作中的执行顺序;
采用预设窗口遍历所述所有图像,基于各窗口中包括的各分动作的数量,确定各窗口对应的分动作;
基于相邻窗口之间的分动作的执行顺序,识别得到目标动作;
基于所述目标动作对应的各窗口在所述视频中处于的时间位置,确定所述目标动作在所述视频中的时间位置。
13.根据权利要求12所述的装置,其特征在于,所述第二检测子单元在执行基于各窗口中包括的各分动作的数量,确定各窗口对应的分动作的操作时,用于:
针对每个窗口,确定所述窗口中包含的个数最多的分动作为所述窗口对应的分动作。
14.根据权利要求12所述的装置,其特征在于,所述第二检测子单元在执行基于相邻窗口之间的分动作,识别得到目标动作的操作时,用于:
根据相邻窗口之间的分动作的执行顺序,确定目标动作的起始窗口和结束窗口;
基于所述起始窗口和结束窗口,得到所述目标动作。
15.根据权利要求10所述的装置,其特征在于,所述检测子模块,包括:
遍历单元,用于基于预设窗口遍历所述多个视频帧;
第三检测单元,用于基于各窗口对应的分动作以及相邻窗口之间的分动作的执行顺序,得到所述目标动作,以及基于所述目标动作对应的各窗口在所述视频中的时间位置,确定所述目标动作的时间位置。
16.根据权利要求9-15中任一项所述的装置,其特征在于,所述目标动作包括打响指的动作。
17.一种终端设备,其特征在于,包括:
一个或多个处理器;
一个或多个显示组件,用于显示视频的画面;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一项所述的方法。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN201910302874.5A 2019-04-16 2019-04-16 视频效果添加方法、装置、设备及存储介质 Pending CN109889892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910302874.5A CN109889892A (zh) 2019-04-16 2019-04-16 视频效果添加方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910302874.5A CN109889892A (zh) 2019-04-16 2019-04-16 视频效果添加方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109889892A true CN109889892A (zh) 2019-06-14

Family

ID=66937480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910302874.5A Pending CN109889892A (zh) 2019-04-16 2019-04-16 视频效果添加方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109889892A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263743A (zh) * 2019-06-26 2019-09-20 北京字节跳动网络技术有限公司 用于识别图像的方法和装置
CN110263742A (zh) * 2019-06-26 2019-09-20 北京字节跳动网络技术有限公司 用于识别图像的方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766038A (zh) * 2014-01-02 2015-07-08 株式会社理光 手掌开合动作识别方法和装置
CN105512610A (zh) * 2015-11-25 2016-04-20 华南理工大学 一种基于感兴趣点位置信息的视频中人体动作识别方法
US20180012390A1 (en) * 2014-06-13 2018-01-11 Arcsoft Inc. Enhancing video chatting
CN107786549A (zh) * 2017-10-16 2018-03-09 北京旷视科技有限公司 音频文件的添加方法、装置、系统及计算机可读介质
CN108289180A (zh) * 2018-01-30 2018-07-17 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN108712661A (zh) * 2018-05-28 2018-10-26 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质
CN109525891A (zh) * 2018-11-29 2019-03-26 北京字节跳动网络技术有限公司 多用户视频特效添加方法、装置、终端设备及存储介质
CN109618183A (zh) * 2018-11-29 2019-04-12 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766038A (zh) * 2014-01-02 2015-07-08 株式会社理光 手掌开合动作识别方法和装置
US20180012390A1 (en) * 2014-06-13 2018-01-11 Arcsoft Inc. Enhancing video chatting
CN105512610A (zh) * 2015-11-25 2016-04-20 华南理工大学 一种基于感兴趣点位置信息的视频中人体动作识别方法
CN107786549A (zh) * 2017-10-16 2018-03-09 北京旷视科技有限公司 音频文件的添加方法、装置、系统及计算机可读介质
CN108289180A (zh) * 2018-01-30 2018-07-17 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN108712661A (zh) * 2018-05-28 2018-10-26 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质
CN109525891A (zh) * 2018-11-29 2019-03-26 北京字节跳动网络技术有限公司 多用户视频特效添加方法、装置、终端设备及存储介质
CN109618183A (zh) * 2018-11-29 2019-04-12 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263743A (zh) * 2019-06-26 2019-09-20 北京字节跳动网络技术有限公司 用于识别图像的方法和装置
CN110263742A (zh) * 2019-06-26 2019-09-20 北京字节跳动网络技术有限公司 用于识别图像的方法和装置
CN110263743B (zh) * 2019-06-26 2023-10-13 北京字节跳动网络技术有限公司 用于识别图像的方法和装置

Similar Documents

Publication Publication Date Title
CN110222611B (zh) 基于图卷积网络的人体骨架行为识别方法、系统、装置
CN104350509B (zh) 快速姿势检测器
CN107786549B (zh) 音频文件的添加方法、装置、系统及计算机可读介质
US9313444B2 (en) Relational display of images
CN109034397A (zh) 模型训练方法、装置、计算机设备及存储介质
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
US20220066569A1 (en) Object interaction method and system, and computer-readable medium
CN108875481A (zh) 用于行人检测的方法、装置、系统及存储介质
CN108875517A (zh) 视频处理方法、装置和系统及存储介质
CN111401238B (zh) 一种视频中人物特写片段的检测方法及装置
CN106484614B (zh) 一种核对图片处理效果的方法、装置及移动终端
CN109889892A (zh) 视频效果添加方法、装置、设备及存储介质
CN109271929A (zh) 检测方法和装置
CN114120382B (zh) 一种人脸识别系统的测试方法、装置、电子设备及介质
CN114463776A (zh) 跌倒识别方法、装置、设备及存储介质
CN104238729A (zh) 体感控制实现方法及系统
CN107688623A (zh) 一种实物检索方法、装置、设备及存储介质
WO2019137186A1 (zh) 一种食物识别方法及装置、存储介质、计算机设备
CN109040604A (zh) 拍摄图像的处理方法、装置、存储介质及移动终端
CN111258413A (zh) 虚拟对象的控制方法和装置
CN116069157A (zh) 虚拟对象显示方法、装置、电子设备及可读介质
CN111625101A (zh) 一种展示控制方法及装置
CN106354263A (zh) 基于面部特征追踪的实时人机交互系统及其工作方法
CN110740230A (zh) 图像采集方法、残影衰减参数测定系统、图像采集装置、电子设备及计算机可读存储介质
CN111625099B (zh) 一种动画展示控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190614

RJ01 Rejection of invention patent application after publication