CN111695505B - 视频处理方法及装置、电子设备和存储介质 - Google Patents

视频处理方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111695505B
CN111695505B CN202010531986.0A CN202010531986A CN111695505B CN 111695505 B CN111695505 B CN 111695505B CN 202010531986 A CN202010531986 A CN 202010531986A CN 111695505 B CN111695505 B CN 111695505B
Authority
CN
China
Prior art keywords
video
processing
parameters
videos
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010531986.0A
Other languages
English (en)
Other versions
CN111695505A (zh
Inventor
李艳民
刘冬清
霍秋亮
祝继伟
吕鹤立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010531986.0A priority Critical patent/CN111695505B/zh
Publication of CN111695505A publication Critical patent/CN111695505A/zh
Priority to JP2021520609A priority patent/JP2022541358A/ja
Priority to PCT/CN2020/130180 priority patent/WO2021248835A1/zh
Priority to US17/538,537 priority patent/US20220084313A1/en
Application granted granted Critical
Publication of CN111695505B publication Critical patent/CN111695505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/06Cutting and rejoining; Notching, or perforating record carriers otherwise than by recording styli
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本公开涉及一种视频处理方法及装置、电子设备和存储介质。所述方法包括:获取参考视频,其中,所述参考视频包括至少一个类型的处理参数;获取待处理视频;对所述待处理视频进行切分,得到所述待处理视频的多个帧序列;根据所述至少一个类型的处理参数,对所述多个帧序列中的至少部分进行剪辑处理,得到目标视频。

Description

视频处理方法及装置、电子设备和存储介质
技术领域
本公开涉及图像处理领域,尤其涉及一种视频处理方法及装置、电子设备和存储介质。
背景技术
随着互联网和5G网络的快速发展,对视频内容的展示应用越来越多,对大量视频中高效提取有用信息也成为了视频领域的一个重要发展方向。为了突出视频中的有用信息并进行展示,可以对视频素材进行剪辑。
在对视频素材进行剪辑的过程中,人工手动剪辑往往费时费力,不仅效率低且对人才的专业要求较高。如何实现高效且专业的视频剪辑,成为目前一个亟待解决的问题。
发明内容
本公开提出了一种视频处理方案。
根据本公开的一方面,提供了一种视频处理方法,包括:
获取参考视频,其中,所述参考视频包括至少一个类型的处理参数;获取待处理视频;对所述待处理视频进行切分,得到所述待处理视频的多个帧序列;根据所述至少一个类型的处理参数,对所述多个帧序列中的至少部分进行剪辑处理,得到目标视频。
在一种可能的实现方式中,所述目标视频与所述参考视频的模式匹配。
在一种可能的实现方式中,所述目标视频与所述参考视频的模式匹配,包括如下至少一项:所述目标视频的背景音乐与所述参考视频的背景音乐匹配;所述目标视频的属性与所述参考视频的属性匹配。
在一种可能的实现方式中,所述属性匹配包括如下至少一项:包括的转场次数属于同一类别,和/或,发生转场的时机属于同一时间范围;包括的场景数量属于同一类别,和/或,场景内容属于同一类别;对应片段包括的人物数量属于同一类别;剪辑风格属于同一类型。
在一种可能的实现方式中,所述根据所述至少一个类型的处理参数,对所述多个帧序列中的至少部分进行剪辑处理,得到目标视频,包括:根据所述至少一个类型的处理参数,分别对所述多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,每次重新组合得到一个第一中间视频;从所述多个第一中间视频中确定至少一个作为所述目标视频。
在一种可能的实现方式中,所述从所述多个第一中间视频中确定至少一个作为所述目标视频,包括:获取所述多个第一中间视频中每个第一中间视频的质量参数;根据所述质量参数,从所述多个第一中间视频中确定所述目标视频,其中,所述目标视频的质量参数的取值大于所述第一中间视频中除所述目标视频以外的其他视频的质量参数的取值。
在一种可能的实现方式中,在所述根据所述至少一个类型的处理参数,对所述多个帧序列中的至少部分进行剪辑处理,得到目标视频之前,所述方法还包括:获取目标时间范围,所述目标时间范围的取值与所述目标视频的时长匹配;所述根据所述至少一个类型的处理参数,分别对所述多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,包括:根据所述至少一个类型的处理参数以及所述目标时间范围,分别对所述多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,所述多个第一中间视频中每个第一中间视频的时长属于所述目标时间范围。
在一种可能的实现方式中,所述处理参数包括第一处理参数及第二处理参数;所述根据所述至少一个类型的处理参数,对所述多个帧序列中的至少部分进行剪辑处理,得到目标视频,包括:根据所述第一处理参数,对所述帧序列中的至少部分进行重新组合,得到第二中间视频;根据所述第二处理参数,对所述第二中间视频进行调整,得到目标视频。
在一种可能的实现方式中,所述第一处理参数包括用于反映所述参考视频基础数据的参数;和/或,所述第二处理参数至少包括如下一项:用于指示为第二中间视频添加附加数据的参数,以及用于指示剪切所述第二中间视频的参数。
在一种可能的实现方式中,所述根据所述第二处理参数,对所述第二中间视频进行调整,包括如下至少一项:在所述第二处理参数包括用于指示为第二中间视频添加附加数据的参数的情况下,对所述第二处理参数与所述第二中间视频进行合成;在所述第二处理参数包括用于指示剪切所述第二中间视频的参数的情况下,根据所述第二处理参数,调整所述第二中间视频的长度。
在一种可能的实现方式中,所述处理参数包括如下至少一项:转场参数、场景参数、人物参数、剪辑风格参数以及音频参数。
根据本公开的一方面,提供了一种视频处理装置,包括:
参考视频获取模块,用于获取参考视频,其中,所述参考视频包括至少一个类型的处理参数;待处理视频获取模块,用于获取待处理视频;切分模块,用于对所述待处理视频进行切分,得到所述待处理视频的多个帧序列;剪辑模块,用于根据所述至少一个类型的处理参数,对所述多个帧序列中的至少部分进行剪辑处理,得到目标视频。
在一种可能的实现方式中,所述目标视频与所述参考视频的模式匹配。
在一种可能的实现方式中,所述目标视频与所述参考视频的模式匹配,包括如下至少一项:所述目标视频的背景音乐与所述参考视频的背景音乐匹配;所述目标视频的属性与所述参考视频的属性匹配。
在一种可能的实现方式中,所述属性匹配包括如下至少一项:包括的转场次数属于同一类别,和/或,发生转场的时机属于同一时间范围;包括的场景数量属于同一类别,和/或,场景内容属于同一类别;对应片段包括的人物数量属于同一类别;剪辑风格属于同一类型。
在一种可能的实现方式中,所述剪辑模块用于:根据所述至少一个类型的处理参数,分别对所述多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,每次重新组合得到一个第一中间视频;从所述多个第一中间视频中确定至少一个作为所述目标视频。
在一种可能的实现方式中,所述剪辑模块进一步用于:获取所述多个第一中间视频中每个第一中间视频的质量参数;根据所述质量参数,从所述多个第一中间视频中确定所述目标视频,其中,所述目标视频的质量参数的取值大于所述第一中间视频中除所述目标视频以外的其他视频的质量参数的取值。
在一种可能的实现方式中,在所述剪辑模块之前,所述装置还用于:获取目标时间范围,所述目标时间范围的取值与所述目标视频的时长匹配;所述剪辑模块进一步用于:根据所述至少一个类型的处理参数以及所述目标时间范围,分别对所述多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,所述多个第一中间视频中每个第一中间视频的时长属于所述目标时间范围。
在一种可能的实现方式中,所述处理参数包括第一处理参数及第二处理参数;所述剪辑模块用于:根据所述第一处理参数,对所述帧序列中的至少部分进行重新组合,得到第二中间视频;根据所述第二处理参数,对所述第二中间视频进行调整,得到目标视频。
在一种可能的实现方式中,所述第一处理参数包括用于反映所述参考视频基础数据的参数;和/或,所述第二处理参数至少包括如下一项:用于指示为第二中间视频添加附加数据的参数,以及用于指示剪切所述第二中间视频的参数。
在一种可能的实现方式中,所述剪辑模块进一步用于:在所述第二处理参数包括用于指示为第二中间视频添加附加数据的参数的情况下,对所述第二处理参数与所述第二中间视频进行合成;和/或,在所述第二处理参数包括用于指示剪切所述第二中间视频的参数的情况下,根据所述第二处理参数,调整所述第二中间视频的长度。
在一种可能的实现方式中,所述处理参数包括如下至少一项:转场参数、场景参数、人物参数、剪辑风格参数以及音频参数。
根据本公开的一方面,提供了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述视频处理方法。
根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述视频处理方法。
在本公开实施例中,通过获取参考视频和待处理视频,对待处理视频进行切分来得到多个帧序列,从而根据参考视频至少一个类型处理参数对多个帧序列中的至少部分进行剪辑处理,来得到目标视频,通过上述过程,可以自动学习参考视频的处理参数,并根据学习到的处理参数对待处理视频自动进行相似的剪辑处理,从而得到与参考视频的剪辑方式类似的目标视频,既提升了剪辑效率,又提高了剪辑效果。对于不具备剪辑基础的用户,也可以通过上述实现方式,为用户提供更加便捷的处理视频的方案,即将用户需要进行编辑(包括但不限于剪辑)的待处理视频,处理成与参考视频相似的视频。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开一实施例的视频处理方法的流程图。
图2示出根据本公开一应用示例的示意图。
图3示出根据本公开一实施例的视频处理装置的框图。
图4示出根据本公开实施例的一种电子设备的框图。
图5示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图1示出根据本公开一实施例的视频处理方法的流程图,该方法可以应用于视频处理设备,在一种可能的实现方式中,视频处理设备可以是终端设备或者其他处理设备等。其中,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。
在一些可能的实现方式中,该视频处理方法也可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图1所示,在一种可能的实现方式中,所述视频处理方法可以包括:
步骤S11,获取参考视频。其中,参考视频包括至少一个类型的处理参数。
步骤S12,获取待处理视频。
步骤S13,对待处理视频进行切分,得到待处理视频的多个帧序列。
步骤S14,根据至少一个类型的处理参数,对多个帧序列中的至少部分进行剪辑处理,得到目标视频。
其中,本公开实施例中提出的视频处理方法,其具体的处理类型可以根据实际情况灵活决定,比如,可以是对视频进行剪辑、裁剪、优化或是拼接等等。在一种可能的实现方式中,本公开实施例提出的视频处理方法可以应用于对视频进行剪辑。后续各公开实施例均以对视频进行剪辑为例进行说明,其他的处理方式可以参考后续各公开实施例进行灵活扩展,不再举例说明。
待处理视频可以是任意具有处理需求的视频,在一个示例中,在本公开实施例中的视频处理方法应用于视频剪辑的情况下,待处理视频可以是具有剪辑需求的视频。待处理视频的实现形式在本公开实施例不做限制,根据实际的处理需求进行确定即可。待处理视频的数量在本公开实施例中也不做限制,可以为一个,也可以为多个。在待处理视频的数量为多个的情况下,可以根据参考视频的处理参数同时对多个待处理视频进行处理,也可以根据参考视频的处理参数分别对每个待处理视频进行处理,或是根据参考视频中的部分参数对其中的部分待处理视频进行处理,根据参考视频的另外部分参数对其余的部分待处理视频进行处理等,根据实际的处理需求进行灵活决定即可,在本公开实施例中不做限制。
在获取了待处理视频以后,可以通过步骤S13对待处理视频进行切分,来得到待处理视频的多个帧序列。在本公开实施例中,对待处理视频进行切分的方式不做限定,可以根据实际情况灵活选择,不局限于下述公开实施例。
在一种可能的实现方式中,可以根据实际需求将待处理视频切分成多个帧序列,这多个帧序列的时间长度可以相同也可以不同。切分的依据也可以根据实际情况灵活选择,在一种可能的实现方式中,可以根据至少一个剪切参数,对待处理视频进行剪切,得到待处理视频的至少一个帧序列。其中剪切参数的实现方式可以与处理参数相同,也可以与处理参数不同,不局限于下述公开实施例。在一种可能的实现方式中,剪切参数可以包括待处理视频的风格、场景、人物、动作、尺寸、背景、异常情况、抖动情况、光色差情况、方向以及帧质量中的一个或多个,在剪切参数包括多个参数的情况下,可以分别根据在每个剪切参数下对待处理视频分别进行剪切,得到每个剪切参数下的至少一个帧序列,也可以综合这些剪切参数,对待处理视频进行整体的一次剪切,得到综合所有剪切参数的至少一个帧序列。
在一种可能的实现方式中,对待处理视频进行切分的过程可以通过神经网络实现。在一个示例中,可以通过第一神经网络来对待处理视频进行切分,得到待处理视频的至少一个帧序列。其中,第一神经网络可以是具有视频切分功能的神经网络,其具体的实现方式可以根据实际情况灵活决定。在一种可能的实现方式中,可以建立一个初始第一神经网络,并通过第一训练数据对第一神经网络训练来得到第一神经网络。在一种可能的实现方式中,训练第一神经网络的第一训练数据可以为任意具有切分需求的视频,以及该视频对应的多个切分后的帧序列等;在一种可能的实现方式中,训练第一神经网络的第一训练数据可以为任意具有剪切需求的视频,且该视频上包含有剪切标注,用以表明待处理视频在哪些时间节点进行切分等。
参考视频通常指的是用户期望得到的视频模式,具体可以是任意或是指定的一个或是多个可以被参考的视频,即参考视频的内容以及参考视频的数量均可以根据实际情况灵活选择,在本公开实施例中不做限制。在一种可能的实现方式中,由于待处理视频可以根据参考视频的至少一个处理参数对待处理视频进行处理,因此,参考视频可以是经过处理的视频,比如可以是经过剪辑的视频。在一种可能的实现方式中,参考视频也可以是未经处理的视频,比如某些视频虽然未经过处理,但是其本身具有较好的视频风格或节奏,则这些视频也可以作为参考视频。具体选择何种视频作为参考视频,根据实际的处理需求进行决定即可。
参考视频的数量在本公开实施例中也不做限制,可以为一个也可以为多个,在参考视频的数量为多个的情况下,待处理视频可以同时根据多个参考视频的处理参数进行处理,或是依次根据每个参考视频的处理参数进行处理,或是从诸多参考视频中基于一定规则或是随机选取至少部分参考视频,并基于选取出的参考视频的处理参数进行处理,具体如何执行可以根据实际情况灵活决定,在本公开实施例中不做限制。后续各公开实施例均以参考视频为一个的情况进行说明,参考视频为多个的情况可以参考后续各公开实施例进行灵活扩展,不再详细说明。
参考视频的处理参数可以是根据处理需求所确定的参数,其实现形式和数量可以根据实际情况灵活决定,不局限于下述各公开实施例。在一种可能的实现方式中,在视频处理为对视频进行剪辑的情况下,处理参数可以是与剪辑相关的参数,在一种可能的实现方式中,处理参数可以包括如下至少一项:转场参数、场景参数、人物参数、剪辑风格参数以及音频参数。举例来说,处理参数可以有剪辑的转场参数(如转场时间点、转场效果、转场次数等)、视频剪辑的风格(快节奏或是慢节奏等)、场景(背景或风景等)、人物(何时出现人物、出现人物的数量等)、内容(剧情走向或是剧情类型等)以及背景音乐或是字幕等。具体根据参考视频中的哪个或哪些参数,来对待处理视频进行怎样地处理,得到处理结果,可以灵活选择,详见后续各公开实施例,在此先不做展开。
需要注意的是,本公开实施例中,步骤S11与步骤S12的实现顺序不受限制,即获取参考视频和获取待处理视频的顺序不受限制,可以同时获取,也可以先获取参考视频再获取待处理视频,或是先获取待处理视频再获取参考视频等,根据实际情况选择即可,在一种可能的实现方式中,步骤S11确保在步骤S14前执行即可。
在得到了参考视频以及待处理视频的多个帧序列以后,可以通过步骤S14,来基于至少一个类型的处理参数,来对多个帧序列中的至少部分进行剪辑处理。剪辑的方式可以根据实际情况灵活选择,不局限于下述各公开实施例。
在一种可能的实现方式中,可以在得到切分的多个帧序列后,根据参考视频的至少一个类型的处理参数,对切分后的帧序列进行拼接。在拼接的过程中,可以对切分得到的每个帧序列均拼接,也可以选定其中部分帧序列进行拼接,根据实际需求灵活选择即可。根据处理参数进行拼接的方式在本公开实施例中不做限制,可以根据处理参数的类型灵活决定。比如根据处理参数对应的场景,从切分后的帧序列中选择与场景比较相似的帧序列,按照转场参数进行拼接等。由于处理参数的实现方式较多,且具有多种组合方式,因此其他根据处理参数的拼接方式在此不一一列举。
在一种可能的实现方式中,根据至少一个类型的处理参数对帧序列进行剪辑的过程也可以通过神经网络实现。在一个示例中,可以通过第二神经网络来实现基于处理参数的帧序列拼接。需要注意的是,这里的第一神经网络与第二神经网络中的“第一”和“第二”仅用于区分神经网络在功能或实现用途上的不同,其具体的实现方式或训练方式可以相同,也可以不同,在本公开实施例中不做限定,后面出现的其他标号下的神经网络也与此类似,不再一一进行说明。
第二神经网络可以是具有根据处理参数对帧序列进行拼接和/或剪辑功能的神经网络,或是具有从参考视频中提取处理参数并根据处理参数对帧序列进行拼接和/或剪辑功能的神经网络,其具体的实现方式可以根据实际情况灵活决定。在一种可能的实现方式中,可以建立一个初始第二神经网络,并通过第二训练数据对第二神经网络训练来得到第二神经网络。第一训练数据与第二训练数据中的“第一”和“第二”仅用于区分不同神经网络下对应的训练数据,其实现方式可以相同,也可以不同,在本公开实施例中不做限定,后面出现的其他标号下的神经网络也与此类似,不再一一说明。在一种可能的实现方式中,训练第二神经网络的第二训练数据可以包括有多个帧序列、至少一个如上所述的处理参数以及基于处理参数得到的帧序列的拼接结果;在一种可能的实现方式中,训练第二神经网络的第二训练数据可以包括有多个帧序列、参考视频以及基于参考视频中的处理参数进行拼接得到的帧序列的拼接结果等。
通过对待处理视频进行切分得到多个帧序列,根据参考视频中的至少一个类型的处理参数进行剪辑处理,通过上述过程,可以依据待处理视频的实际情况对待处理视频进行切分,得到较为完整且与待处理视频本身内容较贴合的帧序列,再根据参考视频的处理参数对这些帧序列进行拼接,从而使得拼接后的视频,既与参考视频的处理风格类似,又具有和待处理视频贴近且较为完整的内容,从而提升最终得到的处理结果的真实性和完整性,有效提升视频处理的质量。
在一种可能的实现方式中,上述步骤S13和步骤S14的整体过程也可以通过神经网络实现。在一个示例中,可以通过第三神经网络来获取参考视频的处理参数,并根据获取的处理参数对待处理视频中切分后多个帧序列中的至少部分进行重新组合,得到处理结果。第三神经网络的实现形式不受限定,可以根据实际情况灵活选择。在一种可能的实现方式中,可以建立一个初始第三神经网络,并通过第三训练数据对第三神经网络训练来得到第三神经网络。在一种可能的实现方式中,训练第三神经网络的第三训练数据可以包括有如上所述的参考视频和待处理视频,除此以外,还可以包括有根据参考视频的参数对待处理视频进行剪辑处理所得到的处理结果视频;在一种可能的实现方式中,训练第三神经网络的第三训练数据可以包括有如上所述的参考视频和待处理视频,且待处理视频上包含有剪辑标注,用以表明待处理视频在哪些时间节点进行剪辑等。
随着处理参数类型的不同,步骤S14还可以有许多其他的实现形式,详见下述各公开实施例,在此先不做展开。
在本公开实施例中,通过获取参考视频和待处理视频,对待处理视频进行切分来得到多个帧序列,从而根据参考视频至少一个类型处理参数对多个帧序列中的至少部分进行剪辑处理,来得到目标视频,通过上述过程,可以自动学习参考视频的处理参数,并根据学习到的处理参数对待处理视频自动进行相似的剪辑处理,从而得到与参考视频的剪辑方式类似的目标视频,既提升了剪辑效率,又提高了剪辑效果。对于不具备剪辑基础的用户,也可以通过上述实现方式,为用户提供更加便捷的处理视频的方案,即将用户需要进行编辑(包括但不限于剪辑)的待处理视频,处理成与参考视频相似的视频。
通过上述各公开实施例可以看出,通过步骤S11~S14,可以得到目标视频,得到的目标视频的实现形式,可以根据步骤S11~S14的具体实现过程灵活决定,在本公开实施例中不做限定。在一种可能的实现方式中,目标视频可以与参考视频的模式匹配。
其中,模式匹配可以是目标视频与参考视频在某种或某些模式下,具有相同或相似的形式。具体包含哪些模式,可以根据实际情况灵活决定,不局限于下述各公开实施例。比如,目标视频与参考视频可被划分为相同的视频段,且对应视频段(即目标视频中的一个视频段与参考视频中的一个视频段)的时长、内容、风格等相同或是相似。
目标视频与参考视频的模式匹配,可以基于与参考视频类似的剪辑方式来得到目标视频,从而便于学习参考视频的风格,快捷高效地得到具有较好剪辑效果的目标视频。
在一种可能的实现方式中,目标视频与参考视频的模式匹配,可以包括如下至少一项:
目标视频的背景音乐与参考视频的背景音乐匹配;
目标视频的属性与参考视频的属性匹配。
其中,目标视频的背景音乐与参考视频的背景音乐匹配,可以是目标视频与参考视频采用相同的背景音乐,也可以是目标视频与参考视频采用相同类型的背景音乐。其中,相同类型的背景音乐可以是同类别的背景音乐和/或相似类别的背景音乐,比如在参考视频的音乐为某种类型的摇滚乐(如蓝调摇滚等)的情况下,目标视频的背景音乐可以是同类别的摇滚乐,即同样为蓝调摇滚,也可以为其他类型的摇滚乐,比如朋克或是重金属等等,在一些可能的实现方式中,目标视频的背景音乐也可以是与蓝调的节奏类似,但是非摇滚的音乐,比如爵士乐等。
上述公开实施例中已经提到,参考视频可以包括至少一个类型的处理参数,相应地,参考视频可以包含一种或多种属性,因此,目标视频的属性与参考视频的属性匹配,可以是某种属性的匹配,也可以是多种属性的匹配等。具体包含哪些属性可以根据实际情况灵活选择。
通过目标视频的背景音乐和/或属性与参考视频匹配,来实现目标视频与参考视频的模式匹配,可以根据实际情况灵活选择目标视频与参考视频的模式匹配程度,从而灵活地对目标视频进行剪辑,大大提升视频处理的灵活性和应用范围。
在一种可能的实现方式中,属性匹配可以包括如下至少一项:
包括的转场次数属于同一类别,和/或,发生转场的时机属于同一时间范围;
包括的场景数量属于同一类别,和/或,场景内容属于同一类别;
对应片段包括的人物数量属于同一类别;
剪辑风格属于同一类型。
其中,包括的转场次数属于同一类别,可以为目标视频与参考视频包括的转场次数一致,也可以为目标视频与参考视频包括的转场次数接近,或是目标视频与参考视频包括的转场次数位于同一区间,其中,目标视频与参考视频包括的转场次数位于的区间的划分方式可以根据实际情况灵活设定,比如每5次认定为一个区间等,在一个示例中,包括的转场次数属于同一类别,还可以包括,目标视频中转场次数与目标视频的时间长度的比值,与参考视频中转场次数与参考视频的时间长度的比值相等或接近等。
发生转场的时机属于同一时间范围,可以包括目标视频与参考视频在同一时间点或是相近时间点发生转场,也可以包括目标视频的转场时间点和目标视频的时间长度之间的比值,与参考视频的转场时间点和参考视频的时间长度之间的比值,相同或相近;由于目标视频与参考视频可能包含多个转场,在一种可能的实现方式中,目标视频可以与参考视频的每个转场的时机均属于同一时间范围,在一种可能的实现方式中,目标视频也可以与参考视频的某个或某些转场的时机属于同一时间范围。
包括的场景数量属于同一类别,可以是目标视频与参考视频的场景数量相同或相近,也可以是目标视频的场景数量相对于目标视频的时长,与参考视频的场景数量相对于参考视频的时长,相同或相近等。
场景内容属于同一类别,可以包括目标视频与参考视频包含相同或相似的场景,也可以是目标视频与参考视频的场景类别相同或相似等,其中,场景内容的类别划分可以根据实际情况灵活选择,在本公开实施例中不做限制,在一种可能的实现方式中,场景内容的类别可以通过较大范围进行划分,比如森林、天空以及海洋等等场景,均可以认为是属于同一自然类别的场景;在一种可能的实现方式中,场景内容的类别也可以划分得更加细致,比如森林与草地可以认为属于同一陆地风景类别的场景,而河流与云朵则可以分别认为属于水生风景以及天空风景等类别。
对应片段包括的人物数量属于同一类别,其中的对应片段以及人物数量类别也可以根据实际情况灵活决定。在一种可能的实现方式中,对应片段可以是目标视频以及参考视频中对应的场景或转场的片段等,在一种可能的实现方式中,对应片段也可以是目标视频以及参考视频中对应时间的帧序列等。人物数量属于同一类别,可以是参考视频与目标视频的对应片段中,包含的人物数量相同或是相近,比如可以将人物数量划分为多个区间,当目标视频与参考视频中的人物数量属于同一区间的情况下,可以认为目标视频与参考视频的对应片段包括的人物数量属于同一类别,具体人物数量区间的划分方式可以根据实际情况灵活设定,在本公开实施例中不做限定。在一种可能的实现方式中,可以将每2~5人等划分为同一区间,比如每5人认定为一个区间,则目标视频中的人物数量为3,参考视频中的任务数量为5的情况,可以认为目标视频与参考视频中的人物数量属于同一区间。
剪辑风格属于同一类型,可以是目标视频与参考视频具有相同或相近的剪辑风格,具体如何划分剪辑风格的类型,可以根据实际情况灵活决定,比如剪辑后视频节奏的快慢、剪辑是针对于人物还是风景等或是剪辑后视频的情感类型等。
通过包含转场次数、转场时机、场景数量、场景内容、人物数量以及剪辑风格等属性匹配方式,可以进一步提升目标视频与参考视频的灵活性和匹配程度,继而进一步提升视频剪辑的灵活性和应用范围。
如上述各公开实施例所述,步骤S14的实现方式可以根据实际情况灵活决定。因此,在一种可能的实现方式中,步骤S14可以包括:
步骤S141,根据至少一个类型的处理参数,分别对多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,每次重新组合得到一个第一中间视频;
步骤S142,从多个第一中间视频中确定至少一个作为目标视频。
通过上述公开实施例可以看出,在一种可能的实现方式中,在通过步骤S14得到目标视频的过程中,也可以首先根据参考视频的至少一个类型的处理参数,对多个帧序列中的至少部分进行重新组合,来得到多个第一中间视频,然后基于这些中间视频进行选择,来得到最终的目标视频。
其中,步骤S141中根据参考视频的处理参数对多个帧序列中的至少部分进行重新组合的过程,可以根据实际情况灵活选择,不局限于下述各公开实施例。
具体地,对切分后的多个帧序列中的哪些帧序列进行重新组合,可以根据参考视频的处理参数灵活决定。在一种可能的实现方式中,可以根据参考视频的转场时间点、转场次数、剪辑风格、任务或是内容等等,从切分后的多个帧序列中选取类似的帧序列,并根据参考视频最终的转场效果将选出的帧序列进行组合或拼接等。在一种可能的实现方式中,也可以根据参考视频的处理参数,将多个帧序列重新组合排列。重新组合的过程中,可以保留待处理视频的全部帧以及帧序列,也可以根据实际处理需求,删除掉其中的部分帧或是帧序列等,具体如何处理均可以根据参考视频的处理参数灵活选择,在本公开实施例中不做限定。
通过上述公开实施例还可以看出,在根据至少一个类型的处理参数,对多个帧序列中的至少部分进行重新组合的过程中,重新组合的次数可以为多次。其中,不同的重新组合,其使用的帧序列可以相同也可以不同,根据实际情况灵活决定即可。因此,在一种可能的实现方式中,多次重新组合的实现方式可以包括:
多次重新组合中至少两次重新组合使用的帧序列不同;或者,
多次重新组合中每次重新组合使用的帧序列均相同。
可以看出,在一种可能的实现方式中,可以通过使用不同的帧序列,来得到不同的第一中间视频,在一种可能的实现方式中,也可以通过使用相同的帧序列,通过不同的组合方式,来得到不同的第一中间视频,在一种可能的实现方式中,还可以部分使用不同的帧序列,通过相同或不同的组合方式来得到不同的第一中间视频,另一部分使用相同的帧序列,采用不同的组合方式来得到不同的第一中间视频。通过上述过程,可以大大丰富第一中间视频的数量和组合方式,从而可以便于选出更加合适的目标视频,提升视频处理过程的灵活性和处理质量。
如上述各公开实施例所述,基于参考视频的处理参数对多个帧序列中的至少部分进行重新组合的过程可以通过神经网络来进行实现,因此,在一种可能的实现方式中,步骤S141也可以通过神经网络来实现,其实现方式可以参考上述各公开实施例,在此不再赘述。需要注意的是,在本公开实施例中,实现步骤S141的神经网络可以输出多个结果,即实现步骤S141的神经网络可以基于输入的多个帧序列得到多个输出视频,输出的多个视频可以作为第一中间视频再进一步通过步骤S142进行选择,得到最终的目标视频。
在一种可能的实现方式中,第一中间视频还可以具有一些额外的限制条件,用来约束对多个帧序列中的至少部分进行重新组合的过程,具体采取何种限制条件可以根据实际需求进行灵活设定。在一种可能的实现方式中,第一中间视频的时间长度属于与目标视频的时间长度所匹配的某一时间范围。因此,在一种可能的实现方式中,在步骤S14之前,还可以包括:
获取目标时间范围,目标时间范围的取值与目标视频的时长匹配;
在这种情况下,步骤S141可以包括:
根据至少一个类型的处理参数以及目标时间范围,分别对多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,多个第一中间视频中每个第一中间视频的时长属于目标时间范围。
其中,目标时间范围可以是根据目标视频的时长所灵活确定的时间范围,其可以与目标视频的时间长度相同,也可以是在目标视频的时间长度的某一近似区间内,具体这一区间的长度以及偏移量的多少,可以根据需求灵活设定,在本公开实施例中不做限定。在一种可能的实现方式中,可以设置目标时间范围为待处理视频长度的一半或小于待处理视频长度的一半等。
通过上述公开实施例可以看出,在一种可能的实现方式中,可以设定第一中间视频的时间长度在目标时间范围内,即根据处理参数对待处理视频中的帧序列进行重新组合的过程中,可以通过设置目标时间范围,使得组合得到的视频均具有一定范围内的时长。
通过设置目标时间范围,使得组合得到的第一中间视频均具有一定的时长,可以有效地将一些时间长度不符合要求的组合结果直接进行排除,减小后续基于第一中间视频选定目标视频的难度,提升视频处理的效率和便捷性。
步骤S142的实现方式不受限定,即对第一中间视频进行选定得到目标视频的实现方式不受限定,具体详见下述各公开实施例,在此先不做展开。其中,具体选定几个第一中间视频作为目标视频,其数量不做限定,可以根据实际需求进行灵活设定。在一种可能的实现方式中,可以从选择多个第一中间视频中的一个作为目标视频,在一种可能的实现方式中,也可以从多个第一中间视频中选择多个作为目标视频。
通过根据参考视频的至少一个类型的处理参数对多个帧序列中的至少部分进行多次重新组合,得到至少多个第一中间视频,并选定至少一个第一中间视频作为目标视频,通过上述过程,可以根据参考视频的处理参数,对待处理视频进行多种可能的组合,并从中选择出较好的目标视频,既可以增加视频处理的灵活性,又可以提高目标视频的效果,提升视频处理的质量。
在一种可能的实现方式中,步骤S142可以包括:
步骤S1421,获取多个第一中间视频中每个第一中间视频的质量参数;
步骤S1422,根据质量参数,从多个第一中间视频中确定所述目标视频,其中,目标视频的质量参数的取值大于第一中间视频中除目标视频以外的其他视频的质量参数的取值。
通过上述公开实施例可以看出,在一种可能的实现方式中,可以选择质量最高的多个第一中间视频作为处理结果,其中,不同第一中间视频的质量高低可以依据质量参数来确定。质量参数的实现形式不受限定,可以根据实际情况进行灵活设定,在一种可能的实现方式中,质量参数可以包括有第一中间视频的拍摄时间、长度、地点、场景以及内容中的一个或多个,具体如何选择或组合可以根据实际情况灵活决定。比如,可以根据第一中间视频的拍摄时间是否连贯、第一中间视频的长度是否合适、第一中间视频中出现的地点是否与参考视频中的地点相似、第一中间视频中的场景切换是否生硬或是第一中间视频的内容中人物是否完整,故事是否流畅等,来确定第一中间视频的质量参数。在一种可能的实现方式中,还可以依据第一中间视频与参考视频的贴合程度来确定第一中间视频的质量参数。
步骤S1421的实现方式在本公开实施例中不做限定,即获取不同第一中间视频的质量参数的方式可以根据实际情况灵活决定。在一种可能的实现方式中,步骤S1421的过程可以通过神经网络实现。在一个示例中,可以通过第四神经网络来获取第一中间视频的质量参数。第四神经网络的实现形式不受限定,可以根据实际情况灵活选择。在一种可能的实现方式中,可以建立一个初始第四神经网络,并通过第四训练数据对第四神经网络训练来得到第四神经网络。在一种可能的实现方式中,训练第四神经网络的第四训练数据可以包括有如上所述的参考视频以及多个第一中间视频,且第一中间视频可以通过专业人士的质量打分进行标注,从而使得训练后的第四神经网络,可以得到较为准确的质量参数。
在得到了不同第一中间视频的质量参数以后,可以通过步骤S1422,根据质量参数从多个第一中间视频中选定目标视频,其中,目标视频的质量参数的取值可以大于第一中间视频中出目标视频以外的其他视频的质量参数的取值,即选定质量参数最高的一个或多个第一中间视频,来作为目标视频。具体如何从多个第一中间视频的质量参数中,找到质量参数最高的一个或多个第一中间视频来作为目标视频,其实现方式可以根据实际情况灵活决定。在一种可能的实现方式中,可以根据质量参数的高低,对多个第一中间视频进行排序,排序顺序可以为质量参数由高到低,也可以为质量参数由低到高,排序后,则可以根据需要选定的目标视频的数量,从排序的序列中选定N个第一中间视频来作为目标视频。相应地,在通过质量参数的排序来从第一中间视频中确定目标视频的情况下,第四神经网络也可以同时实现获取质量参数和质量参数排序的功能,即可以将多个第一中间视频输入到第四神经网络,第四神经网络通过质量参数的获取与排序,将不同第一中间视频的质量参数以及排序顺序作为输出。其中,N的取值在本公开实施例中不做限制,根据最终需要的目标视频的数量进行灵活设定即可。
通过获取多个第一中间视频中每个第一中间视频的质量参数,从而根据质量参数从多个第一中间视频中确定目标视频。通过上述过程,可在待处理视频的多种重新组合结果中,选出具有较好质量的目标视频,有效提升视频处理的质量。
如上所述,步骤S14可以具有多种可能的实现方式,且可以根据处理参数的类型不同而灵活发生变化,因此,在一种可能的实现方式中,处理参数可以包括第一处理参数及第二处理参数,步骤S14可以包括:
根据第一处理参数,对帧序列中的至少部分进行重新组合,得到第二中间视频;
根据第二处理参数,对第二中间视频进行调整,得到目标视频。
第一处理参数和第二处理参数可以是上述公开实施例中提到的处理参数中的部分参数,其具体的形式和包含的处理参数的种类可以根据实际情况灵活决定,在一种可能的实现方式中,第一处理参数可以包括用于反映参考视频基础数据的参数;和/或,第二处理参数至少包括如下一项:用于指示为第二中间视频添加附加数据的参数,以及用于指示剪切第二中间视频的参数。
通过上述公开实施例可以看出,第一处理参数可以是一些待处理视频在重新组合过程中,对重新组合的方式有参考价值的一些参数,比如上述公开实施例中提到的转场参数、场景参数以及人物参数等等,第二处理参数可以是视频处理过程中,与帧序列的重新组合关系较弱或是可以通过后期合成的一些参数,比如上述公开实施例中提到的音频参数(背景音乐、人声等)、字幕或是用于调整第二中间视频时长的时间长度参数等。
根据第一处理参数,对帧序列中的至少部分进行重新组合的过程可以参考上述根据处理参数对帧序列中的至少部分进行重新组合的各公开实施例,在此不再赘述。在一种可能的实现方式中,得到的第二中间视频可以为对帧序列中的至少部分进行重新组合所得到的结果;在一种可能的实现方式中,得到的第二中间视频也可以为对帧序列中的至少部分重新组合后,经过质量排序与选定所得到的结果。
在得到了第二中间视频后,可以根据第二处理参数对第二中间视频进行调整,调整的具体方式在本公开实施例中不做限定,不局限于下述公开实施例。在一种可能的实现方式中,对第二中间视频进行调整,可以包括如下至少一项:
在第二处理参数包括用于指示为第二中间视频添加附加数据的参数的情况下,对第二处理参数与第二中间视频进行合成;
在第二处理参数包括用于指示剪切第二中间视频的参数的情况下,根据第二处理参数,调整第二中间视频的长度。
其中,由于上述公开实施例已经提过,第二处理参数可以是视频处理过程中,与帧序列的重新组合关系较弱或是可以通过后期合成的一些参数,因此,在一种可能的实现方式中,可以将第二处理参数与第二中间视频进行合成,比如可以将背景音乐与第二中间处理进行合成,或是将字幕与第二中间视频进行合成,或是将字幕与背景音乐均与第二中间视频进行合成等。
除此之外,还可以根据第二处理参数,调整第二中间视频的长度。在一种可能的实现方式中,可能对最终得到的目标视频的时间长度具有要求,因此,可以根据第二处理参数的长度,灵活调整第二中间视频的长度。在一种可能的实现方式中,第二中间视频可以是第一中间视频通过质量排序所选定的结果,由于上述公开实施例中提到,第一中间视频的时间长度可能本身已经属于目标时间范围,因此在这种情况下,可以仅对第二中间视频的长度进行微调,使得其严格符合处理结果要求的长度等。
通过对第二处理参数与第二中间视频进行合成,和/或,根据第二处理参数,调整第二中间视频的长度,通过上述过程,可以根据第二处理参数,进一步提升经过处理得到的视频的质量,从而进一步提升视频处理的效果。
通过上述公开实施例可以看出,在一种可能的实现方式中,可以根据第一处理参数来对待处理视频中的至少部分帧序列进行重新组合,得到第二中间视频,然后根据第二处理参数对第二中间视频进行进一步调整,来得到最终的处理结果。即在对待处理视频的重新组合过程中,可以仅关注无需后期调整的第一处理参数,来提升待处理视频重新组合的效率,从而提升整个视频处理过程的效率。
另外,本公开实施例中提出的视频处理方法,其中出现的多个神经网络(第一神经网络到第四神经网络等),可以根据视频处理的实际过程,进行灵活组合或合并,从而基于任意形式的神经网络来实现视频处理过程,具体的组合与合并方式不受限定,本公开提出的各种实施例仅为示意性的组合方式,实际应用过程中,不局限于本公开提出的各种实施例。
在一种可能的实现方式中,本公开实施例还公开了一应用示例,该应用示例提出了一种视频剪辑方法,可以基于参考视频实现对待处理视频的自动剪辑。
图2示出根据本公开一应用示例的示意图,如图所示,本公开应用示例提出的视频剪辑的过程可以为:
第一步,待处理视频的拆分,得到多个帧序列
从图中可以看出,在本公开应用示例中,首先可以将多个原始视频作为待处理视频,对这些待处理视频进行拆分,拆分的标准可以根据实际情况进行灵活设定,比如可以按照待处理视频的风格、场景、人物、动作、尺寸、背景、异常部分、抖动部分、光色差部分、、方向以及片段质量等拆分成若干片段。
在本公开应用示例中,可以通过一个具有视频拆分功能的神经网络,实现对待处理视频的拆分,即将多个原始视频作为待处理视频输入到具有视频拆分功能的神经网络中,并将该神经网络输出的多个帧序列作为拆分结果。其中,具有视频拆分功能的神经网络的实现形式可以参考上述公开实施例中提到的第一神经网络,在此不再赘述。
第二步,基于参考视频,对拆分后得到的多个帧序列进行重新剪辑,得到最终视频作为目标视频
从图中可以看出,在本公开应用示例中,基于参考视频对拆分后得到的多个帧序列进行重新剪辑的过程,可以通过一个具有剪辑功能的神经网络进行实现。在应用过程中,可以将拆分得到的多个帧序列以及参考视频输入到具有剪辑功能的神经网络中,并将该神经网络输出的视频作为目标视频。
进一步地,从图中可以看出,该具有剪辑功能的神经网络具体实现过程可以包括:
学习参考视频:具有剪辑功能的神经网络可以检测参考视频中的处理参数,如视频和音频的场景、内容、人物、风格、转场效果以及音乐等,并对这些处理参数进行学习分析。
帧序列重组:对已拆分的多个帧序列按照目标时间范围(比如2分钟视频),生成N(N>1)个第一中间视频,并基于每个第一中间结果的质量参数,如拍摄时间、长度、地点、场景、第一中间结果中人物和第一中间结果中的事件对多个第一中间结果进行打分,排序选出一个或多个评分较高的第一中间结果,其中,目标时间范围可以根据实际情况灵活设定(比如可以设定为待处理视频长度的一半或更短)。
音视频合成:对已选取的具有较高评分的一个或多个第一中间视频,按照参考视频的剪辑风格或音乐节奏进行合成。举例来说,在需要剪辑一个时间长度为60秒的最终视频的情况下,可以从大于等于60秒的参考视频中提取60秒的音乐、转场和点位,再对上述得到的多个长度大于60秒的第一中间结果(比如可以选取大于90秒的第一中间结果)进行音乐和转场效果合成(如果合成后的视频长度大于要求的长度,比如60秒,则可以对超出长度的部分再次进行调整,以确保最终视频是60秒)。
上述具有剪辑功能的神经网络的训练方式可以参考上述各公开实施例,在此不再赘述。
通过本公开应用示例,可以通过神经网络对视频或是直播视频进行自动剪辑,极大程度提升视频行业中视频的后期处理效率。
需要注意的是,上述应用示例提出的方法,除了可以应用于以上提到的视频剪辑的场景以外,也可以应用于其他具有视频处理需求的场景或是图像处理的场景等,如视频的裁剪或是图像的重新拼接等,不局限于上述应用示例。
可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
图3示出根据本公开实施例的视频处理装置的框图。如图所示,所述装置20可以包括:
参考视频获取模块21,用于获取参考视频。其中,参考视频包括至少一个类型的处理参数。
待处理视频获取模块22,用于获取待处理视频。
切分模块23,用于对待处理视频进行切分,得到待处理视频的多个帧序列。
剪辑模块24,用于根据至少一个类型的处理参数,对多个帧序列中的至少部分进行剪辑处理,得到目标视频。
在一种可能的实现方式中,目标视频与参考视频的模式匹配。
在一种可能的实现方式中,目标视频与参考视频的模式匹配,包括如下至少一项:目标视频的背景音乐与参考视频的背景音乐匹配;目标视频的属性与参考视频的属性匹配。
在一种可能的实现方式中,属性匹配包括如下至少一项:包括的转场次数属于同一类别,和/或,发生转场的时机属于同一时间范围;包括的场景数量属于同一类别,和/或,场景内容属于同一类别;对应片段包括的人物数量属于同一类别;剪辑风格属于同一类型。
在一种可能的实现方式中,剪辑模块用于:根据至少一个类型的处理参数,分别对多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,每次重新组合得到一个第一中间视频;从多个第一中间视频中确定至少一个作为目标视频。
在一种可能的实现方式中,剪辑模块进一步用于:获取多个第一中间视频中每个第一中间视频的质量参数;根据质量参数,从多个第一中间视频中确定目标视频,其中,目标视频的质量参数的取值大于第一中间视频中除目标视频以外的其他视频的质量参数的取值。
在一种可能的实现方式中,在剪辑模块之前,装置还用于:获取目标时间范围,目标时间范围的取值与目标视频的时长匹配;剪辑模块进一步用于:根据至少一个类型的处理参数以及目标时间范围,分别对多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,多个第一中间视频中每个第一中间视频的时长属于目标时间范围。
在一种可能的实现方式中,处理参数包括第一处理参数及第二处理参数;剪辑模块用于:根据第一处理参数,对帧序列中的至少部分进行重新组合,得到第二中间视频;根据第二处理参数,对第二中间视频进行调整,得到目标视频。
在一种可能的实现方式中,第一处理参数包括用于反映参考视频基础数据的参数;和/或,第二处理参数至少包括如下一项:用于指示为第二中间视频添加附加数据的参数,以及用于指示剪切第二中间视频的参数。
在一种可能的实现方式中,剪辑模块进一步用于:在第二处理参数包括用于指示为第二中间视频添加附加数据的参数的情况下,对第二处理参数与第二中间视频进行合成;和/或,在第二处理参数包括用于指示剪切第二中间视频的参数的情况下,根据第二处理参数,调整第二中间视频的长度。
在一种可能的实现方式中,处理参数包括如下至少一项:转场参数、场景参数、人物参数、剪辑风格参数以及音频参数。
本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性计算机可读存储介质或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为上述方法。
在实际应用中,上述存储器可以是易失性存储器(volatile memory),例如RAM;或者非易失性存储器(non-volatile memory),例如ROM,快闪存储器(flash memory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器提供指令和数据。
上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本公开实施例不作具体限定。
电子设备可以被提供为终端、服务器或其它形态的设备。
基于前述实施例相同的技术构思,本公开实施例还提供了一种计算机程序,该计算机程序被处理器执行时实现上述方法。
图4是根据本公开实施例的一种电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等终端。
参照图4,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关人员信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器804,上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图5是根据本公开实施例的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图5,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态人员信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

1.一种视频处理方法,其特征在于,所述方法包括:
获取参考视频,其中,所述参考视频包括至少一个类型的处理参数;
获取待处理视频;
对所述待处理视频进行切分,得到所述待处理视频的多个帧序列;
根据所述至少一个类型的处理参数,对所述多个帧序列中的至少部分进行剪辑处理,得到目标视频;
所述处理参数包括第一处理参数及第二处理参数,所述第一处理参数包括:转场参数,所述第二处理参数包括:音频参数;
所述根据所述至少一个类型的处理参数,对所述多个帧序列中的至少部分进行剪辑处理,得到目标视频,包括:
根据所述第一处理参数,对所述帧序列中的至少部分进行重新组合,得到第二中间视频;
根据所述第二处理参数,对所述第二中间视频进行调整,得到目标视频。
2.根据权利要求1所述的方法,其特征在于,所述目标视频与所述参考视频的模式匹配。
3.根据权利要求2所述的方法,其特征在于,所述目标视频与所述参考视频的模式匹配,包括如下至少一项:
所述目标视频的背景音乐与所述参考视频的背景音乐匹配;
所述目标视频的属性与所述参考视频的属性匹配。
4.根据权利要求3所述的方法,其特征在于,所述属性匹配包括如下至少一项:
包括的转场次数属于同一类别,和/或,发生转场的时机属于同一时间范围;
包括的场景数量属于同一类别,和/或,场景内容属于同一类别;
对应片段包括的人物数量属于同一类别;
剪辑风格属于同一类型。
5.根据权利要求1至4中任意一项所述的方法,其特征在于,所述根据所述至少一个类型的处理参数,对所述多个帧序列中的至少部分进行剪辑处理,得到目标视频,包括:
根据所述至少一个类型的处理参数,分别对所述多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,每次重新组合得到一个第一中间视频;
从所述多个第一中间视频中确定至少一个作为所述目标视频。
6.根据权利要求5所述的方法,其特征在于,所述从所述多个第一中间视频中确定至少一个作为所述目标视频,包括:
获取所述多个第一中间视频中每个第一中间视频的质量参数;
根据所述质量参数,从所述多个第一中间视频中确定所述目标视频,其中,所述目标视频的质量参数的取值大于所述第一中间视频中除所述目标视频以外的其他视频的质量参数的取值。
7.根据权利要求5或6所述的方法,其特征在于,在所述根据所述至少一个类型的处理参数,对所述多个帧序列中的至少部分进行剪辑处理,得到目标视频之前,所述方法还包括:
获取目标时间范围,所述目标时间范围的取值与所述目标视频的时长匹配;
所述根据所述至少一个类型的处理参数,分别对所述多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,包括:
根据所述至少一个类型的处理参数以及所述目标时间范围,分别对所述多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,所述多个第一中间视频中每个第一中间视频的时长属于所述目标时间范围。
8.根据权利要求1所述的方法,其特征在于,所述第一处理参数包括用于反映所述参考视频基础数据的参数;和/或,
所述第二处理参数至少包括如下一项:用于指示为第二中间视频添加附加数据的参数,以及用于指示剪切所述第二中间视频的参数。
9.根据权利要求1或8所述的方法,其特征在于,所述根据所述第二处理参数,对所述第二中间视频进行调整,包括如下至少一项:
在所述第二处理参数包括用于指示为第二中间视频添加附加数据的参数的情况下,对所述第二处理参数与所述第二中间视频进行合成;
在所述第二处理参数包括用于指示剪切所述第二中间视频的参数的情况下,根据所述第二处理参数,调整所述第二中间视频的长度。
10.根据权利要求1至9中任意一项所述的方法,其特征在于,所述处理参数包括如下至少一项:转场参数、场景参数、人物参数、剪辑风格参数以及音频参数。
11.一种视频处理装置,其特征在于,所述装置包括:
参考视频获取模块,用于获取参考视频,其中,所述参考视频包括至少一个类型的处理参数;
待处理视频获取模块,用于获取待处理视频;
切分模块,用于对所述待处理视频进行切分,得到所述待处理视频的多个帧序列;
剪辑模块,用于根据所述至少一个类型的处理参数,对所述多个帧序列中的至少部分进行剪辑处理,得到目标视频;
所述处理参数包括第一处理参数及第二处理参数,所述第一处理参数包括:转场参数,所述第二处理参数包括:音频参数;
剪辑模块用于:
根据所述第一处理参数,对所述帧序列中的至少部分进行重新组合,得到第二中间视频;
根据所述第二处理参数,对所述第二中间视频进行调整,得到目标视频。
12.根据权利要求11所述的装置,其特征在于,所述剪辑模块用于:
根据所述至少一个类型的处理参数,分别对所述多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,每次重新组合得到一个第一中间视频;
从所述多个第一中间视频中确定至少一个作为所述目标视频。
13.根据权利要求12所述的装置,其特征在于,所述剪辑模块进一步用于:
获取所述多个第一中间视频中每个第一中间视频的质量参数;
根据所述质量参数,从所述多个第一中间视频中确定所述目标视频,其中,所述目标视频的质量参数的取值大于所述第一中间视频中除所述目标视频以外的其他视频的质量参数的取值。
14.根据权利要求12或13所述的装置,其特征在于,在所述剪辑模块之前,所述装置还用于:
获取目标时间范围,所述目标时间范围的取值与所述目标视频的时长匹配;
所述剪辑模块进一步用于:
根据所述至少一个类型的处理参数以及所述目标时间范围,分别对所述多个帧序列中的至少部分进行多次重新组合,得到多个第一中间视频,其中,所述多个第一中间视频中每个第一中间视频的时长属于所述目标时间范围。
15.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至10中任意一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至10任意一项所述的方法。
CN202010531986.0A 2020-06-11 2020-06-11 视频处理方法及装置、电子设备和存储介质 Active CN111695505B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010531986.0A CN111695505B (zh) 2020-06-11 2020-06-11 视频处理方法及装置、电子设备和存储介质
JP2021520609A JP2022541358A (ja) 2020-06-11 2020-11-19 ビデオ処理方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム
PCT/CN2020/130180 WO2021248835A1 (zh) 2020-06-11 2020-11-19 视频处理方法及装置、电子设备、存储介质和计算机程序
US17/538,537 US20220084313A1 (en) 2020-06-11 2021-11-30 Video processing methods and apparatuses, electronic devices, storage mediums and computer programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010531986.0A CN111695505B (zh) 2020-06-11 2020-06-11 视频处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111695505A CN111695505A (zh) 2020-09-22
CN111695505B true CN111695505B (zh) 2024-05-24

Family

ID=72480394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010531986.0A Active CN111695505B (zh) 2020-06-11 2020-06-11 视频处理方法及装置、电子设备和存储介质

Country Status (4)

Country Link
US (1) US20220084313A1 (zh)
JP (1) JP2022541358A (zh)
CN (1) CN111695505B (zh)
WO (1) WO2021248835A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695505B (zh) * 2020-06-11 2024-05-24 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
US20230040668A1 (en) * 2020-09-17 2023-02-09 Camilo Lopez System and method for generating and editing a video
CN114885192A (zh) * 2021-02-05 2022-08-09 北京小米移动软件有限公司 视频处理方法、视频处理装置及存储介质
CN115484400B (zh) * 2021-06-16 2024-04-05 荣耀终端有限公司 一种视频数据处理方法及电子设备
CN115190356B (zh) * 2022-06-10 2023-12-19 北京达佳互联信息技术有限公司 一种多媒体数据处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040059A1 (en) * 2016-09-02 2018-03-08 Microsoft Technology Licensing, Llc Clip content categorization
WO2019042341A1 (zh) * 2017-09-04 2019-03-07 优酷网络技术(北京)有限公司 视频剪辑方法和装置
CN109947991A (zh) * 2017-10-31 2019-06-28 腾讯科技(深圳)有限公司 一种关键帧提取方法、装置和存储介质
CN110121103A (zh) * 2019-05-06 2019-08-13 郭凌含 视频自动剪辑合成的方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362946B1 (en) * 1999-04-12 2008-04-22 Canon Kabushiki Kaisha Automated visual image editing system
GB2354104A (en) * 1999-09-08 2001-03-14 Sony Uk Ltd An editing method and system
JP2002142188A (ja) * 2000-11-02 2002-05-17 Canon Inc 動画像編集方法及び装置
WO2007004699A1 (ja) * 2005-07-06 2007-01-11 Sharp Kabushiki Kaisha ダイジェスト化装置、ダイジェスト化システム、ダイジェスト化プログラムプロダクト、およびダイジェスト化プログラムを記録したコンピュータ読取り可能な記録媒体
JP2007336106A (ja) * 2006-06-13 2007-12-27 Osaka Univ 映像編集支援装置
JP5209593B2 (ja) * 2009-12-09 2013-06-12 日本電信電話株式会社 映像編集装置,映像編集方法および映像編集プログラム
JP5733688B2 (ja) * 2011-09-30 2015-06-10 株式会社Jvcケンウッド 動画編集装置、動画編集方法およびコンピュータプログラム
US20160365117A1 (en) * 2015-06-11 2016-12-15 Martin Paul Boliek Method for processing captured video data based on capture device orientation
US10509966B1 (en) * 2017-08-16 2019-12-17 Gopro, Inc. Systems and methods for creating video summaries
CN107566907B (zh) * 2017-09-20 2019-08-30 Oppo广东移动通信有限公司 视频剪辑方法、装置、存储介质及终端
JP6603925B1 (ja) * 2018-06-22 2019-11-13 株式会社オープンエイト 動画編集サーバおよびプログラム
CN110868630A (zh) * 2018-08-27 2020-03-06 北京优酷科技有限公司 预告片的生成方法及装置
CN110278449B (zh) * 2019-06-26 2022-06-10 腾讯科技(深圳)有限公司 一种视频检测方法、装置、设备及介质
CN111695505B (zh) * 2020-06-11 2024-05-24 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040059A1 (en) * 2016-09-02 2018-03-08 Microsoft Technology Licensing, Llc Clip content categorization
WO2019042341A1 (zh) * 2017-09-04 2019-03-07 优酷网络技术(北京)有限公司 视频剪辑方法和装置
CN109947991A (zh) * 2017-10-31 2019-06-28 腾讯科技(深圳)有限公司 一种关键帧提取方法、装置和存储介质
CN110121103A (zh) * 2019-05-06 2019-08-13 郭凌含 视频自动剪辑合成的方法及装置

Also Published As

Publication number Publication date
US20220084313A1 (en) 2022-03-17
JP2022541358A (ja) 2022-09-26
CN111695505A (zh) 2020-09-22
WO2021248835A1 (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
CN111695505B (zh) 视频处理方法及装置、电子设备和存储介质
CN108038102B (zh) 表情图像的推荐方法、装置、终端及存储介质
CN108804980B (zh) 视频场景切换检测方法及装置
CN111553864B (zh) 图像修复方法及装置、电子设备和存储介质
CN111787395B (zh) 视频生成方法、装置、电子设备及存储介质
US20190379942A1 (en) Method and apparatus for processing multimedia resources
CN108924644B (zh) 视频片段提取方法及装置
CN107566892B (zh) 视频文件处理方法、装置及计算机可读存储介质
CN110858924B (zh) 视频背景音乐的生成方法、装置及存储介质
CN113099297B (zh) 卡点视频的生成方法、装置、电子设备及存储介质
CN110933488A (zh) 视频剪辑方法及装置
CN111523346B (zh) 图像识别方法及装置、电子设备和存储介质
CN111800652A (zh) 视频处理方法及装置、电子设备和存储介质
CN110781349A (zh) 用于短视频生成的方法、设备、客户端装置及电子设备
CN111666015A (zh) 悬浮短信显示方法及装置
CN113676671A (zh) 视频剪辑方法、装置、电子设备及存储介质
CN109495765B (zh) 视频截取方法及装置
CN110019897B (zh) 显示图片的方法及装置
CN109756783B (zh) 海报的生成方法及装置
CN113194256B (zh) 拍摄方法、装置、电子设备和存储介质
CN110929545A (zh) 人脸图像的整理方法及装置
CN111831615B (zh) 一种影音文件的生成方法、装置和系统
CN113032627A (zh) 视频分类方法、装置、存储介质及终端设备
CN112396675A (zh) 图像处理方法、装置及存储介质
CN113364999B (zh) 视频生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant