CN113938751A - 视频转场类型确定方法、设备及存储介质 - Google Patents

视频转场类型确定方法、设备及存储介质 Download PDF

Info

Publication number
CN113938751A
CN113938751A CN202010609891.6A CN202010609891A CN113938751A CN 113938751 A CN113938751 A CN 113938751A CN 202010609891 A CN202010609891 A CN 202010609891A CN 113938751 A CN113938751 A CN 113938751A
Authority
CN
China
Prior art keywords
video
matching degree
video material
transition
transition type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010609891.6A
Other languages
English (en)
Other versions
CN113938751B (zh
Inventor
李�根
王妍
靳潇杰
宋旭晨
沈晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010609891.6A priority Critical patent/CN113938751B/zh
Publication of CN113938751A publication Critical patent/CN113938751A/zh
Application granted granted Critical
Publication of CN113938751B publication Critical patent/CN113938751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请实施例提供了一种视频转场类型确定方法、设备及存储介质。该方法利用视频素材的图像特征获取候选视频转场类型的第一匹配度，进而基于该第一匹配度确定是否可以选择该候选视频转场类型为目标视频素材对添加转场效果。其中，图像特征是视频素材中影响视频转场类型选择的特征，第一匹配度是利用对具有上述图像特征的第一样本视频素材对标注的匹配度确定的，利用图像特征结合专业人士打分得到的匹配度能够很好地量化候选视频转场类型在目标视频素材对中的转场效果。

Description

视频转场类型确定方法、设备及存储介质
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种视频转场确定方法、设备及存储介质。
背景技术
视频转场是视频剪辑技术中常用的剪辑手段。以往的视频剪辑软件往往是专业领域的专业工具，操作复杂，对视频剪辑提出了较高的门槛，需要有专门的视频剪辑师进行视频剪辑操作，实现视频转场，呈现高质量的视频转场效果。
随着视频自媒体平台的不断发展，涌现出一批简单易用的视频剪辑软件，这些软件往往提供了现成的视频转场类型，用户可以根据需要选择视频转场类型从而实现视频转场效果。用户在使用这类视频剪辑软件时，需要手动在每相邻两个视频素材之间添加转场效果，在此过程中还可能需要反复观看完整视频以调整转场效果。这样处理费时费力，且是否达到预期转场效果依赖于用户自身的专业性和经验的丰富程度，对于专业性以及经验不足的用户往往难以制作出满足预期转场效果的视频。
发明内容
本申请实施例提供一种视频转场类型确定方法、设备及存储介质，以达到自动选择视频转场类型、提高视频转场效果的目的。
第一方面，本申请实施例提供一种视频转场类型确定方法，该方法包括：
获取目标视频素材对的图像特征；
利用上述图像特征，获取候选视频转场类型的第一匹配度；该第一匹配度是根据候选视频转场类型的第一样本匹配度确定的，该第一样本匹配度是针对第一样本视频素材对的转场效果标注的匹配度，该第一样本视频素材对的转场效果使用候选视频转场类型，该第一样本视频素材对具有上述图像特征；
根据候选视频转场类型的第一匹配度，确定是否使用候选视频转场类型为目标视频素材对添加转场效果。
本申请实施例提供的方法利用视频素材的图像特征确定候选视频转场类型的第一匹配度，进而基于该第一匹配度确定是否可以选择该候选视频转场类型为目标视频素材对添加转场效果，从而实现为需要添加转场效果的两个视频素材自动选择目标视频转场类型。候选视频转场类型的第一匹配度是根据针对第一样本视频素材对标注的匹配度确定的，该第一样本视频素材对使用候选视频转场类型添加转场效果，且具有上述图像特征。针对第一样本视频素材对的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在第一样本视频素材对上为候选视频转场类型进行打分，从而得到针对第一样本视频素材对的匹配度。而图像特征是视频素材中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频素材对的两个视频素材之间的转场效果，使得采用本方法自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
可选的，上述图像特征有多个，相应的，第一匹配度也有多个，图像特征与第一匹配度一一对应，根据所述候选视频转场类型的第一匹配度，确定是否使用候选视频转场类型为目标视频素材对添加转场效果，其实现方式可以包括：叠加多个第一匹配度，得到候选视频转场类型的第二匹配度，根据第二匹配度，确定是否使用候选视频转场类型为目标视频素材对添加转场效果。
通过获取多个图像特征，得到每个图像特征分别对应的第一匹配度，并将多个第一匹配度叠加得到第二匹配度。多个第一匹配度可以从多个维度对候选视频转场特征与目标视频素材对的适配程度进行量化评价，将多个第一匹配度叠加后得到的第二匹配度可以用来更加客观、精准地为目标视频素材对选择合适的候选视频转场类型。
在此基础上，还可以对候选视频转场类型的第二匹配度进行调整。相应的，根据调整后的第二匹配度，确定是否使用候选视频转场类型为上述目标视频素材对添加转场效果。
本申请实施例提供的方法，可以根据实际场景需求灵活对候选视频转场类型的第二匹配度进行调整，以达到预期的转场效果。
对候选视频转场类型的第二匹配度进行调整的一种实现方式包括：获取所述候选视频转场类型的全局热度值，其中，候选视频转场类型的全局热度值是该候选视频转场类型的多个第二样本匹配度的均值，其中，每个第二样本匹配度是针对第二样本视频素材对的转场效果标注的匹配度，所述第二样本视频素材对的转场效果使用所述候选视频转场类型；根据候选视频转场类型的全局热度值对候选视频转场类型的第二匹配度进行调整。
本申请实施例中，全局热度值反映了候选视频转场类型在所有样本视频素材对上的综合适配程度，与具体图像特征的相关性较弱，利用全局热度值调整候选视频转场类型的第二匹配度，可避免由于图像特征的选取不准确或不全面导致的第二匹配度计算误差，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述目标视频素材对的适配程度，以提高为上述目标视频素材对选择转场效果的精确性。
对所述候选视频转场类型的第二匹配度进行调整的另一种实现方式可以包括：根据目标视频素材对在所属视频素材序列中的位置对候选视频转场类型的第二匹配度进行调整。
在多个视频素材构成的视频中，视频素材在视频素材序列中的位置体现了其在视频播放过程中所处的播放进度，在某些场景下，不同的播放进度也会影响视频转场类型的选择，因此，利用上述目标视频素材对在视频素材序列中的位置对上述第二匹配度进行调整，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述目标视频素材对的适配程度，以提高为上述目标视频素材对选择转场效果的精确性。
对所述候选视频转场类型的第二匹配度进行调整的又一个实现方式可以包括：根据上述目标视频素材对中的至少一个视频素材的播放时间长度对候选视频转场类型的第二匹配度进行调整。
在某些场景下，视频素材的播放长度也会影响视频转场类型的选择，因此，利用上述目标视频素材对中至少一个视频素材的播放长度对上述第二匹配度进行调整，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述目标视频素材对的适配程度，以提高为上述目标视频素材对选择转场效果的精确性。
在上述任意方法实施例的基础上，需要添加转场效果的目标视频素材对中至少有一个视频素材的播放时间长度超过设定的时间长度阈值。
在某些场景下，若视频素材的播放长度较短则不适宜添加转场效果。通过判断视频素材的播放长度是否达到播放时间长度阈值来确定是否添加转场效果，可以避免在播放时间长度较短的情况下仍然添加转场效果，反而影响整体视频播放效果。
在上述任意实施例的基础上，上述图像特征可以包括以下至少一种：
视频素材对中两个视频素材之间的图像互相似度；
视频素材对中至少一个视频素材的图像自相似度；
视频素材对中至少一个视频素材的场景类型。
其中的视频素材对既可以是指上述目标视频素材对，也可以是指上述第一样本视频素材对。
若所述图像特征包括视频素材对中至少一个视频素材的图像自相似度，所述获取目标视频素材对的图像特征，其实现方式可以包括：分别获取所述目标视频素材对中每个视频素材的图像自相似度，保留其中一个图像自相似度。
若所述图像特征包括视频素材对中至少一个视频素材的场景类型，所述获取目标视频素材对的图像特征，其实现方式可以包括：分别获取所述目标视频素材对中每个视频素材的场景类型，保留其中一个场景类型。
在上述任意方法实施例的基础上，上述第一匹配度是根据归一化处理后的第一样本匹配度确定的。
通过归一化处理，可以避免某些视频转场类型始终被选中而某些视频转场类型始终无法被选中。
第二方面，本申请实施例提供一种电子设备，该电子设备包括：
图像特征获取模块，用于获取目标视频素材对的图像特征；
匹配度获取模块，用于利用上述图像特征，获取候选视频转场类型的第一匹配度；该第一匹配度是根据候选视频转场类型的第一样本匹配度确定的，第一样本匹配度是针对第一样本视频素材对的转场效果标注的匹配度，第一样本视频素材对的转场效果使用候选视频转场类型，该第一样本视频素材对具有上述图像特征；
视频转场类型选择模块，用于根据候选视频转场类型的第一匹配度，确定是否使用候选视频转场类型为目标视频素材对添加转场效果。
本申请实施例提供的电子设备利用视频素材的图像特征确定候选视频转场类型的第一匹配度，进而基于该第一匹配度确定是否可以选择该候选视频转场类型为目标视频素材对添加转场效果，从而实现为需要添加转场效果的两个视频素材自动选择目标视频转场类型。候选视频转场类型的第一匹配度是根据针对第一样本视频素材对标注的匹配度确定的，该第一样本视频素材对使用候选视频转场类型添加转场效果，且具有上述图像特征。针对第一样本视频素材对的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在第一样本视频素材对上为候选视频转场类型进行打分，从而得到针对第一样本视频素材对的匹配度。而图像特征是视频素材中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频素材对的两个视频素材之间的转场效果，使得采用本电子设备自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
可选的，上述图像特征有多个，相应的，第一匹配度也有多个，图像特征与第一匹配度一一对应，视频转场类型选择模块叠加多个第一匹配度，得到候选视频转场类型的第二匹配度，根据第二匹配度，确定是否使用候选视频转场类型为目标视频素材对添加转场效果。
通过获取多个图像特征，得到每个图像特征分别对应的第一匹配度，并将多个第一匹配度叠加得到第二匹配度。多个第一匹配度可以从多个维度对候选视频转场特征与目标视频素材对的适配程度进行量化评价，将多个第一匹配度叠加后得到的第二匹配度可以用来更加客观、精准地为目标视频素材对选择合适的候选视频转场类型。
在此基础上，匹配度获取模块还可以对候选视频转场类型的第二匹配度进行调整；相应的，视频转场类型选择模块根据调整后的第二匹配度，确定是否使用候选视频转场类型为上述目标视频素材对添加转场效果。
本申请实施例提供的电子设备，可以根据实际场景需求灵活对候选视频转场类型的第二匹配度进行调整，以达到预期的转场效果。
匹配度获取模块对候选视频转场类型的第二匹配度进行调整的一种实现方式包括：获取所述候选视频转场类型的全局热度值，其中，候选视频转场类型的全局热度值是该候选视频转场类型的多个第二样本匹配度的均值，第二样本匹配度是针对第二样本视频素材对的转场效果标注的匹配度，所述第二样本视频素材对的转场效果使用所述候选视频转场类型；根据候选视频转场类型的全局热度值对候选视频转场类型的第二匹配度进行调整。
本申请实施例中，全局热度值反映了候选视频转场类型在所有样本视频素材对上的综合适配程度，与具体图像特征的相关性较弱，利用全局热度值调整候选视频转场类型的第二匹配度，可避免由于图像特征的选取不准确或不全面导致的第二匹配度计算误差，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述目标视频素材对的适配程度，以提高为上述目标视频素材对选择转场效果的精确性。
匹配度获取模块对所述候选视频转场类型的第二匹配度进行调整的另一种实现方式可以包括：根据目标视频素材对在所属视频素材序列中的位置对候选视频转场类型的第二匹配度进行调整。
在多个视频素材构成的视频中，视频素材在视频素材序列中的位置体现了其在视频播放过程中所处的播放进度，在某些场景下，不同的播放进度也会影响视频转场类型的选择，因此，利用上述目标视频素材对在视频素材序列中的位置对上述第二匹配度进行调整，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述目标视频素材对的适配程度，以提高为上述目标视频素材对选择转场效果的精确性。
匹配度获取模块对所述候选视频转场类型的第二匹配度进行调整的又一个实现方式可以包括：根据上述目标视频素材对中的至少一个视频素材的播放时间长度对候选视频转场类型的第二匹配度进行调整。
在某些场景下，视频素材的播放长度也会影响视频转场类型的选择，因此，利用上述目标视频素材对中至少一个视频素材的播放长度对上述第二匹配度进行调整，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述目标视频素材对的适配程度，以提高为上述目标视频素材对选择转场效果的精确性。。
在上述任意电子设备实施例的基础上，上述图像特征可以包括以下至少一种：
视频素材对中两个视频素材之间的图像互相似度；
视频素材对中至少一个视频素材的图像自相似度；
视频素材对中至少一个视频素材的场景类型。
其中的视频素材对既可以是指上述目标视频素材对，也可以是指上述第一样本视频素材对。
若所述图像特征包括视频素材对中至少一个视频素材的图像自相似度，图像特征获取模块分别获取所述目标视频素材对中每个视频素材的图像自相似度，保留其中一个图像自相似度。
若所述图像特征包括视频素材对中至少一个视频素材的场景类型，图像特征获取模块分别获取目标视频素材对中每个视频素材的场景类型的取值，保留其中一个场景类型的取值。
在上述任意电子设备实施例的基础上，上述第一匹配度是根据归一化处理后的第一样本匹配度确定的。
通过归一化处理，可以避免某些视频转场类型始终被选中而某些视频转场类型始终无法被选中。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储器；
存储器用于存储执行第一方面各个方法实施例所述方法的程序；处理器被配置为执行存储器中存储的程序。
本申请实施例提供的电子设备利用视频素材的图像特征确定候选视频转场类型的第一匹配度，进而基于该第一匹配度确定是否可以选择该候选视频转场类型为目标视频素材对添加转场效果，从而实现为需要添加转场效果的两个视频素材自动选择目标视频转场类型。候选视频转场类型的第一匹配度是根据针对第一样本视频素材对标注的匹配度确定的，该第一样本视频素材对使用候选视频转场类型添加转场效果，且具有上述图像特征。针对第一样本视频素材对的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在第一样本视频素材对上为候选视频转场类型进行打分，从而得到针对第一样本视频素材对的匹配度。而图像特征是视频素材中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频素材对的两个视频素材之间的转场效果，使得采用本电子设备自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
第四方面，本申请实施例提供一种计算机可读存储介质，存储有执行第一方面各个实施例所述方法的程序。
本申请实施例提供的存储介质中的程序利用视频素材的图像特征确定候选视频转场类型的第一匹配度，进而基于该第一匹配度确定是否可以选择该候选视频转场类型为目标视频素材对添加转场效果，从而实现为需要添加转场效果的两个视频素材自动选择目标视频转场类型。候选视频转场类型的第一匹配度是根据针对第一样本视频素材对标注的匹配度确定的，该第一样本视频素材对使用候选视频转场类型添加转场效果，且具有上述图像特征。针对第一样本视频素材对的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在第一样本视频素材对上为候选视频转场类型进行打分，从而得到针对第一样本视频素材对的匹配度。而图像特征是视频素材中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频素材对的两个视频素材之间的转场效果，使得采用本申请实施例提供的存储介质中的程序自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
附图说明
图1为本申请一个实施例提供的视频转场类型确定方法流程图；
图2为本申请一个实施例提供的电子设备的框图；
图3为本申请一个实施例提供的电子设备结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请实施例的技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请实施例技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
本申请实施例提供一种视频转场类型确定方法，用于为需要添加转场效果的两个视频素材(以下称为目标视频素材对)确定是否使用候选视频转场类型添加转场效果。该方法应用于终端设备的应用程序，当然也可以应用在服务器侧。如图1所示，本申请实施例提供的方法包括如下操作：
步骤101、获取需要目标视频素材对的图像特征。
其中，目标视频素材对中的视频素材既可以是视频片段，也可以是单张图片。若视频素材为视频片段，为了降低计算复杂度，可以对视频片段进行抽帧处理之后再进行图像特征的取值提取；若视频素材为单张图片，以制作动态影集为例，选择多张图片来制作视频，其中，每张图片在指定时间段内播放，播放过程中，图片在显示界面上进行放大、缩小、移动等变化，甚至不做任何变化，仅仅是在该播放过程中持续显示。
其中，图像特征是指与视频转场类型选择有关的视频素材的特征，实际应用中，可以根据产品需求以及产品所使用的视频素材特点定义图像特征，本申请实施例对此不作限定。通常情况下，影响视频转场类型选择的视频素材的特征包括但不限于：视频素材对中至少一个视频素材的场景类型、视频素材对中两个视频素材之间的图像互相似度、视频素材对中至少一个视频素材的图像自相似度。
本申请实施例不对图像特征的表示方式进行限定，实际应用中，可以根据需要定义图像特征表示方式。例如，图像特征可以用连续取值的指定数值范围内的数值表示，也可以用指定的离散数值表示，还可以用向量表示。以用向量表示图像互相似度为例，假设图像互相似度划分为“高”、“中”、“低”三个范围，那么，可以用三维向量表示图像互相似度，其中，图像互相似度“高”的向量为100，图像互相似度“中”的向量为010，图像互相似度“低”的向量为001。
步骤102、利用上述图像特征，获取候选视频转场类型的第一匹配度。
实际应用中，一种实现方式是向外部设备发送上述图像特征，以获取第一匹配度；另一种实现方式是利用预先确定的图像特征与候选视频转场类型的第一匹配度的映射关系，查找与上述图像特征对应的候选视频转场类型的第一匹配度；又一种实现方式是将上述图像特征输入预先训练得到的第一匹配度计算模型，得到上述第一匹配度。
其中，候选视频转场类型的第一匹配度是根据候选视频转场类型的第一样本匹配度确定的，该第一样本匹配度是针对第一样本视频素材对的转场效果标注的匹配度，该第一样本视频素材对的转场效果使用候选视频转场类型，该第一样本视频素材对具有上述图像特征。
假设步骤101中获取到的图像特征是目标视频素材对中的两个视频素材的图像互相似度“高”，那么，用于确定该图像特征获取到的第一匹配度的第一样本匹配度是对符合以下条件的第一样本视频素材对标注的匹配度：具有图像互相似度“高”这一具体的图像特征、且使用该候选视频转场类型添加转场效果。
假设有M种图像特征，那么，在上述步骤101中可以提取到M个图像特征，则在该步骤中获取到M个第一匹配度，每个图像特征对应一个第一匹配度，M的取值为不小于1的整数。
步骤103、根据候选视频转场类型的第一匹配度，确定是否使用候选视频转场类型为目标视频素材对添加转场效果。
如上所述，若有多个第一匹配度，那么，将多个第一匹配度叠加，得到候选视频转场类型的第二匹配度，根据第二匹配度确定是否使用候选视频转场类型为目标视频素材对添加转场效果。其中，叠加方式不限，例如直接对多个第一匹配度做加法运算。
实际应用中，通常有多个候选视频转场类型以供选择，那么，可以按照预定的顺序，依次按照上述处理过程确定各个候选视频转场类型是否可用来为上述两个视频素材添加转场效果。具体到其中某一个候选视频转场类型，一种实现方式中，将其对应的上述匹配度(M为1时，第一匹配度，M大于1时，第二匹配度)与此前为其他候选视频转场类型确定的匹配度(M为1时，第一匹配度，M大于1时，第二匹配度)进行比较，如果本次确定的匹配度高于此前为其他候选视频转场类型确定的匹配度，则暂定使用该候选视频转场类型，也就是说，从多个候选视频转场类型中选择匹配度最高的候选视频转场类型作为目标视频转场类型，利用该目标视频转场类型渲染得到上述目标视频素材对中两个视频素材之间的转场效果；另一种实现方式中，从多个候选视频转场类型中选择匹配度最高的若干个候选视频转场类型，进一步利用其他选择策略从中选择出目标视频转场类型，例如结合背景音乐进行选择；又一种实现方式中，根据所有候选视频转场类型的匹配度(第一匹配度或第二匹配度)，结合其他选择策略，例如结合背景音乐，从中选择出目标视频转场类型；又一种实现方式中，判断当前候选视频转场类型的匹配度(M为1时，第一匹配度，M大于1时，第二匹配度)是否超过设定匹配度阈值，如果超过，则确定使用当前候选视频转场类型为目标视频素材对中的两个视频素材之间添加转场效果，不再对后续的候选视频转场类型进行处理。
其中，候选视频转场类型的具体内容和数量可以根据需要配置，候选视频转场类型可以但不仅限于包括：叠加、拉远、推进、水波纹等等。
本申请实施例提供的方法利用视频素材的图像特征确定候选视频转场类型的第一匹配度，进而基于该第一匹配度确定是否可以选择该候选视频转场类型为目标视频素材对添加转场效果，从而实现为需要添加转场效果的两个视频素材自动选择目标视频转场类型。候选视频转场类型的第一匹配度是根据针对第一样本视频素材对标注的匹配度确定的，该第一样本视频素材对使用候选视频转场类型添加转场效果，且具有上述图像特征。针对第一样本视频素材对的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在第一样本视频素材对上为候选视频转场类型进行打分，从而得到针对第一样本视频素材对的匹配度。而图像特征是视频素材中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频素材对的两个视频素材之间的转场效果，使得采用本方法自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
如上所述，视频素材对的图像特征可以包括视频素材对中两个视频素材之间的图像互相似度。本申请实施例不对两个视频素材之间的图像互相似度的定义及确定方式进行限定，实际应用中，可以根据产品需要定义互相似度，并利用已有技术手段提取视频素材之间的互相似度。作为举例而非限定，图像互相似度反映了两个视频素材之间的图像相似程度，互相似度可以包括两个视频素材的亮度相似度、色调相似度、色温相似度、前景目标运动方向相似度等等这些相似度中的一种或多种组合。
若两个视频素材之间的图像互相似度是指亮度相似度，那么，分别确定每个视频素材的图像亮度，进而计算两个视频素材的图像亮度的相似度。若视频素材之间的互相似度是指色调相似度，那么，分别确定每个视频素材的图像色调，进而计算两个视频素材的图像色调的相似度。若视频素材之间的互相似度是指色温相似度，那么，分别确定每个视频素材的图像色温，进而计算两个视频素材的图像色温的相似度。若视频素材之间的互相似度是指前景目标运动方向相似度，那么，分别识别每个视频素材的前景目标，确定前景目标的运动方向，进而计算两个视频素材的前景目标运动方向的相似度。若视频素材之间的互相似度是指色温相似度与前景目标运动相似度的结合，那么，分别计算两个视频素材的图像色温的相似度以及两个视频素材的前景目标运动方向的相似度，对这两个相似度进行加权求和处理，得到两个视频素材的互相似度。
如上所述，视频素材对的图像特征还可以包括其中至少一个视频素材的图像自相似度。本申请实施例不对视频素材的图像自相似度的定义及确定方式进行限定，实际应用中，可以根据产品需要定义图像自相似度，并利用已有技术手段提取视频素材的图像自相似度。作为举例而非限定，视频片段的图像自相似度反映了视频片段的各帧图片之间的图像相似程度，单张图片的图像自相似度反映了该图片中前景与背景的图像相似程度。对于视频片段，其图像自相似度可以根据视频片段中每两帧图像间的图像互相似度确定，每两帧图像间的图像互相似度可以参照上述视频素材间的图像互相似度定义及确定方式举例，此处不再赘述；对于单张图片，其图像自相似度可以包括图片中前景目标与背景之间的亮度、色调、色温等相似度。
更进一步的，如果图像特征包括视频素材对中至少一个视频素材的图像自相似度，对于目标视频素材对而言，一种可能的实现方式中，在上述步骤101中按照预定的规则获取其中一个视频素材(例如在前的视频素材)的图像自相似度；另一种可能的实现方式中，在上述步骤101中获取每个视频素材的图像自相似度，按照预定的第一选择规则保留其中一个图像自相似度(例如保留其中最高的图像自相似度)；又一种可能的实现方式中，在上述步骤101中获取每个视频素材的图像自相似度，将两个图像自相似度融合(以向量为例，对两个向量按位相加)。
如上所述，视频素材对的图像特征还可以包括其中至少一个视频素材的场景类型。本申请实施例不对视频素材的场景类型的定义及确定方式进行限定，实际应用中，可以根据产品需要定义场景类型。作为举例而非限定，场景类型是视频素材中的前景目标反映出的场景类型，场景类型可以包括：人类、雨天、雪景、婴儿、大海等等。
更进一步的，如果图像特征包括视频素材对中至少一个视频素材的场景类型，对于目标视频素材对而言，一种可能的实现方式中，在上述步骤101中按照预定的规则获取其中一个视频素材(例如在前的视频素材)的场景类型；另一种可能的实现方式中，在上述步骤101中获取每个视频素材的场景类型，按照预定的第二选择规则保留其中一个场景类型。
本申请实施例不对场景类型的表示方式进行限定，一种实现方式中，对所有场景类型进行编号，用编号表示场景类型；另一种实现方式中，将各个场景类型的语义转换为二进制或十六进制数值，用来场景类型；又一种实现方式中，以向量表示场景类型，向量的位数与场景类型的数量相同，向量中的每一位分别代表一个场景类型，表示某个场景类型的向量中，该场景类型对应位取1，其他位取0。
本申请实施例提供的方法可以根据实际场景需求灵活对候选视频转场类型的匹配度(M为1时，此处为第一匹配度，M大于1时，此处为第二匹配度)进行调整，以达到预期的转场效果。具体的，根据上述候选视频转场类型的匹配度(M为1时，此处为第一匹配度，M大于1时，此处为第二匹配度)，确定是否使用候选视频转场类型为目标视频素材对添加转场效果之前，对候选视频转场类型的匹配度(M为1时，此处为第一匹配度，M大于1时，此处为第二匹配度)进行调整。
上述匹配度调整的实现方式有多种，实际应用中，可以根据产品需要确定匹配度调整策略，并根据匹配度调整策略实现上述匹配度的调整。
作为举例而非限定，对候选视频转场类型的匹配度进行调整的一种实现方式包括：获取候选视频转场类型的全局热度值，其中，候选视频转场类型的全局热度值是该候选视频转场类型的多个第二样本匹配度的均值，第二样本匹配度是针对第二样本视频素材对的转场效果标注的匹配度，所述第二样本视频素材对的转场效果使用所述候选视频转场类型；根据候选视频转场类型的全局热度值对其的匹配度进行调整。
其中，所有的第一样本视频素材对都可以作为第二样本视频素材对。
本申请实施例不对匹配度的调整方式进行限定，只要确保全局热度值与匹配度值正相关即可。例如，可以将候选视频转场类型Sj的全局热度值Hj和其的匹配度Wj相乘，从而实现对匹配度Wj的调整。又例如，可以候选视频转场类型Sj的全局热度Hj和其的匹配度Wj相加，从而实现对匹配度Wj的调整。
本申请实施例中，全局热度值反映了候选视频转场类型在所有样本视频素材对上的综合适配程度，与具体图像特征的相关性较弱，利用全局热度值调整候选视频转场类型的匹配度，可避免由于图像特征的选取不准确或不全面导致的匹配度计算误差，使得调整后的匹配度更准确地反映候选视频转场类型与上述目标视频素材对的适配程度，以提高为上述目标视频素材对选择转场效果的精确性。
作为举例而非限定，对候选视频转场类型的匹配度进行调整的另一种实现方式可以包括：根据目标视频素材对在所属视频素材序列中的位置对候选视频转场类型的匹配度进行调整。
例如，上述目标视频素材对是需要添加转场效果的视频素材序列中的前两个视频素材，而在视频的开始阶段，不适宜呈现某些类型的转场效果，那么，可以按照预定的调整方式降低这些视频转场类型的匹配度，或者按照预定的调整方式提高其他视频转场类型的匹配度。
在多个视频素材构成的视频中，视频素材在视频素材序列中的位置体现了其在视频播放过程中所处的播放进度，在某些场景下，不同的播放进度也会影响视频转场类型的选择，因此，利用上述两个视频素材在视频素材序列中的位置对上述匹配度进行调整，使得调整后的匹配度更准确地反映候选视频转场类型与上述两个视频素材的适配程度，以提高为上述两个视频素材选择转场效果的精确性。
作为举例而非限定，对候选视频转场类型的匹配度进行调整的又一个实现方式可以包括：根据上述目标视频素材对中的至少一个视频素材的播放时间长度对候选视频转场类型的匹配度值进行调整。
例如，当视频素材的播放时间长度小于设定值，则不适宜呈现某些类型的转场效果，那么，可以按照预定的调整方式降低这些视频转场类型的匹配度，或者按照预定的调整方式提高其他视频转场类型的匹配度。
在某些场景下，视频素材的播放长度也会影响视频转场类型的选择，因此，利用上述两个视频素材中至少一个视频素材的播放长度对上述匹配度进行调整，使得调整后的匹配度更准确地反映候选视频转场类型与上述两个视频素材的适配程度，以提高为上述两个视频素材选择转场效果的精确性。
在上述任意方法实施例的基础上，获取目标视频素材对的图像特征之前，还可以判断目标视频素材对中至少一个视频素材的播放时间长度是否达到播放时间长度阈值，以便在该播放时间长度达到播放时间长度阈值的情况下获取目标视频素材对的图像特征，在该播放时间长度未达到播放时间长度阈值的情况下目标视频素材对中的视频素材之间无转场效果。
在某些场景下，若视频素材的播放长度较短则不适宜添加转场效果。通过判断视频素材的播放长度是否达到播放时间长度阈值来确定是否添加转场效果，可以避免在播放时间长度较短的情况下仍然添加转场效果，反而影响整体视频播放效果。
在上述任意方法实施例的基础上，上述第一匹配度是根据归一化处理后的第一样本匹配度确定的。
通过归一化处理，可以避免某些视频转场类型始终被选中而某些视频转场类型始终无法被选中。
下面结合具体应用场景对本申请实施例提供的方法进行说明，在该场景中，有N个候选视频转场类型，M种图像特征。
在候选视频转场类型的第一匹配度的确定阶段(也就是第一匹配度与图像特征的映射关系的确定阶段)，获取Y组样本视频素材对，每组样本视频素材对由两个样本视频素材构成。
分别利用每个候选视频转场类型对每组样本视频素材对进行转场渲染，并呈现转场效果，以供工作人员为每个候选视频转场类型在每组样本视频素材对上的转场效果打分(标注的匹配度)，以此获得每个候选视频转场类型针对每组样本视频素材对的样本匹配度。对于Y组样本视频素材对以及N个候选视频转场类型，得到N×Y个样本匹配度，其中，每个候选转场类型有Y个样本匹配度，分别对应Y组样本视频素材对。
对于每个候选视频转场类型，利用其各个样本匹配度W1、W2、……、WY对其在每组样本视频素材对Px上的样本匹配度Wx进行归一化处理。
提取每组样本视频素材对的各个图像特征，例如，确定每组样本视频素材对中的两个视频素材样本之间的图像互相似度、每组样本视频素材对的图像自相似度(两个样本视频素材的最高自相似度)、每组样本视频素材对的场景类型(两个样本视频素材的场景类型中编号靠前的场景类型)。
针对每个候选视频转场类型，基于图像互相似度对其各个样本匹配度进行分组，图像互相似度高的样本匹配度同组，取该组样本匹配度的均值作为图像互相似度高对应的该候选视频转场类型的第一匹配度，图像互相似度中的样本匹配度同组，取该组样本匹配度的均值作为图像互相似度中对应的该候选视频转场类型的第一匹配度，图像互相似度低的样本匹配度同组，取该组样本匹配度的均值作为图像互相似度低对应的该候选视频转场类型的第一匹配度。类似的，针对每个候选视频转场类型，基于图像自相似度对其各个样本匹配度进行分组，并分别得到图像自相似度高对应的该候选视频转场类型的第一匹配度，图像自相似度中对应的该候选视频转场类型的第一匹配度，图像自相似度低对应的该候选视频转场类型的第一匹配度。类似的，针对每个候选视频转场类型，基于场景类型对其各个样本匹配度进行分组，并分别得到每个场景类型对应的该候选转场类型的第一匹配度。
假设视频素材之间的图像互相似度以向量表示，其中100表示互相似度高，010表示互相似度中，001表示互相似度低。Y组样本视频素材对中，Y1组样本视频素材对的图像互相似度为001，Y2组样本视频素材对的图像互相似度为010，Y3组样本视频素材对的图像互相似度为100。第i个候选视频转场类型针对Y1组样本视频素材图像对的样本匹配度的均值作为其在互相似度001上的第一匹配度，相应的，第i个候选视频转场类型与Y2组样本视频素材图像对的样本匹配度的均值作为其在互相似度010上的第一匹配度，第i个候选视频转场类型与Y3组样本视频素材图像对的样本匹配度的均值作为其在互相似度100上的第一匹配度，至此也就确定了第i个候选视频转场类型的第一匹配度与图像互相似度之间的映射关系。
利用每个候选视频转场类型的各个样本匹配度确定其全局热度值。
当用户选择了多个视频素材希望制作视频，终端设备的VE(短视频引擎)SDK(软件工具开发包)获取用户选择的多个视频素材构成的视频素材序列，对视频素材序列中的每个视频素材进行抽帧处理，得到抽帧后的视频素材序列并发送给终端设备的算法SDK。
算法SDK针对视频素材序列中每相邻两个视频素材进行如下处理：
获取两个视频素材的各个图像特征，例如，图像互相似度、图像自相似度、场景类型。具体的，可以首先在终端设备的存储空间中查找这两个视频素材的图像特征，若未查找到，通过计算确定图像特征。
其中，两个视频素材的M个图像特征构成M’维向量。
假设有3个图像特征，分别为图像互相似度、图像自相似度、场景类型，其中，图像互相似度分为高、中、低三个范围，图像自相似度也分为高、中、低三个范围，另外，共有10个场景类型，那么，图像互相似度表示为三维向量，图像自相似度表示为三维向量，场景类型表示为十维向量，将这三个向量级联，得到16维向量。
从终端设备或其他存储设备上读取N个候选视频转场类型在M个图像特征的各个取值上的第一匹配度，得到M’×N的转场类型矩阵(该矩阵可视为上述取值映射关系)，该矩阵中的每个元素(j,i)表示候选视频转场类型Si在图像特征的取值Fj上的第一匹配度。
将上述两个视频素材的M个图像特征构成的M’维向量与M’×N的转场类型矩阵进行乘法运算，得到每个候选视频转场类型的第二匹配度。
利用每个候选视频转场类型的全局热度值对其第二匹配度进行调整。
根据调整之后的第二匹配度为上述两个视频素材确定目标视频转场类型。
应当指出的是，也可以将全局热度值纳入上述转场类型矩阵，相应的，得到M”×N转场类型矩阵，M”＝M’+1，得到M”维向量，其中与全局热度值对应的位置1。
在该实施例中，算法SDK还获取到用户选择的背景音乐的音频特征，并计算每个候选视频转场类型在背景音乐的各个音频特征上的第三匹配度。根据每个候选视频转场类型与每相邻两个视频素材的第二匹配度，以及每个候选视频转场类型在背景音乐的各个图像特征上的第三匹配度构建DP(动态规划)检索结构，利用动态规划算法选择目标视频转场类型。
算法SDK将视频素材序列中每相邻两个视频素材的目标视频转场类型发送给VESDK，由VE SDK将视频素材序列及目标转场模型发送给EFFECT(效果)SDK，EFFECT SDK执行渲染操作。
应当指出的是，也可以由算法SDK将每个候选视频转场类型与每相邻两个视频素材的第二匹配度发送给VE SDK，由VE SDK确定目标视频转场类型。
基于与图1所示的方法同样的发明构思，本申请实施例提供一种电子设备，如图2所示，该电子设备可以包括图像特征获取模块201、匹配度获取模块202和视频转场类型选择模块203，所述各个模块可分别执行上文中结合图1描述的视频转场类型确定方法的各个步骤/功能。以下仅对该电子设备的各模块的主要功能进行描述，而省略以上已经描述过的细节内容。
图像获取模块201，用于获取目标视频素材对的图像特征；
映射关系获取模块202，用于利用上述图像特征，获取候选视频转场类型的第一匹配度；该第一匹配度是根据候选视频转场类型的第一样本匹配度确定的，第一样本匹配度是针对第一样本视频素材对的转场效果标注的匹配度，第一样本视频素材对的转场效果使用候选视频转场类型，该第一样本视频素材对具有上述图像特征
视频转场类型选择模块203，用于根据候选视频转场类型的第一匹配度，确定是否使用候选视频转场类型为目标视频素材对添加转场效果。
本申请实施例提供的电子设备利用视频素材的图像特征确定候选视频转场类型的第一匹配度，进而基于该第一匹配度确定是否可以选择该候选视频转场类型为目标视频素材对添加转场效果，从而实现为需要添加转场效果的两个视频素材自动选择目标视频转场类型。候选视频转场类型的第一匹配度是根据针对第一样本视频素材对标注的匹配度确定的，该第一样本视频素材对使用候选视频转场类型添加转场效果，且具有上述图像特征。针对第一样本视频素材对的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在第一样本视频素材对上为候选视频转场类型进行打分，从而得到针对第一样本视频素材对的匹配度。而图像特征是视频素材中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频素材对的两个视频素材之间的转场效果，使得采用本电子设备自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
可选的，上述图像特征有多个，相应的，第一匹配度也有多个，图像特征与第一匹配度一一对应，视频转场类型选择模块叠加多个第一匹配度，得到候选视频转场类型的第二匹配度，根据第二匹配度，确定是否使用候选视频转场类型为目标视频素材对添加转场效果。
通过获取多个图像特征，得到每个图像特征分别对应的第一匹配度，并将多个第一匹配度叠加得到第二匹配度。多个第一匹配度可以从多个维度对候选视频转场特征与目标视频素材对的适配程度进行量化评价，将多个第一匹配度叠加后得到的第二匹配度可以用来更加客观、精准地为目标视频素材对选择合适的候选视频转场类型。
在此基础上，匹配度获取模块还可以对候选视频转场类型的第二匹配度进行调整；相应的，视频转场类型选择模块根据调整后的第二匹配度，确定是否使用候选视频转场类型为上述目标视频素材对添加转场效果。
本申请实施例提供的电子设备，可以根据实际场景需求灵活对候选视频转场类型的第二匹配度进行调整，以达到预期的转场效果。
匹配度获取模块对候选视频转场类型的第二匹配度进行调整的一种实现方式包括：获取所述候选视频转场类型的全局热度值，其中，候选视频转场类型的全局热度值是该候选视频转场类型的多个第二样本匹配度的均值，第二样本匹配度是针对第二样本视频素材对的转场效果标注的匹配度，所述第二样本视频素材对的转场效果使用所述候选视频转场类型；根据候选视频转场类型的全局热度值对候选视频转场类型的第二匹配度进行调整。
本申请实施例中，全局热度值反映了候选视频转场类型在所有样本视频素材对上的综合适配程度，与具体图像特征的相关性较弱，利用全局热度值调整候选视频转场类型的第二匹配度，可避免由于图像特征的选取不准确或不全面导致的第二匹配度计算误差，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述目标视频素材对的适配程度，以提高为上述目标视频素材对选择转场效果的精确性。
匹配度获取模块对所述候选视频转场类型的第二匹配度进行调整的另一种实现方式可以包括：根据目标视频素材对在所属视频素材序列中的位置对候选视频转场类型的第二匹配度进行调整。
在多个视频素材构成的视频中，视频素材在视频素材序列中的位置体现了其在视频播放过程中所处的播放进度，在某些场景下，不同的播放进度也会影响视频转场类型的选择，因此，利用上述目标视频素材对在视频素材序列中的位置对上述第二匹配度进行调整，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述目标视频素材对的适配程度，以提高为上述目标视频素材对选择转场效果的精确性。
匹配度获取模块对所述候选视频转场类型的第二匹配度进行调整的又一个实现方式可以包括：根据上述目标视频素材对中的至少一个视频素材的播放时间长度对候选视频转场类型的第二匹配度进行调整。
在某些场景下，视频素材的播放长度也会影响视频转场类型的选择，因此，利用上述目标视频素材对中至少一个视频素材的播放长度对上述第二匹配度进行调整，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述目标视频素材对的适配程度，以提高为上述目标视频素材对选择转场效果的精确性。。
在上述任意电子设备实施例的基础上，上述图像特征可以包括以下至少一种：
视频素材对中两个视频素材之间的图像互相似度；
视频素材对中至少一个视频素材的图像自相似度；
视频素材对中至少一个视频素材的场景类型。
其中的视频素材对既可以是指上述目标视频素材对，也可以是指上述第一样本视频素材对。
若所述图像特征包括视频素材对中至少一个视频素材的图像自相似度，图像特征获取模块分别获取所述目标视频素材对中每个视频素材的图像自相似度，保留其中一个图像自相似度。
若所述图像特征包括视频素材对中至少一个视频素材的场景类型，图像特征获取模块分别获取目标视频素材对中每个视频素材的场景类型的取值，保留其中一个场景类型的取值。
在上述任意电子设备实施例的基础上，上述第一匹配度是根据归一化处理后的第一样本匹配度确定的。
通过归一化处理，可以避免某些视频转场类型始终被选中而某些视频转场类型始终无法被选中。
上述各实施例中的电子设备可以包括智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、车载电脑、智能音箱、个人计算机、服务器等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于与方法同样的发明构思，本申请实施例还提供一种电子设备，包括处理器和存储器；
存储器用于存储执行上述各个方法实施例所述方法的程序；处理器被配置为执行存储器中存储的程序。当存储器中存储的程序指令被处理器运行时，所述处理器执行上述各个方法实施例所述方法，并且还用于实现根据本发明实施例的电子设备中的相应模块。处理器可以是包括中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备中的其它组件以执行期望的功能。存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本公开的实施例的功能以及/或者其它期望的功能。
本申请实施例提供的电子设备利用视频素材的图像特征确定候选视频转场类型的第一匹配度，进而基于该第一匹配度确定是否可以选择该候选视频转场类型为目标视频素材对添加转场效果，从而实现为需要添加转场效果的两个视频素材自动选择目标视频转场类型。候选视频转场类型的第一匹配度是根据针对第一样本视频素材对标注的匹配度确定的，该第一样本视频素材对使用候选视频转场类型添加转场效果，且具有上述图像特征。针对第一样本视频素材对的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在第一样本视频素材对上为候选视频转场类型进行打分，从而得到针对第一样本视频素材对的匹配度。而图像特征是视频素材中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频素材对的两个视频素材之间的转场效果，使得采用本电子设备自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
本申请实施例提供的电子设备可以包括终端设备，如图3所示，终端设备不仅包括处理器和存储器，还包括输入设备(例如触摸屏、摄像头、传声器等)、输出设备(例如显示屏、扬声器等)、通信模块、电源模块。
其中，存储器、输入设备、输出设备、通信模块、电源模块通过串口、总线或USB接口与处理器连接。其中，对于单处理器移动终端，处理器即CPU(中央处理器)；对于双处理器移动终端，处理器包括主处理器和从处理器，由其主处理器执行应用程序实现本发明实施例提供的方法，若其中需要与外界进行通信，则由从处理器控制通信模块配合实现；对于包含GPU(图形处理器)和CPU的终端设备，处理器是指GPU和CPU，由GPU和CPU配合或由CPU单独实现本申请实施例提供的方法。
其中，移动终端的存储器可以但不仅限于包括：Flash(闪存)存储器、RAM(随机存取存储器)、ROM(只读存储器)等。RAM主要用于存储终端设备运行时的程序和数据，需要执行的程序或者需要处理的数据都必须先装入RAM内。ROM主要用于检查终端设备操作系统的配置情况，并提供最基本的输入输出(I/O)程序。Flash存储器是一种长寿命的非易失性(在断电情况下仍能保持所存储的数据信息)存储器，数据删除不是以单个的字节为单位，而是以固定的区块为单位。由于Flash存储器断电时仍能保存数据，它通常被用来保存设置信息，如用户对手机的设置信息等。
应当指出的是，针对不同的移动终端(单处理器智能手机、双处理器智能手机、智能穿戴设备、平板电脑等等)，其可能包括比图3所示的终端设备更多或更少的硬件结构，但只要包括存储器和处理器，且能够实现上述方法实施例的功能，均在本公开的保护范围内。
基于与方法同样的发明构思，本申请实施例还提供一种计算机可读存储介质，存储有执行上述各个实施例所述方法的程序。
本申请实施例提供的存储介质中的程序利用视频素材的图像特征确定候选视频转场类型的第一匹配度，进而基于该第一匹配度确定是否可以选择该候选视频转场类型为目标视频素材对添加转场效果，从而实现为需要添加转场效果的两个视频素材自动选择目标视频转场类型。候选视频转场类型的第一匹配度是根据针对第一样本视频素材对标注的匹配度确定的，该第一样本视频素材对使用候选视频转场类型添加转场效果，且具有上述图像特征。针对第一样本视频素材对的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在第一样本视频素材对上为候选视频转场类型进行打分，从而得到针对第一样本视频素材对的匹配度。而图像特征是视频素材中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频素材对的两个视频素材之间的转场效果，使得采用本申请实施例提供的存储介质中的程序自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (12)

1.一种视频转场类型确定方法，其特征在于，包括：
获取目标视频素材对的图像特征；
利用所述图像特征，获取候选视频转场类型的第一匹配度；所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频素材对的转场效果标注的匹配度，所述第一样本视频素材对的转场效果使用所述候选视频转场类型，所述第一样本视频素材对具有所述图像特征；
根据所述候选视频转场类型的第一匹配度，确定是否使用所述候选视频转场类型为所述目标视频素材对添加转场效果。
2.根据权利要求1所述的方法，其特征在于，所述图像特征包括以下至少一种：
视频素材对中两个视频素材之间的图像互相似度；
所述视频素材对中至少一个视频素材的图像自相似度；
所述视频素材对中至少一个视频素材的场景类型；
所述视频素材对包括所述目标视频素材对和所述样本视频素材对。
3.根据权利要求2所述的方法，其特征在于，若所述图像特征包括视频素材对中至少一个的图像自相似度，所述获取目标视频素材对的图像特征，包括：
分别获取所述目标视频素材对中每个视频素材的图像自相似度，保留其中一个图像自相似度。
4.根据权利要求2所述的方法，其特征在于，若所述图像特征包括两个视频素材中至少一个视频素材的场景类型，所述获取目标视频素材对的图像特征，包括：
分别获取所述目标视频素材对中每个视频素材的场景类型，保留其中一个场景类型。
5.根据权利要求1所述的方法，其特征在于，所述图像特征有多个，所述第一匹配度有多个，所述图像特征与所述第一匹配度一一对应，所述根据所述候选视频转场类型的第一匹配度，确定是否使用所述候选视频转场类型为所述目标视频素材对添加转场效果，包括：
叠加多个所述第一匹配度，得到所述候选视频转场类型的第二匹配度，根据所述第二匹配度，确定是否使用所述候选视频转场类型为所述目标视频素材对添加转场效果。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
对所述候选视频转场类型的第二匹配度进行调整；
所述根据所述第二匹配度，确定是否使用所述候选视频转场类型为所述目标视频素材对添加转场效果，包括：根据所述候选视频转场类型的调整后的第二匹配度，确定是否使用所述候选视频转场类型为所述目标视频素材对添加转场效果。
7.根据权利要求6所述的方法，其特征在于，所述对所述候选视频转场类型的第二匹配度进行调整，包括：
获取所述候选视频转场类型的全局热度值，所述候选视频转场类型的全局热度值是所述候选视频转场类型的多个第二样本匹配度的均值，所述第二样本匹配度是针对第二样本视频素材对的转场效果标注的匹配度，所述第二样本视频素材对的转场效果使用所述候选视频转场类型；
根据所述候选视频转场类型的全局热度值对所述候选视频转场类型的第二匹配度进行调整，所述全局热度值与所述第二匹配度正相关。
8.根据权利要求6所述的方法，其特征在于，所述对所述候选视频转场类型的第二匹配度进行调整，包括：
根据所述目标视频素材对在所属视频素材序列中的位置对所述候选视频转场类型的第二匹配度进行调整。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述第一匹配度是根据归一化处理后的所述第一样本匹配度确定的。
10.一种电子设备，其特征在于，包括：
图像特征获取模块，用于获取目标视频素材对的图像特征；
匹配度获取模块，用于利用所述图像特征，获取候选视频转场类型的第一匹配度；所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频素材对的转场效果标注的匹配度，所述第一样本视频素材对的转场效果使用所述候选视频转场类型，所述第一样本视频素材对具有所述图像特征；
视频转场类型选择模块，用于根据所述候选视频转场类型的第一匹配度，确定是否使用所述候选视频转场类型为所述目标视频素材对添加转场效果。
11.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器用于存储执行权利要求1至9任一项所述方法的程序；
所述处理器被配置为执行所述存储器中存储的程序。
12.一种计算机可读存储介质，其特征在于，存储有执行权利要求1至9任一项所述方法的程序。
CN202010609891.6A 2020-06-29 2020-06-29 视频转场类型确定方法、设备及存储介质 Active CN113938751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010609891.6A CN113938751B (zh) 2020-06-29 2020-06-29 视频转场类型确定方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010609891.6A CN113938751B (zh) 2020-06-29 2020-06-29 视频转场类型确定方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113938751A true CN113938751A (zh) 2022-01-14
CN113938751B CN113938751B (zh) 2023-12-22

Family

ID=79273208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010609891.6A Active CN113938751B (zh) 2020-06-29 2020-06-29 视频转场类型确定方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113938751B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007898A1 (zh) * 2022-07-08 2024-01-11 脸萌有限公司 视频处理方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052154A1 (en) * 2009-09-03 2011-03-03 Markus Weber Transition object free editing
WO2018107914A1 (zh) * 2016-12-16 2018-06-21 中兴通讯股份有限公司 一种视频分析平台、匹配方法、精准投放广告方法及系统
CN109615682A (zh) * 2018-12-07 2019-04-12 北京微播视界科技有限公司 动画生成方法、装置、电子设备及计算机可读存储介质
CN109618222A (zh) * 2018-12-27 2019-04-12 北京字节跳动网络技术有限公司 一种拼接视频生成方法、装置、终端设备及存储介质
CN109688463A (zh) * 2018-12-27 2019-04-26 北京字节跳动网络技术有限公司 一种剪辑视频生成方法、装置、终端设备及存储介质
CN109819338A (zh) * 2019-02-22 2019-05-28 深圳岚锋创视网络科技有限公司 一种视频自动剪辑方法、装置及便携式终端
CN110381371A (zh) * 2019-07-30 2019-10-25 维沃移动通信有限公司 一种视频剪辑方法及电子设备
CN110730381A (zh) * 2019-07-12 2020-01-24 北京达佳互联信息技术有限公司 基于视频模板合成视频的方法、装置、终端及存储介质
CN110868631A (zh) * 2018-08-28 2020-03-06 腾讯科技（深圳）有限公司 视频剪辑方法、装置、终端及存储介质
CN111226262A (zh) * 2017-08-03 2020-06-02 脸谱公司 合成动画

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052154A1 (en) * 2009-09-03 2011-03-03 Markus Weber Transition object free editing
WO2018107914A1 (zh) * 2016-12-16 2018-06-21 中兴通讯股份有限公司 一种视频分析平台、匹配方法、精准投放广告方法及系统
CN111226262A (zh) * 2017-08-03 2020-06-02 脸谱公司 合成动画
CN110868631A (zh) * 2018-08-28 2020-03-06 腾讯科技（深圳）有限公司 视频剪辑方法、装置、终端及存储介质
CN109615682A (zh) * 2018-12-07 2019-04-12 北京微播视界科技有限公司 动画生成方法、装置、电子设备及计算机可读存储介质
CN109618222A (zh) * 2018-12-27 2019-04-12 北京字节跳动网络技术有限公司 一种拼接视频生成方法、装置、终端设备及存储介质
CN109688463A (zh) * 2018-12-27 2019-04-26 北京字节跳动网络技术有限公司 一种剪辑视频生成方法、装置、终端设备及存储介质
CN109819338A (zh) * 2019-02-22 2019-05-28 深圳岚锋创视网络科技有限公司 一种视频自动剪辑方法、装置及便携式终端
CN110730381A (zh) * 2019-07-12 2020-01-24 北京达佳互联信息技术有限公司 基于视频模板合成视频的方法、装置、终端及存储介质
CN110381371A (zh) * 2019-07-30 2019-10-25 维沃移动通信有限公司 一种视频剪辑方法及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007898A1 (zh) * 2022-07-08 2024-01-11 脸萌有限公司 视频处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN113938751B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN113301430B (zh) 视频剪辑方法、装置、电子设备以及存储介质
US10742900B2 (en) Method and system for providing camera effect
US9478054B1 (en) Image overlay compositing
CN107820020A (zh) 拍摄参数的调整方法、装置、存储介质及移动终端
CN110147469B (zh) 一种数据处理方法、设备及存储介质
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN111476708A (zh) 模型生成方法、模型获取方法、装置、设备及存储介质
CN106909548B (zh) 基于服务器的图片加载方法及装置
CN109598250B (zh) 特征提取方法、装置、电子设备和计算机可读介质
WO2021175040A1 (zh) 视频处理方法及相关装置
US9305603B2 (en) Method and apparatus for indexing a video stream
CN114222179B (zh) 虚拟形象视频合成方法及设备
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
KR20170133618A (ko) 썸네일이미지 설정방법 및 설정프로그램
CN114286171A (zh) 视频处理方法、装置、设备及存储介质
WO2019127940A1 (zh) 视频分类模型训练方法、装置、存储介质及电子设备
CN112528049A (zh) 视频合成方法、装置、电子设备及计算机可读存储介质
CN114449313B (zh) 视频的音画面播放速率调整方法及装置
CN117252791A (zh) 图像处理方法、装置、电子设备及存储介质
CN105447846B (zh) 一种图像处理方法及电子设备
CN112383824A (zh) 视频广告过滤方法、设备及存储介质
CN111353965A (zh) 图像修复方法、装置、终端及存储介质
CN113938751A (zh) 视频转场类型确定方法、设备及存储介质
CN114170472A (zh) 图像处理方法、可读存储介质及计算机终端
CN112118494B (zh) 一种视频数据处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room B-0035, 2nd floor, No. 3 Courtyard, 30 Shixing Street, Shijingshan District, Beijing

Applicant after: Tiktok vision (Beijing) Co.,Ltd.

Applicant after: Byte Jump Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Applicant before: Byte Jump Co.,Ltd.

Address after: Room B-0035, 2nd floor, No. 3 Courtyard, 30 Shixing Street, Shijingshan District, Beijing

Applicant after: Douyin Vision Co.,Ltd.

Applicant after: Byte Jump Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: Tiktok vision (Beijing) Co.,Ltd.

Applicant before: Byte Jump Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant