CN113938744A - 视频转场类型处理方法、设备及存储介质 - Google Patents

视频转场类型处理方法、设备及存储介质 Download PDF

Info

Publication number
CN113938744A
CN113938744A CN202010609919.6A CN202010609919A CN113938744A CN 113938744 A CN113938744 A CN 113938744A CN 202010609919 A CN202010609919 A CN 202010609919A CN 113938744 A CN113938744 A CN 113938744A
Authority
CN
China
Prior art keywords
video
sample
matching degree
transition type
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010609919.6A
Other languages
English (en)
Other versions
CN113938744B (zh
Inventor
宋旭晨
王妍
靳潇杰
李�根
沈晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010609919.6A priority Critical patent/CN113938744B/zh
Publication of CN113938744A publication Critical patent/CN113938744A/zh
Application granted granted Critical
Publication of CN113938744B publication Critical patent/CN113938744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请实施例提供了一种视频转场类型处理方法、设备及存储介质。该方法利用目标视频背景音乐的音乐特征确定候选视频转场类型的第一匹配度，从而实现为需要添加转场效果的视频自动选择目标视频转场类型。候选视频转场类型的第一匹配度是根据第一样本匹配度确定的，第一样本匹配度是针对第一样本视频标注的匹配度，第一样本视频使用上述候选视频转场类型且使用具有上述音乐特征的样本背景音乐。采用本方法自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。

Description

视频转场类型处理方法、设备及存储介质
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种视频转场处理方法、设备及存储介质。
背景技术
视频转场是视频剪辑技术中常用的剪辑手段。以往的视频剪辑软件往往是专业领域的专业工具，操作复杂，对视频剪辑提出了较高的门槛，往往需要有专门的视频剪辑师进行视频剪辑操作，实现视频转场，呈现高质量的视频转场效果。
随着视频自媒体平台的不断发展，涌现出一批简单易用的视频剪辑软件，这些软件往往提供了现成的视频转场类型，用户可以根据需要选择视频转场类型从而实现视频转场效果。用户在使用这类视频剪辑软件时，需要手动在每相邻两个视频素材之间添加转场效果，在此过程中还可能需要反复观看完整视频以调整转场效果。这样处理费时费力，且是否达到预期转场效果依赖于用户自身的专业性和经验的丰富程度，对于专业性以及经验不足的用户往往难以制作出满足预期转场效果的视频。
发明内容
本申请实施例提供一种视频转场类型处理方法、设备及存储介质，以达到自动选择视频转场类型、提高视频转场效果的目的。
第一方面，本申请实施例提供一种视频转场类型处理方法，该方法包括：
获取目标视频的背景音乐的音乐特征；
利用所述音乐特征，获取候选视频转场类型的第一匹配度，以根据所述第一匹配度确定是否使用所述候选视频转场类型为所述目标视频添加转场效果，所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频的转场效果标注的匹配度，所述第一样本视频使用第一样本背景音乐，所述第一样本视频的转场效果使用所述候选视频转场类型，所述第一样本背景音乐具有所述音乐特征。
本申请实施例提供的方法利用目标视频背景音乐的音乐特征确定候选视频转场类型的第一匹配度，以便根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本方法确定的第一匹配度自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
可选的，所述音乐特征有多个，所述第一匹配度有多个，所述音乐特征与所述第一匹配度一一对应，所述方法还包括：叠加多个所述第一匹配度，得到所述候选视频转场类型的第二匹配度。
通过获取多个音乐特征，得到每个音乐特征分别对应的第一匹配度，并将多个第一匹配度叠加得到第二匹配度。多个第一匹配度可以从多个维度对候选视频转场特征与目标视频的背景音乐的适配程度进行量化评价，将多个第一匹配度叠加后得到的第二匹配度可以用来更加客观、精准地为目标视频选择合适的候选视频转场类型。
在此基础上，所述方法还包括：
获取所述候选视频转场类型的全局热度值，所述候选视频转场类型的全局热度值是所述候选视频转场类型的多个第二样本匹配度的均值，所述第二样本匹配度是针对第二样本视频的转场效果标注的匹配度，所述第二样本视频使用第二样本背景音乐，所述第二样本视频的转场效果使用所述候选视频转场类型；
根据所述候选视频转场类型的全局热度值对所述候选视频转场类型的第二匹配度进行调整，所述全局热度值与所述第二匹配度正相关。
本申请实施例提供的方法，可以根据实际场景需求灵活对候选视频转场类型的第二匹配度进行调整，以达到预期的转场效果。
具体的，全局热度值反映了候选视频转场类型在所有样本背景音乐上的综合匹配度，与具体音乐特征的相关性较弱，利用全局热度值调整候选视频转场类型的第二匹配度，可避免由于音乐特征的选取不准确或不全面导致的匹配度计算误差，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述背景音乐的适配程度，以提高目标视频转场类型选择的精确性。
在上述任意实施例的基础上，上述背景音乐的音乐特征可以包括以下至少一种：
背景音乐的音乐风格；
背景音乐传递的情绪。
在上述任意方法实施例的基础上，如果上述方法在客户端实现，那么，还可以根据上述第一匹配度(若有第二匹配度，则根据第二匹配度)，确定是否使用上述候选视频转场类型为目标视频添加转场效果。若上述方法在服务器上实现，那么，还可以将上述第一匹配度(若有第二匹配度，则将第二匹配度)发送给播放目标视频的终端设备。
基于上述任意方法实施例，所述第一匹配度是根据归一化处理后的所述第一样本匹配度确定的。
通过归一化处理，可以避免某些视频转场类型始终被选中而某些视频转场类型始终无法被选中。
第二方面，本申请实施例提供一种电子设备，该电子设备包括：
音乐特征获取模块，用于获取目标视频的背景音乐的音乐特征；
匹配度确定模块，用于利用所述音乐特征，获取候选视频转场类型的第一匹配度，以根据所述第一匹配度确定是否使用所述候选视频转场类型为所述目标视频添加转场效果，所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频的转场效果标注的匹配度，所述第一样本视频使用第一样本背景音乐，所述第一样本视频的转场效果使用所述候选视频转场类型，所述第一样本背景音乐具有所述音乐特征。
本申请实施例提供的电子设备利用目标视频背景音乐的音乐特征确定候选视频转场类型的第一匹配度，以便根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本电子设备确定的第一匹配度自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
可选的，所述音乐特征有多个，所述第一匹配度有多个，所述音乐特征与所述第一匹配度一一对应，所述匹配度确定模块还用于：叠加多个所述第一匹配度，得到所述候选视频转场类型的第二匹配度。
通过获取多个音乐特征，得到每个音乐特征分别对应的第一匹配度，并将多个第一匹配度叠加得到第二匹配度。多个第一匹配度可以从多个维度对候选视频转场特征与目标视频的背景音乐的适配程度进行量化评价，将多个第一匹配度叠加后得到的第二匹配度可以用来更加客观、精准地为目标视频选择合适的候选视频转场类型。
在此基础上，所述匹配度确定模块还用于：
获取所述候选视频转场类型的全局热度值，所述候选视频转场类型的全局热度值是所述候选视频转场类型的多个样本匹配度的均值所述候选视频转场类型的全局热度值是所述候选视频转场类型的多个第二样本匹配度的均值，所述第二样本匹配度是针对第二样本视频的转场效果标注的匹配度，所述第二样本视频使用第二样本背景音乐，所述第二样本视频的转场效果使用所述候选视频转场类型；
根据所述候选视频转场类型的全局热度值对所述候选视频转场类型的第二匹配度进行调整，所述全局热度值与所述第二匹配度正相关。
本申请实施例提供的电子设备，可以根据实际场景需求灵活对候选视频转场类型的第二匹配度进行调整，以达到预期的转场效果。
具体的，全局热度值反映了候选视频转场类型在所有样本背景音乐上的综合匹配度，与具体音乐特征的相关性较弱，利用全局热度值调整候选视频转场类型的第二匹配度，可避免由于音乐特征的选取不准确或不全面导致的匹配度计算误差，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述背景音乐的适配程度，以提高目标视频转场类型选择的精确性。
在上述任意电子设备实施例的基础上，上述背景音乐的音乐特征可以包括以下至少一种：
背景音乐的音乐风格；
背景音乐传递的情绪。
在上述任意电子设备实施例的基础上，如果该电子设备为终端设备，那么，还可以包括视频转场类型确定模块，用于根据上述第一匹配度(若有第二匹配度，则根据第二匹配度)，确定是否使用上述候选视频转场类型为目标视频添加转场效果。若该电子设备为服务器，那么，还可以包括匹配度发送模块，用于将上述第一匹配度(若有第二匹配度，则将第二匹配度)发送给播放目标视频的终端设备。
基于上述任意电子设备实施例，所述第一匹配度是根据归一化处理后的所述样本匹配度确定的。
通过归一化处理，可以避免某些视频转场类型始终被选中而某些视频转场类型始终无法被选中。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储器；
存储器用于存储执行第一方面各个方法实施例所述方法的程序；处理器被配置为执行存储器中存储的程序。
本申请实施例提供的电子设备利用目标视频背景音乐的音乐特征确定候选视频转场类型的第一匹配度，以便根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本电子设备确定的第一匹配度自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
第四方面，本申请实施例提供一种计算机可读存储介质，存储有执行第一方面各个实施例所述方法的程序。
本申请实施例提供的存储介质中的程序利用目标视频背景音乐的音乐特征确定候选视频转场类型的第一匹配度，以便根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本申请实施例提供的存储介质中的程序确定的第一匹配度自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
第五方面，本申请实施例提供一种视频转场类型处理方法，包括：
针对目标视频的背景音乐，获取候选视频转场类型的第一匹配度，所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频的转场效果标注的匹配度，所述第一样本视频使用第一样本背景音乐，所述第一样本视频的转场效果使用所述候选视频转场类型，所述第一样本背景音乐具有与所述目标视频的背景音乐相同的音乐特征；
根据所述第一匹配度确定是否使用所述候选视频转场类型为所述目标视频添加转场效果。
本申请实施例提供的方法中，获取到的候选视频转场类型的第一匹配度，根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本方法确定的视频转场类型进行视频转场处理，能够得到良好的转场效果。
可选的，所述音乐特征有多个，所述第一匹配度有多个，所述音乐特征与所述第一匹配度一一对应，是否使用候选视频转场类型对目标视频添加转场效果，具体是根据第二匹配度确定的，第二匹配度是通过叠加多个所述第一匹配度得到的。
通过获取多个音乐特征，得到每个音乐特征分别对应的第一匹配度，并将多个第一匹配度叠加得到第二匹配度。多个第一匹配度可以从多个维度对候选视频转场特征与目标视频的背景音乐的适配程度进行量化评价，将多个第一匹配度叠加后得到的第二匹配度可以用来更加客观、精准地为目标视频选择合适的候选视频转场类型。
在此基础上，用于确定是否使用候选视频转场类型的第二匹配度是调整后的第二匹配度，其调整方式可以包括：获取所述候选视频转场类型的全局热度值，所述候选视频转场类型的全局热度值是所述候选视频转场类型的多个第二样本匹配度的均值，所述第二样本匹配度是针对第二样本视频的转场效果标注的匹配度，所述第二样本视频使用第二样本背景音乐，所述第二样本视频的转场效果使用所述候选视频转场类型；根据所述候选视频转场类型的全局热度值对所述候选视频转场类型的第二匹配度进行调整，所述全局热度值与所述第二匹配度正相关。
本申请实施例提供的方法，可以根据实际场景需求灵活对候选视频转场类型的第二匹配度进行调整，以达到预期的转场效果。
具体的，全局热度值反映了候选视频转场类型在所有样本背景音乐上的综合匹配度，与具体音乐特征的相关性较弱，利用全局热度值调整候选视频转场类型的第二匹配度，可避免由于音乐特征的选取不准确或不全面导致的匹配度计算误差，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述背景音乐的适配程度，以提高目标视频转场类型选择的精确性。
在上述任意实施例的基础上，上述背景音乐的音乐特征可以包括以下至少一种：
背景音乐的音乐风格；
背景音乐传递的情绪。
基于上述任意方法实施例，所述第一匹配度是根据归一化处理后的所述第一样本匹配度确定的。
通过归一化处理，可以避免某些视频转场类型始终被选中而某些视频转场类型始终无法被选中。
第六方面，本申请实施例提供一种电子设备，包括：
匹配度获取模块，用于针对目标视频的背景音乐，获取候选视频转场类型的第一匹配度，所述第一匹配度是根据所述候选视频转场类型的样本匹配度确定的，所述样本匹配度是针对样本视频的转场效果标注的匹配度，所述样本视频的转场效果使用所述候选视频转场类型，所述样本视频的背景音乐具有与所述目标视频的背景音乐相同的所述音乐特征；
视频转场类型选择模块，用于根据所述第一匹配度确定是否使用所述候选视频转场类型为所述目标视频添加转场效果。
本申请实施例提供的电子设备中，获取到的候选视频转场类型的第一匹配度，根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本电子设备确定的视频转场类型进行视频转场处理，能够得到良好的转场效果。
可选的，所述音乐特征有多个，所述第一匹配度有多个，所述音乐特征与所述第一匹配度一一对应，是否使用候选视频转场类型对目标视频添加转场效果，具体是根据第二匹配度确定的，第二匹配度是通过叠加多个所述第一匹配度得到的。
通过获取多个音乐特征，得到每个音乐特征分别对应的第一匹配度，并将多个第一匹配度叠加得到第二匹配度。多个第一匹配度可以从多个维度对候选视频转场特征与目标视频的背景音乐的适配程度进行量化评价，将多个第一匹配度叠加后得到的第二匹配度可以用来更加客观、精准地为目标视频选择合适的候选视频转场类型。
在此基础上，用于确定是否使用候选视频转场类型的第二匹配度是调整后的第二匹配度，其调整方式可以包括：获取所述候选视频转场类型的全局热度值，所述候选视频转场类型的全局热度值是所述候选视频转场类型的多个第二样本匹配度的均值，所述第二样本匹配度是针对第二样本视频的转场效果标注的匹配度，所述第二样本视频使用第二样本背景音乐，所述第二样本视频的转场效果使用所述候选视频转场类型；根据所述候选视频转场类型的全局热度值对所述候选视频转场类型的第二匹配度进行调整，所述全局热度值与所述第二匹配度正相关。
本申请实施例提供的电子设备，可以根据实际场景需求灵活对候选视频转场类型的第二匹配度进行调整，以达到预期的转场效果。
具体的，全局热度值反映了候选视频转场类型在所有样本背景音乐上的综合匹配度，与具体音乐特征的相关性较弱，利用全局热度值调整候选视频转场类型的第二匹配度，可避免由于音乐特征的选取不准确或不全面导致的匹配度计算误差，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述背景音乐的适配程度，以提高目标视频转场类型选择的精确性。
在上述任意第六方面的实施例的基础上，上述背景音乐的音乐特征可以包括以下至少一种：
背景音乐的音乐风格；
背景音乐传递的情绪。
基于上述任意第六方面的实施例，所述第一匹配度是根据归一化处理后的所述第一样本匹配度确定的。
通过归一化处理，可以避免某些视频转场类型始终被选中而某些视频转场类型始终无法被选中。
第七方面，本申请实施例提供一种电子设备，包括处理器和存储器；
存储器用于存储执行第五方面各个方法实施例所述方法的程序；处理器被配置为执行存储器中存储的程序。
本申请实施例提供的电子设备中，获取到的候选视频转场类型的第一匹配度，根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本电子设备确定的视频转场类型进行视频转场处理，能够得到良好的转场效果。
第八方面，本申请实施例提供一种计算机可读存储介质，存储有执行第五方面各个实施例所述方法的程序。
本申请实施例提供的存储介质中的程序。
本申请实施例提供的存储介质中的程序获取到的候选视频转场类型的第一匹配度，根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本申请实施例提供的存储介质中的程序确定的视频转场类型进行视频转场处理，能够得到良好的转场效果。
附图说明
图1为本申请一个实施例提供的视频转场类型处理方法流程图；
图2为本申请一个实施例提供的电子设备的框图；
图3为本申请一个实施例提供的电子设备结构示意图；
图4为本申请另一个实施例提供的视频转场类型处理方法流程图；
图5为本申请另一个实施例提供的电子设备框图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请实施例的技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请实施例技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
本申请实施例提供一种视频转场类型处理方法，用于为候选视频转场类型确定第一匹配度，以根据第一匹配度为需要添加转场效果的目标视频确定目标视频转场类型。该方法可以应用于终端设备的应用程序，也可以应用在服务器侧。如图1所示，本申请实施例提供的方法包括如下操作：
步骤101、获取目标视频的背景音乐的音乐特征。
其中，音乐特征是指与视频转场类型选择有关的背景音乐的特征，实际应用中，可以根据产品需求以及产品所使用的背景音乐特点定义音乐特征，本申请实施例对此不作限定。通常情况下，影响视频转场类型选择的背景音乐的特征包括但不限于：背景音乐的音乐风格、背景音乐传递的情绪。
本申请实施例不对音乐特征的表示方式进行限定，实际应用中，可以根据需要定义音乐特征表示方式。例如，音乐特征可以用连续取值的指定数值范围内的数值表示，也可以用指定的离散数值表示，音乐特征还可以用向量表示。以向量表示音乐特征为例，将背景音乐传递的情绪划分为“高兴”、“平静”、“低落”三个范围，那么，可以用三维向量表示背景音乐传递的情绪，其中，100表示高兴，010表示平静，001表示低落。
步骤102、利用上述音乐特征，获取候选视频转场类型的第一匹配度，以根据该第一匹配度确定是否使用候选视频转场类型为目标视频添加转场效果。
其中，所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频的转场效果标注的匹配度，所述第一样本视频使用第一样本背景音乐，所述第一样本视频的转场效果使用所述候选视频转场类型，所述第一样本背景音乐具有所述音乐特征。
假设步骤101中获取到的音乐特征是目标视频的背景音乐传递的“高兴”情绪，那么，用于确定该音乐特征获取到的第一匹配度的第一样本匹配度是对符合以下条件的第一样本视频标注的匹配度：使用传递“高兴”情绪的第一样本背景音乐、且使用该候选视频转场类型添加转场效果。
假设有M种音乐特征，那么，在上述步骤101中可以提取到M个音乐特征，则在该步骤中获取到M个第一匹配度，每个音乐特征对应一个第一匹配度，M的取值为不小于1的整数。
本申请实施例提供的方法利用目标视频背景音乐的音乐特征确定候选视频转场类型的第一匹配度，以便根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本方法确定的第一匹配度自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
上述方法若在终端设备的应用程序上实现，那么，还可以根据第一匹配度确定是否使用候选视频转场类型为目标视频添加转场效果。若上述方法在服务器上实现，那么，还可以将第一匹配度发送给终端设备，由终端设备上的应用程序根据该第一匹配度确定是否使用候选视频转场类型为目标视频添加转场效果。
如上所述，若有多个第一匹配度，那么，将多个第一匹配度叠加，得到候选视频转场类型的第二匹配度，根据第二匹配度确定是否使用候选视频转场类型为目标视频添加转场效果。其中，叠加方式不限，例如直接对多个第一匹配度做加法运算。
实际应用中，通常有多个候选视频转场类型以供选择，那么，可以按照预定的顺序，依次确定各个候选视频转场类型是否可用来为上述目标视频添加转场效果。具体到其中某一个候选视频转场类型，一种实现方式中，将其对应的上述匹配度(M为1时，第一匹配度，M大于1时，第二匹配度)与此前为其他候选视频转场类型确定的匹配度(M为1时，第一匹配度，M大于1时，第二匹配度)进行比较，如果本次确定的匹配度高于此前为其他候选视频转场类型确定的匹配度，则暂定使用该候选视频转场类型，也就是说，从多个候选视频转场类型中选择匹配度最高的候选视频转场类型作为目标视频转场类型，利用该目标视频转场类型渲染得到上述目标视频的转场效果；另一种实现方式中，从多个候选视频转场类型中选择匹配度最高的若干个候选视频转场类型，进一步利用其他选择策略从中选择出目标视频转场类型，例如结合目标视频的图像特征进行选择；又一种实现方式中，根据所有候选视频转场类型的匹配度(第一匹配度或第二匹配度)，结合其他选择策略，例如结合图像特征，从中选择出目标视频转场类型；又一种实现方式中，判断当前候选视频转场类型的匹配度(M为1时，第一匹配度，M大于1时，第二匹配度)是否超过设定匹配度阈值，如果超过，则确定使用当前候选视频转场类型为目标视频添加转场效果，不再对后续的候选视频转场类型进行处理。
如上所述，背景音乐的音乐特征可以包括背景音乐的音乐风格。本申请实施例不对音乐风格的划分及确定方式进行限定，实际应用中，可以根据产品需要划分音乐风格，并通过读取背景音乐的风格标签获取其音乐风格，风格标签可以是人工标注的，也可以是利用预先训练得到的音乐风格模型确定的。
如上所述，背景音乐的音乐特征还可以包括背景音乐传递的情绪。本申请实施例不对背景音乐传递的情绪的划分及确定方式进行限定，实际应用中，可以根据产品需要划分情绪，并通过读取背景音乐的情绪标签获取其引导的风格，情绪标签可以是人工标注的，也可以是利用预先训练得到的情绪模型确定的，还可以是利用其他的情绪识别算法确定的。
本申请实施例提供的方法可以根据实际场景需求灵活对候选视频转场类型的匹配度(M为1时，此处为第一匹配度，M大于1时，此处为第二匹配度)进行调整，以达到预期的转场效果。
上述匹配度调整的实现方式有多种，实际应用中，可以根据产品需要确定匹配度调整策略，并根据匹配度调整策略实现上述匹配度的调整。
作为举例而非限定，对候选视频转场类型的匹配度进行调整的一种实现方式包括：获取所述候选视频转场类型的全局热度值，所述候选视频转场类型的全局热度值是所述候选视频转场类型的多个第二样本匹配度的均值，所述第二样本匹配度是针对第二样本视频的转场效果标注的匹配度，所述第二样本视频使用第二样本背景音乐，所述第二样本视频的转场效果使用所述候选视频转场类型；根据所述候选视频转场类型的全局热度值对所述候选视频转场类型的第二匹配度进行调整，所述全局热度值与所述第二匹配度正相关。
其中，第一样本视频与第二样本视频可以相同，也可以不同。其中，所有的第一样本背景音乐都可以作为第二样本背景音乐。
本申请实施例不对匹配度的调整方式进行限定，只要确保全局热度值与第二匹配度正相关即可。例如，可以将候选视频转场类型Sj的全局热度值Hj与其匹配度Wj相乘，从而实现对匹配度Wj的调整。又例如，可以候选视频转场类型Sj的全局热度值Hj与其匹配度Wj相加，从而实现对匹配度Wj的调整。
本申请实施例中，全局热度值反映了候选视频转场类型在所有样本背景音乐上的综合匹配度，与具体音乐特征的相关性较弱，利用全局热度值调整候选视频转场类型的第二匹配度，可避免由于音乐特征的选取不准确或不全面导致的匹配度计算误差，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述背景音乐的适配程度，以提高目标视频转场类型选择的精确性。
基于上述任意方法实施例，所述第一匹配度是根据归一化处理后的所述第一样本匹配度确定的。
通过归一化处理，可以避免某些视频转场类型始终被选中而某些视频转场类型始终无法被选中。
下面结合具体应用场景对本申请实施例提供的方法进行说明，在该场景中，有N个候选视频转场类型，M个音乐特征。
在候选视频转场类型的第一匹配度的确定阶段(也就是第一匹配度与音乐特征的映射关系的确定阶段)，获取Y个样本背景音乐。
分别利用每个候选视频转场类型对指定的样本视频进行转场渲染，并播放带转场效果及样本背景音乐的视频，以供工作人员为每个候选视频转场类型在每个样本背景音乐上打分，以此获得每个候选视频转场类型在每个样本背景音乐上的样本匹配度。
对于每个候选视频转场类型，利用其在各个样本背景音乐Px上的样本匹配度W1、W2、WY对其在每个样本背景音乐Px上的样本匹配度Wx进行归一化处理。
确定每个样本背景音乐的各个音乐特征，例如，确定每个样本背景音乐的音乐风格和传递的情绪。
对于每个候选视频转场类型，利用其各个样本匹配度W1、W2、……、WY对其在每个样本背景音乐Px上的样本匹配度Wx进行归一化处理。
提取每个样本背景音乐的各个音乐特征，例如，确定每个样本背景音乐的音乐风格和传递的情绪。
针对每个候选视频转场类型，基于音乐风格对其各个样本匹配度进行分组，相同音乐风格对应的样本匹配度同组。类似的，针对每个候选视频转场类型，基于音乐传递的情绪对其各个样本匹配度进行分组，并分别得到“低落”对应的该候选视频转场类型的第一匹配度，“平静”对应的该候选视频转场类型的第一匹配度，“高兴”对应的该候选视频转场类型的第一匹配度。
假设音乐传递的情绪以向量表示，其中100表示高兴，010表示平静，001表示低落。Y个样本背景音乐中，Y1个样本背景音乐传递的情绪为001，Y2个样本背景音乐传递的情绪为010，Y3个样本背景音乐传递的情绪为100。第i个候选视频转场类型针对Y1个样本背景音乐的样本匹配度的均值作为其在001上的第一匹配度，相应的，第i个候选视频转场类型与Y2个样本背景音乐的样本匹配度的均值作为其在010上的第一匹配度，第i个候选视频转场类型与Y3个样本背景音乐的样本匹配度的均值作为其在100上的第一匹配度。至此也就确定了第i个候选视频转场类型的第一匹配度与音乐传递的情绪之间的映射关系。
利用每个候选视频转场类型的各个样本匹配度确定其全局热度值。
当用户选择了多个视频素材希望制作视频，并选择了对应的背景音乐。
一方面，终端设备的VE(短视频引擎)SDK(软件工具开发包)将该背景音乐通知给服务器侧，由服务器侧获取背景音乐的各个音乐特征，例如，音乐类型，传递的情绪，其中，背景音乐的M个音乐特征构成M’维向量。
假设有2个音乐特征，分别为音乐风格和传递的情绪。其中，音乐传递的情绪分为高兴、平静、低落三个范围，另外，共有10个音乐风格，那么，音乐传递的情绪表示为三维向量，音乐风格表示为十维向量，将这量个向量级联，得到13维向量。
服务器读取N个候选视频转场类型在M个音乐特征的各个取值上的第一匹配度，得到M’×N的转场类型矩阵(该矩阵可视为上述取值映射关系)，该矩阵中的每个元素(j,i)表示候选视频转场类型Si在音乐特征的取值Fj上的第一匹配度。。
将上述背景音乐的M个音乐特征构成M’维向量与M’×N的转场类型矩阵进行乘法运算，得到每个候选视频转场类型的第二匹配度；利用每个候选视频转场类型的全局热度值对其第二匹配度进行调整；将调整之后的第二匹配度发送给VE SDK。
应当指出的是，也可以将全局热度值纳入上述转场类型矩阵，相应的，得到M”×N转场类型矩阵，M”＝M’+1，得到M”维向量，其中与全局热度值对应的位置1。
另一方面，VE SDK获取用户选择的多个视频素材构成的视频素材序列，对视频素材序列中的每个视频素材进行抽帧处理，得到抽帧后的视频素材序列并发送给终端设备的算法SDK；算法SDK确定每个候选视频转场类型各自在每相邻两个视频素材上的匹配度，并发送给VE SDK。
VE SDK根据每个候选视频转场类型的第二匹配度，以及每个候选视频转场类型在每相邻两个视频素材上的匹配度，为各个转场位置确定目标视频转场类型。
在该实施例中，VE SDK根据每个候选视频转场类型在每相邻两个视频素材上的匹配度，以及每个候选视频转场类型的第二匹配度构建DP(动态规划)检索结构，利用动态规划算法选择目标视频转场类型。
VE SDK将视频素材序列及目标转场模型发送给EFFECT(效果)SDK，EFFECT SDK执行渲染操作。
基于与图1所示的方法同样的发明构思，本申请实施例提供一种电子设备，如图2所示，该电子设备可以包括音乐特征获取模块201和匹配度确定模块202，所述各个模块可分别执行上文中结合图1描述的视频转场类型确定方法的各个步骤/功能。以下仅对该电子设备的各模块的主要功能进行描述，而省略以上已经描述过的细节内容。
音乐特征获取模块201，用于获取目标视频的背景音乐的音乐特征；
匹配度确定模块202，用于利用所述音乐特征，获取候选视频转场类型的第一匹配度，以根据所述第一匹配度确定是否使用所述候选视频转场类型为所述目标视频添加转场效果，所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频的转场效果标注的匹配度，所述第一样本视频使用第一样本背景音乐，所述第一样本视频的转场效果使用所述候选视频转场类型，所述第一样本背景音乐具有所述音乐特征。
本申请实施例提供的电子设备利用目标视频背景音乐的音乐特征确定候选视频转场类型的第一匹配度，以便根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本电子设备确定的第一匹配度自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
可选的，所述音乐特征有多个，所述第一匹配度有多个，所述音乐特征与所述第一匹配度一一对应，所述匹配度确定模块还用于：叠加多个所述第一匹配度，得到所述候选视频转场类型的第二匹配度。
通过获取多个音乐特征，得到每个音乐特征分别对应的第一匹配度，并将多个第一匹配度叠加得到第二匹配度。多个第一匹配度可以从多个维度对候选视频转场特征与目标视频的背景音乐的适配程度进行量化评价，将多个第一匹配度叠加后得到的第二匹配度可以用来更加客观、精准地为目标视频选择合适的候选视频转场类型。
在此基础上，所述匹配度确定模块还用于：
获取所述候选视频转场类型的全局热度值，所述候选视频转场类型的全局热度值是所述候选视频转场类型的多个样本匹配度的均值所述候选视频转场类型的全局热度值是所述候选视频转场类型的多个第二样本匹配度的均值，所述第二样本匹配度是针对第二样本视频的转场效果标注的匹配度，所述第二样本视频使用第二样本背景音乐，所述第二样本视频的转场效果使用所述候选视频转场类型；
根据所述候选视频转场类型的全局热度值对所述候选视频转场类型的第二匹配度进行调整，所述全局热度值与所述第二匹配度正相关。
本申请实施例提供的电子设备，可以根据实际场景需求灵活对候选视频转场类型的第二匹配度进行调整，以达到预期的转场效果。
具体的，全局热度值反映了候选视频转场类型在所有样本背景音乐上的综合匹配度，与具体音乐特征的相关性较弱，利用全局热度值调整候选视频转场类型的第二匹配度，可避免由于音乐特征的选取不准确或不全面导致的匹配度计算误差，使得调整后的第二匹配度更准确地反映候选视频转场类型与上述背景音乐的适配程度，以提高目标视频转场类型选择的精确性。
在上述任意电子设备实施例的基础上，上述背景音乐的音乐特征可以包括以下至少一种：
背景音乐的音乐风格；
背景音乐传递的情绪。
在上述任意电子设备实施例的基础上，如果该电子设备为终端设备，那么，还可以包括视频转场类型确定模块，用于根据上述第一匹配度(若有第二匹配度，则根据第二匹配度)，确定是否使用上述候选视频转场类型为目标视频添加转场效果。若该电子设备为服务器，那么，还可以包括匹配度发送模块，用于将上述第一匹配度(若有第二匹配度，则将第二匹配度)发送给播放目标视频的终端设备。
基于上述任意电子设备实施例，所述第一匹配度是根据归一化处理后的所述样本匹配度确定的。
通过归一化处理，可以避免某些视频转场类型始终被选中而某些视频转场类型始终无法被选中。
上述各实施例中的电子设备可以包括智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、车载电脑、智能音箱、个人计算机、服务器等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于与方法同样的发明构思，本申请实施例还提供一种电子设备，包括处理器和存储器；
存储器用于存储执行上述各个方法实施例所述方法的程序；处理器被配置为执行存储器中存储的程序。当存储器中存储的程序指令被处理器运行时，所述处理器执行上述各个方法实施例所述方法，并且还用于实现根据本发明实施例的电子设备中的相应模块。处理器可以是包括中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备中的其它组件以执行期望的功能。存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本公开的实施例的功能以及/或者其它期望的功能。
本申请实施例提供的电子设备利用目标视频背景音乐的音乐特征确定候选视频转场类型的第一匹配度，以便根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本电子设备确定的第一匹配度自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
本申请实施例提供的电子设备可以包括终端设备，如图3所示，终端设备不仅包括处理器和存储器，还包括输入设备(例如触摸屏、摄像头、传声器等)、输出设备(例如显示屏、扬声器等)、通信模块、电源模块。
其中，存储器、输入设备、输出设备、通信模块、电源模块通过串口、总线或USB接口与处理器连接。其中，对于单处理器移动终端，处理器即CPU(中央处理器)；对于双处理器移动终端，处理器包括主处理器和从处理器，由其主处理器执行应用程序实现本发明实施例提供的方法，若其中需要与外界进行通信，则由从处理器控制通信模块配合实现；对于包含GPU(图形处理器)和CPU的终端设备，处理器是指GPU和CPU，由GPU和CPU配合或由CPU单独实现本申请实施例提供的方法。
其中，移动终端的存储器可以但不仅限于包括：Flash(闪存)存储器、RAM(随机存取存储器)、ROM(只读存储器)等。RAM主要用于存储终端设备运行时的程序和数据，需要执行的程序或者需要处理的数据都必须先装入RAM内。ROM主要用于检查终端设备操作系统的配置情况，并提供最基本的输入输出(I/O)程序。Flash存储器是一种长寿命的非易失性(在断电情况下仍能保持所存储的数据信息)存储器，数据删除不是以单个的字节为单位，而是以固定的区块为单位。由于Flash存储器断电时仍能保存数据，它通常被用来保存设置信息，如用户对手机的设置信息等。
应当指出的是，针对不同的移动终端(单处理器智能手机、双处理器智能手机、智能穿戴设备、平板电脑等等)，其可能包括比图3所示的终端设备更多或更少的硬件结构，但只要包括存储器和处理器，且能够实现上述方法实施例的功能，均在本公开的保护范围内。
基于与方法同样的发明构思，本申请实施例还提供一种计算机可读存储介质，存储有执行上述各个实施例所述方法的程序。
本申请实施例提供的存储介质中的程序利用目标视频背景音乐的音乐特征确定候选视频转场类型的第一匹配度，以便根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本申请实施例提供的存储介质中的程序确定的第一匹配度自动选择的视频转场类型进行视频转场处理，能够得到良好的转场效果。
本申请实施例提供一种视频转场类型处理方法，用于为需要添加转场效果的目标视频确定是否使用候选视频转场类型。该方法应用于终端设备的应用程序。如图4所示，本申请实施例提供的方法包括如下操作：
步骤401、针对目标视频的背景音乐，获取候选视频转场类型的第一匹配度。
具体的，向服务器告知目标视频的背景音乐，从服务器获取候选视频转场类型的第一匹配度。
其中，所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频的转场效果标注的匹配度，所述第一样本视频使用第一样本背景音乐，所述第一样本视频的转场效果使用所述候选视频转场类型，所述第一样本背景音乐具有与所述目标视频的背景音乐相同的音乐特征。
其具体实现方式可以参照上述方法实施例的说明，此处不再赘述。
步骤402、根据上述第一匹配度确定是否使用候选视频转场类型为目标视频添加转场效果。
其具体实现方式可以参照上述方法实施例的说明，此处不再赘述。
本申请实施例提供的方法中，获取到的候选视频转场类型的第一匹配度，根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本方法确定的视频转场类型进行视频转场处理，能够得到良好的转场效果。
基于与图4所示的方法同样的发明构思，本申请实施例提供一种电子设备，如图5所示，包括：
匹配度获取模块501，用于针对目标视频的背景音乐，获取候选视频转场类型的第一匹配度，所述第一匹配度是根据所述候选视频转场类型的样本匹配度确定的，所述样本匹配度是针对样本视频的转场效果标注的匹配度，所述样本视频的转场效果使用所述候选视频转场类型，所述样本视频的背景音乐具有与所述目标视频的背景音乐相同的所述音乐特征；
视频转场类型选择模块502，用于根据所述第一匹配度确定是否使用所述候选视频转场类型为所述目标视频添加转场效果。
本申请实施例提供的电子设备中，获取到的候选视频转场类型的第一匹配度，根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本电子设备确定的视频转场类型进行视频转场处理，能够得到良好的转场效果。
基于与图4所示的方法同样的发明构思，本申请实施例提供一种电子设备，包括处理器和存储器；
存储器用于存储执行第五方面各个方法实施例所述方法的程序；处理器被配置为执行存储器中存储的程序。
该电子设备具体为移动终端，其结构可以参见图3。
本申请实施例提供的电子设备中，获取到的候选视频转场类型的第一匹配度，根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本电子设备确定的视频转场类型进行视频转场处理，能够得到良好的转场效果。
基于与方法同样的发明构思，本申请实施例提供一种计算机可读存储介质，存储有执行图4所示方法的各个实施例的程序。
本申请实施例提供的存储介质中的程序。
本申请实施例提供的存储介质中的程序获取到的候选视频转场类型的第一匹配度，根据该第一匹配度确定是否使用候选转场类型为目标视频添加转场效果，达到自动选择视频转场类型的目的。候选视频转场类型的第一匹配度是根据针对第一样本视频标注的匹配度确定的，该第一样本视频使用候选视频转场类型添加转场效果，且使用具有上述音乐特征的第一样本背景音乐。针对第一样本音乐的标注通常是采用人工标注的，实际应用中，可以由专业人士利用专业知识在配有第一样本背景音乐的第一样本视频上为候选视频转场类型进行打分，从而得到针对第一样本背景音乐的匹配度。而音乐特征是第一样本背景音乐中影响视频转场类型选择的特征，在此基础上结合专业人士打分得到的第一样本匹配度能够很好地量化候选视频转场类型在目标视频中的转场效果，使得采用本申请实施例提供的存储介质中的程序确定的视频转场类型进行视频转场处理，能够得到良好的转场效果。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (10)

1.一种视频转场类型处理方法，其特征在于，包括：
获取目标视频的背景音乐的音乐特征；
利用所述音乐特征，获取候选视频转场类型的第一匹配度，以根据所述第一匹配度确定是否使用所述候选视频转场类型为所述目标视频添加转场效果，所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频的转场效果标注的匹配度，所述第一样本视频使用第一样本背景音乐，所述第一样本视频的转场效果使用所述候选视频转场类型，所述第一样本背景音乐具有所述音乐特征。
2.根据权利要求1所述的方法，其特征在于，所述背景音乐的音乐特征包括以下至少一种：
所述背景音乐的音乐风格；
所述背景音乐传递的情绪；
所述背景音乐包括所述目标视频的背景音乐和所述第一样本背景音乐。
3.根据权利要求1所述的方法，其特征在于，所述音乐特征有多个，所述第一匹配度有多个，所述音乐特征与所述第一匹配度一一对应，所述方法还包括：叠加多个所述第一匹配度，得到所述候选视频转场类型的第二匹配度。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述候选视频转场类型的全局热度值，所述候选视频转场类型的全局热度值是所述候选视频转场类型的多个第二样本匹配度的均值，所述第二样本匹配度是针对第二样本视频的转场效果标注的匹配度，所述第二样本视频使用第二样本背景音乐，所述第二样本视频的转场效果使用所述候选视频转场类型；
根据所述候选视频转场类型的全局热度值对所述候选视频转场类型的第二匹配度进行调整，所述全局热度值与所述第二匹配度正相关。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一匹配度是根据归一化处理后的所述第一样本匹配度确定的。
6.一种视频转场类型处理方法，其特征在于，包括：
针对目标视频的背景音乐，获取候选视频转场类型的第一匹配度，所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频的转场效果标注的匹配度，所述第一样本视频使用第一样本背景音乐，所述第一样本视频的转场效果使用所述候选视频转场类型，所述第一样本背景音乐具有与所述目标视频的背景音乐相同的音乐特征；
根据所述第一匹配度确定是否使用所述候选视频转场类型为所述目标视频添加转场效果。
7.一种电子设备，其特征在于，包括：
音乐特征获取模块，用于获取目标视频的背景音乐的音乐特征；
匹配度确定模块，用于利用所述音乐特征，获取候选视频转场类型的第一匹配度，以根据所述第一匹配度确定是否使用所述候选视频转场类型为所述目标视频添加转场效果，所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频的转场效果标注的匹配度，所述第一样本视频使用第一样本背景音乐，所述第一样本视频的转场效果使用所述候选视频转场类型，所述第一样本背景音乐具有所述音乐特征。
8.一种电子设备，其特征在于，包括：
匹配度获取模块，用于针对目标视频的背景音乐，获取候选视频转场类型的第一匹配度，所述第一匹配度是根据所述候选视频转场类型的第一样本匹配度确定的，所述第一样本匹配度是针对第一样本视频的转场效果标注的匹配度，所述第一样本视频使用第一样本背景音乐，所述第一样本视频的转场效果使用所述候选视频转场类型，所述第一样本背景音乐具有与所述目标视频的背景音乐相同的音乐特征；
视频转场类型选择模块，用于根据所述第一匹配度确定是否使用所述候选视频转场类型为所述目标视频添加转场效果。
9.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器用于存储执行权利要求1至6任一项所述方法的程序；
所述处理器被配置为执行所述存储器中存储的程序。
10.一种计算机可读存储介质，其特征在于，存储有执行权利要求1至6任一项所述方法的程序。
CN202010609919.6A 2020-06-29 2020-06-29 视频转场类型处理方法、设备及存储介质 Active CN113938744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010609919.6A CN113938744B (zh) 2020-06-29 2020-06-29 视频转场类型处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010609919.6A CN113938744B (zh) 2020-06-29 2020-06-29 视频转场类型处理方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113938744A true CN113938744A (zh) 2022-01-14
CN113938744B CN113938744B (zh) 2024-01-23

Family

ID=79273154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010609919.6A Active CN113938744B (zh) 2020-06-29 2020-06-29 视频转场类型处理方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113938744B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI225368B (en) * 2003-08-22 2004-12-11 Inventec Besta Co Ltd Method for generating and playing image passing-field animation special-efficacy
CN103096091A (zh) * 2005-09-27 2013-05-08 高通股份有限公司 用于过渡效果的多媒体编码技术
US20140212106A1 (en) * 2011-02-08 2014-07-31 Google Inc. Music soundtrack recommendation engine for videos
WO2017025040A1 (zh) * 2015-08-12 2017-02-16 北京金山安全软件有限公司 图片视频播放时的图片切换方法及图片切换装置
US20170068730A1 (en) * 2015-09-04 2017-03-09 Samsung Electronics Co., Ltd. Display apparatus, background music providing method thereof and background music providing system
CN107967706A (zh) * 2017-11-27 2018-04-27 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据的处理方法、装置及计算机可读存储介质
CN109618222A (zh) * 2018-12-27 2019-04-12 北京字节跳动网络技术有限公司 一种拼接视频生成方法、装置、终端设备及存储介质
CN109615682A (zh) * 2018-12-07 2019-04-12 北京微播视界科技有限公司 动画生成方法、装置、电子设备及计算机可读存储介质
CN109688463A (zh) * 2018-12-27 2019-04-26 北京字节跳动网络技术有限公司 一种剪辑视频生成方法、装置、终端设备及存储介质
US20200090395A1 (en) * 2018-09-13 2020-03-19 International Business Machines Corporation Animation generation
CN111107392A (zh) * 2019-12-31 2020-05-05 北京百度网讯科技有限公司 视频处理方法、装置和电子设备
CN111226262A (zh) * 2017-08-03 2020-06-02 脸谱公司 合成动画
CN111328387A (zh) * 2019-07-19 2020-06-23 深圳市大疆创新科技有限公司 云台控制方法、设备和计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI225368B (en) * 2003-08-22 2004-12-11 Inventec Besta Co Ltd Method for generating and playing image passing-field animation special-efficacy
CN103096091A (zh) * 2005-09-27 2013-05-08 高通股份有限公司 用于过渡效果的多媒体编码技术
US20140212106A1 (en) * 2011-02-08 2014-07-31 Google Inc. Music soundtrack recommendation engine for videos
WO2017025040A1 (zh) * 2015-08-12 2017-02-16 北京金山安全软件有限公司 图片视频播放时的图片切换方法及图片切换装置
US20170068730A1 (en) * 2015-09-04 2017-03-09 Samsung Electronics Co., Ltd. Display apparatus, background music providing method thereof and background music providing system
CN111226262A (zh) * 2017-08-03 2020-06-02 脸谱公司 合成动画
CN107967706A (zh) * 2017-11-27 2018-04-27 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据的处理方法、装置及计算机可读存储介质
US20200090395A1 (en) * 2018-09-13 2020-03-19 International Business Machines Corporation Animation generation
CN109615682A (zh) * 2018-12-07 2019-04-12 北京微播视界科技有限公司 动画生成方法、装置、电子设备及计算机可读存储介质
CN109688463A (zh) * 2018-12-27 2019-04-26 北京字节跳动网络技术有限公司 一种剪辑视频生成方法、装置、终端设备及存储介质
CN109618222A (zh) * 2018-12-27 2019-04-12 北京字节跳动网络技术有限公司 一种拼接视频生成方法、装置、终端设备及存储介质
CN111328387A (zh) * 2019-07-19 2020-06-23 深圳市大疆创新科技有限公司 云台控制方法、设备和计算机可读存储介质
CN111107392A (zh) * 2019-12-31 2020-05-05 北京百度网讯科技有限公司 视频处理方法、装置和电子设备

Also Published As

Publication number Publication date
CN113938744B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN109961780B (zh) 一种人机交互方法、装置、服务器和存储介质
CN108830235B (zh) 用于生成信息的方法和装置
CN110012210B (zh) 拍照方法、装置、存储介质及电子设备
CN109447958B (zh) 图像处理方法、装置、存储介质及计算机设备
CN109389427B (zh) 问卷推送方法、装置、计算机设备和存储介质
CN111476708A (zh) 模型生成方法、模型获取方法、装置、设备及存储介质
CN110363569A (zh) 数据产品推荐方法、装置、计算机设备和存储介质
CN111901538A (zh) 一种字幕生成方法、装置、设备及存储介质
CN112203140A (zh) 一种视频剪辑方法、装置、电子设备及存储介质
CN110890088A (zh) 语音信息反馈方法、装置、计算机设备和存储介质
CN105488470A (zh) 确定人物属性信息的方法及装置
CN111125384B (zh) 一种多媒体答案生成方法、装置、终端设备以及存储介质
CN107680598B (zh) 基于好友声纹通讯录的信息交互方法、装置及其设备
CN113938751B (zh) 视频转场类型确定方法、设备及存储介质
CN112528049A (zh) 视频合成方法、装置、电子设备及计算机可读存储介质
CN113938744B (zh) 视频转场类型处理方法、设备及存储介质
US9607573B2 (en) Avatar motion modification
CN113127058B (zh) 数据标注方法、相关装置及计算机程序产品
CN113628077B (zh) 生成不重复考题的方法、终端及可读存储介质
CN108874994A (zh) 一种分块读取数据的方法、装置及计算机存储介质
CN111429949B (zh) 音高线生成方法、装置、设备及存储介质
CN114302224A (zh) 一种视频智能剪辑方法、装置、设备及存储介质
CN110877332B (zh) 机器人舞蹈文件生成方法、装置、终端设备及存储介质
CN111696179A (zh) 卡通三维模型和虚拟仿真人的生成方法、装置和存储介质
CN111858869B (zh) 一种数据匹配方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room B-0035, 2nd floor, No. 3 Courtyard, 30 Shixing Street, Shijingshan District, Beijing

Applicant after: Tiktok vision (Beijing) Co.,Ltd.

Applicant after: Tiktok Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Applicant before: Byte Jump Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant after: Douyin Vision Co.,Ltd.

Applicant after: Tiktok Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: Tiktok vision (Beijing) Co.,Ltd.

Applicant before: Tiktok Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room B-0035, 2nd floor, No. 3 Courtyard, 30 Shixing Street, Shijingshan District, Beijing

Applicant after: Douyin Vision Co.,Ltd.

Applicant after: Byte Jump Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: Tiktok vision (Beijing) Co.,Ltd.

Applicant before: Byte Jump Co.,Ltd.

Address after: Room B-0035, 2nd floor, No. 3 Courtyard, 30 Shixing Street, Shijingshan District, Beijing

Applicant after: Tiktok vision (Beijing) Co.,Ltd.

Applicant after: Byte Jump Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Applicant before: Byte Jump Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant