CN116074583B - 根据视频剪辑时间点更正字幕文件时间轴的方法及系统 - Google Patents

根据视频剪辑时间点更正字幕文件时间轴的方法及系统 Download PDF

Info

Publication number
CN116074583B
CN116074583B CN202310112202.4A CN202310112202A CN116074583B CN 116074583 B CN116074583 B CN 116074583B CN 202310112202 A CN202310112202 A CN 202310112202A CN 116074583 B CN116074583 B CN 116074583B
Authority
CN
China
Prior art keywords
video
audio
file
caption
subtitle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310112202.4A
Other languages
English (en)
Other versions
CN116074583A (zh
Inventor
宋君
王正航
杨兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jianshi Technology Co ltd
Original Assignee
Wuhan Jianshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jianshi Technology Co ltd filed Critical Wuhan Jianshi Technology Co ltd
Priority to CN202310112202.4A priority Critical patent/CN116074583B/zh
Publication of CN116074583A publication Critical patent/CN116074583A/zh
Application granted granted Critical
Publication of CN116074583B publication Critical patent/CN116074583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本公开涉及一种根据视频剪辑时间点更正字幕文件时间轴的方法及系统。所述方法包括：获取原始视频中各视频帧及剪辑后视频中各视频帧的图像指纹；根据图像指纹，获得视频剪辑操作序列；根据视频剪辑操作序列，对与原始视频对应的字幕文件进行编辑，获得初修正字幕文件；根据与原始视频对应的音频文件以及与剪辑后视频对应的音频文件，对初修正字幕文件进行修正，获得精修正字幕文件。根据本公开，可通过对视频的操作与音频的修正来提升字幕的准确性，减少人工成本，提升处理效率。且无需服务端接入，能够进行离线操作。且保持与原字幕意思一致，可避免人工智能的语音识别难以识别特定领域的字幕，无法识别没有声音的字幕等问题。

Description

根据视频剪辑时间点更正字幕文件时间轴的方法及系统
技术领域
本公开涉及计算机辅助视频剪辑技术领域，尤其涉及一种根据视频剪辑时间点更正字幕文件时间轴的方法及系统。
背景技术
在相关技术中，对视频剪辑后的字幕修改，大多数采用人工的方式进行。视频剪辑人员首先将视频进行剪辑，然后由打轴人员对照原始字幕及视频重新进行打轴。视频每剪辑一次就需要打轴人员重新打轴一次。而自动修正字幕的软件大多通过人工智能的语音识别技术重新识别字幕进行修正，语音识别技术需要经过信号处理和特征提取，然后利用训练好的声学模型和语言模型，分别求得声学模型与语言模型得分，然后综合两种得分，分别进行候选的搜索，最后得出语音识别的结果。
然而，人工修正字幕的方式所需时间长，需要随着视频的剪辑修改不断进行字幕的修正，人工成本较高。通过语音识别的方式则存在以下缺点：1.难以做到与原始字幕的意思一致；2.使用成本高，目前语音识别的模型搭建，样本训练，成本较高难以普及；3.针对特定领域的术语难以准确识别；4.无法处理信息字幕，例如，注解、说明性字幕、过渡性字幕等没有声音的字幕；5.语音识别依托于语音识别服务商，需要接入服务商的API，无法离线使用。
发明内容
本公开提出了一种根据视频剪辑时间点更正字幕文件时间轴的方法及系统。
根据本公开的一方面，提供了一种根据视频剪辑时间点更正字幕文件时间轴的方法，包括：
获取原始视频中各个视频帧及剪辑后视频中各个视频帧的图像指纹；
根据所述图像指纹，获得视频剪辑操作序列，其中，所述视频剪辑操作序列包括对所述原始视频中各个视频帧的操作动作的序列；
根据所述视频剪辑操作序列，对与所述原始视频对应的字幕文件进行编辑处理，获得初修正字幕文件；
根据与所述原始视频对应的音频文件以及与所述剪辑后视频对应的音频文件，对所述初修正字幕文件进行修正，获得精修正字幕文件。
在本公开的一些实施例中，获取原始视频中各个视频帧及剪辑后视频中各个视频帧的图像指纹，包括：
对所述各个视频帧放缩为第一预设尺寸，并转换为灰度图；
对所述灰度图进行离散余弦变换，获得与各个视频帧对应的变换矩阵；
在所述变换矩阵中的预设位置提取第二预设尺寸的标记矩阵；
根据所述标记矩阵，获得与各个视频帧对应的图像指纹。
在本公开的一些实施例中，根据所述标记矩阵，获得与各个视频帧对应的图像指纹，包括：
确定所述标记矩阵中各个元素的均值；
根据所述标记矩阵中各个元素和所述均值的比较结果，确定所述图像指纹中的各个元素的值；
根据所述图像指纹中的各个元素的值，获得所述图像指纹。
在本公开的一些实施例中，根据所述图像指纹，获得视频剪辑操作序列，包括：
根据所述图像指纹，对所述原始视频中各个视频帧及剪辑后视频中各个视频帧进行匹配，获得匹配结果；
根据所述匹配结果，确定由所述原始视频中各视频帧组成的序列变换为所述剪辑后视频中各视频帧组成的序列的操作动作；
对连续相同的操作动作进行合并，获得所述视频剪辑操作序列。
在本公开的一些实施例中，根据与所述原始视频对应的音频文件以及与所述剪辑后视频对应的音频文件，对所述初修正字幕文件进行修正，获得精修正字幕文件，包括：
获取与所述原始视频对应的音频文件中，与所述原始视频对应的字幕文件关联的标准音频；
获取所述初修正字幕文件在所述剪辑后视频中的字幕起始时间和字幕时长；
根据所述字幕起始时间、所述字幕时长以及与所述剪辑后视频对应的音频文件，获得待匹配音频；
根据音频采样率以及所述标准音频，确定所述待匹配音频的滑动窗口以及滑动距离；
根据所述滑动窗口、所述滑动距离以及所述标准音频，确定音频匹配时间；
根据所述音频匹配时间，对所述初修正字幕文件进行修正，获得精修正字幕文件。
在本公开的一些实施例中，根据所述字幕起始时间、所述字幕时长以及与所述剪辑后视频对应的音频文件，获得待匹配音频，包括：
根据所述字幕起始时间和所述字幕时长，确定待匹配音频的起始时间；
根据所述字幕时长，确定所述待匹配音频的时长；
根据所述待匹配音频的起始时间和时长，确定待匹配音频的结束时间；
根据所述待匹配音频的起始时间和所述待匹配音频的结束时间，在所述剪辑后视频对应的音频文件进行选取，获得所述待匹配音频。
在本公开的一些实施例中，根据所述滑动窗口、所述滑动距离以及所述标准音频，确定音频匹配时间，包括：
获取当前滑动窗口内的音频的第一短时平均幅度值，以及所述标准音频的第二短时平均幅度值；
确定所述第一短时平均幅度值和所述第二短时平均幅度值的皮尔森积矩相关系数；
在所述皮尔森积矩相关系数大于或等于预设阈值的情况下，根据当前滑动窗口的起始时间，确定所述音频匹配时间。
在本公开的一些实施例中，根据所述滑动窗口、所述滑动距离以及所述标准音频，确定音频匹配时间，还包括：
在所述皮尔森积矩相关系数小于预设阈值的情况下，根据所述滑动距离移动所述滑动窗口；
根据移动后的滑动窗口以及与所述原始视频对应的音频文件，确定音频匹配时间。
在本公开的一些实施例中，根据所述音频匹配时间，对所述初修正字幕文件进行修正，获得精修正字幕文件，包括：
根据所述音频匹配时间，对所述初修正字幕文件的字幕起始时间进行修正，获得所述精修正字幕文件。
根据本公开的另一方面，提供了一种根据视频剪辑时间点更正字幕文件时间轴的装置，包括：
图像指纹获取模块，用于获取原始视频中各个视频帧及剪辑后视频中各个视频帧的图像指纹；
操作序列获取模块，用于根据所述图像指纹，获得视频剪辑操作序列，其中，所述视频剪辑操作序列包括对所述原始视频中各个视频帧的操作动作的序列；
编辑模块，用于根据所述视频剪辑操作序列，对与所述原始视频对应的字幕文件进行编辑处理，获得初修正字幕文件；
修正模块，用于根据与所述原始视频对应的音频文件以及与所述剪辑后视频对应的音频文件，对所述初修正字幕文件进行修正，获得精修正字幕文件。
在本公开的一些实施例中，所述图像指纹获取模块进一步用于：
对所述各个视频帧放缩为第一预设尺寸，并转换为灰度图；
对所述灰度图进行离散余弦变换，获得与各个视频帧对应的变换矩阵；
在所述变换矩阵中的预设位置提取第二预设尺寸的标记矩阵；
根据所述标记矩阵，获得与各个视频帧对应的图像指纹。
在本公开的一些实施例中，所述图像指纹获取模块进一步用于：
确定所述标记矩阵中各个元素的均值；
根据所述标记矩阵中各个元素和所述均值的比较结果，确定所述图像指纹中的各个元素的值；
根据所述图像指纹中的各个元素的值，获得所述图像指纹。
在本公开的一些实施例中，所述操作序列获取模块进一步用于：
根据所述图像指纹，对所述原始视频中各个视频帧及剪辑后视频中各个视频帧进行匹配，获得匹配结果；
根据所述匹配结果，确定由所述原始视频中各视频帧组成的序列变换为所述剪辑后视频中各视频帧组成的序列的操作动作；
对连续相同的操作动作进行合并，获得所述视频剪辑操作序列。
在本公开的一些实施例中，所述修正模块进一步用于：
获取与所述原始视频对应的音频文件中，与所述原始视频对应的字幕文件关联的标准音频；
获取所述初修正字幕文件在所述剪辑后视频中的字幕起始时间和字幕时长；
根据所述字幕起始时间、所述字幕时长以及与所述剪辑后视频对应的音频文件，获得待匹配音频；
根据音频采样率以及所述标准音频，确定所述待匹配音频的滑动窗口以及滑动距离；
根据所述滑动窗口、所述滑动距离以及所述标准音频，确定音频匹配时间；
根据所述音频匹配时间，对所述初修正字幕文件进行修正，获得精修正字幕文件。
在本公开的一些实施例中，所述修正模块进一步用于：
根据所述字幕起始时间和所述字幕时长，确定待匹配音频的起始时间；
根据所述字幕时长，确定所述待匹配音频的时长；
根据所述待匹配音频的起始时间和时长，确定待匹配音频的结束时间；
根据所述待匹配音频的起始时间和所述待匹配音频的结束时间，在所述剪辑后视频对应的音频文件进行选取，获得所述待匹配音频。
在本公开的一些实施例中，所述修正模块进一步用于：
获取当前滑动窗口内的音频的第一短时平均幅度值，以及所述标准音频的第二短时平均幅度值；
确定所述第一短时平均幅度值和所述第二短时平均幅度值的皮尔森积矩相关系数；
在所述皮尔森积矩相关系数大于或等于预设阈值的情况下，根据当前滑动窗口的起始时间，确定所述音频匹配时间。
在本公开的一些实施例中，所述修正模块进一步用于：
在所述皮尔森积矩相关系数小于预设阈值的情况下，根据所述滑动距离移动所述滑动窗口；
根据移动后的滑动窗口以及与所述原始视频对应的音频文件，确定音频匹配时间。
在本公开的一些实施例中，所述修正模块进一步用于：
根据所述音频匹配时间，对所述初修正字幕文件的字幕起始时间进行修正，获得所述精修正字幕文件。
根据本公开的另一方面，提供了一种根据视频剪辑时间点更正字幕文件时间轴的系统，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行所述根据视频剪辑时间点更正字幕文件时间轴的方法。
根据本公开的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
根据本公开的实施例的根据视频剪辑时间点更正字幕文件时间轴的方法，可通过对视频的操作来获得初修正字幕文件，且在操作过程中，使用图像指纹进行视频帧的匹配，节约运算量，降低成本。并通过音频来修正初修正字幕文件，提升字幕与音频和视频的匹配度。可减少人工操作的步骤，减少人工成本，提升处理效率。且无需服务端接入，无需服务成本，能够进行离线操作。并且，以原字幕文件为基础，保持与原字幕意思一致，可避免人工智能的语音识别难以识别特定领域的字幕，无法识别没有声音的字幕等问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将更清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案，
图1示出根据本公开实施例的根据视频剪辑时间点更正字幕文件时间轴的方法的流程图；
图2示出根据本公开实施例的根据视频剪辑时间点更正字幕文件时间轴的装置的框图；
图3示出根据本公开实施例的根据视频剪辑时间点更正字幕文件时间轴的系统的框图；
图4示出根据本公开实施例的一种电子设备的框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本公开的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
应当理解，在本公开中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本公开中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本公开中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1示出根据本公开实施例的根据视频剪辑时间点更正字幕文件时间轴的方法的流程图，如图1所示，所述方法包括：
步骤S11，获取原始视频中各个视频帧及剪辑后视频中各个视频帧的图像指纹；
步骤S12，根据所述图像指纹，获得视频剪辑操作序列，其中，所述视频剪辑操作序列包括对所述原始视频中各个视频帧的操作动作的序列；
步骤S13，根据所述视频剪辑操作序列，对于所述原始视频对应的字幕文件进行编辑处理，获得初修正字幕文件；
步骤S14，根据与所述原始视频对应的音频文件以及与所述剪辑后视频对应的音频文件，对所述初修正字幕文件进行修正，获得精修正字幕文件。
根据本公开的实施例的根据视频剪辑时间点更正字幕文件时间轴的方法，可通过对视频的操作与音频的修正来提升字幕的准确性，减少人工操作的步骤，减少人工成本，提升处理效率。且无需服务端接入，无需服务成本，能够进行离线操作。并且，以原字幕文件为基础，保持与原字幕意思一致，可避免人工智能的语音识别难以识别特定领域的字幕，无法识别没有声音的字幕等问题。
在本公开的一些实施例中，可首先根据原始视频与剪辑后视频中的多个视频帧来确定剪辑操作的动作，进而将该动作运用于字幕文件中，获得初修正字幕文件，并基于原始视频的音频文件，以及剪辑后视频对应的音频文件对初修正字幕文件进行进一步地校正和精修，获得准确性较高的精修正字幕文件。
在本公开的一些实施例中，可首先确定剪辑操作的动作。即，确定将原始视频的各个视频帧进行何种操作，才可获得剪辑后视频。例如，可确定对原始视频的各个视频帧是否进行过删除、替换、移动等操作，才可获得剪辑后视频。
在本公开的一些实施例中，可对原始视频和剪辑后视频进行解码，分别获得原始视频的各个视频帧，以及剪辑后视频的各个视频帧，即，获得两个视频帧序列，两个视频帧序列中的各个视频帧具有各自的顺序以及对应的时间。并可对原始视频的各个视频帧与剪辑后视频的各个视频帧进行匹配，从而确定原始视频中的各个视频帧是否存在于剪辑后视频的视频帧序列中，以及存在于剪辑后视频的视频帧序列中的哪个或哪些位置。在示例中，原始视频的视频帧和剪辑后视频的视频帧均为图像，可对两种图像直接进行匹配，例如，利用人工神经网络模型等方式确定各个图像的匹配度。但该匹配方式中，搭建人工神经网络模型的难度较高，训练成本也较高，且对图像本身进行匹配的运算量较大。
在本公开的一些实施例中，可提取每个视频帧的图像指纹，并利用数据量较小的图像指纹进行匹配，无需使用人工神经网络模型，从而减小运算量，降低成本。
在本公开的一些实施例中，在步骤S11中，可分别提取原始视频中各个视频帧的图像指纹，以及剪辑后视频中各个视频帧的图像指纹。以便于后续的匹配。在示例中，图像指纹可作为视频帧的唯一标识，可通过多种方式来提取，例如，基于视频帧中各个像素点的像素值来提取其特征向量或特征矩阵等，来作为该视频帧的图像指纹。
在本公开的一些实施例中，为进一步减小运算量，且保证图像指纹的唯一，并降低匹配难度，可通过以下方式来获得各个视频帧的图像指纹。步骤S11可包括：对所述各个视频帧放缩为第一预设尺寸，并转换为灰度图；对所述灰度图进行离散余弦变换，获得与各个视频帧对应的变换矩阵；在所述变换矩阵中的预设位置提取第二预设尺寸的标记矩阵；根据所述标记矩阵，获得与各个视频帧对应的图像指纹。
在本公开的一些实施例中，可将原始视频中各个视频帧和剪辑后视频中各个视频帧均放缩为第一预设尺寸。在示例中，可通过双线性内插值算法，将原始视频中各个视频帧和剪辑后视频中各个视频帧均缩小至64×64的尺寸。进一步地，可对每个缩小后的图像转换为灰度图，从而可获得与原始视频中各个视频帧分别对应的灰度图，以及与剪辑后视频中各个视频帧分别对应的灰度图。
在本公开的一些实施例中，可对各个灰度图分别进行离散余弦变换，可获得与各个视频帧对应的变换矩阵，即，与原始视频中各个视频帧分别对应的变换矩阵，以及与剪辑后视频中各个视频帧分别对应的变换矩阵，其中，各个变换矩阵的尺寸仍为第一预设尺寸，在示例中，各个变换矩阵的尺寸为64×64。本公开对第一预设尺寸的具体数值不做限制。
在本公开的一些实施例中，可在变换矩阵中的预设位置提取第二预设尺寸的标记矩阵，在示例中，预设位置为左上角，第二预设尺寸为8×8，即，可在每个变换矩阵中，提取左上角位置的尺寸为8×8的矩阵，作为标记矩阵。本公开对预设位置以及第二预设尺寸的具体数值不做限制。
在本公开的一些实施例中，可基于标记矩阵来生成各个视频帧的图像指纹。根据所述标记矩阵，获得与各个视频帧对应的图像指纹，包括：确定所述标记矩阵中各个元素的均值；根据所述标记矩阵中各个元素和所述均值的比较结果，确定所述图像指纹中的各个元素的值；根据所述图像指纹中的各个元素的值，获得所述图像指纹。
在本公开的一些实施例中，所述标记矩阵中可包括多个元素，例如，标记矩阵的尺寸为8×8，则标记矩阵中包括64个元素。可求解多个元素的均值，例如，求解64个元素的均值。并将各个元素与该均值进行比较，获得比较结果，例如，可比较各个元素与该均值的大小，并利用比较大小的比较结果来确定图像指纹中各元素的值，例如，如果标记矩阵中的元素(例如，位置为(x，y)的元素)大于或等于该均值，则在图像指纹中，相同位置的元素为1，如果标记矩阵中的元素小于该均值，则在图像指纹中，相同位置的元素为0。在获得各个位置的元素后，即可获得图像指纹，即，原始视频中各个视频帧的图像指纹，以及剪辑后视频中各个视频帧的图像指纹。本公开对比较方式与图像指纹中的元素值的具体数值不做限制。
在本公开的一些实施例中，在获得图像指纹后，可利用图像指纹对原始视频中的各个视频帧和剪辑后视频中的各个视频帧进行匹配处理，从而确定原始视频中的各个视频帧是否存在于剪辑后视频的视频帧序列中，如果存在于剪辑后视频的视频帧序列中，可确定原始视频中的视频帧在剪辑后视频的视频帧序列中的哪个或哪些位置。进而确定将原始视频剪辑为剪辑后视频的过程中需要何种操作动作，从而可获得视频剪辑操作序列。
在本公开的一些实施例中，步骤S12可包括：根据所述图像指纹，对所述原始视频中各个视频帧及剪辑后视频中各个视频帧进行匹配，获得匹配结果；根据所述匹配结果，确定由所述原始视频中各视频帧组成的序列变换为所述剪辑后视频中各视频帧组成的序列的操作动作；对连续相同的操作动作进行合并，获得所述视频剪辑操作序列。
在本公开的一些实施例中，可利用原始视频中各个视频帧的图像指纹，分别与剪辑后视频中各个视频帧的图像指纹进行匹配，获得匹配结果。在示例中，所述图像指纹为元素为0或1的矩阵，在进行匹配时，可求解两个视频帧的图像指纹之间的汉明距离，例如，可分别求解原始视频中的某个视频帧的图像指纹，与剪辑后视频中各个视频帧的图像指纹之间的汉明距离，通过所述汉明距离可确定二者的相似度，如果原始视频中的某个视频帧的图像指纹与剪辑后视频中的某个视频帧的图像指纹的相似度高于阈值，例如，高于80％，则可确定二者匹配。
在本公开的一些实施例中，在进行如上匹配后，可确定原始视频中的各个视频帧是否存在于剪辑后视频的视频帧序列中，如果存在于剪辑后视频的视频帧序列中，则可确定其在剪辑后视频的视频帧序列中所处的位置。
在本公开的一些实施例中，在获得以上匹配结果后，可确定将原始视频中各视频帧组成的序列变换为剪辑后视频中各视频帧组成的序列的操作动作，例如，可通过Myers算法来确定两个视频帧序列之间的差异并确定操作动作，例如，对原始视频的各个视频帧进行删除、保持不变、新增、替换等操作动作，从而得到剪辑后视频的视频帧序列。
在本公开的一些实施例中，可进一步优化操作动作组成的序列，例如，可将连续出现的删除操作和新增操作简化为替换操作。还可将连续相同的操作动作进行合并，例如，连续删除n个视频帧，则可对连续的删除操作进行合并，并记录下合并后的操作的开始帧、结束帧、开始时间和结束时间等信息。经过以上处理后，可获得所述视频剪辑操作序列。
在本公开的一些实施例中，在获得视频剪辑操作序列后，可在步骤S13中，基于视频剪辑操作序列中的操作，对与原始视频对应的字幕文件进行编辑处理，获得初修正字幕文件。
在本公开的一些实施例中，与原始视频对应的字幕文件中可包括与分别与多个视频帧对应的多条字幕信息。所述视频剪辑操作序列中可包括对于原始视频的各个视频帧进行操作的动作的序列，例如，对视频帧进行删除、新增、替换和保持等，在对字幕文件进行操作时，可对与视频帧对应的字幕信息执行相同的操作。例如，对于视频帧1执行删除操作，则可对视频帧1对应的字幕信息同样执行删除操作，对于视频帧2执行替换为视频帧10的操作，则可对视频帧2对应的字幕信息同样执行替换为视频帧10的字幕信息的操作等，对于对连续两个或多个视频帧进行的合并后的同类操作，对于这些视频帧对应的字幕信息也可进行对应的操作。经过上述操作，可获得初修正字幕文件。本公开对字幕文件的编辑操作的具体方式不做限制。
在本公开的一些实施例中，在步骤S14中，在获得初修正字幕文件后，可对初修正字幕文件进行进一步的精修与校正，例如，进一步修正初修正字幕文件在剪辑后视频中的字幕起始时间，从而使得字幕与画面的匹配度更高。
在本公开的一些实施例中，可利用音频文件进行修正，字幕通常是将音频文件中的发音对应的文字显示在视频中的手段，因此，字幕与音频通常具有关联关系，因此，可利用音频文件来对初修正字幕文件进行修正，例如，可利用与原始视频对应的音频文件以及与剪辑后视频对应的音频文件来对初修正字幕文件进行进一步修正。在视频剪辑过程中，音频文件通常随着视频帧一同被剪辑，因此，在获得剪辑后视频时，可同时获得与剪辑后视频对应的音频文件。
在本公开的一些实施例中，步骤S14可包括：获取所述初修正字幕文件在所述剪辑后视频中的字幕起始时间和字幕时长；根据所述字幕起始时间、所述字幕时长以及与所述剪辑后视频对应的音频文件，获得待匹配音频；根据音频采样率以及与所述原始视频对应的音频文件，确定所述待匹配音频的滑动窗口以及滑动距离；根据所述滑动窗口、所述滑动距离以及与所述原始视频对应的音频文件，确定音频匹配时间；根据所述音频匹配时间，对所述初修正字幕文件进行修正，获得精修正字幕文件。
在本公开的一些实施例中，字幕文件的字幕信息是与各个视频帧对应的，且并非所有视频帧均有对应的字幕信息，例如，某个或某些视频帧中没有声音，则不存在与该视频帧对应的字幕信息。
在本公开的一些实施例中，可首先在原始视频对应的音频文件中，确定出与原始视频对应的字幕文件对应的时间段，例如，在原始视频的视频帧中，存在对应的字幕信息的视频帧所在的时间段，将该时间段的音频文件进行选取，例如，在音频文件中截取出该时间段的音频，作为标准音频。
在本公开的一些实施例中，相应地，初修正字幕文件为与剪辑后视频对应的字幕文件，初修正字幕文件中的字幕信息为与剪辑后视频中的多个视频帧对应的字幕信息。同样地，剪辑后视频的视频帧中也可能存在不具有对应的字幕信息的视频帧，因此，字幕的起始时间可能与剪辑后视频的开始时间不重合，字幕的结束时间也可能与剪辑后视频的结束时间不重合，因此，可基于初修正字幕文件中的字幕信息对应的视频帧，来确定在剪辑后视频中字幕起始时间和字幕时长，在示例中，可将首个存在对应字幕信息的视频帧的时间信息确定为所述字幕起始时间，最后一个存在对应字幕信息的视频帧的时间信息确定字幕结束时间，字幕起始时间和字幕结束时间之间的时间段为字幕时长。
在本公开的一些实施例中，可利用字幕起始时间和字幕时长，从剪辑后视频对应的音频文件中选取待匹配音频。该步骤可包括：根据所述字幕起始时间和所述字幕时长，确定待匹配音频的起始时间；根据所述字幕时长，确定所述待匹配音频的时长；根据所述待匹配音频的起始时间和时长，确定待匹配音频的结束时间；根据所述待匹配音频的起始时间和所述待匹配音频的结束时间，在所述剪辑后视频对应的音频文件进行选取，获得所述待匹配音频。
在本公开的一些实施例中，如上所述，剪辑后视频与其音频之间存在对应关系，因此，字幕起始时间可直接标记在音频中。并且，为了对该字幕起始时间周围的时间点进行验证，以修正字幕的时间，可将标记在音频中的时间点前移，例如，前移的时间为字幕时长。即，可将(字幕起始时间-字幕时长)确定为待匹配音频的起始时间。
在本公开的一些实施例中，为了对该字幕结束时间周围的时间点进行验证，以修正字幕的时间，可使待匹配音频的结束时间晚于字幕结束时间，因此，可使待匹配音频的时长长于字幕时长，例如，等于三倍的字幕时长。
在本公开的一些实施例中，可利用待匹配音频的起始时间和时长确定待匹配音频的结束时间。例如，按照以上待匹配音频的时长等于三倍的字幕时长的设置，待匹配音频的结束时间为(字幕结束时间+字幕时长)。
在本公开的一些实施例中，可使用待匹配音频的起始时间以及待匹配音频的结束时间，在剪辑后视频对应的音频文件中进行选取，可获得待匹配音频，例如，可在音频文件中按照待匹配音频的起始时间以及待匹配音频的结束时间，截取出待匹配音频。本公开对选取方式不做限制。
在本公开的一些实施例中，可根据音频采样率以及标准音频，在待匹配音频中设置滑动窗口，以及滑动距离。在示例中，滑动窗口的时长可等于标准音频的时长，因此，滑动窗口的大小等于音频采样率与标准音频时长的乘积。滑动距离为滑动窗口每次滑动前进的距离，可等于音频采样率与设定的倍数的乘积，所述设定的倍数可以是0.01，本公开对设定的倍数的具体数值不做限制。
在本公开的一些实施例中，在设定滑动窗口和滑动距离后，可对待匹配音频的滑动窗口内的音频片段与标准音频进行匹配。如果匹配不成功，则按照滑动距离将滑动窗口前移，并对移动后的滑动窗口内的音频片段与标准音频进行匹配。可迭代执行此处理，直至匹配成功。
在本公开的一些实施例中，根据所述滑动窗口、所述滑动距离以及所述标准音频，确定音频匹配时间，包括：获取当前滑动窗口内的音频的第一短时平均幅度值，以及所述标准音频的第二短时平均幅度值；确定所述第一短时平均幅度值和所述第二短时平均幅度值的皮尔森积矩相关系数；在所述皮尔森积矩相关系数大于或等于预设阈值的情况下，根据当前滑动窗口的起始时间，确定所述音频匹配时间。
在本公开的一些实施例中，在滑动窗口的起始位置到达某个时间段时，可求解当前滑动窗口内的音频片段的第一短时平均幅度值，并求解标准音频的第二短时平均幅度值。进一步地，可求解第一短时平均幅度值和第二短时平均幅度值的皮尔森积矩相关系数，作为二者的是否匹配的评价参数，皮尔森积矩相关系数越高，则二者的匹配度越高，反之，则二者的匹配度越低。
在本公开的一些实施例中，如果皮尔森积矩相关系数大于或等于预设阈值(例如，0.8)，则可认为当前的和滑动窗口内的音频片段与标准音频匹配，并可将当前滑动窗口的起始时间确定为音频匹配时间。
在本公开的一些实施例中，反之，在当前滑动窗口内的音频片段与标准音频不匹配的情况下，根据所述滑动窗口、所述滑动距离以及所述标准音频，确定音频匹配时间，还包括：在所述皮尔森积矩相关系数小于预设阈值的情况下，根据所述滑动距离移动所述滑动窗口；根据移动后的滑动窗口以及与所述原始视频对应的音频文件，确定音频匹配时间。即，按照滑动距离使得滑动窗口向前移动，并利用与以上相同的方式确定移动后的滑动窗口内的音频片段与标准音频是否匹配，如果不匹配，则继续按照滑动距离移动滑动窗口，直到滑动窗口内的音频片段与标准音频匹配。
在本公开的一些实施例中，在滑动窗口内的音频片段与标准音频匹配，且确定音频匹配时间后，可利用音频匹配时间来修正初修正字幕文件，获得精修正字幕文件。该步骤可包括：根据所述音频匹配时间，对所述初修正字幕文件的字幕起始时间进行修正，获得所述精修正字幕文件。例如，可将音频匹配时间作为修正后的字幕起始时间，使得字幕起始时间与音频的匹配度更高，例如，与剪辑后视频对应的音频文件中，开始发出声音的时间一致。
根据本公开的实施例的根据视频剪辑时间点更正字幕文件时间轴的方法，可通过对视频的操作来获得初修正字幕文件，且在操作过程中，使用图像指纹进行视频帧的匹配，节约运算量，降低成本。并通过音频来修正初修正字幕文件，提升字幕与音频和视频的匹配度。可减少人工操作的步骤，减少人工成本，提升处理效率。且无需服务端接入，无需服务成本，能够进行离线操作。并且，以原字幕文件为基础，保持与原字幕意思一致，可避免人工智能的语音识别难以识别特定领域的字幕，无法识别没有声音的字幕等问题。
图2示出根据本公开实施例的根据视频剪辑时间点更正字幕文件时间轴的装置的框图，如图2所示，所述装置包括：
图像指纹获取模块11，用于获取原始视频中各个视频帧及剪辑后视频中各个视频帧的图像指纹；
操作序列获取模块12，用于根据所述图像指纹，获得视频剪辑操作序列，其中，所述视频剪辑操作序列包括对所述原始视频中各个视频帧的操作动作的序列；
编辑模块13，用于根据所述视频剪辑操作序列，对于所述原始视频对应的字幕文件进行编辑处理，获得初修正字幕文件；
修正模块14，用于根据与所述原始视频对应的音频文件以及与所述剪辑后视频对应的音频文件，对所述初修正字幕文件进行修正，获得精修正字幕文件。
在本公开的一些实施例中，所述图像指纹获取模块进一步用于：
对所述各个视频帧放缩为第一预设尺寸，并转换为灰度图；
对所述灰度图进行离散余弦变换，获得与各个视频帧对应的变换矩阵；
在所述变换矩阵中的预设位置提取第二预设尺寸的标记矩阵；
根据所述标记矩阵，获得与各个视频帧对应的图像指纹。
在本公开的一些实施例中，所述图像指纹获取模块进一步用于：
确定所述标记矩阵中各个元素的均值；
根据所述标记矩阵中各个元素和所述均值的比较结果，确定所述图像指纹中的各个元素的值；
根据所述图像指纹中的各个元素的值，获得所述图像指纹。
在本公开的一些实施例中，所述操作序列获取模块进一步用于：
根据所述图像指纹，对所述原始视频中各个视频帧及剪辑后视频中各个视频帧进行匹配，获得匹配结果；
根据所述匹配结果，确定由所述原始视频中各视频帧组成的序列变换为所述剪辑后视频中各视频帧组成的序列的操作动作；
对连续相同的操作动作进行合并，获得所述视频剪辑操作序列。
在本公开的一些实施例中，所述修正模块进一步用于：
获取与所述原始视频对应的音频文件中，与所述原始视频对应的字幕文件关联的标准音频；
获取所述初修正字幕文件在所述剪辑后视频中的字幕起始时间和字幕时长；
根据所述字幕起始时间、所述字幕时长以及与所述剪辑后视频对应的音频文件，获得待匹配音频；
根据音频采样率以及所述标准音频，确定所述待匹配音频的滑动窗口以及滑动距离；
根据所述滑动窗口、所述滑动距离以及所述标准音频，确定音频匹配时间；
根据所述音频匹配时间，对所述初修正字幕文件进行修正，获得精修正字幕文件。
在本公开的一些实施例中，所述修正模块进一步用于：
根据所述字幕起始时间和所述字幕时长，确定待匹配音频的起始时间；
根据所述字幕时长，确定所述待匹配音频的时长；
根据所述待匹配音频的起始时间和时长，确定待匹配音频的结束时间；
根据所述待匹配音频的起始时间和所述待匹配音频的结束时间，在所述剪辑后视频对应的音频文件进行选取，获得所述待匹配音频。
在本公开的一些实施例中，所述修正模块进一步用于：
获取当前滑动窗口内的音频的第一短时平均幅度值，以及所述标准音频的第二短时平均幅度值；
确定所述第一短时平均幅度值和所述第二短时平均幅度值的皮尔森积矩相关系数；
在所述皮尔森积矩相关系数大于或等于预设阈值的情况下，根据当前滑动窗口的起始时间，确定所述音频匹配时间。
在本公开的一些实施例中，所述修正模块进一步用于：
在所述皮尔森积矩相关系数小于预设阈值的情况下，根据所述滑动距离移动所述滑动窗口；
根据移动后的滑动窗口以及与所述原始视频对应的音频文件，确定音频匹配时间。
在本公开的一些实施例中，所述修正模块进一步用于：
根据所述音频匹配时间，对所述初修正字幕文件的字幕起始时间进行修正，获得所述精修正字幕文件。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的云应用管理方法的指令。
本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的云应用管理方法的操作。
电子设备可以被提供为终端、服务器或其它形态的设备。
图3示出根据本公开实施例的根据视频剪辑时间点更正字幕文件时间轴的系统800的框图。例如，设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图3，设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出接口812，传感器组件814，以及通信组件816。
处理组件802通常控制设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边缘，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
输入/输出接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为设备800的显示器和小键盘，传感器组件814还可以检测设备800或设备800中的组件的位置改变，用户与设备800接触的存在或不存在，设备800方位或加速/减速和设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于设备800和其他设备之间有线或无线方式的通信。设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由设备800的处理器820执行以完成上述方法。
图4示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一终端或服务器。参照图4，电子设备1900包括处理单元1922，其进一步包括一个或多个处理器，以及由存储单元1932所代表的存储器资源，用于存储可由处理单元1922的执行的指令，例如应用程序。存储单元1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理单元1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源模块1926被配置为执行电子设备1900的电源管理，一个有线或无线的网络接口1950被配置为将电子设备1900连接到网络，和一个I/O接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储单元1932，上述计算机程序指令可由电子设备1900的处理单元1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (10)

1.一种根据视频剪辑时间点更正字幕文件时间轴的方法，其特征在于，包括：
获取原始视频中各个视频帧及剪辑后视频中各个视频帧的图像指纹；
根据所述图像指纹，获得视频剪辑操作序列，其中，所述视频剪辑操作序列包括对所述原始视频中各个视频帧的操作动作的序列；
根据所述视频剪辑操作序列，对与所述原始视频对应的字幕文件进行编辑处理，获得初修正字幕文件；
根据与所述原始视频对应的音频文件以及与所述剪辑后视频对应的音频文件，对所述初修正字幕文件进行修正，获得精修正字幕文件；
其中，所述根据与所述原始视频对应的音频文件以及与所述剪辑后视频对应的音频文件，对所述初修正字幕文件进行修正，获得精修正字幕文件具体包括：
获取与所述原始视频对应的音频文件中，与所述原始视频对应的字幕文件关联的标准音频；获取所述初修正字幕文件在所述剪辑后视频中的字幕起始时间和字幕时长；根据所述字幕起始时间、所述字幕时长以及与所述剪辑后视频对应的音频文件，获得待匹配音频；根据音频采样率以及所述标准音频，确定所述待匹配音频的滑动窗口以及滑动距离；根据所述滑动窗口、所述滑动距离以及所述标准音频，确定音频匹配时间；根据所述音频匹配时间，对所述初修正字幕文件进行修正，获得精修正字幕文件。
2.根据权利要求1所述的根据视频剪辑时间点更正字幕文件时间轴的方法，其特征在于，获取原始视频中各个视频帧及剪辑后视频中各个视频帧的图像指纹，包括：
对所述各个视频帧放缩为第一预设尺寸，并转换为灰度图；
对所述灰度图进行离散余弦变换，获得与各个视频帧对应的变换矩阵；
在所述变换矩阵中的预设位置提取第二预设尺寸的标记矩阵；
根据所述标记矩阵，获得与各个视频帧对应的图像指纹。
3.根据权利要求2所述的根据视频剪辑时间点更正字幕文件时间轴的方法，其特征在于，根据所述标记矩阵，获得与各个视频帧对应的图像指纹，包括：
确定所述标记矩阵中各个元素的均值；
根据所述标记矩阵中各个元素和所述均值的比较结果，确定所述图像指纹中的各个元素的值；
根据所述图像指纹中的各个元素的值，获得所述图像指纹。
4.根据权利要求1所述的根据视频剪辑时间点更正字幕文件时间轴的方法，其特征在于，根据所述图像指纹，获得视频剪辑操作序列，包括：
根据所述图像指纹，对所述原始视频中各个视频帧及剪辑后视频中各个视频帧进行匹配，获得匹配结果；
根据所述匹配结果，确定由所述原始视频中各视频帧组成的序列变换为所述剪辑后视频中各视频帧组成的序列的操作动作；
对连续相同的操作动作进行合并，获得所述视频剪辑操作序列。
5.根据权利要求1所述的根据视频剪辑时间点更正字幕文件时间轴的方法，其特征在于，根据与所述原始视频对应的音频文件以及与所述剪辑后视频对应的音频文件，对所述初修正字幕文件进行修正，获得精修正字幕文件，包括：
获取与所述原始视频对应的音频文件中，与所述原始视频对应的字幕文件关联的标准音频；
获取所述初修正字幕文件在所述剪辑后视频中的字幕起始时间和字幕时长；
根据所述字幕起始时间、所述字幕时长以及与所述剪辑后视频对应的音频文件，获得待匹配音频；
根据音频采样率以及所述标准音频，确定所述待匹配音频的滑动窗口以及滑动距离；
根据所述滑动窗口、所述滑动距离以及所述标准音频，确定音频匹配时间；
根据所述音频匹配时间，对所述初修正字幕文件进行修正，获得精修正字幕文件。
6.根据权利要求5所述的根据视频剪辑时间点更正字幕文件时间轴的方法，其特征在于，根据所述字幕起始时间、所述字幕时长以及与所述剪辑后视频对应的音频文件，获得待匹配音频，包括：
根据所述字幕起始时间和所述字幕时长，确定待匹配音频的起始时间；
根据所述字幕时长，确定所述待匹配音频的时长；
根据所述待匹配音频的起始时间和时长，确定待匹配音频的结束时间；
根据所述待匹配音频的起始时间和所述待匹配音频的结束时间，在所述剪辑后视频对应的音频文件进行选取，获得所述待匹配音频。
7.根据权利要求5所述的根据视频剪辑时间点更正字幕文件时间轴的方法，其特征在于，根据所述滑动窗口、所述滑动距离以及所述标准音频，确定音频匹配时间，包括：
获取当前滑动窗口内的音频的第一短时平均幅度值，以及所述标准音频的第二短时平均幅度值；
确定所述第一短时平均幅度值和所述第二短时平均幅度值的皮尔森积矩相关系数；
在所述皮尔森积矩相关系数大于或等于预设阈值的情况下，根据当前滑动窗口的起始时间，确定所述音频匹配时间。
8.根据权利要求7所述的根据视频剪辑时间点更正字幕文件时间轴的方法，其特征在于，根据所述滑动窗口、所述滑动距离以及所述标准音频，确定音频匹配时间，还包括：
在所述皮尔森积矩相关系数小于预设阈值的情况下，根据所述滑动距离移动所述滑动窗口；
根据移动后的滑动窗口以及与所述原始视频对应的音频文件，确定音频匹配时间。
9.根据权利要求5所述的根据视频剪辑时间点更正字幕文件时间轴的方法，其特征在于，根据所述音频匹配时间，对所述初修正字幕文件进行修正，获得精修正字幕文件，包括：
根据所述音频匹配时间，对所述初修正字幕文件的字幕起始时间进行修正，获得所述精修正字幕文件。
10.一种根据视频剪辑时间点更正字幕文件时间轴的系统，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至9中任意一项所述的方法。
CN202310112202.4A 2023-02-09 2023-02-09 根据视频剪辑时间点更正字幕文件时间轴的方法及系统 Active CN116074583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310112202.4A CN116074583B (zh) 2023-02-09 2023-02-09 根据视频剪辑时间点更正字幕文件时间轴的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310112202.4A CN116074583B (zh) 2023-02-09 2023-02-09 根据视频剪辑时间点更正字幕文件时间轴的方法及系统

Publications (2)

Publication Number Publication Date
CN116074583A CN116074583A (zh) 2023-05-05
CN116074583B true CN116074583B (zh) 2024-07-19

Family

ID=86181823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310112202.4A Active CN116074583B (zh) 2023-02-09 2023-02-09 根据视频剪辑时间点更正字幕文件时间轴的方法及系统

Country Status (1)

Country Link
CN (1) CN116074583B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529742A (zh) * 2020-11-23 2022-05-24 中国移动通信集团重庆有限公司 图像相似度确定方法、装置、设备及计算机可读存储介质
CN115460455A (zh) * 2022-09-06 2022-12-09 上海硬通网络科技有限公司 一种视频剪辑方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5044791B2 (ja) * 2007-09-12 2012-10-10 Ｋｄｄｉ株式会社 字幕ずれ推定装置、補正装置および再生装置
JP2009111761A (ja) * 2007-10-30 2009-05-21 Toshiba Corp 字幕番組編集装置および字幕編集方法
CN111666446B (zh) * 2020-05-26 2023-07-04 珠海九松科技有限公司 一种ai自动剪辑视频素材的判断方法和系统
CN112995749B (zh) * 2021-02-07 2023-05-26 北京字节跳动网络技术有限公司 视频字幕的处理方法、装置、设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529742A (zh) * 2020-11-23 2022-05-24 中国移动通信集团重庆有限公司 图像相似度确定方法、装置、设备及计算机可读存储介质
CN115460455A (zh) * 2022-09-06 2022-12-09 上海硬通网络科技有限公司 一种视频剪辑方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116074583A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111753822B (zh) 文本识别方法及装置、电子设备和存储介质
CN109257645B (zh) 视频封面生成方法及装置
CN109934275B (zh) 图像处理方法及装置、电子设备和存储介质
CN107944447B (zh) 图像分类方法及装置
CN108985176B (zh) 图像生成方法及装置
CN109887515B (zh) 音频处理方法及装置、电子设备和存储介质
CN111539410B (zh) 字符识别方法及装置、电子设备和存储介质
CN110781813B (zh) 图像识别方法及装置、电子设备和存储介质
CN110858924B (zh) 视频背景音乐的生成方法、装置及存储介质
CN109615006B (zh) 文字识别方法及装置、电子设备和存储介质
CN110532956B (zh) 图像处理方法及装置、电子设备和存储介质
CN111523346B (zh) 图像识别方法及装置、电子设备和存储介质
CN107945806B (zh) 基于声音特征的用户识别方法及装置
CN109685041B (zh) 图像分析方法及装置、电子设备和存储介质
CN112085097A (zh) 图像处理方法及装置、电子设备和存储介质
CN114332503A (zh) 对象重识别方法及装置、电子设备和存储介质
CN110633715B (zh) 图像处理方法、网络训练方法及装置、和电子设备
WO2023040202A1 (zh) 人脸识别方法及装置、电子设备和存储介质
CN109992754B (zh) 文档处理方法及装置
CN113987128A (zh) 相关文章搜索方法、装置、电子设备和存储介质
CN110955800A (zh) 视频检索方法及装置
CN113538310A (zh) 图像处理方法及装置、电子设备和存储介质
CN111339964B (zh) 图像处理方法及装置、电子设备和存储介质
CN109887492B (zh) 一种数据处理方法、装置和电子设备
KR20210054522A (ko) 얼굴 인식 방법 및 장치, 전자 기기 및 저장 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant