CN112929729B - 弹幕数据调整方法、装置、设备及存储介质 - Google Patents

弹幕数据调整方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112929729B
CN112929729B CN202110079500.9A CN202110079500A CN112929729B CN 112929729 B CN112929729 B CN 112929729B CN 202110079500 A CN202110079500 A CN 202110079500A CN 112929729 B CN112929729 B CN 112929729B
Authority
CN
China
Prior art keywords
sequence
hash value
video
characteristic
difference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110079500.9A
Other languages
English (en)
Other versions
CN112929729A (zh
Inventor
施正寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110079500.9A priority Critical patent/CN112929729B/zh
Publication of CN112929729A publication Critical patent/CN112929729A/zh
Application granted granted Critical
Publication of CN112929729B publication Critical patent/CN112929729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请涉及一种弹幕数据调整方法、装置、设备及存储介质，方法包括：提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列，其中，第二视频文件为对第一视频文件剪辑后获得；确定第二特征序列中的各特征值，在第一特征序列中的位置；根据每个特征值在第一特征序列中的位置，从第一视频文件对应的弹幕文件中提取弹幕数据；将提取的弹幕数据，按照特征值在第二特征序列的时间轴重组，得到第二视频文件的弹幕文件。本申请用以解决原视频经过剪辑后，新视频与弹幕数据不匹配的问题。

Description

弹幕数据调整方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种弹幕数据调整方法、装置、设备及存储介质。
背景技术
用户在使用客户端观看视频时，能够同时浏览当前视频画面相关的弹幕内容，以增加用户观看视频的互动性。但是，当视频被重新剪辑，比如增加视频、删除视频或调换视频等操作后，会导致剪辑前视频的弹幕时间轴和剪辑后视频弹幕时间轴发送错乱，使得弹幕内容和剧情情节发送错乱。甚至，对于一些影视剧情，剪辑后视频的弹幕内容可能造成视频内容的剧透，影响用户的体验。
发明内容
本申请提供了一种弹幕数据调整方法、装置、设备及存储介质，用以解决原视频经过剪辑后，新视频与弹幕数据不匹配的问题。
第一方面，本申请提供了一种弹幕数据调整方法，所述方法包括：
提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列，其中，所述第二视频文件为对所述第一视频文件剪辑后获得；
确定所述第二特征序列中的各特征值，在所述第一特征序列中的位置；
根据每个所述特征值在所述第一特征序列中的位置，从所述第一视频文件对应的弹幕文件中提取弹幕数据；
将提取的所述弹幕数据，按照所述特征值在所述第二特征序列的时间轴重组，得到所述第二视频文件的弹幕文件。
可选地，所述特征值包括：哈希值，所述哈希值包括第一哈希值和第二哈希值；
提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列，包括：
获取所述第一视频文件和所述第二视频文件；
解码所述第一视频文件，得到所述第一视频帧序列；解码所述第二视频文件，得到所述第二视频帧序列；
计算所述第一视频帧序列中每帧图像的所述第一哈希值，根据计算得到的所述第一哈希值，获得所述第一特征序列；计算所述第二视频帧序列中每帧图像的所述第二哈希值，根据计算得到的所述第二哈希值，获得所述第二特征序列。
可选地，根据计算得到的所述第一哈希值，获得所述第一特征序列，包括：
计算所述第一视频帧序列中，每相邻两帧图像的第一哈希值的第一差值，根据所述第一差值对所述第一视频帧序列进行镜头分割，得到N个第一镜头，所述N为大于或等于1的整数；
分别从每个所述第一镜头中提取一帧图像，将提取的图像对应的所述第一哈希值，组成所述第一特征序列；
根据计算得到的所述第二哈希值，获得所述第二特征序列，包括：
计算所述第二视频帧序列中，每相邻两帧图像的第二哈希值的第二差值，根据所述第二差值对所述第二视频帧序列进行镜头分割，得到M个第二镜头，所述M为大于或等于1的整数；
分别从每个所述第二镜头中提取一帧图像，将提取的图像对应的所述第二哈希值，组成所述第二特征序列。
可选地，根据所述第一差值对所述第一视频帧序列进行镜头分割，得到N个第一镜头，包括：
根据所述第一差值，执行以下第一镜头分割过程：
从所述第一差值的起始位置开始，每个所述第一差值依次和第一预设差值进行比较，当所述第一差值第一次不小于所述第一预设差值时，将所述起始位置对应的第一差值，至第一次不小于所述第一预设差值的第一差值的区间段对应的所述第一哈希值，作为一个所述第一镜头，并将第一次不小于所述第一预设差值的第一差值所在的位置更新为所述起始位置；
重复执行所述第一镜头分割过程，得到N个所述第一镜头；
根据所述第二差值对所述第二视频帧序列进行镜头分割，得到M个第二镜头，包括：
根据所述第二差值，执行以下第二镜头分割过程：
从所述第二差值的起始位置开始，每个所述第二差值依次和第二预设差值进行比较，当所述第二差值第一次不小于所述第二预设差值时，将所述起始位置对应的第二差值，至第一次不小于所述第二预设差值的第二差值的区间段对应的所述第二哈希值，作为一个所述第二镜头，并将第一次不小于所述第二预设差值的第二差值所在的位置更新为所述起始位置；
重复执行所述第二镜头分割过程，得到M个所述第二镜头。
可选地，分别从每个所述第一镜头中提取一帧图像，将提取的图像对应的所述第一哈希值，组成所述第一特征序列，包括：
获取并记录每个所述第一镜头的起始帧号，并从每个所述第一镜头的中间帧处，提取图像对应的第一哈希值，将提取的中间帧对应的所述第一哈希值组成所述第一特征序列；
分别从每个所述第二镜头中提取一帧图像，将提取的图像对应的所述第二哈希值，组成所述第二特征序列，包括：
获取并记录每个所述第二镜头的起始帧号，并从每个所述第二镜头的中间帧处，提取图像对应的第二哈希值，将提取的中间帧对应的所述第二哈希值组成所述第二特征序列。
可选地，将提取的所述弹幕数据，按照所述特征值在所述第二特征序列的时间轴重组，得到所述第二视频文件的弹幕文件，包括：
根据每个所述第二镜头的起始帧号，将提取的所述弹幕数据，按照所述第二镜头的所述第二哈希值在所述第二特征序列的时间轴重组，得到所述第二视频文件的弹幕文件。
可选地，确定所述第二特征序列中的各特征值，在所述第一特征序列中的位置，包括：
计算所述第一特征序列中各所述第一哈希值，与所述第二特征序列中各所述第二哈希值的汉明距离；
根据计算得到的所述汉明距离，构造距离矩阵；
根据所述距离矩阵，确定所述第二特征序列中的各所述第二哈希值，在所述第一特征序列中的位置。
第二方面，本申请提供了一种弹幕数据调整装置，包括：
第一提取模块，用于提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列，其中，所述第二视频文件为对所述第一视频文件剪辑后获得；
确定模块，用于确定所述第二特征序列中的各特征值，在所述第一特征序列中的位置；
第二提取模块，用于根据每个所述特征值在所述第一特征序列中的位置，从所述第一视频文件对应的弹幕文件中提取弹幕数据；
重组模块，用于将提取的所述弹幕数据，按照所述特征值在所述第二特征序列的时间轴重组，得到所述第二视频文件的弹幕文件。
第三方面，本申请提供了一种电子设备，包括：处理器、通信组件、存储器和通信总线，其中，处理器、通信组件和存储器通过通信总线完成相互间的通信；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器中所存储的程序，实现第一方面所述的弹幕数据调整方法。
第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第二方面所述的弹幕数据调整方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列，其中，第二视频文件为对第一视频文件进行剪辑后获得；确定第二特征序列中的各特征值，在第一特征序列中的位置，以实现第二视频文件与第一视频文件中具有相同特征的视频内容的成功匹配；进而，根据每个特征值在第一特征序列中的位置，从第一视频文件对应的弹幕文件中提取弹幕数据；将提取的弹幕数据，按照各特征值在第二特征序列的时间轴重组，得到第二视频文件的弹幕文件，本申请解决了现有的原视频经过剪辑后，生成的新视频的情节内容与弹幕内容错乱、不匹配的问题，实现了新视频与弹幕数据的准确对应。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中弹幕数据调整方法流程示意图；
图2为本申请实施例中第一特征序列以及第二特征序列的获得过程示意图；
图3为本申请实施例中根据计算得到的第一哈希值，获得第一特征序列的具体实现过程示意图；
图4为本申请实施例中根据计算得到的第二哈希值，获得第二特征序列的具体实现过程示意图；
图5为本申请实施例中确定第二哈希值在第一哈希值中的位置流程示意图；
图6为本申请实施例中对剪辑后的视频文件的弹幕文件的获取过程示意图；
图7为本申请实施例中弹幕数据调整装置结构示意图；
图8为本申请实施例中电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种弹幕数据调整方法，该方法可以应用在终端上，也可以应用在安装在终端的应用程序上，也可以应用在服务器上，其中，该应用程序可以为视频类应用程序。其中，该方法的具体实现如图1所示：
步骤101，提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列。
其中，第二视频文件为对第一视频文件剪辑后获得。
其中，第一特征序列和第二特征序列均由多个特征值组成，该特征值包括哈希值，其中，哈希值包括第一哈希值和第二哈希值。即，第一特征序列由多个第一哈希值组成，第二特征序列由多个第二哈希值组成。
一个具体实施例中，第一特征序列以及第二特征序列的获得过程如图2所示：
步骤201，获取第一视频文件和第二视频文件。
步骤202，解码第一视频文件，得到第一视频帧序列；解码第二视频文件，得到第二视频帧序列。
具体地，视频是由一帧帧图像组成的，可以利用计算机程序将视频解码为图像序列。例如，ffmpeg，其中，ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。即，可以利用ffmpeg解码第一视频文件，得到的连续的图像序列作为第一视频帧序列；利用ffmpeg解码第二视频文件，得到的连续的图像序列作为第二视频帧序列。
步骤203，计算第一视频帧序列中每帧图像的第一哈希值，根据计算得到的第一哈希值，获得第一特征序列；计算第二视频帧序列中每帧图像的第二哈希值，根据计算得到的第二哈希值，获得第二特征序列。
具体地，利用感知哈希算法(PHA)，计算第一视频帧序列中每帧图像的第一哈希值，由第一哈希值组成第一特征序列。其中，以一张图像为例进行说明，利用PHA计算图像的哈希值的具体过程如下所示：
第一步：缩小图像尺寸：去除图像的高频和细节，只保留图像结构的明暗。
具体地，将图片缩小到8ps*8ps的尺寸，总共64个像素。通过缩小图像尺寸，能够滤除不同尺寸或不同比例的图片带来的图片差异。
第二步：简化图片色彩：将缩小后的图片，转化为灰度图片。即，此时的图片的像素点只有64种颜色。
第三步：计算离散余弦变换(DCT)：把灰度图片分解频率聚集和梯状形。
第四步：缩小DCT。
第五步：计算平均值：计算64个数值的平均值。
第六步：进一步缩小DCT。
第七步：计算哈希值。
同理，第二特征序列的第二哈希值也采用上述过程获得。
本申请利用PHA，使得图像特征不会因为对图像进行操作而影响哈希值的结果，能够避免传统的伽玛校正或者颜色直方图计算图像特征带来的误差影响。
一个具体实施例中，根据计算得到的第一哈希值，获得第一特征序列的具体实现，如图3所示：
步骤301，计算第一视频帧序列中，每相邻两帧图像的第一哈希值的第一差值，根据第一差值对第一视频帧序列进行镜头分割，得到N个第一镜头。
其中，N为大于或等于1的整数。
具体地，对比每相邻两帧图像的第一哈希值中64位有多少位是不一样的，将不一样的位的个数作为第一差值，当第一差值小于第一预设差值时，判定两帧图像相似，能够划分为一个镜头，否则，判定两帧图像不同，不能够划分为一个镜头。
一个具体实施例中，第一镜头的得到过程具体为：
根据第一差值，执行以下第一镜头分割过程：
从第一差值的起始位置开始，每个第一差值依次和第一预设差值进行比较，当第一差值第一次不小于第一预设差值时，将起始位置对应的第一差值，至第一次不小于第一预设差值的第一差值的区间段对应的第一哈希值，作为一个第一镜头，并将第一次不小于第一预设差值的第一差值所在的位置更新为起始位置。
重复执行第一镜头分割过程，得到N个第一镜头。
本申请通过镜头分割的方式，将具有相似特征的图片划分为一个镜头，通过镜头匹配第一特征序列和第二特征序列相似的特征，以实现第二视频文件与第一视频文件中具有相同特征的视频内容的成功匹配，有效的减少了数据量，提高了视频匹配速率。
步骤302，分别从每个第一镜头中提取一帧图像，将提取的图像对应的第一哈希值，组成第一特征序列。
具体地，由于一个镜头中的图像对应的第一哈希值的第一差值都小于第一预设差值，则表示一个镜头中的图像是相似的，因此，从一个镜头中提取一张图像对应的第一哈希值即可。
由于一个镜头中的图像是相似的，因此没必要逐帧匹配，提取其中一帧图像的第一哈希值，来表示这个镜头对应的第一哈希值，有效的优化了算法的执行效率。
同理，根据计算得到的第二哈希值，获得第二特征序列的具体实现，如图4所示：
步骤401，计算第二视频帧序列中，每相邻两帧图像的第二哈希值的第二差值，根据第二差值对第二视频帧序列进行镜头分割，得到M个第二镜头。
其中，M为大于或等于1的整数。
具体地，对比每相邻两帧图像的第二哈希值中64位有多少位是不一样的，将不一样的位的个数作为第二差值，当第二差值小于第二预设差值时，判定两帧图像相似，能够划分为一个镜头，否则，判定两帧图像不同，不能够划分为一个镜头。
一个具体实施例中，第二镜头的得到过程具体为：
根据第二差值，执行以下第二镜头分割过程：
从第二差值的起始位置开始，每个第二差值依次和第二预设差值进行比较，当第二差值第一次不小于第二预设差值时，将起始位置对应的第二差值，至第一次不小于第二预设差值的第二差值的区间段对应的第二哈希值，作为一个第二镜头，并将第一次不小于第二预设差值的第二差值所在的位置更新为起始位置。
重复执行第二镜头分割过程，得到M个第二镜头。
本申请通过镜头分割的方式，将具有相似特征的图片划分为一个镜头，通过镜头匹配第一特征序列和第二特征序列相似的特征，以实现第二视频文件与第一视频文件中具有相同特征的视频内容的成功匹配，有效的减少了数据量，提高了视频匹配速率。
步骤402，分别从每个第二镜头中提取一帧图像，将提取的图像对应的第二哈希值，组成第二特征序列。
具体地，由于一个镜头中的图像对应的第二哈希值的第二差值都小于第二预设差值，则表示一个镜头中的图像是相似的，因此，从一个镜头中提取一张图像对应的第二哈希值即可。
由于一个镜头中的图像是相似的，因此没必要逐帧匹配，提取其中一帧图像的第二哈希值，来表示这个镜头对应的第二哈希值，有效的优化了算法的执行效率。
一个具体实施例中，分别从每组中提取一帧图像，将提取的图像对应的第一哈希值，组成第一特征序列，包括：分别从每个镜头中提取一帧图像，将提取的图像对应的第一哈希值，组成第一特征序列。具体为：获取并记录每个镜头的起始帧号，并从每个镜头的中间帧处，提取图像对应的第一哈希值，将提取的中间帧对应的第一哈希值组成第一特征序列。
同理，分别从每组中提取一帧图像，将提取的图像对应的第二哈希值，组成第二特征序列，包括：分别从每个镜头中提取一帧图像，将提取的图像对应的第二哈希值，组成第二特征序列。具体为：获取并记录每个镜头的起始帧号，并从每个镜头的中间帧处，提取图像对应的第二哈希值，将提取的中间帧对应的第二哈希值组成第二特征序列。
本申请采用提取每个镜头中的一帧图像对应的哈希值作为特征序列，能够有效的减少数据处理工作量，有效的提高了数据的处理速度，节约了服务器资源。
步骤102，确定第二特征序列中的各特征值，在第一特征序列中的位置。
一个具体实施例中，确定第二特征序列中的各特征值，在第一特征序列中的位置具体如图5所示：
步骤501，计算第一特征序列中各第一哈希值，与第二特征序列中各第二哈希值的汉明距离。
具体地，分别比较第一特征序列的第一哈希值，与第二特征序列的第二哈希值有多少位是不一样的，将不一样的位的个数作为汉明距离。
步骤502，根据计算得到的汉明距离，构造距离矩阵。
例如，第一特征序列为A＝{1，1，3，3，2，4}，第二特征序列为B＝{1，3，2，2，4，4}。距离矩阵为：
序列 A(1)＝1 A(2)＝1 A(3)＝3 A(4)＝3 A(5)＝2 A(6)＝4
B(1)＝1 0 0 2 2 1 3
B(2)＝3 2 2 0 0 1 1
B(3)＝2 1 1 1 1 0 2
B(4)＝2 1 1 1 1 0 2
B(5)＝4 3 3 1 1 2 0
B(6)＝4 3 3 1 1 2 0
步骤503，根据距离矩阵，确定第二特征序列中的各第二哈希值，在第一特征序列中的位置。
具体地，寻找一条从距离矩阵左上角到右下角的最短路径，根据该最短路径，确定第二特征序列中的各第二哈希值，在第一特征序列中的位置，具体如下：
第一步：将距离矩阵中的首个元素作为第一备选元素。
例如，A(1)＝1与B(1)＝1对应的元素作为首个元素，即第一备选元素。
第二步：执行一次备选元素选取过程，选取过程包括：将距离矩阵中，与第i备选元素相邻元素中最小值对应的元素作为第i+1备选元素。
例如，当i等于1时，即第i备选元素为首个元素时，将A(2)＝1与B(1)＝1对应的元素，作为首个元素对应的第2备选元素。
第三步：更新i等于i+1后，重复执行选取过程，直至第i+1备选元素为距离矩阵中的末尾元素。
具体地，该过程相当于寻找距离矩阵的左上角至右下角的最短路径，该路径从首个元素开始至末尾元素结束，整个路径获得到元素之和最小。
第四步：依次将每个备选元素连接，组成第一连接路径。
例如，第一连接路径为A(1)＝1与B(1)＝1对应的元素、A(2)＝1与B(1)＝1对应的元素、A(3)＝3与B(2)＝3对应的元素、A(4)＝3与B(2)＝3对应的元素、A(5)＝2与B(3)＝2对应的元素、A(5)＝2与B(4)＝2对应的元素、A(6)＝4与B(5)＝4对应的元素、A(6)＝4与B(6)＝4对应的元素组成的第一连接路径。
其中，该过程是利用动态时间规整算法(Dynamic Time Warping，简称DTW)，寻找第一连接路径。
第五步：根据第一连接路径，确定第二特征序列中的各第二哈希值在第一特征序列中的位置。
具体地，根据第一连接路径中，各个元素在第一特征序列中和第二特征序列中的位置，确定第二哈希值在第一特征序列中的位置。
和/或，
第六步：从第二特征序列中，获取除去第一连接路径中的元素对应的第二哈希值，得到第三特征序列。
第七步：计算第一特征序列的第一哈希值，与第三特征序列的第二哈希值之差，得到子距离矩阵。
第八步：将子距离矩阵中的首个元素作为第二备选元素。
第九步：执行一次备选元素选取过程，选取过程包括：将子距离矩阵中，与第j备选元素相邻元素中最小值对应的元素作为j+1备选元素。
第十步：更新j等于j+1后，重复执行选取过程，直至j+1备选元素为子距离矩阵的末尾元素。
第十一步：依次将每个备选元素连接，组成第二连接路径。
第十二步：根据第二连接路径，确定每个第二哈希值在第一特征序列中的位置。
具体地，当采用第一连接路径的方式，不能将第二特征序列的第二哈希值完全和第一特征序列匹配时，获取不能成功匹配的元素，组成第三特征序列。之所以不能够成功匹配，是存在第二视频文件的视频片段存在交换的情况，将该发生交换的视频片段对应的子序列重新和第一特征序列匹配，已完成整个第二特征序列的子序列与第一特征序列的匹配。
步骤103，根据每个特征值在第一特征序列中的位置，从第一视频文件对应的弹幕文件中提取弹幕数据。
具体地，获得每个第二哈希值与第一特征序列的第一哈希值能够匹配成功时第一特征序列的各个位置，根据获取的各个位置，从第一视频文件对应的弹幕文件中提取弹幕数据。
步骤104，将提取的弹幕数据，按照特征值在第二特征序列的时间轴重组，得到第二视频文件的弹幕文件。
一个具体实施例中，将提取的弹幕数据，按照第一视频文件对应每个镜头的起始帧号，和第二视频文件对应的每个镜头的起始帧号对应的时间轴关系，重组第二弹幕数据，得到第二视频文件的弹幕文件。
具体地，通过图6对剪辑后的视频文件的弹幕文件的获取方式做具体说明：
步骤601，获取原始视频文件，以及经过剪辑后的剪辑视频文件。
步骤602，利用ffmpeg分别对原始视频文件和剪辑视频文件解码，并获得原始视频文件对应的第一图像特征序列，和剪辑视频文件对应的第二图像特征序列。
步骤603，利用预设阈值，分别对第一图像特征序列和第二图像特征序列中的元素进行过滤，得到滤除后的第一镜头序列和滤除后的第二镜头序列。
步骤604，利用DTW，对第一镜头序列和第二镜头序列进行匹配。
步骤605，对于第二镜头序列中，未能与第一镜头序列匹配成功的元素，组成第三镜头序列，利用DTW，对第三镜头序列和第一镜头序列重新匹配。
步骤606，匹配成功的镜头，按照各个镜头的时间轴进行调整，获得剪辑视频文件对应的弹幕文件。
本申请实施例提供的该方法，提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列，其中，第二视频文件为对第一视频文件进行剪辑后获得；确定第二特征序列中的各特征值，在第一特征序列中的位置，以实现第二视频文件与第一视频文件中具有相同特征的视频内容的成功匹配；进而，根据每个特征值在第一特征序列中的位置，从第一视频文件对应的弹幕文件中提取弹幕数据；将提取的弹幕数据，按照各特征值在第二特征序列的时间轴重组，得到第二视频文件的弹幕文件，本申请解决了现有的原视频经过剪辑后，生成的新视频的情节内容与弹幕内容错乱、不匹配的问题，实现了新视频与弹幕数据的准确对应。
本申请实施例还提供了一种弹幕数据调整装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图7所示，该装置主要包括：
第一提取模块701，用于提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列，其中，第二视频文件为对第一视频文件剪辑后获得。
确定模块702，用于确定所述第二特征序列中的各特征值，在所述第一特征序列中的位置。
第二提取模块703，用于根据每个特征值在第一特征序列中的位置，从第一视频文件对应的弹幕文件中提取弹幕数据。
重组模块704，用于将提取的弹幕数据，按照特征值在第二特征序列的时间轴重组，得到第二视频文件的弹幕文件。
基于同一构思，本申请实施例中还提供了一种电子设备，如图8所示，该电子设备主要包括：处理器801、通信组件802、存储器803和通信总线804，其中，处理器801、通信组件802和存储器803通过通信总线804完成相互间的通信。其中，存储器803中存储有可被至处理器801执行的程序，处理器801执行存储器803中存储的程序，实现如下步骤：提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列，其中，第二视频文件为对第一视频文件剪辑后获得；确定第二特征序列中的各特征值，在第一特征序列中的位置；根据每个特征值在第一特征序列中的位置，从第一视频文件对应的弹幕文件中提取弹幕数据；将提取的弹幕数据，按照特征值在第二特征序列的时间轴重组，得到第二视频文件的弹幕文件。
上述电子设备中提到的通信总线804可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线804可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信组件802用于上述电子设备与其他设备之间的通信。
存储器803可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器801的存储装置。
上述的处理器801可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述的弹幕数据调整方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以时通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种弹幕数据调整方法，其特征在于，所述方法包括：
提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列，其中，所述第二视频文件为对所述第一视频文件剪辑后获得；
确定所述第二特征序列中的各特征值，在所述第一特征序列中的位置；
根据每个所述特征值在所述第一特征序列中的位置，从所述第一视频文件对应的弹幕文件中提取弹幕数据；
将提取的所述弹幕数据，按照所述特征值在所述第二特征序列的时间轴重组，得到所述第二视频文件的弹幕文件；
其中，所述特征值包括：哈希值，所述哈希值包括第一哈希值和第二哈希值；
提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列，包括：
获取所述第一视频文件和所述第二视频文件；
解码所述第一视频文件，得到所述第一视频帧序列；解码所述第二视频文件，得到所述第二视频帧序列；
计算所述第一视频帧序列中每帧图像的所述第一哈希值，根据计算得到的所述第一哈希值，获得所述第一特征序列；计算所述第二视频帧序列中每帧图像的所述第二哈希值，根据计算得到的所述第二哈希值，获得所述第二特征序列。
2.根据权利要求1所述的弹幕数据调整方法，其特征在于，根据计算得到的所述第一哈希值，获得所述第一特征序列，包括：
计算所述第一视频帧序列中，每相邻两帧图像的第一哈希值的第一差值，根据所述第一差值对所述第一视频帧序列进行镜头分割，得到N个第一镜头，所述N为大于或等于1的整数；
分别从每个所述第一镜头中提取一帧图像，将提取的图像对应的所述第一哈希值，组成所述第一特征序列；
根据计算得到的所述第二哈希值，获得所述第二特征序列，包括：
计算所述第二视频帧序列中，每相邻两帧图像的第二哈希值的第二差值，根据所述第二差值对所述第二视频帧序列进行镜头分割，得到M个第二镜头，所述M为大于或等于1的整数；
分别从每个所述第二镜头中提取一帧图像，将提取的图像对应的所述第二哈希值，组成所述第二特征序列。
3.根据权利要求2所述的弹幕数据调整方法，其特征在于，根据所述第一差值对所述第一视频帧序列进行镜头分割，得到N个第一镜头，包括：
根据所述第一差值，执行以下第一镜头分割过程：
从所述第一差值的起始位置开始，每个所述第一差值依次和第一预设差值进行比较，当所述第一差值第一次不小于所述第一预设差值时，将所述起始位置对应的第一差值，至第一次不小于所述第一预设差值的第一差值的区间段对应的所述第一哈希值，作为一个所述第一镜头，并将第一次不小于所述第一预设差值的第一差值所在的位置更新为所述起始位置；
重复执行所述第一镜头分割过程，得到N个所述第一镜头；
根据所述第二差值对所述第二视频帧序列进行镜头分割，得到M个第二镜头，包括：
根据所述第二差值，执行以下第二镜头分割过程：
从所述第二差值的起始位置开始，每个所述第二差值依次和第二预设差值进行比较，当所述第二差值第一次不小于所述第二预设差值时，将所述起始位置对应的第二差值，至第一次不小于所述第二预设差值的第二差值的区间段对应的所述第二哈希值，作为一个所述第二镜头，并将第一次不小于所述第二预设差值的第二差值所在的位置更新为所述起始位置；
重复执行所述第二镜头分割过程，得到M个所述第二镜头。
4.根据权利要求3所述的弹幕数据调整方法，其特征在于，分别从每个所述第一镜头中提取一帧图像，将提取的图像对应的所述第一哈希值，组成所述第一特征序列，包括：
获取并记录每个所述第一镜头的起始帧号，并从每个所述第一镜头的中间帧处，提取图像对应的第一哈希值，将提取的中间帧对应的所述第一哈希值组成所述第一特征序列；
分别从每个所述第二镜头中提取一帧图像，将提取的图像对应的所述第二哈希值，组成所述第二特征序列，包括：
获取并记录每个所述第二镜头的起始帧号，并从每个所述第二镜头的中间帧处，提取图像对应的第二哈希值，将提取的中间帧对应的所述第二哈希值组成所述第二特征序列。
5.根据权利要求4所述的弹幕数据调整方法，其特征在于，将提取的所述弹幕数据，按照所述特征值在所述第二特征序列的时间轴重组，得到所述第二视频文件的弹幕文件，包括：
根据每个所述第二镜头的起始帧号，将提取的所述弹幕数据，按照所述第二镜头的所述第二哈希值在所述第二特征序列的时间轴重组，得到所述第二视频文件的弹幕文件。
6.根据权利要求1-5任一项所述的弹幕数据调整方法，其特征在于，确定所述第二特征序列中的各特征值，在所述第一特征序列中的位置，包括：
计算所述第一特征序列中各所述第一哈希值，与所述第二特征序列中各所述第二哈希值的汉明距离；
根据计算得到的所述汉明距离，构造距离矩阵；
根据所述距离矩阵，确定所述第二特征序列中的各所述第二哈希值，在所述第一特征序列中的位置。
7.一种弹幕数据调整装置，其特征在于，包括：
第一提取模块，用于提取第一视频文件中第一视频帧序列对应的第一特征序列，以及提取第二视频文件中第二视频帧序列对应的第二特征序列，其中，所述第二视频文件为对所述第一视频文件剪辑后获得；
确定模块，用于确定所述第二特征序列中的各特征值，在所述第一特征序列中的位置；
第二提取模块，用于根据每个所述特征值在所述第一特征序列中的位置，从所述第一视频文件对应的弹幕文件中提取弹幕数据；
重组模块，用于将提取的所述弹幕数据，按照所述特征值在所述第二特征序列的时间轴重组，得到所述第二视频文件的弹幕文件；
其中，所述特征值包括：哈希值，所述哈希值包括第一哈希值和第二哈希值；
所述第一提取模块，具体用于获取所述第一视频文件和所述第二视频文件；解码所述第一视频文件，得到所述第一视频帧序列；解码所述第二视频文件，得到所述第二视频帧序列；计算所述第一视频帧序列中每帧图像的所述第一哈希值，根据计算得到的所述第一哈希值，获得所述第一特征序列；计算所述第二视频帧序列中每帧图像的所述第二哈希值，根据计算得到的所述第二哈希值，获得所述第二特征序列。
8.一种电子设备，其特征在于，包括：处理器、通信组件、存储器和通信总线，其中，处理器、通信组件和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现权利要求1-6任一项所述的弹幕数据调整方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的弹幕数据调整方法。
CN202110079500.9A 2021-01-21 2021-01-21 弹幕数据调整方法、装置、设备及存储介质 Active CN112929729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110079500.9A CN112929729B (zh) 2021-01-21 2021-01-21 弹幕数据调整方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110079500.9A CN112929729B (zh) 2021-01-21 2021-01-21 弹幕数据调整方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112929729A CN112929729A (zh) 2021-06-08
CN112929729B true CN112929729B (zh) 2023-06-30

Family

ID=76165620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110079500.9A Active CN112929729B (zh) 2021-01-21 2021-01-21 弹幕数据调整方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112929729B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989875A (zh) * 2018-07-04 2018-12-11 北京奇艺世纪科技有限公司 一种生成弹幕文件的方法及装置
CN109783691A (zh) * 2018-12-29 2019-05-21 四川远鉴科技有限公司 一种深度学习和哈希编码的视频检索方法
CN110490845A (zh) * 2019-07-26 2019-11-22 北京大米科技有限公司 一种图像特征提取方法、装置、存储介质及电子设备
CN110598014A (zh) * 2019-09-27 2019-12-20 腾讯科技（深圳）有限公司 一种多媒体数据处理方法、装置及存储介质
CN111143615A (zh) * 2019-12-12 2020-05-12 浙江大学 一种短视频情感类别的识别装置
CN111836111A (zh) * 2019-04-17 2020-10-27 微软技术许可有限责任公司 生成弹幕的技术

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514502B2 (en) * 2015-01-21 2016-12-06 Interra Systems Inc. Methods and systems for detecting shot boundaries for fingerprint generation of a video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989875A (zh) * 2018-07-04 2018-12-11 北京奇艺世纪科技有限公司 一种生成弹幕文件的方法及装置
CN109783691A (zh) * 2018-12-29 2019-05-21 四川远鉴科技有限公司 一种深度学习和哈希编码的视频检索方法
CN111836111A (zh) * 2019-04-17 2020-10-27 微软技术许可有限责任公司 生成弹幕的技术
CN110490845A (zh) * 2019-07-26 2019-11-22 北京大米科技有限公司 一种图像特征提取方法、装置、存储介质及电子设备
CN110598014A (zh) * 2019-09-27 2019-12-20 腾讯科技（深圳）有限公司 一种多媒体数据处理方法、装置及存储介质
CN111143615A (zh) * 2019-12-12 2020-05-12 浙江大学 一种短视频情感类别的识别装置

Also Published As

Publication number Publication date
CN112929729A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
US11222211B2 (en) Method and apparatus for segmenting video object, electronic device, and storage medium
AU2020217352A1 (en) Detecting segments of a video program
CN110856037B (zh) 一种视频封面确定方法、装置、电子设备及可读存储介质
CN112312231B (zh) 一种视频图像编码方法、装置、电子设备及介质
WO2021035629A1 (zh) 获取画质增强网络的方法、图像画质增强方法、装置、可移动平台、相机及存储介质
US20220172476A1 (en) Video similarity detection method, apparatus, and device
CN109409321B (zh) 一种镜头运动方式的确定方法及装置
CN113052768B (zh) 一种处理图像的方法、终端及计算机可读存储介质
CN114640881A (zh) 视频帧对齐方法、装置、终端设备及计算机可读存储介质
CN113435328A (zh) 视频片段处理方法、装置、电子设备及可读存储介质
CN111031359B (zh) 视频播放方法、装置、电子设备和计算机可读存储介质
US20160286266A1 (en) Labeling video content
US10303950B1 (en) Automated video correction
CN112929729B (zh) 弹幕数据调整方法、装置、设备及存储介质
CN110572713B (zh) 一种自适应视频宽高比的转码方法及处理终端
US11947631B2 (en) Reverse image search based on deep neural network (DNN) model and image-feature detection model
CN112669240B (zh) 高清图像修复方法、装置、电子设备和存储介质
CN110781345B (zh) 视频描述生成模型的获取方法、视频描述生成方法及装置
CN107431831B (zh) 使用视频帧来标识视频序列的装置和方法
CN112565819B (zh) 一种视频数据处理的方法及装置、电子设备、存储介质
CN110662088B (zh) 一种防止视频重复转码的去重方法及处理终端
CN112437340B (zh) 一种音视频中确定有无变种长广告的方法及系统
CN112232379B (zh) 一种相似视频识别方法、装置、终端及存储介质
US20230267706A1 (en) Video remastering via deep learning
CN109214311B (zh) 一种检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant