CN105635749A - 产生视频帧集合的方法和设备 - Google Patents

产生视频帧集合的方法和设备 Download PDF

Info

Publication number
CN105635749A
CN105635749A CN201410610673.9A CN201410610673A CN105635749A CN 105635749 A CN105635749 A CN 105635749A CN 201410610673 A CN201410610673 A CN 201410610673A CN 105635749 A CN105635749 A CN 105635749A
Authority
CN
China
Prior art keywords
video
frame
broadcasting
intensive
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410610673.9A
Other languages
English (en)
Other versions
CN105635749B (zh
Inventor
梁捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Guangzhou Dongjing Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=55856568&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN105635749(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Guangzhou Dongjing Computer Technology Co Ltd filed Critical Guangzhou Dongjing Computer Technology Co Ltd
Priority to CN201410610673.9A priority Critical patent/CN105635749B/zh
Priority to PCT/CN2015/086493 priority patent/WO2016065972A1/zh
Priority to US15/522,546 priority patent/US10313712B2/en
Publication of CN105635749A publication Critical patent/CN105635749A/zh
Application granted granted Critical
Publication of CN105635749B publication Critical patent/CN105635749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种产生视频帧集合的方法和设备。根据视频中各个视频帧的播放密集程度，从视频中选择至少一个“中选视频帧”，其中视频帧的播放密集程度是该视频帧被播放次数与视频被播放次数之比。然后，拼接“中选视频帧”以形成视频帧集合。其中，在选择“中选视频帧”时，先从视频中筛选出播放密集程度大于预定阈值的密集播放视频帧。连续的密集播放视频帧构成密集播放视频片段。然后根据一定的规则，从各个密集播放视频片段中抽取“中选视频帧”。通过根据视频中个视频帧的密集播放程度来选择“中选视频帧”，并将由此选择的视频帧拼接在一起形成视频帧集合，能够将广大用户较多地认为精彩的视频内容拼接到视频帧集合中。

Description

产生视频帧集合的方法和设备
技术领域
本发明涉及互联网领域，特别涉及产生视频帧集合的方法和设备。
背景技术
随着网络的发展，各种视频资源(如电视剧、电影、以及各种综艺节目)数量庞大，一个视频网站往往整合了上千上万个视频资源。
一般的综艺节目视频的播放时往往长达2个小时以上。若是电视剧，播放时长就更长了。
而对于用户来说，他们可能仅仅关心视频中的精彩部分，若需要看完视频的整体内容需要浪费不少时间。
为节约用户观看视频的时间，一些视频资源提供商提供精彩视频(精彩视频帧集合)，如某部电影的精彩预告、某一集电视剧的精彩预告等，以吸引用户的关注。视频资源提供商根据自己的认识和理解，从整个视频资源中抽取他们认为的精彩视频片段，进而合成这样的精彩视频。
然而，这种精彩视频是固定不变的，是在提供商的角度所认为的精彩视频，不能真实地体现用户的角度的精彩视频，存在用户错过观看多数用户所认为的精彩视频的问题。
发明内容
本发明所要解决的一个技术问题是，提供一种产生视频帧集合的方法和设备，其能够将原始视频(也可以称为“原视频”)中广大用户较多地认为精彩的视频内容拼接到视频帧集合中。
根据本发明的一个方面，提供了一种产生视频帧集合的方法，包括：根据视频中各个视频帧的播放密集程度，从视频中选择至少一个中选视频帧，其中视频帧的播放密集程度是该视频帧被播放次数与视频被播放次数之比；以及拼接中选视频帧以形成视频帧集合。
优选地，该方法还可以包括：统计播放密集程度。
优选地，该方法还可以包括：记录中选视频帧在视频中的时间戳。
优选地，从视频中选择至少一个中选视频帧的步骤包括：筛选出播放密集程度大于预定阈值的密集播放视频帧，其中连续的密集播放视频帧构成密集播放视频片段，所筛选出的密集播放视频帧构成至少一个密集播放视频片段；以及从至少一个密集播放视频片段中抽取中选视频帧。
优选地，从视频中选择至少一个中选视频帧的步骤还可以包括：确定要在每个密集播放视频片段中抽取的中选视频帧的个数。
优选地，确定要在每个密集播放视频片段中抽取的中选视频帧的个数的步骤包括：计算每个密集播放视频片段中所有视频帧的平均播放密集程度；计算每个密集播放视频片段中播放密集程度大于或等于平均播放密集程度的视频帧所占比例；以及根据比例，确定要在每个密集播放视频片段中抽取的中选视频帧的个数，其中在比例较大的密集播放视频片段中抽取的中选视频帧的个数大于或等于在比例较小的密集播放视频片段中抽取的中选视频帧的个数。
优选地，当密集播放视频片段中的实际视频帧个数小于所确定的要在该密集播放视频片段中抽取的中选视频帧的个数时，抽取密集播放视频片段中的所有视频帧。
优选地，确定要在每个密集播放视频片段中抽取的中选视频帧的个数的步骤包括：确定每个密集播放视频片段的长度，即每个密集播放视频片段中所包含的视频帧的个数；以及根据密集播放视频片段的长度，确定要在每个密集播放视频片段中抽取的中选视频帧的个数，其中在长度较长的密集播放视频片段中抽取的中选视频帧的个数大于或等于在长度较短的密集播放视频片段中抽取的中选视频帧的个数。
优选地，在拼接中选视频帧以形成视频帧集合的步骤中，将所抽取中选视频帧较多的密集播放视频片段中抽取的中选视频帧排列在前，而将所抽选中选视频帧较少的密集播放视频片段中抽取的中选视频帧排列在后，同一个密集播放视频片段中的中选视频帧按其在视频中的播放时间顺序排列。
优选地，在从至少一个密集播放视频片段中抽取中选视频帧的步骤中，在每个密集播放视频片段中都抽取预定数量的视频帧；或者在每个密集播放视频片段中都抽取全部视频帧。
优选地，在从至少一个密集播放视频片段中抽取中选视频帧的步骤中，随机抽取中选视频帧；或者抽取各个密集播放视频片段中密集程度最大的前若干个视频帧作为中选视频帧。
优选地，在从视频中选择至少一个中选视频帧的步骤中，选择播放密集程度最大的前预定数量个视频帧作为中选视频帧。
优选地，在拼接中选视频帧以形成视频帧集合的步骤中，根据中选视频帧在视频中的播放时间顺序，依次拼接所选择的视频帧。
根据本发明的另一个方面，提供了一种产生视频帧集合的设备，包括：视频帧选择装置，用于根据视频中各个视频帧的播放密集程度从视频中选择至少一个中选视频帧，其中视频帧的播放密集程度是该视频帧被播放次数与视频被播放次数之比；以及拼接装置，用于拼接中选视频帧以形成视频帧集合。
优选地，该设备还可以包括：统计装置，用于统计播放密集程度；和/或时间戳记录装置，用于记录中选视频帧在视频中的时间戳。
优选地，视频帧选择装置可以包括：视频帧筛选装置，用于筛选出播放密集程度大于预定阈值的密集播放视频帧，其中连续的密集播放视频帧构成密集播放视频片段，所筛选出的密集播放视频帧构成至少一个密集播放视频片段；以及视频帧抽取装置，用于从至少一个密集播放视频片段中抽取中选视频帧。
优选地，视频帧选择装置还可以包括：帧数确定装置，用于确定要在每个密集播放视频片段中抽取的中选视频帧的个数。
优选地，帧数确定装置可以包括：平均播放密集程度计算装置，用于计算每个密集播放视频片段中所有视频帧的平均播放密集程度；比例计算装置，用于计算每个密集播放视频片段中播放密集程度大于或等于平均播放密集程度的视频帧所占比例；以及第一帧数确定装置，用于根据比例，确定要在每个密集播放视频片段中抽取的中选视频帧的个数，其中在比例较大的密集播放视频片段中抽取较多的中选视频帧，而在比例较小的密集播放视频片段中抽取较少的中选视频帧。
优选地，帧数确定装置可以包括：视频片段长度确定装置，用于确定每个密集播放视频片段的长度，即每个密集播放视频片段中所包含的视频帧的个数；以及第二帧数确定装置，用于根据密集播放视频片段的长度，确定要在每个密集播放视频片段中抽取的中选视频帧的个数，其中在长度较长的密集播放视频片段中抽取较多的中选视频帧，而在长度较短的密集播放视频片段中抽取较少的中选视频帧。
本发明通过根据视频中个视频帧的密集播放程度来选择中选视频帧，并将由此选择的视频帧拼接在一起形成视频帧集合，能够将广大用户较多地认为精彩的视频内容拼接到视频帧集合中。
附图说明
图1是根据本发明的第一实施例的产生视频帧集合的方法的流程图。
图2是根据本发明的第二实施例的产生视频帧集合的方法的流程图。
图3是图1和图2中的步骤S200的一种实现方式的流程图。
图4是图3中的步骤S220的一种实现方式的流程图。
图5是图3中的步骤S220的另一种实现方式的流程图。
图6是根据本发明的第三实施例的产生视频帧集合的设备的方框图。
图7是根据本发明的第四实施例的产生视频帧集合的设备的方框图。
图8是图6和图7中的视频帧选择装置200可以包括的子装置的方框图。
图9是图8中的帧数确定装置220的一种实现方式的方框图。
图10是图8中的帧数确定装置220的另一种实现方式的方框图。
具体实施方式
通过本方案形成的精彩视频，可以反映用户角度的精彩视频，形成的精彩视频可以根据用户播放的情况实时变化，可以将用户认为最精彩的视频展现给其他用户，使得用户能够观看多数用户所认为的精彩视频。
下面参考附图描述根据本发明的产生视频帧集合的方法和设备。
图1是根据本发明的第一实施例的产生视频帧集合的方法的流程图。
首先，在步骤S200，根据视频中各个视频帧的播放密集程度，从视频中选择至少一个“中选视频帧”。在这里，“中选视频帧”是指从原视频中挑选出来，要放入视频帧集合中的视频帧。
在这里，视频帧的“播放密集程度”是该视频帧被播放的次数与其所在的视频被播放的次数之比。
当视频被播放时，用户可能指令快进，可能跳跃，也可能提前结束，并不是每个视频帧都一定会被播放。因此，有些视频帧被播放的次数多，有些视频帧被播放的次数少。通过统计大量用户的行为，可以判断哪些视频帧是用户更加感兴趣的。因此，通过根据各个视频帧的播放密集程度来选择“中选视频帧”，更有可能挑选出用户更感兴趣的内容。
视频帧的密集播放程度可以是由视频提供商自行统计的，也可以是委托专门的调查公司或其它机构统计的，也可以是从其它数据库中直接获取的。
在挑选好“中选视频帧”之后，在步骤S400，拼接这些“中选视频帧”，从而形成视频帧集合。
在拼接“中选视频帧”时，可以按照这些“中选视频帧”在原视频中的播放顺序，依次拼接。
也可以根据播放密集程度，从高到低按顺序拼接这些“中选视频帧”。这样用户有可能先看到更多用户关注的内容。
通过在选择“中选视频帧”是考虑视频帧的密集播放程度，可以挑选出有更多用户观看过的视频帧，从而更有可能挑选出广大用户更加喜欢的内容。
图2是根据本发明的第二实施例的产生视频帧集合的方法的流程图。
图2所示的方法比图1所示的方法多了两个步骤，步骤S100和S300。
在步骤S100，统计播放密集程度。即，当有用户请求播放视频时，记录其观看了哪些视频帧，记录这个视频被播放一次，这些被观看的视频帧被播放一次。在统计一定数量的视频播放请求之后，对每个视频帧计算播放密集程度，即该视频帧被播放的次数与该视频被播放的次数之比。
如上面参考图1所描述，播放密集程度可以由视频提供商自行统计，也可以委托其它机构统计，或者从其它数据库直接获取。
但是，作为视频提供商，往往掌握第一手的播放记录，能够更加准确并迅速地实现这样的统计。因此，在图2所示的方法中，还包括统计播放密集程度的步骤。
播放密集程度可以随着更多用户的使用不断更新。
本方法可以在统计了足够多的用户的使用记录之后执行后续的步骤。也可以在统计了一定数量的用户使用记录之后执行后续的步骤，以选择“中选视频帧”，并形成视频帧集合；然后在进一步统计了一定数量的用户使用记录之后，使用新的播放密集程度，重新选择“中选视频帧”，重新形成新的视频帧集合，以便不断优化视频帧集合的内容。
然后和上面参考图1描述的一样，在步骤S200，根据视频中各个视频帧的播放密集程度，从视频中选择至少一个“中选视频帧”。
然后，在步骤S300，可以进一步记录各个“中选视频帧”在原视频中的时间戳。这样可以在播放视频帧集合时，容易的找到正在播放的视频帧所对应的原视频中的位置。当用户在观看视频帧集合时，看到感兴趣的内容时，可以从感兴趣的地方方便地进入原视频相应位置开始正常观看。
可以预先记录好所有视频帧的时间戳，每个视频帧与其时间戳对应。这样，可以不必专门再记录“中选视频帧”的时间戳。只要能够观看视频帧集合时，指定某个视频帧，能够确定其在原视频中的时间戳，从而能够确定其在原视频中的视频位置，就可以。
当然，也可以在步骤S200中选择出“中选视频帧”后，专门对应地记录“中选视频帧”的时间戳和“中选视频帧”的识别代码。
在步骤S400，与参考图1描述的一样，拼接这些“中选视频帧”，从而形成视频帧集合。
步骤S400与步骤S300的执行顺序可以颠倒，也可以同时执行。
下面，对图1和图2中的步骤S200做进一步的描述。
在步骤S200中，可以对各视频帧的播放密集程度进行排序。然后，直接选择播放密集程度最大的前预定数量个视频帧作为“中选视频帧”。预定数量可以根据需要来定。
这样，“中选视频帧”是用户播放次数最多的若干个视频帧，比较容易体现用户关注哪些视频帧。
然而，也有可能播放次数最多的预定数量个视频帧是在连续的视频片段中，这样，视频帧集合就有可能不能反映视频中更多的内容。
另外，还有可能，有些视频帧只是用户在快进时播放到的，虽然被统计为被播放次数较多，但其实前后的视频帧都没有被播放过，实际上并不是用户真正关注的视频帧。
为了克服上述问题，这里进一步提出“密集播放视频片段”的概念。
下面参考图3至图5进一步描述借助密集播放视频片段来执行上面参考图1和图2描述的步骤S200的方法。
图3是图1和图2中的步骤S200的一种实现方式的流程图。
首先，在步骤S210，筛选出视频中播放密集程度大于预定阈值的视频帧，在此称为“密集播放视频帧”。
这里的预定阈值可以是对所有视频预先指定的相同的值，例如60％。
预定阈值也可以针对不同的视频而有所不同。
另外，这个预定阈值还可以根据视频中各视频帧的实际播放情况来决定。例如可以设定为最高播放密集程度的一定比例，例如最高播放密集程度的一半、三分之二等。
这样筛选出的密集播放视频帧中将有一些连续的密集播放视频帧，构成一个个视频片段，在此称为“密集播放视频片段”。多个视频帧是否连续，可以根据其时间戳来判断。当一个视频帧不与其它视频帧相连时，也可以视为，该视频帧单独构成了一个视频片段，只是这个视频片段只有一个视频帧而已。
这样，所筛选出的多个密集播放视频帧将会构成至少一个密集播放视频片段。
然后，在步骤S220，确定要在每个密集播放视频片段中抽取的“中选视频帧”的个数。
然后，在步骤S230，从上述至少一个密集播放视频片段中抽取“中选视频帧”。
在步骤S230中，在密集播放视频片段中抽取“中选视频帧”时，可以从密集播放视频片段中随机地抽取“中选视频帧”，也可以抽取各个密集播放视频片段中密集程度最大的前若干个视频帧作为“中选视频帧”。
另外，在步骤S230中，在每个密集播放视频片段中抽取的“中选视频帧”可以是连续的，也可以是不连续的。如果抽取连续的“中选视频帧”，则可以向用户呈现较为连续的小视频片段。
具体抽取数量可以通过上述步骤S220确定，也可以不通过上述步骤S220确定。
图3示出了包括需要确定要在每个密集播放视频片段中抽取的“中选视频帧”的个数的步骤的情况。
然而，也可以不经过步骤S220，而是预先规定在步骤S230中要在每个视频帧中抽取多少个“中选视频帧”。
例如，可以规定在每个密集播放视频片段中都抽取相同数量(预定数量)的视频帧，例如，在每个密集播放视频片段中都抽取5个视频帧。
或者，例如，在步骤S210中所设定的预定阈值较高时，有可能所筛选出的密集播放视频帧较少，从而也可以在每个密集播放视频片段中都抽取全部视频帧。
这样，就不需要上述步骤S220，而是在步骤S230中直接抽取规定数量的“中选视频帧”即可。
然而，通过步骤S220，根据实际视频播放统计情况来确定要在每个密集播放视频片段中抽取的视频帧数量，能够更好地反应用户的视角。
下面，参考图4和图5描述两种确定要抽取的视频帧数量的方式。
图4是图3中的步骤S220的一种实现方式的流程图。
在图4所示实现方式中，根据密集播放视频片段中个视频帧的播放密集程度分布情况来决定要在该密集播放视频片段中抽取多少个视频帧。
在步骤S222，计算每个密集播放视频片段中所有视频帧的平均播放密集程度。
然后，在步骤S223，计算每个密集播放视频片段中播放密集程度大于或等于平均播放密集程度的视频帧所占比例。
当这个比例较小时，说明这个视频片段中有可能只有个别视频因为快进等一些偶然因素而被播放较多次。因此，可以认为，这个视频片段的重要性要低一些，可以从这个视频片段中抽取较少的视频帧。
相反，当这个比例较大时，说明这个视频片段中的视频帧可能较为普遍地被关注。因此，可以认为这个视频片段的重要性要高一些，可以从这个视频片段中抽取较多的视频帧。
然后，可以在步骤S224中，根据步骤S223中计算的比例，来确定要在每个密集播放视频片段中抽取的“中选视频帧”的个数。
具体说来，可以在上述比例较大的密集播放视频片段中抽取较多的“中选视频帧”，而在上述比例较小的密集播放视频片段中抽取较少的“中选视频帧”。
可以按照上述比例从高到低的顺序逐步减少所抽取的“中选视频帧”的个数。
例如，视频片段1的上述比例最高，为90％，视频片段2的上述比例次高，为80％，……则，从视频片段1中抽取5帧，从视频片段2中抽取4帧……。
如上所述，在一个密集播放视频片段中，可以抽取连续的帧，也可以抽取不连续的帧；可以随机抽取帧，也可以抽取播放密集程度最大的几个帧。
在使用图4所示方式确定要抽取的帧数时，可能存在这样的情况，即某个密集播放视频片段中的实际视频帧个数小于按照上述比例所确定的要在该密集播放视频片段中抽取的“中选视频帧”的个数。此时，可以抽取该密集播放视频片段中的所有视频帧。
图5是图3中的步骤S220的另一种实现方式的流程图。
在图5所示实现方式中，根据密集播放视频片段的长度(即视频帧个数)来决定要在该密集播放视频片段中抽取多少个视频帧。
首先，在步骤S226，确定每个密集播放视频片段的长度。在这里，密集播放视频片段的长度可以用密集播放视频片段中所包含的视频帧的个数来表示。
然后，在步骤S228，根据密集播放视频片段的长度，确定要在每个密集播放视频片段中抽取的“中选视频帧”的个数。
可以在长度较长的密集播放视频片段中抽取较多的“中选视频帧”，而在长度较短的密集播放视频片段中抽取较少的“中选视频帧”。
可以按照密集播放视频片段长度从大到小的顺序逐步减少所抽取的“中选视频帧”的个数。
例如，从最长的密集播放视频片段中抽取5帧，从第二长的密集播放视频片段中抽取4帧，……
同样地，在一个密集播放视频片段中，可以抽取连续的帧，也可以抽取不连续的帧；可以随机抽取帧，也可以抽取播放密集程度最大的几个帧。
上文中参考图4和5描述可以用于在步骤S220中确定要在每个密集播放视频片段中抽取的“中选视频帧”的个数的两种方式。
在通过步骤S220确定了要抽取的“中选视频帧”的个数的情况下，可以认为，从中抽选了较多“中选视频帧”的视频片段更加收到用户的关注。
因此，可以将所抽取“中选视频帧”较多的密集播放视频片段中抽取的“中选视频帧”排列在前，而将所抽选“中选视频帧”较少的密集播放视频片段中抽取的“中选视频帧”排列在后。从而将可能更受用户关注的内容放在视频帧集合的前面。
这样，虽然用户在观看视频帧集合时，并不是按照在原视频中的顺序观看各个“中选视频帧”的视频内容，但是有可能能够让用户更早观看到更受广大用户关注的“中选视频帧”的视频内容。
另一方面，同一个密集播放视频片段中的“中选视频帧”可以按其在视频中的播放时间顺序排列，这样可以保证一个视频片段内视频内容的时间先后关系。
下面，参考图6至图10，详细描述根据本发明的产生视频帧集合的设备，该设备可以用来执行上面参考图1至图5描述的产生视频帧集合的方法。
在下文中，主要描述了该设备的主要结构，其具体操作细节完全可以与上文中描述的一样。为了避免重复，下文中省略了对一些细节的描述。
图6是根据本发明的第三实施例的产生视频帧集合的设备的方框图。
图6所示设备包括视频帧选择装置200和拼接装置400。
视频帧选择装置200根据视频中各个视频帧的播放密集程度从视频中选择至少一个“中选视频帧”。如上所述，视频帧的播放密集程度是该视频帧被播放次数与视频被播放次数之比。视频帧选择装置200可以按与上面参考图1至图5描述的内容相同的方式来选择“中选视频帧”。
拼接装置400拼接视频帧选择装置200所选择的“中选视频帧”以形成视频帧集合。拼接装置400可以按与上面参考图1至图5描述的内容相同的方式来拼接“中选视频帧”。
图7是根据本发明的第四实施例的产生视频帧集合的设备的方框图。
与图6相比，图7所示设备增加了统计装置100和时间戳记录装置300。
统计装置100统计播放密集程度。
时间戳记录装置300记录“中选视频帧”在视频中的时间戳。
图8是图6和图7中的视频帧选择装置200可以包括的子装置的方框图。
如图8所示，视频帧选择装置200可以包括视频帧筛选装置210、帧数确定装置220和视频帧抽取装置230。
视频帧筛选装置210筛选出播放密集程度大于预定阈值的密集播放视频帧。其中连续的密集播放视频帧构成密集播放视频片段，所筛选出的密集播放视频帧构成至少一个密集播放视频片段。
帧数确定装置220确定要在每个密集播放视频片段中抽取的“中选视频帧”的个数。
视频帧抽取装置230从至少一个密集播放视频片段中抽取“中选视频帧”。
根据上面对根据本发明的方法的描述一样的理由，帧数确定装置220不是必须要有的。可以预先规定要在每个密集播放视频片段中抽取的帧数，例如都抽取预定数量的视频帧，或都抽取全部视频帧。
在使用帧数确定装置220的情况下，可以通过下述两种方式实现帧数确定装置220。
图9是图8中的帧数确定装置220的一种实现方式的方框图。
如图9所示，帧数确定装置220可以包括平均播放密集程度计算装置222、比例计算装置223和第一帧数确定装置224。
平均播放密集程度计算装置222计算每个密集播放视频片段中所有视频帧的平均播放密集程度。
比例计算装置223计算每个密集播放视频片段中播放密集程度大于平均播放密集程度的视频帧所占比例。
第一帧数确定装置224根据上述比例，确定要在每个密集播放视频片段中抽取的“中选视频帧”的个数。
其中在上述比例较大的密集播放视频片段中抽取较多的“中选视频帧”，而在上述比例较小的密集播放视频片段中抽取较少的“中选视频帧”。
当密集播放视频片段中的实际视频帧个数小于所确定的要在该密集播放视频片段中抽取的“中选视频帧”的个数时，抽取密集播放视频片段中的所有视频帧。
图10是图8中的帧数确定装置220的另一种实现方式的方框图。
如图10所示，帧数确定装置220可以包括视频片段长度确定装置226和第二帧数确定装置228。
视频片段长度确定装置226确定每个密集播放视频片段的长度，即每个密集播放视频片段中所包含的视频帧的个数。
第二帧数确定装置228根据密集播放视频片段的长度，确定要在每个密集播放视频片段中抽取的“中选视频帧”的个数。
其中在长度较长的密集播放视频片段中抽取较多的“中选视频帧”，而在长度较短的密集播放视频片段中抽取较少的“中选视频帧”。
至此，已详细描述了根据本发明的产生视频帧集合的方法和设备的具体实施例。然而本领域技术人员应该明白，本发明不限于这里描述的各种细节，而是可以做出适当的修改。本发明的保护范围由所附权利要求书限定。

Claims (16)

1.一种产生视频帧集合的方法，包括：
根据所述视频中各个视频帧的播放密集程度，从所述视频中选择至少一个中选视频帧，其中视频帧的播放密集程度是该视频帧被播放次数与所述视频被播放次数之比；以及
拼接所述中选视频帧以形成所述视频帧集合。
2.根据权利要求1所述的方法，其中，所述从视频中选择至少一个中选视频帧的步骤包括：
筛选出播放密集程度大于预定阈值的密集播放视频帧，其中连续的密集播放视频帧构成密集播放视频片段，所筛选出的密集播放视频帧构成至少一个密集播放视频片段；以及
从所述至少一个密集播放视频片段中抽取中选视频帧。
3.根据权利要求2所述的方法，其中，所述从视频中选择至少一个中选视频帧的步骤还包括：
确定要在每个密集播放视频片段中抽取的中选视频帧的个数。
4.根据权利要求3所述的方法，其中，所述确定要在每个密集播放视频片段中抽取的中选视频帧的个数的步骤包括：
计算每个密集播放视频片段中所有视频帧的平均播放密集程度；
计算每个密集播放视频片段中播放密集程度大于或等于所述平均播放密集程度的视频帧所占比例；以及
根据所述比例，确定要在每个密集播放视频片段中抽取的中选视频帧的个数，
其中在所述比例较大的密集播放视频片段中抽取的中选视频帧的个数大于或等于在所述比例较小的密集播放视频片段中抽取的中选视频帧的个数。
5.根据权利要求4所述的方法，其中，
当密集播放视频片段中的实际视频帧个数小于所确定的要在该密集播放视频片段中抽取的中选视频帧的个数时，抽取所述密集播放视频片段中的所有视频帧。
6.根据权利要求3所述的方法，其中，所述确定要在每个密集播放视频片段中抽取的中选视频帧的个数的步骤包括：
确定每个密集播放视频片段的长度，即每个密集播放视频片段中所包含的视频帧的个数；以及
根据密集播放视频片段的长度，确定要在每个密集播放视频片段中抽取的中选视频帧的个数，
其中在长度较长的密集播放视频片段中抽取的中选视频帧的个数大于或等于在长度较短的密集播放视频片段中抽取的中选视频帧的个数。
7.根据权利要求3至6中任何一项所述的方法，其中，在拼接所述中选视频帧以形成所述视频帧集合的步骤中，
将所抽取中选视频帧较多的密集播放视频片段中抽取的中选视频帧排列在前，而将所抽选中选视频帧较少的密集播放视频片段中抽取的中选视频帧排列在后，
同一个密集播放视频片段中的中选视频帧按其在所述视频中的播放时间顺序排列。
8.根据权利要求2所述的方法，其中，在所述从至少一个密集播放视频片段中抽取中选视频帧的步骤中，
在每个密集播放视频片段中都抽取预定数量的视频帧；或者
在每个密集播放视频片段中都抽取全部视频帧。
9.根据权利要求2所述的方法，其中，在所述从至少一个密集播放视频片段中抽取中选视频帧的步骤中，
随机抽取中选视频帧；或者
抽取各个密集播放视频片段中密集程度最大的前若干个视频帧作为中选视频帧。
10.根据权利要求1所述的方法，其中，在所述从视频中选择至少一个中选视频帧的步骤中，
选择播放密集程度最大的前预定数量个视频帧作为所述中选视频帧。
11.根据权利要求1至6或8至10中任何一项所述的方法，其中，在拼接所述中选视频帧以形成所述视频帧集合的步骤中，
根据中选视频帧在所述视频中的播放时间顺序，依次拼接所选择的视频帧。
12.一种产生视频帧集合的设备，包括：
视频帧选择装置，用于根据所述视频中各个视频帧的播放密集程度从所述视频中选择至少一个中选视频帧，其中视频帧的播放密集程度是该视频帧被播放次数与所述视频被播放次数之比；以及
拼接装置，用于拼接所述中选视频帧以形成所述视频帧集合。
13.根据权利要求12所述的设备，其中，所述视频帧选择装置包括：
视频帧筛选装置，用于筛选出播放密集程度大于预定阈值的密集播放视频帧，其中连续的密集播放视频帧构成密集播放视频片段，所筛选出的密集播放视频帧构成至少一个密集播放视频片段；以及
视频帧抽取装置，用于从所述至少一个密集播放视频片段中抽取中选视频帧。
14.根据权利要求13所述的设备，其中，所述视频帧选择装置还包括：
帧数确定装置，用于确定要在每个密集播放视频片段中抽取的中选视频帧的个数。
15.根据权利要求14所述的设备，其中，所述帧数确定装置包括：
平均播放密集程度计算装置，用于计算每个密集播放视频片段中所有视频帧的平均播放密集程度；
比例计算装置，用于计算每个密集播放视频片段中播放密集程度大于或等于所述平均播放密集程度的视频帧所占比例；以及
第一帧数确定装置，用于根据所述比例，确定要在每个密集播放视频片段中抽取的中选视频帧的个数，
其中在所述比例较大的密集播放视频片段中抽取的中选视频帧的个数大于或等于在所述比例较小的密集播放视频片段中抽取的中选视频帧的个数。
16.根据权利要求14所述的设备，其中，所述帧数确定装置包括：
视频片段长度确定装置，用于确定每个密集播放视频片段的长度，即每个密集播放视频片段中所包含的视频帧的个数；以及
第二帧数确定装置，用于根据密集播放视频片段的长度，确定要在每个密集播放视频片段中抽取的中选视频帧的个数，
其中在长度较长的密集播放视频片段中抽取的中选视频帧的个数大于或等于在长度较短的密集播放视频片段中抽取的中选视频帧的个数。
CN201410610673.9A 2014-10-31 2014-10-31 产生视频帧集合的方法和设备 Active CN105635749B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410610673.9A CN105635749B (zh) 2014-10-31 2014-10-31 产生视频帧集合的方法和设备
PCT/CN2015/086493 WO2016065972A1 (zh) 2014-10-31 2015-08-10 产生视频帧集合的方法、设备及服务器
US15/522,546 US10313712B2 (en) 2014-10-31 2015-08-10 Method, device, and server for producing video frame set

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410610673.9A CN105635749B (zh) 2014-10-31 2014-10-31 产生视频帧集合的方法和设备

Publications (2)

Publication Number Publication Date
CN105635749A true CN105635749A (zh) 2016-06-01
CN105635749B CN105635749B (zh) 2017-03-22

Family

ID=55856568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410610673.9A Active CN105635749B (zh) 2014-10-31 2014-10-31 产生视频帧集合的方法和设备

Country Status (3)

Country Link
US (1) US10313712B2 (zh)
CN (1) CN105635749B (zh)
WO (1) WO2016065972A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107094269A (zh) * 2016-11-04 2017-08-25 口碑控股有限公司 数据处理方法、设备和视频播放装置
CN107197378A (zh) * 2017-06-23 2017-09-22 深圳天珑无线科技有限公司 一种视频信息的处理方法及装置
CN108769801A (zh) * 2018-05-28 2018-11-06 广州虎牙信息科技有限公司 短视频的合成方法、装置、设备及存储介质
CN109756767A (zh) * 2017-11-06 2019-05-14 腾讯科技（深圳）有限公司 预览数据播放方法、装置及存储介质
CN110121115A (zh) * 2018-02-06 2019-08-13 上海全土豆文化传播有限公司 精彩视频片段的确定方法及装置
CN111277861A (zh) * 2020-02-21 2020-06-12 北京百度网讯科技有限公司 提取视频中热点片段的方法以及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11153643B1 (en) * 2020-05-05 2021-10-19 Rovi Guides, Inc. Systems and methods to determine reduction of interest in a content series
US11350162B2 (en) 2020-05-05 2022-05-31 Rovi Guides, Inc. Systems and methods to determine reduction of interest in a content series

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901619A (zh) * 2010-07-16 2010-12-01 复旦大学 一种基于视频内容缩影的增强用户体验的视频播放器
CN102447973A (zh) * 2011-10-10 2012-05-09 华为技术有限公司 一种缓存调整的方法、装置和系统
US20120321277A1 (en) * 2006-12-20 2012-12-20 Lee Taeyeon Method of providing key frames of video in mobile terminal
CN103634605A (zh) * 2013-12-04 2014-03-12 百度在线网络技术（北京）有限公司 视频画面的处理方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5623344A (en) * 1992-09-01 1997-04-22 Hitachi America, Ltd. Digital video recording device with trick play capability
US6377748B1 (en) * 1997-02-18 2002-04-23 Thomson Licensing S.A. Replay bit stream searching
CN101783915A (zh) * 2010-03-19 2010-07-21 北京国双科技有限公司 一种实现视频量化的方法
SG188630A1 (en) 2010-09-24 2013-04-30 Gnzo Inc Video bit stream transmission system
JP2014165841A (ja) 2013-02-27 2014-09-08 Brother Ind Ltd 情報処理装置及び情報処理方法
US9542976B2 (en) * 2013-09-13 2017-01-10 Google Inc. Synchronizing videos with frame-based metadata using video content
CN103957433A (zh) * 2014-03-31 2014-07-30 深圳市同洲电子股份有限公司 一种视频数据的处理方法、相关设备及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120321277A1 (en) * 2006-12-20 2012-12-20 Lee Taeyeon Method of providing key frames of video in mobile terminal
CN101901619A (zh) * 2010-07-16 2010-12-01 复旦大学 一种基于视频内容缩影的增强用户体验的视频播放器
CN102447973A (zh) * 2011-10-10 2012-05-09 华为技术有限公司 一种缓存调整的方法、装置和系统
CN103634605A (zh) * 2013-12-04 2014-03-12 百度在线网络技术（北京）有限公司 视频画面的处理方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107094269A (zh) * 2016-11-04 2017-08-25 口碑控股有限公司 数据处理方法、设备和视频播放装置
CN107197378A (zh) * 2017-06-23 2017-09-22 深圳天珑无线科技有限公司 一种视频信息的处理方法及装置
CN109756767A (zh) * 2017-11-06 2019-05-14 腾讯科技（深圳）有限公司 预览数据播放方法、装置及存储介质
CN109756767B (zh) * 2017-11-06 2021-12-14 腾讯科技（深圳）有限公司 预览数据播放方法、装置及存储介质
CN110121115A (zh) * 2018-02-06 2019-08-13 上海全土豆文化传播有限公司 精彩视频片段的确定方法及装置
CN110121115B (zh) * 2018-02-06 2023-02-10 阿里巴巴（中国）有限公司 精彩视频片段的确定方法及装置
CN108769801A (zh) * 2018-05-28 2018-11-06 广州虎牙信息科技有限公司 短视频的合成方法、装置、设备及存储介质
CN108769801B (zh) * 2018-05-28 2019-03-29 广州虎牙信息科技有限公司 短视频的合成方法、装置、设备及存储介质
US11308993B2 (en) 2018-05-28 2022-04-19 Guangzhou Huya Information Technology Co., Ltd. Short video synthesis method and apparatus, and device and storage medium
CN111277861A (zh) * 2020-02-21 2020-06-12 北京百度网讯科技有限公司 提取视频中热点片段的方法以及装置
CN111277861B (zh) * 2020-02-21 2023-02-24 北京百度网讯科技有限公司 提取视频中热点片段的方法以及装置

Also Published As

Publication number Publication date
CN105635749B (zh) 2017-03-22
US10313712B2 (en) 2019-06-04
WO2016065972A1 (zh) 2016-05-06
US20170318317A1 (en) 2017-11-02

Similar Documents

Publication Publication Date Title
CN105635749A (zh) 产生视频帧集合的方法和设备
CN103442252B (zh) 视频处理方法及装置
CN108235141B (zh) 直播视频转碎片化点播的方法、装置、服务器和存储介质
CN103385008B (zh) 内容递送方法和内容递送系统
CN102364956B (zh) 一种iptv系统的开机广告的实现方法
CN103747343B (zh) 资源分时段推荐的方法和装置
US20140219635A1 (en) System and method for distributed and parallel video editing, tagging and indexing
TWI672044B (zh) 字幕資料的處理方法及系統
US20110276864A1 (en) Process for creating a media sequence by coherent groups of media files
CN102640512A (zh) 结合动态广告的视频点播应用的书签校准
CN110024412A (zh) 一种视频直播的方法、装置和系统
CN105230035A (zh) 用于选择的时移多媒体内容的社交媒体的处理
KR20160021197A (ko) 개선된 프로그램 가이드
CN106454431B (zh) 电视节目推荐方法和系统
CN102117291A (zh) 一种展现网络资源的方法及系统
CN102263999A (zh) 基于人脸识别对电视节目自动分类的方法及其系统
CN102395053B (zh) 一种iptv系统
CN111711861B (zh) 视频处理方法、装置、电子设备及可读存储介质
CN100527133C (zh) 一种存储视频文件的描述信息和视频片段的方法及系统
CN104581218B (zh) 网络电视收视流向监测方法和装置
CN111327965A (zh) 视频分片倍速播放方法、系统及存储介质
CN103020248A (zh) 视频文件缩略图生成方法和生成装置
CN106658030A (zh) 一种包含单路音频多路视频的复合视频的播放方法及设备
CN103546828B (zh) 节目预览的生成方法及装置
CN103095994A (zh) 一种应用于数字家庭的高清媒体非线性编辑方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200709

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba (China) Co.,Ltd.

Address before: 510627 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping B radio 14 floor tower square

Patentee before: GUANGZHOU UCWEB COMPUTER TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right