CN113691862A - 视频处理方法、用于视频播放的电子设备和视频播放系统 - Google Patents

视频处理方法、用于视频播放的电子设备和视频播放系统 Download PDF

Info

Publication number
CN113691862A
CN113691862A CN202010422771.5A CN202010422771A CN113691862A CN 113691862 A CN113691862 A CN 113691862A CN 202010422771 A CN202010422771 A CN 202010422771A CN 113691862 A CN113691862 A CN 113691862A
Authority
CN
China
Prior art keywords
frame rate
video
input video
target frame
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010422771.5A
Other languages
English (en)
Other versions
CN113691862B (zh
Inventor
张万能
P·库玛尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gdc Technology Shenzhen Ltd
Original Assignee
Gdc Technology Shenzhen Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gdc Technology Shenzhen Ltd filed Critical Gdc Technology Shenzhen Ltd
Priority to CN202010422771.5A priority Critical patent/CN113691862B/zh
Publication of CN113691862A publication Critical patent/CN113691862A/zh
Application granted granted Critical
Publication of CN113691862B publication Critical patent/CN113691862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Abstract

本公开涉及视频处理方法、用于视频播放的电子设备和视频播放系统。一种视频处理方法，包括：接收包括多个区段的输入视频以及与所述输入视频相关联的元数据，所述输入视频的所述多个区段中的至少两个区段具有不同的帧率；和根据所述元数据对所述输入视频进行实时处理，以便实时地输出具有恒定的目标帧率的输出视频，其中，所述元数据包括指示所述输入视频的各个区段的帧率的信息，或者，所述元数据包括指示所述输入视频的各个区段的帧率的信息和以下信息中的至少一个信息：指示目标帧率的信息和指示要用于对所述输入视频进行实时处理的处理操作的信息。

Description

视频处理方法、用于视频播放的电子设备和视频播放系统
技术领域
本公开涉及视频处理方法和相应的计算机可读介质、用于视频播放的播放设备以及视频播放系统。特别地，本公开涉及对电影进行处理以用于影院呈现的方法、电影播放设备以及电影播放系统。
背景技术
传统地，以24帧/秒(FPS)的帧率来拍摄并呈现电影。该24FPS的帧率是考虑了人眼对于视频连贯性的视觉感受以及技术上的约束之间的权衡而确定的。随着电影行业技术的发展，近年来涌现的技术(例如代替模拟胶片的数字电影技术等)允许以更高的帧率来拍摄电影，从而提供更加流畅的视觉体验。
但是，现有的支持高帧率的电影制作、后期制作、分发和呈现技术往往需要在设备、存储、传输带宽以及人员等许多方面的较大开销。
因此，需要一种支持高帧率的视频/电影呈现并且节省设备、存储、传输带宽等方面的开销的方案。
发明内容
本公开提出了一种支持以恒定的高帧率呈现视频同时节省开销的方案。
根据本公开的一个方面，提出了一种视频处理方法，所述视频处理方法包括：接收包括多个区段的输入视频以及与所述输入视频相关联的元数据，所述输入视频的所述多个区段中的至少两个区段具有不同的帧率；和根据所述元数据对所述输入视频进行实时处理，以便实时地输出具有恒定的目标帧率的输出视频，其中，所述元数据包括指示所述输入视频的各个区段的帧率的信息，或者，所述元数据包括指示所述输入视频的各个区段的帧率的信息和以下信息中的至少一个信息：指示目标帧率的信息和指示要用于对所述输入视频进行实时处理的处理操作的信息。
根据本公开的一个方面，提出了一种用于视频播放的电子设备，所述播放设备包括处理器和存储有计算机可执行指令的存储器，当所述计算机可执行指令被所述处理器执行时，使所述处理器执行如本公开所述的视频处理方法。
根据本公开的一个方面，提出了一种存储有计算机可执行指令的计算机可读介质，当所述计算机可执行指令被处理器执行时，使得所述处理器执行如本公开所述的视频处理方法。
根据本公开的一个方面，提出了一种视频播放系统，包括：如本公开所述的用于视频播放的电子设备和显示设备，所述电子设备将输出视频实时地发送给所述显示设备，以便所述显示设备显示所述输出视频。
附图说明
并入说明书中并且构成说明书的一部分的附图示出了本公开的实施例，并且与描述一起用于说明本公开的原理。
图1是根据现有技术的作为播放设备的输入视频数据的包括多个分本的电影内容的示意图；
图2是根据本公开的实施例的视频播放系统的示意图；
图3是根据本公开的实施例的用于视频播放的电子设备的结构配置的示意图；
图4是根据本公开的实施例的作为播放设备的电子视频数据的包括多个区段的电影内容的示意图；
图5是根据本公开的实施例的用于视频播放的播放设备的示意性操作流程的流程图；
图6是可以实现根据本公开的实施例的计算机设备的示例性配置图。
具体实施方式
下面将参考附图来详细描述本公开的优选的实施例。
在本部分中提供了根据本文所述实施方案的装置和方法的代表性应用。提供这些示例仅是为了添加上下文并有助于理解所述实施方案。对于本领域的技术人员因此将显而易见的是，本公开所述的实施方案可在不具有这些具体细节中的一些或全部的情况下实施。在其它情况下，未详细描述熟知的工艺步骤，以便避免不必要地模糊本公开所述的实施方案。其它应用也是可能的，使得以下示例不应视为是限制性的。
请注意，类似的参考数字和字母指的是图中的类似的项目，因而一旦在一幅图中定义了一个项目，就不需要在之后的图中讨论了。
在现有的呈现电影的技术中，仅支持对具有恒定帧率的输入视频进行播放。一般地，作为播放设备的输入视频数据的电影内容通常包括多个称为分本(Reel)的区段，每个分本对应于一部分电影内容。根据现有的电影标准的规定，例如，根据由数字电影倡导联盟(Digital Cinema Initiative,DCI)提出的数字电影包(Digital Cinema Package,DCP)的规定，打包进DCP中的电影内容的各个分本必须具有相同的帧率。也就是说，作为输入视频数据的整个电影内容具有恒定的输入帧率。如图1所示，作为播放设备的输入视频数据的电影内容可以被打包成具有N个分本的数字电影包，并且这N个分本的帧率例如均为24FPS。
因此，根据现有的电影呈现技术，为了播放高帧率的输入视频，该输入视频本身必须具有恒定的高帧率(例如，每个分本的帧率均为120FPS)，这要求以恒定的高帧率拍摄整个电影。但是，由于高帧率意味着每秒内更多的帧数，因此这种贯穿整个电影的高帧率拍摄/呈现方式导致了设备、存储、传输带宽等许多方面的非常大的开销。例如，在电影拍摄/制作阶段，需要全程使用昂贵的渲染设备以支持高帧率，并且需要具有足够专业水平的人员来操控这些设备以完成电影的拍摄和制作。另一方面，由于以高帧率进行拍摄导致需要存储更大量的数据，因此在电影拍摄端、后期制作端以及呈现端(诸如影院等)的存储开销也变得很大。此外，大量的数据导致了与传统的低帧率电影相比，需要更大的带宽来分发高帧率电影，这种对带宽的要求尤其对使用OTT或机顶盒类型终端的家庭播放场景带来了较大的限制。
实际上，虽然诸如战争场面、体育运动之类的画面随着时间迅速变化的运动类型的场景可以受益于高帧率而变得更加清晰、流畅。但是，并不是每种类型的场景的呈现效果都会随着帧率的提升而改善。例如，静止类型的场景的清晰度和流畅性并不会随着帧率的提升而显著改善。静止类型的场景表示所涉及的场景中仅小部分内容随着时间的变化而运动/改变或者画面随时间的变化速度较慢的场景。静止场景的示例诸如画面相对静止的风景场景和包含仅小部分的身体运动的场景(例如演讲、新闻播报画面等，其中仅演讲者的嘴部随时间而运动)之类。
鉴于以上因素，考虑以非恒定的帧率拍摄电影/视频(例如，运动类型的场景以高帧率拍摄而静止类型的场景以低帧率拍摄)，以减小设备、存储、传输带宽等方面的大开销。
但是，直接播放以非恒定帧率拍摄的电影/视频要求对包括播放设备、显示设备、音频设备等的视频/电影播放系统中各个设备的改进，特别是对于显示设备，需要该显示设备能够显示可变帧率的影像，并且要求该显示设备能够无缝地在各个帧率之间进行切换。这种对于显示设备的高要求往往导致难以在各种情况下支持以非恒定的帧率拍摄电影/视频呈现。例如，在多个显示设备通过网络接收由中央播放设备传送的电影/视频，并且在分别本地显示所接收的电影/视频的情况下，这要求所涉及的每个显示设备都能够支持以非恒定的帧率拍摄的电影/视频呈现。这对于经由机顶盒或OTT来在家庭播放电影的使用场景是不利的，因为这导致要求每个家庭必须装配支持显示以非恒定的帧率拍摄的电影/视频的显示器。再例如，在商业电影呈现的情况下，根据如上文所述的现有的电影行业标准，影院需要支持恒定帧率的显示设备(通常是投影仪)，这使得在面对具有可变帧率的视频/电影时，由显示设备的限制所带来的缺点更加突出。例如，这些显示设备通常是非常昂贵的，并且可能在十几年甚至更长的时间期间都不会被更换，并且当前市场上并没有可以无缝显示具有可变帧率的视频的商业显示设备。鉴于此，本公开提出了一种方案，该方案一方面支持以恒定的帧率(例如120FPS之类的高帧率)播放以非固定的帧率拍摄的电影/视频。从而使得能够节省电影/视频的制作端及呈现端的设备和存储开销并降低分发电影/视频的带宽要求。另一方面，该方案可以应用于视频播放设备，这使得在整个视频/电影播放系统中，仅需要对播放设备进行改进，并且可以兼容现有的诸如显示设备之类的其他设备。
图2示出了根据本公开的实施例的视频播放系统200。图2示出了典型的影院中的视频播放系统。如图2所示，视频播放系统200可以包括播放设备、诸如扬声器之类的音频设备以及投影仪和屏幕等，其中，投影仪和屏幕共同构成显示设备。虽然图2示出了由投影仪和屏幕共同构成的显示设备，但是应当理解的是，根据本公开的视频播放系统200可以包括任何类型的显示设备，诸如阴极射线显像管(Cathode Ray Tube,CTR)显示器、液晶(LiquidCrystal Display,LCD)显示器、发光二极管(Light Emitting Diode,LED)显示器之类。可以将任何常规的显示设备和/或音频设备用于根据本公开的视频播放系统200。
在根据本公开的视频播放系统中，播放设备可以接收包括多个区段的输入视频以及与所述输入视频相关联的元数据，所述输入视频的所述多个区段中的至少两个区段具有不同的帧率；并且播放设备可以根据所述元数据对所述输入视频进行实时处理，以便实时地输出具有恒定的目标帧率(例如，具有诸如120FPS之类的恒定的高帧率)的输出视频，其中，所述元数据包括指示所述输入视频的各个区段的帧率的信息，或者，所述元数据包括指示所述输入视频的各个区段的帧率的信息和以下信息中的至少一个信息：指示目标帧率的信息和指示要用于对所述输入视频进行实时处理的处理操作的信息。
根据本公开的播放设备可以将具有非恒定帧率的输入视频实时转换为具有恒定帧率的输出视频，并实时地将该输出视频传送给相应的显示设备的进行播放，从而使得能够降低开销并且能够兼容现有的显示设备。
图2以示例的方式示出了典型地用于影院的视频播放系统，其中，播放设备、音频设备以及显示设备出于相同的地理位置。但是，本公开并不限于应用于影院的视频播放系统。例如，根据本公开的视频播放系统还可以是具有中央播放设备和多个分布在各个不同地理位置的显示设备和/或音频设备的分布式视频播放系统。这种情况下，中央播放设备可以集中地对要播放的视频进行根据本公开的视频处理，并实时地将经处理的输出视频传送到各个显示设备以供本地显示。这种情况的典型示例可以是由中央播放设备对视频进行根据本公开的处理，并传送到各个家庭显示设备(诸如经由机顶盒或OTT之类)来在家庭播放电影的情况。
上结合图2简要介绍了根据本公开的示例性视频播放系统，下面将结合附图详细说明本公开的实施例。
图3示出了本公开的实施例的用于视频播放的电子设备(以下简称为播放设备300)的示意性结构配置。如图3所示，播放设备300可以包括通信单元302、元数据分析单元304、目标帧率确定单元306以及视频处理单元单元308。虽然图四例示了上述四个单元，但是播放设备300还可以包括其他可能的单元，或者包括上述四个单元中任意单元的组合单元。
通信单元302例如被配置为接收包括多个区段的输入视频以及与输入视频相关联的元数据，并且实时地输出由视频处理单元对输入视频进行处理而产生的具有恒定的目标帧率的输出视频，其中输入视频的多个区段中的至少两个区段具有不同的帧率。
根据本公开，通信单元302可以从与播放设备相关联的存储设备直接读取输入视频(例如，电影)。替代地，通信单元302可以通过任意通信手段(诸如，经由因特网、局域网之类)从远程设备实时接收要播放的视频。
根据本公开，输入视频可以是具有帧率不同的多个区段的视频数据。图4示出了根据本公开的实施例的作为播放设备的输入视频数据的包括多个区段的电影内容的示意图。如图4所示，输入视频可以包括N个区段，其中，N个区段中的至少两个区段具有不同的帧率。例如，如图4所示，区段1的帧率为24FPS，区段2的帧率为120FPS而区段3的帧率为48FPS。各个区段的帧率可以是在视频拍摄时基于与该区段相对应的画面的动态感所确定的。例如，为了使得运动类型的场景的呈现效果更佳清晰和流畅，可以以高于静止场景的区段的帧率来拍摄运动类型的区段。换句话说，输入视频的包含运动场景的区段的帧率高于所述输入视频的包含静止场景的区段的帧率。例如，如图4所示，区段1可能对应于画面基本静止的如风景场景之类的影像区段，区段2可能对应于画面随着时间迅速变化的场景，例如激烈的战争场景或者体育运动场景，而区段3可能对应于画面的动态感居中(例如画面的小部分随着时间而变化，或者画面随着时间变化的速度较慢)的场景，例如人物对话或新闻播报场景之类。
根据本公开，输入视频的至少两个区段具有不同的帧率应理解为并不是输入视频的所有N个区段都必须具有各不相同的N个帧率。例如，如图4所示，区段1和区段N的帧率可以是相同的，都为24FPS。此外，相邻的两个区段并不一定必须具备不同的帧率。例如，虽然未图示，但是区段4可以具有与区段3相同的帧率，即48FPS。
要说明的是，可以根据任何现有的视频/电影标准对输入视频数据划分区段。例如，可以根据DCI标准将电影内容打包成具有多个分本的数字电影包(DCP)来作为输入视频。要指出的是，每个区段的长度可以是相同的或不同的，只要视频处理单元能够识别出各个区段即可。
根据本公开，通信单元302可以作为与输入视频分开的文件的分开的形式而接收元数据。或者替代地，通信单元302也可以作为一个整体接收嵌入有元数据的输入视频数据。下文将参考元数据分析单元304对根据本公开的元数据进行详细说明。
通信单元302可以经由任何通信手段将由视频处理单元对输入视频进行处理而产生的具有恒定的目标帧率的输出视频传送到相应的显示设备。例如，通信单元302可以借助将播放设备与显示设备耦接的任何适用的视频传送线缆将输出视频传送给显示设备。再例如，通信单元300还可以借助因特网或局域网等网络，将输出视频传送给远程的显示设备。
优选地，通信单元302可以实时地传送输出视频。也就是说，通信单元302可以随着视频处理单元308对输入视频的处理，即时地输出已处理的输出视频，而无需在本地存储对应于完整的输入视频的完整的输出视频。由于经处理的输出视频一般具备恒定的高帧率，换句话说，输出视频一般具备比输入视频更多的帧，因此，通过实时传送已处理的输出视频而不存储完整的输出视频，可以有利地节省播放设备处的存储开销。但是，应理解的是，实时传送输出视频仅仅是一种优选的实现方式，通信单元302也可以在视频处理单元308完成对整个输入视频的处理之后，将所存储的输出视频传送到相应的显示设备。
元数据分析单元304可以对接收到的与输入视频相关联的元数据进行分析以提取所需的信息。根据本公开，与输入视频相关联的元数据可以包括指示输入视频的各个区段的帧率的信息，或者，可以包括指示所述输入视频的各个区段的帧率的信息和以下信息中的至少一个信息：指示目标帧率的信息和指示要用于对输入视频进行实时处理的处理操作/处理方法的信息。换句话说，元数据可以指示输入视频的各个区段的帧率，并且可选地元数据还可以指示输出视频的目标帧率和/或要用于对输入视频进行处理的处理操作。
具体地，元数据可以仅包括指示输入视频的各个区段的帧率的信息，以便目标帧率确定单元306可以根据这些帧率信息确定要用于输出视频的目标帧率。在这种情况下，视频处理单元308将按照默认的视频处理方法对输入视频进行处理以输出具有恒定帧率的输出视频。此外，可能期望以指定的恒定率播放视频，并且/或者希望以特定的视频处理操作来处理输入视频(例如，电影/视频创作者可能期望进行这种指定)。在这种情况下，除了各个区段的帧率信息之外，元数据还可以包括指示输出视频的目标帧率和/或要用于对输入视频进行处理的处理操作的信息。这种指定目标帧率和/或视频处理操作的方式可以使得播放设备具有可扩展性，从而能够例如至少根据输入视频的不同而灵活地确定输出视频的目标帧率和/或对输入视频的处理操作。
如上文介绍的，元数据可以作为与输入视频分开的文件的分开的形式而被接收，或者替代地，元数据可以按照嵌入在输入视频数据中并且与输入视频作为一个整体而被接收。
在作为单独的文件接收元数据的情况下，元数据可以以任意恰当的格式来存储指示输入视频的各个区段的帧率和/或目标帧率和/或视频处理方法的信息，并且在传送输入视频之前被接收(例如经由通信单元302)。例如，元数据可以是诸如XML格式之类的包含元素和属性的元数据。例如，元数据可以嵌入在XML格式的数字版权管理(Digital RightsManagement,DRM)密钥文件中，其中DRM密钥文件是与视频数据分开发送的用于“解锁”视频内容以供播放的文件。替代地，元数据也可以具有其他的格式，例如，元数据可以按照字段来组织成元数据文件，每个字段对应于输入视频的不同的信息。元数据分析单元304可以读取并解析作为独立的文件传送的元数据中包含的各个元素-属性或字段中的内容，从而提取出相应的信息。在这里以DRM密钥文件为例说明了与输入视频分开的元数据的情况，可以理解的是元数据可以是除DMR密钥文件之外的任何其他文件，只要该文件在开始处理输入视频之前被播放设备接收并解读即可。
在与输入视频作为一个整体而被接收的情况下，元数据可以嵌入在输入视频数据中。例如，元数据可以作为特定的字段或标签与输入视频一起作为输入视频数据而传送。在这种情况下，例如，元数据可以嵌入在XML格式的数字电影包的合成播放列表(CompositionPlayList,CPL)文件中。或者替代地，元数据可以嵌入在封装有输入视频的数据包的报头中，以便在开始接收输入数据并对其进行实时处理之前由元数据分析单元304分析并提取元数据中的信息。在这里以CPL文件为例说明嵌入在输入视频数据中的元数据的情况，还可以采用任何其他文件作为输入视频和元数据这二者的载体，只要该文件能够被播放设备接收并解读即可。
根据本公开，目标帧率确定单元306可以被配置为通过以下操作来确定目标帧率：在元数据不包括指示目标帧率的信息的情况下，基于显示输出视频的显示设备所支持的最大帧率和/或输入视频的各个区段的帧率来确定目标帧率；和在元数据包括指示目标帧率的信息的情况下，将所指示的目标帧率和显示输出视频的显示设备所支持的最大帧率中的较小值确定为目标帧率。
如在上文中解释的，本公开旨在提供一种能够播放并非整体都是以高帧率拍摄的电影/视频的技术，从而在几乎不影响清晰度/流畅性的情况下减小设备、存储、传输带宽等方面的开销。因此，理想的是将输出视频的目标帧率确定为尽可能大的帧率，从而提供尽可能高的清晰度/流畅性。因此，根据本公开，目标帧率大于或等于输入视频的各个区段的帧率中的最小帧率。
但是，考虑到显示设备的显示能力，一些显示设备并不能支持诸如120FPS之类的高帧率，因此，目标帧率确定单元306需要考虑要显示输出视频的显示设备所支持的最大帧率来确定目标帧率。例如，在元数据中指定了目标帧率并且该目标帧率小于显示输出视频的显示设备所支持的最大帧率的情况下，目标帧率确定单元306可以将元数据中所指定的目标帧率确定为最终目标帧率。再例如，如果元数据指定了目标帧率但是该目标帧率大于显示输出视频的显示设备所支持的最大帧率，则目标帧率确定单元306可以将显示设备所支持的最大帧率确定为最终目标帧率，以便最大程度地利用显示设备的显示能力来显示尽可能清晰/流畅的视频。要说明的是，播放设备可以预先收集与其相关联的显示设备的显示能力，以便在播放视频时根据要对其进行输出的显示设备来确定目标帧率。
在元数据中未指定目标帧率的情况下，目标帧率确定单元306可以将显示设备所支持的最大帧率确定为目标帧率。有利地，这种目标帧率确定方式可以尽可能最大程度地利用显示设备的能力，从而以尽可能高的帧率来播放尽可能清晰/流畅的视频。
在元数据中未指定目标帧率的情况下，目标帧率确定单元306还可以在输入视频的各个区段的帧率存在最小公倍数且该最小公倍数小于或等于显示设备所支持的最大帧率的情况下，将目标帧率确定为该最小公倍数。有利地，这种目标帧率确定方式可以使得视频处理单元的视频处理过程简单化，从而以较小的计算开销来获得具有恒定帧率的输出视频，下文将对此进行详细描述。
根据本公开，在元数据中未指定目标帧率的情况下，目标帧率确定单元306还可以按照任何其他方式来确定目标帧率，只要目标帧率小于或等于显示设备所支持的最大帧率即可。
根据本公开，在存在多个显示设备的情况下(例如上文介绍的分布式视频播放系统的情况下)，播放设备300的目标帧率确定单元306可以确定这多个显示设备所公共的一个目标帧率。例如，目标帧率确定单元306可以基于所有显示设备中的能力最弱的显示设备所支持的帧率，即支持的最小帧率来确定公共目标帧率。例如，基于输入视频的各个区段的帧率和所述支持的最小帧率来确定目标帧率；或者将所指示的目标帧率和所述支持的最小帧率中的较小值确定为目标帧率。
替代地，在存在多个显示设备的情况下，播放设备300的目标帧率确定单元306可以确定多个目标帧率，并且每个目标帧率被一个或多个显示设备所共享。例如，目标帧率确定单元306可以按照显示能力对显示设备进行分组(例如，高目标帧率组、中等目标帧率组和低目标帧率组等)，并且在每个组内基于能力最弱的显示设备所支持的帧率如上所述来确定用于该组的公共目标帧率。这样，播放设备可以并行地以各个公共目标帧率来处理输入视频，从而获得多个输出视频并按照上述分组将相应的输出视频发送到相应的显示设备，其中每个输出视频具有不同的恒定帧率。或者，也可以并行地发送所生成的各个输出视频，显示端可以根据显示设备的实际情况来选择合适的输出视频进行显示。
要指出的是，根据本公开，所确定的目标帧率可能大于、等于或小于输入视频的各区段的帧率中的最大帧率。通过视频处理单元308的视频处理过程，可以实现以任意目标帧率来播放输入视频，下面，将对此进行详细介绍。
根据本公开，视频处理单元308可以对输入视频进行处理以输出具有恒定的目标帧率的输出视频。优选地，视频处理单元308可以对输入视频进行实时处理，即，在不存储对应于整个输入视频的完整的输出视频的情况下输出具有恒定的目标帧率的输出视频。在这种实时处理的情况下，播放设备可以与存储器或缓存器相关联，以便临时缓存为了进行视频处理所需的部分帧。在采用实时处理的情况下，播放设备300不需要存储完整的输出视频，因此可以有利地减小存储开销。
根据本公开，在元数据不包括指示要用于对输入视频进行实时处理的处理方法的信息的情况下，视频处理单元308可以采用默认的方法对输入视频进行(例如，实时地)处理。例如这种默认的方法可以是一种重复输出部分帧以使小于目标帧率的区段的帧率达到目标帧率和/或删除部分帧以使大于目标帧率的区段的帧率达到目标帧率的方法。
这种默认的方法例如可以包括执行如下操作：基于由目标帧率确定单元确定的目标帧率来计算要输出所述输入视频的每个帧的定时；和按照所计算的定时输出每个帧，其中，对于所述输入视频的帧率小于目标帧率的区段，按照所述定时重复输出该区段中的一个或多个帧；对于所述输入视频的帧率等于目标帧率的区段，按照所述定时输出该区段的各帧；和对于所述输入视频的帧率大于目标帧率的区段，丢弃该区段的部分帧，并按照所述定时输出该区段的剩余帧。
具体地，视频处理单元308可以首先基于由目标帧率确定单元确定的目标帧率来计算要输出所述输入视频的每个帧的定时。例如，可以按照“1/目标帧率”为间隔来确定要在1秒内输出相应帧的定时。例如，假设目标帧率被确定为120FPS，那么对于以T时刻开始的时长为1秒的时间段，分别在定时T、T+1/120、T+2/120、T+3/120……T+119/120输出120个帧。
随后或者与计算定时同步地，视频处理单元308可以基于目标帧率和各个区段的帧率来确定要在每个定时输出的帧。对于所述输入视频的帧率小于目标帧率的区段，视频处理单元308以重复输出该区段中的一个或多个帧的方式来使得在每个定时都能够输出一个帧，即补足要在一段时间段内输出的帧。存在多种这种补足要在一段时间段内输出的帧的方法。根据一个实施例，可以简单地重复该区段每秒内的任意一个帧(例如第一个帧或最后一个帧)，以使得该秒内的帧数达到与目标帧率对应的帧数。例如，假设目标帧率为30FPS而该区段的帧率为24FPS，那么可以简单地将该区段的每秒内的任意一个帧(例如第一个帧或最后一个帧)连续重复输出6次，以使得一秒内输出30个帧。
根据另一个实施例，为了使得帧率小于目标帧率的区段看起来更加连贯，可以基于该区段的帧率与目标帧率之间的比例关系来按照所计算的定时重复输出该区段中的一个或多个帧。具体地，可以将该区段中的相继的两个帧分别重复该比例的分子和分母的值所代表的次数，并以此类推对该区段中的后续帧进行类似的操作。例如，假设目标帧率为120FPS，并且该区段的帧率为48FPS，那么该区段的帧率与目标帧率之比为2:5，那么可以按照以1/120为间隔而计算的定时将该区段的第一秒内的第一个帧重复输出2次，将第二个帧重复输出5次，并且将第三个帧重复输出2次，将第四个帧重复输出5次，并以此类推，这样，可以使得在第一秒内输出120个帧。这样，由于该区段中的每个帧都能以一定地比例被重复而避免了某个或某几个帧的过多重复，因此输出的视频看起来将更加流畅。
根据该实施例中的一个变型，当如上文所述，将目标帧率确定各个区段的帧率的最小公倍数的情况下，这种按照比例关系重复输出帧的操作将变得更为简单。具体而言，可以按照目标帧率与每个区段的帧率之间的相应的倍数关系，将每个区段的每个帧重复与该倍数值对应的次数。例如，假设输入视频的包括帧率分别为24FPS、48FPS和96FPS的区段，并且目标帧率被确定为这些帧率间的最小公倍数，即96FPS。对于帧率为24FPS的区段，目标帧率是该区段的帧率的4倍，那么可以按照以1/96为间隔而计算的定时将该区段中的每个帧重复输出4次以获得帧率为96FPS的输出视频。类似地，对于帧率为48FPS的区段，目标帧率是该区段的帧率的2倍，那么可以按照以1/96为间隔而计算的定时将该区段中的每个帧重复输出2次以获得帧率为96FPS的输出视频。在按照倍数关系重复输出各个帧的情况下，由于每个区段内的每个帧都被重复统一的次数，因此计算更加简单。
在这里，对于帧率小于目标帧率的区段，以优选的方式介绍了重复输出部分帧以使小于目标帧率的区段的帧率达到目标帧率的方法。实际上，还可以采用其他补充帧数的方法。例如，视频处理单元308可以采用任何已知的基于帧插入的算法(例如线性时间插值(linear time interpolation)等)来作为默认的方法对输入视频进行(例如，实时地)处理。
对于所述输入视频的帧率大于目标帧率的区段，视频处理单元308可以以丢弃输出该区段中的一个或多个帧的方式来使得在区段的持续时间内输出的帧的数量对应于目标帧率。根据一个实施例，可以基于该区段的帧率与目标帧率之间的比例关系来丢弃该区段中的一个或多个帧并按所计算出的定时输出剩余帧。具体地，可以按照该比例的分子和分母的值将该区段中的帧划分成相继的组，并以任意方式丢弃每个组内的一个或多个帧，使得每个组仅剩余一个帧。例如，假设目标帧率为48FPS，并且该区段的帧率为120FPS，那么该区段的帧率与目标帧率之比为5:2，那么可以将该区段的帧划分为相继的包括5个帧和包括2个帧的多个组，并且按照以1/48秒为间隔而计算的定时输出该区段的每个组内的仅一个帧。例如，对于该区段的第一个包括5个帧的组，可以仅输出第1个帧并丢弃剩余4个帧(即不输出剩余的4个帧)，并且在下一个定时输出该区段的第一个包括2个帧的组中的第1个帧并丢弃另一个帧，并以此类推。根据本公开，每个组内要保留或要丢弃的帧可以是任意确定的，只要保证每个组内仅按照定时输出一个帧即可。在这种按照比例丢弃帧的情况下，由于在一个区段内相对均匀地丢弃帧，因此输出视频不会出现明显的“掉帧”从而影响视觉体验。应理解的是，还可以使用其他丢弃帧的方式，只要使得输出视频的帧率等于目标帧率即可。
有利地，根据本公开的方案还支持对视频处理单元308所采用的默认的视频处理方法进行覆盖(override)/扩展。例如，可以通过元数据来指示视频处理单元308要进行的特定的视频处理操作，以使得能够以恒定的目标帧率输出视频。对输入视频进行处理(例如实时处理)的处理操作至少包括对输入视频的帧进行以下操作中的一个或多个：帧插入、帧重复和帧丢弃等。在这种情况下，播放设备可以预先加载多种具体的处理方法/算法，并且基于元数据中的指示处理方法的信息来选择一种处理方法进行处理。这种方式为视频处理带来了更大的灵活性，例如，可以依据电影/视频的内容灵活地指定最恰当的视频处理方法，从而达到最理想的视频播放效果。此外，还可以指示除了将输入视频的帧率调整为目标帧率以便输出的帧率转换操作之外的其他视频处理操作。例如，还可以指示应用于一个或多个区段的一些特定的渲染操作，以使得按照特定的效果播放各个区段，从而增强视觉体验。
上面已经详细说明了根据本公开的播放设备300的结构配置。下面，将参考图5说明根据本公开的实施例的用于视频播放的播放设备的示意性操作流程500。
如图5所示，该操作流程500在步骤502处开始。随后，播放设备在步骤504处接收包括多个区段的输入视频以及与输入视频相关联的元数据，其中，输入视频的所述多个区段中的至少两个区段具有不同的帧率。如上文所示，可以分开地接收输入视频和与输入视频相关联的元数据，或者可以作为一个整体接收嵌入有元数据的输入视频数据。元数据中可以包括对输入视频进行处理所需的信息。例如，元数据可以包括指示输入视频的各个区段的帧率的信息。为了使播放设备的视屏处理操作可以被灵活地设置/扩展，元数据还可以可选地包括指示目标帧率的信息和/或指示要用于对输入视频进行实时处理的处理操作的信息。关于元数据的详细内容已在上文参考元数据分析单元304进行说明，此处不再赘述。
接下来，在步骤506处，播放设备对接收到的元数据进行如上文所述的分析，并且根据分析出的与帧率有关的信息(例如所指定的目标帧率或输入视频的各个区段的帧率)和要显示输出视频的显示设备所支持的最大帧率来确定目标帧率。如上文所述，在元数据包括指示目标帧率的信息的情况下，播放设备可以将所指示的目标帧率和显示输出视频的显示设备所支持的最大帧率中的较小值确定为目标帧率。在元数据不包括指示目标帧率的信息的情况下，播放设备可以基于显示输出视频的显示设备所支持的最大帧率和/或输入视频的各个区段的帧率来确定目标帧率。例如，在元数据未指示目标帧率的情况下，为了使视频处理的操作更简单，可以在输入视频的各个区段的帧率存在最小公倍数且该最小公倍数小于或等于显示设备所支持的最大帧率的情况下，将目标帧率确定为该最小公倍数。
接下来，在步骤508处，播放设备根据对接收到的元数据的分析分析结果来判定是采用默认的视频处理操作对输入视频进行处理还是采用元数据中指定的视频处理操作进行处理。具体地，如果元数据中包含了指示要用于对所述输入视频进行实时处理的处理操作的信息，那么该操作流程500进行到步骤510。在步骤510处，基于所确定的目标帧率，按照指定的处理操作对输入视频进行处理。例如，可以基于元数据中指示的特定算法来对输入视频进行帧插入、帧重复和/或帧丢弃等操作。此外，如上文所述，还可以根据元数据中指示的特定操作来对输入视频进行诸如渲染之类的特殊操作。随后，可以在步骤516处，输出经处理的具有恒定的目标帧率的视频。
如果元数据中没有指定具体的处理方法，那么该操作流程500以默认的视频处理操作继续并进入到步骤512。在步骤512处，基于所确定的目标帧率来计算要输出所述输入视频的每个帧的定时。如上文所述例如，可以按照“1/目标帧率”为间隔来确定要输出相应帧的定时。
随后，在步骤514处，基于目标帧率和各个区段的帧率来确定要在每个定时输出的帧。如上文所述，对于所述输入视频的帧率小于目标帧率的区段，可以如上文所述的那样，确定要将哪些帧重复输出多少次，以便补足要在一段时间段内输出的帧以使得满足目标帧率。对于输入视频的帧率大于目标帧率的区段，可以确定要丢弃该区段中的哪些帧以使得在区段的持续时间内输出的帧的数量对应于目标帧率。例如，可以基于区段的帧率与目标帧率之间的比例关系来确定要重复和/或丢弃的一个或多个帧。并且接下来，在步骤516处，输出经处理的具有恒定的目标帧率的视频。
最后，该处理流程在518处结束。
要指出的是，根据本公开的播放设备的操作流程500仅仅是示意性的，本领域技术人员可以根据实际情况对该操作流程进行修改。各个步骤的顺序可以根据情况而调整或者并行执行，例如，可以在确定目标帧率之前或基本同步地判定元数据中是否指定了具体的视频处理操作。再例如，确定要在定时输出的相应帧的步骤514也可以与输出具有恒定的目标帧率的视频的步骤516几乎同步地执行，这种情况下，可以一确定要在某个定时输出的帧就对其进行输出。
应理解的是，根据本公开的播放设备的操作流程500中的各个操作可以理解为对输入视频进行实时处理的操作。也就是说，不需要等待对整个输出视频进行了处理并存储了完整的输出视频，就可以输出已经产生了的输出视频，因此可以有利地减小存储开销。
上文已经参考附图描述了根据本公开的实施例的视频处理方法、用于视频播放的电子设备以及视频播放系统。
在本公开的方案中，由于支持将具有非恒定帧率的输入视频转换为具有恒定帧率(例如，高帧率)的输出视频，因此使得可以按非恒定的帧率拍摄视频/电影(例如静止类型的场景具有较低帧率并且运动类型的场景具有较高帧率)。由此，可以在保证视觉质量的同时减小在设备、存储、传输带宽等许多方面的开销。
在本公开的方案中，由播放设备来进行转换视频帧率的操作，因此，可以兼容视频播放系统的任何其他现有设备(诸如显示设备、音频设备等)，而无需强制要求对除了播放设备之外的其他设备的技术升级。此外，由于输出视频具有恒定的帧率，因此用户可以有利地体验“无缝的”流畅画面，就像该视频本身就是以恒定帧率拍摄的那样，而不会在显示视频时出现由于切换帧率而导致的视频的区段间的“间断感”/“缝隙感”。
在本公开的方案中，实时地对输入视频进行处理，从而可以仅在必要时缓存部分帧，而无需在视频播放端处存储包含大量帧的高帧率输出视频。
在本公开的方案中，默认的帧率转换方法仅仅涉及帧重复和/或帧丢弃等计算量非常小的操作，因此也可以减小视频播放设备的计算开销。此外，在本公开的方案中，可以通过元数据来指示特定的视频处理操作，因此，提供了一种可扩展的视频处理机制，使得能够对输入视频进行灵活的个性化的处理。
虽然上文以电影播放为例对本公开的方案进行了描述，但是应当理解的是，本公开的方案可以应用于任何其他使用的视频播放场景。
图6示出了可以实现根据本公开的实施例的计算设备600的示例性配置。计算设备600是可以本公开的用于视频播放的电子设备的实例。计算设备600可以是被配置为执行处理和/或计算的任何机器。计算设备600可以是但不限制于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助手(PDA)、智能电话、车载计算机或以上组合。
如图6所示，计算设备600可以包括可能经由一个或多个接口与总线602连接或通信的一个或多个元件。总线602可以包括但不限于，工业标准架构(Industry StandardArchitecture，ISA)总线、微通道架构(Micro Channel Architecture，MCA)总线、增强ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及外设组件互连(PCI)总线等。计算设备600可以包括例如一个或多个处理器604、一个或多个输入设备606、以及一个或多个输出设备608。一个或多个处理器604可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。输入设备606可以是能够向计算设备输入信息的任何类型的输入设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备608可以是能够呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。
计算设备600还可以包括或被连接至非暂态存储设备614，该非暂态存储设备614可以是任何非暂态的并且可以实现数据存储的存储设备，并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。计算设备600还可以包括随机存取存储器(RAM)610和只读存储器(ROM)612。ROM 612可以以非易失性方式存储待执行的程序、实用程序或进程。RAM 610可提供易失性数据存储，并存储与计算设备600的操作相关的指令。计算设备600还可包括耦接至数据链路618的网络/总线接口616。网络/总线接口616可以是能够启用与外部装置和/或网络通信的任何种类的设备或系统，并且可以包括但不限于调制解调器、网络卡、红外线通信设备、无线通信设备和/或芯片集(诸如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设施等)。
应当进一步理解，计算设备600的元件可以分布在整个网络上。例如，可以在使用一个处理器执行一些处理的同时，使用其他远程处理器执行其他处理。计算设备600的其他元件也可以类似地分布。因此，计算设备600可以被理解为在多个地点执行处理的分布式计算系统。
可以单独地或以任何组合方式来使用前述实施方案的各个方面、实施方案、具体实施或特征。可由软件、硬件或硬件与软件的组合来实现前述实施方案的各个方面。
例如，前述实施方案可体现为计算机可读介质上的计算机可读代码。计算机可读介质为可存储数据的任何数据存储设备，所述数据其后可由计算机系统读取。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、DVD、磁带、硬盘驱动器、固态驱动器和光学数据存储设备。计算机可读介质还可分布在网络耦接的计算机系统中使得计算机可读代码以分布式方式来存储和执行。
例如，前述实施方案可采用硬件电路的形式。硬件电路可以包括组合式逻辑电路、时钟存储设备(诸如软盘、触发器、锁存器等)、有限状态机、诸如静态随机存取存储器或嵌入式动态随机存取存储器的存储器、定制设计电路、可编程逻辑阵列等的任意组合。
虽然已通过示例详细展示了本公开的一些具体实施例，但是本领域技术人员应当理解，上述示例仅意图是说明性的而不限制本公开的范围。上述效果仅仅是说明性的效果，本公开的方案还可以具有其他技术效果。应该认识到的是，前述方法中的一些步骤不一定按照图示的顺序执行，而是它们可以被同时、以不同顺序或以重叠方式执行。此外，本领域技术人员可以根据需要增加一些步骤或省略一些步骤。前述装置中的一些单元不是必须按照图示的布置，本领域技术人员可以根据需要增加一些单元或省略一些单元。本领域技术人员应该理解，上述实施例可以在不脱离本公开的范围和实质的情况下被修改。本公开的范围是通过所附的权利要求限定的。

Claims (15)

1.一种视频处理方法，其特征在于，所述视频处理方法包括：
-接收包括多个区段的输入视频以及与所述输入视频相关联的元数据，所述输入视频的所述多个区段中的至少两个区段具有不同的帧率；和
-根据所述元数据对所述输入视频进行实时处理，以便实时地输出具有恒定的目标帧率的输出视频，
其中，所述元数据包括指示所述输入视频的各个区段的帧率的信息，或者，所述元数据包括指示所述输入视频的各个区段的帧率的信息和以下信息中的至少一个信息：指示目标帧率的信息和指示要用于对所述输入视频进行实时处理的处理操作的信息。
2.如权利要求1所述的视频处理方法，其中，
对所述输入视频进行实时处理是指在不存储对应于所述输入视频的完整的输出视频的情况下输出具有恒定的目标帧率的输出视频。
3.如权利要求1或2所述的视频处理方法，其中，
在所述元数据不包括指示要用于对所述输入视频进行实时处理的处理操作的信息的情况下，对所述输入视频进行实时处理包括执行以下操作：
-基于目标帧率计算要输出所述输入视频的每个帧的定时；和
-按照所计算的定时输出每个帧，其中，对于所述输入视频的帧率小于目标帧率的区段，按照所述定时重复输出该区段中的一个或多个帧；对于所述输入视频的帧率等于目标帧率的区段，按照所述定时输出该区段的各帧；和对于所述输入视频的帧率大于目标帧率的区段，丢弃该区段的部分帧，并按照所述定时输出该区段的剩余帧。
4.如权利要求3所述的视频处理方法，其中，
对于所述输入视频的帧率小于目标帧率的区段，基于该区段的帧率与目标帧率之间的比例关系来按照所述定时重复输出该区段中的一个或多个帧；和/或
对于所述输入视频的帧率大于目标帧率的区段，基于该区段的帧率与目标帧率之间的比例关系来丢弃该区段中的一个或多个帧。
5.如权利要求1或2所述的视频处理方法，其中，目标帧率大于或等于所述输入视频的各个区段的帧率中的最小帧率。
6.如权利要求1或2所述的视频处理方法，其中，所述视频处理方法还包括通过以下操作来确定目标帧率：
-在所述元数据不包括指示目标帧率的信息的情况下，基于显示所述输出视频的显示设备所支持的最大帧率和/或所述输入视频的各个区段的帧率来确定目标帧率；和
-在所述元数据包括指示目标帧率的信息的情况下，将所指示的目标帧率和显示所述输出视频的显示设备所支持的最大帧率中的较小值确定为目标帧率。
7.如权利要求6所述的视频处理方法，其中，在所述元数据不包括指示目标帧率的信息的情况下：
-将所述显示设备所支持的最大帧率确定为目标帧率；或者
-在所述输入视频的各个区段的帧率存在最小公倍数且该最小公倍数小于或等于所述显示设备所支持的最大帧率的情况下，将目标帧率确定为该最小公倍数。
8.如权利要求1或2所述的视频处理方法，其中，要用于对所述输入视频进行实时处理的处理操作包括对所述输入视频的帧进行以下操作中的一个或多个：帧插入、帧重复和帧丢弃。
9.如权利要求1或2所述的视频处理方法，其中，所述输入视频的包含运动场景的区段的帧率高于所述输入视频的包含静止场景的区段的帧率。
10.如权利要求1或2所述的视频处理方法，其中，所述视频处理方法由播放设备执行。
11.如权利要求1或2所述的视频处理方法，其中，所述元数据包括在与所述输入视频分开传送的文件中，或者所述元数据嵌入在用于传送所述输入视频的文件中。
12.如权利要求11所述的视频处理方法，其中，所述元数据包括在数字版权管理DRM密钥文件中或者，所述元数据嵌入在合成播放列表CPL文件中。
13.一种用于视频播放的电子设备，所述电子设备包括处理器和存储有计算机可执行指令的存储器，当所述计算机可执行指令被所述处理器执行时，使所述处理器执行如权利要求1-12中任一项所述的视频处理方法。
14.一种存储有计算机可执行指令的计算机可读介质，当所述计算机可执行指令被处理器执行时，使得所述处理器执行如权利要求1-12中任一项所述的视频处理方法。
15.一种视频播放系统，包括：如权利要求13所述的用于视频播放的电子设备和显示设备，所述电子设备将输出视频实时地发送给所述显示设备，以便所述显示设备显示所述输出视频。
CN202010422771.5A 2020-05-19 2020-05-19 视频处理方法、用于视频播放的电子设备和视频播放系统 Active CN113691862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010422771.5A CN113691862B (zh) 2020-05-19 2020-05-19 视频处理方法、用于视频播放的电子设备和视频播放系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010422771.5A CN113691862B (zh) 2020-05-19 2020-05-19 视频处理方法、用于视频播放的电子设备和视频播放系统

Publications (2)

Publication Number Publication Date
CN113691862A true CN113691862A (zh) 2021-11-23
CN113691862B CN113691862B (zh) 2023-09-01

Family

ID=78575708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010422771.5A Active CN113691862B (zh) 2020-05-19 2020-05-19 视频处理方法、用于视频播放的电子设备和视频播放系统

Country Status (1)

Country Link
CN (1) CN113691862B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449309A (zh) * 2022-02-14 2022-05-06 杭州登虹科技有限公司 一种用于云导播的动图播放方法
CN114531554A (zh) * 2022-04-24 2022-05-24 浙江华眼视觉科技有限公司 一种快件码识别机的视频融合合成方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542198B1 (en) * 1999-03-30 2003-04-01 Ati International Srl Method and apparatus for optimizing video playback at arbitrary refresh rates
US20060236245A1 (en) * 2005-04-15 2006-10-19 Sachin Agarwal Dynamic real-time playback
US20140028909A1 (en) * 2011-04-05 2014-01-30 Panasonic Corporation Method for converting frame rate and video processing apparatus using the same
CN105264892A (zh) * 2013-06-07 2016-01-20 苹果公司 针对高帧率和可变帧率捕获来调整视频压缩
US20170188071A1 (en) * 2015-12-28 2017-06-29 Synchronoss Technologies, Inc. Method and apparatus for just-in-time transcoding
US20170372749A1 (en) * 2016-06-24 2017-12-28 Google Inc. Collage of interesting moments in a video
CN108933952A (zh) * 2017-05-26 2018-12-04 中兴通讯股份有限公司 一种视频播放方法、装置、计算机设备及计算机可读介质
US20180367823A1 (en) * 2017-06-15 2018-12-20 Amazon Technologies, Inc. Dynamic multimedia stream insertion from multiple sources
US20190188479A1 (en) * 2017-12-14 2019-06-20 Google Llc Generating synthesis videos
US20190349549A1 (en) * 2018-05-14 2019-11-14 Adobe Inc. Converting Variable Frame Rate Video to Fixed Frame Rate Video
CN110636375A (zh) * 2019-11-11 2019-12-31 RealMe重庆移动通信有限公司 视频流处理方法、装置、终端设备及计算机可读存储介质
CN110881136A (zh) * 2019-11-14 2020-03-13 腾讯科技（深圳）有限公司 视频帧率控制方法、装置、计算机设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542198B1 (en) * 1999-03-30 2003-04-01 Ati International Srl Method and apparatus for optimizing video playback at arbitrary refresh rates
US20060236245A1 (en) * 2005-04-15 2006-10-19 Sachin Agarwal Dynamic real-time playback
US20140028909A1 (en) * 2011-04-05 2014-01-30 Panasonic Corporation Method for converting frame rate and video processing apparatus using the same
CN105264892A (zh) * 2013-06-07 2016-01-20 苹果公司 针对高帧率和可变帧率捕获来调整视频压缩
US20170188071A1 (en) * 2015-12-28 2017-06-29 Synchronoss Technologies, Inc. Method and apparatus for just-in-time transcoding
US20170372749A1 (en) * 2016-06-24 2017-12-28 Google Inc. Collage of interesting moments in a video
CN108933952A (zh) * 2017-05-26 2018-12-04 中兴通讯股份有限公司 一种视频播放方法、装置、计算机设备及计算机可读介质
US20180367823A1 (en) * 2017-06-15 2018-12-20 Amazon Technologies, Inc. Dynamic multimedia stream insertion from multiple sources
US20190188479A1 (en) * 2017-12-14 2019-06-20 Google Llc Generating synthesis videos
US20190349549A1 (en) * 2018-05-14 2019-11-14 Adobe Inc. Converting Variable Frame Rate Video to Fixed Frame Rate Video
CN110636375A (zh) * 2019-11-11 2019-12-31 RealMe重庆移动通信有限公司 视频流处理方法、装置、终端设备及计算机可读存储介质
CN110881136A (zh) * 2019-11-14 2020-03-13 腾讯科技（深圳）有限公司 视频帧率控制方法、装置、计算机设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449309A (zh) * 2022-02-14 2022-05-06 杭州登虹科技有限公司 一种用于云导播的动图播放方法
CN114449309B (zh) * 2022-02-14 2023-10-13 杭州登虹科技有限公司 一种用于云导播的动图播放方法
CN114531554A (zh) * 2022-04-24 2022-05-24 浙江华眼视觉科技有限公司 一种快件码识别机的视频融合合成方法及装置
CN114531554B (zh) * 2022-04-24 2022-08-16 浙江华眼视觉科技有限公司 一种快件码识别机的视频融合合成方法及装置

Also Published As

Publication number Publication date
CN113691862B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
US10187668B2 (en) Method, system and server for live streaming audio-video file
US9516225B2 (en) Apparatus and method for panoramic video hosting
TWI268107B (en) Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network
KR102027410B1 (ko) 계층화된 신호 품질 계층에서의 재구성 데이터의 송신
US20120291080A1 (en) Image delivery system with image quality varying with frame rate
WO2020048429A1 (zh) 一种媒体资源获取的方法及装置
JP2020519094A (ja) ビデオ再生方法、デバイス、およびシステム
US20150156557A1 (en) Display apparatus, method of displaying image thereof, and computer-readable recording medium
US8238420B1 (en) Video content transcoding for mobile devices
KR20100035690A (ko) 디지털 미디어 처리 인터페이스
US11431942B2 (en) Frame rate conversion
US11317051B2 (en) Video processing apparatus, method and system
CN112425178B (zh) 两遍组块并行转码处理
CN104639951A (zh) 视频码流的抽帧处理方法及装置
CN113691862B (zh) 视频处理方法、用于视频播放的电子设备和视频播放系统
KR20080057972A (ko) 프리뷰 기능을 갖는 멀티미디어 데이터 인코딩/디코딩 방법및 장치
US20230096562A1 (en) Method and system for transmitting and reproducing video of dynamic bitrate with a plurality of channels
US20230336842A1 (en) Information processing apparatus, information processing method, and program for presenting reproduced video including service object and adding additional image indicating the service object
US11937013B2 (en) Method for video processing, an electronic device for video playback and a video playback system
KR102392908B1 (ko) 자유시점 비디오 서비스를 제공하는 방법, 장치 및 시스템
JP2014103534A (ja) 画像伝送装置
US11138687B1 (en) Protocol-based graphics compositor
CN111837401B (zh) 信息处理设备、信息处理方法
KR101844931B1 (ko) 분할 디스플레이를 위한 데이터 관리 장치, 시스템 및 방법과 그 기록 매체
Huang et al. Design and implementation of an efficient MPEG-4 interactive terminal on embedded devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant