CN105681870B - 用于确定视频流的图形覆盖的属性的方法和设备 - Google Patents

用于确定视频流的图形覆盖的属性的方法和设备 Download PDF

Info

Publication number
CN105681870B
CN105681870B CN201510881547.1A CN201510881547A CN105681870B CN 105681870 B CN105681870 B CN 105681870B CN 201510881547 A CN201510881547 A CN 201510881547A CN 105681870 B CN105681870 B CN 105681870B
Authority
CN
China
Prior art keywords
video flowing
covering
period
video
bit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510881547.1A
Other languages
English (en)
Other versions
CN105681870A (zh
Inventor
比约恩·阿多
袁松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN105681870A publication Critical patent/CN105681870A/zh
Application granted granted Critical
Publication of CN105681870B publication Critical patent/CN105681870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明大体涉及视频通信系统，并且更具体地涉及用于调整视频流的图形覆盖(102)的属性的方法和设备，所调整的属性是图形覆盖的位置、动画等级和色彩构成中的至少一个，并且该调整基于由一时间段的视频流描绘的场景。如果用于传输包括该时间段的视频流和图形覆盖的编码比特流的估计比特率超过用于传输包括该时间段的视频流和图形覆盖的单一编码比特流的预定上阈限比特率，则执行该调整。

Description

用于确定视频流的图形覆盖的属性的方法和设备
技术领域
本发明大体涉及视频通信系统，并且更具体地涉及用于确定视频流的图形覆盖的属性的方法和系统。
背景技术
视频内容的呈现变得日益多样化。例如，主要视频内容(诸如电影或其它运动视频片段)可包括具有例如用户界面图形、字幕、徽标等的附加视频图形或对象的覆盖。而且，随着当今日益广泛的用于视频内容的流式传输服务，诸如在流式传输到移动电话时降低编码的视频内容的比特率常常是重要的。
然而，在这种低比特率应用中，视频内容可以为了降低比特率而被高度压缩，图形覆盖对比特率的贡献可能相当大。
EP2230839A1(皇家菲利浦电子有限公司)描述了一种用于利用其它运动视频内容(例如次要视频节目)覆盖主要视频内容的系统。该文献描述了根据示出据称可降低比特率的主要和次要视频节目的显示器的大小，覆盖的次要视频节目的大小如何改变。第一视频流的内容未被考虑。
为了进一步降低包括图形覆盖的视频流的比特率，期望能够提供更灵活的显示方法。
发明内容
据此，本发明的目的是解决或至少减少上面论述的一个或几个缺陷。通常，上面的目的通过附加的独立专利权利要求实现。
根据第一方面，本发明通过用于在一时间段的视频流期间的视频流上插入图形覆盖的方法实现，包括以下步骤：提供用于传输包括该时间段的视频流和图形覆盖的单一编码比特流的上阈限比特率，计算用于传输包括该时间段的视频流和图形覆盖的编码比特流的估计比特率，确定估计比特率是否超过上阈限值。
如果估计比特率超过上阈限值，则该方法包括：基于由该时间段的视频流描绘的场景调整图形覆盖的位置、动画等级和色彩构成中的至少一个，使得用于传输包括该时间段的视频流以及位于所调整的位置处具有所调整的动画等级和/或具有所调整的色彩构成的图形覆盖的编码比特流的比特率降至上阈限值之下。
该方法进一步包括在该时间段的视频流期间的视频流上插入图形覆盖。
术语“一时间段的视频流”在本说明书的上下文中应被理解为视频流的至少一个视频帧。
比特率的估计可使用任何合适的方法进行。比特率取决于例如一时间段的视频流中存在的任何运动、画面组(GOP)结构、GOP限制和压缩方法。而且，在估计该时间段的视频流的比特率时，视频帧的内容的对比度值和后续视频帧之间的对比度值也是重要的。此外，用于传输之前时间段的包括或不包括图形覆盖的视频流所需的比特率也可用于估计。
术语“对比度值”在本说明书的上下文中应被理解为图像的色彩和亮度的差异，在该图像的区域内、在该图像的物体内，或图像中的两个区域或物体之间的差异。
物体/区域/图形覆盖的术语“色彩构成”在本说明书的上下文中应被理解为物体/区域/图形覆盖的色彩和亮度。此外，该术语可包括物体/区域/图形覆盖中的色彩的分布。
估计比特率可例如由于视频流中升高的运动等级、或视频流中视频帧的内容的升高的对比度值、或视频流中后续视频帧之间的升高的对比度值而超过上阈限值。
本发明基于以下内容实现：通过基于由一时间段的视频流描绘的场景(即该时间段的视频流中的帧的图像内容)调整图形覆盖的位置、动画等级和色彩构成中的一个(在此说明书中还被称为图形覆盖的属性)，能够有利地控制包括调整的图形覆盖的该时间段的视频流的最终比特率以满足上阈限比特率。
通常，图形覆盖具有预配置的大小、位置和色彩，它们是固定的。在确定这些属性时，其上将插入图像覆盖的基础视频通常不被考虑。这意味着在低比特率视频流中，因为放置在视频流的低对比度部分的图形覆盖(例如徽标)，使得图形覆盖和视频流的低对比度部分之间的对比度很大，对最终比特率(即最终传输的包括视频流和图形覆盖两者的比特流的比特率)的贡献可能相当大。
因此，放置图形覆盖使得该对比度降低、或者改变图形覆盖的色彩构成以更近似匹配其放置的区域的色彩构成可在很大程度上降低最终比特率。
此外，动画的覆盖(例如旋转徽标)可对低比特率视频流中的最终比特率做出相当大的贡献。因此，降低的动画可在很大程度上降低最终比特率。
通过提供对一时间段的视频流执行的方法，实现了调整图形覆盖的属性(即图形覆盖的位置、动画等级和色彩构成)的更灵活的方式。因此，可针对视频流的每个时间段单独调整属性。换句话说，可在视频流的一时间段(例如1/30秒(1帧)、1秒、10秒、1分钟等)内调整图形覆盖的属性。在调整属性时，可能不知道这些属性将应用多长时间段。时间段的长度可基于例如视频流的属性或帧的阈限数。
总之，本方法包括这些主要步骤：
1.利用图形覆盖的当前属性，通过估计用于传输视频流的当前时间段和图形覆盖的比特率，检查是否可能需要图形覆盖的调整。
2.如果估计比特率太高，则
a.为了降低要求的比特率，基于视频流的内容调整图形覆盖中的一些或所有属性。
3.利用图形覆盖调整的或未调整的属性，在该时间段的视频流期间的视频流上插入图形覆盖。
根据一些实施例，方法进一步包括以下步骤：通过以下至少之一确定该时间段的视频流期间的起始帧：
●计算从计算用于传输包括该时间段的视频流和图形覆盖的编码比特流的估计比特率所针对的之前时间段的视频流中的起始帧开始的帧数，并且确定计算的帧数是否大于阈限值，
●从用于获取视频流的PTZ视频摄像机接收摇摄、倾斜和/或变焦信号，
●通过在当前帧和计算用于传输包括该时间段的视频流和图形覆盖的编码比特流的估计比特率所针对的之前时间段的帧之间实施块匹配操作，来确定当前帧和视频流的之前时间段的帧之间的差异程度，并且确定差异程度是否大于阈限值。
在上述条件中的至少一个已经满足之后，仅调整图形覆盖的属性，并且如果估计比特率超过上阈限比特率，则图形覆盖可在有利的时刻调整其属性。例如，在接收到PZT信号时，视频流中描绘的场景很可能被改变且可能需要图形覆盖的属性的调整。此外，因为视频流中描绘的场景可能已经改变，因此图形覆盖属性的任何调整可能对观察者是不明显的。
此外，由于不检查是否将进行图形覆盖的属性的调整直至视频流中的当前帧描绘的场景明显不同于上次检查的之前时间段中描绘的场景，可避免比特率的不必要的估计。因此，可实现降低的计算复杂度。
而且，由于不检查是否将进行图形覆盖的属性的调整直至从上次检查以来确定的帧数已经流过，可避免比特率的不必要的估计。因此，可实现降低的计算复杂度。
应当注意的是，根据一些实施例，在限定新时间段的视频流(即通过设置时间段的起始帧)之前，可能必须满足上面论述的条件中的不止一个，针对新时间段的视频流，图形覆盖的属性可能改变。
根据一些实施例，方法进一步包括以下步骤：使用一个或多个画面组GOP结构来编码视频流，每个GOP结构包括内部帧以及随后的多个帧间帧，其中该时间段的视频流的起始帧与一个或多个GOP结构外部的第一GOP结构的内部帧一致。
这是有利的，因为图形覆盖的属性的实际改变随后发生在将使用内部帧(I-帧)编码的视频流的帧中。因为I-帧被编码为完全指定的图片，像传统的静态文件一样，相比于视频流中的之前帧，帧中大的改变不影响帧的编码的大小。因此，如果图形覆盖的属性改变发生在I-帧，则这种改变、图形覆盖的这种新的位置或图形覆盖的新的色彩构成可能不会不利地影响实际比特率。
根据一些实施例，计算估计比特率的步骤使用以下之一来执行：用于传输包括之前时间段的视频流的编码比特流的要求比特率；该时间段的视频流的数据子集，以及之前时间段的视频流的数据子集。
根据一些实施例中，术语“数据子集”在本说明书上下文中应被理解为包括在对应的时间段中用于计算的帧的子集，和/或在估计比特率时使用的用于计算的每个帧的一部分。这可降低估计的计算复杂度，并且进一步还减少了估计所要求的时间。
应当注意的是，可使用用于传输包括之前时间段的视频流的要求比特率实施计算估计比特率的步骤，之前时间段的视频流包括图形覆盖。在该实施例中，包括图形覆盖的视频的上一秒的平均比特率可被用于估计当前时间段的比特率。这是有利的，因为可以知道之前时间段的图形覆盖的属性是否导致比特率低于上阈限比特率。如果比特率低于上阈限比特率，则没有必要进一步改变图形覆盖的属性。
根据一些实施例，所调整的图形覆盖的位置是多个预定位置中的一个预定位置。
例如，在图形覆盖包括徽标的情况下，拥有徽标的公司可要求徽标包括在一组预定的位置中，例如左上角或右上角。此外，根据一些实施例，如果图形覆盖将视频流的帧的感兴趣的部分(例如每个帧的中间部分)覆盖，则将是不利的。
根据一些实施例，调整图形覆盖的属性的步骤包括以下步骤：确定由该时间段的视频流描绘的场景中的多个区域中的每一个区域的对比度值，基于所确定的对比度值调整图形覆盖的位置。
根据此实施例，可调整图形覆盖的位置，使得相比于图形覆盖和与图形覆盖的当前调整的/未调整的位置对应的场景的区域之间的对比度，图形覆盖和与图形覆盖的调整的位置对应的场景的区域之间的对比度被降低。
术语“图形覆盖和与图形覆盖的位置对应的场景的区域之间的对比度”在本说明书的上下文中应被理解为图形覆盖和其上定位图形覆盖的区域之间的界面(即临界区域)的对比度值。
此外，根据本实施例，可放置图形覆盖使得其覆盖视频流中具有高对比度值的区域。在这种情况下，用于传输该时间段的包括图形覆盖的视频流的要求(最终)比特率还可相比于估计比特率被降低。
而且，根据一些实施例，与图形覆盖预定位置对应的对比度值低于阈限值，调整的步骤进一步包括：确定与所确定的图形覆盖的位置对应的区域的色彩构成，以及基于所确定的区域的色彩构成，调整图形覆盖的色彩构成，使得图形覆盖和区域之间的对比度值降低。
这意味着图形覆盖可放置在具有低对比度的区域中，例如描绘蓝色的天空，并且还通过将图形覆盖的色彩构成改变为与具有低对比度的区域的色彩构成相似，图形覆盖和由视频流描绘的场景之间的界面的对比度值可保持较低，并且因此用于编码包括图形覆盖的视频流的比特率可保持较低。
根据一些实施例，调整的步骤还包括步骤：确定由该时间段的视频流描绘的场景中的多个区域中的每一个区域的色彩构成，通过比较所确定的色彩构成和图形覆盖的色彩构成来调整图形覆盖的位置。
这种好处是不用改变图形覆盖的色彩构成，图形覆盖和由视频流描绘的场景之间的界面的对比度可保持较低，并且因此用于编码包括图形覆盖的视频流的比特率。换句话说，图形覆盖放置在与图形覆盖的色彩构成相比具有相似色彩构成的区域中。其因此降低了放置图形覆盖的场景的区域和图形覆盖之间的对比度。
根据一些实施例，确定图形覆盖的位置的步骤与从用于获取视频流的PTZ视频摄像机接收摇摄、倾斜和/或缩放信号关联。
图形覆盖的位置的改变可能对观察者是明显的。在由视频流描述的场景大幅度改变时仅调整图形覆盖的位置，例如在从摄像机接收PTZ信号之后，观察者可能认为对图形覆盖的位置的这种改变不太明显。
根据一些实施例，调整的步骤包括以下步骤：估计该时间段的视频流的运动等级，以及通过将动画等级降低一值来调整该时间段的视频流的图形覆盖的动画等级，其中该值是基于所估计的运动等级。
可通过任何视频运动检测(VMD)算法估计运动的等级。VMD是通过分析图像数据和一系列图像中的差异而定义场景中的活动性的方法。在其最简单的形式中，VMD可通过将一个图像中的像素值和之前图像中的对应像素的值进行比较来实施，并且对两个像素之间已经改变的像素的数值进行计数。可根据一些实施例通过分析之前时间段(例如上一秒)的视频流来实施移动等级的估计且假设当前时间段的视频流的运动等级是相同的。
通过降低图形覆盖的动画等级，因视频流描绘的场景的移动而升高的比特率可被中和。例如，如上面描述的，通过改变动画等级使得图形覆盖仅在使用内部帧(I-帧)的要被编码的视频流的帧中是动画的(即运动的/旋转的/转移的)，可降低要求的比特率。此外，基于估计的运动等级，通过降低动画等级，图形覆盖的动画可仅降低至为了满足上阈限的程度。
根据一些实施例，调整的步骤包括以下步骤：确定与图形覆盖的当前位置对应的区域的色彩构成，并且基于所确定的色彩构成调整图形覆盖的色彩构成，使得图形覆盖和区域之间的对比度值被降低。
图形覆盖的位置改变对观察者可能非常明显，并且通过不移动图形覆盖但代之以仅调整色彩构成以匹配其当前位置处的图形覆盖的背景，观察者可能认为对为了满足上阈限比特率的图形覆盖的属性的调整不太明显。
根据一些实施例，方法进一步包括以下步骤：将该时间段的视频流和图形覆盖编码成单一编码比特流，并且传输单一编码比特流。通过将视频流和图形覆盖编码成单一比特流，可实现用于传输视频流和图形覆盖的降低的比特率。
在第二方面，本发明提供计算机程序产品，包括具有指令的计算机可读存储介质，指令在由具有处理能力的设备执行时，适于执行根据第一方面的方法。
在第三方面，本发明提供一种视频流处理设备，包括：存储器，被配置成存储用于传输包括一时间段的视频流和图形覆盖的单一编码比特流的上阈限比特率；比特率估计模块，被配置成计算用于传输包括该时间段的视频流和图形覆盖的编码比特流的估计比特率；图形覆盖处理模块，被配置成确定估计比特率是否超过上阈限值，以及如果估计比特率超过上阈限值，则基于由该时间段的视频流描绘的场景调整图形覆盖的位置、动画等级和色彩构成中的至少一个，使得用于传输包括该时间段的视频流和位于所调整的位置处具有所调整的动画等级和/或具有所调整的色彩构成的图形覆盖的编码比特流的比特率降至上阈限值之下；图形覆盖插入模块，被配置成在该时间段的视频流期间的视频流上插入图形覆盖。
视频处理设备可有利地是数字视频摄像机的一部分，其中该时间段的视频流由数字视频摄像机获取。这减少了对连接到视频摄像机的其它电子设备的需求，并且例如针对组装原因以及减少用于安装视频处理设备和摄像机的需求空间是有利的。
应注意的是，视频流处理设备可配置用于实施上面描述的第一方面的任何实施例。
在第四方面，本发明提供一种系统，包括视频流处理设备，包括：存储器，被配置成存储用于传输包括一时间段的视频流和图形覆盖的单一编码比特流的上阈限比特率；比特率估计模块，被配置成计算用于传输包括该时间段的视频流和图形覆盖的编码比特流的估计比特率；图形覆盖处理模块，被配置成确定估计比特率是否超过上阈限值，以及如果估计比特率超过上阈限值，则基于由该时间段的视频流期间描绘的场景调整图形覆盖的位置、动画等级和色彩构成中的至少一个，使得用于传输包括该时间段的视频流和位于所调整的位置处具有所调整的动画等级和/或具有所调整的色彩构成的图形覆盖的编码比特流的比特率降至上阈限值之下。视频流处理设备进一步包括图形覆盖插入模块，被配置成在该时间段的视频流期间的视频流上插入图形覆盖。
系统进一步包括编码器、第一数字网络模块、第二数字网络模块和解码器，编码器被配置成将该时间段的视频流和图形覆盖编码成单一编码比特流，第一数字网络模块被配置成经由数字网络传输单一编码比特流，第二数字网络模块被配置成经由数字网络接收单一编码比特流，解码器被配置成将单一编码比特流解码成包括该时间段的图形覆盖的视频流。系统进一步包括客户端，客户端包括显示器，显示器被配置成显示包括该时间段的图形覆盖的视频流。
通常，第二、第三和第四方面可具有与第一方面相同的特征和优势。
附图说明
参照所附附图，通过下面本发明的实施例的说明性且非限制性的详细描述，将更好地理解上面以及本发明的其它目的、特征和优势，其中相同的附图标记将用于相似的元件，其中：
图1通过示例示出来自其上插有图形覆盖的视频流的场景，
图2示出图1的场景，其中图形覆盖已经被移动，以降低图形覆盖和视频流的场景之间的对比度，
图3示出图1的场景，其中为了降低图形覆盖和视频流的场景之间的对比度，已经改变了图形覆盖的色彩构成，
图4示出图1的场景，其中图形覆盖已经移动到两个预定位置中的一个预定位置，且为了降低图形覆盖和视频流的场景之间的对比度，已经改变了此处的图形覆盖的色彩构成，
图5示出图1的场景，其中图形覆盖已经被移动，以覆盖视频流的场景的高对比度部分，
图6示出图1的包括移动物体的场景，其中图形覆盖的动画等级基于视频流的场景的运动等级改变，
图7通过示例描述用于在一时间段的视频流上插入图形覆盖的方法，
图8示意性地描述视频流处理设备，
图9示意性地描述包括图8的视频流处理设备以及用于显示包括图形覆盖的视频流的显示器的系统，
图10示出运行中的图9的系统。
具体实施方式
图1-图6示出在一时间段视频流上在确定的位置处插入具有确定的动画等级和/或具有确定的色彩构成的图形覆盖102的不同可能性。图1-图6的每个图示出该时间段视频流的快照以及确定的图形覆盖102的属性。
图1示出由摄像机(例如监控摄像机)获取的视频流中描绘的典型场景。该场景包括具有不同色彩构成的区域，例如天空106的色彩构成不同于地面108的色彩构成。而且，该场景包括感兴趣的物体112，例如人112。此外，该场景包括高对比度物体104，例如包括不同颜色的树叶、树干、树枝的树以及透过区域。在这个场景上，放置图形覆盖102。在该例子中，图形覆盖是标识，但诸如时钟的表示、或风信标等其它类型的图形覆盖同样是可能的。在图1中示出的情况中，图形覆盖102和其上放置图形覆盖102的区域108之间的对比度是大的。这意味着，与仅包括视频流的编码比特流相比，或者与其中调整了图形覆盖属性使得场景和图像覆盖之间的对比度降低的编码比特流相比，作为结果的包括描绘图1的场景的视频流和图形覆盖两者的编码比特流将需要更大的比特率。
在图2中，为了降低图形覆盖102和其上放置图形覆盖102的区域110之间的对比度，已经调整了图形覆盖102的位置。在图2的情景中，图形覆盖的色彩构成被保持。为了调整图形覆盖102的位置，已经确定场景中多个区域104、106、108、110、114中的每一个区域的对比度值，并且已经基于这些对比度值调整图形覆盖102的位置。此外，也已经确定多个区域的色彩构成，并且图形覆盖102被定位在具有与图形覆盖102的色彩构成相似的色彩构成的低对比度区域110中。因此，与传送包括图1中示出的情景的编码比特流相比，用于传送包括图2中示出的情景的编码比特流的比特率将更低。
在图3中，图形覆盖102被放置在与图1中的位置相同的位置。因为确定图3中位于图形覆盖102的位置附近的区域108的对比度值是低的，因此这对于图形覆盖可能是个好位置。确定位于图形覆盖102附近和后面的区域108的区域色彩构成，即对应于图形覆盖102的位置的区域。最后，为了降低要求的比特率，调整图形覆盖102的色彩构成,以与其上放置图形覆盖102的区域108的色彩构成类似。如上面论述的，因为区域108的对比度值被确定是低的，因此图形覆盖的色彩构成的这种改变可导致图形覆盖102和区域108之间的低对比度以及因此导致最终降低的比特率。不移动图形覆盖102而调整图形覆盖102的色彩构成的优势在于图形覆盖102的属性的这种类型的改变可被认为不会引起观察者的注意。
根据一些实施例，图形覆盖应仅放置在多个预定位置中的一个预定位置处。这在图4中被示出，其中图形覆盖102的调整位置是多个预定位置402、404中的一个位置。如果图形覆盖102放置在观察者感兴趣的区域上(例如在人112上)可能是不利的。例如，多个预定位置402、404中的每一个预定位置可定位在由视频流描绘的场景的角落。根据其它实施例，多个预定位置中的每一个预定位置可沿着由视频流描绘的场景的边缘定位。而且，在摄像机捕获场景期间，预定位置可变化。例如，如果感兴趣的物体112正向多个预定位置中的一个预定位置移动，则该预定位置可在某时间段(例如当感兴趣的物体112在预定位置附近时)从图形覆盖的位置的可能选择中被移除。
根据一些实施例，在将视频流和图形覆盖102编码到单个编码比特流中时，预定位置402、404中的每一个预定位置对应于将图形覆盖102放置在宏块或多个宏块内。因为比特率被降低，因此这可能是有利的。而且，通过将图形覆盖放置在宏块或多个宏块内，更容易设置有利的量化参数(QP)值，使得在不提高要求的比特率的情况下，达到编码视频的更高质量。更低的QP将导致更好的视频质量，但要求更高的比特率。更高的QP将导致更低的视频质量、更多的压缩和更低的比特率。
在图4中，存在两个预定位置402、404。因为与场景的左上角中的预定位置404相比，确定场景的右上角中的预定位置402具有更低的对比度值，因此如上面论述的，右上侧位置402是有利的。而且，因为对应于预定位置402的区域的区域色彩构成被确定为不同于图形覆盖102的原始色彩构成(如图1中所示)，因此如结合图3论述的，基于确定的区域色彩构成来调整图形覆盖102的色彩构成。
在一些场景中，存在具有高对比度值的区域，其可能不是观察者感兴趣的区域。在图5中，这种区域由树104的顶部表示。该区域通过确定由该时间段视频流描绘的场景中的多个区域中的每一个区域的对比度值以及可能将这些区域与感兴趣的区域112和/或诸如结合图4论述的区域的任何预定位置比较来确定。具有高对比度值的这种不感兴趣的区域可能对比特率做出了不必要的高程度的贡献。通过将图形覆盖102放置在树104的顶部，该高对比度区域可能无需被编码，因为其被图形覆盖102所覆盖。因此，可降低最终的比特率。
图2-图5均涉及图形覆盖102的位置调整和/或图形覆盖的色彩构成的调整。如上面论述的，图形覆盖102可以是动画。这种动画图形覆盖对最终比特率的贡献可能是相当大的。为了降低最终比特率，可停止这种动画，或至少放慢这种动画,即可选择较低的动画等级。这是一种降低所有类型的情景的最终比特率的适当方式。然而，在图6中，响应于由视频流描绘的场景中升高的运动等级，由箭头602表示的图形覆盖的动画等级602被降低。场景中这种升高的运动等级通常导致增加的用于编码视频流的比特率，并且通过降低图形覆盖102的动画等级602，最终比特率可被保持在上阈限比特率或低于上阈限比特率。在图6中，升高的运动等级是飞过的飞机602导致的。在视频流处理设备(例如用于获取描绘图6中示出的场景的视频流的数字视频摄像机)检测到场景已经改变时，例如通过确定当前帧(其中飞机602正进入场景)和之前时间段的视频流中的帧(在飞机还未进入场景时)之间的差异程度，可确定图形覆盖的新动画等级。首先，视频处理设备计算视频流的估计运动等级。其次，图形覆盖102的动画等级602被调整(即降低)一降低值。该降低值可以是根据实施例基于估计的运动等级，其意味着如果估计等级是高的，则图形覆盖102的动画等级602相比于如果估计的运动等级是低的而被降低更多。
图7通过示例描述用于在一时间段的视频流期间的视频流上插入图形覆盖的方法700。该方法中的第一步是提供S702用于传输包括该时间段的视频流和图形覆盖的单一编码比特流的上阈限比特率的步骤。上阈限比特率可以是在实现图7中描述的方法的视频处理设备中的硬编码值，或它可以是由用户提供的值。此外或可替代的，上阈限比特率可取决于视频处理设备连接到用于显示视频流的客户端所使用的数字网络的连接速度，即在该连接中可用的比特率。
下一个步骤是计算S704用于传输包括该时间段的视频流和图形覆盖的编码比特流的估计比特率的步骤。该计算因此估计如果图形覆盖的属性照原来的样子被保留则比特率将是什么。该估计可使用为了传输之前时段(例如在之前时段内包括图形覆盖的上一秒或上五秒)的视频流而要求的比特率进行。该估计还可使用之前时间段的视频流中的帧的图像统计、视频流中的之前帧的图像统计和/或视频流的当前帧的图像统计进行，即确定图形覆盖的属性所针对的时间段的起始帧。
下一个步骤是确定S705估计比特率是否超过上阈限值的步骤。所以，确定是否为了降低比特率，需要调整图形覆盖的属性。
如果需要进行属性的调整，则下一个步骤包括基于由该时段的视频流描绘的场景调整S706图形覆盖的位置、动画等级和色彩构成中的至少一个，使得用于传输包括时间段的视频流和位于所调整的位置处具有调整的动画等级和/或具有调整的色彩构成的图形覆盖的编码比特流的比特率降至上阈限值之下。
无论图形覆盖的属性是否需要调整，下一个步骤都包括在该时间段的视频流期间的视频流上插入S708。
根据一些实施例，该方法进一步包括将该时间段的视频流和图形覆盖编码S710到单一编码比特流中的步骤以及传输S712该单一编码比特流的步骤。
另外，根据一些实施例，在图形覆盖被插入到视频流上之后，并且可能在视频流和图形覆盖被编码S710到单一编码比特流中的同时，该方法包括确定S701下一个时间段视频流的起始帧的步骤。这可通过检查是否已经满足以下条件中的至少一个条件进行：
●计算从计算用于传输包括该时间段的视频流和图形覆盖的编码比特流的估计比特率所针对的之前时间段的视频流的起始帧开始的帧数，并且确定计算的帧数是否大于阈限值，
●从用于获取视频流的PTZ视频摄像机接收摇摄、倾斜和/或变焦(PTZ)信号，
●通过执行当前帧和计算用于传输包括该时间段的视频流和图形覆盖的编码比特流的估计比特率所针对的之前时间段的视频流中的一帧之间的块匹配操作，来确定当前帧和该之前时间段的帧之间的差异程度，并且确定该差异程度是否大于阈限值。
例如，如果从确定S705估计比特率是否超过上阈限值以后，视频流中的某些帧已经流过，和/或如果PTZ信号已经被收到，和/或如果视频流中帧的内容已在某种程度上改变，则步骤S702、S704和S705被再次执行，以查看是否可能需要图形覆盖的属性的任何调整S706。
图8根据实施例描述视频流处理设备800。设备800包括存储器802，存储器802被配置成存储用于传输包括一时间段的视频流和图形覆盖的单一编码比特流的上阈限比特率。设备800进一步包括比特率估计模块804，比特率估计模块804被配置成计算用于传输包括该时间段的视频流和图形覆盖的编码比特流的估计比特率。设备800还包括图形覆盖处理模块806，图形覆盖处理模块806被配置成确定估计比特率是否超过上阈限值，并且如果估计比特率超过上阈限值，则基于由该时间段的视频流描绘的场景调整图形覆盖的位置、动画等级和色彩构成中的至少一个，使得用于传输包括该时间段的视频流以及位于所调整的位置处具有调整的动画等级和/或具有调整的色彩构成的图形覆盖的编码比特流的比特率降至上阈限值之下。设备800还包括图形覆盖插入模块808，图形覆盖插入模块808被配置成在该时间段的视频流期间的视频流上插入图形覆盖。比特率估计模块804、图形覆盖处理模块806和图形覆盖插入模块808可以以软件实现，并且可由视频流处理设备800中的至少一个处理器执行，例如由视频流处理设备800的中央处理单元(CPU)和/或图形处理单元(GPU)执行。
图9描述包括图8中描述的视频流处理设备800的视频系统900。该时间段的视频流914和图形覆盖102从视频流处理设备800传送到编码器902，编码器902被配置成将该时间段的视频流914和图形覆盖102编码到单一编码比特流913中。编码器可以以软件实现以及可以由处理器执行。应注意的是，编码器可以是视频流处理设备800的一部分或在独立的设备中实现。随后，单一编码比特流913被传输到第一数字网络模块904，第一数字网络模块904被配置成经由数字网络912传输单一编码比特流913。数字网络模块904可以是视频流处理设备800或编码器902的一部分，或在独立的设备中实现。
单一编码比特流913经由数字网络912由第二数字网络模块906接收。解码器908被配置成将单一编码比特流解码成一时间段的包括图形覆盖的视频流。系统进一步包括客户端905，客户端905包括被配置成显示该时间段的包括图形覆盖的视频流的显示器910。根据实施例，客户端905包括数字网络模块906和解码器908。
图10描述运行中的系统900。视频处理设备800以及数字网络模块(未示出)和编码器(未示出)是用于获取场景1004的视频流的数字视频摄像机1002的部分。单一编码比特流913经由数字网络模块和数字网络912被传输到客户端905。该客户端包括显示器910和进一步的解码器(未示出)以及数字网络模块(未示出)。显示的视频流包括图形覆盖102，图形覆盖102在该具体示例中被放置在具有低对比度区域的右上角。而且，图形覆盖102的色彩构成已经被调整得与其所放置的区域的色彩构成相似。
总之，公开的实施例大体涉及视频通信系统，且更具体地涉及用于调整视频流的图形覆盖的属性的方法和设备，调整的属性是图形覆盖的位置、动画等级和色彩构成中的至少一个，且该调整基于由该时间段的视频流描绘的场景。如果用于传输包括该时间段的视频流和图形覆盖的编码比特流的估计比特率超过用于传输包括该时间段的视频流和图形覆盖的单一编码比特流的预定上阈限比特率，则执行该调整。

Claims (13)

1.一种用于在一时间段的视频流(914)期间的视频流上插入图形覆盖(102)的方法(700)，包括以下步骤：
提供(S702)用于传输包括所述时间段的视频流期间的所述视频流和所述图形覆盖的单一编码比特流(913)的上阈限比特率，
基于由所述时间段的视频流期间的所述视频流描绘的场景(1004)，调整(S706)所述图形覆盖的位置、动画等级(602)和色彩构成中的至少一个，使得用于传输包括所述时间段的视频流期间的所述视频流以及位于所调整的位置处具有所调整的动画等级和/或具有所调整的色彩构成的所述图形覆盖的编码比特流的比特率降至所述上阈限比特率以下，
在所述时间段的视频流期间的所述视频流上插入(S708)所述图形覆盖。
2.根据权利要求1所述的方法，进一步包括以下步骤：
使用一个或多个画面组GOP结构来编码所述时间段的视频流期间的视频流，每个GOP结构包括内部帧以及随后的多个帧间帧，其中所述时间段的视频流期间的视频流中的起始帧与所述一个或多个GOP结构外部的第一GOP结构中的内部帧一致。
3.根据权利要求1所述的方法，其中所调整的所述图形覆盖的位置是多个预定位置(402、404)中的一个预定位置。
4.根据权利要求1所述的方法，其中调整(S706)的步骤包括以下步骤：
确定由所述时间段的视频流期间的视频流描绘的所述场景(1004)中的多个区域(106、108、110、114)中的每一个区域的对比度值，
基于所确定的对比度值调整所述图形覆盖的位置。
5.根据权利要求4所述的方法，其中如果与所确定的所述图形覆盖的位置相对应的对比度值低于阈限值，则调整(S706)的步骤进一步包括以下步骤：
确定与所确定的所述图形覆盖的位置相对应的所述区域的色彩构成；
基于所确定的所述区域的色彩构成，调整所述图形覆盖的色彩构成，使得所述图形覆盖与所述区域之间的对比度值降低。
6.根据权利要求1所述的方法，其中调整(S706)的步骤包括以下步骤：
确定由所述时间段的视频流期间的视频流描绘的所述场景(1004)中的多个区域(106、108、110、114)中的每一个区域的色彩构成，
通过比较所确定的色彩构成和所述图形覆盖的色彩构成来调整所述图形覆盖的位置。
7.根据权利要求3所述的方法，其中调整(S706)所述图形覆盖的位置的步骤与从用于获取视频流的PTZ视频摄像机接收摇摄、倾斜和/或变焦信号相关联。
8.根据权利要求1所述的方法，其中调整(S706)的步骤包括以下步骤：
估计所述时间段的视频流期间的视频流的运动等级，
通过将动画等级降低一值，来针对所述时间段的视频流期间的视频流调整所述图形覆盖的动画等级，其中所述值基于所估计的运动等级。
9.根据权利要求1所述的方法，其中调整(S706)的步骤包括以下步骤：
确定与所述图形覆盖的当前位置相对应的区域的色彩构成，
基于所确定的色彩构成调整所述图形覆盖的色彩构成，使得所述图形覆盖与所述区域之间的对比度值被降低。
10.一种计算机可读存储介质，包括指令，所述指令适合于在由具有处理能力的设备执行时执行权利要求1-9中任一项所述的方法。
11.一种视频流处理设备(800)，包括：
图形覆盖插入模块(808)，被配置成在一时间段的视频流期间的视频流上插入(S708)图形覆盖，
其特征在于：
存储器(802)，被配置成存储用于传输包括一时间段的视频流(914)期间的所述视频流和图形覆盖(102)的单一编码比特流(913)的上阈限比特率，
图形覆盖处理模块(806)，被配置成基于由所述时间段的视频流期间的视频流描绘的场景(1004)调整所述图形覆盖的位置、动画等级(602)和色彩构成中的至少一个，使得用于传输包括所述时间段的视频流期间的视频流以及位于所调整的位置处具有所调整的动画等级和/或具有所调整的色彩构成的所述图形覆盖的编码比特流的比特率降至所述上阈限比特率以下。
12.根据权利要求11所述的视频流处理设备，其作为数字视频摄像机(1002)，其中所述时间段的视频流期间的视频流由所述数字视频摄像机获取。
13.一种用于处理并且显示包括图形覆盖的视频流的系统，包括：
视频流处理设备(800)，包括：
图形覆盖插入模块(808)，被配置成在一时间段的视频流期间的视频流上插入(S708)图形覆盖；
编码器(902)，被配置成将所述时间段的视频流期间的所述视频流和所述图形覆盖编码到单一编码比特流(913)中；
第一数字网络模块(904)，被配置成经由数字网络(912)传输所述单一编码比特流；和
第二数字网络模块(906)，被配置成经由所述数字网络接收所述单一编码比特流；
解码器(908)，被配置成将所述单一编码比特流解码成一时间段的包括图形覆盖的视频流期间的视频流，以及
客户端(905)，包括：
显示器(910)，被配置成显示所述时间段的包括所述图形覆盖的视频流期间的视频流，
其特征在于所述视频流处理设备进一步包括：
存储器(802)，被配置成存储用于传输包括所述时间段的视频流(914)期间的视频流和所述图形覆盖(102)的编码的单一比特流(913)的上阈限比特率，和
图形覆盖处理模块(806)，被配置成基于由所述时间段的视频流期间的视频流描绘的场景(1004)调整所述图形覆盖的位置、动画的等级(602)和色彩构成中的至少一个，使得用于传输包括所述时间段的视频流期间的所述视频流以及位于所调整的位置处具有所调整的动画等级和/或具有所调整的色彩构成的所述图形覆盖的编码比特流的比特率降至所述上阈限比特率以下。
CN201510881547.1A 2014-12-04 2015-12-03 用于确定视频流的图形覆盖的属性的方法和设备 Active CN105681870B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14196225.8 2014-12-04
EP14196225.8A EP3029943B1 (en) 2014-12-04 2014-12-04 Method and device for determining properties of a graphical overlay for a video stream

Publications (2)

Publication Number Publication Date
CN105681870A CN105681870A (zh) 2016-06-15
CN105681870B true CN105681870B (zh) 2018-08-28

Family

ID=52006885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510881547.1A Active CN105681870B (zh) 2014-12-04 2015-12-03 用于确定视频流的图形覆盖的属性的方法和设备

Country Status (3)

Country Link
US (1) US10142664B2 (zh)
EP (1) EP3029943B1 (zh)
CN (1) CN105681870B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102315524B1 (ko) * 2017-06-16 2021-10-21 한화테크윈 주식회사 영상의 비트레이트 조절 방법 및 영상 획득 장치
US10625163B1 (en) * 2019-08-09 2020-04-21 Cardboard Live, Inc. Method and system for supplementing a video stream of a fantasy card videogame
CN112533041A (zh) * 2019-09-19 2021-03-19 百度在线网络技术（北京）有限公司 视频播放方法、装置、电子设备和可读存储介质
EP4002346A1 (en) * 2020-11-12 2022-05-25 Micledi Microdisplays BV Video pipeline system and method for improved color perception
EP4373102A1 (en) * 2022-11-18 2024-05-22 Axis AB Encoding aware overlay format
EP4387236A1 (en) * 2022-12-16 2024-06-19 Axis AB Method and image-processing device for adding an overlay to a video sequence

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1672166A (zh) * 2002-07-29 2005-09-21 高通股份有限公司 数字图像编码
CN1745373A (zh) * 2003-08-01 2006-03-08 微软公司 使用－色彩信息数据结构来处理图像信息的策略
US8483389B1 (en) * 2007-09-07 2013-07-09 Zenverge, Inc. Graphics overlay system for multiple displays using compressed video

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2200121A1 (en) 1996-05-02 1997-11-02 John Charles Mitchell Compressed domain video text overlay for multimedia communication systems
US7206029B2 (en) 2000-12-15 2007-04-17 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on video content analysis
CN101061721B (zh) 2005-06-07 2010-05-26 松下电器产业株式会社 监视系统、监视方法及摄像机终端
US20080204471A1 (en) * 2006-10-27 2008-08-28 Jaeger Brian J Systems and methods for improving image clarity and image content comprehension
JP2008259073A (ja) 2007-04-06 2008-10-23 Victor Co Of Japan Ltd 画像処理装置
US8890874B2 (en) * 2007-12-14 2014-11-18 Microsoft Corporation Changing visual content communication
US8311101B2 (en) * 2008-02-28 2012-11-13 Lsi Corporation Rate control for real time transcoding of subtitles for application with limited memory
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8094234B2 (en) 2008-10-14 2012-01-10 Texas Instruments Incorporated System and method for multistage frame rate conversion
EP2230839A1 (en) 2009-03-17 2010-09-22 Koninklijke Philips Electronics N.V. Presentation of video content
US20100312608A1 (en) * 2009-06-05 2010-12-09 Microsoft Corporation Content advertisements for video
US9161030B1 (en) * 2009-09-07 2015-10-13 Freescale Semiconductor, Inc. Graphics overlay system for multiple displays using compressed video
US8914534B2 (en) * 2011-01-05 2014-12-16 Sonic Ip, Inc. Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
CN103404153A (zh) * 2011-08-04 2013-11-20 索尼公司 发送装置、发送方法以及接收装置
JP5875463B2 (ja) * 2012-05-21 2016-03-02 キヤノン株式会社 撮像装置、マスク画像設定方法、および、プログラム
US9183163B2 (en) * 2012-06-27 2015-11-10 Ubiquiti Networks, Inc. Method and apparatus for distributed control of an interfacing-device network
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
US20160142746A1 (en) * 2014-11-14 2016-05-19 Thales Avionics, Inc. Method of encrypting, streaming, and displaying video content using selective encryption

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1672166A (zh) * 2002-07-29 2005-09-21 高通股份有限公司 数字图像编码
CN1745373A (zh) * 2003-08-01 2006-03-08 微软公司 使用－色彩信息数据结构来处理图像信息的策略
US8483389B1 (en) * 2007-09-07 2013-07-09 Zenverge, Inc. Graphics overlay system for multiple displays using compressed video

Also Published As

Publication number Publication date
US20160165271A1 (en) 2016-06-09
CN105681870A (zh) 2016-06-15
EP3029943A1 (en) 2016-06-08
EP3029943B1 (en) 2018-01-31
US10142664B2 (en) 2018-11-27

Similar Documents

Publication Publication Date Title
CN105681870B (zh) 用于确定视频流的图形覆盖的属性的方法和设备
US10721471B2 (en) Deep learning based quantization parameter estimation for video encoding
US9805287B2 (en) Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
US10277901B2 (en) Encoding a video stream having a privacy mask
US9729818B2 (en) Adaptive post-processing for mobile video calling system
CN105472205B (zh) 编码过程中的实时视频降噪方法和装置
US10027966B2 (en) Apparatus and method for compressing pictures with ROI-dependent compression parameters
US11818502B2 (en) Systems and methods for perspective shifting in video conferencing session
JP2018201189A5 (zh)
US20140362918A1 (en) Tuning video compression for high frame rate and variable frame rate capture
US10354394B2 (en) Dynamic adjustment of frame rate conversion settings
US9369706B1 (en) Method and apparatus for encoding video using granular downsampling of frame resolution
CN113170234A (zh) 多向视频的自适应编码和流式传输
US9723315B2 (en) Frame encoding selection based on frame similarities and visual quality and interests
WO2017176400A1 (en) Method and system of video coding using an image data correction mask
EP3821597A1 (en) Method and apparatus for virtual reality content stitching control with network based media processing
US9640225B2 (en) Apparatus and method for processing images
US20140002742A1 (en) Method for reframing images of a video sequence, and apparatus for reframing images of a video sequence
EP1527613B1 (en) Method and apparatus for encoding a digital video signal
CN102106148A (zh) 通过选择性保留相关的视觉细节以高效视频压缩的系统和方法
US8768073B2 (en) Method, system and computer program product for coding a region of interest within an image of multiple views
US10536702B1 (en) Adjusting the image of an object to search for during video encoding due to changes in appearance caused by camera movement
CN105681738B (zh) 用于在视频流中插入图形覆盖的方法和设备
Kim et al. A content-aware video encoding scheme based on single-pass consistent quality control
US20150341654A1 (en) Video coding system with efficient processing of zooming transitions in video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant