CN103262528A - 视频流呈现系统与协议 - Google Patents
视频流呈现系统与协议 Download PDFInfo
- Publication number
- CN103262528A CN103262528A CN2011800593389A CN201180059338A CN103262528A CN 103262528 A CN103262528 A CN 103262528A CN 2011800593389 A CN2011800593389 A CN 2011800593389A CN 201180059338 A CN201180059338 A CN 201180059338A CN 103262528 A CN103262528 A CN 103262528A
- Authority
- CN
- China
- Prior art keywords
- video
- layout
- decoder
- labeled
- video sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000002860 competitive effect Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 18
- 238000003860 storage Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000003068 static effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010027476 Metastases Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
- H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
揭示了用于将一个或多个视频序列嵌入到背景图像中的视频场景组合系统和协议的技术。所述协议能使一种视频流呈现系统（比如IPTV）将下列过程自动化：通过一个或多个解码器，将视频序列内容和非背景信息（比如证券报价、隐式字幕、或日期/时间信息）嵌入到背景中。
Description
相关申请的交叉引用
本申请要求在2010年12月10日提交的美国临时申请61/421,918的优先权，其全部内容通过引用结合于此。
技术领域
本申请涉及电视(TV)节目制作。更具体地讲，本申请涉及将一个或多个视频序列嵌入到静态背景图像中的视频场景组合。
背景技术
与本申请相关的主题可以在下列共同待批的专利申请中找到：美国专利申请12/971,650，2010年12月17日提交，题为“System And Method For InteractiveSynchronized Video Watching（用于交互式同步视频观看的系统和方法）”；以及美国专利申请12/765,793，2010年4月22日提交，题为“Systems,Methods andComputer Readable Media for Instant Multi-Channel Video Content Browsing inDigital Video Distribution Systems（用于在数字视频分发系统中即时多频道视频内容浏览的系统、方法和计算机可读介质）”，其全部内容通过引用结合于此。
按照传统，在被称为“视频混合器”的设备中，执行TV制作中的静态图像与视频内容的混合。Mike Krin的题为“The Panel Is In:An Operator’s Viewof the Ideal User Interface（面板正在流行：理想用户界面的操作者视角）”的文章（视频系统杂志，1995年4月，也可在http://www.nonlinear.info/krim.htm上获得）包含关于将视频内容插入背景中的用户界面的描述，并且提倡使用基于视频切换器面板的复杂、昂贵（数万美元）且非直观的（至少对于初始用户而言）用户界面来用于插入过程。今天，这种设备的使用在工作室中仍然很普遍。这些工具可以按实时的设置进行工作，即在实况TV制作中进行工作。
视频剪切软件（比如Adobe Premiere）也允许将视频材料插入到背景中。然而，这种软件并不允许实时的操作。
背景技术系统（包括上述两种）的共同点在于，来自静态图像和视频序列图像的像素的组合不是在解码器处执行的，而是在分发链的制作端即在已组合的视频序列的编码之前执行的。
发明内容
揭示了用于将一个或多个视频序列嵌入到背景图像中的视频场景组合的系统和协议的技术。所述协议能使一种视频流呈现系统将下列过程自动化：通过一个或多个解码器，将视频序列和非背景信息（比如证券报价、隐式字幕、或日期/时间信息）嵌入到背景中。
某些实施例利用“背景图像”，这种“背景图像”在一些实施例中是计算机可读图像，其分辨率足够高以允许在TV屏幕上再现。TV制片人可以标记所述背景图像的区域，其中，视频序列或证券报价信息将要被显示在这些区域中。制片人还可以包括与视频序列有关的信息。这些活动中的任何都可以产生一种“布局”。通过使用颜色、图片数据中的阿尔法信道信息、或任何其它形式的基于像素的机器可解读的信息表示，可以执行所述标记。例如，使用文件转移机制，可以将这种布局上传到一应用程序服务器。在视频制作时，例如，制片人可以从所述应用程序服务器请求所述布局。例如，制片人控制台可以指示可伸缩视频编码开关(SVCS)或其它数字视频源以使要被嵌入所述布局中的视频流向一个或多个解码器，并且也可以将所述布局分发到所述一个或多个解码器。这些解码器可以在视频输出上渲染（render）具有已嵌入的视频的布局。
附图说明
图1是示出了根据本发明一实施例的示例性视频流呈现系统的框图。
图2是根据本发明一实施例而产生的用户屏幕的示例性截屏。
图3是根据本发明一实施例的示例性布局的示例。
图4是根据本发明一实施例的示例性活动和消息排序图。
图5是根据本发明一实施例的示例性的制片人控制台的截屏。
图6是概述了根据本发明一实施例的示例性上传过程的流程图。
图7是用于与本发明的示例性实施例一起使用的计算机系统。
在所有附图中，除非特别说明，相同的附图标记和字符被用来表示所说明的实施例的相同特征、元件、组件或部分。此外，当现在将参考附图详细地描述所公开的主题时，结合说明性实施例来完成该描述。
具体实施方式
图1描绘了根据本发明一实施例的示例性视频流呈现系统的布局。制片人101操作制片人控制台，所述制片人控制台可能采用PC102的形式，所述PC102具有高分辨率显示器103以及其它常见的I/O设备（比如键盘、鼠标、扬声器、麦克风（未示出））。所述制片人控制台可以要求程序按下列方式来操作，并且这种程序可以被存储在计算机可读介质104上。所述制片人控制台可以被连接到合适的网络105（比如互联网或专用IP网络）。
应用程序服务器106也可以连接到所述网络105。所述应用程序服务器106可以是实体的服务器或虚拟的服务器，并且可以调用程序，所述程序可以被存储到计算机可读介质107上。所述应用程序服务器106可以被（直接或通过所述网络105）连接，或者可以包括数据库108，所述数据库108用于视频序列、配置信息、布局（下文会定义）等信息。
至少一个SVCS109也可以连接到所述网络105，例如，共同待批的美国专利申请12/971,650中揭示了这种情况。相关的SVCS功能是：可选地在协议转换之后，通过使用用于数据传输的网络105，转发已经由所述应用程序服务器106或解码器110、111发布的命令或状态。此外，在一些实施例中，所述SVCS将（SVC-编码的）视频从视频数据库112或任何其它可访问的源（未示出）转发到一个或多个解码器110、111。SVCS109可以在实体的或虚拟的服务器上操作，并且可以调用存储在计算机可读介质113上的程序。
至少一个解码器110、111也可以连接到所述网络，所述解码器可以至少包括网络接口114、视频解码器115、背景呈现器116和渲染器117。例如，视频解码器115可以使用流协议来解码从网络接口114到达的一个或多个经适当编码的视频序列，并且可以使这些视频序列以图像序列的形式为渲染器117所用。背景呈现器116可以为渲染器117提供以像素为形式的背景图像的图像。背景呈现器116的一个示例是网页浏览器。渲染器117的示例包括视窗或X服务器的图形用户界面功能。渲染器117在比如图形接口和屏幕118等硬件的辅助下可以直接地或间接地（即通过分发系统，比如有线电视）使图像和视频可被用户119看到（图1只示出了“直接”的可用性）。
图2呈现了由本发明一实施例实现的示例性屏幕布局的用户察觉的视图。具有不同的大小、取向和位置的两个视频序列201、202被嵌入到静态背景203中，所述静态背景203可以填满整个屏幕118。也可以有一个或多个履带（crawler）204被包括在屏幕布局中。所述履带204包括通常被更新或回放的其它类型的非背景、非静态的信息，比如证券报价、体育赛事结果、隐式字幕信息、进度条以及日期/时间，但是其它非静态信息也可以被显示。
在示例性实施例中，视频序列内容201、202以及履带204被自动地插入到背景203中。为了使用本发明，所述背景可以是由操作人员（比如制片人）在艺术创作过程中准备的。所述背景的创建不受本发明约束，但是所述背景必须满足许多标准才能被用于本发明中。
图3描绘了在本发明一实施例中使用的背景。在一些实施例中，所述背景的创建过程的起点是一个计算机可读图像301，其分辨率足够高以在电视屏幕上再现时看起来赏心悦目。较佳地，所述背景采用制片预期的最终格式的原生分辨率，例如720p(1280x720)。如果所述背景采用更高或更低的分辨率，则制片人控制台可以使用本领域技术人员所知的许多缩放技术之一将所述背景缩放至原生分辨率。例如，所述背景可以是由静态图像照相机拍摄的场景、使用像Photoshop这样的工具人为创建的场景、或两者的混合。在某一实施例中，制片人标记了区域302、303、304，视频序列和/或履带将要以合适的格式被呈现到这些区域中。
在本发明的同一或另一实施例中，标记可以是至少一种颜色的使用，在颜色空间中以像素值来表达。在图3中，颜色信息被不同的填充图案替换了。
在同一或另一实施例中，如果图像存储格式支持这种情况，则标记可以通过使用图片数据中的阿尔法信道信息来实现。
在同一或另一实施例中，被标记的区域可以包括与可随后在处理过程中被插入的视频序列有关的信息。这种信息可以是按合适的格式被编码的，比如二维条形码305。作为示例示出的是在QR代码中被编码的URL(到http://www.example.com)然而，任何其它形式的基于像素的机器可解读的信息表示也是可以使用的。通过使用许多基于互联网的代码发生器之一并且使用像Photoshop这样的工具将所得的图像插入被标记的区域中，本领域技术人员就可以很容易地以QR代码或相似的格式来创建信息。
因此，带有标记的区域的背景图像被称为“布局”。
图4示出了一种示例性的消息和活动排序图，被非正式地称为本发明的同一或另一实施例中所使用的多种机制的“梯形图”。为了使用如上所述已经创建的布局，根据一个实施例，制片人可以将所述布局上传401到一应用程序服务器，例如，通过指示制片人控制台来这样做。所述上传过程可以使用一种文件转移机制，比如FTP。所述应用程序服务器可以将所述布局保存402到数据库中，以便将来参考。所述上传过程可以进一步包括视频窗口的坐标的提取与传输，下文会讨论。所述布局以及所述视频窗口的坐标现在就可为将来所用，并且不需要所述制片人再一次重新创建。
一旦制片人准备好使用根据本发明的布局来制作视频，则他或她可以从所述应用程序服务器中请求403布局选择。所述应用程序服务器可以用可用布局的列表来响应404，采用文字、图形、或任何其它合适的形式。制片人可以选择405用于这种会话的合适的布局，例如，通过用鼠标点击来选它，并且可以将这种选择发送406到所述应用程序服务器。有许多备选方式来实现这种机制，这将是本领域技术人员都知道的。
作为一种备选，根据本发明一实施例，所述应用程序服务器创建一网页，其中，每一个可用的布局以超级链接的方式被罗列。当点击该链接时，网页浏览器将该链接传递（例如，通过比如在web服务器中所实现的那些步骤，此处未示出）到所述应用程序服务器。通过使用所述链接中的信息，所述应用程序服务器可以标识先前上传的布局。
在本发明一实施例中，在选择布局的时候，应用程序服务器可以向所述SVCS发送407一命令，指示所选择的布局将要被使用。所述SVCS在接收到这个命令的时候，也可以向一个或多个解码器发出408一命令以使用所述布局。
短暂地回到图1，在这种处理过程中牵涉到SVCS的动机可能是下文所描述的那样。在本发明一实施例中，SVCS109可能是知道解码器110、111的数目和地址的唯一的实例，而应用程序服务器106知道SVCS109的地址但不知道由SVCS109服务的解码器。因此，SVCS109“隐藏”了解码器群体110、111的性质，不让应用程序服务器106知道。
返回图4，解码器通过从作为所述命令的一部分的源中下载所述布局，而对这种命令的接收作出反应，所述命令可能是所述应用程序服务器的数据库中的一位置或者是互联网或其它合适的网络（未示出）上任何地方的一位置。这可能牵涉到一个到所述布局所处的源的请求409，并且所述源可以用所述布局进行响应410。一旦所述布局已经被接收到，解码器可以将它渲染411到其视频输出上和/或在屏幕上显示。在同一或另一实施例中，这是通过将所述布局用作网络浏览器的背景图像来实现的，所述网页浏览器运行于解码器的用户界面上。所述布局现在可被解码器的用户看到了。
在本发明的同一或另一实施例中，在所述布局的这种传输之前、同时、或之后，制片人可以选择他或她想要嵌入到所述布局中的视频序列。这种选择过程可以具有不同的形式。
在一个实施例中，制片人可以在他/她的屏幕上具有视频序列的列表、图标、或微型浏览窗口(MBW)以及所述布局和其它信息。为了允许那种情况，制片人的视频屏幕可以具有比解码器正运行的分辨率更高的分辨率。短暂地参照图5，所描绘的是制片人的控制台501的示例性屏幕截图。所示出的是所述布局502、用于一个或多个（此处为两个）视频序列的微型浏览窗口503、504、履带505等等。制片人可以将微型浏览窗口503拖放506到所述布局的窗口（它们是经颜色编码的，在图5中是通过阴影来描绘的）之一中，由此，将所述视频序列“插入”到所述布局中了。应该理解，根据本发明，“插入”并不暗指将表示视频内容的视频比特嵌入表示背景的静态图像比特中，也并不暗指插入与视频比特有关的元数据（例外是上述条形码）。
在同一或另一实施例中，所述布局中的窗口可以被所述布局中的信息预先填充，例如，所述信息是以表示超级链接的条形码的形式被编码的，就像先前所介绍的那样。在这种情况下，制片人可以接受默认的选择，或者，可以通过将表示不同视频序列的微型浏览窗口503拖放506到所述布局中的窗口中来取而代之。
返回图4，在同一或另一实施例中，这些动作中的任一个都可能导致制片人控制台向所述应用程序服务器发送412一命令，以播放所识别的序列并以所述布局的颜色编码所指示的位置和分辨率显示所述序列，并且所述位置和分辨率是在上传401的步骤中已经被提取出的。所述应用程序服务器在接收所述命令之后通过SVCS413向解码器414发出其自己的命令，正如已经讨论的那样，所述命令包含了上述信息的至少多个部分。解码器可以使用所述信息来请求415（通过与本发明无关的机制，例如，在共同待批的美国专利申请12/765,793中有所揭示）表示所述视频序列的比特流的流传输。一旦所述流传输已经开始，所述解码器可以解码416所述视频序列的比特，并且基于所接收的信息417在为所述序列保留的窗口处渲染它们。
本发明相对于现有技术的一个区别方面是：在像素级别上视频与背景内容的“混合”发生在解码器处，而非发生在制片人控制台处。
这种机制可以按需要被运用，以填充所述布局中的所有窗口。所述流格式可以根据窗口的性质而改变。例如，在同一或另一实施例中，用于视频序列的窗口可以使用经SVC编码的视频流，而用于履带的窗口则可以使用经RFC4396编码的文本消息。
在同一或另一实施例中，解码器并不开始渲染所述布局和已经开始流传输的视频序列，直到它接收到“渲染”命令。
为了知道用于渲染命令的合适的时间，所述应用程序服务器需要知道所述解码器是否已经接收到至少初始的流传输的图片，以能够在其所有的窗口中显示有意义的信息。因此，在同一或另一实施例中，解码器可以通过SVCS向所述应用程序服务器报告何时它已经接收到用于给定窗口或用于所有窗口的这种有意义的信息。这种信息可以被用于通知所述制片人所述解码器是“开机的（up）”，意指所述制片人希望渲染的所有信息现在都正被渲染。
在同一或另一实施例中，制片人也可以发出“停止渲染”的命令。该命令如已经描述的那样被从所述应用程序服务器通过SVCS而转发到解码器，解码器在接收到该命令时停止渲染。
将布局上传到所述应用程序服务器401的步骤应该被更详细地描述。已经提到过，在该步骤中，制片人控制台从背景图像中提取视频窗口的坐标，以创建与所述布局相关联的元数据。
参照图6，在本发明的一个实施例中，视频窗口必须是完美的矩形。“完美的矩形”在本文中被定义成满足下列性质的矩形像素阵列：
1)所有的像素具有相同的给定颜色（即，相同的样本值用于所述矩形中所有的像素），或者，当使用条形码时所有的像素处于两种不同的颜色中；
2)宽度和高度是背景图像的宽度和高度的至少10%；以及
3)没有具有相同的给定颜色的像素直接邻近所述矩形。
以这种方式定义一矩形就确保了：一种遍历所述背景数据的搜索机制未发现形状不规则的或太小的区域，这种区域不适合用于视频窗口。
一种发现完美矩形的搜索机制可以按照下述概述来操作。
首先，针对给定颜色（或两种不同颜色）的像素，逐行且逐列地搜索601所述背景图像。在下文中，“给定的颜色”包括被用于标记所述矩形的颜色以及可被用于将条形码放入所述矩形中的颜色。一旦这种像素被找到，目前的行的其余部分被搜索602以寻找所述给定颜色的相邻的像素。如果给定颜色的相邻像素的数目是该行中的像素数目的至少10％，则用于视频窗口的候选者（即所述视频窗口的可能的第一行）已经被找到603。否则，所述过程按扫描顺序在下一个像素处重新开始604。
为了确定所述视频窗口的垂直尺寸，对于刚找到的行“下方”的其它行，在相同的水平位置处，检查605这些像素是否具有所述给定颜色。一旦发现不具有所述给定颜色的像素，则所述视频窗口的垂直尺寸已经被标识。
然后，检查606潜在的视频窗口是否垂直地延伸成横跨所述背景图像区域的至少10％。
最终，检查607与所标识的视频窗口相邻的所有像素都不具有所述给定颜色。如果这些像素中的一个或多个具有所述给定颜色，则并未找到完美的矩形；所标识的区域不被视为一视频窗口，并且用于搜索的过程继续下去。
所述过程继续，直到屏幕的整个区域都已经被扫描以寻找视频窗口（因为可能有不止一个）。
一旦已经找到至少一个完美的矩形，则可以执行下列步骤：
·如果有的话，条形码可以被解读608；以及
·所述视频窗口的坐标连同所述条形码（该条形码可以是统一资源标识符URI）的信息可以被置于609所找到的视频窗口的列表中。
上传610到应用程序服务器的是所述布局，它可以包括：
·背景图像的像素数据，以合适的格式（例如，包括TIFF、PNG、JPEG）被编码；以及
·视频窗口坐标和相关联的预配置内容的列表（如果有的话，如在条形码中找到的那样）。
如上所述，用于将一个或多个视频序列嵌入到背景图像中的视频场景组合方法可以使用计算机可读指令被实现成计算机软件且被物理地存储到计算机可读介质中。计算机软件可使用任何合适的计算机语言来编码。软件指令可在多种类型的计算机上执行。例如，图7示出了适合于实现本发明的实施例的计算机系统700.
图7中所示的计算机系统700的组件本质上是示例性的并且不旨在暗示关于实现本发明的实施例的计算机软件的使用范围或功能范围的任何限制。不应当将组件的配置解释为具有与在计算机系统的示例性实施例中示出的组件的任何一个或组合有关的任何依赖或要求。计算机系统700可具有包括集成电路、印刷电路板、小手持设备（例如，移动电话或PDA）、个人计算机或超级计算机的多种物理形式。
计算机系统700包括显示器732、一个或多个输入设备733（例如，小键盘、键盘、鼠标、输入笔等等）、一个或多个输出设备734（例如，扬声器）、一个或多个存储设备735、多种类型的存储介质736。
系统总线740连接各种各样的子系统。如本领域技术人员所理解的，“总线”是指服务于共同功能的多个数字信号线。系统总线740可以是包括存储器总线、外围总线和利用任何多种总线体系结构的本地总线的若干类型中任何一种的总线结构。作为示例而非限制，这种体系结构包括工业标准体系结构（ISA）总线、增强ISA（EISA）总线、微通道体系结构（MCA）总线、视频电子标准协会本地（VLB）总线、外围组件互连（PCI）总线、PCI-Express总线（PCI-X）和加速图形端口（AGP）总线。
处理器701（也称为中央处理单元或CPU）任选地包含用于临时本地存储指令、数据或计算机地址的高速缓存存储器单元702。处理器701耦合至包括存储器703的存储设备。存储器703包括随机存取存储器(RAM)704、只读存储器(ROM)705以及基本输入/输出系统(BIOS)706。如本领域已知，ROM705用作单向地向处理器701传输数据和指令，以及RAM704通常用于以双向的方式传递数据和指令。这些类型存储器都可包括以下所述的任何合适的计算机可读媒体。
固定存储708还任选地经由存储控制单元701双向耦合至处理器707。它提供附加的数据存储能力并且还可包括以下所述的任何计算机可读媒体。存储708可被用于存储操作系统709、EXEC710、数据711、应用程序712等等，并且通常为比主存储慢的次级存储介质（例如，硬盘）。应当理解，在适当的情况下，保存在存储708中的信息可按照标准方式被纳入作为存储器703中的虚拟存储器。
处理器701还耦合到诸如诸如图形控制721、视频接口722、输入接口723、输出接口724、存储接口725之类的各种接口，并且这些接口进而耦合到适当的设备。一般而言，输入/输出设备可为以下项中的任一种：视频显示器、轨迹球、鼠标、键盘、话筒、触敏显示器、换能器读卡器、磁或纸带读取器、平板、输入笔、语音或手写识别器、生物识别读取器或其他计算机。处理器701可利用网络接口730耦合至另一计算机或电信网络720。采用这种网络接口720，可预期CPU701可从网络730接收信息，或可在执行上述方法的过程中将信息输出至网络。此外，本公开的方法实施例可单独地在CPU701上执行或可在诸如互联网之类的网络730上协同远程CPU701来执行，该远程CPU1001共享该处理的一部分。
根据各个实施例，当在网络环境中时，即，当计算机系统700连接至网络730时，计算机系统700可与也连接至网络730的其他设备通信。通信可经由网络接口720向和从计算机系统700发送。例如，传入的通信，例如，来自另一设备的以一个或多个分组形式的请求或响应，可在网络接口730处从网络720接收并且可存储在存储器703的被选择的部分中用于处理。传出的通信，例如，对另一设备的仍以一个或多个分组形式的请求或响应，也可以存储在存储器703的被选择的部分中并且在网络接口730处送往网络720。处理器701可访问存储在存储器703中的这些通信分组以用于处理。
此外，本公开的实施例还涉及具有计算机可读介质的计算机存储产品，其上具有用于执行多种计算机实现的操作的计算机代码。介质和计算机代码可以那些针对本发明的目的而专门设计和构造，或它们可以是计算机软件领域的普通技术人员已知并且可获得的类型。计算机可读介质的示例包括，但不限于：诸如硬盘、软盘和磁带之类的磁介质；诸如CD-ROM和全息设备之类的光介质；诸如光盘之类的磁光介质；以及诸如专用集成电路（ASIC）、可编程逻辑器件（PLD）以及ROM和RAM设备之类的专门配置成存储和执行程序代码的硬件设备。计算机代码的示例包括例如由编译器产生的机器码，和包含由计算机利用解释器执行的更高等级代码的文件。本领域普通技术人员也应当理解，与本公开的主题有关的术语“计算机可读介质”不包含传输介质、载波或其他瞬态信号。
作为示例而非限制，具有体系结构700的计算机系统可提供作为处理器701执行具体化为诸如存储器703之类的一个或多个有形的计算机可读介质的结果的功能。实现本公开的各个实施例的软件可存储在存储器703中并且可由处理器701执行。根据特定需要，计算机可读介质可包括一个或多个存储器设备。存储器703可从诸如大容量存储器735之类的一个或多个其他计算机可读介质或经由通信接口从一个或多个其他源读取软件。软件可使得处理器701执行本文所描述的特定进程或特定进程的特定部分，包括定义存储在存储器703中的数据结构和根据软件定义的进程修改这样的数据结构。作为附加或者作为替代，计算机系统可提供作为硬连接的或以其他方式具体化在电路中的逻辑的结果的功能，该逻辑可代替软件或与软件一起操作以执行本文所述的特定进程或特定进程的特定部分。在适当的情况下，对软件的提及可涵盖逻辑，反之亦然。在适当的情况下，对计算机可读介质的提及可涵盖存储用于执行的软件的电路（例如，集成电路（IC））、具体化用于执行的逻辑的电路，或以上两种电路。本公开包括硬件和软件的任何合适组合。
上文仅说明了本发明的原理。尽管本公开内容描述了若干示例性实施例，但是存在落在所公开主题的范围内的变化、置换、和各种等价替换。由此，应当理解，本领域技术人员将能够设计多种系统和方法，虽然这些系统和方法在本文中未明确地示出或描述，但是体现本发明的原理并且由此在本发明的精神和范围内。
Claims (17)
1.一种在解码器处的视频呈现的方法，包括：
接收一布局，所述布局包括至少一个被标记的区域；
接收并解码至少一个视频序列或履带的至少一个图片；以及
通过用已接收并解码的图片来替代被标记的区域的像素，在所述解码器处渲染至少一个已接收并解码的图片。
2.如权利要求1所述的方法，其特征在于，
被标记的区域是通过阿尔法信道、颜色和纹理中的至少一个被标记的。
3.如权利要求1所述的方法，其特征在于，
被标记的区域包含与视频序列有关的信息。
4.如权利要求3所述的方法，其特征在于，
与视频序列有关的信息包括条形码。
5.如权利要求1所述的方法，其特征在于，
所述布局是从一应用程序服务器中接收的。
6.如权利要求5所述的方法，其特征在于，
所述布局是使用SVCS从所述应用程序服务器中接收的。
7.如权利要求1所述的方法，其特征在于，
所述至少一个视频序列或履带是使用SVCS而接收的。
8.如权利要求1所述的方法，其特征在于，
所述接收并解码包括：接收并解码所述履带的至少一个图片，
所述履带包括下列之中的至少一个：证券报价，体育赛事结果，隐式字幕信息，进度条，一周内的星期几，日历日期，以及一天中的时间。
9.一种非瞬时计算机可读介质，具有被编程为执行权利要求1-8之一的方法的一组指令。
10.一种用于在解码器处呈现视频的系统，所述系统包括：
解码器，被配置成：
接收一布局，所述布局包括至少一个被标记的区域；
接收并解码至少一个视频序列或履带的至少一个图片；以及
通过用已解码的图片来替代被标记的区域的像素，渲染至少一个已接收并解码的图片。
11.如权利要求10所述的系统，其特征在于，
被标记的区域是通过阿尔法信道、颜色和纹理中的至少一个被标记的。
12.如权利要求10所述的系统，其特征在于，
被标记的区域包含与视频序列有关的信息。
13.如权利要求12所述的系统，其特征在于，
与视频序列有关的信息是以条形码为形式的。
14.如权利要求10所述的系统，还包括：
与所述解码器通信的应用程序服务器，其中，所述布局是从所述应用程序服务器中获得的。
15.如权利要求10所述的系统，还包括：
与所述解码器通信的SVCS，
其中，所述解码器被进一步配置成使用所述SVCS从所述应用程序服务器中接收所述布局。
16.如权利要求10所述的系统，还包括：
与所述解码器通信的SVCS，
其中，至少一个视频序列或履带的至少一个图片是使用SVCS由所述解码器接收的。
17.如权利要求10所述的系统，其特征在于，
至少一个视频序列或履带包括至少一个履带，
其中，所述履带包括下列之中的至少一个：证券报价，体育赛事结果，隐式字幕信息，进度条，一周内的星期几，日历日期，以及一天中的时间。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US42191810P | 2010-12-10 | 2010-12-10 | |
| US61/421,918 | 2010-12-10 | ||
| PCT/US2011/062028 WO2012078368A1 (en) | 2010-12-10 | 2011-11-23 | Video stream presentation system and protocol |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103262528A true CN103262528A (zh) | 2013-08-21 |
| CN103262528B CN103262528B (zh) | 2016-03-09 |
Family
ID=46207458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180059338.9A Expired - Fee Related CN103262528B (zh) | 2010-12-10 | 2011-11-23 | 视频流呈现系统与协议 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20120177130A1 (zh) |
| EP (1) | EP2649793A4 (zh) |
| JP (1) | JP2014506036A (zh) |
| CN (1) | CN103262528B (zh) |
| AU (1) | AU2011338800B2 (zh) |
| CA (1) | CA2820461A1 (zh) |
| WO (1) | WO2012078368A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10334285B2 (en) * | 2015-02-20 | 2019-06-25 | Sony Corporation | Apparatus, system and method |
| CN109803163B (zh) * | 2017-11-16 | 2021-07-09 | 腾讯科技（深圳）有限公司 | 图像展示方法及其装置、存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010004258A1 (en) * | 1999-11-29 | 2001-06-21 | Kouji Yokouchi | Method, apparatus and recording medium for generating composite image |
| CN1324185A (zh) * | 2000-04-26 | 2001-11-28 | 朗迅科技公司 | 动态修改数字视频图像的方法和装置 |
| JP2003331274A (ja) * | 2002-05-15 | 2003-11-21 | Fuji Photo Film Co Ltd | 画像処理装置 |
| US20070101251A1 (en) * | 2005-11-02 | 2007-05-03 | Samsung Electronics Co., Ltd. | System, medium, and method automatically creating a dynamic image object |
| US20070206673A1 (en) * | 2005-12-08 | 2007-09-06 | Stephen Cipolli | Systems and methods for error resilience and random access in video communication systems |
| US20090147851A1 (en) * | 2004-11-22 | 2009-06-11 | Koninklijke Philips Electronics, N.V. | Motion vector field projection dealing with covering and uncovering |
| CN101512553A (zh) * | 2006-07-16 | 2009-08-19 | 西姆比有限公司 | 用于虚拟内容安置的系统和方法 |
| CN101595503A (zh) * | 2006-10-30 | 2009-12-02 | 索尼爱立信移动通讯股份有限公司 | 产品置入 |
| CN101849404A (zh) * | 2007-07-27 | 2010-09-29 | 拉加维林有限公司 | 便携式发送器的设备、方法、系统和用户界面 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6850252B1 (en) * | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
| JPH09121333A (ja) * | 1995-10-24 | 1997-05-06 | Hitachi Ltd | 画像伝送装置 |
| US6038031A (en) * | 1997-07-28 | 2000-03-14 | 3Dlabs, Ltd | 3D graphics object copying with reduced edge artifacts |
| JP2000050258A (ja) * | 1998-07-31 | 2000-02-18 | Toshiba Corp | 映像検索方法および映像検索装置 |
| JP2001157031A (ja) * | 1999-11-29 | 2001-06-08 | Fuji Photo Film Co Ltd | 画像合成方法および装置並びに記録媒体 |
| US20010033287A1 (en) * | 2000-01-11 | 2001-10-25 | Sun Microsystems, Inc. | Graphics system having a super-sampled sample buffer which utilizes a window ID to specify pixel characteristics |
| DE10010241C1 (de) * | 2000-03-02 | 2001-03-01 | Siemens Ag | Verfahren und Vorrichtung zum Lesen der Adressen von Sendungen |
| US6970206B1 (en) * | 2000-04-20 | 2005-11-29 | Ati International Srl | Method for deinterlacing interlaced video by a graphics processor |
| US8463912B2 (en) * | 2000-05-23 | 2013-06-11 | Media Farm, Inc. | Remote displays in mobile communication networks |
| WO2002100106A1 (en) * | 2001-05-30 | 2002-12-12 | Opentv, Inc. | On-demand interactive magazine |
| US6996173B2 (en) * | 2002-01-25 | 2006-02-07 | Microsoft Corporation | Seamless switching of scalable video bitstreams |
| US20060069616A1 (en) * | 2004-09-30 | 2006-03-30 | David Bau | Determining advertisements using user behavior information such as past navigation information |
| US7237252B2 (en) * | 2002-06-27 | 2007-06-26 | Digeo, Inc. | Method and apparatus to invoke a shopping ticker |
| US6944224B2 (en) * | 2002-08-14 | 2005-09-13 | Intervideo, Inc. | Systems and methods for selecting a macroblock mode in a video encoder |
| JP4262014B2 (ja) * | 2003-07-31 | 2009-05-13 | キヤノン株式会社 | 画像撮影装置および画像処理方法 |
| US20050154679A1 (en) * | 2004-01-08 | 2005-07-14 | Stanley Bielak | System for inserting interactive media within a presentation |
| JP4413629B2 (ja) * | 2004-01-09 | 2010-02-10 | パイオニア株式会社 | 情報表示方法、情報表示装置および情報配信表示システム |
| US20070061838A1 (en) * | 2005-09-12 | 2007-03-15 | I7 Corp | Methods and systems for displaying audience targeted information |
| US7675518B1 (en) * | 2006-09-05 | 2010-03-09 | Adobe Systems, Incorporated | System and method for generating image shadows with ray-coherent integration of extruded transparency maps |
| US20080126226A1 (en) * | 2006-11-23 | 2008-05-29 | Mirriad Limited | Process and apparatus for advertising component placement |
| CN102090069B (zh) * | 2008-06-09 | 2014-04-30 | 维德约股份有限公司 | 可缩放视频和音频通信系统中的改进视图布局管理 |
| US8488680B2 (en) * | 2008-07-30 | 2013-07-16 | Stmicroelectronics S.R.L. | Encoding and decoding methods and apparatus, signal and computer program product therefor |
| US8363721B2 (en) * | 2009-03-26 | 2013-01-29 | Cisco Technology, Inc. | Reference picture prediction for video coding |
| US20100287568A1 (en) * | 2009-05-08 | 2010-11-11 | Honeywell International Inc. | System and method for generation of integrated reports for process management and compliance |
-
2011
- 2011-11-23 AU AU2011338800A patent/AU2011338800B2/en not_active Ceased
- 2011-11-23 CA CA2820461A patent/CA2820461A1/en not_active Abandoned
- 2011-11-23 WO PCT/US2011/062028 patent/WO2012078368A1/en active Application Filing
- 2011-11-23 CN CN201180059338.9A patent/CN103262528B/zh not_active Expired - Fee Related
- 2011-11-23 EP EP11847101.0A patent/EP2649793A4/en not_active Withdrawn
- 2011-11-23 US US13/303,539 patent/US20120177130A1/en not_active Abandoned
- 2011-11-23 JP JP2013543197A patent/JP2014506036A/ja active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010004258A1 (en) * | 1999-11-29 | 2001-06-21 | Kouji Yokouchi | Method, apparatus and recording medium for generating composite image |
| CN1324185A (zh) * | 2000-04-26 | 2001-11-28 | 朗迅科技公司 | 动态修改数字视频图像的方法和装置 |
| JP2003331274A (ja) * | 2002-05-15 | 2003-11-21 | Fuji Photo Film Co Ltd | 画像処理装置 |
| US20090147851A1 (en) * | 2004-11-22 | 2009-06-11 | Koninklijke Philips Electronics, N.V. | Motion vector field projection dealing with covering and uncovering |
| US20070101251A1 (en) * | 2005-11-02 | 2007-05-03 | Samsung Electronics Co., Ltd. | System, medium, and method automatically creating a dynamic image object |
| US20070206673A1 (en) * | 2005-12-08 | 2007-09-06 | Stephen Cipolli | Systems and methods for error resilience and random access in video communication systems |
| CN101512553A (zh) * | 2006-07-16 | 2009-08-19 | 西姆比有限公司 | 用于虚拟内容安置的系统和方法 |
| CN101595503A (zh) * | 2006-10-30 | 2009-12-02 | 索尼爱立信移动通讯股份有限公司 | 产品置入 |
| CN101849404A (zh) * | 2007-07-27 | 2010-09-29 | 拉加维林有限公司 | 便携式发送器的设备、方法、系统和用户界面 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2649793A1 (en) | 2013-10-16 |
| CN103262528B (zh) | 2016-03-09 |
| EP2649793A4 (en) | 2015-01-21 |
| AU2011338800A1 (en) | 2013-07-11 |
| CA2820461A1 (en) | 2012-06-14 |
| US20120177130A1 (en) | 2012-07-12 |
| AU2011338800B2 (en) | 2015-04-02 |
| JP2014506036A (ja) | 2014-03-06 |
| WO2012078368A1 (en) | 2012-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Fundamentals of multimedia | |
| JP6122768B2 (ja) | 情報処理装置、表示方法およびコンピュータプログラム | |
| CN108713322B (zh) | 用于准备视频内容和回放经编码的内容的方法、装置 | |
| CN101601286B (zh) | 实现快速视频文件理解的视频片段的并行呈现 | |
| US20190259124A1 (en) | System and Method of Data Transfer In-Band in Video via Optically Encoded Images | |
| KR101046749B1 (ko) | 인코딩 방법 및 장치 그리고 디코딩 방법 및 장치 | |
| EP1762947A2 (en) | Information processing apparatus, method and program | |
| US20080101456A1 (en) | Method for insertion and overlay of media content upon an underlying visual media | |
| EP2338278A2 (en) | Systems and methods for video/multimedia rendering, composition, and user-interactivity | |
| CN103430565A (zh) | 将一个或一个以上矩阵码同步到与多媒体呈现有关的内容 | |
| CN104065979A (zh) | 一种动态显示和视频内容相关联信息方法及系统 | |
| CN1561637A (zh) | 用于传输多媒体信息流的系统和方法,例如用于远程教学 | |
| CN101064825A (zh) | 基于移动设备的体育视频的个性化定制方法及其装置 | |
| US20190014063A1 (en) | System and Methods for Dynamically Generating Animated GIF Files for Delivery Via the Network | |
| Banerjee | Elements of multimedia | |
| MXPA03000307A (es) | Generacion dinamica de contenido de video para su presentacion a traves de un servidor de medios. | |
| CN103262528B (zh) | 视频流呈现系统与协议 | |
| TW201436560A (zh) | 電子節目表的提供方法、多媒體重現系統和電腦可讀取記錄媒體 | |
| CN111131853A (zh) | 一种笔迹直播系统及方法 | |
| CN101212635B (zh) | 录像图像处理方法和系统 | |
| CN106162380A (zh) | 一种在线视频调用方法及系统 | |
| TWI765230B (zh) | 資訊處理裝置、資訊處理方法以及資訊處理程式 | |
| CN101952819A (zh) | 利用配置文件减少软件复杂性的方法与设备 | |
| Hussain | MULTIMEDIA COMPUTING | |
| Jamil et al. | Overview of JPEG Snack: A Novel International Standard for the Snack Culture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160309 |