CN1726530A - 剪辑网络中发送的媒体数据 - Google Patents

剪辑网络中发送的媒体数据 Download PDF

Info

Publication number
CN1726530A
CN1726530A CNA2003801064710A CN200380106471A CN1726530A CN 1726530 A CN1726530 A CN 1726530A CN A2003801064710 A CNA2003801064710 A CN A2003801064710A CN 200380106471 A CN200380106471 A CN 200380106471A CN 1726530 A CN1726530 A CN 1726530A
Authority
CN
China
Prior art keywords
media data
window
clip information
data flow
montage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2003801064710A
Other languages
English (en)
Inventor
P·D·V·范德斯托克
M·范德沙尔
C·亨特斯彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1726530A publication Critical patent/CN1726530A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/12Arrangements for remote connection or disconnection of substations or of equipment thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M7/00Arrangements for interconnection between switching centres
    • H04M7/08Arrangements for interconnection between switching centres for phantom working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种用于接收多个媒体数据流的设备和方法,该数据流在多-窗口显示的单独窗口中显示。有关窗口之一被另一窗口所覆盖的区域的剪辑信息被发送到提供当显示时被覆盖的媒体数据的源设备。由于观看者看不到所述被覆盖区域时,目的设备不需要有关该被覆盖区域的媒体数据。所以,基于所述剪辑信息的源设备不发送处理被覆盖区域所需的任何媒体数据到目的设备,该设备不必处理全部与被覆盖区域有关的媒体数据。

Description

剪辑网络中发送的媒体数据
本发明涉及剪辑(clip)网络中发送的媒体数据,并具体而言,本发明涉及一种剪辑在网络中从源设备发送到目的设备的两个媒体数据流中的至少之一,以用于在多窗口显示中再现的方法。
可以从源设备发送媒体数据,诸如音频/视频数据到目的设备,其中处理该媒体数据以在屏幕上进行显示。但是,互连不同的电子设备,诸如能够在诸如家庭网络之类的局域网中提供媒体数据流的视频播放器、数字视频盘(DVD)播放器、个人计算机(PC)等等正在变得日益普及。所述局域网可以被依次地操作连接到广域网,其中甚至有提供媒体数据流的更多源设备可操作连接到该广域网。
在网络中互连源设备和至少一个目的设备提供了,在与所述目的设备可操作连接的单个多-窗口显示器的不同窗口中显示大量媒体数据流的可能性。第一媒体数据流例如由视频记录器提供,以及第二媒体数据流由PC提供。也有可能发生所述第一媒体数据流在作为覆盖整个显示区域的主要图像的第一窗口中显示,所述第二媒体数据流在作为覆盖部分第一窗口的画中画(PiP)窗口的第二窗口中显示。因此,第一窗口被第二窗口重叠的这些部分对于观看者来说是不可见的。而且,如果所述目的设备接收多个媒体数据流,这可能对于以多-窗口显示显示的若干个相关窗口发生。
在上述网络中,用于发送数据的可用容量或带宽是受到限制的。从一个或若干源设备发送若干媒体数据流到一个目的设备要求一定量的带宽。但是,由于窗口的被覆盖区域不可见,所以,如果在其他窗口所覆盖的窗口区域显示少许量的被显示媒体数据流,则会浪费带宽。因此,需要一种更加有效地发送将以多-窗口显示进行显示的媒体数据流的方法和设备。
本发明的一个目的是,当从一个或若干源设备向至少一个目的设备发送多个媒体数据流时节省网络的带宽,其中在多-窗口显示的不同窗口中再现该媒体数据流。
通过用于接收将要在目的设备的多-窗口显示的不同窗口中所显示的多个媒体流的方法和设备实现了上述目的。根据该方法,通过目的设备计算至少一个接收的媒体数据流的剪辑信息,其中该媒体数据流在多-窗口显示的第一窗口显示时被至少部分地覆盖。显示第二媒体数据流的第二窗口覆盖该第一窗口。因此,当观看者不能看到任何窗口的被覆盖部分时,在所述目的设备中不需要与该被覆盖部分有关的媒体数据。所以,将该剪辑信息发送到提供在至少部分被覆盖的窗口中显示的媒体数据流的所述源设备。当该源设备已经基于剪辑信息而剪辑该媒体数据流并可能存储图像处理信息时,所述目的设备接收被剪辑的媒体数据流以便在第一窗口中显示。
一种用于向目的设备发送媒体数据的方法和设备也实现了上述目的。根据本发明,诸如源设备之类的设备接收显示媒体数据流的至少一个目的设备所提供的剪辑信息。该源设备被配置用于计算窗口区域,其中该目的设备不需要媒体数据用于该区域,所述区域是被另一窗口所覆盖的多-窗口显示的第一窗口的一部分。该设备还进一步配置用于不向所述目的设备提供与所述计算区域有关的任何媒体数据,其中只有被剪辑的媒体数据流提供给该目的设备。
通过参考以下描述的实施例以及参考所述实施例的说明,本发明的这些和其他方面将变得显而易见。
现在将参考附图通过实例的方式来描述本发明,其中:
图1示例了经由网络与目的设备连接的大量源设备;
图2示例了用于实现本发明的目的设备的一个实施例;
图3示例了用于实现本发明的源设备的一个实施例;
图4示例了两个PiP窗口所部分覆盖的主窗口;
图5示例了对于窗口的输出像素的处理所涉及的像素;
图6是根据本发明的第一方法的流程图;以及
图7是根据本发明的第二方法的流程图。
处理诸如数字音频/视频数据之类的媒体数据在图像处理领域中是熟知的。媒体数据流可以从在网络中可操作连接的若干源设备发送,所述媒体数据流由可操作连接到该网络的一个或若干目的设备所接收。该网络可以是局域网,例如家庭网络,其中所述网络进而又连接到诸如因特网之类广域网。如果将要在多-窗口显示的独立窗口中显示每个接收的媒体数据流,一个窗口可能覆盖另一个窗口。根据本发明,至少当在多-窗口显示的窗口中显示时部分被覆盖的媒体数据不需要从该源设备发送到目的设备。由于通常独立于它们在最终显示上的外观(appearance)而处理媒体数据算法,所以这是可能的。在多-窗口环境中,这导致了在隐藏区域中的大量不必要处理。通过使用根据本发明的方法,避免了发送和处理不被再现的媒体数据。
图1是用于可操作连接大量源设备101、102到至少一个目的设备103的局域网(LAN)100的示意图。在图1中,仅仅示例了两个源设备。但是,可以有任何数量的源设备101、102连接到该网络。源设备101、102包括例如DVD播放器、个人计算机、媒体服务器和/或视频播放器,每个源设备提供将由诸如机顶盒或个人计算机之类目的设备103所接收的不同媒体数据流,诸如视频流。局域网100可操作连接到广域网(WAN)104,诸如因特网,其中用于提供媒体数据流的其它源设备可操作连接到该广域网。在替换的实施例中,不提供LAN100,其中目的设备103仅仅连接到与WAN104相连的源设备。
图2是根据本发明的目的设备103的一个实施例的方框图。该目的设备被配置用于从一个或若干源设备101、102接收多个媒体数据流。所述目的设备包括一个配置用于经由LAN100和/或WAN104从一个或若干源设备101、102接收媒体数据流的接收机105。而且,目的设备103包括可操作连接到LAN100和/或WAN104的发送机106,用于向提供媒体数据流的源设备101、102发送剪辑信息,正如在下文所进一步描述的。解码器方块107可操作连接到接收机105。解码器方块107配置用于使用诸如MPEG-4FGS(运动图像专家组4精细增益可伸缩性)、DCT(离散余弦变换)以及小波编码之类视频编码方案来解码该媒体数据流。但是,在本发明的范围之内,同样可能使用其他的视频编码方案。解码器方块107可操作连接到大量的图像处理器。在图2所示的实施例中,目的设备103包括第一、第二和第三图像处理器108、109、110,这些处理器被分别配置用于处理第一、第二和第三媒体数据流。但是,目的设备103可以包括任何数量的能够处理至少两个不同媒体数据流的图像处理器,而并不局限于仅仅用于示意目的的所示数量。每个图像处理器108、109和110可操作连接到窗口控制器111,窗口控制器111进而又可操作连接到系统控制器112,诸如目的设备103的中央处理单元(CPU)。图像处理器108、109、110可操作连接到切换器(switcher)113,该切换器配置用于根据分别由第一、第二和第三图像处理器108、109、110所提供的被处理的媒体数据流产生包括多-窗口图像的输出媒体数据流。而且,窗口控制器111还操作连接到切换器113,以提取显示坐标并提供该剪辑信息,正如在下文中将描述的。在替换的实施例中可以提供窗口控制器111作为切换器113的组成部分。
图3是对于执行本发明所涉及的源设备101、102的组件的方框图。正如所理解的,该示意性源设备并不局限于图3所示的组件,而是还可以包括其他组件。源设备101、102包括配置用于从至少一个目的设备103接收剪辑信息的接收机120。而且,所述源设备包括用于发送编码的媒体数据流到目的设备103的发送机121。发送机121可操作连接到编码器方块122,该方块被配置用于根据诸如MPEG-4FGS(运动图像专家组4精细增益可伸缩性)、DCT(离散余弦变换)和小波编码之类视频编码方案来编码媒体数据。编码器方块122可操作连接到网络协调器123,该协调器被配置用于协调从任何数量的目的设备所接收的剪辑信息。而且,该网络协调器被配置用于根据接收的剪辑信息和存储的图像处理信息计算至少一个目的设备103不需要的媒体数据,并相应地配置用于剪辑至少一个媒体数据流。具有所述存储的图像处理信息以执行根据本发明的方法步骤的处理器,可以用来实现网络协调器123。网络协调器123可操作连接到配置用于存储媒体数据的媒体数据储存库124。媒体数据储存库124可以例如被实现为包括将要处理并发送到目的设备103作为媒体数据流的媒体数据的存储器,诸如硬盘、光盘、录像磁带、磁带、或磁盘。
在一个替换的实施例中,源设备101、102还包括可操作连接到网络协调器123和编码器方块122的切换器125。切换器125配置用于将被剪辑的媒体数据流与至少一个第二媒体数据流组合成包括至少两个窗口的多-窗口图像。从目的设备103接收多-窗口的每个窗口的显示坐标。
现在将参考以下示意性的实施例进一步说明本发明。从一个或若干源设备101、102发送多个媒体数据流到一个或若干目的设备103。每个媒体数据流将会由目的设备103的接收机105接收,由解码器方块107解码并转发给各自的图像处理器108、109、110,该图像处理器将产生切换器113所联结的将在多-窗口显示上在不同窗口中显示的图像。
图4示例了多-窗口显示,该显示包括再现例如通过第一图像处理器101处理的媒体数据流的主窗口201。而且,该多-窗口显示包括重叠在主窗口201上的第一和第二画中画(PiP)窗口202、203。第二PiP窗口203还可以部分地重叠在第一PiP窗口202上,或者反之亦然,如在图4中利用交叉影线区域所指示的。第二媒体数据流由例如第二图像处理器109处理并且在第一PiP窗口202中观看。而且,通过例如第三图像处理器110所处理的第三媒体数据流在第二PiP窗口203中观看。相同或不同的源设备101、102可以发送每个媒体数据流。
正如在图4中能够看到的,第一和第二PiP窗口202、203覆盖了主窗口201的一部分。所以根据本发明对于第一图像处理器108来说没有必要处理用于主窗口被覆盖的这些区域的全部媒体数据。而且,第二PiP窗口203覆盖了第一PiP窗口202的一部分。
图5示例了主窗口201和第一PiP窗口202。为了观看以一定像素显示的媒体数据,有可能有必要考虑图像像素之间的关系。正如在图5中所示例的,对于处理交叉影线所指示的中央像素a2,3可以涉及像素a1,1-a3,5的矩阵。因此,尽管a2,4,a2,5,a3,4和a3,5由PiP窗口202覆盖,但是在这种情况下,也有必要发送和处理用于所述被覆盖像素的媒体数据信息。但是,目的设备103不需要与在诸如阴影区域204之类可见像素处理中没有涉及的任何像素有关的任何媒体数据。在可替换实施例中,在相邻像素之间可以没有任何关系,其中目的设备103不需要用于任何被覆盖区域的媒体数据。在根据本发明的一个实施例中,在基本层和增强层发送媒体数据。在该增强层中,为了像素a2,3的计算,仅仅需要媒体数据用于a2,3。但是,在基本层中,为了像素a2,3的计算,需要媒体数据用于从a1,1到a3,5的全部像素。
为了提供有关的剪辑信息给具体的源设备101、102,有必要知道多-窗口显示重叠发生的位置,即有关的显示坐标。在主窗口201和PiP窗口202、203中所显示图像的观看者能够通过例如使用例如远程控制或者鼠标发送消息给目的设备103的系统控制器112,确定在多-窗口显示上的每个PiP窗口的大小和位置。在一个实施例中,系统控制器112产生用于每个窗口的所需显示坐标,这些坐标有可能经由窗口控制器111转发给切换器113。该切换器被配置用于联结通过例如第一图像处理器108产生的主窗口201和分别通过例如第二和第三图像处理器109、110产生的PiP窗口202、203。系统控制器112通过窗口控制器111验证是否在任何窗口201、202、203之间发生重叠,其中窗口控制器111提取重叠区域的显示坐标,所述坐标被发送到图像处理器108、109、110。而且,图像处理器108、109、110具有在输出像素处理中是否涉及任何相邻像素的图像处理信息。目的设备103知道该处理信息,或者从源设备101、102传送该处理信息到系统控制器112。该处理信息例如存储在系统控制器112的寄存器中。因此,图像处理器108、109、110能够确定像素,对于这些像素将不执行媒体数据的处理,并且对于它们媒体数据也不是必须的。而且,还通过发送机106发送重叠区域的显示坐标给每个源设备101、102,该源设备提供当在窗口201、202、203中显示时被重叠的媒体数据。
在一个替换的实施例中,由窗口控制器111考虑到开销(overhead)区域,即在处理显示的像素中涉及但其本身不显示的区域,以调整被覆盖区域的原始或者前一窗口坐标。然后,经由发送机106将诸如阴影区域204之类被覆盖区域的被调整窗口坐标发送给源设备101、102。
正如在图4的实例中所能够看到的,主图像201和第一PiP图像202都被覆盖到一定的量。所以,将为发送到源设备的每个媒体数据流产生剪辑信息,该源设备分别提供在主图像201和第一PiP图像202中显示的媒体数据流。正如所理解的,本发明并不局限于一个主窗口201和两个PiP窗口202、203,而是在本发明的范围内,任何数量的相互重叠到一定量的PiP窗口202、203和主窗口201都是可能的。
每当目的设备103的用户移动窗口201、202、203时,或者改变所述窗口的大小时,将会覆盖新的区域而不覆盖其他的区域,其中重新计算新剪辑信息并将该信息发送到源设备101、102,和有关的图像处理器108、109、110。优选地,剪辑信息在几百毫秒的最大时间间隔内产生并向有关的源设备101、102发送。如果以足够高的频率提供该剪辑信息,在源设备101、102和目的设备103之间不会有同步问题发生,由于源设备101、102和目的设备103的图像处理器108、109、110都具有窗口坐标并能够计算被覆盖区域的坐标。因此,计算源设备101、102的被覆盖区域将不会落后于在目的设备103的实际被覆盖区域。
在一个替换的实施例中,尽管在上述间隔内不产生和发送剪辑信息,也能够避免源设备101、102和目的设备103之间的同步问题。在该实施例中,首先由目的设备103,诸如上面所阐述的,产生剪辑信息并发送到源设备101、102。该剪辑信息还发送到图像处理器108、109、110,在本实施例中设置为不应用该新的剪辑信息,直到接收到剪辑信息已经被源设备101、102所应用的应答。处理器108、109、110将等待直到接收该应答。当源设备101、102接收所述剪辑信息时,它将作用于所述剪辑信息,正如将在下文中所描述的。另外,源设备101、102将准备和发送一个应答以及被剪辑的媒体数据流给有关的目的设备103。在一个实施例中,该剪辑信息将用作应答。可替换地,可以产生和发送指示接收并应用该剪辑信息的单独应答。当目的设备103接收该应答时,图像处理器108、109、110可以开始应用该新剪辑信息。
某个源设备101、102可以通过组播或者单播媒体数据流而服务于一个或若干目的设备。当提供组播时,源设备101、102可以从每个目的设备接收剪辑信息,该目的设备从所述源设备接收至少一个媒体数据流,如上所述。在组播环境中,源设备101、102的网络协调器123组合从每个可操作连接的目的设备103接收的剪辑信息,计算在全部目的设备中被覆盖的窗口区域,并相应地剪辑任何一个目的设备所不需要的媒体数据流的这些部分。因此,在组播环境中,该网络协调器从媒体数据储存库124检索媒体数据并在发送该媒体数据流到每个连接的目的设备103之前,使用组合的剪辑信息剪辑所述媒体数据。正如所理解的,一个源设备101、102可以提供若干媒体数据流,其中该源设备被配置用于从一个或若干目的设备接收与提供的每个媒体数据流有关的剪辑信息。
在单播环境中,源设备101、102被配置用于根据从特定目的设备所接收的剪辑信息,不同地剪辑发送到该特定目的设备103的每个媒体数据流。因此,在单播环境中,网络协调器123不必组合从不同目的设备103接收的剪辑信息。仅仅根据从特定目的设备103接收的剪辑信息来剪辑从媒体数据储存库124所检索的媒体数据流。
源设备101、102将通过例如从发送到目的设备103的媒体数据流的媒体数据包中删除有关网络协调器123所计算区域的数据而作用于剪辑信息。在本发明的优选实施例中,提供基本层的完全传输。但是,关于目的设备103所不需要的媒体数据的增强层的增强媒体数据方块,将不被发送到该目的设备。根据网络协调器123提供的计算提取不被发送的所述媒体数据块,如上所述。在另一个实施例中,源设备101、102的编码器方块122可以例如通过网络协调器123被设置成不编码和发送增强层的增强媒体数据块,该数据块与目的设备所不需要的媒体数据有关并由网络协调器123计算出。
图6包括在目的设备103中执行的本发明方法的步骤的一个实施例,该设备用于向源设备101、102提供剪辑信息并接收剪辑的媒体数据流。在第一步骤300,所述系统等待启动计算剪辑信息。该步骤的启动在于切换器113验证在多-窗口显示中存在至少一个窗口重叠另一个窗口或者若干窗口中一个窗口的移动已经开始。在步骤301,通过窗口控制器111计算用于每个重叠区域的显示坐标。重叠区域的显示坐标例如是包括有关显示坐标的函数f(x,y)。对于每个窗口重复该步骤,该窗口至少部分地被另一个窗口重叠。在步骤302,将该剪辑信息发送到有关的源设备。在步骤303,从源设备101、102接收被剪辑的媒体数据流,其中通过使用所存储的图像处理信息和剪辑信息处理该流以提供包括不被处理的区域的图像。
当通过目的设备1103接收剪辑的媒体数据流时,解码该媒体数据流,并确定将不处理哪些像素以导出提供给切换器113的输出数据流。然后,可以处理并输出剪辑的媒体数据流给切换器113,该切换器产生包括多-窗口图像的输出媒体流。但是,如果源设备101、102提供完整的多-窗口图像,那么目的设备不必处理剪辑的媒体数据流,其中在输出该媒体数据流作为输出媒体数据流之前,仅仅必须解码所接收的剪辑媒体数据流。在源设备101、102准备该多-窗口图像的实施例中,目的设备可以不包括任何图像处理器108、109、110。
图7示例了根据一个实施例由源设备101、102所执行的用于处理剪辑信息并提供被剪辑的媒体数据流的步骤。在步骤400,源设备101、102接收启动剪辑媒体数据流的剪辑信息。在步骤401,确定剪辑信息是否是从多个目的设备接收的。如果步骤401中的回答是肯定的,在步骤402将全部接收的剪辑信息组合成组合的剪辑信息。但是,如果提供单播,则可以忽略该步骤。如果从一个或若干连接的目的设备接收新的剪辑信息或者更新的剪辑信息,则将该新剪辑信息与先前从另一个目的设备所接收的被存储的剪辑信息进行组合。然后,如果步骤401中的回答是否定的,则在步骤403,使用存储的图像处理信息和组合的剪辑信息,或者有可能是每个剪辑信息,来计算目的设备不需要的媒体数据,因此不必将该媒体数据发送到目的设备103。
在一个实施例中,在步骤404,对该媒体数据流的剪辑在于,从发送到目的设备103的媒体数据流中删除与该目的设备不需要的媒体数据有关的数据块。在另一个实施例中,在步骤404,对该媒体数据流的剪辑在于,指示编码器方块122不编码与所述不需要的媒体数据有关的块。最后在步骤405,编码并向提供用来剪辑媒体数据流的剪辑信息的目的设备103发送剪辑的媒体数据流,或者在组播环境中向每个连接的目的设备发送。
在一个源设备101、102提供预处理的被剪辑的多-窗口图像的实施例中,网络协调器123提供若干媒体数据流,该媒体数据流中的至少一个根据接收的剪辑信息被剪辑。然后,该剪辑的媒体数据流和至少一个其他媒体数据流被组合成多-窗口图像,它在步骤405被编码和发送。
将会明白本发明的不同实施例并不局限于上述步骤的精确顺序,因为一些步骤的定时可以交换而不影响本发明的总体操作。而且,术语“包括”并不排除其他的单元或步骤,术语“一”和“一个”并不排除多个,单个处理器或者其他单元可以实现权利要求书中所阐述的若干单元或者电路的功能。

Claims (24)

1、一种接收多个媒体数据流的方法,其中该媒体数据流要在目的设备的多-窗口显示的单独窗口中显示,包括以下步骤:
提供多-窗口显示中第一窗口的被覆盖区域的剪辑信息,所述第一窗口至少部分地由该媒体多-窗口的至少第二窗口所覆盖;
发送该剪辑信息给提供在所述第一窗口中再现的第一媒体数据流的源设备;以及
接收包括媒体数据的被剪辑的媒体数据流,该媒体数据用于所述第一窗口的未覆盖区域。
2、根据权利要求1所述的方法,其中所述剪辑信息至少包括第二窗口的显示坐标。
3、根据权利要求1所述的方法,其中提供的步骤还包括以下步骤:
提取多-窗口显示的至少第二窗口的显示坐标。
4、根据权利要求1所述的方法,还包括以下步骤:
响应于该第一或者至少第二窗口的运动或者大小变化重新计算所述剪辑信息;以及
发送该重新计算的剪辑信息。
5、根据权利要求1所述的方法,其中所述接收的剪辑媒体数据流包括完整的媒体数据基本层以及剪辑的媒体数据增强层,所述媒体数据增强层只包括处理第一窗口未覆盖区域所需的媒体数据块。
6、根据权利要求1所述的方法,还包括以下步骤:
解码该接收的剪辑媒体数据流;和
根据剪辑信息和存储的处理信息来处理剪辑的媒体数据流。
7、根据权利要求1所述的方法,其中接收的剪辑媒体数据流包括剪辑的预处理的多-窗口图像。
8、根据权利要求1所述的方法,其中提供剪辑信息的步骤还包括以下步骤:
设置至少一个图像处理器以等待所述源设备已经应用该剪辑信息的应答;和
接收剪辑媒体数据流的步骤还包括以下步骤:
-接收已经应用该剪辑信息的应答。
9、根据权利要求1所述的方法,其中所述媒体数据流包括音频/视频数据块。
10、一种从源设备向至少一个目的设备发送媒体数据流的方法,包括以下步骤:
从至少一个目的设备接收剪辑信息;
根据该接收的剪辑信息计算窗口区域,其中至少一个目的设备不需要媒体数据用于该窗口区域;
根据该计算出的区域剪辑所述媒体数据流以提供剪辑的媒体数据流;和
发送该剪辑的媒体数据流给至少一个目的设备。
11、根据权利要求10所述的方法,其中所述剪辑信息包括覆盖多-窗口显示中另一窗口的至少一个窗口的显示坐标。
12、根据权利要求10所述的方法,其中计算的步骤还包括以下步骤:
计算窗口区域,其中若干目的设备中的任何一个目的设备不需要媒体数据用于该窗口区域。
13、根据权利要求10所述的方法,其中单独地处理从多个目的设备接收的剪辑信息。
14、根据权利要求10所述的方法,其中剪辑的步骤还包括以下步骤:
从所述媒体数据流删除与计算出的窗口区域有关的增强层的增强媒体数据块。
15、根据权利要求10所述的方法,其中剪辑的步骤还包括以下步骤:
设置编码器不编码与计算出的窗口区域有关的增强层的增强媒体数据块。
16、根据权利要求10所述的方法,其中剪辑的步骤还包括以下步骤:
把第一剪辑的媒体流和至少第二媒体数据流联结成多-窗口图像。
17、根据权利要求10所述的方法,其中发送的步骤还包括以下步骤:
准备已应用所述接收剪辑信息的应答;和
发送该应答给有关的目的设备。
18、根据权利要求17所述的方法,其中该应答是接收的剪辑信息。
19、根据权利要求10所述的方法,其中该媒体数据流包括音频/视频数据块。
20、一种用于接收媒体数据的设备,包括:
用于接收多个媒体数据流的装置,其中该多个媒体数据流要在多-窗口显示的至少两个单独窗口中显示;和
用于提供剪辑信息的装置,该剪辑信息包括与至少两个窗口中至少一个窗口的至少一个被覆盖区域有关的信息,该至少一个窗口由至少两个窗口中的至少另一个窗口所覆盖;以及
用于向至少一个源设备发送剪辑信息的装置,所述发送装置可操作连接到所述提供装置。
21、根据权利要求20所述的设备,还包括:
用于处理至少两个媒体数据流的装置,该装置可操作连接到所述接收装置;以及
用于将至少两个被处理的媒体数据流联结为用于在多-窗口显示中再现的输出媒体数据流的装置,所述联结装置可操作连接到所述处理装置。
22、根据权利要求21所述的设备,其中所述处理装置是至少一个图像处理器,该处理器配置用于根据存储的图像处理信息,以及根据推导装置所导出的所述剪辑信息来处理所述媒体数据流。
23、一种用于向至少一个目的设备发送媒体数据流的设备,包括:
用于从至少一个目的设备接收剪辑信息的装置;
根据该接收的剪辑信息剪辑所述媒体数据流的装置,所述剪辑装置可操作连接到所述接收装置;和
用于向至少一个目的设备发送该剪辑的媒体数据的装置。
24、根据权利要求23所述的设备,还包括编码所述剪辑的媒体数据流的装置。
CNA2003801064710A 2002-12-18 2003-11-18 剪辑网络中发送的媒体数据 Pending CN1726530A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02080363.1 2002-12-18
EP02080363 2002-12-18

Publications (1)

Publication Number Publication Date
CN1726530A true CN1726530A (zh) 2006-01-25

Family

ID=32524048

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2003801064710A Pending CN1726530A (zh) 2002-12-18 2003-11-18 剪辑网络中发送的媒体数据

Country Status (7)

Country Link
US (1) US20060203001A1 (zh)
EP (1) EP1576575A2 (zh)
JP (1) JP2006510963A (zh)
KR (1) KR20050085753A (zh)
CN (1) CN1726530A (zh)
AU (1) AU2003280127A1 (zh)
WO (1) WO2004056078A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8405678B2 (en) 2007-04-30 2013-03-26 Mstar Semiconductor, Inc. Display controller for displaying multiple windows and method for the same

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101323732B1 (ko) * 2005-07-15 2013-10-31 삼성전자주식회사 영상 부호화장치 및 방법과 그 복호화장치 및 방법
CN1997160A (zh) * 2006-01-06 2007-07-11 腾讯科技(深圳)有限公司 一种多路节目接收显示系统和方法
WO2007138423A2 (en) 2006-05-25 2007-12-06 Shuki Binyamin Method and system for providing remote access to applications
US8520687B2 (en) * 2007-07-06 2013-08-27 Alcatel Lucent Method and apparatus for internet protocol multimedia bearer path optimization through a succession of border gateways
US20090235177A1 (en) * 2008-03-14 2009-09-17 Microsoft Corporation Multi-monitor remote desktop environment user interface
WO2009147795A1 (ja) * 2008-06-05 2009-12-10 パナソニック株式会社 映像処理システム
US9392437B2 (en) * 2008-10-17 2016-07-12 Alcatel Lucent Method and system for IP multimedia bearer path optimization through a succession of border gateways
US20110012812A1 (en) * 2009-01-14 2011-01-20 Tpo Displays Corp. Multi View Display
CN104137174B (zh) * 2012-03-28 2017-05-31 松下知识产权经营株式会社 信息显示装置
US9479805B2 (en) 2013-02-15 2016-10-25 Cox Communications, Inc. Entitlement validation and quality control of content in a cloud-enabled network-based digital video recorder
US10601798B2 (en) 2013-03-15 2020-03-24 Cox Communications, Inc. Federated services managed access to services and content
US10477260B2 (en) 2014-10-17 2019-11-12 Cox Communications, Inc. Network based digital video recorder playback adapter
CN111427523B (zh) * 2020-01-19 2022-08-02 杭州海康威视数字技术股份有限公司 窗口叠加显示处理方法、装置及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994014155A1 (en) * 1992-12-17 1994-06-23 Seiko Epson Corporation Graphics control planes for windowing and other display operations
US5561755A (en) * 1994-07-26 1996-10-01 Ingersoll-Rand Company Method for multiplexing video information
EP0788646B1 (en) * 1994-10-25 1999-04-28 OTL Corporation Object-oriented system for servicing windows
US5751979A (en) * 1995-05-31 1998-05-12 Unisys Corporation Video hardware for protected, multiprocessing systems
US6292834B1 (en) * 1997-03-14 2001-09-18 Microsoft Corporation Dynamic bandwidth selection for efficient transmission of multimedia streams in a computer network
US6025841A (en) * 1997-07-15 2000-02-15 Microsoft Corporation Method for managing simultaneous display of multiple windows in a graphical user interface
JP3509060B2 (ja) * 1998-05-28 2004-03-22 松下電器産業株式会社 表示制御装置および方法
US7260826B2 (en) * 2000-05-31 2007-08-21 Microsoft Corporation Resource allocation in multi-stream IP network for optimized quality of service
US7002599B2 (en) * 2002-07-26 2006-02-21 Sun Microsystems, Inc. Method and apparatus for hardware acceleration of clipping and graphical fill in display systems
US7286140B2 (en) * 2002-07-26 2007-10-23 Sun Microsystems, Inc. Hardware acceleration of display data clipping

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8405678B2 (en) 2007-04-30 2013-03-26 Mstar Semiconductor, Inc. Display controller for displaying multiple windows and method for the same

Also Published As

Publication number Publication date
AU2003280127A1 (en) 2004-07-09
WO2004056078A3 (en) 2005-05-19
AU2003280127A8 (en) 2004-07-09
WO2004056078A2 (en) 2004-07-01
KR20050085753A (ko) 2005-08-29
EP1576575A2 (en) 2005-09-21
US20060203001A1 (en) 2006-09-14
JP2006510963A (ja) 2006-03-30

Similar Documents

Publication Publication Date Title
US7336841B2 (en) Fingerprinting digital video for rights management in networks
CN1139254C (zh) 用于合成和显示mpeg-4视频节目的终端
CN1726530A (zh) 剪辑网络中发送的媒体数据
CA2450463C (en) Apparatus and method for watermarking a digital image
US20020178278A1 (en) Method and apparatus for providing graphical overlays in a multimedia system
CN101079994A (zh) 一种网络电视监控系统及方法
MXPA01000893A (es) Acceso remoto a computadora.
KR100767673B1 (ko) 슬라이드 쇼 구현기능을 갖는 디지털방송용 단말기 및 이를이용한 슬라이드 쇼 구현 방법
CA2462257A1 (en) System and method for transmitting multimedia information streams, for instance for remote teaching
US8477188B2 (en) Surveillance system for transcoding surveillance image files while retaining geospatial metadata and associated methods
CN101073271A (zh) 用于数字视频记录器中的分层数字视频编码的系统和方法
Gül et al. Cloud rendering-based volumetric video streaming system for mixed reality services
US8587651B2 (en) Surveillance system for transcoding surveillance image files while retaining image acquisition time metadata and associated methods
CA2415385C (en) Dynamic generation of video content for presentation by a media server
Chen et al. The development and applications of the remote real-time video surveillance system
CN103716651A (zh) 图像处理装置、图像处理方法和图像处理系统
US20060067580A1 (en) Consumer electronic device supporting navigation of multimedia content across multiple camera views of a scene
JP2024510139A (ja) メディアストリーミング及び再生中のプレロール及びミッドロールをサポートするための方法、装置及びコンピュータプログラム
KR20040081217A (ko) 디지털 비디오 녹화 및 재생기 기능과 다자간 영상회의,영상강의 기능이 추가된 영상통합시스템
CN1625107A (zh) 影音播放系统传输数据的方法
Takacs PanoMOBI: panoramic mobile entertainment system
Chen et al. Stream conversion to support interactive playout of videos in a client station
KR101026682B1 (ko) 포트변환 데이터 스트리밍 시스템
Girod et al. Group III Report: Digital Video in Multimedia Systems
Tashiro et al. NTT's technologies for next-generation video services

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication