CN103262559B - 用于高级数字电视的多媒体i/o系统架构 - Google Patents

用于高级数字电视的多媒体i/o系统架构 Download PDF

Info

Publication number
CN103262559B
CN103262559B CN201180059163.1A CN201180059163A CN103262559B CN 103262559 B CN103262559 B CN 103262559B CN 201180059163 A CN201180059163 A CN 201180059163A CN 103262559 B CN103262559 B CN 103262559B
Authority
CN
China
Prior art keywords
audio
video
bitstreams
data stream
ecdc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180059163.1A
Other languages
English (en)
Other versions
CN103262559A (zh
Inventor
崔薰
金大卿
J·H·李
梁又升
金荣
金荣一
A·切伏特
T·维令
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lattice Semiconductor Corp
Original Assignee
Lattice Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lattice Semiconductor Corp filed Critical Lattice Semiconductor Corp
Publication of CN103262559A publication Critical patent/CN103262559A/zh
Application granted granted Critical
Publication of CN103262559B publication Critical patent/CN103262559B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明的实施例一般涉及用于高级数字电视的多媒体I/O系统架构。多媒体系统的实施例包括I/O(输入/输出)控制芯片，该I/O控制芯片包括一个或多个音频/视频子处理引擎，用以处理一个或多个数据流；处理核芯片，用以处理数据，该数据包括从I/O控制芯片接收的音频/视频数据；以及一个或多个共享I/O通道，用以在I/O控制芯片与处理核芯片之间传送数据。

Description

用于高级数字电视的多媒体I/O系统架构
相关申请
本发明涉及2010年12月10日提交的美国临时专利申请No.61/442,063并要求其优先权，并且此申请通过援引纳入于此。
技术领域
本发明的实施例一般涉及电子设备的领域，尤其涉及用于高级数字电视的多媒体I/O系统架构。
背景
为了处理从多种I/O接口——包含例如以太网、USBTM(通用串行总线)、HDMITM(高清晰度多媒体接口)、DVITM(数字视觉接口)及旧有模拟端口等接口——传入的大量视频及音频流的大量数据，高级数字电视系统的需求越趋增加。
电视的此种高运算能力需求已驱使音频/视频处理核的制造商制造出例如使用深亚微米(deep sub-micron)进程将更多的逻辑整合于一给定管芯尺寸内的设备。随着处理核的复杂度增加，可能需要更深层的亚微米进程。
然而，每当目标进程被改变时，对于内含于处理核内的现有I/O接口电路亦需要进程迁移工作。此类进程不但对于布局重绘(layout redrawing)会产生高额的工程成本，而且对于耗时的设备验证进程(validation processes)亦是如此。
为避免追求更深层进程时所遭遇的I/O接口电路进程迁移，电视制造商可利用芯片外(off-chip)I/O接口方案并利用分离之I/O芯片，而非将I/O接口区块整合于单个处理核芯片内。
附图简述
本发明的实施例系藉由后附图式中的实例加以说明，而非用以限制本发明，其中相似的组件符号系指类似的组件。
图1例示高级数字电视系统的I/O系统架构的一实施例。
图2例示端口处理器的一实施例。
图3例示接口桥接器的某些实施例。
图4例示高级数字电视系统的I/O系统架构的一实施例。
图5例示电子组件的一实施例。
概述
本发明的实施例一般地涉及用于高级数字电视的多媒体I/O系统架构。
在本发明的第一方面中，多媒体系统的实施例包括：I/O(输入/输出)控制芯片，该I/O控制芯片包含一个或多个音频/视频子处理引擎，用于处理一个或多个数据流；处理核芯片，用于处理数据，该数据包含从I/O控制芯片接收的音频/视频数据；以及一个或多个共享I/O通道，用于I/O控制芯片与处理核芯片之间的数据的传送。
详细描述
本发明的实施例一般涉及高级数字电视的多媒体I/O系统架构。
于高级数字电视系统的传统I/O系统架构中，分立的I/O芯片以并联方式连接至处理核芯片，以支持多种I/O端口。此架构是简单直接的，但对于处理核芯片会产生高额的制造成本，因为增加以引脚至引脚(pin-to-pin)方式连接所有I/O芯片所需的引脚数(pincount)。
于某些实施例中，装置或系统包含I/O控制器芯片，其与处理核芯片耦合，该芯片通过一个或多个共享I/O通道进行通信。于某些实施例中，系统的I/O接口被整合于单个I/O控制器芯片内。于某些实施例中，I/O控制器芯片系操作成减少多个数据流传输中的某些数据通信量，以减少I/O控制器芯片与处理核芯片之间的数据通信量。
图1例示了高级数字电视系统的I/O系统架构的实施例。于某些实施例中，系统架构100包含两个芯片组：处理核芯片180与I/O控制器芯片110。于某些实施例中，上述两个芯片通过高性能共享I/O通道或诸通道175彼此进行通信。
于某些实施例中，所有I/O接口电路整合于单个I/O控制器芯片110内。I/O接口块被内部连接至芯片上总线(on-chip bus)系统并共享可用带宽。于某些实施例中，I/O控制芯片110可包含多输入HDMI/DVI端口处理器135、模拟至数字转换器145、以太网接口以及USB集线器(未例示出)、音频/视频子处理引擎125、接口桥接器165以及其它组件。
于某些实施例中，接口桥接器165通过芯片外共享I/O通道175向/从处理核芯片180传送总线事务。共享I/O通道175可为标准接口或专属接口通道，且可为单个接口或由多个接口——包括多个异质接口——组成。于某些实施例中，图1中所示的架构100可产生与多个数据流有关的通信瓶颈(communication bottleneck)。于某些实施例中，为了解决此问题，在I/O控制器芯片内可提供足够的向内，以适应所有的接口带宽。
于某些实施例中，藉由将引脚数最小化且同时支持多种I/O接口，系统架构100的共享通信可被用来减少制造成本。于某些实施例中，音频/视频子处理引擎125可被整合到I/O控制芯片110内。整合此音频/视频子处理引擎125可通过数据压缩及在此数据被传送至处理引擎之前进行大小调整，来减少需要被传送至共享I/O通道175上的通信数据的量。此外，包含此音频/视频子处理引擎125操作用以通过将运算负载分发至I/O控制芯片110来减轻处理核芯片180的负担。
图2是端口处理器的实施例的例示。如图2所示，端口处理器200，例如HDMI/DVI端口处理器，包含数据解密210，例如用以解密由HDCP加密的数据、使用例如图中所示的主复用器215及辅助复用器220来对多个高清晰度音频/视频流进行多路复用，以及进行下缩放或压缩组件225用以产生一个或多个音频/视频数据流230。于某些实施例中，模拟至数字转换器，例如图1中提供的转换器145，将旧有模拟音频/视频输入数据流转换成并行数字数据分组，而音频/视频子处理引擎，例如图1所提供的音频/视频子处理引擎125，通过在经由共享I/O通道发送数据之前处理音频/视频流而从处理核芯片(图1中的处理核芯片180)卸载运算重担。
于某些实施例中，每一个块(例如音频/视频子处理引擎、HDMI/DVI端口处理器、模拟至数字转换器、以太网接口及USB集线器)被连接至接口桥接器(图1中的接口桥接器165)。于某些实施例中，如同存储器映射I/O或通过其它方法，处理核芯片180中的主处理器可控制I/O控制器芯片中的每个块。于某些实施例中，当使用存储器映射I/O方法时，驻留在接口桥接器(图1中的接口桥接器165)后方的每个块被指派一互斥地址范围。于某些实施例中，处理核芯片可利用存储器读/写操作来控制并访问每一I/O区块。于某些实施例中，对于时间紧急(time-critical)的数据流I/O，直接存储器存取可在主处理器的最小介入之下传送数据流。
图3例示了接口桥接器的某些实施例。于某些实施例中，接口桥接器300或305(可为图1中的接口桥接器165)从内部接口块接收结果流作为输入。于某些实施例中，在对接收的数据的处理完成后，接口桥接器300-305通过一个或多个共享I/O通道(图1中的共享I/O通道175)将结果发送至处理核芯片(图1中的处理核芯片180)。
于某些实施例中，当同时传送多种音频/视频流时，有两种模式：关于接口桥接器300示出的第一模式(模式1)，具有利用空白填塞(blank stuffing)的单个流；以及关于接口桥接器305示出的第二模式(模式2)，具有通过仲裁处理的多个流。
于某些实施例中，在单个流空白填塞的第一模式中，主音频/视频流可利用接口桥接器300来进行传送。为了通过流混合器310与主流同时地传送其它子流，用子流数据填塞主流的空白区域。
于某些实施例中，在具有通过仲裁的多个流的第二模式中，其中每个输入流在开始其事务之前从仲裁器320获得一准许。
于某些实施例中，每一模式基于时间共享机制，以将共享I/O通道的带宽进行共享。由于一个或多个共享I/O通道的有限带宽，因此一些所传送的音频/视频流的数据尺寸可能被限制。在某些实施例中，端口处理器及音频/视频子处理引擎可操作以实施下缩放、压缩、帧速率(frame-rate)控制以及其它功能中的一者或多者以减少传送数据的量。
然而，本发明之实施例并不限于任何特定架构，且可利用用于连接I/O接口以及卸载处理核芯片的处理负担的若干使用模型(usage models)中的一个。
于第一使用实例中，在I/O架构，例如图1中所示的I/O架构中，多个音频/视频流(例如HDMI/DVI流及模拟音频/视频流)分别藉由HDMI/DVI端口处理器及模拟至数字转换器转换成数字并行格式。于某些实施例中，流作为一连串数据分组来通过共享I/O通道被传送至处理核芯片。于某些实施例中，处理核芯片接着暂时将流存储于内部存储器中并处理该流以产生最终音频/视频流。于此使用实例中，I/O控制器芯片可主要操作成通过共享I/O通道递送数据流，而大部分音频/视频操纵可由处理核芯片来实施。
于第二使用实例中，同时传送多种高清晰度音频/视频数据流可能需要过多带宽以致于不能容许在同一个共享I/O通道上传递所有数据流。于某些实施例中，一个或多个数据流可以精简格式(reduced format)进行传递，而一个或多个其它数据流系以其原生格式进行传递。于某些实施例中，端口处理器及音频/视频子处理引擎可实施下缩放、帧速率控制、压缩或其它功能，以在将数据流传递至处理核芯片之前产生较低数据率的流或快照。于某些实施例中，处理核芯片接着操作用以完成其余音频/视频数据处理，例如画中画(picture-in-picture)混合。
于第三使用情形中，部份音频/视频运算可由I/O控制芯片内的音频/视频子处理引擎来实施。传递及处理高清晰度音频/视频流不但需要大量共享I/O通道带宽，还需要处理核芯片的大量处理能力。于某些实施例中，在传送数据流至处理核芯片之前，子处理引擎可藉由压缩、画中画覆盖及提升音频/视频数据流来压缩数据量并减少运算复杂度。藉由利用音频/视频子处理引擎的运算能力，所描述的配置可用以卸载处理核芯片的一些运算负担。
于一实例中，电视收看者可能期望在作为画面显示的单个屏幕中观看到多个数据流，例如四个HDMI输入流。于某些实施例中，音频/视频子处理引擎可操作用以将HDMI流合并成单个数据流。于此实例中，共享I/O通道或诸通道上的数据量可减少成原本的量的四分之一。此外，处理核芯片可节省原本将图像合并以产生画中画显示的过程所需的运算能力。
在类似于前述的第三使用情形的第四使用情形中，模拟至数字转换器的输出被连接至HDMI/DVI端口处理器的输入端口。于某些实施例中，此配置可使音频/视频子处理引擎得以接收模拟接口作为输入。于一实例中，当电视收看者期望在作为画中画显示的单个屏幕上观看到模拟输入和HDMI输入时，音频/视频子处理引擎可将HDMI/DVI端口处理器的结果与模拟至数字转换器的结果组合在一起，以产生画中画显示。于某些实施例中，于此使用实例中，处理核芯片可操作用以节省产生画中画显示所需的运算能力。
图4例示了用于高级数字电视系统的I/O系统架构的实施例。系统架构400的元件如以上参照图1所描述的。在此例示中，提供了第五使用情形，其中反向共享I/O通道475被用于将音频/视频数据流从处理核芯片480传送至I/O控制芯片410，示为来自MPEG(运动图像专家组)/H.264(也称为AVC——高级视频编码)解码器的视频460的数据流由HDMI/DVI端口处理器135来接收。于某些实施例中，音频/视频子处理引擎125可用作硬件加速器，其能进行各种音频/视频处理功能，例如图像提升、画中画覆盖以及图像压缩/解压缩。在运算完成后，将结果数据流从I/O控制芯片410传送回处理核芯片480，以显示于显示屏幕上。
在一个示例中，可在电视收看者期望例如将广播电视频道与HDMI输入流一起作为画中画显示进行观赏时使用图4中提供的配置。于某些实施例中，处理核芯片的MPEG/H.264解码器(未例示)解码DTV(数字电视)调谐器(tuner)信号并通过反向共享I/O通道475将经解码的流传送至I/O控制芯片410。于某些实施例中，音频/视频子处理引擎125接着将此数据流作为输入，并将其与相关HDMI数据流合并以产生画中画显示，并且所产生的数据流通过前向共享I/O通道475上被递送回处理核芯片480。
图5示出电子设备的实施例。在此说明中，与本描述并非密切相关的特定标准和公知组件将不被示出。在一些实施例中，设备500可以是包括用于数字电视的I/O架构的设备。
在某些实施例下，设备500包括互连(interconnect)或交叉(crossbar)505及其它可用以数据传输的通信装置。该数据可包括各种类型的数据，包括例如音频-视觉数据及相关控制数据。设备500可包括用于处理信息的处理装置，诸如与互联510耦合的一个或多个处理器505。该处理器510可包括一个或多个物理处理器，以及一个或多个逻辑处理器。此外，每个处理器510可包括多个处理器核。出于简化起见，互联505被例示为单个互联，但可以表示多个不同的互联或总线，并且至此互联的组件连接可以改变。图5中所示的互联505是一抽象概念，其可表示任何一个或多个分开的物理总线、点对点连接或藉由适当的桥接器、适配器或控制器连接的两者。该互联505可包括例如系统总线、PCI或PCIe总线、超传输或工业标准架构(ISA)总线、小型计算机系统总线(SCSI)总线、IIC(I2C)总线、或电气和电子工程师协会IEEE1394总线，有时亦指“火线”。(“高性能串行总线的标准”1394-1995，IEEE，1996年8月30日公布，及补充)
在某些实施例，该设备500还包括随机存取存储器(RAM)，或其它如主存储器515的动态储存装置，用以储存由该处理器510执行的信息和指令。主存储器515也可用于储存数据流或子流的数据。RAM存储器可包括：动态随机存取存储器(DRAM)，其需要刷新存储器内容；以及静态随机存取存储器(SRAM)，其不需要刷新内容，但成本增加。DRAM存储器可包括同步动态随机存取存储器(SDRAM)，其包括用于控制信号的时钟信号)，以及扩展数据输出动态随机存取存储器(EDO DRAM)。在某些实施例中，该系统的存储器可包括特定寄存器或其它特殊用途的存储器。设备500还可包括只读存储器(ROM)525或其它静态储存装置，用于储存处理器510的静态信息和指令。设备500可包括一个或多个非易失性存储器元件530，用于特定元件的的存储。
数据存储520还可被耦合至设备505的互联500，用于储存信息与指令。数据存储520可包括磁盘或其它存储器设备。此类元件可被组合在一起或可以是分开的组件，并且利用设备500的其它元件部分。
设备500也可经由该互联505耦合至输出显示器或呈现设备540。在某些实施例中，显示器540可包括液晶显示器(LCD)或任何其它任何显示技术，用于向最终用户显示信息或内容。在某些实施例中，显示器540可包括触摸屏，该触摸屏也用作输入设备的至少一部分。在一些环境中，显示器540可以是或者可以包含音频设备，诸如用于提供音频信息——包括电视节目的音频部分——的扬声器。
一个或多个传送器或接收器545也可耦合至互联505。在某些实施例中，设备500可包括一个或多个端口550，用于数据的接收或传输。设备500还可包括一个或多个天线555，用于经由无线电信号(诸如Wi-Fi网络)接收数据。
设备500可包括功率设备或系统560，该功率设备或系统可包括电源、电池、太阳能电池、燃料电池或其它用于提供或生成电力的系统或设备。由功率设备或系统560所提供的电力可根据需要分发至设备500的元件。
在以上描述中，出于说明目的阐述了众多具体细节以便提供对本发明的全面理解。然而，对本领域技术人员将显而易见的是，没有这些具体细节中的一些也可实践本发明。在其他情况下，公知结构和设备以框图的形式示出。在所示部件之间可以存在中间结构。本文中所描述或示出的部件可以具有未示出或未描述的附加输入或输出。所示元件或组件还能以不同的排列或次序来安排，包括对任何字段重新排序或修改字段大小。
本发明可包括各种过程。本发明的过程可由硬件组件来执行或可以用计算机可执行指令来包含，这可被用于使得用这些指令编程的通用或专用处理器或逻辑电路执行这些过程。或者，这些过程可由硬件和软件的组合来执行。
本发明的各部分可以作为计算机程序产品来提供，计算机程序产品可包括其上存储有计算机程序指令的非临时计算机可读存储介质，计算机程序指令可被用来对计算机(或其他电子设备)进行编程来执行根据本发明的过程。计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(压缩盘只读存储器)、以及磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储电子指令的其它类型的介质/计算机可读介质。此外，本发明还可作为计算机程序产品来下载，其中该程序可以从远程计算机传送到作出请求的计算机。
许多方法是以其最基本的形式来描述的，但可以向这些方法中的任一个添加或从中删除过程，并且可以向所描述的消息中的任一个添加或从中减去信息，而不背离本发明的基本范围。对本领域技术人员而言显而易见的是，还可以作出许多修改和改编。各具体实施例不是为了限制本发明而是为了说明本发明来提供的。
如果说要素“A”耦合至或耦合于要素“B”，则要素A可直接耦合于要素B或例如通过要素C间接耦合。当说明书和权利要求书声称某一组件、特征、结构、过程或特性A“致使”某一组件、特征、结构、过程或特性B，这表示“A”是“B”的至少部分成因但也可以有至少一个其它组件、特征、结构、过程或特性帮助致使“B”。如果说明书指出“可”、“可以”或“可能”包含某一组件、特征、结构、过程或特性，则不是必须包括该具体组件、特征、结构、过程或特性。如果说明书或权利要求书提到“一”或“一个”要素，这不表示所描述要素只有一个。如果说明书述及“一个(a，英文中的不定冠词)”或“一个(an，英文中的不定冠词)”元件，则这不意味着仅有单个所描述的元件。
实施例是本发明的实现或示例。说明书中对“实施例”、“一个实施例”、“某些实施例”或“其它实施例”的引用表示结合实施例所描述的特定特征、结构或特性包括在至少某些实施例中，但不一定包括在所有实施例中。“实施例”、“一个实施例”或“某些实施例”的多次出现不一定都指示同样的实施例。应当理解，在对本发明的示例性实施例的以上描述中，出于流水线化本发明以及帮助理解各发明性方面中的一个或多个的目的，本发明的各个特征有时被一起分组在单个实施例、附图、或对实施例或附图的描述中。

Claims (20)

1.一种多媒体系统，包括：
I/O(输入/输出)控制芯片，包括用于从外部源接收第一音频/视频数据流的第一输入端口、用于经由一个或多个共享I/O通道从处理核芯片接收第二音频/视频数据流的接口桥接器、以及用于合并所述第一音频/视频数据流和所述第二音频/视频数据流以生成经合并的音频/视频数据流的一个或多个音频/视频子处理引擎，所述接口桥接器进一步用于经由所述一个或多个共享I/O通道将所述经合并的音频/视频数据流从所述一个或多个音频/视频子处理引擎传送给所述处理芯片；
处理核芯片，用于处理从所述I/O控制芯片接收到的所述经合并的音频/视频数据流以便输出画中画显示、并且用于生成所述第二音频/视频数据流；以及
所述一个或多个共享I/O通道，用于将所述经合并的音频/视频数据流从所述I/O控制芯片传送给所述处理核芯片并且将所述第二音频/视频数据流从所述处理核芯片传送给所述I/O控制芯片。
2.如权利要求1所述的系统，其中所述I/O控制芯片进一步包括端口处理器，用于从所述外部源接收所述第一音频/视频数据流并且用于从模拟至数字转换器接收数字音频/视频数据流，所述端口处理器用于将主音频/视频数据流输出给音频/视频子处理引擎并且将原始或缩放音频/视频数据流输出给所述接口桥接器，并且
其中所述接口桥接器进一步被配置为通过所述一个或多个共享I/O通道将所述原始或缩放音频/视频数据流输出给所述处理核芯片。
3.如权利要求2所述的系统，其中所述I/O控制芯片进一步包括所述模拟至数字转换器，用于将模拟音频/视频数据流转换成所述数字音频/视频数据流。
4.如权利要求3所述的系统，其中所述音频/视频处理子引擎被配置为合并所述主音频/视频数据流和所述第二音频/视频数据流以生成所述经合并的音频/视频数据流。
5.如权利要求2所述的系统，其中所述端口处理器为HDMITM(高清晰度多媒体接口)/DVITM(数字视觉接口)兼容处理器。
6.如权利要求1所述的系统，其中所述I/O控制芯片可操作以在经由所述I/O控制器芯片与所述处理核芯片之间的所述一个或多个共享I/O通道传送所述经合并的音频/视频数据流时减少某些数据通信量。
7.如权利要求1所述的系统，其中在传送所述经合并的音频/视频数据流时减少某些数据通信量包括下缩放、帧速率控制和压缩中的一项或多项。
8.如权利要求1所述的系统，其中所述处理核芯片控制所述I/O控制芯片的每个I/O接口块。
9.如权利要求8所述的系统，其中所述每个I/O接口块被指派互斥地址范围，并且其中所述处理核芯片使用存储器读和写操作来控制所述I/O接口块。
10.如权利要求1所述的系统，其中所述接口桥接器被配置为以第一模式或第二模式操作，其中当以所述第一模式操作时，所述接口桥接器利用来自由所述端口处理器输出的原始或缩放音频/视频数据流的子流数据来填充所述经合并的音频/视频数据流的空白区域，并且其中当以所述第二模式操作时，所述接口桥接器应用仲裁以便在所述经合并的音频/视频数据流与所述原始或缩放音频/视频数据流之间进行仲裁。
11.如权利要求1所述的系统，其中所述一个或多个音频/视频子处理引擎生成所述画中画显示。
12.如权利要求1所述的系统，其中所述处理核芯片生成所述画中画显示。
13.如权利要求1所述的系统，其中所述I/O控制芯片进一步包括端口处理器，所述端口处理器包括：
数据解密引擎，用于解密所述第一数字音频/视频数据流；
复用器，用于对所述第一数字音频/视频数据流和所述第二数字音频/视频数据流进行复用以输出主音频/视频数据流和辅助音频/视频数据流；以及
下缩放或压缩引擎，用于下缩放或压缩所述辅助音频/视频数据流以生成原始或缩放音频/视频数据流、并且向所述接口桥接器输出所述原始或缩放音频/视频数据流。
14.一种I/O(输入/输出)控制芯片，可操作以同时处理去往处理核芯片的两个或更多个音频/视频数据流，所述I/O控制芯片包括：
第一输入端口，用于从外部源接收第一音频/视频数据流；
接口桥接器，用于经由一个或多个共享I/O通道从所述处理核芯片接收第二音频/视频数据流，所述接口桥接器耦合至所述一个或多个I/O共享通道；
I/O接口块，包括：
端口处理器，用于接收所述第一音频/视频数据流和所述第二音频/视频数据流并且用于输出主音频/视频数据流和原始或缩放数字视频/音频数据流，所述主音频/视频数据流包括所述第一音频/视频数据流和所述第二音频/视频数据流；
一个或多个音频/视频子处理引擎，用于从所述端口处理器接收所述主音频/视频数据流并且用于将从所述端口处理器接收到的所述主音频/视频数据流中的所述第一音频/视频数据流和所述第二音频/视频数据流合并成经合并的音频/视频数据流，其中所述经合并的音频/视频数据流包括所述第一音频/视频数据流和所述第二音频/视频数据流的画中画显示表示；
其中所述接口桥接器被配置为从所述一个或多个音频/视频子处理引擎接收所述经合并的音频/视频数据流并且从所述端口处理器接收所述原始或缩放数字视频/音频数据流、并且被配置为经由所述一个或多个共享I/O通道将所述经合并的音频/视频数据流传送给所述处理核芯片以供进一步的处理，
其中所述接口桥接器被配置为以第一模式或以第二模式操作，其中当以所述第一模式操作时，所述接口桥接器利用来自所述原始或缩放音频/视频数据流的子流数据来填充所述经合并的音频/视频数据流的空白区域，并且其中当以所述第二模式操作时，所述接口桥接器应用仲裁以便在所述经合并的音频/视频数据流与所述原始或缩放音频/视频数据流之间进行仲裁。
15.如权利要求14所述的I/O控制芯片，其中所述I/O接口块进一步包括模拟至数字转换器，用于将模拟音频/视频数据流转换成数字音频/视频数据以供由所述端口处理器处理。
16.如权利要求14所述的I/O控制芯片，其中所述端口处理器为HDMITM(高清晰度多媒体接口)/DVITM(数字视觉接口)兼容处理器。
17.如权利要求14所述的I/O控制芯片，其中所述I/O控制芯片可操作以在所述I/O控制芯片与所述处理核芯片之间传送所述经合并的音频/视频数据流时减少某些数据通信量。
18.一种同时处理两个或更多个音频/视频数据流的方法，包括：
在I/O控制芯片的端口处理器处接收两个或更多个数字音频/视频数据流，所述两个或多个音频/视频数据流包括第一音频/视频数据流和第二音频/视频数据流；
向所述I/O控制芯片的一个或多个音频/视频子处理引擎同时地提供所述两个或更多个音频/视频数据流；
将所述两个或更多个音频/视频数据流合并成经合并的音频/视频数据流，其中所述经合并的音频/视频数据流包括所述两个或更多个音频/视频数据流的画中画显示表示；
在所述I/O接口芯片的接口桥接器处接收包括所述经合并的音频/视频数据流的总线事务；
在以第一模式操作所述接口桥接器时，利用来自由所述端口处理器输出的原始或缩放音频/视频数据流的子流数据来填充所述经合并的音频/视频数据流的空白区域，以便经由所述I/O接口芯片与处理核芯片之间的一个或多个共享I/O通道将所述经合并的音频/视频数据流传送给所述处理核芯片；以及
在以第二模式操作所述接口桥接器时，应用仲裁以便在所述经合并的音频/视频数据流与所述原始或缩放音频/视频数据流之间进行仲裁，以便经由所述I/O接口芯片与所述处理核芯片之间的所述一个或多个共享I/O通道将所述经合并的音频/视频数据流传送给所述处理核芯片。
19.如权利要求18所述的方法，进一步包括：
在所述I/O控制芯片处接收模拟音频/视频数据流；
在模拟至数字转换器处将所述模拟音频/视频数据流转换成数字音频/视频数据流；以及
将所述数字音频/视频数据流提供给所述端口处理器，所述数字音频/视频数据流是由所述端口处理器接收到的所述两个或更多个音频/视频数据流中的一个音频/视频数据流。
20.如权利要求18所述的方法，其中所述I/O控制芯片在所述I/O控制芯片与所述处理核芯片之间传送所述经合并的音频/视频数据流时减少某些数据通信量。
CN201180059163.1A 2010-12-10 2011-11-29 用于高级数字电视的多媒体i/o系统架构 Expired - Fee Related CN103262559B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US42206310P 2010-12-10 2010-12-10
US61/422,063 2010-12-10
US13/302,452 2011-11-22
US13/302,452 US9516372B2 (en) 2010-12-10 2011-11-22 Multimedia I/O system architecture for advanced digital television
PCT/US2011/062434 WO2012078411A1 (en) 2010-12-10 2011-11-29 Multimedia i/o system architecture for advanced digital television

Publications (2)

Publication Number Publication Date
CN103262559A CN103262559A (zh) 2013-08-21
CN103262559B true CN103262559B (zh) 2017-04-12

Family

ID=46199042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180059163.1A Expired - Fee Related CN103262559B (zh) 2010-12-10 2011-11-29 用于高级数字电视的多媒体i/o系统架构

Country Status (7)

Country Link
US (1) US9516372B2 (zh)
EP (1) EP2649806A4 (zh)
JP (2) JP5942323B2 (zh)
KR (1) KR101920317B1 (zh)
CN (1) CN103262559B (zh)
TW (1) TWI587695B (zh)
WO (1) WO2012078411A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI488046B (zh) * 2013-08-02 2015-06-11 Orise Technology Co Ltd 於智慧型手機／平板電腦中減少視頻訊號於行動工業處理器介面傳輸頻寬及耗電之方法及裝置
US9041863B2 (en) * 2013-08-30 2015-05-26 Xiaomi Inc. Electronic device and method for displaying resources
FR3047378B1 (fr) * 2016-01-29 2018-05-18 STMicroelectronics (Alps) SAS Circuit de fourniture d'un signal video analogique
US10248615B2 (en) * 2016-09-19 2019-04-02 Harman International Industries, Incorporated Distributed processing in a network
US10528505B2 (en) 2016-10-11 2020-01-07 International Business Machines Corporation HDMI devices and methods with stacking support
US10645199B2 (en) * 2018-01-22 2020-05-05 Lattice Semiconductor Corporation Multimedia communication bridge

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101379817A (zh) * 2005-12-20 2009-03-04 萨万特系统有限责任公司 具有可编程服务的可编程多媒体控制器
CN101601291A (zh) * 2007-10-02 2009-12-09 索尼株式会社 传输装置、图像数据传输方法、接收装置和接收装置的图像显示方法
CN101841682A (zh) * 2009-03-16 2010-09-22 三星电子株式会社 处理数字接口信号的设备及其方法
US8925010B2 (en) * 2007-04-02 2014-12-30 Tp Lab, Inc. Method and system for television channel group

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6558049B1 (en) 1996-06-13 2003-05-06 Texas Instruments Incorporated System for processing video in computing devices that multiplexes multiple video streams into a single video stream which is input to a graphics controller
US6718422B1 (en) 1999-07-29 2004-04-06 International Business Machines Corporation Enhanced bus arbiter utilizing variable priority and fairness
KR20020076315A (ko) 2000-03-03 2002-10-09 톰슨 라이센싱 소시에떼 아노님 적어도 두 개의 전송 스트림과 대응하는 디지털 스트림에대한 디멀티플렉싱 디바이스 및 프로세스
JP3974572B2 (ja) * 2003-11-28 2007-09-12 松下電器産業株式会社 画像表示装置、画像データ転送方法、プログラム
TWI243593B (en) 2004-03-05 2005-11-11 Chunghwa Telecom Co Ltd Independent MPEG-2 hardware coding system with a VGA interface
JP2006019997A (ja) 2004-06-30 2006-01-19 Toshiba Corp 動画データ転送システム
US20080007616A1 (en) * 2004-12-06 2008-01-10 Ftd Technology Pte. Ltd. Universal multimedia display adapter
US7525600B2 (en) 2005-01-14 2009-04-28 Broadcom Corporation Single integrated high definition television (HDTV) chip for analog and digital reception
TWI257245B (en) 2005-03-24 2006-06-21 Avermedia Tech Inc Video processing apparatus and computer system integrated with the same
US8560753B1 (en) * 2005-03-30 2013-10-15 Teradici Corporation Method and apparatus for remote input/output in a computer system
JP4070778B2 (ja) 2005-05-13 2008-04-02 株式会社ソニー・コンピュータエンタテインメント 画像処理システム
US20060282785A1 (en) 2005-06-09 2006-12-14 Sbc Knowledge Ventures, L.P. System and method of displaying content in display windows
US7404645B2 (en) 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US8218091B2 (en) * 2006-04-18 2012-07-10 Marvell World Trade Ltd. Shared memory multi video channel display apparatus and methods
US7996869B2 (en) 2006-08-18 2011-08-09 Sony Corporation Automatically reconfigurable multimedia system with interchangeable personality adapters
TW200814776A (en) * 2006-09-11 2008-03-16 Realtek Semiconductor Corp TV system and method of processing video signals
US20080129822A1 (en) 2006-11-07 2008-06-05 Glenn Daniel Clapp Optimized video data transfer
US8565337B2 (en) * 2007-02-07 2013-10-22 Valens Semiconductor Ltd. Devices for transmitting digital video and data over the same wires
US8863187B2 (en) * 2007-04-02 2014-10-14 Tp Lab, Inc. System and method for presenting multiple pictures on a television
US8695034B2 (en) 2007-08-31 2014-04-08 Silicon Image, Inc. Delivering on screen display data to existing display devices
KR20100058334A (ko) 2008-11-24 2010-06-03 삼성전자주식회사 디스플레이장치, 디스플레이 시스템 및 디스플레이장치의 제어방법
KR101606133B1 (ko) 2009-02-10 2016-03-24 삼성전자주식회사 디지털 티브이와 외부 기기를 이용한 디지털 멀티미디어 방송 서비스 제공 방법 및 장치
US8248535B2 (en) * 2009-02-18 2012-08-21 Csr Technology Inc. System and method for a versatile display pipeline architecture for an LCD display panel
KR101570696B1 (ko) 2009-05-29 2015-11-20 엘지전자 주식회사 영상표시장치 및 그 동작방법
US9325929B2 (en) * 2010-04-29 2016-04-26 Ati Technologies Ulc Power management in multi-stream audio/video devices
US8698958B2 (en) * 2010-06-16 2014-04-15 Silicon Image, Inc. Mechanism for memory reduction in picture-in-picture video generation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101379817A (zh) * 2005-12-20 2009-03-04 萨万特系统有限责任公司 具有可编程服务的可编程多媒体控制器
US8925010B2 (en) * 2007-04-02 2014-12-30 Tp Lab, Inc. Method and system for television channel group
CN101601291A (zh) * 2007-10-02 2009-12-09 索尼株式会社 传输装置、图像数据传输方法、接收装置和接收装置的图像显示方法
CN101841682A (zh) * 2009-03-16 2010-09-22 三星电子株式会社 处理数字接口信号的设备及其方法

Also Published As

Publication number Publication date
US20120147271A1 (en) 2012-06-14
JP2016178667A (ja) 2016-10-06
TWI587695B (zh) 2017-06-11
WO2012078411A1 (en) 2012-06-14
CN103262559A (zh) 2013-08-21
KR20140032967A (ko) 2014-03-17
EP2649806A1 (en) 2013-10-16
JP2014504479A (ja) 2014-02-20
KR101920317B1 (ko) 2018-11-20
EP2649806A4 (en) 2014-05-14
TW201242339A (en) 2012-10-16
JP5942323B2 (ja) 2016-06-29
US9516372B2 (en) 2016-12-06
JP6196705B2 (ja) 2017-09-13

Similar Documents

Publication Publication Date Title
CN103262559B (zh) 用于高级数字电视的多媒体i/o系统架构
CN103903568B (zh) Led显示屏控制卡
EP3085078B1 (en) Video latency reduction
CN102193865B (zh) 存储系统、存储方法和使用其的终端
CN102948160B (zh) 用于画中画视频生成中的存储器缩减的机制
CN102656851B (zh) 将数据流去封装进入多个链路中的方法、装置及系统
CN107168666A (zh) 基于usb接口的音视频传输和多屏映射的系统和方法
EP2917843A2 (en) Flexible implementation of serial bus support over display interface
TW201016001A (en) Signal conversion apparatuses and display systems
US20140173249A1 (en) System and method for connecting a system on chip processor and an external processor
US8681170B2 (en) Apparatus and method for multi-streaming for more than three pixel component values
CN106209523B (zh) 一种屏幕共享的实现方法、装置和媒体终端
CN101452692B (zh) 固件更新的系统
CN103402069B (zh) 电子设备及其显示装置与信号处理装置
CN103391475B (zh) 显示装置及智能装置
CN105704408A (zh) 异步图像实时叠加控制器及其叠加方法
CN107197188B (zh) 多设备级联系统和具有视频接口的设备
US20190026243A1 (en) Display controller
CN105590614B (zh) 与可编程逻辑的处理系统显示控制器接口
CN106851297A (zh) 基于fmc的多功能高清视频压缩编码电路装置
CN103021340B (zh) 一种led显示屏控制装置
CN201298895Y (zh) 一种高清晰hdmi1.3数字分配器
CN211880499U (zh) 多媒体信号转换装置
CN103974102A (zh) 一种机顶盒

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151109

Address after: oregon

Applicant after: Lattice Semiconductor Corp.

Address before: California, USA

Applicant before: SILICON IMAGE, Inc.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20211129