CN101626473B - 影像声音处理用集成电路 - Google Patents

影像声音处理用集成电路 Download PDF

Info

Publication number
CN101626473B
CN101626473B CN200910164112XA CN200910164112A CN101626473B CN 101626473 B CN101626473 B CN 101626473B CN 200910164112X A CN200910164112X A CN 200910164112XA CN 200910164112 A CN200910164112 A CN 200910164112A CN 101626473 B CN101626473 B CN 101626473B
Authority
CN
China
Prior art keywords
mentioned
video
data
integrated circuit
audio processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200910164112XA
Other languages
English (en)
Other versions
CN101626473A (zh
Inventor
木村浩三
清原督三
水野洋
道山淳儿
北村朋彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101626473A publication Critical patent/CN101626473A/zh
Application granted granted Critical
Publication of CN101626473B publication Critical patent/CN101626473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4027—Coupling between buses using bus bridges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Abstract

提供能够将在影像声音设备的开发中得到的设计资源也转用到其他种类的影像声音设备中的影像声音处理用集成电路。具备：微型计算机块(2)，具有CPU；流I/O块(4)，与外部装置进行影像及声音流的输入输出；媒体处理块(3)，执行媒体处理，该媒体处理包括输入到流I/O块(4)中的影像及声音流等的压缩及扩展中的至少1个；AVIO块(5)，将由媒体处理块(3)进行媒体处理后的影像及声音流变换为影像及声音信号，并输出给外部设备等；存储器IF块(6)，控制微型计算机块(2)、流I/O块(4)、媒体处理块(3)及AVIO块(5)与外部存储器(9)之间的数据传送。

Description

影像声音处理用集成电路
本申请是申请日为2005年4月1日，申请号为200580010416.0，发明名称为“影像声音处理用集成电路”的申请的分案申请。
技术领域
本发明涉及影像声音处理用集成电路，特别涉及作为在各种应用中使用的系统LSI实现的影像声音处理用集成电路。
背景技术
随着近年来的数字技术、动态图像及声音的压缩扩展技术的迅速发展，数字电视机(DTV)、DVD录制机等数字视频记录机(DVR)、便携电话、数字照相机等影像声音设备越来越寻求高功能化、小型化。为此，在这样的影像声音设备的开发现场，开发期间的缩短化成为较大的课题。
以往，为了支持影像声音设备的开发，有将有关影像声音功能的处理所需的多个功能块作为1个LSI实现的技术(例如参照非专利文献1)。
该以往的LSI具备媒体处理所需的DSP(Digital Signal Processor，数字信号处理器)核心、各种视频I/O、RGB、I/O、MPEG-2传输流I/F、LANI/F等。设备的开发者通过使用这样的LSI，不需要分别开发影像声音处理所需的各功能块中的硬件电路。
非专利文献1：“TMS320DM642 Technical Overview”，テキサルインツルメンツ社，p.4等
但是，上述以往的LSI由于不具备与利用声音等的电话的I/F、及电力控制等用来实现低功耗的功能等，所以有不适合便携电话及数字照相机等移动类用途的问题。因此，即使利用上述以往的LSI实现例如DTV等服务器类设备，也不能将因此得到的软件等设计资源转用到便携电话等移动类设备中。
进而，在利用上述以往的LSI开发影像声音设备的情况下，对于用来暂时保存影像及声音数据的存储器和各处理块之间的接口，开发者必须独立地设计。例如，在设计能够由多个处理块共用的共用存储器的情况下，必须确保各处理块与存储器之间的传送频带，并且考虑等待时间(latency)的保证。为此，实际情况是不能削减高功能的影像声音设备的开发工作量。
发明内容
所以，本发明是鉴于这样的以往的问题而做出的，目的是提供一种影像声音处理用集成电路，该影像声音处理用集成电路不仅能够用于DTV及DVR等服务器类影像声音设备，还能够作为便携电话及数字照相机等移动类影像声音设备的系统LSI使用，并且在这些影像声音设备的开发中得到的设计资源也能够转用到其他种类的影像声音设备中。
进而，本发明的目的是提供一种能够容易地确保保存影像及声音数据的存储器与各处理块之间的接口的传送频带及等待时间保证的影像声音处理用集成电路。
为了达到上述目的，有关本发明的影像声音处理用集成电路是处理影像及声音信号的影像声音处理用集成电路，其特征在于，具备：微型计算机块，具有CPU；流输入输出块，在上述微型计算机块的控制下，与外部装置进行影像及声音流的输入输出；媒体处理块，在上述微型计算机块的控制下，执行媒体处理，该媒体处理包括输入到上述流输入输出块中的、或者从上述流输入输出块输出的影像及声音流的压缩及扩展中的至少1个；AV输入输出块，在上述微型计算机块的控制下，将由上述媒体处理块进行媒体处理后的影像及声音流变换为影像及声音信号，并输出给外部设备，或者从外部设备取得影像及声音信号，并变换为由上述媒体处理块进行媒体处理的影像及声音流；存储器接口块，在上述微型计算机块的控制下，控制上述微型计算机块、上述流输入输出块、上述媒体处理块及上述AV输入输出块与存储器之间的数据传送。
由此，例如通过使上述微型计算机块、上述流输入输出块、上述媒体处理块、以及上述AV输入输出块利用专用的数据总线与上述存储器接口块连接，在上述微型计算机块、上述流输入输出块、上述媒体处理块、以及上述AV输入输出块之间，经由上述存储器进行上述影像及声音流的收发，由此，4种处理块不是分别相互地连接，而是经由共用的存储器连接。因而，对各处理块的控制编程都只要设计为与存储器之间输入输出数据就可以，与其他处理块中的处理分离。由此，提高了应用程序相对于各处理块的独立性，能够实现设计资源的转用。
这里，上述存储器接口块也可以中继数据传送，以便并行地进行上述微型计算机块、上述流输入输出块、上述媒体处理块、以及上述AV输入输出块与上述存储器之间的数据传送；上述微型计算机块、上述流输入输出块、上述媒体处理块、以及上述AV输入输出块也可以在将上述影像及声音流保存到上述存储器中之后，将已保存的消息通知给其他块。由此，存储器成为经由存储器接口块被各处理块共有，通过使数据传送、协调的控制及管理处理集中于存储器接口块，存储器与各处理块的接口的传送频带的确保及等待事件保证变得容易。
此外，也可以是，上述流输入输出块例如具有与上述外部装置进行影像及声音流的收发的接口部、进行所收发的影像及声音流的加密或解密的加密处理部、以及控制上述外部装置与上述存储器的数据传送的直接内存存取控制部；上述媒体处理块例如具有并行地执行多个信号处理指令的指令并行处理器、执行运算处理的加速器、以及控制与上述存储器的数据传送的直接内存存取控制部；上述AV输入输出块例如具有进行图像数据的图形处理的图形引擎、以及变换影像信号的格式的格式变换部；上述存储器接口块例如具有与上述微型计算机块、上述流输入输出块、上述媒体处理块、以及上述AV输入输出块连接的多个端口、以及调整上述多个端口各自的数据传送定时的存储器调度器。
进而，作为移动用的应用，上述微型计算机块优选地还具有接通/断开向上述CPU时钟的供给的时钟控制部以及接通/断开电源的供给的电源控制部中的至少1个。
此外，作为服务器用的应用，上述媒体处理块优选地还具备并行地执行对多个数据的运算的数据并行处理器。
此外，也可以是，上述影像声音处理用集成电路还具备将上述流输入输出块和上述媒体处理块连接的信号线；上述媒体处理块执行影像及声音流的媒体处理，该影像及声音流经由上述信号线从上述流输入输出块输入，或者经由上述信号线输出给上述流输入输出块。这是因为，在从流输入输出块发送来的流数据是低位速率的情况下，高速动作的媒体处理块直接接收流数据并执行媒体处理，这样，由于不经由存储器的那部分，而安全性提高，配合功耗的削减，可以提高处理效率。
此外，作为具体的应用，上述影像声音处理用集成电路被用作不同的多个设备用的系统LSI；在上述设备中包括数字电视机、数字视频录制机、摄像机及便携电话。
并且，在设上述设备中的1个为第1设备、设另1个为第2设备的情况下，也可以使CPU的指令组具有互换性、或使媒体处理器的指令组具有互换性、或使CPU或媒体处理器的核心具有软宏的共用性、或具有硬宏的公用性、或具有存储器映象的共用性。
此外，也可以是，上述AV输入输出块还通过对从由上述媒体处理块进行媒体处理后的影像流变换来的、或从外部设备取得的影像信号进行析像度变换处理，生成记录用影像信号，并且生成区域特征信息，该区域特征信息表示由上述记录用影像信号表示的影像区域的区域内总和以及区域间差分的至少一个；上述媒体处理块还参照上述区域特征信息，将上述记录用影像信号变换为记录用影像流。
此外，优选为，上述影像声音处理用集成电路还具备连接上述媒体处理块和上述AV输入输出块的信号线；在上述媒体处理块及上述AV输入输出块之间经由上述信号线进行上述区域特征信息的收发。
根据该结构，上述媒体处理块能够参照在上述AV输入输出块中获知的区域特征信息，决定记录图像的压缩中的I图片、或动态地调整压缩率。由此，上述影像声音处理用集成电路不会花费用来得到区域特征信息的重复成本，能够在维持高速度性能的同时实现画质与数据量的良好协调。
此外，也可以是，上述媒体处理块与一个影像声音多路复用流相关联，一边时分割地执行流的多路复用或多路分离处理、图像数据的压缩或扩展处理、声音数据的压缩或扩展处理，一边禁止上述流的多路复用或多路分离处理在规定的时间内多次启动。
此外，优选为，上述媒体处理块具有时分割地演绎多个逻辑处理器的假想多处理器；上述流的多路复用或多路分离处理、上述图像数据的压缩或扩展处理、上述声音数据的压缩或扩展处理分别由上述假想多处理器所演绎的不同的逻辑处理器执行；执行上述流的多路复用或多路分离处理的逻辑处理器在处理完上述流的规定单位后，进行休眠直到规定的定时器(Timer)终止。
根据该结构，由于没有广播类、以及可过剩地输入流的存储类的区别，自律地抑制了流处理的过剩执行，所以不仅将图像、声音处理的破绽防止于未然，而且在流输入输出块中也不需要对向媒体处理块发送的流量进行上限管理。作为它们的总体，应用程序相对于各处理块的独立性、简明性提高，进而对设计资源的转用促进做出贡献。
另外，本发明不仅可以作为这样的系统LSI实现，而且可以作为使用了这样的系统LSI的设备的设计开发方法来实现。即，也可以作为如下的设计开发方法来实现：在设数字电视机、数字视频录制机、摄像机及便携电话等设备中的1个为第1设备、设另1个为第2设备的情况下，由上述第1设备用的影像声音处理用集成电路和上述第2设备用的影像声音处理用集成电路共通地进行的处理：在由上述第1设备用的影像声音处理用集成电路的微型计算机块进行的情况下，由上述第2设备用的影像声音处理用集成电路的微型计算机块进行上述处理；在由上述第1设备用的影像声音处理用集成电路的流输入输出块进行的情况下，由上述第2设备用的影像声音处理用集成电路的流输入输出块进行上述处理；在由上述第1设备用的影像声音处理用集成电路的媒体处理块进行的情况下，由上述第2设备用的影像声音处理用集成电路的媒体处理块进行上述处理；在由上述第1设备用的影像声音处理用集成电路的AV输入输出块进行的情况下，由上述第2设备用的影像声音处理用集成电路的AV输入输出块进行上述处理。
发明效果
根据本发明，不仅对DTV及DVR等服务器类影像声音设备、对于便携电话及摄像机等移动类影像声音设备也能够使用共用的系统LSI实现。并且，在这些影像声音设备间能够实现设计资源的转用。
此外，保存影像及声音数据的存储器与各处理块之间的接口的传送频带的确保及等待时间保证变得容易，能够在较短的期间内开发高功能的影像声音设备。
这样，根据本发明，缩短了影像声音设备的开发期间，在对于影像声音设备越来越要求高功能的影像声音处理的当今，实用价值很高。
附图说明
图1是表示有关本发明的影像声音处理用集成电路的基本结构的功能框图。
图2是影像声音处理用集成电路的构造图。
图3是表示适合于移动类应用的影像声音处理用集成电路的详细结构的功能框图。
图4是表示影像声音处理用集成电路的动作步骤的流程图。
图5是表示图4所示的动作的数据流的图。
图6(a)～图6(d)是表示图4所示的动作中的各处理块中的处理状况的图。
图7是表示适合于服务器类应用的影像声音处理用集成电路的详细结构的功能框图。
图8是表示影像声音处理用集成电路的特征的说明图。
图9是表示提高了影像处理的性能的影像声音处理用集成电路的详细结构的功能框图。
图10是表示影像声音处理用集成电路的动作步骤的流程图。
图11是表示图10所示的动作的数据流的图。
图12(a)、图12(b)是表示图10所示的动作的各处理块中的处理内容的图。
图13是表示适合于流处理的影像声音处理用集成电路的详细结构的功能框图。
图14是表示有关流处理的假想多路处理器的动作步骤的流程图。
图15(a)、图15(b)是表示图14所示的动作中的假想处理器的分配定时的图。
图16(a)～图16(c)是表示处理2个流时的假想处理器的分配定时的图。
符号说明
1、100、100a、200、200a影像声音处理用集成电路
1a              半导体基板
1b              电路层
1c              下位布线层
1d              上位布线层
2、10、210      微型计算机块
3、20、220      媒体处理块
4、30、230      AVIO块
5、40、240      存储器IF块
6、50、250      存储器IF块
7、60           控制总线
8a～8d、71～75  数据总线
9               外部存储器
11              DMA部
12              CPU部
13              微型计算机周边部
14              时钟控制部
15              电源控制部
21          指令并行处理器
21a         假想多处理器
22          定序器部
23～26      加速器
27          DMAC部
28          流处理抑制定时器
32          加密引擎部
33          安全管理部
34          DMAC部
35          流处理部
36          设备IF部
41          图形引擎部
42          视频输入格式变换部
43          摄像处理引擎部
44          音频IF部
45          视频输出格式变换部
51          存储器调度器
51a～51c    子系统IF
52          缓存部
53          内置RAM
101         快闪存储器
102         其他CPU
102～104    外部设备
103         存储卡
104         PDA
105         高速IF
106         SDRAM
107         LCD
108        数字照相机
201        外部总处理器
202        TV调谐器
203        以太网控制器
205        USB
206        硬盘
207        光盘
208        差动IF
210、211   外部存储器
212        大型LCD
221        数据并行处理器
231        流处理部
232        设备IF部
具体实施方式
下面利用附图对本发明的实施方式详细地说明。
图1是表示有关本发明的影像声音处理用集成电路1的基本结构的功能框图。有关本发明的影像声音处理用集成电路1如后述那样，能够通过改变若干的电路结构而实现适合于便携电话及数字照相机等移动类影像声音设备的电路结构，或者适合于DTV及DVR等服务器类影像声音设备，但在哪个应用中都具有通用的架构，在本图中表示其通用的架构。
该影像声音处理用集成电路1是进行有关影像声音流的各种信号处理的系统LSI，具有微型计算机块2、媒体处理块3、流I/O块4、AVIO(AudioVisual Input Output，音频视频输入输出)块5及存储器IF块6。
微型计算机块2是控制影像声音处理用集成电路1整体的处理器，是经由控制总线7控制各处理块3～6、或经由数据总线8b及存储器IF块6访问外部存储器9的电路块。这里的处理是不依赖于影像声音的输出循环(帧速率等)的非实时的通用(控制关联的)处理。
流I/O块4是在微型计算机块2的控制下从存储媒体及网络等周边设备读入压缩图像声音流等流数据、并经由数据总线8a及存储器IF块6保存在外部存储器9中、或进行其反方向的流传送的电路块。这里的处理是不依赖于影像声音的输出循环(帧速率等)的非实时的IO处理。
媒体处理块3是在微型计算机块2的控制下经由数据总线8c及存储器IF块6从外部存储器9读出压缩图像声音流等图像声音数据、进行压缩或扩展等媒体处理后、再次经由数据总线8c及存储器IF块6将处理后的图像数据及声音数据保存到外部存储器9中的电路块。这里的处理是依赖于影像声音的输出循环(帧速率等)的实时的通用(媒体相关的)处理。
AVIO块5是在微型计算机块2的控制下经由数据总线8d及存储器IF块6从外部存储器9读出图像数据及声音数据等、实施各种图形处理后、作为图像信号及声音信号输出给外部的显示装置及扬声器等、或进行其反方向的数据传送的电路块。这里的处理是依赖于影像声音的输出循环(帧速率等)的实时的IO处理。
存储器IF块6是在微型计算机块2的控制下进行控制以便在各处理块2～5与外部存储器9之间并行地进行数据请求的电路块。此时，根据来自微型计算机块2的请求确保各处理块2～5与外部存储器9之间的传送频带，并且进行等待时间保证。
由此，以媒体处理块3为代表的各块通过确保所提供的功能所需的带宽，并且保证所要求的访问等待时间，能够实现在块单独或多个块的协同动作下所提供的应用的性能保证及实时性的保证。
另外，用来确保带宽并保证等待时间的技术由于已在日本特开2004-246862号公报中详细公开了其代表性的一例，所以这里省略详细的说明。
这样，有关本发明的影像声音处理用集成电路1除了具有由实时性和处理的种类(IO处理/非IO(通用的)处理)的组合而设定的4个特征处理块2～5、即执行非实时的通用的处理的微型计算机块2、执行实施的通用的处理的媒体处理块3、执行非实时的I/O处理的流I/O块4、以及执行实时的I/O处理的AVIO块5以外，还具有将这4个处理块2～5和专用的数据总线8a～8d连接的存储器IF块6，具备移动类的应用和服务器类的应用两者共用的架构。
即，4种处理块不是分别相互连接，而是经由共用的外部存储器9连接。因而，对各处理块的控制编程都只要设计为与外部存储器9之间输入输出数据就可以，与其他处理块中的处理分离。由此，应用程序相对于各处理块的独立性变高，各处理块不会受到来自其他处理块的影响，只要仅考虑各处理块与存储器IF之间的规格就可以，所以能够提高设计效率，并且即使在向其他应用扩展的情况下，也能够通过只变更所需的块的结构来进行该其他应用的处理，所以能够实现设计资源的转用。
例如，能够将为了组装到便携电话等移动类的影像声音设备中而开发出的影像声音处理用集成电路的应用程序(例如将便携电话接收到的压缩声音流用媒体处理块扩展的应用程序)转用作组装到DTV等服务器类影像声音设备中的影像声音处理用集成电路的应用程序(例如将包含在DTV接收到的传送流中的声音流用媒体处理块扩展的应用程序)。
即，在将DTV、DVR、摄像机、便携电话等设备中的1个作为第1设备、将另1个作为第2设备的情况下，由第1设备用的影像声音处理用集成电路和第2设备用的影像声音处理用集成电路共用地进行的处理可以设计开发为，在由第1设备用的影像声音处理用集成电路的微型计算机块进行的情况下，由第2设备用的影像声音处理用集成电路的微型计算机块进行该处理，在由第1设备用的影像声音处理用集成电路的流I/O块进行的情况下，由第2设备用的影像声音处理用集成电路的流I/O块进行该处理，在由第1设备用的影像声音处理用集成电路的媒体处理块进行的情况下，由第2设备用的影像声音处理用集成电路的媒体处理块进行该处理，在由第1设备用的影像声音处理用集成电路的AVIO块进行的情况下，由第2设备用的影像声音处理用集成电路的AVIO块进行该处理。这样，通过使第1设备用的影像声音处理用集成电路的各块的处理的分担与第2设备用的影像声音处理用集成电路的各块的处理的分担共用化，能够转用各块的硬件与软件的设计资源。
另外，该影像声音处理用集成电路1是形成在1个半导体基板上的1芯片LSI，但作为制造工序上的结构，如图2所示，具有半导体基板1a、电路层1b、下位布线层1c及上位布线层1d。电路层1b相当于各处理块2～5的电路要素，下位布线层1c相当于与各处理块2～5的电路要素连接的各处理块2～5内的布线，上位布线层1d相当于将各处理块2～5之间连接的总线(控制总线7及数据总线8a～8d)。这样，将布线层分离为各处理块内的布线和将各处理块间连接的布线，通过进行不同的掩模设计，分离为各处理块的内部与外部的布线设计，设计变得容易。
接着，更详细地说明有关本发明的影像声音处理用集成电路中的、适合于便携电话及摄像机等移动类应用的类型的影像声音处理用集成电路。
图3是表示适合于移动类应用的影像声音处理用集成电路100的详细结构的功能框图。
影像声音处理用集成电路100是适合于需要无线通信及低功耗化的功能的移动类影像声音设备的系统LSI，具有微型计算机块10、媒体处理块20、流I/O块30、AVIO块40及存储器IF块50。
微型计算机块10是经由控制总线60控制各处理块20～40、或经由数据总线71访问SDRAM(Synchronous DRAM：同步DRAM)106的电路块，具备DMA(Direct Memory Access：直接内存存取)部11、CPU部12、微型计算机周边部13、时钟控制部14及电源控制部15等。
DMA部11是直接内存存取用的控制器，例如通过将保存在经由外部总线连接的快闪存储器101中的用户程序等直接传送给CPU部12内的程序存储器等来下载。
CPU部12是具有定时功能及中断功能的处理器核心，按照保存在内部的程序存储器等中的程序，进行该影像声音处理用集成电路100整体的控制。另外，在内部的程序存储器等中，预先保存有OS等基本软件。
微型计算机周边部13是中断控制电路及周边I/O端口等。
时钟控制部14是对各电路供给时钟、并且通过在CPU部12等处于空闲状态时停止向CPU部12等的时钟供给等来实现低功耗化的电路。
电源控制部15是对各电路供给电源、并且通过在各处理块处于空闲状态等时停止向各处理块的电源供给等来实现低功耗化的电路。
媒体处理块20是在微型计算机块10的控制下、将从SDRAM106经由数据总线72a及72b读出的图像、音频、声音数据按照MPEG规格等压缩、扩展的高速的DSP等，具备指令并行处理器21、定序器部22、第1～第4加速器(ACC；accelerator)部23～26及DMAC部27等。另外，该媒体处理块20也可以不经由SDRAM106，而是从流I/O块30经由数据总线74直接获取流数据。这是因为，在从流I/O块30发送来的流数据是低位速率的情况下，高速动作的媒体处理块20直接接收流数据并执行媒体处理，从而因不经由SDRAM106那部分，而能够实现安全性提高、功耗削减、以及处理效率提高。
指令并行处理器21是并行地执行多个指令(信号处理指令)的处理器，进行各结构要素22～27的整体控制。
定序器部22在指令并行处理器21的控制下，控制第1～第4加速器部23～26的处理次序。
第1～第4加速器部23～26分别并行地动作，是对图像、视频、声音数据进行DCT(Discrete Cosine Transform：离散余弦变换)、反DCT、量化、反量化、运动检测、运动补偿等压缩、扩展等的媒体处理的运算处理引擎。
DMAC部27是直接内存存取用的控制器，例如经由数据总线72a及72b等控制与SDRAM106之间的数据的直接传送。
另外，该媒体处理块20是用于移动类应用的低电力化对应电路。具体而言，不是功耗较高的通用的数据处理处理器，而是通过第1～第4加速器部23～26那样的低功耗的专用硬件引擎实现的，具备自动检测不存在处理数据等的空闲状态而停止(自动停止控制)、或切断时钟供给(选通时钟)功能。
流I/O块30是从外部设备102～104接收流数据、经由数据总线70保存到SDRAM106中、或进行相反的数据传送的电路块，具备加密引擎部32、安全管理部33、DMAC部34、流处理部35及设备IF部36等。
加密引擎部32是将所输入的加密流数据及密钥数据等解密、或将传递给外部设备102～104的密钥数据加密的加密器及解密器。
安全管理部33是与外部设备102～104之间进行所需的设备认证协议等的执行控制、或保持私钥的耐篡改的电路。
DMAC部34是直接内存存取用的控制器，例如将经由设备IF部36输入的流数据经由数据总线70直接传送给SDRAM106。
流处理部35将经由设备IF部36从外部设备102～104输入的流数据多路分离。
设备IF部36是在便携电话等中使用的通信处理器等的用来与其他CPU102之间进行收发的IO端口、用来与SD(商标)卡等存储卡103之间读写的IO端口、用来与PDA104等之间进行红外线通信等的IO端口等的集合。
AVIO块40是将保存在SDRAM106中的影像及声音流经由数据总线73a及73b读出、输出给LCD107等、或将从数字照相机108发送来的影像数据经由数据总线73a及73b保存到SDRAM106中的电路块，具备图形引擎部41、视频输入格式变换部42、摄像处理引擎部43、音频IF部44以及视频输出格式变换部45等。
图形引擎部41是进行过滤处理、画面合成、曲线描绘、3D显示等图形处理的高性能图形引擎。
视频输入格式变换部42将输入到该影像声音处理用集成电路100中的影像数据的因色彩空间等所引起的信号格式变换为适合于内部处理的格式。
摄像处理引擎部43进行对从数字照相机108等输入的静止图像及动态图像的高画质摄像处理。
音频IF部44是与麦克风、扬声器等之间输入输出声音信号的A/D变换器、D/A变换器等。
视频输出格式变换部45将所输出的影像信号的因色彩空间等所引起的信号格式变换为适合LCD107等的格式。
存储器IF块50是控制在该影像声音处理用集成电路100和SDRAM106等外部存储器及高速IF105之间的数据传送的接口电路，具备存储器调度器51、缓存部52及内置RAM53等。
存储器调度器51是具有与各处理块10～40及高速IF105之间并行地输入输出数据的端口(子系统IF51a～51c)的定序器，按照来自微型计算机块10的指示，对各子系统IF51a～51a的每一个确保一定的传送频带，并且保证等待时间。
缓存部52是对SDRAM106和存储器调度器51之间的数据传送进行中继的高速的缓冲存储器。
内置RAM53是存储器调度器51用来对各子系统IF51a～51a的每一个保证一定频带的数据传送的数据保存用缓冲存储器。
接着，利用图4～图6对以上那样构成的影像声音处理用集成电路100的动作进行说明。
图4是表示将压缩图像声音流从存储卡103读出并扩展后、作为图像信号及声音信号输出时的影像声音处理用集成电路100的动作步骤的流程图。图5是表示此时的数据流的图。图6是表示各处理块20～40中的处理状况的图。
首先微型计算机块10按照内装的程序，进行各处理块20～40的初始设定等(图4的S10)。例如，对媒体处理块20指示基于MPEG4的扩展处理，对流I/O块30指示读出保存在存储卡103中的压缩图像声音流，对AVIO块40指示声音输出和向LCD107的影像输出。
接着，流I/O块30读出保存在存储卡103中的压缩图像声音流，经由存储器IF块50保存在SDRAM106中(图4的S11、图5的S20)。该压缩图像声音流例如如图6(a)所示，是将图像与声音的位串多路复用后的构造。
接着，媒体处理块20读出保存在SDRAM106中的压缩图像声音流，根据其头信息等进行分析处理，来多路分离成图6(b)所示那样的图像流和声音流，将分离后的各流数据经由存储器IF块50写回到SDRAM106中(图4的S12、图5的S21)。
接着，媒体处理块20再次将图像流和声音流从SDRAM106读出，实施了扩展处理后，作为图6(c)所示的图像数据(例如对每个像素以8位表现的图像数据)及声音数据(以16位/样本表现的声音数据)写回到SDRAM106中(图4的S13、图5的S22)。
最后，AVIO块40从SDRAM106读出图像流和声音流，对于图像流实施向REC656格式等的格式变换，对于声音数据实施D/A变换等后，分别作为图像信号及声音信号，如图6(d)所示，输出给LCD107及扬声器等(图4的S14、图5的S23、S24)。
另外，上述各处理块的处理(图4的S11～S14)对于图像流以数据包、微块、切片(slice)、图片等单位进行流水线处理，对于声音流以数据包、帧等单位进行流水线处理。此时，微型计算机块10、媒体处理块20、流I/O块30及AVIO块40在已将图像及声音流的数据包等保存到SDRAM106中的情况下，将已保存的消息通知给其他块。由此使各流水线工序流动。
这样，根据有关本发明的影像声音处理用集成电路100，从存储卡103等外部设备得到的压缩图像声音流被多路分离为图像流和声音流并扩展后，进行格式变换，作为图像信号及声音信号输出。即，能够仅通过1个LSI和外部存储器(SDRAM106)进行保存在外部设备中的压缩图像声音流的再现。
并且，根据该影像声音处理用集成电路100，并不具备对各处理块的每个暂时保存图像数据及声音数据的缓冲存储器，而是具备所有的处理块共用的共用存储器(SDRAM106)。因而，能够自由地决定分配给各处理块的存储器容量，能够将该影像声音处理用集成电路100应用于各处理块中的数据产生量及处理负荷不同的各种应用。此外，由于各块不需要独立具备缓冲存储器，所以该影像声音处理用集成电路100整体能够缩小芯片尺寸。
接着，更详细地说明有关本发明的影像声音处理用集成电路中的、适合于DTV及DVR等服务器类应用的类型的影像声音处理用集成电路。
图7是表示适合于服务器类应用的影像声音处理用集成电路200的详细结构的功能框图。
该影像声音处理用集成电路200是适合于需要与各种周边设备连接及各种各样的媒体处理的服务器类影像声音设备的系统LSI，具有微型计算机块210、媒体处理块220、流I/O块230、AVIO块240及存储器IF块250。各处理块210～250基本上具备与上述影像声音处理用集成电路100的各处理块10～50同样的结构。以下，对于与上述影像声音处理用集成电路100同样的结构要素赋予相同的标号并省略说明。
微型计算机块210具备从上述影像声音处理用集成电路100的微型计算机块10中除去了时钟控制部14与电源控制部15之后的结构。因为在服务器类的应用中不需要这些低功耗用电路。另外，该微型计算机块210也可以经由外部总线与作为影像声音设备的主处理器的外部总处理器201连接，在外部总处理器201的控制下动作。
媒体处理块220具备将上述影像声音处理用集成电路100的媒体处理块20中的1个加速器代替为数据并行处理器221的结构。数据并行处理器221是通过1个指令执行对多个数据的运算的SIMD(Single InstructionMultiple Data：单指令多数据)型的处理器，具备可并行执行的8个或16个(低并行度或高并行度)的PE(处理器元素)，与加速器相比功耗较大，但数据处理量较大，能够处理的运算的种类丰富，能够进行各种各样的媒体处理。具体而言，能够进行对应于MPEG2&4的同时编码、解码、HDTV的2频道的影像信号的解码、PS(Program Stream，程序流)和TS(TransportStream，传送流)的综合处理、MPEG4-AVC的编码、解码等对应于多格式的编码、解码处理。此外，还能够进行从MPEG2向MPEG4的变换、从HD(高析像度视频信号)向SD(标准画质视频信号)的变换、低位速率化等各种变换。进而，还能够进行对应于显示图像的显示器设备的高画质化控制等，能够与服务器类应用所需的各种媒体处理相对应。
流I/O块230具备将上述影像声音处理用集成电路100的流I/O块30中的流处理部35及设备IF部36代替为可与更丰富的周边设备连接的流处理部231及设备IF部232的结构。流处理部231除了影像声音处理用集成电路100的流处理部35的功能以外，为了与广播及网络等对应还具备处理来自连接到外部的TV调谐器202及以太网控制器203的流的功能。设备IF部232是USB205、存储卡103用的接口、硬盘206及光盘207用的盘驱动器用接口、差动IF208等的集合。
AVIO块240具备从上述影像声音处理用集成电路100的AVIO块40除去了摄像处理引擎部43之后的结构，具有代替小型的LCD107而向与SD/HD对应的大型LCD212输出图像的功能。
存储器IF块250具有与上述影像声音处理用集成电路100的存储器IF块50同样的功能，但作为外部存储器210及211，还具备不仅与通常的SDRAM、还与DDR(Double Data Rate：双数据率)型的SDRAM连接的高速总线。
这样，有关本发明的影像声音处理用集成电路200具备许多种类的周边设备用的接口电路，并且具备大容量且能够对应于各种各样的数据处理的媒体处理用处理器，所以是适合于服务器类影像声音设备的系统LSI。通过使用这样的影像声音处理用集成电路200，能够在较短的期间内开发高功能的DTV及DVR等服务器类影像声音设备。
如上所述，有关本发明的影像声音处理用集成电路具备特征性的5个处理块、即所有的影像声音设备共用的基本架构，并且具有通过变更各处理块中的结构而能够定制为适合于移动类应用或服务器类应用的类型的设计自由度。由此，能够将特定的设备的开发中的设计资源转用到其他设备中。
进而，通过多个块协同动作，提供了下述功能，即，在处理了从TV调谐器等输入的流后、以指定的编码译码方式，生成视频信号及音频信号，图像输出给外部LCD等，或将声音输出给外部扬声器，但存储器IF块250与各块之间分别确保所提供的功能所需的带宽，并且保证所要求的访问等待时间。由此，上述的流处理、信号生成处理、输出处理等不会不满足所需的性能，即、在TV功能的实现中，也不会发生影像失真、或声音断续，而能够容易地实现。
图8是表示有关本发明的影像声音处理用集成电路的特征的说明图。
这里，有关本发明的影像声音处理用集成电路可以作为具有2种架构(移动用及服务器用)的系统LSI实现，这2种影像声音处理用集成电路具有共通设计思想，并且显示出能够进行API(应用程序接口)的整合。进而，表示了能够将移动用的影像声音处理用集成电路作为便携电话等移动通信设备及摄像机等AVC移动设备的系统LSI，而将服务器用的影像声音处理用集成电路作为BD录制器等AVC服务器及HDTV等DTV的系统LSI使用。
以上，有关本发明的影像声音处理用集成电路大体地划分为2个用途(移动类及服务器类)，若更详细地划分，可以作为4个用途(DTV、AVC服务器、AVC移动设备、移动通信设备)的影像声音设备的系统LSI使用，并且能够进行这些设备中的设计资源的转用。
接着，更详细地说明有关本发明的影像声音处理用集成电路中的、提高了影像处理(特别是与再现并行地进行的录像处理)的性能后的影像声音处理用集成电路。
图9是表示提高了影像处理性能的影像声音处理用集成电路200a的详细结构的功能框图。
该影像声音处理用集成电路200a是在例如一边视听高清晰度广播节目(HD)一边用SD录像、或进而跟踪播放该SD影像的应用中实现影像处理性能的提高的结构的系统LSI，具有微型计算机块210、媒体处理块220a、流I/O块230、AVIO块240a及存储器IF块250。
各处理块210、220a、230、240a、250基本上具备与上述影像声音处理用集成电路200的处理块210～250同样的结构。该影像声音处理用集成电路200a的特征点是：对其后所提取的与图像流不同的较少量的区域特征信息进行传送的数据总线75将媒体处理块220a与AVIO块240a连接而设置。以下，对于与上述影像声音处理用集成电路200同样的结构要素赋予相同的标号并省略说明。
媒体处理块220a是继承了上述的媒体处理块20及220的特征的高速DSP等，将从SDRAM210及211经由数据总线72a及72b读出的图像、音频、声音数据按照MPEG规格等压缩、扩展。例如，在一边视听高清晰度广播节目(HD)一边变换析像度录像到SD中的应用中，指令并行处理器21或数据并行处理器221、或者两者同时执行所视听的压缩HD图像声音多路复用流的多路分离及扩展处理、和用来得到所记录的压缩SD图像声音多路复用流的压缩及多路复用处理，将各自的处理结果向SDRAM210及211写回。
AVIO块240a将媒体处理块220a的多路分离及扩展处理的结果写回到SDRAM210、211中的HD图像数据经由总线73a、73b取得并输出给大型LCD212，并且将对该HD图像数据进行析像度变换处理而得到的SD图像数据写回到SDRAM210、211中。并且，将在该处理时获知的区域特征信息(例如区域内综合信息、区域间差分信息)经由数据总线75反馈给媒体处理块220a。
该析像度变换处理例如由AVIO块240a的视频输出格式变换部45进行。视频输出格式变换部45如上所述，具有将输出的影像信号的因色彩空间等所引起的信号格式变换为适合于影像输出设备的格式的功能，可以将作为其具体功能的缩减取样及抽取滤波器功能用于该析像度变换处理。
媒体处理块220a再次参照该区域特征信息，判断发生场景变化的区域及场景变化的频率。接着，根据该判断，将例如场景变化后的帧决定为I图片，并且在较多地发生场景变化的期间与不是这样的期间相比提高压缩率，实现压缩后的数据量的均匀化，同时将SD图像数据压缩为SD图像流，再通过多路复用处理生成压缩SD图像声音多路复用流，将所生成的压缩SD图像声音多路复用流写回到SDRAM210及211中。
接着，利用图10～图12对以上那样构成的影像声音处理用集成电路200a的动作进行说明。
图10是表示一边从TV调谐器202读出作为高清晰度广播信号的压缩HD图像声音多路复用流、并作为图像信号及声音信号输出、一边向SD图像进行析像度变换并记录时的影像声音处理用集成电路200a的动作步骤的流程图。
图11是表示此时的主要的数据流的图。
图12是表示处理块220a、240a中的处理内容的图。
首先，微型计算机块10按照内装的程序，进行各处理块220a、230、240a的初始设定等(图10的S30)。例如，对媒体处理块220a指示基于MPEG4的扩展处理(HD)及基于MPEG2的压缩处理(SD)，对流I/O块230指示从TV调谐器202取得压缩HD图像声音多路复用流并且将压缩SD图像声音多路复用流记录到HDD206中，对AVIO块240a指示声音输出和向大型LCD212的影像输出，并且指示从HD图像向SD图像的析像度变换。
接着，流I/O块230从TV调谐器202读出压缩HD图像声音多路复用流，媒体处理块220a通过根据头信息等进行分析处理等，来从该压缩HD图像声音多路复用流多路分离为图像流和声音流，再对该图像流和声音流实施扩展处理后，作为图像数据及声音数据写回到SDRAM210、211中。
到此为止的动作基本上与上述影像声音处理用集成电路100的动作(参照图4及图5)相同，不同的为，图像的析像度以及压缩图像声音多路复用流是从存储卡得到还是从TV调谐器得到。图11中的有关到此为止的动作的数据流的图示省略。
接着，AVIO块240从SDRAM210、211读出HD图像数据和声音数据，如图12(b)所示，输出给大型LCD212及扬声器等(图10的S31、图11的S40a、S40b)。
与该HD图像的输出并行，AVIO块240将对该HD图像实施了图12(a)所示那样的析像度变换处理而得到的SD图像数据写回到SDRAM210、211中，并且生成在该处理时获知的区域内综合信息(表示区域的整体的亮度)、区域间差分信息(表示与此前的区域的亮度的差)等区域特征信息。该区域特征信息例如与SD图像数据的区域建立对应地存储在AVIO块240a内的未图示的小规模的缓冲存储器中，经由数据总线75被供给作从媒体处理块220a的参照(图10的S32、图11的S41a、S41b)。
然后，媒体处理块220a从SDRAM210、211读出SD图像数据和声音数据，并且经由数据总线75参照区域特征信息，决定I图片，并且通过一边动态地变更压缩率一边将该SD图像数据和声音数据压缩处理，来生成SD图像流及声音流，写回到SDRAM210、211中(图10的S33、图11的S42)。
接着，媒体处理块220a再次从SDRAM210、211读出SD图像流和声音流，将通过将它们多路复用而生成的压缩SD图像声音多路复用流写回到SDRAM210、211中(图10的S34、图11的S43)。
最后，流I/O块230从SDRAM210、211读出压缩SD图像声音多路复用流，将其记录到HDD206中(图10的S35、图11的S44)。
该压缩SD图像声音多路复用流既可以作为高清晰度广播的录像记录到HDD206中，也可以接着经过规定的时间后被读出，如图12(b)所示那样与高清晰度广播一起在场景显示中被跟踪播放。在后者的情况下，在图10所示的动作中还追加将记录在HDD206中的压缩SD图像声音多路复用流再现的步骤。
在上述各处理块中的一系列的处理(图10的S31～S35)中，所视听的广播节目的流、所记录的流、还有在进行跟踪播放时跟踪播放用的流的、2个到3个流，通过以数据包、微块、切片、图片、帧这样的公知的处理单位进行流水线处理，来同时地被处理。
这样，根据有关本发明的影像声音处理用集成电路200a，媒体处理块220a经由数据总线75参照在AVIO块240a中获知的区域特征信息，决定记录图像的压缩中的I图片，并且动态地调节压缩率。由此，影像声音处理用集成电路200a能够避免用来得到区域特征信息的重复成本而得到较高的速度性能，并且能够实现画质与数据量的良好协调。
另外，数据总线75如上所述，将较少量的区域特征信息限定在媒体处理块220a与AVIO块240a之间传送，所以对应用程序相对于各处理块的独立性的影响很小，并且在影像声音处理用集成电路上占用的安装面积也较小。
到此为止，以高清晰度广播的录像这样显著的例子说明了通过从AVIO块240a向媒体处理块220a供给区域特征信息而得到的良好的效果。除了该例以外，在例如上述影像声音处理用集成电路100(参照图3)中，如果从AVIO块40向媒体处理块20供给同样的区域特征信息，则不仅在广播的录像中、在从数字照相机等外部设备取得的影像的录像中也能够得到同样的效果。
接着，更详细地说明有关本发明的影像声音处理用集成电路中的、适合于广播类及存储类各自的影像处理的共用化的影像声音处理用集成电路。这里，所谓的广播类是指有关从TV调谐器、以及因特网等得到的广播节目的处理，所谓的存储类是指有关存储在HDD、DVD、以及存储卡等记录介质中的节目的处理。
图13是表示适合于广播类及存储类各自的影像处理的共用化的影像声音处理用集成电路100a的详细结构的功能框图。
该影像声音处理用集成电路100a是具有广播类处理(例如从TV调谐器得到的广播节目的再现)功能、以及存储类的处理(例如存储在HDD中的节目的再现)功能的系统LSI，具有微型计算机块10、媒体处理块20a、流I/O块30、AVIO块40、以及存储器IF块50。
该影像声音处理用集成电路100a的特征点是：在媒体处理块20a中具备具有流处理抑制定时器28的假想多处理器21a。其他结构基本上与上述影像声音处理用集成电路100同样。
所谓的假想多处理器(VMP：Virtual Multi Processor)一般是指将多个逻辑处理器(LP：Logical Processor)的功能时分割地演绎的指令并行处理器的一种(一个LP在实体上讲是设定在物理处理器(PP：Physical Processor)的寄存器组中的一个上下关系)。通过管理分配给各LP的时间单位(TS：Time Slot)的频率，能够保持由各LP执行的应用间的负荷平衡。对于VMP的结构及动作，由于其代表性的一例已在日本特开2003-271399号公报中详细地公开，所以这里省略详细的说明。
以下，对于与上述影像声音处理用集成电路100同样的结构要素赋予相同的标号并省略说明。
媒体处理块20a与上述影像声音处理用集成电路100的媒体处理块20同样，是进行有关压缩图像声音多路复用流的多路复用、多路分离处理、以及图像声音数据的压缩、扩展处理的电路块，但具备在指令并行处理器21上实现的假想多处理器21a。
假想多处理器21a对每个录像或再现的压缩图像声音多路复用流，使用例如3个LP(流LP、图像LP、以及声音LP)，分别进行流的多路复用或多路分离、图像的压缩或扩展、以及声音的压缩或扩展。
对于这些各LP，对应于流、图像及声音各自的特性来分配TS。例如，考虑运算量而对图像LP分配比声音LP多的TS，或者为了防止广播信号的丢失(所谓的丢失流)而将流LP设为每接收到1个数据包就分配TS的事件驱动LP、或者在流处理抑制定时器28的控制下禁止规定时间内的TS分配的带定时器抑制的事件驱动LP。
可知对各LP的这样的TS的分配良好地保持了各处理间的负荷平衡并且起到防止丢失流的作用。以下，利用图14及图15说明使流LP作为带定时器抑制的事件驱动LP对于广播类及存储类各自的影像处理(特别是再现处理)的通用化起作用的情况。
图14是共通地执行广播类及存储类两者的流处理的带定时器抑制的事件驱动LP的动作步骤的流程图。
图15是分别在处理广播类的流的情况及处理存储类流的情况下表示此时的各事件的发生定时、以及流、图像、声音的各LP动作的TS的图。附图的右方向对应于时间的经过，带表示TS的排列，其中的文字表示在TS动作的LP(Stream、Video及Audio分别表示流LP、图像LP、以及声音LP，空白表示没有动作的LP)。
首先，对于广播类的情况，假设在每个时间InFreq发生从TV调谐器取得数据包的输入事件，利用图14及图15(a)进行说明。
最初，在输入事件等待中休眠的流LP(S50)被第N数据包的输入事件唤醒，在第1TS开始动作。接着，如果在时间StTime(N)将该数据包处理并结束(S51)，则启动比时间(Infreq-StTime(N))短的时间的定时器(S52)，进入定时器事件等待的休眠(S53)。第2及第3TS分别被分配给图像及声音LP。
流LP在第4TS中发生的定时器事件下被唤醒。并且，如果在第5TS开始动作，则确认输入事件(S54)，得知有第N+1个数据包的输入事件(S55：是)，处理该数据包(S51)。以后，重复同样的动作。
这里，作为一个具体例，如果考虑假想多处理器的动作时钟频率是243(MHz)、流以70(MHz)输入的情况，则每1秒的数据包数是70(Mbps)/(8(bit)×188(byte/Packet))≈46543(Packet/sec)，数据包的处理周期InFreq为243(Mclock/sec)/46543(Packet/sec)≈5221(clock/packet)。
这样，在广播类的情况下，通过输入事件本身以较长的间隔发生来限制流LP的处理，结果，良好地保持了流、影像、声音的各LP的负荷平衡。
接着，对于储存类的情况，假设在1数据包的处理中从HDD取得后续数据包而发生接下来的输入事件，并且存在该后续数据包的处理想要在与广播类相同的时间InFreq之后进行的请求，利用图14及图15(b)进行说明。
最初，在输入事件等待中休眠的流LP(S50)被第N数据包的输入事件唤醒，在第1TS开始动作。接着，如果在时间StTime(N)将该数据包处理并结束(S51)，则启动时间(Infreq-StTime(N))的定时器(S52)，进入定时器事件等待的休眠(S53)。流LP在第1TS中发生的第N+1数据包的输入事件下并不被唤醒而继续休眠(图15(b)的从第N+1输入事件开始的粗虚线)。
只要流LP不处理第N+1数据包，不具有流用缓存器的流I/O块30就不能读入后续数据包，第N+2数据包的读出处理被延期。第2及第3TS分别被分配给图像及声音LP。
流LP在第4TS中发生的定时器事件下被唤醒。接着，如果在第5TS开始动作，则确认输入事件(S54)，得知有第N+1个数据包的输入事件(S55：是)，处理该数据包(S51)，然后进入到定时器事件等待的休眠(S52、S53)。流LP在第5TS中发生的第N+2数据包的输入事件下并不被唤醒而继续休眠(图15(b)的从第N+2输入事件开始的粗虚线)。以后，重复同样的动作。
这样，在存储类的情况下，输入事件本身能够以较短的间隔发生，但即使在这样的情况下，通过定时器事件等待的休眠，流LP的处理也被限制，结果，良好地保持了流、影像、声音的各LP的负荷平衡。
如果在存储类中流LP在定时器事件等待中没有休眠，则只要处理了流就产生输入事件，结果分配给流LP过剩的TS，对图像LP及声音LP没有分配必要量的TS，图像、声音处理出现破绽。
以上，有关本发明的影像声音处理用集成电路100a通过媒体处理块20a的假想多处理器21a的带定时器抑制的事件驱动LP来执行流处理。该处理在广播类中、或者可过剩地输入流的存储类中也共通地使用，不仅自律地抑制流处理的过剩执行来将图像、声音处理的破绽防止于未然，而且在流I/O块30中也不需要对向媒体处理块20a发送的流量进行上限管理。作为它们的总体，应用程序相对于各处理块的独立性、简明性提高，进而对设计资源的转用促进做出贡献。
另外，带定时器抑制的事件驱动LP的流处理也能够适用于同时处理2个频道的情况。
图16是分别针对(a)处理2个广播类的流的情况、(b)处理广播类和存储类各自的流的情况、(c)处理2个存储类的流的情况、表示此时的各事件的发生定时、以及流、图像、声音的各LP动作的TS的图。附图的右方向对应于时间的经过，带表示TS的排列，其中的文字表示在TS动作的LP(文字S、V及A分别表示流LP、图像LP、以及声音LP，空白表示没有动作的LP。此外，数字0、1区别频道)。
如图示那样，根据各个流的广播类、存储类的区别，发生在上述说明的定时(参照图15(a)及图15(b))的事件。在存储类中，输入事件的唤醒被定时器事件等待的休眠延期，结果，防止流处理的过剩执行，这是与上述相同的。这样，带定时器抑制的事件驱动LP的流处理在同时处理2个频道的情况下，也发挥良好地保持流、图像、及声音处理的负荷平衡的效果。
以上，根据实施方式对有关本发明的影像声音处理用集成电路进行了说明，但本发明并不限于该实施方式。
例如，有关本发明的影像声音处理用集成电路被分类为移动类和服务器类的2类，但并不仅限于这些分类。例如，在如带AV功能的笔记本电脑等那样应用到要求低功耗和高析像度显示的影像声音设备中的情况下，只要采用同时具有时钟控制部14、电源控制部15及数据并行处理器221的影像声音处理用集成电路就可以。
此外，适合于上述4个用途的影像声音处理用集成电路基本上只要具备图1所示的共通架构就可以，各块不需要由完全相同的电路构成。例如，在将属于上述4个用途的设备中的1个作为第1设备、将另1个作为第2设备的情况下，在第1设备用的影像声音处理用集成电路和第2设备用的影像声音处理用集成电路之间，只要有以下中的任一种的共通性就可以：(1)CPU的指令组的至少一部分具有互换性，(2)指令并行处理器的指令组的至少一部分具有互换性，(3)CPU的核心具有相同的逻辑连接(软宏)，(4)指令并行处理器的核心具有相同的逻辑连接，(5)CPU的核心具有相同的掩模设计(硬宏)，(6)CPU的存储器映象上的各块的控制寄存器(用来控制各块的寄存器)的地址相同、或者在各处理中使用的外部存储器9的区域相同等。根据这样的共通性，能够以处理块的单位实现应用程序的转用，或者能够实现作为系统LSI的制造工序上的转用等，作为整体的开发效率提高。
此外，在本实施方式中，在各处理块中共有的存储器外装在系统LSI上，但也可以内置于系统LSI中。
工业实用性
本发明能够作为处理影像声音的设备用的系统LSI、特别是作为DTV、DVD录制机等AVC服务器、数字照相机等AVC移动设备、便携电话等移动通信设备等影像声音设备的系统LSI使用。

Claims (48)

1.一种影像声音处理用集成电路，对信号进行处理，其特征在于，具备：
第一块，访问存储器；
第二块，功能与上述第一块不同，访问上述存储器；以及
存储器接口块，控制上述第一块和上述存储器之间的第一数据传送以及上述第二块和上述存储器之间的第二数据传送，以确保各块的功能所需的带宽；
上述第一块是微型计算机块、流输入输出块、媒体处理块以及音频和视频输入输出块之中的某一个块；
上述第二块是上述微型计算机块、上述流输入输出块、上述媒体处理块以及上述音频和视频输入输出块之中的、与上述第一块不同的某一个块，
上述第一块向上述存储器写入数据，上述第二块从上述存储器读出上述数据，从而将数据从上述第一块向上述第二块发送；或者
上述第二块向上述存储器写入数据，上述第一块从上述存储器读出上述数据，从而将数据从上述第二块向上述第一块发送。
2.如权利要求1所记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给。
3.如权利要求2所记载的影像声音处理用集成电路，其特征在于，
上述第一块具有CPU部；
上述时钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部的时钟供给。
4.如权利要求1所记载的影像声音处理用集成电路，其特征在于，具有：
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
5.如权利要求1所记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
6.如权利要求1－5中的任意一项所记载的影像声音处理用集成电路，其特征在于，具有：
数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的运算。
7.如权利要求1－5中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
8.如权利要求1－5中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
9.一种影像声音处理用集成电路，对信号进行处理，其特征在于，具备：
第一块，进行具有实时性的处理；
第二块，进行具有非实时性的处理；以及
存储器接口块，控制上述第一块和存储器之间的第一数据传送以及上述第二块和上述存储器之间的第二数据传送；
上述第一块是媒体处理块或音频和视频输入输出块；
上述第二块是微型计算机块或流输入输出块，
上述第一块向上述存储器写入数据，上述第二块从上述存储器读出上述数据，从而将数据从上述第一块向上述第二块发送；或者
上述第二块向上述存储器写入数据，上述第一块从上述存储器读出上述数据，从而将数据从上述第二块向上述第一块发送。
10.如权利要求9记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给。
11.如权利要求10所记载的影像声音处理用集成电路，其特征在于，
上述第一块具有CPU部；
上述时钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部的时钟供给。
12.如权利要求9所记载的影像声音处理用集成电路，其特征在于，具有：
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
13.如权利要求9所记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
14.如权利要求9－13中的任意一项所记载的影像声音处理用集成电路，其特征在于，具有：
数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的运算。
15.如权利要求9－13中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
16.如权利要求9－13中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
17.一种影像声音处理用集成电路，对影像或声音进行处理，其特征在于，具备：
第一块，与影像或声音的帧速率独立地进行处理；
第二块，依赖于影像或声音的帧速率而进行处理；以及
存储器接口块，控制上述第一块和存储器之间的第一数据传送以及上述第二块和上述存储器之间的第二数据传送；
上述第一块是微型计算机块或流输入输出块；
上述第二块是媒体处理块或音频和视频输入输出块，
上述第一块向上述存储器写入数据，上述第二块从上述存储器读出上述数据，从而将数据从上述第一块向上述第二块发送；或者
上述第二块向上述存储器写入数据，上述第一块从上述存储器读出上述数据，从而将数据从上述第二块向上述第一块发送。
18.如权利要求17记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给。
19.如权利要求18所记载的影像声音处理用集成电路，其特征在于，
上述第一块具有CPU部；
上述时钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部的时钟供给。
20.如权利要求17所记载的影像声音处理用集成电路，其特征在于，具有：
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
21.如权利要求17所记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
22.如权利要求17－21中的任意一项所记载的影像声音处理用集成电路，其特征在于，具有：
数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的运算。
23.如权利要求17－21中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
24.如权利要求17－21中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
25.一种影像声音处理用集成电路，对影像进行处理，其特征在于，具备：
第一块，对外部的影像显示装置直接进行数据输出；
第二块，对外部的影像显示装置经由上述第一块进行数据输出；以及
存储器接口块，控制上述第一块和存储器之间的第一数据传送以及上述第二块和上述存储器之间的第二数据传送；
上述第一块是音频和视频输入输出块；
上述第二块是媒体处理块、微型计算机块或流输入输出块，
上述第一块向上述存储器写入数据，上述第二块从上述存储器读出上述数据，从而将数据从上述第一块向上述第二块发送；或者
上述第二块向上述存储器写入数据，上述第一块从上述存储器读出上述数据，从而将数据从上述第二块向上述第一块发送。
26.如权利要求25记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给。
27.如权利要求26所记载的影像声音处理用集成电路，其特征在于，
上述第一块具有CPU部；
上述时钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部的时钟供给。
28.如权利要求25所记载的影像声音处理用集成电路，其特征在于，具有：
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
29.如权利要求25所记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
30.如权利要求25－29中的任意一项所记载的影像声音处理用集成电路，其特征在于，具有：
数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的运算。
31.如权利要求25－29中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
32.如权利要求25－29中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
33.一种影像声音处理用集成电路，对影像进行处理，其特征在于，具备：
第一块，向外部输出图像；
第二块，输出其他信号；以及
存储器接口块，控制上述第一块和存储器之间的第一数据传送以及上述第二块和上述存储器之间的第二数据传送；
上述第一块是音频和视频输入输出块；
上述第二块是媒体处理块、微型计算机块或流输入输出块，
上述第一块向上述存储器写入数据，上述第二块从上述存储器读出上述数据，从而将数据从上述第一块向上述第二块发送；或者
上述第二块向上述存储器写入数据，上述第一块从上述存储器读出上述数据，从而将数据从上述第二块向上述第一块发送。
34.如权利要求33记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给。
35.如权利要求34所记载的影像声音处理用集成电路，其特征在于，
上述第一块具有CPU部；
上述时钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部的时钟供给。
36.如权利要求33所记载的影像声音处理用集成电路，其特征在于，具有：
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
37.如权利要求33所记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
38.如权利要求33－37中的任意一项所记载的影像声音处理用集成电路，其特征在于，具有：
数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的运算。
39.如权利要求33－37中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
40.如权利要求33－37中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
41.一种影像声音处理用集成电路，对影像或声音进行处理，其特征在于，具备：
第一块；
第二块；以及
存储器接口块，控制上述第一块和存储之间的第一数据传送以及上述第二块和上述存储器之间的第二数据传送；
上述第一块不经由上述存储器接口而向外部进行数据的输出；
上述第二块经由上述存储器接口与上述第一块进行数据传送；
上述第一块是音频和视频输入输出块；
上述第二块是媒体处理块、微型计算机块或流输入输出块，
上述第一块向上述存储器写入数据，上述第二块从上述存储器读出上述数据，从而将数据从上述第一块向上述第二块发送；或者
上述第二块向上述存储器写入数据，上述第一块从上述存储器读出上述数据，从而将数据从上述第二块向上述第一块发送。
42.如权利要求41记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给。
43.如权利要求42所记载的影像声音处理用集成电路，其特征在于，
上述第一块具有CPU部；
上述时钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部的时钟供给。
44.如权利要求41所记载的影像声音处理用集成电路，其特征在于，具有：
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
45.如权利要求41所记载的影像声音处理用集成电路，其特征在于，具有：
时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及
电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
46.如权利要求41－45中的任意一项所记载的影像声音处理用集成电路，其特征在于，具有：
数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的运算。
47.如权利要求41－45中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
48.如权利要求41－45中的任意一项所记载的影像声音处理用集成电路，其特征在于，
上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
CN200910164112XA 2004-04-01 2005-04-01 影像声音处理用集成电路 Active CN101626473B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004-108970 2004-04-01
JP2004108970 2004-04-01
JP2004108970 2004-04-01

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800104160A Division CN100545825C (zh) 2004-04-01 2005-04-01 影像声音处理用集成电路及影像声音设备

Publications (2)

Publication Number Publication Date
CN101626473A CN101626473A (zh) 2010-01-13
CN101626473B true CN101626473B (zh) 2013-07-10

Family

ID=35063977

Family Applications (5)

Application Number Title Priority Date Filing Date
CN2009101641153A Active CN101626476B (zh) 2004-04-01 2005-04-01 通信设备
CNB2005800104160A Active CN100545825C (zh) 2004-04-01 2005-04-01 影像声音处理用集成电路及影像声音设备
CN200910164113A Pending CN101626474A (zh) 2004-04-01 2005-04-01 影像声音处理用集成电路
CN2009101641149A Active CN101626475B (zh) 2004-04-01 2005-04-01 影像再现装置、信息记录装置、影像处理设备及摄像装置
CN200910164112XA Active CN101626473B (zh) 2004-04-01 2005-04-01 影像声音处理用集成电路

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN2009101641153A Active CN101626476B (zh) 2004-04-01 2005-04-01 通信设备
CNB2005800104160A Active CN100545825C (zh) 2004-04-01 2005-04-01 影像声音处理用集成电路及影像声音设备
CN200910164113A Pending CN101626474A (zh) 2004-04-01 2005-04-01 影像声音处理用集成电路
CN2009101641149A Active CN101626475B (zh) 2004-04-01 2005-04-01 影像再现装置、信息记录装置、影像处理设备及摄像装置

Country Status (6)

Country Link
US (2) US8811470B2 (zh)
EP (2) EP2207103A1 (zh)
JP (5) JP4857106B2 (zh)
KR (1) KR20070011335A (zh)
CN (5) CN101626476B (zh)
WO (1) WO2005096168A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
JPWO2005101365A1 (ja) * 2004-04-16 2008-03-06 ローム株式会社 画像処理装置
JP2007166597A (ja) * 2005-11-15 2007-06-28 Seiko Epson Corp 情報再生装置及び電子機器
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
CN101433085B (zh) 2006-04-24 2012-04-18 松下电器产业株式会社 数据处理装置、数据处理方法、数据处理程序及记录有该数据处理程序的记录媒体以及集成电路
JP4893154B2 (ja) 2006-08-21 2012-03-07 富士通セミコンダクター株式会社 画像処理装置及び画像処理方法
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
JP4945410B2 (ja) * 2006-12-06 2012-06-06 株式会社東芝 情報処理装置及び情報処理方法
JP2008176682A (ja) * 2007-01-22 2008-07-31 Renesas Technology Corp 半導体集積回路及びデータ処理システム
JP2008206006A (ja) * 2007-02-22 2008-09-04 Matsushita Electric Ind Co Ltd 暗号化ストリーム再生方式、装置、プログラム、及び媒体
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US20080291209A1 (en) * 2007-05-25 2008-11-27 Nvidia Corporation Encoding Multi-media Signals
US9118927B2 (en) 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
JP4355348B2 (ja) * 2007-07-10 2009-10-28 パナソニック株式会社 クロック供給回路及びその設計方法
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
JP5164486B2 (ja) * 2007-09-11 2013-03-21 キヤノン株式会社 映像処理装置及び映像処理方法
US8515052B2 (en) 2007-12-17 2013-08-20 Wai Wu Parallel signal processing system and method
JPWO2009084080A1 (ja) * 2007-12-27 2011-05-12 パナソニック株式会社 映像表示システム、表示装置、プラグインモジュールおよびプラグインモジュールの電源制御方法
JP4968145B2 (ja) * 2008-03-31 2012-07-04 ソニー株式会社 放送信号受信機およびその受信制御方法、並びにｉｃ
JP2010015233A (ja) * 2008-07-01 2010-01-21 Panasonic Corp 集積回路及び電子機器
US8755515B1 (en) 2008-09-29 2014-06-17 Wai Wu Parallel signal processing system and method
JP4760889B2 (ja) * 2008-10-07 2011-08-31 ソニー株式会社 信号処理装置および方法、並びにプログラム
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
US7962668B2 (en) * 2008-12-22 2011-06-14 Solid State System Co., Ltd. USB audio controller
US20100161856A1 (en) * 2008-12-22 2010-06-24 Solid State System Co., Ltd. Usb audio and mobile audio system using usb audio controller
WO2010095182A1 (ja) * 2009-02-17 2010-08-26 パナソニック株式会社 マルチスレッドプロセッサ及びデジタルテレビシステム
CN102334102B (zh) 2009-02-24 2013-11-20 松下电器产业株式会社 处理器装置、多线程处理器装置
WO2010113226A1 (ja) * 2009-04-03 2010-10-07 パナソニック株式会社 半導体集積回路装置および映像音響処理システム
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
WO2011094346A1 (en) * 2010-01-26 2011-08-04 Hobbs Barry L Integrated concurrent multi-standard encoder, decoder and transcoder
JP4818450B1 (ja) 2010-06-30 2011-11-16 株式会社東芝 グラフィクスプロセッシングユニットおよび情報処理装置
WO2012020438A1 (en) * 2010-08-11 2012-02-16 Av Tech S.R.L. Device for processing and recording of high-definition images
US20120314777A1 (en) * 2011-06-13 2012-12-13 Ati Technologies Ulc Method and apparatus for generating a display data stream for transmission to a remote display
US9258579B1 (en) * 2011-06-30 2016-02-09 Sprint Communications Company L.P. Temporal shift of object resolution and optimization
JP5361962B2 (ja) * 2011-08-25 2013-12-04 株式会社東芝 グラフィクスプロセッシングユニットおよび情報処理装置
JP2014063259A (ja) * 2012-09-20 2014-04-10 Fujitsu Ltd 端末装置，及び処理プログラム
US9165538B2 (en) * 2013-03-13 2015-10-20 Displaylink (Uk) Limited Image generation
US9384302B2 (en) * 2013-06-17 2016-07-05 International Business Machines Corporation Generating differences for tuple attributes
US9973754B2 (en) * 2014-03-18 2018-05-15 Texas Instruments Incorporated Low power ultra-HD video hardware engine
CN105094258A (zh) * 2014-04-16 2015-11-25 鸿富锦精密工业(武汉)有限公司 电源供应器及外壳
CN104460921B (zh) * 2014-10-29 2017-11-07 英业达科技有限公司 服务器系统
US9715475B2 (en) * 2015-07-21 2017-07-25 BigStream Solutions, Inc. Systems and methods for in-line stream processing of distributed dataflow based computations
CN105207816A (zh) * 2015-09-16 2015-12-30 国网智能电网研究院 一种多缓冲并行加密的软件调度方法
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
CA3026737A1 (en) 2016-06-06 2017-12-14 Theatrixx Technologies Inc. Video converter with integrated power supply
JP6865202B2 (ja) 2018-10-18 2021-04-28 矢崎総業株式会社 通信システム
US10747692B2 (en) * 2018-12-27 2020-08-18 Texas Instruments Incorporated Image processing accelerator
JP2021013117A (ja) * 2019-07-08 2021-02-04 キヤノン株式会社 集積回路チップ及び撮像装置
WO2023279326A1 (zh) * 2021-07-08 2023-01-12 深圳爱特天翔科技有限公司 音视频传输方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1262493A (zh) * 1999-01-27 2000-08-09 三洋电机株式会社 运动图像重放装置
CN2417544Y (zh) * 2000-03-08 2001-01-31 深圳凌云电子有限公司 Mp3数码录放复读机
EP1102169A1 (en) * 1999-11-17 2001-05-23 Matsushita Electric Industrial Co., Ltd. System integrated circuit with monitoring means of internal buses
US20030222877A1 (en) * 2002-06-03 2003-12-04 Hitachi, Ltd. Processor system with coprocessor

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62145458A (ja) * 1985-12-20 1987-06-29 Nec Corp マイクロコンピユ−タ
SG34287A1 (en) * 1994-10-28 1996-12-06 Hitachi Ltd Input-output circuit recording apparatus and reproduction apparatus for digital video signal
DE69610548T2 (de) * 1995-07-21 2001-06-07 Koninkl Philips Electronics Nv Multi-media-prozessorarchitektur mit hoher leistungsdichte
US5797028A (en) 1995-09-11 1998-08-18 Advanced Micro Devices, Inc. Computer system having an improved digital and analog configuration
US6058459A (en) * 1996-08-26 2000-05-02 Stmicroelectronics, Inc. Video/audio decompression/compression device including an arbiter and method for accessing a shared memory
US5977997A (en) 1997-03-06 1999-11-02 Lsi Logic Corporation Single chip computer having integrated MPEG and graphical processors
US6118462A (en) * 1997-07-01 2000-09-12 Memtrax Llc Computer system controller having internal memory and external memory control
JP3573614B2 (ja) * 1998-03-05 2004-10-06 株式会社日立製作所 画像処理装置及び画像処理システム
US6041400A (en) * 1998-10-26 2000-03-21 Sony Corporation Distributed extensible processing architecture for digital signal processing applications
US6380558B1 (en) * 1998-12-29 2002-04-30 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and method of fabricating the same
JP4481511B2 (ja) * 2000-08-18 2010-06-16 富士通株式会社 情報機器、情報機器の制御方法及び制御方法のプログラム
US20020156953A1 (en) * 2001-02-28 2002-10-24 Beiley Mark A. Dynamic bus inversion method
US7403564B2 (en) * 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
JP3655266B2 (ja) 2002-07-16 2005-06-02 株式会社東芝 情報処理装置
EP1543418B1 (en) * 2002-08-07 2016-03-16 MMagix Technology Limited Apparatus, method and system for a synchronicity independent, resource delegating, power and instruction optimizing processor
US7139849B2 (en) * 2002-08-07 2006-11-21 Matsushita Electric Industrial Co., Ltd. Semiconductor integrated circuit device
DE60314347T2 (de) * 2002-09-30 2007-09-27 Matsushita Electric Industrial Co., Ltd., Kadoma Betriebsmittelverwaltungsgerät
JP2004246862A (ja) 2002-09-30 2004-09-02 Matsushita Electric Ind Co Ltd リソース管理装置
US7586925B2 (en) * 2003-09-09 2009-09-08 Sonus Networks, Inc. Data adaptation protocol

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1262493A (zh) * 1999-01-27 2000-08-09 三洋电机株式会社 运动图像重放装置
EP1102169A1 (en) * 1999-11-17 2001-05-23 Matsushita Electric Industrial Co., Ltd. System integrated circuit with monitoring means of internal buses
CN2417544Y (zh) * 2000-03-08 2001-01-31 深圳凌云电子有限公司 Mp3数码录放复读机
US20030222877A1 (en) * 2002-06-03 2003-12-04 Hitachi, Ltd. Processor system with coprocessor

Also Published As

Publication number Publication date
WO2005096168A1 (ja) 2005-10-13
CN1938697A (zh) 2007-03-28
CN101626476B (zh) 2010-12-08
JP2010182321A (ja) 2010-08-19
EP1732009A4 (en) 2009-07-15
KR20070011335A (ko) 2007-01-24
CN101626474A (zh) 2010-01-13
JP2010141925A (ja) 2010-06-24
CN101626475B (zh) 2011-05-04
CN100545825C (zh) 2009-09-30
US9361259B2 (en) 2016-06-07
JPWO2005096168A1 (ja) 2007-08-16
CN101626473A (zh) 2010-01-13
JP2010148153A (ja) 2010-07-01
US20140310442A1 (en) 2014-10-16
CN101626476A (zh) 2010-01-13
US20070286275A1 (en) 2007-12-13
JP4857106B2 (ja) 2012-01-18
CN101626475A (zh) 2010-01-13
EP1732009A1 (en) 2006-12-13
JP2010136452A (ja) 2010-06-17
EP2207103A1 (en) 2010-07-14
US8811470B2 (en) 2014-08-19

Similar Documents

Publication Publication Date Title
CN101626473B (zh) 影像声音处理用集成电路
JP4794572B2 (ja) データ処理装置
JP2006311347A (ja) 撮像装置、撮像方法、記憶媒体及びコンピュータプログラム
JP2007334641A (ja) 情報処理装置および方法、並びにプログラム
CN102364945A (zh) 多画面图像解码显示的方法及其视频监控终端
EP1793315A2 (en) Combination apparatus capable of data communication between host devices and method thereof
US8190582B2 (en) Multi-processor
CN102522096A (zh) 多路音视频同步回放系统及其方法
US8885053B2 (en) Integrated circuit and electric device for avoiding latency time caused by contention
WO2021004049A1 (zh) 显示装置、音频数据传输方法及装置
CN103813072A (zh) 信号处理电路、成像装置及程序
JP6294942B2 (ja) モバイルデバイスを利用した中継放送を支援するための方法、そのデバイス、及び非一時的なコンピュータ可読記録媒体
KR20080089952A (ko) 관심영역을 복호화하는 영상재생장치 및 그 방법
JP2003274326A (ja) 情報処理装置及び情報処理方法
KR101280227B1 (ko) 멀티미디어 데이터 디코딩 장치 및 방법
JPH08181944A (ja) 復調装置
CN115604238A (zh) 物联网操作系统的音视频处理方法、装置、设备和介质
Archibald Audio System for Portable Market
WO2016070522A1 (zh) 一种电视主机和电视系统
JPH10294940A (ja) 画像伝送システム及び画像伝送装置
JP2005316976A (ja) 半導体装置及びそれを用いた携帯電話
JP2003134516A (ja) 画像データまたは音声データ符号化ミドルウェア

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Kimura Kouzou

Inventor after: Kiyohara Tokuzo

Inventor after: Shui Yeyang

Inventor after: Michiyama Junji

Inventor after: Kitamura Tomohiko

Inventor before: Kimura Kouzou

Inventor before: Yamana Akifumi

Inventor before: Kiyohara Tokuzo

Inventor before: Shui Yeyang

Inventor before: Michiyama Junji

Inventor before: Kitamura Tomohiko

Inventor before: Yamaguchi Ryoji

Inventor before: Hei Tianxue

Inventor before: Yamada Nobuhiko

Inventor before: Ohgose Hideyuki

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: KIMURA KOSAN MICHIYAMA JUNJI KITAMURA TOMOHIKO TO: KIMURA KOSAN MICHIYAMA JUNJI KITAMURA TOMOHIKO

C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151104

Address after: Kanagawa

Patentee after: Co., Ltd. Suo Si future

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co., Ltd.