JP2010141925A - 映像処理用集積回路を備える映像再生装置、情報記録装置、機器、および撮影装置 - Google Patents

映像処理用集積回路を備える映像再生装置、情報記録装置、機器、および撮影装置 Download PDF

Info

Publication number
JP2010141925A
JP2010141925A JP2010048835A JP2010048835A JP2010141925A JP 2010141925 A JP2010141925 A JP 2010141925A JP 2010048835 A JP2010048835 A JP 2010048835A JP 2010048835 A JP2010048835 A JP 2010048835A JP 2010141925 A JP2010141925 A JP 2010141925A
Authority
JP
Japan
Prior art keywords
block
video
input
stream
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010048835A
Other languages
English (en)
Inventor
Kozo Kimura
浩三 木村
Tokuzo Kiyohara
督三 清原
Hiroshi Mizuno
洋 水野
Junji Michiyama
淳児 道山
Tomohiko Kitamura
朋彦 北村
Akifumi Yamana
章文 山名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010048835A priority Critical patent/JP2010141925A/ja
Publication of JP2010141925A publication Critical patent/JP2010141925A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/78Architectures of general purpose stored program computers comprising a single central processing unit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4004Coupling between buses
    • G06F13/4027Coupling between buses using bus bridges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Television Receiver Circuits (AREA)
  • Microcomputers (AREA)
  • Studio Devices (AREA)

Abstract

【課題】映像音声機器の開発で得られた設計資産が他の種類の映像音声機器にも流用することが可能な映像処理用集積回路を備える映像再生装置、情報記録装置、機器、および撮影装置を提供する。
【解決手段】CPUを含むマイコンブロック2と、外部装置と映像及び音声ストリームの入出力を行うストリームI/Oブロック4と、ストリームI/Oブロック4に入力された映像及び音声ストリーム等の圧縮及び伸張の少なくとも1つを含むメディア処理を実行するメディア処理ブロック3と、メディア処理ブロック3でメディア処理された映像及び音声ストリームを映像及び音声信号に変換して外部機器に出力等するAVIOブロック5と、マイコンブロック2、ストリームI/Oブロック4、メディア処理ブロック3及びAVIOブロック5と外部メモリ9との間のデータ転送を制御するメモリIFブロック6とを備える。
【選択図】図3

Description

本発明は、映像再生装置、情報記録装置、機器、および撮影装置に関し、特に各種アプリケーションに使用されるシステムLSIとして実現される映像処理用集積回路を備える映像再生装置、情報記録装置、機器、および撮影装置に関する。
近年のデジタル技術、動画像及び音声の圧縮伸張技術の急速な進展に伴い、デジタルテレビ(DTV)、DVDレコーダ等のデジタルビデオレコーダ(DVR)、携帯電話、ビデオカメラ等の映像音声機器は、ますます高機能化、小型化が求められている。そのために、このような映像音声機器の開発現場においても、開発期間の短縮化が大きな課題となっている。
従来、映像音声機器の開発を支援するために、映像音声機能に関わる処理に必要な複数の機能ブロックを1つのLSIとして実現した技術がある(たとえば、非特許文献1参照)。
この従来のLSIは、メディア処理に必要なDSP(Digital Signal Processor)コアや、各種ビデオI/O、RGB I/O、MPEG−2トランスポートストリームI/F、LAN I/F等を備える。機器の開発者は、このようなLSIを使用することで、映像音声処理に必要な各機能ブロックにおけるハードウェア回路を個別に開発する必要がなくなる。
「TMS320DM642 Technical Overview」テキサスインスツルメンツ社、p.4等
しかしながら、上記従来のLSIは、音声等による電話とのI/Fや、電力制御等の低消費電力のための機能等が備わっていないために、携帯電話やビデオカメラ等のモバイル系用途には向かないという問題がある。そのために、例えば、DTV等のサーバ系機器を上記従来のLSIを用いて実現したとしても、そこで得られたソフトウェア等の設計資産を携帯電話等のモバイル系機器に流用することができない。
さらに、上記従来LSIを用いて映像音声機器を開発する場合には、映像や音声データを一時的に保存するためのメモリと各処理ブロックとのインターフェースについては、開発者が独自に設計しなければならない。たとえば、各処理ブロックで共有できる共有メモリを設ける場合には、各処理ブロックとメモリとの転送帯域を確保するとともにレイテンシ保証を考慮しなければならない。そのために、高機能な映像音声機器の開発工数が削減されないのが実情である。
そこで、本発明は、このような従来の問題点に鑑みてなされたものであり、DTVやDVR等のサーバ系映像音声機器だけでなく、携帯電話やビデオカメラ等のモバイル系映像音声機器のシステムLSIとして適用できるとともに、これらの映像音声機器の開発で得られた設計資産が他の種類の映像音声機器にも流用することが可能な映像処理用集積回路を用いて構成された、映像再生装置、情報記録装置、撮影装置、および各種の機器を提供することを目的とする。
さらに、本発明は、映像や音声データを保存するメモリと各処理ブロックとのインターフェースにおける転送帯域やレイテンシ保証を容易に確保することができる映像処理用集積回路を用いて構成された、映像再生装置、情報記録装置、撮影装置、および各種の機器を提供することをも目的とする。
上記目的を達成するために、本発明に係る映像再生装置は、映像処理用集積回路を備え、前記映像処理用集積回路は、映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行するメディア処理ブロックと、前記メディア処理ブロックにおいてメディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するAV入出力ブロックと、前記メディア処理ブロック及び前記AV入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックとを備え、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される。
また、前記映像再生装置において、前記映像処理用集積回路は、外部装置と映像ストリームの入出力を行うストリーム入出力ブロックをさらに備え、前記メディア処理ブロックは、前記ストリーム入出力ブロックに入力された、あるいは、前記ストリーム入出力ブロックから出力される映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行し、前記メモリインターフェースブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックと前記メモリとの間のデータ転送を制御し、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続されてもよい。
また、前記映像再生装置において、前記映像処理用集積回路は、CPUを含むマイコンブロックをさらに備え、前記マイコンブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック、前記AV入出力ブロック及び前記メモリインターフェースブロックを制御し、前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続され、前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックは、前記メモリを介して前記映像ストリームの授受が行われてもよい。
これによって、例えば、前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックは、専用のデータバスで前記メモリインターフェースブロックと接続され、前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの間では、前記メモリを介して、前記映像及び音声ストリームの授受が行われるようにすることで、4種類の処理ブロックは、それぞれ、相互に接続されるのではなく、共通のメモリを介して接続される。したがって、各処理ブロックに対する制御プログラミングは、いずれも、メモリとの間でデータを入出力するように設計すればよく、他の処理ブロックでの処理と分離される。よって、各処理ブロックに対するアプリケーションプログラムの独立性が高まり、設計資産の流用が可能となる。
ここで、前記メモリインターフェースブロックは、前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックと前記メモリとの間のデータ転送が並列に行われるようにデータ転送を中継してもよいし、前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックは、前記映像及び音声ストリームを前記メモリに格納した後に、格納した旨を他のブロックに通知してもよい。これによって、メモリは、メモリインターフェースブロックを介して、各処理ブロックに共有されることとなり、メモリインターフェースブロックにデータ転送やアービトレーションの制御や管理処理を集中させることで、メモリと各処理ブロックとのインターフェースにおける転送帯域の確保やレイテンシ保証が容易となる。
また、本発明は、このような映像再生装置として実現できるだけでなく、上述した構成と同様構成の映像処理用集積回路を備えた情報記録装置、撮影装置、および各種の機器として、広く実現できる。
これによって、前記情報記録装置、前記撮影装置、および各種の機器においても、上述した効果が享受できる。
ここで、前記情報記録装置に備えられる前記映像処理用集積回路において、前記AV入出力ブロックは、前記外部機器に出力される前の高解像度ビデオ信号と前記外部機器に出力された後の高解像度ビデオ信号に対応する標準画質ビデオ信号とを、多重して前記外部機器に出力してもよい。
また、前記機器に備えられる前記映像処理用集積回路において、前記AV入出力ブロックは、高解像度ビデオ信号および標準画質ビデオ信号に対応した液晶ディスプレイに画像を出力可能であってもよい。
これによって、SD/HD対応の大型LCDに画像を出力することができるので、DTVやDVR等のサーバ系アプリケーションに適する。
また、前記機器に備えられる前記映像処理用集積回路において、前記メディア処理ブロックは、データ並列プロセッサを有していてもよい。
これによって、前記データ並列プロセッサは、データ処理量が大きく、処理できる演算の種類が豊富であることから、多種多用なメディア処理が可能となる。
本発明により、DTVやDVR等のサーバ系映像音声機器だけでなく、携帯電話やビデオカメラ等のモバイル系映像音声機器に共通のシステムLSIを用いて、映像再生装置、情報記録装置、撮影装置、および各種の機器を実現することができる。そして、これらの映像音声機器間で、設計資産の流用が可能となる。
また、映像や音声データを保存するメモリと各処理ブロックとのインターフェースにおける転送帯域の確保やレイテンシ保証が容易となり、短い期間で高機能な映像音声機器を開発することが可能となる。
このように、本発明により、各種の映像音声機器の開発期間が短縮化され、映像音声機器に対してますます高機能な映像音声処理が求められる今日における実用的価値は極めて高い。
図1は、本発明に係る映像音声処理用集積回路の基本構成を示す機能ブロック図である。 図2は、映像音声処理用集積回路の構造図である。 図3は、モバイル系アプリケーションに適した映像音声処理用集積回路の詳細な構成を示す機能ブロック図である。 図4は、映像音声処理用集積回路の動作手順を示すフローチャートである。 図5は、図4に示された動作におけるデータの流れを示す図である。 図6(a)〜図6(d)は、図4に示された動作における各処理ブロックでの処理の様子を示す図である。 図7は、サーバ系アプリケーションに適した映像音声処理用集積回路の詳細な構成を示す機能ブロック図である。 図8は、映像音声処理用集積回路の特徴を示す説明図である。 図9は、映像処理の性能を高めた映像音声処理用集積回路の詳細な構成を示す機能ブロック図である。 図10は、映像音声処理用集積回路の動作手順を示すフローチャートである。 図11は、図10に示された動作におけるデータの流れを示す図である。 図12(a)、図12(b)は、図10に示された動作における各処理ブロックでの処理内容を表す図である。 図13は、ストリーム処理に適した映像音声処理用集積回路の詳細な構成を示す機能ブロック図である。 図14は、ストリーム処理に係る仮想マルチプロセッサの動作手順を示すフローチャートである。 図15(a)、図15(b)は、図14に示された動作における仮想プロセッサの割当てタイミングを示す図である。 図16(a)〜図16(c)は、2つのストリームを処理する場合の仮想プロセッサの割当てタイミングを示す図である。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
図1は、本発明に係る映像音声処理用集積回路1の基本構成を示す機能ブロック図である。本発明に係る映像音声処理用集積回路1は、後述するように、若干の回路構成を変更することで、携帯電話やビデオカメラ等のモバイル系の映像音声機器に適した回路構成、あるいは、DTVやDVR等のサーバ系映像音声機器に適した回路構成として実現することができるが、いずれのアプリケーションにも共通するアーキテクチャをもっており、本図には、その共通アーキテクチャが示されている。
この映像音声処理用集積回路1は、映像音声ストリームに関する様々な信号処理を行うシステムLSIであり、マイコンブロック2、メディア処理ブロック3、ストリームI/Oブロック4、AVIO(Audio Visual Input Output)ブロック5及びメモリIFブロック6から構成される。
マイコンブロック2は、映像音声処理用集積回路1全体を制御するプロセッサであり、制御バス7を介して各処理ブロック3〜6を制御したり、データバス8b及びメモリIFブロック6を介して外部メモリ9にアクセスしたりする回路ブロックである。ここでの処理は、映像音声の出力サイクル(フレームレート等)に依存しない非リアルタイムな汎用(制御関連の)処理である。
ストリームI/Oブロック4は、マイコンブロック2による制御の下で、蓄積メディアやネットワーク等の周辺デバイスから圧縮画像音声ストリーム等のストリームデータを読み込み、データバス8a及びメモリIFブロック6を介して外部メモリ9に格納したり、その逆方向のストリーム転送をしたりする回路ブロックである。ここでの処理は、映像音声の出力サイクル(フレームレート等)に依存しない非リアルタイムなIO処理である。
メディア処理ブロック3は、マイコンブロック2による制御の下で、データバス8c及びメモリIFブロック6を介して外部メモリ9から圧縮画像音声ストリーム等の画像音声データを読み出し、圧縮又は伸張等のメディア処理を行った後に、再び、データバス8c及びメモリIFブロック6を介して、処理後の画像データや音声データを外部メモリ9に格納する回路ブロックである。ここでの処理は、映像音声の出力サイクル(フレームレート等)に依存するリアルタイムな汎用(メディア関連の)処理である。
AVIOブロック5は、マイコンブロック2による制御の下で、データバス8d及びメモリIFブロック6を介して外部メモリ9から画像データ及び音声データ等を読み出し、各種グラフィック処理等を施した後に、画像信号及び音声信号として外部の表示装置やスピーカ等に出力したり、その逆方向のデータ転送をしたりする回路ブロックである。ここでの処理は、映像音声の出力サイクル(フレームレート等)に依存するリアルタイムなIO処理である。
メモリIFブロック6は、マイコンブロック2による制御の下で、各処理ブロック2〜5と外部メモリ9との間で並列にデータ要求が行われるように制御する回路ブロックである。このとき、マイコンブロック2からの要求に応じて、各処理ブロック2〜5と外部メモリ9との間の転送帯域を確保するとともに、レイテンシ保証を行う。
これによって、メディア処理ブロック3を始めとする各ブロックは、提供する機能に必要なバンド幅が確保されるとともに、要求したアクセスレイテンシが保証されることにより、ブロック単独または複数のブロックの合同動作で提供されるアプリケーションの性能保証およびリアルタイム性の保証を達成することができる。
なお、バンド幅を確保しレイテンシを保証するための技術は、その代表的な一例が特開2004−246862号公報に詳しく開示されているので、ここでは詳細な説明を省略する。
このように、本発明に係る映像音声処理用集積回路1は、リアルタイム性と処理の種類(IO処理/非IO(汎用的な)処理)との組み合わせで定められる4つの特徴的な処理ブロック2〜5、つまり、非リアルタイムな汎用的な処理を実行するマイコンブロック2、リアルタイムな汎用的な処理を実行するメディア処理ブロック3、非リアルタイムなI/O処理を実行するストリームI/Oブロック4、及び、リアルタイムなI/O処理を実行するAVIOブロック5に加えて、それら4つの処理ブロック2〜5と専用のデータバス8a〜8dで接続されたメモリIFブロック6とから構成され、モバイル系のアプリケーションとサーバ系のアプリケーションの両方に共通のアーキテクチャを備える。
つまり、4種類の処理ブロックは、それぞれ、相互に接続されるのではなく、共通の外部メモリ9を介して接続される。したがって、各処理ブロックに対する制御プログラミングは、いずれも、外部メモリ9との間でデータを入出力するように設計すればよく、他の処理ブロックでの処理と分離される。これによって、各処理ブロックに対するアプリケーションプログラムの独立性が高まり、各処理ブロックは、他の処理ブロックからの影響を受けることなく、各処理ブロックとメモリIFとの間の仕様のみを考慮するだけで設計することが可能になるため、設計効率を高めることができるとともに、他のアプリケーションに展開した場合であっても、必要なブロックの構成のみを変更することで、その他のアプリケーションの処理を行うことが可能になるため、設計資産の流用が可能となる。
たとえば、携帯電話等のモバイル系の映像音声機器に組み込むために開発した映像音声処理用集積回路のアプリケーションプログラム(例えば、携帯電話が受信した圧縮音声ストリームをメディア処理ブロックで伸張するアプリケーションプログラム)をDTV等のサーバ系映像音声機器に組み込む映像音声処理用集積回路のアプリケーションプログラム(例えば、DTVが受信したトランスポートストリームに含まれていた音声ストリームをメディア処理ブロックで伸張するアプリケーションプログラム)として流用することができる。
つまり、DTV、DVR、ビデオカメラ、携帯電話等の機器のうちの1つを第1機器、他の1つを第2機器とした場合に、第1機器用の映像音声処理用集積回路と第2機器用の映像音声処理用集積回路とで共通に行われる処理が、第1機器用の映像音声処理用集積回路のマイコンブロックで行われる場合は、その処理を第2機器用の映像音声処理用集積回路のマイコンブロックで行い、第1機器用の映像音声処理用集積回路のストリームI/Oブロックで行われる場合は、その処理を第2機器用の映像音声処理用集積回路のストリームI/Oブロックで行い、第1機器用の映像音声処理用集積回路のメディア処理ブロックで行われる場合は、その処理を第2機器用の映像音声処理用集積回路のメディア処理ブロックで行い、第1機器用の映像音声処理用集積回路のAVIOブロックで行われる場合は、その処理を第2機器用の映像音声処理用集積回路のAVIOブロックで行うように設計開発することができる。このように、第1機器用の映像音声処理用集積回路の各ブロックの処理の分担を第2機器用の映像音声処理用集積回路の各ブロックの処理の分担と共通化することにより、各ブロックのハードウェア及びソフトウェアの設計資産を流用することができる。
なお、この映像音声処理用集積回路1は、1つの半導体基板上に形成された1チップLSIであるが、製造工程上の構成として、図2に示されるように、半導体基板1a、回路層1b、下位配線層1c及び上位配線層1dからなる。回路層1bは、各処理ブロック2〜5の回路要素に相当し、下位配線層1cは、各処理ブロック2〜5の回路要素を接続する各処理ブロック2〜5内での配線に相当し、上位配線層1dは、各処理ブロック2〜5間を接続するバス(制御バス7及びデータバス8a〜8d)に相当する。このように、配線層を各処理ブロック内での配線と各処理ブロック間を接続する配線とに分離し、異なるマスクレイアウトとすることで、各処理ブロックの内部と外部での配線設計が分離され、設計が容易となる。
次に、本発明に係る映像音声処理用集積回路のうち、携帯電話やビデオカメラ等のモバイル系アプリケーションに適したタイプの映像音声処理用集積回路について、より詳細に説明する。
図3は、モバイル系アプリケーションに適した映像音声処理用集積回路100の詳細な構成を示す機能ブロック図である。
映像音声処理用集積回路100は、無線通信や低消費電力化の機能が必要とされるモバイル系の映像音声機器に適したシステムLSIであり、マイコンブロック10、メディア処理ブロック20、ストリームI/Oブロック30、AVIOブロック40及びメモリIFブロック50から構成される。
マイコンブロック10は、制御バス60を介して各処理ブロック20〜40を制御したり、データバス71を介してSDRAM(Synchronous DRAM)106にアクセスしたりする回路ブロックであり、DMA(Direct Memory Access)部11、CPU部12、マイコン周辺部13、クロック制御部14及び電源制御部15等を備える。
DMA部11は、ダイレクトメモリアクセス用のコントローラであり、例えば、外部バスを介して接続されたフラッシュメモリ101に格納されたユーザプログラム等をCPU部12内のプログラムメモリ等に直接転送することによってダウンロードする。
CPU部12は、タイマ機能や割り込み機能を有するプロセッサコアであり、内部のプログラムメモリ等に格納されたプログラムに従って、この映像音声処理用集積回路100全体の制御を行う。なお、内部のプログラムメモリ等には、予めOS等の基本ソフトが格納されている。
マイコン周辺部13は、割り込み制御回路や周辺I/Oポート等である。
クロック制御部14は、クロックを各回路に供給するとともに、CPU部12等がアイドル状態等のときにCPU部12等へのクロック供給を停止する等により、低消費電力化を図る回路である。
電源制御部15は、電源を各回路に供給するとともに、各処理ブロックがアイドル状態等のときに各処理ブロックへの電源供給を停止する等により、低消費電力化を図る回路である。
メディア処理ブロック20は、マイコンブロック10による制御の下で、SDRAM106からデータバス72a及びデータバス72bを介して読み出した画像・オーディオ・音声データをMPEG規格等に沿って圧縮・伸張する高速なDSP等であり、命令並列プロセッサ21、シーケンサ部22、第1〜第4アクセラレータ(ACC;accelerator)部23〜26及びDMAC部27等を備える。なお、このメディア処理ブロック20は、SDRAM106を介さずに、ストリームI/Oブロック30からデータバス74を介してストリームデータを直接受け取ることもできる。ストリームI/Oブロック30から送られてくるストリームデータが低ビットレートである場合には、高速動作するメディア処理ブロック20が直接ストリームデータを受信してメディア処理を実行するほうが、SDRAM106を経由しない分だけ、セキュリティ向上、消費電力削減と合わせて、処理効率が高くなり得るからである。
命令並列プロセッサ21は、複数の命令(信号処理命令)を並列に実行するプロセッサであり、各構成要素22〜27の全体制御を行う。
シーケンサ部22は、命令並列プロセッサ21による制御の下で、第1〜第4アクセラレータ部23〜26による処理シーケンスを制御する。
第1〜第4アクセラレータ部23〜26は、それぞれ並列に動作し、画像・オーディオ・音声データに対してDCT(Discrete Cosine Transform)、逆DCT、量子化、逆量子化、動き検出、動き補償等の圧縮・伸張等のメディア処理を行う演算処理エンジンである。
DMAC部27は、ダイレクトメモリアクセス用のコントローラであり、例えば、データバス72a及びデータバス72b等を介してSDRAM106との間でのデータの直接転送を制御する。
なお、このメディア処理ブロック20は、モバイル系アプリケーションのための低電力化対応回路となっている。具体的には、消費電力の高い汎用的なデータ処理プロセッサではなく、第1〜第4アクセラレータ部23〜26のような低消費電力の専用ハードエンジンによって実現されていること、処理データが存在しない等のアイドル状態を自動検知して停止したり(自動停止制御)、クロック供給を遮断したりする(ゲーテッドクロック)機能を備える。
ストリームI/Oブロック30は、外部デバイス102〜104からストリームデータを受信し、データバス70を介してSDRAM106に格納したり、その逆のデータ転送をする回路ブロックであり、暗号エンジン部32、セキュア管理部33、DMAC部34、ストリーム処理部35及びデバイスIF部36等を備える。
暗号エンジン部32は、入力された暗号化ストリームデータや鍵データ等を復号したり、外部デバイス102〜104に渡す鍵データを暗号化したりする暗号器及び復号器である。
セキュア管理部33は、外部デバイス102〜104との間で必要となる機器認証プロトコル等の実行制御をしたり、秘密鍵を保持したりする耐タンパな回路である。
DMAC部34は、ダイレクトメモリアクセス用のコントローラであり、例えば、デバイスIF部36を介して入力されるストリームデータをデータバス70を介してSDRAM106に直接転送する。
ストリーム処理部35は、デバイスIF部36を介して外部デバイス102〜104から入力されたストリームデータを多重分離する。
デバイスIF部36は、携帯電話等に使用される通信用プロセッサ等の別CPU102との間で送受信するためのIOポート、SD(商標)カード等のメモリカード103との間で読み書きをするためのIOポート、PDA104等との間で赤外線通信等をするためのIOポート等の集まりである。
AVIOブロック40は、SDRAM106に格納された映像及び音声ストリームを、データバス73a及びデータバス73bを介して読み出し、LCD107等に出力したり、デジタルカメラ108から送られてくる撮像データを、データバス73a及びデータバス73bを介してSDRAM106に格納したりする回路ブロックであり、グラフィックスエンジン部41、ビデオ入力フォーマット変換部42、撮像処理エンジン部43、オーディオIF部44及びビデオ出力フォーマット変換部45等を備える。
グラフィックスエンジン部41は、フィルタ処理、画面合成、曲線描画、3D表示等のグラフィックス処理を行う高性能グラフィックスエンジンである。
ビデオ入力フォーマット変換部42は、この映像音声処理用集積回路100に入力された映像データの色空間等に起因にする信号フォーマットを内部処理に適したフォーマットに変換する。
撮像処理エンジン部43は、デジタルカメラ108等から入力される静止画や動画に対する高画質撮像処理を行う。
オーディオIF部44は、マイク・スピーカ等との間で音声信号を入出力するA/D変換器、D/A変換器等である。
ビデオ出力フォーマット変換部45は、出力する映像信号の色空間等に起因する信号フォーマットをLCD107等に適合するフォーマットに変換する。
メモリIFブロック50は、この映像音声処理用集積回路100とSDRAM106等の外部メモリや高速IF105との間でのデータ転送を制御するインターフェース回路であり、メモリスケジューラ51、バッファ部52及び内蔵RAM53等を備える。
メモリスケジューラ51は、各処理ブロック10〜40や高速IF105との間で並列にデータを入出力するポート(サブシステムIF51a〜51c)を有するスケジューラであり、マイコンブロック10からの指示に従って、各サブシステムIF51a〜51cごとに、一定の転送帯域を確保するとともに、レイテンシを保証している。
バッファ部52は、SDRAM106とメモリスケジューラ51とのデータ転送を中継する高速なバッファメモリである。
内蔵RAM53は、メモリスケジューラ51が各サブシステムIF51a〜51cごとに一定帯域のデータ転送を保証するためのデータ退避用バッファメモリである。
次に、以上のように構成された映像音声処理用集積回路100の動作について図4〜図6を用いて説明する。
図4は、メモリカード103から圧縮画像音声ストリームを読み出し、伸張した後に、画像信号及び音声信号として出力する場合の映像音声処理用集積回路100の動作手順を示すフローチャートである。図5は、そのときのデータの流れを示す図である。図6は、各処理ブロック20〜40での処理の様子を示す図である。
まず、マイコンブロック10は、内蔵しているプログラムに従って、各処理ブロック20〜40の初期設定等をする(図4のS10)。たとえば、メディア処理ブロック20に対してMPEG4に基づく伸張処理を指示し、ストリームI/Oブロック30に対してメモリカード103に格納された圧縮画像音声ストリームを読み出すように指示し、AVIOブロック40に対して音声出力とLCD107への映像出力を指示する。
次に、ストリームI/Oブロック30は、メモリカード103に格納されている圧縮画像音声ストリームを読み出し、メモリIFブロック50を介してSDRAM106に格納する(図4のS11、図5のS20)。この圧縮画像音声ストリームは、例えば、図6(a)に示されるように、画像と音声のビット列が多重化された構造となっている。
続いて、メディア処理ブロック20は、SDRAM106に格納された圧縮画像音声ストリームを読み出し、そのヘッダ情報等に基づいてパーサ処理等を行うことで、図6(b)に示されるような画像ストリームと音声ストリームとに多重分離し、分離した各ストリームデータをメモリIFブロック50を介してSDRAM106に書き戻す(図4のS12、図5のS21)。
そして、再び、メディア処理ブロック20は、SDRAM106から画像ストリームと音声ストリームを読み出し、伸張処理を施した後に、図6(c)に示される画像データ(例えば、画素ごとに8ビットで表現される画像データ)及び音声データ(16ビット/サンプルで表現される音声データ)としてSDRAM106に書き戻す(図4のS13、図5のS22)。
最後に、AVIOブロック40は、SDRAM106から画像ストリームと音声ストリームを読み出し、画像ストリームについてはREC656フォーマット等へのフォーマット変換を施し、音声ストリームについてはD/A変換等を施した後に、それぞれ、画像信号及び音声信号として、図6(d)に示されるように、LCD107やスピーカ等に出力する(図4のS14、図5のS23、S24)。
なお、上記各処理ブロックによる処理(図4のS11〜S14)は、画像ストリームについてはパケット、マクロブロック、スライス、ピクチャ等の単位で、音声ストリームについてはパケット、フレーム等の単位でパイプライン処理される。そのとき、マイコンブロック10、メディア処理ブロック20、ストリームI/Oブロック30及びAVIOブロック40は、画像及び音声ストリームのパケット等をSDRAM106に格納した場合に、格納した旨を他のブロックに通知する。これによって各パイプライン工程が流れる。
このように、本発明に係る映像音声処理用集積回路100によれば、メモリカード103等の外部デバイスから与えられた圧縮画像音声ストリームは、画像ストリームと音声ストリームとに多重分離され、伸張された後に、フォーマット変換され、画像信号及び音声信号として出力される。つまり、1つのLSIと外部メモリ(SDRAM106)だけで、外部デバイスに格納された圧縮画像音声ストリームの再生が可能となる。
そして、この映像音声処理用集積回路100によれば、各処理ブロックごとに画像データや音声データを一時格納するバッファメモリを備えるのではなく、全ての処理ブロックに共通の共有メモリ(SDRAM106)を備える。したがって、各処理ブロックに割り当てるメモリサイズを自由に決定することができ、各処理ブロックでのデータ発生量や処理負荷が異なる様々なアプリケーションに対して、この映像音声処理用集積回路100を適用することができる。また、各ブロックは、独立してバッファメモリを備える必要がないため、この映像音声処理用集積回路100は、全体としてチップサイズを縮小化することができる。
次に、本発明に係る映像音声処理用集積回路のうち、DTVやDVR等のサーバ系アプリケーションに適したタイプの映像音声処理用集積回路について、より詳細に説明する。
図7は、サーバ系アプリケーションに適した映像音声処理用集積回路200の詳細な構成を示す機能ブロック図である。
この映像音声処理用集積回路200は、各種周辺デバイスとの接続や多種多様なメディア処理が必要とされるサーバ系の映像音声機器に適したシステムLSIであり、マイコンブロック210、メディア処理ブロック220、ストリームI/Oブロック230、AVIOブロック240及びメモリIFブロック250から構成される。各処理ブロック210〜250は、基本的には、上記映像音声処理用集積回路100の処理ブロック10〜50と同様の構成を備える。以下、上記映像音声処理用集積回路100と同様の構成要素には同一の符号を付し、説明を省略する。
マイコンブロック210は、上記映像音声処理用集積回路100のマイコンブロック10からクロック制御部14と電源制御部15とを除いた構成を備える。サーバ系のアプリケーションでは、これらの低消費電力用回路が不要となるからである。なお、このマイコンブロック210は、外部バスを介して、映像音声機器のメインプロセッサとなる外部マスタ201と接続され、外部マスタ201による制御の下で動作することもできる。
メディア処理ブロック220は、上記映像音声処理用集積回路100のメディア処理ブロック20における1つのアクセラレータをデータ並列プロセッサ221に代えた構成を備える。データ並列プロセッサ221は、1つの命令で複数のデータに対する演算を実行するSIMD(Single Instruction Multiple Data)型プロセッサであり、並列実行可能な8又は16個(低並列度又は高並列度)のPE(プロセッサエレメント)を備え、アクセラレータに比べて消費電力が大きいが、データ処理量が大きく、処理できる演算の種類が豊富であり、多種多用なメディア処理が可能である。具体的には、MPEG2&4に対応した同時符号・復号化、HDTVの2ch分の映像信号の復号、PS(Program Stream)とTS(Transport Stream)との統合処理、MPEG4−AVCによる符号・復号化等のマルチフォーマットに対応した符号・復号化処理が可能になる。また、MPEG2からMPEG4への変換、HD(高解像度ビデオ信号)からSD(標準画質ビデオ信号)への変換、低ビットレート化等の各種変換も可能となる。さらに、画像を表示するディスプレイデバイスに応じた高画質化制御等も可能となり、サーバ系アプリケーションに必要とされる各種メディア処理に対応することができる。
ストリームI/Oブロック230は、上記映像音声処理用集積回路100のストリームI/Oブロック30におけるストリーム処理部35及びデバイスIF部36を、より豊富な周辺デバイスと接続可能なストリーム処理部231及びデバイスIF部232に代えた構成を備える。ストリーム処理部231は、映像音声処理用集積回路100のストリーム処理部35の機能に加えて、放送やネットワーク等にも対応するために、外部に接続されるTVチューナ202やイーサコントローラ203からのストリームを処理する機能も備える。デバイスIF部232は、USB205、メモリカード103用のインターフェース、ハードディスク206や光ディスク207用のディスクドライブインターフェース、差動IF208等の集まりである。
AVIOブロック240は、上記映像音声処理用集積回路100のAVIOブロック40から撮像処理エンジン部43を除いた構成を備え、小型のLCD107に代えて、SD/HD対応の大型LCD212に画像を出力する機能を有する。
メモリIFブロック250は、上記映像音声処理用集積回路100のメモリIFブロック50と同様の機能を有するが、外部メモリ210及び211として、通常のSDRAMだけでなく、DDR(Double Data Rate)型のSDRAMと接続する高速バスを備える。
このように、本発明に係る映像音声処理用集積回路200は、多くの種類の周辺デバイス用のインターフェース回路を備えるとともに、大容量で、かつ、多様なデータ処理にも対応できるメディア処理用プロセッサも備えるので、サーバ系の映像音声機器に適したシステムLSIである。このような映像音声処理用集積回路200を用いることで、高機能なDTVやDVR等のサーバ系の映像音声機器を短い期間で開発することができる。
以上のように、本発明に係る映像音声処理用集積回路は、特徴的な5つの処理ブロック、つまり、あらゆる映像音声機器に共通の基本アーキテクチャを備えるとともに、各処理ブロックでの構成を変更することでモバイル系アプリケーションやサーバ系アプリケーションに適したタイプにカスタマイズすることができるという設計の自由度を有する。これによって、特定の機器の開発における設計資産を他の機器に流用することが可能となる。
さらに、複数のブロックが合同で動作することにより、TVチューナなどから入力されたストリームを処理した後に、指定されたコーデック方式で、ビデオ信号やオーディオ信号を生成し、外部LCDなどに画像出力したり、外部スピーカに音を出力する機能を提供するが、メモリIFブロック250は、各ブロックとの間で、提供する機能に必要なバンド幅をそれぞれ確保するとともに、要求したアクセスレイテンシを保証する。これらにより、上記のストリーム処理、信号生成処理、出力処理などは、必要な性能を不足することなく、すなわち、TV機能の実現においても、映像がコマ落ちしたり、音声が途切れたりすることなく、容易に達成できる。
図8は、本発明に係る映像音声処理用集積回路の特徴を示す説明図である。
ここでは、本発明に係る映像音声処理用集積回路は2種類のアーキテクチャ(モバイル用及びサーバ用)をもつシステムLSIとして実現することができ、それら2種類の映像音声処理用集積回路は、共通設計思想をもち、かつ、API(アプリケーションプログラムインターフェース)による整合が可能であることが示されている。さらに、モバイル用の映像音声処理用集積回路は携帯電話等のモバイルコミュニケーション及びビデオカメラ等のAVCモバイルのシステムLSIとして、一方、サーバ用の映像音声処理用集積回路は、BDレコーダ等のAVCサーバ及びHDTV等のDTVのシステムLSIとして使用できることが示されている。
以上のように、本発明に係る映像音声処理用集積回路は、大きく分けると、2つの用途(モバイル系及びサーバ系)、より詳細に分けると、4つの用途(DTV、AVCサーバ、AVCモバイル、モバイルコミュニケーション)における映像音声機器のシステムLSIとして適用することができ、かつ、それらの機器での設計資産の流用を可能にする。
次に、本発明に係る映像音声処理用集積回路のうち、映像処理(特に再生と並行して行われる録画処理)の性能を高めた映像音声処理用集積回路について、より詳細に説明する。
図9は、映像処理の性能を高めた映像音声処理用集積回路200aの詳細な構成を示す機能ブロック図である。
この映像音声処理用集積回路200aは、例えばハイビジョン放送番組(HD)を視聴しながらSDで録画したり、さらにはそのSD映像を追っかけ再生するといった応用において映像処理性能の向上を果たすべく構成されたシステムLSIであり、マイコンブロック210、メディア処理ブロック220a、ストリームI/Oブロック230、AVIOブロック240a及びメモリIFブロック250から構成される。
各処理ブロック210、220a、230、240a、250は、基本的には、上記映像音声処理用集積回路200の処理ブロック210〜250と同様の構成を備える。この映像音声処理用集積回路200aは、画像ストリームとは別にそれから抽出される比較的少量のフィールド特徴情報を伝送するデータバス75が、メディア処理ブロック220aとAVIOブロック240aとを接続して設けられる点で特徴付けられる。以下、上記映像音声処理用集積回路200と同様の構成要素には同一の符号を付し、説明を省略する。
メディア処理ブロック220aは、前述したメディア処理ブロック20及び220の特徴を継承する高速なDSP等であり、SDRAM210及び211からデータバス72a及びデータバス72bを介して読み出した画像・オーディオ・音声データをMPEG規格等に沿って圧縮・伸張する。例えばハイビジョン放送番組(HD)を視聴しながらSDに解像度変換して録画するといった応用においては、命令並列プロセッサ21又はデータ並列プロセッサ221、若しくはその両方が、視聴する圧縮HD画像音声多重ストリームの多重分離及び伸張処理と、記録される圧縮SD画像音声多重ストリームを得るための圧縮及び多重化処理とをコンカレントに実行し、それぞれの処理結果をSDRAM210及び211へ書き戻す。
AVIOブロック240aは、メディア処理ブロック220aによる多重分離及び伸張処理の結果SDRAM210、211に書き戻されたHD画像データを、バス73a、73bを介して取得して大型LCD212へ出力すると同時に、そのHD画像データを解像度変換処理して得たSD画像データをSDRAM210、211へ書き戻す。そして、その処理の際に知られたフィールド特徴情報(例えば、フィールド内総和情報、フィールド間差分情報)を、データバス75を介してメディア処理ブロック220aへとフィードバックする。
この解像度変換処理は、例えば、AVIOブロック240aのビデオ出力フォーマット変換部45によって行われる。ビデオ出力フォーマット変換部45は、前述したように、出力する映像信号の色空間等に起因する信号フォーマットを映像出力デバイスに適合するフォーマットに変換する機能を有しており、その具体機能であるダウンサンプリング及びデシメーションフィルタ機能をこの解像度変換処理に用いることができる。
再び、メディア処理ブロック220aは、このフィールド特徴情報を参照して、シーンチェンジが生じたフィールドやシーンチェンジの頻度を判断する。そして、その判断に基づいて、例えばシーンチェンジ後のフレームをIピクチャと決定し、またシーンチェンジが多発する期間にはそうでない期間に比べて圧縮率を上げて圧縮後のデータ量の均一化を図りながら、SD画像データをSD画像ストリームに圧縮し、さらに多重化処理によって圧縮SD画像音声多重ストリームを生成し、生成された圧縮SD画像音声多重ストリームをSDRAM210及び211へ書き戻す。
次に、以上のように構成された映像音声処理用集積回路200aの動作について図10〜図12を用いて説明する。
図10は、TVチューナ202からハイビジョン放送信号である圧縮HD画像音声多重ストリームを読み出し、画像信号及び音声信号として出力しながら、SD画像へと解像度変換して記録する場合の映像音声処理用集積回路200aの動作手順を示すフローチャートである。
図11は、そのときの主要なデータの流れを示す図である。
図12は、処理ブロック220a、240aでの処理内容を表す図である。
まず、マイコンブロック10は、内蔵しているプログラムに従って、各処理ブロック220a、230、240aの初期設定等をする(図10のS30)。たとえば、メディア処理ブロック220aに対してMPEG4に基づく伸張処理(HD)及びMPEG2に基づく圧縮処理(SD)を指示し、ストリームI/Oブロック230に対してTVチューナ202から圧縮HD画像音声多重ストリームを取得すると共に圧縮SD画像音声多重ストリームをHDD206に記録するように指示し、AVIOブロック240aに対して音声出力と大型LCD212への映像出力と共に、HD画像からSD画像への解像度変換を指示する。
次に、ストリームI/Oブロック230は、TVチューナ202から圧縮HD画像音声多重ストリームを読み出し、メディア処理ブロック220aは、その圧縮HD画像音声多重ストリームからヘッダ情報等に基づいてパーサ処理等を行うことによって画像ストリームと音声ストリームとを多重分離し、さらにその画像ストリームと音声ストリームとに伸張処理を施した後、画像データ及び音声データとしてSDRAM210、211に書き戻す。
ここまでの動作は、基本的には前述した映像音声処理用集積回路100の動作(図4及び図5を参照)と同じであり、画像の解像度、及び圧縮画像音声多重ストリームがメモリカードから得られるかTVチューナから得られるかが異なる。ここまでの動作に係るデータの流れの図11への図示は、省略する。
続いて、AVIOブロック240は、SDRAM210、211からHD画像データと音声データを読み出し、図12(b)に示されるように、大型LCD212やスピーカ等に出力する(図10のS31、図11のS40a、S40b)。
このHD画像の出力と並行して、AVIOブロック240は、そのHD画像に図12(a)に示されるような解像度変換処理を施して得られたSD画像データをSDRAM210、211へと書き戻すと共に、その処理の際に知られたフィールド内総和情報(フィールドの全体的な明るさを表す)、フィールド間差分情報(直前のフィールドとの明るさの差を表す)等といったフィールド特徴情報を生成する。このフィールド特徴情報は、例えばAVIOブロック240a内の図示しない小規模なバッファメモリにSD画像データのフィールドと対応付けて格納され、データバス75を介してメディア処理ブロック220aからの参照に供される(図10のS32、図11のS41a、S41b)。
その後、メディア処理ブロック220aは、SDRAM210、211からSD画像データと音声データとを読み出すと共に、データバス75を介してフィールド特徴情報を参照して、Iピクチャを決定し、また圧縮率を動的に変更しながら、そのSD画像データと音声データとを圧縮処理することによってSD画像ストリーム及び音声ストリームを生成してSDRAM210、211へ書き戻す(図10のS33、図11のS42)。
そして、再び、メディア処理ブロック220aは、SDRAM210、211からSD画像ストリームと音声ストリームとを読み出し、それらを多重化処理することによって生成した圧縮SD画像音声多重ストリームをSDRAM210、211へと書き戻す(図10のS34、図11のS43)。
最後に、ストリームI/Oブロック230は、SDRAM210、211から圧縮SD画像音声多重ストリームを読み出し、それをHDD206へと記録する(図10のS35、図11のS44)。
この圧縮SD画像音声多重ストリームは、ハイビジョン放送の録画としてHDD206へ記録されてもよく、さらには所定の時間経過後に読み出され、図12(b)に示されるように、ハイビジョン放送と共にピクチャインピクチャ表示で追っかけ再生されるとしてもよい。後者の場合には、図10に示される動作にさらにHDD206に記録された圧縮SD画像音声多重ストリームを再生する手順が追加される。
上記各処理ブロックによる一連の処理(図10のS31〜S35)においては、視聴する放送番組のストリーム、記録されるストリーム、さらに追っかけ再生を行う場合には追っかけ再生用のストリームの、2つ乃至3つのストリームが、パケット、マクロブロック、スライス、ピクチャ、フレームといった周知の処理単位でパイプライン処理されることによって、コンカレントに処理される。
このように、本発明に係る映像音声処理用集積回路200aによれば、メディア処理ブロック220aは、AVIOブロック240aにおいて知られたフィールド特徴情報を、データバス75を介して参照して、記録画像の圧縮におけるIピクチャを決定し、また圧縮率を動的に調整する。これによって、映像音声処理用集積回路200aは、フィールド特徴情報を得るための重複コストを避けて高い速度性能を得ると同時に、画質とデータ量との良好なトレードオフを達成することができる。
なお、データバス75は、前述したように、比較的少量のフィールド特徴情報をメディア処理ブロック220aとAVIOブロック240aとの間に限定して伝送するため、各処理ブロックに対するアプリケーションプログラムの独立性への影響はごく僅かであり、また、映像音声処理用集積回路上に占める実装面積も小さい。
ここまでに、AVIOブロック240aからメディア処理ブロック220aへフィールド特徴情報を供給することによって得られる優れた効果を、ハイビジョン放送の録画という顕著な例を用いて説明した。この例の他にも、例えば、前記映像音声処理用集積回路100(図3を参照)において、AVIOブロック40からメディア処理ブロック20へ同様のフィールド特徴情報を供給すれば、放送の録画のみならず、デジタルカメラ等の外部機器から取得される映像の録画において同様の効果を得ることができる。
次に、本発明に係る映像音声処理用集積回路のうち、放送系及び蓄積系それぞれの映像処理の共通化に適した映像音声処理用集積回路について、より詳細に説明する。ここで、放送系とはTVチューナ、及びインターネット等から得られる放送番組に係る処理を言い、蓄積系とはHDD、DVD、及びメモリカード等の記録媒体に蓄積されている番組に係る処理を言う。
図13は、放送系及び蓄積系それぞれの映像処理の共通化に適した映像音声処理用集積回路100aの詳細な構成を示す機能ブロック図である。
この映像音声処理用集積回路100aは、放送系の処理(例えばTVチューナから得られる放送番組の再生)機能、及び蓄積系の処理(例えばHDDに蓄積されている番組の再生)機能を持つシステムLSIであり、マイコンブロック10、メディア処理ブロック20a、ストリームI/Oブロック30、AVIOブロック40、及びメモリIFブロック50から構成される。
この映像音声処理用集積回路100aは、メディア処理ブロック20aに、ストリーム処理抑制タイマ28を持つ仮想マルチプロセッサ21aを備える点で特徴付けられる。その他の構成は、基本的には、上記映像音声処理用集積回路100と同様である。
仮想マルチプロセッサ(VMP:Virtual Multi Processor)
とは、一般的に、複数の論理プロセッサ(LP:Logical Processor)
の機能を時分割に演じる命令並列プロセッサの一種を言う(一つのLPは、実体的には、物理プロセッサ(PP:Physical Processor)のレジスタ群に設定さ
れる一つのコンテキストである)。各LPに割り当てる時間単位(TS:Time Sl
ot)の頻度を管理することによって、各LPによって実行されるアプリケーション間の負荷バランスを保つことができる。VMPの構成及び動作については、その代表的な一例が特開2003−271399号公報に詳しく開示されているので、ここでは詳細な説明を省略する。
以下、上記映像音声処理用集積回路100と同様の構成要素には同一の符号を付し、説明を省略する。
メディア処理ブロック20aは、上記映像音声処理用集積回路100のメディア処理ブロック20と同様、圧縮画像音声多重ストリームに係る多重化・多重分離処理、及び画像・音声データの圧縮・伸張処理を行う回路ブロックであるが、命令並列プロセッサ21上で実現されている仮想マルチプロセッサ21aを備えている。
仮想マルチプロセッサ21aは、録画又は再生する圧縮画像音声多重ストリームごとに例えば3つのLP(ストリームLP、画像LP、及び音声LP)を用いて、ストリームの多重化又は多重分離、画像の圧縮又は伸張、及び音声の圧縮又は伸張をそれぞれ行う。
これら各LPには、ストリーム、画像、及び音声それぞれの特性に応じてTSを割り当てる。例えば、演算量を勘案して画像LPには音声LPよりも多くのTSを割り当てたり、また放送信号の取りこぼし(いわゆるストリーム落ち)を防ぐためにストリームLPを1パケット受信ごとにTSを割り当てられるイベントドリブンLPとするか、又はストリーム処理抑制タイマ28の制御下で所定時間内のTS割り当てが禁止されるタイマ抑制付きイベントドリブンLPとする。
各LPへのこのようなTSの割り当てが、各処理間の負荷バランスを良好に保つと同時に、ストリーム落ちの防止に役立つことは明らかである。以下、ストリームLPをタイマ抑制付きイベントドリブンLPとすることが、放送系及び蓄積系それぞれの映像処理(特に再生処理)の共通化に役立つことを図14及び図15を用いて説明する。
図14は、放送系及び蓄積系両方のストリーム処理を共通に実行するタイマ抑制付きイベントドリブンLPの動作手順を示すフローチャートである。
図15は、そのときの各イベントの発生タイミング、及びストリーム、画像、音声の各LPが動作するTSを、放送系のストリームを処理する場合及び蓄積系ストリームを処理する場合それぞれについて示す図である。図面の右方向が時間の経過に対応し、帯はTSの並び、その中の文字はTSで動作するLPを表している(Stream、Video、及びAudioは、それぞれストリームLP、画像LP、及び音声LPを表し、空白は動作するLPがないことを表す)。
まず放送系の場合について、時間InFreqごとにTVチューナからパケットが取得され入力イベントが発生するものとして、図14及び図15(a)を用いて説明する。
最初、入力イベント待ちでスリープしているストリームLPは(S50)、第Nパケットの入力イベントで起床して第1TSで動作を開始する。そして、そのパケットを時間StTime(N)で処理し終わると(S51)、時間(Infreq−StTime(N))よりも短い時間のタイマを起動し(S52)タイマイベント待ちのスリープに入る(S53)。第2及び第3TSはそれぞれ画像及び音声LPに割り当てられる。
ストリームLPは、第4TS中に発生するタイマイベントで起床する。そして、第5TSで動作を開始すると、入力イベントを確認し(S54)、N+1番パケットの入力イベントがあることを知って(S55:YES)、そのパケットを処理する(S51)。以降、同様の動作が繰り返される。
ここで、一つの具体例として、仮想マルチプロセッサの動作クロック周波数が243[
MHz]、ストリームが70[Mbps]で入力される場合を考えると、1秒あたりのパケ
ット数は、70[Mbps]/(8[bit]x188[byte/Packet])≒4
6543[Packet/sec]、パケットの処理周期InFreqは、243[Mcl
ock/sec]/46543[Packet/sec]≒5221[clock/packet]である。
このように、放送系の場合には、入力イベントそのものが比較的長い間隔で発生することによってストリームLPの処理が制限され、その結果、ストリーム、映像、音声の各LPの負荷バランスが良好に保たれる。
次に蓄積系の場合について、1パケットの処理中にHDDから後続パケットが取得され次の入力イベントが発生するが、その後続パケットの処理は放送系と同じ時間InFreq後に行いたいという要請があるものとして、図14及び図15(b)を用いて説明する。
最初、入力イベント待ちでスリープしているストリームLPは(S50)、第Nパケットの入力イベントで起床して第1TSで動作を開始する。そして、そのパケットを時間StTime(N)で処理し終わると(S51)、時間(InFreq−StTime(N))のタイマを起動し(S52)タイマイベント待ちのスリープに入る(S53)。ストリームLPは、第1TS中に発生する第N+1パケットの入力イベントでは起床せずスリープし続ける(図15(b)の第N+1入力イベントから始まる太い点線)。
ストリームLPが第N+1パケットを処理しない限り、ストリーム用のバッファを持たないストリームI/Oブロック30は後続パケットを読み込むことができず、第N+2パケットの読み出し処理は延期される。第2及び第3TSはそれぞれ画像及び音声LPに割り当てられる。
ストリームLPは、第4TS中に発生するタイマイベントで起床する。そして、第5TSで動作を開始すると、入力イベントを確認し(S54)、N+1番パケットの入力イベントがあることを知って(S55:YES)、そのパケットを処理し(S51)、その後タイマイベント待ちのスリープに入る(S52、S53)。ストリームLPは、第5TS中に発生する第N+2パケットの入力イベントでは起床せずスリープし続ける(図15(b)の第N+2入力イベントから始まる太い点線)。以降、同様の動作が繰り返される。
このように、蓄積系の場合には、入力イベントそのものは比較的短い間隔で発生し得るのだが、そうなった場合でもタイマイベント待ちのスリープによってストリームLPの処理が制限され、その結果、ストリーム、映像、音声の各LPの負荷バランスが良好に保たれる。
もし、蓄積系で、ストリームLPがタイマイベント待ちでスリープしなかったとすれば、ストリームを処理すればするだけ入力イベントが発生して結果的にストリームLPに過剰なTSを割り当てられ、画像LPや音声LPには必要量のTSが割り当てられず、画像・音声処理が破綻してしまう。
以上のように、本発明に係る映像音声処理用集積回路100aは、メディア処理ブロック20aにおける仮想マルチプロセッサ21aのタイマ抑制付きイベントドリブンLPによって、ストリーム処理を実行する。この処理は、放送系にも、またストリームが過剰に入力され得る蓄積系にも共通に用いられ、ストリーム処理の過剰実行を自律的に抑制して画像・音声処理の破綻を未然に防ぐだけでなく、ストリームI/Oブロック30においてメディア処理ブロック20aへ送るストリーム量を上限管理することも不要とする。これらの総体として、各処理ブロックに対するアプリケーションプログラムの独立性、簡明性が向上し、ひいては設計資産の流用促進に貢献する。
なお、タイマ抑制付きイベントドリブンLPによるストリーム処理は、2つのチャンネルをコンカレントに処理する場合にも適用できる。
図16は、そのときの各イベントの発生タイミング、及びストリーム、画像、音声の各LPが動作するTSを、(a)2つの放送系のストリームを処理する場合、(b)放送系と蓄積系それぞれのストリームを処理する場合、(c)2つの蓄積系のストリームを処理する場合それぞれについて示す図である。図面の右方向が時間の経過に対応し、帯はTSの列、その中の文字はTSで動作するLPを表している(文字S、V、及びAは、それぞれストリームLP、画像LP、及び音声LPを表し、空白は動作するLPがないことを表す。また、数字0、1はチャンネルを区別する)。
図に示されるように、それぞれのストリームの放送系、蓄積系の区別に応じて、前記説明したタイミング(図15(a)及び(b)を参照)でのイベントが発生する。蓄積系で、入力イベントによる起床がタイマイベント待ちのスリープによって延期され、その結果ストリーム処理の過剰実行が防止されることは、前記と同様である。このように、タイマ抑制付きイベントドリブンLPによるストリーム処理は、2つのチャンネルをコンカレントに処理する場合にも、ストリーム、画像、及び音声処理の負荷バランスを良好に保つ効果を発揮する。
以上、本発明に係る映像音声処理用集積回路について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限られるものではない。
たとえば、本発明に係る映像音声処理用集積回路はモバイル系とサーバ系の2つに分類されたが、これらの分類だけに限られない。たとえば、AV機能付きノートパソコン等のように、低消費電力と高解像度表示が求められる映像音声機器に適用する場合には、クロック制御部14、電源制御部15及びデータ並列プロセッサ221を併せ持つ映像音声処理用集積回路を採用すればよい。
また、上記4つの用途に適した映像音声処理用集積回路は、基本的に、図1に示された共通アーキテクチャを備えていればよく、各ブロックが完全に同一の回路で構成されている必要はない。例えば、上記4つの用途に属する機器のうちの1つを第1機器、他の1つを第2機器とした場合に、第1機器用の映像音声処理用集積回路と第2機器用の映像音声処理用集積回路との間において、(1)CPUの命令セットの少なくとも一部で互換性がある、(2)命令並列プロセッサの命令セットの少なくとも一部で互換性がある、(3)CPUのコアが同じ論理的接続(ソフトマクロ)を有している、(4)命令並列プロセッサのコアが同じ論理的接続を有している、(5)CPUのコアが同じマスクレイアウト(ハードマクロ)を有している、(6)CPUのメモリマップ上での各ブロックの制御レジスタ(各ブロックを制御するためのレジスタ)のアドレスが同じである、あるいは、各処理で使う外部メモリ9の領域が同じである等のいずれかの共通性があればよい。このような共通性によって、処理ブロックの単位で、アプリケーションプログラムの流用、あるいは、システムLSIとしての製造工程上の流用等が可能となり、全体としての開発効率が向上する。
また、本実施の形態では、各処理ブロックに共有されるメモリは、システムLSIに外付けされたが、システムLSIに内蔵されてもよい。
本発明は、映像音声を扱う機器用のシステムLSIとして、特に、DTV、DVDレコーダ等のAVCサーバ、デジタルカメラ等のAVCモバイル、携帯電話等のモバイルコミュニケーション等の映像音声機器のシステムLSIとして利用することができる。
1、100、100a、200、200a 映像音声処理用集積回路
1a 半導体基板
1b 回路層
1c 下位配線層
1d 上位配線層
2、10、210 マイコンブロック
3、20、220 メディア処理ブロック
4、30、230 ストリームI/Oブロック
5、40、240 AVIOブロック
6、50、250 メモリIFブロック
7、60 制御バス
8a〜8d、71〜75 データバス
9 外部メモリ
11 DMA部
12 CPU部
13 マイコン周辺部
14 クロック制御部
15 電源制御部
21 命令並列プロセッサ
21a 仮想マルチプロセッサ
22 シーケンサ部
23〜26 アクセラレータ部
27 DMAC部
28 ストリーム処理抑制タイマ
32 暗号エンジン部
33 セキュア管理部
34 DMAC部
35 ストリーム処理部
36 デバイスIF部
41 グラフィックスエンジン部
42 ビデオ入力フォーマット変換部
43 撮像処理エンジン部
44 オーディオIF部
45 ビデオ出力フォーマット変換部
51 メモリスケジューラ
51a〜51c サブシステムIF
52 バッファ部
53 内蔵RAM
101 フラッシュメモリ
102 別CPU
102〜104 外部デバイス
103 メモリカード
104 PDA
105 高速IF
106 SDRAM
107 LCD
108 デジタルカメラ
201 外部マスタ
202 TVチューナ
203 イーサコントローラ
205 USB
206 ハードディスク
207 光ディスク
208 差動IF
210、211 外部メモリ
212 大型LCD
221 データ並列プロセッサ
231 ストリーム処理部
232 デバイスIF部

Claims (17)

  1. 映像処理用集積回路を備える映像再生装置であって、
    前記映像処理用集積回路は、
    映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行するメディア処理ブロックと、
    前記メディア処理ブロックにおいてメディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するAV入出力ブロックと、
    前記メディア処理ブロック及び前記AV入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックと
    を備え、
    前記メディア処理ブロック及び前記AV入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される
    ことを特徴とする映像再生装置。
  2. 請求項1に記載の映像再生装置であって、
    前記映像処理用集積回路は、外部装置と映像ストリームの入出力を行うストリーム入出力ブロックをさらに備え、
    前記メディア処理ブロックは、前記ストリーム入出力ブロックに入力された、あるいは、前記ストリーム入出力ブロックから出力される映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行し、
    前記メモリインターフェースブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックと前記メモリとの間のデータ転送を制御し、
    前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続される
    ことを特徴とする映像再生装置。
  3. 請求項2に記載の映像再生装置であって、
    前記映像処理用集積回路は、
    CPUを含むマイコンブロックをさらに備え、
    前記マイコンブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック、前記AV入出力ブロック及び前記メモリインターフェースブロックを制御し、
    前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続され、
    前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックは、前記メモリを介して前記映像ストリームの授受が行われる
    ことを特徴とする映像再生装置。
  4. 映像処理用集積回路を備える情報記録装置であって、
    前記映像処理用集積回路は、
    映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行するメディア処理ブロックと、
    前記メディア処理ブロックにおいてメディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するAV入出力ブロックと、
    前記メディア処理ブロック及び前記AV入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックとを備え、
    前記メディア処理ブロック及び前記AV入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される
    ことを特徴とする情報記録装置。
  5. 請求項4に記載の情報記録装置であって、
    前記映像処理用集積回路は、外部装置と映像ストリームの入出力を行うストリーム入出力ブロックをさらに備え、
    前記メディア処理ブロックは、前記ストリーム入出力ブロックに入力された、あるいは、前記ストリーム入出力ブロックから出力される映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行し、
    前記メモリインターフェースブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックと前記メモリとの間のデータ転送を制御し、
    前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続される
    ことを特徴とする情報記録装置。
  6. 請求項5に記載の情報記録装置であって、
    前記映像処理用集積回路は、
    CPUを含むマイコンブロックをさらに備え、
    前記マイコンブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック、前記AV入出力ブロック及び前記メモリインターフェースブロックを制御し、
    前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続され、
    前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックは、前記メモリを介して前記映像ストリームの授受が行われる
    ことを特徴とする情報記録装置。
  7. 請求項4〜6のいずれか1項に記載の情報記録装置であって、
    前記AV入出力ブロックは、前記外部機器に出力される前の高解像度ビデオ信号と前記外部機器に出力された後の高解像度ビデオ信号に対応する標準画質ビデオ信号とを、多重して前記外部機器に出力する
    ことを特徴とする情報記録装置。
  8. 映像処理用集積回路を備える機器であって、
    前記映像処理用集積回路は、
    映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行するメディア処理ブロックと、
    前記メディア処理ブロックにおいてメディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するAV入出力ブロックと、
    前記メディア処理ブロック及び前記AV入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックと
    を備え、
    前記メディア処理ブロック及び前記AV入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続され、
    前記メディア処理ブロックは、データ並列プロセッサを有する
    ことを特徴とする機器。
  9. 請求項8に記載の機器であって、
    前記データ並列プロセッサは、1つの命令で複数のデータに対する演算を実行する
    ことを特徴とする機器。
  10. 請求項9に記載の機器であって、
    前記映像処理用集積回路は、外部装置と映像ストリームの入出力を行うストリーム入出力ブロックをさらに備え、
    前記メディア処理ブロックは、前記ストリーム入出力ブロックに入力された、あるいは、前記ストリーム入出力ブロックから出力される映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行し、
    前記メモリインターフェースブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックと前記メモリとの間のデータ転送を制御し、
    前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続される
    ことを特徴とする機器。
  11. 請求項10に記載の機器であって、
    前記映像処理用集積回路は、
    CPUを含むマイコンブロックをさらに備え、
    前記マイコンブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック、前記AV入出力ブロック及び前記メモリインターフェースブロックを制御し、
    前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続され、
    前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックは、前記メモリを介して前記映像ストリームの授受が行われる
    ことを特徴とする機器。
  12. 映像処理用集積回路を備える機器であって、
    前記映像処理用集積回路は、
    映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行するメディア処理ブロックと、
    前記メディア処理ブロックにおいてメディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するAV入出力ブロックと、
    前記メディア処理ブロック及び前記AV入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックとを備え、
    前記メディア処理ブロック及び前記AV入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続され、
    前記AV入出力ブロックは、高解像度ビデオ信号および標準画質ビデオ信号に対応した液晶ディスプレイに画像を出力可能である
    ことを特徴とする機器。
  13. 請求項12に記載の機器であって、
    前記映像処理用集積回路は、外部装置と映像ストリームの入出力を行うストリーム入出力ブロックをさらに備え、
    前記メディア処理ブロックは、前記ストリーム入出力ブロックに入力された、あるいは、前記ストリーム入出力ブロックから出力される映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行し、
    前記メモリインターフェースブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックと前記メモリとの間のデータ転送を制御し、
    前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続される
    ことを特徴とする機器。
  14. 請求項13に記載の機器であって、
    前記映像処理用集積回路は、
    CPUを含むマイコンブロックをさらに備え、
    前記マイコンブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック、前記AV入出力ブロック及び前記メモリインターフェースブロックを制御し、
    前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続され、
    前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックは、前記メモリを介して前記映像ストリームの授受が行われる
    ことを特徴とする機器。
  15. 映像処理用集積回路を備える撮影装置であって、
    前記映像処理用集積回路は、
    映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行するメディア処理ブロックと、
    前記メディア処理ブロックにおいてメディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するAV入出力ブロックと、
    前記メディア処理ブロック及び前記AV入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックとを備え、
    前記メディア処理ブロック及び前記AV入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される
    ことを特徴とする撮影装置。
  16. 請求項15に記載の撮影装置であって、
    前記映像処理用集積回路は、外部装置と映像ストリームの入出力を行うストリーム入出力ブロックをさらに備え、
    前記メディア処理ブロックは、前記ストリーム入出力ブロックに入力された、あるいは、前記ストリーム入出力ブロックから出力される映像ストリームの圧縮及び伸張の少なくとも1つを含むメディア処理を実行し、
    前記メモリインターフェースブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックと前記メモリとの間のデータ転送を制御し、
    前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続される
    ことを特徴とする撮影装置。
  17. 請求項16に記載の撮影装置であって、
    前記映像処理用集積回路は、
    CPUを含むマイコンブロックをさらに備え、
    前記マイコンブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック、前記AV入出力ブロック及び前記メモリインターフェースブロックを制御し、
    前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続され、
    前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記AV入出力ブロックは、前記メモリを介して前記映像ストリームの授受が行われる
    ことを特徴とする撮影装置。
JP2010048835A 2004-04-01 2010-03-05 映像処理用集積回路を備える映像再生装置、情報記録装置、機器、および撮影装置 Withdrawn JP2010141925A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010048835A JP2010141925A (ja) 2004-04-01 2010-03-05 映像処理用集積回路を備える映像再生装置、情報記録装置、機器、および撮影装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004108970 2004-04-01
JP2010048835A JP2010141925A (ja) 2004-04-01 2010-03-05 映像処理用集積回路を備える映像再生装置、情報記録装置、機器、および撮影装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006511846A Division JP4857106B2 (ja) 2004-04-01 2005-04-01 映像音声処理用集積回路及び機器の設計開発方法

Publications (1)

Publication Number Publication Date
JP2010141925A true JP2010141925A (ja) 2010-06-24

Family

ID=35063977

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2006511846A Active JP4857106B2 (ja) 2004-04-01 2005-04-01 映像音声処理用集積回路及び機器の設計開発方法
JP2010048835A Withdrawn JP2010141925A (ja) 2004-04-01 2010-03-05 映像処理用集積回路を備える映像再生装置、情報記録装置、機器、および撮影装置
JP2010048836A Withdrawn JP2010148153A (ja) 2004-04-01 2010-03-05 映像処理用集積回路を備える通信機器
JP2010048833A Pending JP2010136452A (ja) 2004-04-01 2010-03-05 集積回路
JP2010048834A Withdrawn JP2010182321A (ja) 2004-04-01 2010-03-05 映像処理用集積回路および音声処理用集積回路

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2006511846A Active JP4857106B2 (ja) 2004-04-01 2005-04-01 映像音声処理用集積回路及び機器の設計開発方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2010048836A Withdrawn JP2010148153A (ja) 2004-04-01 2010-03-05 映像処理用集積回路を備える通信機器
JP2010048833A Pending JP2010136452A (ja) 2004-04-01 2010-03-05 集積回路
JP2010048834A Withdrawn JP2010182321A (ja) 2004-04-01 2010-03-05 映像処理用集積回路および音声処理用集積回路

Country Status (6)

Country Link
US (2) US8811470B2 (ja)
EP (2) EP2207103A1 (ja)
JP (5) JP4857106B2 (ja)
KR (1) KR20070011335A (ja)
CN (5) CN101626475B (ja)
WO (1) WO2005096168A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
KR20070007337A (ko) * 2004-04-16 2007-01-15 로무 가부시키가이샤 화상처리장치
JP2007166597A (ja) * 2005-11-15 2007-06-28 Seiko Epson Corp 情報再生装置及び電子機器
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
EP2009917B1 (en) * 2006-04-24 2016-09-28 Panasonic Intellectual Property Management Co., Ltd. Data processing device, data processing method, data processing program, recording medium containing the data processing program, and integrated circuit
JP4893154B2 (ja) 2006-08-21 2012-03-07 富士通セミコンダクター株式会社 画像処理装置及び画像処理方法
US8660380B2 (en) 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
JP4945410B2 (ja) * 2006-12-06 2012-06-06 株式会社東芝 情報処理装置及び情報処理方法
JP2008176682A (ja) * 2007-01-22 2008-07-31 Renesas Technology Corp 半導体集積回路及びデータ処理システム
JP2008206006A (ja) * 2007-02-22 2008-09-04 Matsushita Electric Ind Co Ltd 暗号化ストリーム再生方式、装置、プログラム、及び媒体
US20080291209A1 (en) * 2007-05-25 2008-11-27 Nvidia Corporation Encoding Multi-media Signals
US8756482B2 (en) 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US9118927B2 (en) 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
JP4355348B2 (ja) * 2007-07-10 2009-10-28 パナソニック株式会社 クロック供給回路及びその設計方法
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
JP5164486B2 (ja) * 2007-09-11 2013-03-21 キヤノン株式会社 映像処理装置及び映像処理方法
US8515052B2 (en) 2007-12-17 2013-08-20 Wai Wu Parallel signal processing system and method
US20100250988A1 (en) * 2007-12-27 2010-09-30 Panasonic Corporation Video display system, display device, plug-in module and power control method of plug-in module
JP4968145B2 (ja) * 2008-03-31 2012-07-04 ソニー株式会社 放送信号受信機およびその受信制御方法、並びにic
JP2010015233A (ja) * 2008-07-01 2010-01-21 Panasonic Corp 集積回路及び電子機器
US8755515B1 (en) * 2008-09-29 2014-06-17 Wai Wu Parallel signal processing system and method
JP4760889B2 (ja) * 2008-10-07 2011-08-31 ソニー株式会社 信号処理装置および方法、並びにプログラム
US8666181B2 (en) 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
US20100161856A1 (en) * 2008-12-22 2010-06-24 Solid State System Co., Ltd. Usb audio and mobile audio system using usb audio controller
US7962668B2 (en) * 2008-12-22 2011-06-14 Solid State System Co., Ltd. USB audio controller
WO2010095182A1 (ja) * 2009-02-17 2010-08-26 パナソニック株式会社 マルチスレッドプロセッサ及びデジタルテレビシステム
CN102334102B (zh) 2009-02-24 2013-11-20 松下电器产业株式会社 处理器装置、多线程处理器装置
WO2010113226A1 (ja) * 2009-04-03 2010-10-07 パナソニック株式会社 半導体集積回路装置および映像音響処理システム
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
WO2011094346A1 (en) * 2010-01-26 2011-08-04 Hobbs Barry L Integrated concurrent multi-standard encoder, decoder and transcoder
JP4818450B1 (ja) * 2010-06-30 2011-11-16 株式会社東芝 グラフィクスプロセッシングユニットおよび情報処理装置
WO2012020438A1 (en) * 2010-08-11 2012-02-16 Av Tech S.R.L. Device for processing and recording of high-definition images
US20120314777A1 (en) * 2011-06-13 2012-12-13 Ati Technologies Ulc Method and apparatus for generating a display data stream for transmission to a remote display
US9258579B1 (en) * 2011-06-30 2016-02-09 Sprint Communications Company L.P. Temporal shift of object resolution and optimization
JP5361962B2 (ja) * 2011-08-25 2013-12-04 株式会社東芝 グラフィクスプロセッシングユニットおよび情報処理装置
JP2014063259A (ja) * 2012-09-20 2014-04-10 Fujitsu Ltd 端末装置,及び処理プログラム
US9165538B2 (en) * 2013-03-13 2015-10-20 Displaylink (Uk) Limited Image generation
US9384302B2 (en) * 2013-06-17 2016-07-05 International Business Machines Corporation Generating differences for tuple attributes
US9973754B2 (en) * 2014-03-18 2018-05-15 Texas Instruments Incorporated Low power ultra-HD video hardware engine
CN105094258A (zh) * 2014-04-16 2015-11-25 鸿富锦精密工业(武汉)有限公司 电源供应器及外壳
CN104460921B (zh) * 2014-10-29 2017-11-07 英业达科技有限公司 服务器系统
US9715475B2 (en) * 2015-07-21 2017-07-25 BigStream Solutions, Inc. Systems and methods for in-line stream processing of distributed dataflow based computations
CN105207816A (zh) * 2015-09-16 2015-12-30 国网智能电网研究院 一种多缓冲并行加密的软件调度方法
US10129558B2 (en) 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
CA3026737A1 (en) 2016-06-06 2017-12-14 Theatrixx Technologies Inc. Video converter with integrated power supply
JP6865202B2 (ja) 2018-10-18 2021-04-28 矢崎総業株式会社 通信システム
US10747692B2 (en) 2018-12-27 2020-08-18 Texas Instruments Incorporated Image processing accelerator
JP2021013117A (ja) * 2019-07-08 2021-02-04 キヤノン株式会社 集積回路チップ及び撮像装置
WO2023279326A1 (zh) * 2021-07-08 2023-01-12 深圳爱特天翔科技有限公司 音视频传输方法、装置、设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62145458A (ja) * 1985-12-20 1987-06-29 Nec Corp マイクロコンピユ−タ
SG34287A1 (en) * 1994-10-28 1996-12-06 Hitachi Ltd Input-output circuit recording apparatus and reproduction apparatus for digital video signal
DE69610548T2 (de) 1995-07-21 2001-06-07 Koninkl Philips Electronics Nv Multi-media-prozessorarchitektur mit hoher leistungsdichte
US5797028A (en) * 1995-09-11 1998-08-18 Advanced Micro Devices, Inc. Computer system having an improved digital and analog configuration
US6058459A (en) * 1996-08-26 2000-05-02 Stmicroelectronics, Inc. Video/audio decompression/compression device including an arbiter and method for accessing a shared memory
US5977997A (en) 1997-03-06 1999-11-02 Lsi Logic Corporation Single chip computer having integrated MPEG and graphical processors
US6118462A (en) * 1997-07-01 2000-09-12 Memtrax Llc Computer system controller having internal memory and external memory control
JP3573614B2 (ja) 1998-03-05 2004-10-06 株式会社日立製作所 画像処理装置及び画像処理システム
US6041400A (en) * 1998-10-26 2000-03-21 Sony Corporation Distributed extensible processing architecture for digital signal processing applications
US6380558B1 (en) * 1998-12-29 2002-04-30 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and method of fabricating the same
JP3433125B2 (ja) * 1999-01-27 2003-08-04 三洋電機株式会社 動画像再生装置
JP2001142869A (ja) * 1999-11-17 2001-05-25 Matsushita Electric Ind Co Ltd システム集積回路
CN2417544Y (zh) * 2000-03-08 2001-01-31 深圳凌云电子有限公司 Mp3数码录放复读机
JP4481511B2 (ja) * 2000-08-18 2010-06-16 富士通株式会社 情報機器、情報機器の制御方法及び制御方法のプログラム
US20020156953A1 (en) * 2001-02-28 2002-10-24 Beiley Mark A. Dynamic bus inversion method
US7403564B2 (en) * 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
JP2004005287A (ja) * 2002-06-03 2004-01-08 Hitachi Ltd コプロセッサを搭載したプロセッサシステム
JP3655266B2 (ja) * 2002-07-16 2005-06-02 株式会社東芝 情報処理装置
AU2003250575A1 (en) * 2002-08-07 2004-02-25 Mmagix Technology Limited Apparatus, method and system for a synchronicity independent, resource delegating, power and instruction optimizing processor
US7139849B2 (en) * 2002-08-07 2006-11-21 Matsushita Electric Industrial Co., Ltd. Semiconductor integrated circuit device
EP1403773B1 (en) * 2002-09-30 2007-06-13 Matsushita Electric Industrial Co., Ltd. Resource management device
JP2004246862A (ja) 2002-09-30 2004-09-02 Matsushita Electric Ind Co Ltd リソース管理装置
US7586925B2 (en) * 2003-09-09 2009-09-08 Sonus Networks, Inc. Data adaptation protocol

Also Published As

Publication number Publication date
WO2005096168A1 (ja) 2005-10-13
JP2010136452A (ja) 2010-06-17
CN101626473A (zh) 2010-01-13
JP4857106B2 (ja) 2012-01-18
CN100545825C (zh) 2009-09-30
JP2010182321A (ja) 2010-08-19
JP2010148153A (ja) 2010-07-01
CN101626476B (zh) 2010-12-08
CN101626474A (zh) 2010-01-13
CN101626473B (zh) 2013-07-10
KR20070011335A (ko) 2007-01-24
CN101626475B (zh) 2011-05-04
CN101626475A (zh) 2010-01-13
US20070286275A1 (en) 2007-12-13
US9361259B2 (en) 2016-06-07
EP1732009A4 (en) 2009-07-15
JPWO2005096168A1 (ja) 2007-08-16
EP1732009A1 (en) 2006-12-13
CN1938697A (zh) 2007-03-28
US20140310442A1 (en) 2014-10-16
EP2207103A1 (en) 2010-07-14
US8811470B2 (en) 2014-08-19
CN101626476A (zh) 2010-01-13

Similar Documents

Publication Publication Date Title
JP4857106B2 (ja) 映像音声処理用集積回路及び機器の設計開発方法
JP4667108B2 (ja) データ処理装置
TW567728B (en) Method and apparatus for decoding graphic image
JP2005175997A (ja) 復号化装置、電子機器、コンピュータ、復号化方法、プログラム及び記録媒体
US20140078020A1 (en) Terminal apparatus, integrated circuit, and computer-readable recording medium having stored therein processing program
JP2007334641A (ja) 情報処理装置および方法、並びにプログラム
US8190582B2 (en) Multi-processor
CN102364945A (zh) 多画面图像解码显示的方法及其视频监控终端
JP3911380B2 (ja) 転送レート制御装置
JP5173849B2 (ja) 動画像復号化装置及び動画像復号化方法
JPH10276164A (ja) 多重化装置および多重化方法、伝送装置および伝送方法、並びに記録媒体
US20110200119A1 (en) Information processing apparatus and method for reproducing video image
JP2004252713A (ja) 集積回路及びそれを用いた電子機器
JP2006050178A (ja) 記録再生装置
JP2008271461A (ja) カメラシステムおよびデータ伝送方法
JP4219883B2 (ja) 転送レート制御装置、及び記録媒体
Archibald Audio System for Portable Market
JP2004228758A (ja) ディジタル信号記録および再生装置
JPH10294940A (ja) 画像伝送システム及び画像伝送装置
Rygh et al. A DVD processor with dual CPUs and integrated digital front-end for advanced DVD-based consumer appliances
JP2004364130A (ja) Pvr装置付きbsデジタル受信機
KR20070031008A (ko) 디스크 매체로의 전송 스트림 기록 제어 장치 및 방법.
JP2006147114A (ja) 記録装置

Legal Events

Date Code Title Description
A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120723