JP2007243764A - デコード装置、その制御方法、情報再生装置及び電子機器 - Google Patents

デコード装置、その制御方法、情報再生装置及び電子機器 Download PDF

Info

Publication number
JP2007243764A
JP2007243764A JP2006065342A JP2006065342A JP2007243764A JP 2007243764 A JP2007243764 A JP 2007243764A JP 2006065342 A JP2006065342 A JP 2006065342A JP 2006065342 A JP2006065342 A JP 2006065342A JP 2007243764 A JP2007243764 A JP 2007243764A
Authority
JP
Japan
Prior art keywords
data
unit
processing
decoding
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006065342A
Other languages
English (en)
Inventor
Yoshimasa Kondo
嘉政 近藤
Hiroshi Sakai
寛 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006065342A priority Critical patent/JP2007243764A/ja
Publication of JP2007243764A publication Critical patent/JP2007243764A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 回路の無駄を省き、低い処理能力であっても処理負荷の重いデコード処理を高速に実現するデコード装置、その制御方法、情報再生装置及び電子機器を提供する。
【解決手段】 デコード装置40は、ストリームデータを復号した後に逆量子化が行われたデータを逆離散コサイン変換し、該逆離散コサイン変換後のデータに対して動き予測又は動き補償を行った画像データを生成するシーケンサ部50と、所定のデータブロック単位で、前記動き予測又は動き補償を行った画像データのブロックノイズを低減させる処理を行うフィルタ部60とを含む。シーケンサ部50が、処理の完了を条件に第1の割り込み信号を発生させ、フィルタ部60が、処理の完了を条件に第2の割り込み信号を発生させる。逆量子化処理の完了、第1及び第2の割り込み信号の発生を条件に、シーケンサ部50及びフィルタ部60が並列動作するように起動される。
【選択図】 図1

Description

本発明は、デコード装置、その制御方法、情報再生装置及び電子機器に関する。
動画像の画像データに対する汎用的な符号化方式として、MPEG−4(Moving Picture Experts Group Phase 4)やH.264/AVC(Advanced Video Coding)が規格化されている。特に、H.264/AVCは、動き補償の画像の処理単位を細かくしたり、参照フレーム数の数を増加させたり、エントロピー符号化の工夫、デブロッキングフィルタの採用等によって、MPEG−4等の従来の符号化方式に比べて高い圧縮符号化効率を達成している。しかも、H.264/AVCは、地上デジタル放送における動画像の画像データの圧縮符号化方式として定められるに至り、H.264/AVCがより一層重要になってきている。
この地上デジタル放送は、これまでの地上アナログ放送に代わって行われる放送であり、この放送の中に、携帯端末向けサービスとして、いわゆる「1セグメント放送」がある。「1セグメント放送」では、QPSK(Quadrature Phase Shift Keying)変調方式で変調されたデジタル変調波をOFDM(Orthogonal Frequency Division Multiplexing)変調方式で多重化することで、携帯端末の移動時でも安定した放送受信が可能となる。このようにバッテリ駆動の携帯電話機において、H.264/AVCの処理を実現することが求められ、高い処理能力が必要なH.264/AVCの処理を低消費電力で実現することが必須となる。
H.264/AVCに比べて処理負荷の軽いMPEG−2(Moving Picture Experts Group Phase 2)規格のデコード処理を行う構成が、例えば特許文献1に開示されている。この特許文献1では、MPEG−2規格のデコード処理が、並列に設けられた低い処理能力の複数のプロセッサにより行われる。即ち、MPEG−2規格に従って符号化された映像信号を、複数のビットストリームに分離し、各ビットストリームに対し可変長復号化処理と動き補償処理とを行い、各処理を実現するプロセッサの処理能力が低くても、全体として高い処理能力を実現させている。
特開平8−130745号公報
しかしながら、特許文献1では、各ブロックが各データブロックのデコード処理を並列に行うものである。即ち、入力されたストリームデータを分割して得られた各データブロックのデータが各ブロックにおいて振り分けられることで、並列動作を行う。そのため、復号化システムの回路規模が大きくなってしまう。特にデータブロックのデータの内容に応じてデコード処理の処理負荷が大きく異なるため、特許文献1に開示された構成を採用した場合、データブロックのデータの内容の種類に依存して、処理が行われない無駄な回路部分が存在してしまう場合が多い。
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、回路の無駄を省き、低い処理能力であっても処理負荷の重いデコード処理を高速に実現するデコード装置、その制御方法、情報再生装置及び電子機器を提供することにある。
上記課題を解決するために本発明は、
ストリームデータをデコードするためのデコード装置であって、
エントロピー符号化方式により符号化されたストリームデータを復号した後に逆量子化が行われたデータを逆離散コサイン変換し、該逆離散コサイン変換後のデータに対して動き予測又は動き補償を行った画像データを生成するシーケンサ部と、
所定のデータブロック単位で、前記動き予測又は動き補償を行った画像データのブロックノイズを低減させる処理を行うフィルタ部とを含み、
前記シーケンサ部が、
該シーケンサ部の起動後に、前記動き予測又は動き補償を行った画像データを生成したことを条件に第1の割り込み信号を発生させる第1の割り込み発生部を含み、
前記フィルタ部が、
該フィルタ部の起動後に、前記画像データのブロックノイズを低減させる処理を完了したことを条件に第2の割り込み信号を発生させる第2の割り込み発生部を含み、
前記逆量子化処理の完了、前記第1及び第2の割り込み信号の発生を条件に、前記シーケンサ部及び前記フィルタ部の各部が、所与のデータブロック単位で並列動作するように起動されるデコード装置に関係する。
また本発明に係るデコード装置では、
第1の期間に続く第2の期間において、
前記フィルタ部が、前記第1の期間において前記シーケンサ部によって生成された動き予測又は動き補償後の画像データのブロックノイズを低減させる処理を行うと共に、
前記シーケンサ部が、前記第1の期間において逆量子化されたデータに対して逆離散コサイン変換し該逆離散コサイン変換後のデータに対し、動き予測又は動き補償を行った画像データを生成することができる。
上記のいずれかの発明によれば、ストリームデータのデコード処理を行う場合に、シーケンサ部とフィルタ部とに区分し、各部をそれぞれ起動できるようにしている。特にフィルタ部の処理負荷は重く、シーケンサ部の処理とフィルタ部の処理とを並列に動作できるようにしたので、各部の処理能力が低い場合であっても、処理負荷の重いデコード処理を高速に実行できるようになる。
また本発明に係るデコード装置では、
第1〜第3のデータブロックを第1のデータブロックから順番に処理する場合に、
前記第3のデータブロックに対して逆量子化が終了し、且つ、前記第2のデータブロックに対して前記シーケンサ部から前記第1の割り込み信号が発生し、且つ前記第1のデータブロックに対して前記フィルタ部から前記第2の割り込み信号が発生したことを条件に、前記シーケンサ部及び前記フィルタ部が起動されてもよい。
本発明によれば、第1及び第2の割り込み信号でシーケンサ部及びフィルタ部の動作状況を通知するようにしたので、シーケンサ部及びフィルタ部の動作状況をその都度監視することなく、簡素な構成且つ制御で、並列動作制御を実現することができる。
また本発明に係るデコード装置では、
前記シーケンサ部及び前記フィルタ部を並列動作させるために起動する場合、
前記フィルタ部が起動されてから前記シーケンサ部が起動されてもよい。
本発明によれば、デコード処理においてシーケンサ部を起動させない場合であっても、いち早くフィルタ部の動作を開始させることができるため、デコード処理の高速化に寄与できる。
また本発明に係るデコード装置では、
前記データブロックが、
前記ストリームデータに基づいて生成される画像のうち、水平方向の所与の画素数、垂直方向の所与のライン数を単位とする1マクロブロック分のデータであってもよい。
また本発明に係るデコード装置では、
前記ストリームデータを復号した後に逆量子化を行うデコード処理制御部、前記シーケンサ部及び前記フィルタ部の各部が、所与のデータブロック単位で並列動作するように起動されてもよい。
また本発明に係るデコード装置では、
中央演算処理装置を含み、
前記ストリームデータを復号すると共に前記シーケンサ部及び前記フィルタ部を起動する機能を実現するためのプログラムを読み込み、該プログラムに従ってエントロピー符号化方式により符号化されたストリームデータを復号した後に逆量子化を行う処理を実行すると共に、前記シーケンサ部及び前記フィルタ部が所与のデータブロック単位で並列動作するように各部を起動することができる。
上記のいずれかの発明によれば、ストリームデータのデコード処理を行う場合に、デコード処理制御部とシーケンサ部とフィルタ部とに区分し、各部をそれぞれ起動できるようにしている。特にフィルタ部の処理負荷は重く、シーケンサ部の処理とフィルタ部の処理とを並列に動作できるようにしたので、各部の処理能力が低い場合であっても、処理負荷の重いデコード処理を高速に実行できるようになる。特に、ストリームデータをアクセスする処理ブロックをデコード処理制御部に限定したので、デコード処理制御部を、処理能力が低い中央演算処理装置によりソフトウェア処理で実現できるようになる。
また本発明は、
エントロピー符号化方式により符号化されたストリームデータを復号した後に逆量子化されたデータを逆離散コサイン変換し、該逆離散コサイン変換後のデータに対して動き予測又は動き補償を行った画像データを生成するシーケンサ部と、
所定のデータブロック単位で、前記動き予測又は動き補償後の画像データのブロックノイズを低減させる処理を行うフィルタ部とを含むデコード装置の制御方法であって、
前記シーケンサ部の処理の完了後に第1の割り込み信号を発生させると共に、前記フィルタ部の処理の完了後に第2の割り込み信号を発生させ、
逆量子化処理が完了し、且つ前記第1及び第2の割り込み信号の発生を条件に、前記ストリームデータに基づいて生成される画像のうち、水平方向の所与の画素数、垂直方向の所与のライン数を単位とする1マクロブロック分のデータを単位に、前記シーケンサ部及び前記フィルタ部が並列動作するように各部を起動するデコード装置の制御方法に関係する。
また本発明に係るデコード装置の制御方法では、
第1の期間に続く第2の期間において、
前記フィルタ部が、前記第1の期間において前記シーケンサ部によって生成された動き予測又は動き補償後の画像データのブロックノイズを低減させる処理を行うと共に、
前記シーケンサ部が、前記第1の期間において、逆量子化されたデータに対して逆離散コサイン変換し該逆離散コサイン変換後のデータに対して動き予測又は動き補償を行うように起動することができる。
また本発明に係るデコード装置の制御方法では、
前記シーケンサ部及び前記フィルタ部を並列動作させる場合、
前記フィルタ部を起動してから前記シーケンサ部を起動させてもよい。
また本発明に係るデコード装置の制御方法では、
前記ストリームデータを復号した後に逆量子化を行うデコード処理制御部、前記シーケンサ部及び前記フィルタ部の各部が、所与のデータブロック単位で並列動作するように起動することができる。
また本発明は、
映像データ及び音声データの少なくとも1つを再生するための情報再生装置であって、
映像データを生成するための第1のTS(Transport Stream)パケット、音声データを生成するための第2のTSパケット、前記第1及び第2のTSパケット以外の第3のTSパケットを、トランスポートストリームから抽出する分離処理部と、
前記第1のTSパケットが格納される第1の記憶領域と、前記第2のTSパケットが格納される第2の記憶領域と、前記第3のTSパケットが格納される第3の記憶領域とを有するメモリと、
前記第1の記憶領域から読み出された前記第1のTSパケットに基づいて前記映像データを生成する映像デコード処理を行う上記いずれか記載のデコード装置と、
前記第2の記憶領域から読み出された前記第2のTSパケットに基づいて前記音声データを生成する音声デコード処理を行う音声デコーダとを含み、
前記デコード装置が、前記第1の記憶領域から前記第1のTSパケットを、前記音声デコーダとは独立して読み出し、該第1のTSパケットに基づいて前記映像デコード処理を行うと共に、
前記音声デコーダが、前記第2の記憶領域から前記第2のTSパケットを、前記映像デコーダとは独立して読み出し、該第2のTSパケットに基づいて前記音声デコード処理を行う情報再生装置に関係する。
本発明によれば、処理能力の低い処理回路を用いて低消費電力で、処理負荷の重いデコード処理を実現する情報再生装置を提供できる。
また本発明に係る情報再生装置では、
前記映像データ及び音声データのうち前記映像データのみを再生するときは、前記音声デコーダの動作を停止させ、
前記映像データ及び音声データのうち前記音声データのみを再生するときは、前記デコード装置の動作を停止させることができる。
本発明によれば、情報再生装置のより一層の低消費電力化を実現できる。
また本発明は、
上記記載の情報再生装置と、
前記情報再生装置に対し、前記映像デコード処理及び前記音声デコード処理の少なくとも1つの処理開始を指示するホストとを含む電子機器に関係する。
また本発明は、
チューナと、
前記チューナからのトランスポートストリームが供給される上記記載の情報再生装置と、
前記情報再生装置に対し、前記映像デコード処理及び前記音声デコード処理の少なくとも1つの処理開始を指示するホストとを含む電子機器に関係する。
上記のいずれかの発明によれば、処理負荷の重い1セグメント放送の再生処理を低消費電力で実現できる電子機器を提供できる。
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。
1. デコード装置
図1に、本実施形態におけるデコードシステムの構成例のブロック図を示す。
デコードシステム10は、デコード処理制御部20と、デコード装置40とを含む。このデコードシステム10では、デコード処理制御部20とデコード装置40とにより、H.264/AVC規格に従ってエンコードされたストリームデータのデコード処理が行われる。ここでストリームデータは、エントロピー符号化方式により符号化されたデータである。
本実施形態では、画像の水平方向の所与の画素数、垂直方向の所与のライン数を単位とする1マクロブロック(Macro Block:MB)分のデータブロック単位のデータに対して行われるH.264/AVC規格の一連のデコード処理を複数の処理ブロックに分割し、各処理ブロックを並列動作させることで、処理能力の低い処理ブロックを用いても処理負荷の重いH.264/AVC規格のデコード処理を実現するようになっている。そのため、本実施形態では、MB単位に、デコード処理制御部20と、デコード装置40とを並列に動作させる。
このデコード処理制御部20は、H.264/AVC規格に従って、エントロピー符号化方式により符号化されたストリームデータを復号し、その後に逆量子化されたデータを生成する。より具体的には、デコード処理制御部20は、コンテキスト適応型可変長符号化(Context-Adaptive Variable Length Coding:以下、CAVLCと略す。)部22と、逆量子化部24と、パラメータ解析部26と、並列動作制御部30とを含む。パラメータ解析部26は、イントラ用パラメータ解析部27と、インタ用パラメータ解析部28とを含む。
一方、デコード装置40は、シーケンサ部50と、フィルタ部60とを含む。シーケンサ部50は、H.264/AVC規格に従って、デコード処理制御部20からのデータを逆離散コサイン変換(Discrete Cosine Transform:以下、DCTと略す)し、該逆離散コサイン変換後のデータに対して動き予測又は動き補償を行った画像データを生成する。フィルタ部60は、所定のデータブロック単位で、動き予測又は動き補償後の画像データのブロックノイズを低減させる処理を行う。このためシーケンサ部50は、逆DCT演算部52、加算部53、動き補償部54、動き予測部56を含む。動き予測部56は、重み付き予測部57と、画面内予測部58とを含む。なお、図1において、動き補償部54の機能に、加算部53及び動き予測部56の機能を含めて動き補償と呼ぶことができる。
またフィルタ部60は、デブロックフィルタ62を含む。
こうして、ブロックノイズ低減後のデータが出力画像の画像データとして出力される。出力画像の画像データは、デコードシステム10の出力画像バッファ70に蓄積され、出力画像バッファ70の画像データは、次の画像の画像データを生成するための動き補償処理及び動き予測処理に供される。
このようにデコード処理制御部20の機能とデコード装置40の機能とを区切ることで、H.264/AVC規格によりエンコードされたストリームデータをアクセスする処理ブロックをデコード処理制御部20に限定することができる。これは、ストリームデータの内容を解析する場合、前から順番に読み出して処理する必要があるため、ストリームデータを処理する処理ブロックは、1つに限定されることが望ましいからである。その結果として、デコード処理制御部20がストリームデータにアクセスする間に、後段に設けられたデコード装置40が、別のMBのデータに対して逆DCT演算等を行うことができる。
即ち、デコード処理制御部20は、エントロピー符号化方式により符号化されたストリームデータから所定のデータ単位で読み出し、読み出したデータを解析して次のパラメータを解析するために読み出すべきビット数を求め、再びストリームデータにアクセスするといった処理を繰り返し、画像データを生成するためのビットデータや、動き予測等に必要なパラメータ(動きベクトル情報)等を求める。こうすることで、デコード装置40は、画像データを生成するための一連の繰り返し処理を実行するだけで済む。
本実施形態におけるデコード処理制御部20の処理は、いわゆるソフトウェアで実現することが望ましい。これは、上述のようにビットストリームを繰り返し読み出して処理する必要がある上に、H.264/AVC規格のエントロピー符号化方式として採用されたCAVLCをハードウェア回路で実現すると回路規模が増大するからである。そのため、デコード処理制御部20は、中央演算処理装置(Central Processing Unit:CPU)を含み、エントロピー符号化方式により符号化されたストリームデータを復号し、復号後に逆量子化を行う処理を実現するためのプログラムを読み込み、該CPUが上述のデコード処理制御部20の処理を実現することができる。
また本実施形態では、デコード処理制御部20の処理時間とデコード装置40の処理時間とを考慮して、デコード装置40において、更にシーケンサ部50の処理とフィルタ部60の処理とを並列動作させる。即ち、フィルタ部60におけるデブロックフィルタ処理の処理負荷が重いことに着目し、シーケンサ部50及びフィルタ部60をそれぞれ別個に起動し、各部の処理を区切るようにした。この結果、デブロックフィルタ処理の処理時間と、シーケンサ部50の処理時間とをほぼ同じにすることができる。従って、本実施形態におけるデコードシステム10では、デコード処理制御部20、シーケンサ部50、フィルタ部60が並列動作することになる。この並列動作の起動は、デコード処理制御部20の並列動作制御部30が行うようになっている。
図2に、本実施形態におけるデコードシステム10の処理の流れの概要のフロー図を示す。
例えばデコード処理制御部20は、図2に示す処理を実行するためのプログラムを読み込み、図2に示す処理を実現できるようになっている。
デコードシステム10では、まずデコード処理制御部20において、IDR(Instantaneous Decoding Refresh)ブロックの先頭が検出される(ステップS10)。IDRブロックは、ランダムアクセス機能を実現するために、過去のピクチャを参照することなく復号するためのブロックである。
次に、デコード処理制御部20では、ストリームデータから所定のデータ単位を読み出してデコード処理に必要なパラメータ解析を行って、画像データを生成するためのビットデータの抽出や、動き予測等に必要なパラメータ(動きベクトル情報)等を求める(ステップS11)。
その後、デコード処理制御部20は、CAVLC処理を行って、エントロピー符号化方式で符号化されたストリームデータを復号する処理を行う(ステップS12)。
そして、シーケンサ部50が、デコード処理制御部20によって復号されたデータに対して逆DCT演算を行って動き予測又は動き補償を行った画像データを生成する(ステップS13)。
シーケンサ部50によって生成された画像データは、フィルタ部60においてブロックノイズを低減させる処理が行われて出力画像の画像データとして出力される(ステップS14)。
そして、画像を分割した最終MBであるか否かが判別され(ステップS15)、最終MBであると判別されたとき(ステップS15:Y)、一連の処理を終了し、最終MBではないと判別されたとき(ステップS15:N)、ステップS11に戻る。
ここで、IDRブロックの先頭検出、パラメータ解析、CAVLC処理はデコード処理制御部20によって行われる。シーケンサ処理は、シーケンサ部50によって行われる。デブロックフィルタ処理は、フィルタ部60によって行われる。そして、シーケンサ部50の処理の起動、フィルタ部60の処理の起動は、デコード処理制御部20が行う。より具体的にはデコード処理制御部20は、連続するMBのデータに対し、シーケンサ処理及びデブロックフィルタ処理が並列動作するようにシーケンサ部50及びフィルタ部60の起動を行う。こうすることで、H.264/AVC規格に準拠したデコード処理を高速に実行できるようになる。
図3に、ストリームデータから抽出されたMB単位のビットストリームの模式図を示す。ここでは、ストリームデータから抽出されたビットストリームデータがMB単位に分割されているものとし、各MBの入力順に、MB1(第1のデータブロック)、MB2(第2のデータブロック)、MB3(第3のデータブロック)、・・・とする。
図4に、本実施形態の比較例におけるデコードシステムの動作例のタイミング図を示す。
図3に示すようなMBの並び順において、比較例では、まず本実施形態におけるデコード処理制御部の機能を実現する処理ブロックがMB1に対し、エントロピー符号化されたデータを復号し、その後、逆量子化処理を行う(TG1)。その後、本実施形態におけるシーケンサ部の機能を実現する処理ブロックが、MB1のデータに対して行われた逆量子化後のデータを逆離散コサイン変換し、該逆離散コサイン変換後のデータに対して動き予測又は動き補償を行った画像データを生成する(TG2)。そして、本実施形態におけるフィルタ部の機能を実現する処理ブロックが、MB1のデータに対して行われた動き予測又は動き補償後の画像データに対して、ブロックノイズを低減させる処理を行う(TG3)。
そして、MB1に対して一連のデコード処理が終了すると、次に、本実施形態におけるデコード処理制御部の機能を実現する処理ブロックがMB2に対し、エントロピー符号化されたデータを復号し、その後、逆量子化処理を行う(TG4)。その後、本実施形態におけるシーケンサ部の機能を実現する処理ブロックが、MB2のデータに対して行われた逆量子化後のデータを逆離散コサイン変換し、該逆離散コサイン変換後のデータに対して動き予測又は動き補償を行った画像データを生成する(TG5)。そして、本実施形態におけるフィルタ部の機能を実現する処理ブロックが、MB2のデータに対して行われた動き予測又は動き補償後の画像データに対して、ブロックノイズを低減させる処理を行う(TG6)。以下、同様にMB単位でデコード処理が行われる。
図3に示すように、1MBのデータに対するデコード処理には、処理時間PT1が必要となる。
これに対して、本実施形態では、デコード処理制御部20、シーケンサ部50及びフィルタ部60が並列動作(より具体的にはパイプライン動作)することで、デコード処理を実現できる。
図5に、本実施形態におけるデコードシステムの動作例のタイミング図を示す。
ここで、第2の期間T2が、第1の期間T1に続く期間であるものとする。本実施形態では、第2の期間T2において、フィルタ部60が、第1の期間T1においてシーケンサ部50によって生成された動き予測又は動き補償後の画像データ(図5ではMB1のデータ)のブロックノイズを低減させる処理を行う(TG10)。そして、この第2の期間T2では、シーケンサ部50が、第1の期間T1にデコード処理制御部20において行われた逆量子化されたデータ(図5ではMB2のデータ)に対して逆離散コサイン変換し該逆離散コサイン変換後のデータに対し、動き予測又は動き補償を行った画像データを生成する(TG11)。
従って、第2の期間T2では、デコード処理制御部20が、MB1、MB2に続くMB3のデータに対して、エントロピー符号化されたデータを復号し、その後に逆量子化処理を行ったデータを生成する(TG12)。
この結果、MB1に対しするデコード処理の処理時間が図4と変わらないものの、MB2、MB3に対するデコード処理の処理時間が大幅に削減される。即ち、図4と比較した場合、同じMB数のデータに対して高速なデコード処理を行うことができる。
しかも、ソフトウェア処理に有利なデコード処理制御部20の処理をCPUで行わせ、その他の繰り返し処理となるシーケンサ部50の処理及びフィルタ部60の処理をハードウェア回路で行わせることで、処理能力の低いCPUを用いることができ、且つ回路規模の増大を抑えるデコードシステムを提供することができるようになる。
以下、本実施形態におけるデコードシステム10の各部の処理について説明する。
1.1 デコード処理制御部
本実施形態におけるデコード処理制御部20は、ストリームデータからパラメータを抽出するヘッダ解析処理、エントロピー符号化方式により符号化されたストリームデータから抽出されたデータを復号するCAVLC処理、逆量子化処理を行う。
図6に、デコード処理制御部20において行われるヘッダ解析処理の一例のフロー図を示す。
ストリームデータが入力されると、デコード処理制御部20が、例えばバッファに格納されたストリームデータから所定ビット数のデータを読み出す(ステップS20)。パラメータ解析部26のイントラ用パラメータ解析部27は、ステップS20で読み出したデータがイントラ用パラメータであるか否かを判別し、インタ用パラメータ解析部28は、ステップS20で読み出したデータがインタ用パラメータであるか否かを判別する(ステップS21)。その結果、イントラ用パラメータ又はインタ用パラメータであると判別されたとき(ステップS21:Y)、イントラ用パラメータ又はインタ用パラメータを求める(ステップS22)。
ステップS21において、イントラ用パラメータ又はインタ用パラメータではないと判別されたとき(ステップS21:N)、或いはイントラ用パラメータ又はインタ用パラメータを求めると、次のパラメータのビット位置を求める(ステップS23)。これは、パラメータの種類やデータサイズ等が規定され、ストリームデータを前の方から順番に解析する必要があることを意味する。
こうして、次のビット位置が特定されると、ヘッダ解析が終了のとき(ステップS24:Y)、一連の処理を終了し、ヘッダ解析を継続するとき(ステップS24:N)、ステップS20に戻って、ストリームデータから次の所定ビット数のデータを読み出す。
例えば図2のIDRブロックの先頭の検出処理や、該検出処理後のパラメータ解析処理では、上述のようにストリームデータをアクセスしながら各処理が行われる。
以上のようなヘッダ解析が行われると、デコード処理対象の画像データのビット位置が特定でき、CAVLC部22における復号化処理が開始される。
図7に、CAVLC部22の処理の一例のフロー図を示す。
図6と同様に、CAVCL部22は、例えばバッファに格納されたストリームデータから所定ビット数のデータを読み出す(ステップS30)。そして、CAVLC部22は、ステップS30で読み出したデータがCAVLCデータであるか否かを判別する(ステップS31)。ここで、CAVLCデータは、CAVLCにより符号化されたデータである。
CAVLCデータであると判別されたとき(ステップS31:Y)、図6のヘッダ解析によって得られたパラメータを用いてCAVLC演算を行い(ステップS32)、一連の処理を終了する(エンド)。
なおステップS31において、CAVLCデータではないと判別されたとき(ステップS31:N)、一連の処理を終了する(エンド)。
図8(A)、図8(B)、図8(C)に、CAVLC演算の説明図を示す。
図8(A)は、画像の水平方向に4画素、画像の垂直方向に4ライン分のデータブロックの量子化されたDCT係数値ED11、ED12、ED13、・・・、ED44を示している。ストリームデータの符号化側では、図8(A)に示す順序でデータが一次元化され、一旦、図8(B)に示すようなデータ列が生成される。その後、図8(B)に示すデータ列をエントロピー符号化方式により符号化することでストリームデータが生成される。
より具体的には、図8(C)に示すパラメータ値を順番に格納していくことで符号化される。図8(C)において、TotalCoeffは、図8(B)のデータ列の「非0係数の個数」を示す。TrailingOnesは、図8(B)のデータ列の「最後に連続する絶対値1の係数の個数」を示す。Trailing_ones_sign_flagは、図8(B)のデータ列の「最後に連続する絶対値1の係数の符号」を示す。levelは、図8(B)のデータ列の「量子化されたDCT係数値」を示す。total_zerosは、図8(B)の「最後の非0係数以前の0係数の個数」を示す。run_beforeは、図8(B)の「係数値の前の0の連続個数」を示す。
ところで、上述のようにCAVLC部22で復号されたデータは、更にゴロム(Golomb)符号により符号化されている。従って、CAVLC部22は、更にゴロム符号化されたデータを復号することができるようになっている。
図9(A)、図9(B)、図9(C)に、ゴロム符号の説明図を示す。
ゴロム符号は、CAVLCと同様にH.264/AVC規格において採用された符号化方式である。ゴロム符号は、図9(A)に示すように、セパレータSPRである「1」を境界に、プリフィックス(Prefix)部PX、サフィックス(Suffix)部SXを含む。プリフィックス部PXは「0」が所定の個数だけ連続し、サフィックス部SXは、符号化対象のデータに応じてプリフィックス部PXと同数の「0」又は「1」が入る。ここで、図9(A)に示すゴロム符号は、図9(B)に示すテーブルに従って符号番号に割り当てられる。更に、図9(B)に示す符号番号は、図9(C)に示すテーブルに従ってシンタックス要素値に割り当てられる。
そして、CAVLC部22は、図8(C)のようにパラメータ化された数値を解析して、図8(B)に示すデータ列に変換する。そして、CAVLC部22は、図8(A)に示すように、量子化されたDCT係数値群を生成することができる。このとき、CAVLC部22は、復号されたデータに対し、図9(C)に示すテーブル、図9(B)に示すテーブルに従って割り出されたゴロム符号を元に、復号化する。
以上のようにエントロピー符号化方式により符号化されたストリームデータが復号されると、復号後のデータが逆量子化部24に入力される。
図10に、逆量子化部24の処理の説明図を示す。
上述のDCT係数値は、量子化ステップで除算した結果を整数値に丸めた値である。そのため、逆量子化部24は、上述の復号の結果として得られたDCT係数値に対し、量子化ステップを乗算することで、逆DCT演算部52に供給されるデータを生成する。
このとき、図10に示すような特性に従って量子化ステップを求めることが望ましい。図10では、量子化パラメータを横軸に、量子化ステップを縦軸に示した場合に、量子化パラメータと量子化ステップとが非線形性を有する。より具体的には、DCT係数値として量子化パラメータが与えられると、図10に示す特性に従って量子化ステップを求める。更に具体的には、量子化パラメータと量子化ステップの対数が比例するように、量子化ステップを導出する。
そして、この量子化ステップと量子化パラメータとを用いて、逆DCT演算部52に供給されるデータを生成する。
1.2 シーケンサ部
図1に示すように、シーケンサ部50は、起動フラグSF1、第1の割り込み発生部80を有する。起動フラグSF1は、デコード処理制御部20(並列動作制御部30)によってアクセスされる。即ち、並列動作制御部30によって、起動フラグSF1がセットされると、シーケンサ部50は、デコード処理制御部20からのMB単位のデータに対し、逆DCT演算を行って、逆DCT演算後のデータに対して動き予測又は動き補償を行った画像データを生成する。そして、動き予測又は動き補償を行った画像データの生成が完了すると、第1の割り込み発生部80が第1の割り込み信号INT1を発生する。従って、第1の割り込み発生部80は、並列動作制御部30によるシーケンサ部50の起動後に、動き予測又は動き補償を行った画像データを生成したことを条件に第1の割り込み信号INT1を発生させる。第1の割り込み信号INT1は、デコード処理制御部20の並列動作制御部30に通知される。
このようなシーケンサ部50では、起動フラグSF1がセットされると、逆DCT演算部52において、H.264/AVC規格で規定された公知の逆DCT演算が行われる。このとき、デコード処理制御部20のパラメータ解析部26では、既に当該MBのデータに対して、イントラ用パラメータ又はインタ用パラメータの解析が終了している。そこで、動き予測部56に対して、パラメータ解析部26の解析結果に応じて、画面内予測を行うかフレーム間予測を行うかが指定される。
画面内予測を行う場合には、動き予測部56の画面内予測部58が、加算部53の出力結果に基づいて、当該フレーム内において公知の画面内予測処理を行う。
一方、動き補償部54は、出力画像バッファ70に格納された複数の参照フレームの中からインタ用パラメータ解析部28で解析されたフレームの参照フレームを用いて、H.264/AVC規格で規定された公知の動き補償処理を行う。そして、パラメータ解析部26の解析結果に基づいてフレーム間予測を行う場合には、動き予測部56の重み付き予測部57が、H.264/AVC規格で規定された公知の重み付き予測を行う。
こうして動き予測又は動き補償が行われたデータは、加算部53において、逆DCT演算後のデータと加算される。その後、第1の割り込み発生部80が、並列動作制御部30に対して第1の割り込み信号INT1を出力する。
1.3 フィルタ部
図1に示すように、フィルタ部60は、起動フラグSF2、第2の割り込み発生部82を有する。起動フラグSF2は、デコード処理制御部20(並列動作制御部30)によってアクセスされる。即ち、並列動作制御部30によって、起動フラグSF2がセットされると、フィルタ部60は、MB単位で、シーケンサ部50において動き予測又は動き補償を行った画像データのブロックノイズを低減させる処理(デブロックフィルタ処理)を行う。そして、デブロックフィルタ処理が完了すると、第2の割り込み発生部82が第2の割り込み信号INT2を発生する。従って、第2の割り込み発生部82は、並列動作制御部30によるフィルタ部60の起動後に、画像データのブロックノイズを低減させる処理を完了したことを条件に第2の割り込み信号INT2を発生させる。第2の割り込み信号INT2は、デコード処理制御部20の並列動作制御部30に通知される。
このようなフィルタ部60では、デブロックフィルタ62が、起動フラグSF2がセットされると、ブロック境界及びマクロブロック境界のうち少なくとも一方のブロックノイズを低減させる処理行うことができる。この処理は、H.264/AVC規格で規定された公知のデブロックフィルタ処理を採用できる。
こうして、デブロックフィルタ処理が完了すると、第2の割り込み発生部80が第2の割り込み信号INT2を並列動作制御部30に対して出力する。なお、デブロックフィルタ処理後のデータは、出力画像の画像データとして出力される。この画像データは、出力画像バッファ70に格納される。
このようなデブロックフィルタ処理により、ブロックノイズが多い参照画像を用いて復号化処理されることがなくなり、ブロックノイズの伝搬を減らして、復号画像の高画質化に寄与できるようになる。
1.4 並列動作
上述したデコード処理制御部20、シーケンサ部50、フィルタ部60の処理は、デコード処理制御部20の並列動作制御部30によって並列動作制御される。この並列動作制御部30の機能もまた、デコード処理制御部20の機能を実現するCPUにより実行されるソフトウェア処理によって実現できる。
図11に、第1の割り込み信号INT1により起動される割り込みハンドラの処理例を示す。
並列動作制御部30を含むデコード処理制御部20は、シーケンサ部50からの第1の割り込み信号INT1を受け取ると、第1の割り込み信号INT1に対応して設けられた処理ルーチンである割り込みハンドラを起動し、図11に示す処理を実行するようになっている。
図11において、第1の割り込み信号INT1の受け取り後に起動された割り込みハンドラでは、まず、デコード処理制御部20において、MB単位で行われる図6のストリームデータアクセス処理、図7のCAVLC処理、図10の逆量子化処理が完了したか否かを監視し(ステップS80)、図10の逆量子化処理が完了していないとき(ステップS80:N)、割り込みハンドラの処理を終了する(エンド)。
ステップS80において、MB単位で行われるデコード処理制御部20の処理が図10の逆量子化処理まで完了したことが検出されたとき(ステップS80:Y)、フィルタ部60からの第2の割り込み信号INT2が既に通知されているか否かを判別する(ステップS81)。
第2の割り込み信号INT2が未通知のとき(ステップS81:N)、割り込みハンドラの処理を終了する(エンド)。
一方、第2の割り込み信号INT2が既に通知されていることが検出されたとき(ステップS81:Y)、並列動作制御部30は、デコード処理制御部20においてMB単位で行われる図6のストリームデータアクセス処理、図7のCAVLC処理、図10の逆量子化処理の一連の処理を起動し、シーケンサ部50の起動フラグSF1をセットし、フィルタ部60の起動フラグSF2をセットする(ステップS82)。シーケンサ部50及びフィルタ部60を並列動作させるために起動する場合、フィルタ部60が起動されてからシーケンサ部50が起動されることが望ましい。こうすることで、デコード処理においてシーケンサ部50を起動させない場合であっても、いち早くフィルタ部60の動作を開始させることができるため、デコード処理の高速化に寄与できる。
その後、第1及び第2の割り込み信号INT1、INT2の割り込みステータスをクリアし(ステップS83)、ステップS80に戻る(リターン)。
このように、例えばMB1〜MB3(第1〜第3のデータブロック)をMB1から順番にデコード処理する場合に、MB3(第3のデータブロック)に対して逆量子化が終了し、且つ、MB2(第2のデータブロック)に対してシーケンサ部50からの第1の割り込み信号INT1が通知され、且つMB1(第1のデータブロック)に対してフィルタ部60からの第2の割り込み信号INT2が通知されていることを条件に、シーケンサ部50が起動される。
図12に、第2の割り込み信号INT2により起動される割り込みハンドラの処理例を示す。
並列動作制御部30を含むデコード処理制御部20は、フィルタ部60からの第2の割り込み信号INT2を受け取ると、第2の割り込み信号INT2に対応して設けられた処理ルーチンである割り込みハンドラを起動し、図12に示す処理を実行するようになっている。
図12において、第2の割り込み信号INT2の受け取り後に起動された割り込みハンドラでは、まず、デコード処理制御部20において、MB単位で行われる図6のストリームデータアクセス処理、図7のCAVLC処理、図10の逆量子化処理が完了したか否かを監視する(ステップS90)。図10の逆量子化処理が完了していないことが検出されたとき(ステップS90:N)、割り込みハンドラの処理を終了する(エンド)。
ステップS90において、MB単位で行われるデコード処理制御部20の処理が図10の逆量子化処理まで完了したことが検出されたとき(ステップS90:Y)、シーケンサ部90からの第1の割り込み信号INT1が既に通知されているか否かを判別する(ステップS91)。
第1の割り込み信号INT1が未通知のとき(ステップS91:N)、割り込みハンドラの処理を終了する(エンド)。
一方、第1の割り込み信号INT1が既に通知されていることが検出されたとき(ステップS91:Y)、並列動作制御部30は、デコード処理制御部20においてMB単位で行われる図6のストリームデータアクセス処理、図7のCAVLC処理、図10の逆量子化処理の一連の処理を起動し、シーケンサ部50の起動フラグSF1をセットし、フィルタ部60の起動フラグSF2をセットする(ステップS92)。シーケンサ部50及びフィルタ部60を並列動作させるために起動する場合、フィルタ部60が起動されてからシーケンサ部50が起動されることが望ましい。こうすることで、デコード処理においてシーケンサ部50を起動させない場合であっても、いち早くフィルタ部60の動作を開始させることができるため、デコード処理の高速化に寄与できる。
その後、第1及び第2の割り込み信号INT1、INT2の割り込みステータスをクリアし(ステップS93)、ステップS90に戻る(リターン)。
このように、例えばMB1〜MB3(第1〜第3のデータブロック)をMB1から順番にデコード処理する場合に、MB3(第3のデータブロック)に対して逆量子化が終了し、且つ、MB2(第2のデータブロック)に対してシーケンサ部50からの第1の割り込み信号INT1が通知され、且つMB1(第1のデータブロック)に対してフィルタ部60からの第2の割り込み信号INT2が通知されていることを条件に、フィルタ部60が起動される。
この結果、第1及び第2の割り込み信号INT1、INT2でシーケンサ部50及びフィルタ部60の動作状況を通知するようにしたので、並列動作制御部30がシーケンサ部50及びフィルタ部60の動作状況をその都度監視することなく、簡素な構成且つ制御で、並列動作制御を実現することができる。
なお図1では、逆量子化部24の機能をデコード処理制御部20が実現するものとして説明したが、これに限定されるものではなく、デコード装置40のシーケンサ部50が逆量子化部24の機能を実現してもよい。
2. 情報再生装置
次に、本実施形態におけるデコードシステムが適用される情報再生装置について説明する。本実施形態における情報再生装置は、地上デジタル放送の再生を可能とし、H.264/AVC規格で符号化された映像データを復号することができる。
2.1 1セグメント放送の概要
地上アナログ放送に代わって登場する地上デジタル放送では、画像及び音声の高品質化に加えて種々の新サービスの提供に期待が寄せられている。
図13に、地上デジタル放送のセグメントの概念の説明図を示す。
地上デジタル放送では、予め割り当てられた周波数帯域を14個のセグメントに分割し、そのうちの13個のセグメントSEG1〜SEG13を使って放送が行われる。残り1個のセグメントは、ガードバンドとして用いられる。そして、放送を行うための13個のセグメントのうちの1個のセグメントSEGmが、携帯端末向けの放送の周波数帯域に割り当てられる。
1セグメント放送では、それぞれが符号化(圧縮処理)された映像データ、音声データ、その他のデータ(制御データ)が多重化されたトランスポートストリーム(Transport Stream:TS)が伝送される。より具体的には、TSの各パケットにリードソロモン符号の誤り訂正用符号が付加された後、階層分割され、各階層において畳み込み符号化やキャリア変調が施される。そして、階層合成後に、周波数インターリーブ、時間インターリーブが行われ、受信側に必要なパイロット信号を付加してOFDMセグメントフレームが形成される。このOFDMセグメントフレームに対し、逆フーリエ変換演算が施されてOFDM信号として伝送される。
図14に、TSの説明図を示す。
TSは、図14に示すように複数のTSパケット列で構成されている。各TSパケットの長さは、188バイトに固定されている。各TSパケットは、4バイトのTSヘッダ(TS Header:TSH)と呼ばれるヘッダ情報が付加されており、TSパケットの識別子となるPID(Packet Identifier)を含む。1セグメント放送の番組は、PIDにより特定される。
TSパケットは、アダプテーションフィールドを含み、映像データ、音声データ等の同期再生の基準となる時刻情報であるPCR(Program Clock Reference)やダミーデータ
が埋め込まれる。ペイロードは、PES(Packetized Elementary Stream)パケットやセクションを生成するためのデータを含む。
図15に、PESパケット及びセクションの説明図を示す。
PESパケット及びセクションのそれぞれは、1又は複数のTSパケットの各TSパケットのペイロードにより構成される。PESパケットは、PESヘッダとペイロードとを含み、該ペイロードには、映像データ、音声データ又は字幕データがES(Elementary Stream)データとして設定される。セクションには、PESパケットに設定される映像データ等の番組情報等が設定される。
従って、TSを受信すると、まずセクションに含まれる番組情報を解析し、放送される番組に対応するPIDを特定する必要がある。そして、該PIDに対応する映像データ、音声データをTSから抽出し、抽出後の映像データ、音声データを再生することになる。
2.2 携帯端末
1セグメント放送の受信機能を有する携帯端末では、上記のようなパケットの解析等の処理が必要となる。即ち、このような携帯端末では、高い処理能力が要求される。そのため、携帯端末(広義には電子機器)としての従来の携帯電話機に、1セグメント放送の受信機能を付加する場合には、高い処理能力を有するプロセッサ等を更に追加する必要がある。
図16に、本実施形態の比較例におけるマルチメディア処理CPUを含む携帯電話機の構成例のブロック図を示す。
この携帯電話機900では、アンテナ910を介して受信された受信信号を復調して電話用CPU920が着呼処理を行い、電話用CPU920が発呼処理を行った信号が変調されてアンテナ910を介して送信される。電話用CPU920は、メモリ922に格納されたプログラムを読み込んで着呼処理及び発呼処理を行うことができる。
またアンテナ930を介して受信された受信信号から、チューナ940を介して希望信号が取り出されると、該希望信号をOFDM信号として上記と逆の手順でTSが生成される。マルチメディア処理CPU950は、生成されたTSからTSパケットを解析してPESパケット及びセクションを判別し、所望の番組のTSパケットから映像データ、音声データのデコード処理を行う。マルチメディア処理CPU950は、メモリ952に格納されたプログラムを読み込んで上記のパケットの解析処理やデコード処理を行うことができる。表示パネル960は、デコード処理後の映像データに基づいて表示出力を行い、スピーカ970は、デコード処理後の音声データに基づいて音声出力を行う。
このようにマルチメディア処理CPU950として、非常に高い処理能力が必要となる。高い処理能力を有するプロセッサは、一般的に、動作周波数が高くなったり、回路規模が大きくなってしまう。
ところで、1セグメント放送のビットレートを考慮すると、その帯域のほとんどが映像データや音声データの帯域となり、データ放送自体の帯域が狭くなると考えられる。従って、マルチメディア処理CPUで実現できる処理のうち、映像データや音声データの再生処理のみで済む場合もあるにもかかわらず、マルチメディア処理CPUを常に動作させる必要があり、消費電力の増大を招く。
そこで、本実施形態では、映像データのデコード処理を行う映像デコーダと音声データのデコード処理を行う音声デコーダとを独立して設け、それぞれ独立にデコード処理を行わせることで、それぞれの処理能力として低いものを採用できる。更に、映像デコーダ及び音声データの一方の動作を適宜停止させて柔軟に低消費電力化を図ることができる。
更には、映像デコーダ及び音声デコーダを並列動作させることができるため、各デコーダの処理能力を低くて済み、より低消費電力化及び低コスト化を実現できる。
図17に、本実施形態における情報再生装置を含む携帯電話機の構成例のブロック図を示す。なお図17において、図16と同一部分には同一符号を付し、適宜説明を省略する。
携帯電話機(広義には電子機器)100は、ホストCPU(広義にはホスト)110、RAM(Random Access Memory)120、ROM(Read Only Memory)130、表示ドライバ140、DAC(Digital-to-Analog Converter)150、画像処理IC(Integrated Circuit)(広義には情報再生装置)200を含むことができる。更に携帯電話機100は、アンテナ910、930、チューナ940、表示パネル960、スピーカ970を含む。
ホストCPU110は、図16の電話用CPU920の機能を有すると共に、画像処理IC200を制御する機能を有する。ホストCPU110は、RAM120又はROM130に格納されたプログラムを読み出し、図16の電話用CPU920の処理、画像処理IC200を制御する処理を行う。この際、ホストCPU110は、RAM120をワークエリアとして用いることができる。
画像処理IC200は、チューナ940からのTSから、映像データを生成するための映像用TSパケット(第1のTSパケット)、音声データを生成するための音声用TSパケット(第2のTSパケット)を抽出し、図示しない共有メモリにバッファリングする。そして画像処理IC200は、互いに独立して動作停止制御が可能な映像デコーダ及び音声デコーダ(図示せず)を含み、映像デコーダ及び音声デコーダが、それぞれ映像用TSパケット及び音声用TSパケットをデコードして映像データ及び音声データを生成する。映像データ及び音声データは、同期しながら、それぞれ表示ドライバ140及びDAC150に供給される。ホストCPU110は、このような画像処理IC200に対し、映像デコード処理及び音声デコード処理の処理開始を指示することができる。なおホストCPU110は、画像処理IC200に対し、映像デコード処理及び音声デコード処理の少なくとも1つの処理開始を指示するようにしてもよい。
表示ドライバ(広義には駆動回路)140は、映像データに基づいて表示パネル(広義には電気光学装置)960を駆動する。より具体的には、表示パネル960は、複数の走査線、複数のデータ線、各画素が各走査線及び各データ線により特定される複数の画素を有し、表示パネル960として液晶表示(Liquid Crystal Display)パネルを採用できる。表示ドライバ140は、複数の走査線を走査する走査ドライバの機能と、該映像データに基づいて複数のデータ線を駆動するデータドライバの機能とを有する。
DAC150は、デジタル信号である音声データをアナログ信号に変換し、スピーカ970に供給する。スピーカ970は、DAC150からのアナログ信号に対応した音声出力を行う。
2.3 情報再生装置
図18に、本実施形態の情報再生装置としての図17の画像処理IC200の構成例のブロック図を示す。
画像処理IC200は、TS分離部(分離処理部)210と、メモリ(共有メモリ)220と、映像デコーダ230と、音声デコーダ240とを含む。また画像処理IC200は、更に、表示制御部250と、チューナI/F(Interface)260と、ホストI/F
270と、ドライバI/F280と、オーディオI/F290とを含む。
ここで、映像デコーダ230は、図示しないCPUを含み、映像デコーダ230の機能が、本実施形態におけるデコード処理制御部20の機能を果たすCPU及びデコード装置40によって実現される。
TS分離部210は、映像データを生成するための映像用TSパケット(第1のTSパケット)、音声データを生成するための音声用TSパケット(第2のTSパケット)、映像用TSパケット及び音声用TSパケット以外のパケット(第3のTSパケット)を、TSから抽出する。TS分離部210は、TSから一旦抽出された第3のTSパケットを解析するホストCPU110の解析結果に基づいて、第1及び第2のTSパケットを抽出することができる。
メモリ220は、各記憶領域の先頭アドレス及び終了アドレスが予め決められた複数の記憶領域を有する。そして、TS分離部210により分離された映像用TSパケット、音声用TSパケット、それ以外のTSパケットのそれぞれが、各TSパケット専用に設けられた記憶領域に格納される。
映像デコーダ230は、メモリ220の記憶領域のうち映像用TSパケット専用に設けられた記憶領域から映像用TSパケットを読み出し、該映像用TSパケットに基づいて映像データを生成する映像デコード処理を行う。より具体的には、映像デコード処理のうち、図1のデコード処理制御部20によって行われる処理、シーケンサ部50によって行われる処理、及びフィルタ部60によって行われる処理が並列して実行される。
音声デコーダ240は、メモリ220の記憶領域のうち音声用TSパケット専用に設けられた記憶領域から音声用TSパケットを読み出し、該音声用TSパケットに基づいて音声データを生成する音声デコード処理を行う。
表示制御部250は、メモリ220から読み出された映像データにより表される画像の向きを回転させる回転処理や該画像のサイズを縮小又は拡大させるリサイズ処理を行う。回転処理後のデータやリサイズ処理後のデータは、ドライバI/F280に供給される。
チューナI/F260は、チューナ940とのインタフェース処理を行う。より具体的には、チューナI/F260は、チューナ940からのTSを受信する制御を行う。チューナI/F260は、TS分離部210に接続される。
ホストI/F270は、ホストCPU110とのインタフェース処理を行う。より具体的には、ホストI/F270は、ホストCPU110との間のデータの送受信の制御を行う。ホストI/F270は、TS分離部210、メモリ220、表示制御部250、オーディオI/F290に接続される。
ドライバI/F280は、表示制御部250を介してメモリ220から所定の周期で映像データを読み出し、該映像データを表示ドライバ140に対して供給する。ドライバI/F280は、表示ドライバ140に対して映像データを送信するためのインタフェース処理を行う。
オーディオI/F290は、メモリ220から所定の周期で音声データを読み出し、該音声データをDAC150に対して供給する。オーディオI/F290は、DAC150に対して音声データを送信するためのインタフェース処理を行う。
このような画像処理IC200では、TS分離部210により、チューナ940からのTSからTSパケットが抽出される。TSパケットは、共有メモリとしてのメモリ220の予め割り当てられた記憶領域に格納される。そして、映像デコーダ230及び音声デコーダ240が、それぞれメモリ220に割り当てられた専用の記憶領域からTSパケットを読み出して、映像データ及び音声データを生成し、互いに同期した映像データ及び音声データを表示ドライバ140及びDAC150に対して供給することができる。
図19に、図18の画像処理IC200の動作説明図を示す。
図19において、図18と同一部分には同一符号を付し、適宜説明を省略する。
メモリ220は、第1〜第8の記憶領域AR1〜AR8を有し、各記憶領域が予め割り当てられている。
第1の記憶領域AR1には、映像用TSパケット専用の記憶領域として、TS分離部210によって抽出された映像用TSパケット(第1のTSパケット)が格納される。第2の記憶領域AR2には、音声用TSパケット専用の記憶領域として、TS分離部210によって抽出された音声用TSパケット(第2のTSパケット)が格納される。第3の記憶領域AR3には、TS分離部210によって抽出されたTSパケットのうち映像用TSパケット及び音声用TSパケットを除くTSパケット(第3のTSパケット)が格納される。
第4の記憶領域AR4には、映像用ESデータ専用の記憶領域として、映像デコーダ230によって生成された映像用ESデータが格納される。第5の記憶領域AR5には、音声用ESデータ専用の記憶領域として、音声デコーダ240によって生成された音声用ESデータが格納される。
第6の記憶領域AR6には、ホストCPU110によって生成されるTSが、TSRAWデータとして格納される。TSRAWデータは、チューナ940からのTSに替わってホストCPU110により設定される。そして、TS分離部210は、TSRAWデータとして設定されたTSから、映像用TSパケット、音声用TSパケット、その他のTSパケットが抽出されるようになっている。
第7の記憶領域AR7には、映像デコーダ230によるデコード処理後の映像データが格納される。第7の記憶領域AR7に格納された映像データは、表示制御部250によって読み出され、表示パネル960による映像出力に供される。第8の記憶領域AR8には、音声デコーダ240によるデコード処理後の音声データが格納される。第8の記憶領域AR8に格納された音声データは、スピーカ970による音声出力に供される。
映像デコーダ230は、ヘッダ削除処理部232と、映像デコード処理部234とを含む。ヘッダ削除処理部232は、第1の記憶領域AR1から映像用TSパケットを読み出し、該映像用TSパケットのTSヘッダを解析してPESパケット(第1のPESパケット)を生成した後、そのPESヘッダを削除する処理を行ってそのペイロード部を映像用ESデータとしてメモリ220の第4の記憶領域AR4に格納する。映像デコード処理部234は、第4の記憶領域AR4から映像用ESデータを読み出し、H.264/AVC(Advanced Video Coding)の規格に従ったデコード処理(広義には映像デコード処理)
を行って生成される映像データを第7の記憶領域AR7に書き込む。
音声デコーダ240は、ヘッダ削除処理部242と、音声デコード処理部244とを含む。ヘッダ削除処理部242は、第2の記憶領域AR2から音声用TSパケットを読み出し、該音声用TSパケットのTSヘッダを解析してPESパケット(第2のPESパケット)を生成した後、そのPESヘッダを削除する処理を行ってそのペイロード部を音声用ESデータとしてメモリ220の第5の記憶領域AR5に格納する。音声デコード処理部244は、第5の記憶領域AR5から音声用ESデータを読み出し、MPEG−2AAC(Advanced Audio Coding)の規格に従ったデコード処理(広義には音声デコード処理)
を行って生成される音声データを第8の記憶領域AR8に書き込む。
そして、映像デコーダ230が、第1の記憶領域AR1から映像用TSパケット(第1のTSパケット)を、音声デコーダ240とは独立して読み出し、該映像用TSパケットに基づいて上記の映像デコード処理を行う。また音声デコーダ240が、第2の記憶領域AR2から音声用TSパケット(第2のTSパケット)を、映像デコーダ230とは独立して読み出し、該音声用TSパケットに基づいて上記の音声デコード処理を行う。こうすることで、映像と音声とを同期させて出力させる場合には映像デコーダ230及び音声デコーダ240を動作させることができる一方、映像のみを出力させる場合には映像デコーダ230のみを動作させて音声デコーダ240の動作を停止させることができる。また音声のみを出力させる場合には音声デコーダ240のみを動作させて映像デコーダ230の動作を停止させることができる。
ホストCPU110は、第3の記憶領域AR3に格納されたその他のTSパケット(第3のTSパケット)を読み出し、該TSパケットからセクションを生成する。そして該セクションに含まれる各種テーブル情報を解析する。ホストCPU110は、その解析結果をメモリ220の所定の記憶領域に設定すると共にTS分離部210に対し制御情報として指定する。それ以降、TS分離部210は、チューナ940からのTSを該制御情報に従ってTSパケットを抽出する。一方、ホストCPU110は、映像デコーダ230及び音声デコーダ240に対して、それぞれ別個に起動コマンドを発行することができる。映像デコーダ230及び音声デコーダ240は、それぞれ独立してメモリ220にアクセスしてホストCPU110の解析結果を読み出し、該解析結果に対応したデコード処理を行う。
2.3.1 再生動作
次に、本実施形態における情報再生装置としての画像処理IC200において、TSに多重化された映像データ又は音声データを再生する場合の動作について説明する。
図20に、ホストCPU110による再生処理の動作例のフロー図を示す。ホストCPU110は、RAM120又はROM130に格納されたプログラムを読み出し、該プログラムに対応した処理を実行することで図20に示す処理を行うことができるようになっている。
まずホストCPU110は、放送受信開始処理を行う(ステップS100)。これによって、TSとして受信された複数の番組のうち所望の番組の映像データ又は音声データをTSから抽出することができる。そして、ホストCPU110は、画像処理IC200の映像デコーダ230及び音声デコーダ240の少なくとも1つを起動させる。
その後、ホストCPU110は、映像及び音声の再生を行う場合には映像デコーダ230及び音声デコーダ240によりデコード処理を行わせる。或いはホストCPU110は、映像のみの再生を行う場合には音声デコーダ240の動作を停止させて映像デコーダ230によりデコード処理を行わせる。或いはまた、ホストCPU110は、音声のみの再生を行う場合には映像デコーダ230の動作を停止させて音声デコーダ240によりデコード処理を行わせる(ステップS101)。
次に、ホストCPU110は、放送受信終了処理を行い(ステップS102)、一連の処理を終了する(エンド)。これによって、ホストCPU110は、画像処理IC200の各部の動作を停止させる。
2.3.1.1 放送受信開始処理
続いて、図20に示す放送受信開始処理の処理例について説明する。ここでは、映像及び音声の再生を行う場合について説明する。
図21に、図20の放送受信開始処理の動作例のフロー図を示す。ホストCPU110は、RAM120又はROM130に格納されたプログラムを読み出し、該プログラムに対応した処理を実行することで図21に示す処理を行うことができるようになっている。
まずホストCPU110は、画像処理IC200の映像デコーダ230、音声デコーダ240を起動する(ステップS110)。その後、ホストCPU110は、チューナ940を初期化すると共に所与の動作情報を設定する(ステップS111)。そしてホストCPU110は、DAC150に対しても初期化を行って所与の動作情報を設定する(ステップS112)。
その後ホストCPU110は、TSの受信を監視する(ステップS113:N)。TSの受信が開始されると、画像処理IC200では、TS分離部210が、上述のようにTSから映像用TSパケット、音声用TSパケット及びそれ以外のTSパケットに分離し、分離されたTSパケットは、専用に設けられたメモリ220の記憶領域に格納される。例えば画像処理IC200のメモリ220における第3の記憶領域AR3にTSパケットが格納されたことを条件に発生する割り込み信号により、ホストCPU110はTSの受信を検出できる。或いはホストCPU110が、周期的にメモリ220の第3の記憶領域AR3をアクセスすることで、TSパケットの書き込みが行われた否かを判断して、TSの受信を判別できる。
このようにしてTSの受信が検出されたとき(ステップS113:Y)、ホストCPU110は、第3の記憶領域AR3に記憶されたTSパケットを読み出してセクションを生成する。そして、セクションに含まれるPSI(Program Specific Information:番組特定情報)/SI(Service Information:番組配列情報)を解析する(ステップS114)。このPSI/SIは、MPEG−2システム(ISO/IEC 13818-1)にて規定されている。
PSI/SIは、NIT(Network Information Table:ネットワーク情報テーブル)
やPMT(Program Map Table:番組対応テーブル)を含む。NITは、例えばどの放送
局からのTSかを特定するためのネットワーク識別子、PMTを特定するためのサービス識別子、放送の種類を示すサービスタイプ識別子等を含む。PMTには、例えばTSにおいて多重化される映像用TSパケットのPIDと音声用TSパケットのPIDが設定される。
従って、ホストCPU110は、PSI/SIからPMTを特定するためのサービス識別子を抽出し、該サービス識別子に基づき、受信したTSの映像用TSパケット及び音声用TSパケットのPIDを特定できる(ステップS115)。そして、携帯端末のユーザに選択させた番組に対応するPID、若しくは予め決められた番組に対応するPIDを、ホストCPU110が、映像デコーダ230及び音声デコーダ240に参照できるようにメモリ220の所定の記憶領域(例えば第3の記憶領域AR3)に設定し(ステップS116)、一連の処理を終了する(エンド)。
こうすることで、映像デコーダ230及び音声デコーダ240は、メモリ220に設定されたPIDを参照しながら、映像用TSパケット及び音声用TSパケットに対してデコード処理を行うことができる。
なおホストCPU110は、例えばPMTを特定するためのサービス識別子に対応する情報を、画像処理IC200のTS分離部210に設定する。こうすることで、TS分離部210は、所定の時間間隔を置いて周期的に受信されるセクションを判別し、上記のサービス識別子に対応したPMTを解析し、該PMTにより特定される映像用TSパケット及び音声用TSパケットとそれ以外のTSパケットを抽出してメモリ220に格納していく。
図22に、図18及び図19の画像処理IC200の放送受信開始処理における動作説明図を示す。図22において、図18又は図19と同一部分には同一符号を付し、適宜説明を省略する。
なお図22において、第7の記憶領域AR7を第4の記憶領域AR4と共用化し、第8の記憶領域AR8を第5の記憶領域AR5と共用化している。また、PSI/SI、NIT、PMTは、第3の記憶領域AR3内の所定の記憶領域に格納されるものとする。
まずチューナ940からTSが入力される(SQ1)とTS分離部210は、PSI/SIが含まれるTSパケットをメモリ220に格納する(SQ2)。このとき、TS分離部210は、該TSパケットのPSI/SI自体を抽出してメモリ220に格納することができる。更にTS分離部210は、PSI/SIからNITを抽出してメモリ220に格納することができる。
ホストCPU110は、PSI/SI、NIT、PMTを読み出して(SQ3)、これらを解析し、デコード処理対象の番組に対応するPIDを特定する。そしてホストCPU110は、サービス識別子に対応する情報又はデコード処理対象の番組に対応するPIDを、TS分離部210に設定する(SQ4)。なおホストCPU110は、PIDを、メモリ220の所定の記憶領域にも設定し、映像デコーダ230及び音声デコーダ240のデコード処理の際に参照させる。
TS分離部210は、設定されたPIDに基づいてTSから映像用TSパケット及び音声用TSパケットを抽出し、それぞれ第1及び第2の記憶領域AR1、AR2に書き込む(SQ5)。
その後、ホストCPU110によって起動された映像デコーダ230及び音声デコーダ240は、第1及び第2の記憶領域AR1、AR2から映像用TSパケット及び音声用TSパケットを順次読み出して(SQ6)、映像デコード処理及び音声デコード処理を行う。
2.3.1.2 放送受信終了処理
次に、図20に示す放送受信終了処理の動作例について説明する。ここでは、映像及び音声の再生を行う場合について説明する。
図23に、図20の放送受信終了処理の処理例のフロー図を示す。ホストCPU110は、RAM120又はROM130に格納されたプログラムを読み出し、該プログラムに対応した処理を実行することで図23に示す処理を行うことができるようになっている。
まずホストCPU110は、画像処理IC200の映像デコーダ230、音声デコーダ240を停止させる(ステップS120)。これは、例えばホストCPU110から画像処理IC200に対し制御コマンドを発行し、画像処理IC200が該制御コマンドのデコード結果を用いて映像デコーダ230、音声デコーダ240を停止させることができる。
その後、ホストCPU110は、同様にTS分離部210を停止させる(ステップS121)。そして、ホストCPU110は、チューナ940を停止させる(ステップS122)。
図24に、図18及び図19の画像処理IC200の放送受信終了処理における動作説明図を示す。図24において、図22と同一部分には同一符号を付し、適宜説明を省略する。
まずホストCPU110が、表示制御部250の動作を停止させる制御を行い、表示ドライバ140への映像データの供給を停止させる(SQ10)。次に、ホストCPU110が、映像デコーダ230及び音声デコーダ240の動作を停止させ(SQ11)、その後TS分離部210、チューナ940の順に動作を停止させていく(SQ12、SQ13)。
2.3.1.3 再生処理
次に、映像データの再生処理を行う映像デコーダ230の動作例について説明する。
図25に、映像デコーダ230の動作例のフロー図を示す。
映像デコーダ230は、ホストCPU110によって起動されると、例えばメモリ220の所定の記憶領域に格納されたプログラムを読み出し、該プログラムに対応した処理を実行することで図25に示す処理を行うことができるようになっている。
まず、映像デコーダ230は、映像用TSバッファとして設けられた第1の記憶領域AR1がエンプティ状態か否かを判別する(ステップS140)。第1の記憶領域AR1から読み出されるべき映像用TSパケットがない場合、エンプティ状態となる。
ステップS140において映像用TSバッファである第1の記憶領域AR1がエンプティ状態でないと判別されたとき(ステップS140:N)、映像デコーダ230は、更に映像用ESバッファとして設けられた第4の記憶領域AR4がフル状態か否かを判別する(ステップS141)。これ以上映像用ESデータを第4の記憶領域AR4に格納できない場合、フル状態となる。
ステップS141において映像用ESバッファである第4の記憶領域AR4がフル状態でないと判別されたとき(ステップS141:N)、映像デコーダ230は、第1の記憶領域AR1から映像用TSパケットを読み出し、図21のステップS116においてホストCPU110により特定されたPID(指定PID)か否かを検出する(ステップS142)。
ステップS142において、映像用TSパケットのPIDが指定PIDであると検出されたとき(ステップS142:Y)、映像デコーダ230は、TSヘッダ、PESヘッダの解析を行い(ステップS143)、映像用ESデータを映像用ESバッファとして設けられた第4の記憶領域AR4に格納する(ステップS144)。
その後、映像デコーダ230は、映像用TSバッファである第1の記憶領域AR1の読み出しアドレスを特定するための読み出しポインタを更新し(ステップS145)、ステップS140に戻る(リターン)。
なお、ステップS142において映像用TSパケットのPIDが指定PIDではないと検出されたとき(ステップS142:N)、ステップS145に進む。また、ステップS140において映像用TSバッファである第1の記憶領域AR1がエンプティ状態であると判別されたとき(ステップS140:Y)、又はステップS141において映像用ESバッファである第4の記憶領域AR4がフル状態であると判別されたとき(ステップS141:Y)、ステップS140に戻る(リターン)。
こうして第4の記憶領域AR4に格納された映像用ESデータは、映像デコーダ230により、上述したようなH.264/AVCの規格に従ったデコード処理が行われて、映像データとして第7の記憶領域AR7(図19参照)に書き込まれる。
図26に、図18及び図19の画像処理IC200の音声デコーダの動作説明図を示す。図26において、図22と同一部分には同一符号を付し、適宜説明を省略する。
なお図26において、第7の記憶領域AR7を第4の記憶領域AR4と共用化し、第8の記憶領域AR8を第5の記憶領域AR5と共用化している。また、PSI/SI、NIT、PMTは、第3の記憶領域AR3内の所定の記憶領域に格納されるものとする。
まず図21に示すようにホストCPU110によりデコード処理対象の番組に対応するPIDがTS分離部210に設定される(SQ20)。チューナ940からTSが入力されたとき(SQ21)、TS分離部210は、チューナ940からのTSから映像用TSパケット、音声用TSパケット及びそれ以外のTSパケットをそれぞれ分離する(SQ22)。TS分離部210によって分離された映像用TSパケットは、第1の記憶領域AR1に格納される。TS分離部210によって分離された音声用TSパケットは、第2の記憶領域AR2に格納される。TS分離部210によって分離された映像用TSパケット及び音声用TSパケット以外のTSパケットは、PSI/SIとして第3の記憶領域AR3に格納される。この際、TS分離部210は、PSI/SIの中のNIT、PMTを抽出して第3の記憶領域AR3に格納する。
次にホストCPU110によって起動された映像デコーダ230は、第1の記憶領域AR1から映像用TSパケットを読み出し(SQ23)、映像用ESデータを生成し、該映像用ESデータを第4の記憶領域AR4に格納する(SQ24)。
その後、映像デコーダ230は、第4の記憶領域AR4から映像用ESデータを読み出して(SQ25)、H.264/AVCの規格に従ったデコード処理を行う。ここで、上述したように、本実施形態における並列動作が行われる。図26では、デコード処理後の映像データが表示制御部250に直接供給されている(SQ26)が、例えばデコード処理後の映像データを、一旦、メモリ220の所定の記憶領域に書き戻し、その後、音声データの出力タイミングと同期を取りながら表示制御部250に供給することが望ましい。
こうして表示制御部250に供給された映像データに基づいて、表示ドライバ140が表示パネルを駆動する(SQ27)。
なお音声データの再生処理を行う音声デコーダ240についても、同様に、音声用TSバッファとして設けられた第2の記憶領域AR2から音声用TSパケットを読み出し、TSヘッダ、PESヘッダの解析を行って、音声用ESデータを音声用ESバッファとして設けられた第5の記憶領域AR5に格納する。
こうして第5の記憶領域AR5に格納された音声用ESデータは、音声デコーダ240により、MPEG−2AACの規格に従ったデコード処理が行われて、音声データとして第8の記憶領域AR8(図19参照)に書き込まれる。
以上のような音声デコーダ240の動作は、映像デコーダ230の動作とは独立して行われる。
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。なお上記の実施形態又はその変形例では、地上デジタル放送に適用可能な例について説明したが、本発明は地上デジタル放送に適用可能なものに限定されるものではない。
なお、本実施形態におけるデコードシステム、デコード装置は、H.264/AVCに準拠したデコード処理に適用した場合について説明したが、これに限定されるものではなく、他の規格や、H.264/AVC規格を発展させた規格に準拠したデコード処理に適用できることは言うまでもない。
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の1の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
本実施形態におけるデコードシステムの構成例のブロック図。 本実施形態におけるデコードシステムの処理の流れの概要のフロー図。 ストリームデータから抽出されたMB単位のビットストリームの模式図。 本実施形態の比較例におけるデコードシステムの動作例のタイミング図。 本実施形態におけるデコードシステムの動作例のタイミング図。 デコード処理制御部において行われるヘッダ解析処理の一例のフロー図。 CAVLC部の処理の一例のフロー図。 図8(A)、図8(B)、図8(C)はCAVLC演算の説明図。 図9(A)、図9(B)、図9(C)はゴロム符号の説明図。 逆量子化部の処理の説明図。 第1の割り込み信号により起動される割り込みハンドラの処理例のフロー図。 第2の割り込み信号により起動される割り込みハンドラの処理例のフロー図。 地上デジタル放送のセグメントの概念の説明図。 TSの説明図。 PESパケット及びセクションの説明図。 本実施形態の比較例におけるマルチメディア処理CPUを含む携帯電話機の構成例のブロック図。 本実施形態の情報再生装置を含む携帯電話機の構成例のブロック図。 図17の画像処理ICの構成例のブロック図 図18の画像処理ICの動作説明図。 ホストCPUによる再生処理の動作例のフロー図。 図20の放送受信開始処理の処理例のフロー図。 図18及び図19の画像処理ICの放送受信開始処理における動作説明図。 図20の放送受信終了処理の処理例のフロー図。 図18及び図19の画像処理ICの放送受信終了処理における動作説明図。 映像デコーダの動作例のフロー図。 図18及び図19の画像処理ICの音声デコーダの動作説明図。
符号の説明
10 デコードシステム、 20 デコード処理制御部、 22 CAVLC部、
24 逆量子化部、 26 パラメータ解析部、 27 イントラ用パラメータ解析部、
28 インタ用パラメータ解析部、 30 並列動作制御部、 40 デコード装置、
50 シーケンサ部、 52 逆DCT演算部、 53 加算部、 54 動き補償部、
56 動き予測部、 57 重み付き予測部、 58 画面内予測部、
60 フィルタ部、 62 デブロックフィルタ、 70 出力画像バッファ、
80 第1の割り込み発生部、 82 第2の割り込み発生部、
INT1 第1の割り込み信号、 INT2 第2の割り込み信号、
SF1、SF2 起動フラグ

Claims (15)

  1. ストリームデータをデコードするためのデコード装置であって、
    エントロピー符号化方式により符号化されたストリームデータを復号した後に逆量子化が行われたデータを逆離散コサイン変換し、該逆離散コサイン変換後のデータに対して動き予測又は動き補償を行った画像データを生成するシーケンサ部と、
    所定のデータブロック単位で、前記動き予測又は動き補償を行った画像データのブロックノイズを低減させる処理を行うフィルタ部とを含み、
    前記シーケンサ部が、
    該シーケンサ部の起動後に、前記動き予測又は動き補償を行った画像データを生成したことを条件に第1の割り込み信号を発生させる第1の割り込み発生部を含み、
    前記フィルタ部が、
    該フィルタ部の起動後に、前記画像データのブロックノイズを低減させる処理を完了したことを条件に第2の割り込み信号を発生させる第2の割り込み発生部を含み、
    前記逆量子化処理の完了、前記第1及び第2の割り込み信号の発生を条件に、前記シーケンサ部及び前記フィルタ部の各部が、所与のデータブロック単位で並列動作するように起動されることを特徴とするデコード装置。
  2. 請求項1において、
    第1の期間に続く第2の期間において、
    前記フィルタ部が、前記第1の期間において前記シーケンサ部によって生成された動き予測又は動き補償後の画像データのブロックノイズを低減させる処理を行うと共に、
    前記シーケンサ部が、前記第1の期間において逆量子化されたデータに対して逆離散コサイン変換し該逆離散コサイン変換後のデータに対し、動き予測又は動き補償を行った画像データを生成することを特徴とするデコード装置。
  3. 請求項1又は2において、
    第1〜第3のデータブロックを第1のデータブロックから順番に処理する場合に、
    前記第3のデータブロックに対して逆量子化が終了し、且つ、前記第2のデータブロックに対して前記シーケンサ部から前記第1の割り込み信号が発生し、且つ前記第1のデータブロックに対して前記フィルタ部から前記第2の割り込み信号が発生したことを条件に、前記シーケンサ部及び前記フィルタ部が起動されることを特徴とするデコード装置。
  4. 請求項1乃至3のいずれかにおいて、
    前記シーケンサ部及び前記フィルタ部を並列動作させるために起動する場合、
    前記フィルタ部が起動されてから前記シーケンサ部が起動されることを特徴とするデコード装置。
  5. 請求項1乃至4のいずれかにおいて、
    前記データブロックが、
    前記ストリームデータに基づいて生成される画像のうち、水平方向の所与の画素数、垂直方向の所与のライン数を単位とする1マクロブロック分のデータであることを特徴とするデコード装置。
  6. 請求項1乃至5のいずれかにおいて、
    前記ストリームデータを復号した後に逆量子化を行うデコード処理制御部、前記シーケンサ部及び前記フィルタ部の各部が、所与のデータブロック単位で並列動作するように起動されることを特徴とするデコード装置。
  7. 請求項1乃至6のいずれかにおいて、
    中央演算処理装置を含み、
    前記ストリームデータを復号すると共に前記シーケンサ部及び前記フィルタ部を起動する機能を実現するためのプログラムを読み込み、該プログラムに従ってエントロピー符号化方式により符号化されたストリームデータを復号した後に逆量子化を行う処理を実行すると共に、前記シーケンサ部及び前記フィルタ部が所与のデータブロック単位で並列動作するように各部を起動することを特徴とするデコード装置。
  8. エントロピー符号化方式により符号化されたストリームデータを復号した後に逆量子化されたデータを逆離散コサイン変換し、該逆離散コサイン変換後のデータに対して動き予測又は動き補償を行った画像データを生成するシーケンサ部と、
    所定のデータブロック単位で、前記動き予測又は動き補償後の画像データのブロックノイズを低減させる処理を行うフィルタ部とを含むデコード装置の制御方法であって、
    前記シーケンサ部の処理の完了後に第1の割り込み信号を発生させると共に、前記フィルタ部の処理の完了後に第2の割り込み信号を発生させ、
    逆量子化処理が完了し、且つ前記第1及び第2の割り込み信号の発生を条件に、前記ストリームデータに基づいて生成される画像のうち、水平方向の所与の画素数、垂直方向の所与のライン数を単位とする1マクロブロック分のデータを単位に、前記シーケンサ部及び前記フィルタ部が並列動作するように各部を起動することを特徴とするデコード装置の制御方法。
  9. 請求項8において、
    第1の期間に続く第2の期間において、
    前記フィルタ部が、前記第1の期間において前記シーケンサ部によって生成された動き予測又は動き補償後の画像データのブロックノイズを低減させる処理を行うと共に、
    前記シーケンサ部が、前記第1の期間において、逆量子化されたデータに対して逆離散コサイン変換し該逆離散コサイン変換後のデータに対して動き予測又は動き補償を行うように起動することを特徴とするデコード装置の制御方法。
  10. 請求項8又は9において、
    前記シーケンサ部及び前記フィルタ部を並列動作させる場合、
    前記フィルタ部を起動してから前記シーケンサ部を起動させることを特徴とするデコード装置の制御方法。
  11. 請求項8乃至10のいずれかにおいて、
    前記ストリームデータを復号した後に逆量子化を行うデコード処理制御部、前記シーケンサ部及び前記フィルタ部の各部が、所与のデータブロック単位で並列動作するように起動することを特徴とするデコード装置の制御方法。
  12. 映像データ及び音声データの少なくとも1つを再生するための情報再生装置であって、
    映像データを生成するための第1のTS(Transport Stream)パケット、音声データを生成するための第2のTSパケット、前記第1及び第2のTSパケット以外の第3のTSパケットを、トランスポートストリームから抽出する分離処理部と、
    前記第1のTSパケットが格納される第1の記憶領域と、前記第2のTSパケットが格納される第2の記憶領域と、前記第3のTSパケットが格納される第3の記憶領域とを有するメモリと、
    前記第1の記憶領域から読み出された前記第1のTSパケットに基づいて前記映像データを生成する映像デコード処理を行う請求項1乃至7いずれか記載のデコード装置と、
    前記第2の記憶領域から読み出された前記第2のTSパケットに基づいて前記音声データを生成する音声デコード処理を行う音声デコーダとを含み、
    前記デコード装置が、前記第1の記憶領域から前記第1のTSパケットを、前記音声デコーダとは独立して読み出し、該第1のTSパケットに基づいて前記映像デコード処理を行うと共に、
    前記音声デコーダが、前記第2の記憶領域から前記第2のTSパケットを、前記映像デコーダとは独立して読み出し、該第2のTSパケットに基づいて前記音声デコード処理を行うことを特徴とする情報再生装置。
  13. 請求項12において、
    前記映像データ及び音声データのうち前記映像データのみを再生するときは、前記音声デコーダの動作を停止させ、
    前記映像データ及び音声データのうち前記音声データのみを再生するときは、前記デコード装置の動作を停止させることを特徴とする情報再生装置。
  14. 請求項12又は13記載の情報再生装置と、
    前記情報再生装置に対し、前記映像デコード処理及び前記音声デコード処理の少なくとも1つの処理開始を指示するホストとを含むことを特徴とする電子機器。
  15. チューナと、
    前記チューナからのトランスポートストリームが供給される請求項12又は13記載の情報再生装置と、
    前記情報再生装置に対し、前記映像デコード処理及び前記音声デコード処理の少なくとも1つの処理開始を指示するホストとを含むことを特徴とする電子機器。
JP2006065342A 2006-03-10 2006-03-10 デコード装置、その制御方法、情報再生装置及び電子機器 Pending JP2007243764A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006065342A JP2007243764A (ja) 2006-03-10 2006-03-10 デコード装置、その制御方法、情報再生装置及び電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006065342A JP2007243764A (ja) 2006-03-10 2006-03-10 デコード装置、その制御方法、情報再生装置及び電子機器

Publications (1)

Publication Number Publication Date
JP2007243764A true JP2007243764A (ja) 2007-09-20

Family

ID=38588815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006065342A Pending JP2007243764A (ja) 2006-03-10 2006-03-10 デコード装置、その制御方法、情報再生装置及び電子機器

Country Status (1)

Country Link
JP (1) JP2007243764A (ja)

Similar Documents

Publication Publication Date Title
US11632572B2 (en) Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US20230370629A1 (en) Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
EP1656793B1 (en) Slice layer in video codec
RU2546590C2 (ru) Сигнализация изменений параметра квантования для кодируемых единиц при высокоэффективном видеокодировании(hevc)
KR102079803B1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
TWI573436B (zh) 用於並行熵編碼的方法及裝置以及用於並行熵解碼的方法及裝置以及非暫時性電腦可讀記錄媒體
JP2010110007A (ja) 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体
JP2008042497A (ja) デコード装置、情報再生装置及び電子機器
KR102167096B1 (ko) 영상 부호화/복호화 방법 및 장치
KR102160958B1 (ko) 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
JP6711353B2 (ja) 画像処理装置および画像処理方法
KR101975254B1 (ko) 병렬 엔트로피 부호화/복호화 방법 및 장치
US20140321528A1 (en) Video encoding and/or decoding method and video encoding and/or decoding apparatus
JP4742018B2 (ja) 画像符号化装置及び画像符号化方法
JP3623056B2 (ja) 動画像圧縮装置
Chen et al. Architecture design of high performance embedded compression for high definition video coding
JP2007251543A (ja) 表示制御装置、その制御方法、情報再生装置及び電子機器
JP2007243763A (ja) デコード装置、その制御方法、情報再生装置及び電子機器
JP2007243764A (ja) デコード装置、その制御方法、情報再生装置及び電子機器
JP2007282001A (ja) デコード装置、デコード方法、情報再生装置及び電子機器
JP2007304797A (ja) データアクセス回路、デコード装置、情報再生装置及び電子機器
JP2007166598A (ja) 情報記録装置及び電子機器
WO2013114826A1 (ja) 画像復号装置
JP2007166597A (ja) 情報再生装置及び電子機器
US11595652B2 (en) Explicit signaling of extended long term reference picture retention