JP2015170994A - 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法 - Google Patents

画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法 Download PDF

Info

Publication number
JP2015170994A
JP2015170994A JP2014044672A JP2014044672A JP2015170994A JP 2015170994 A JP2015170994 A JP 2015170994A JP 2014044672 A JP2014044672 A JP 2014044672A JP 2014044672 A JP2014044672 A JP 2014044672A JP 2015170994 A JP2015170994 A JP 2015170994A
Authority
JP
Japan
Prior art keywords
unit
image
scalable
encoding
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014044672A
Other languages
English (en)
Inventor
上木　伸夫
Nobuo Ueki
伸夫 上木
利昇 井原
Toshinori Ihara
利昇 井原
武文 名雲
Takefumi Nagumo
武文 名雲
裕音 櫻井
Hironari Sakurai
裕音 櫻井
碩 陸
Shuo Lu
碩 陸
義崇 森上
Yoshitaka Morigami
義崇 森上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014044672A priority Critical patent/JP2015170994A/ja
Priority to US14/630,833 priority patent/US9635370B2/en
Publication of JP2015170994A publication Critical patent/JP2015170994A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができるようにする。【解決手段】画像データをスケーラブル符号化し、スケーラブル符号化された前記画像データである符号化データを、所定のバスを介して記憶部に記憶させ、前記記憶部から前記符号化データの所望のレイヤを、前記バスを介して読み出し、前記記憶部から読み出された前記符号化データをスケーラブル復号する。本開示は、例えば、画像処理装置、画像符号化装置、または、画像復号装置等に適用することができる。【選択図】図３

Description

本開示は画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法に関し、特に、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができるようにした画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法に関する。
近年、電子機器等において取り扱われる画像の高解像度化や高画質化が進み、処理される画像データのデータ量が増大している。一般的に、このような画像を取り扱う装置においては、例えば画像処理等の際に、画像データをフレームメモリ等の記憶媒体に記憶させるが、画像データの大容量化に伴って、メモリの容量やメモリアクセスの際に利用するメモリバスの帯域が十分でなくなってきた。
そのため、画像データの格納に必要なメモリ容量やメモリアクセス帯域の増大を抑制するために、画像データを圧縮して記憶する方法が考えられた（例えば、特許文献１乃至特許文献５参照）。
特開２０１３−０９８８７３号公報 特開２０１３−１４６０３８号公報 特開２０１０−１７１６０９号公報 特開２０１３−０１７０１４号公報 特開２０１０−１４１７７１号公報
可逆圧縮は、処理が複雑であり、十分な圧縮率が得られない場合も考えられるので、このような圧縮には不向きである。しかしながら、非可逆圧縮の場合、不要に圧縮率を高くすると不要に画質を劣化させてしまうおそれがあった。そのため、適切な圧縮率にすることが求められるが、適切な圧縮率は、メモリから読み出された画像データに施される画像処理の内容等によって様々であり、一意に特定することができない。そのため、多様な画像処理に利用される画像データを格納する場合、上述した特許文献に記載の方法では、不要に画質を低減させてしまったり、メモリアクセスの帯域やメモリ容量の増大を十分に抑制することができなかったりするおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができるようにするものである。
本技術の一側面は、画像データをスケーラブル符号化する符号化部と、前記符号化部によりスケーラブル符号化された前記画像データである符号化データを、所定のバスを介して記憶部に記憶させる書き込み部と、前記記憶部から前記符号化データの所望のレイヤを、前記バスを介して読み出す読み出し部と、前記読み出し部により前記記憶部から読み出された前記符号化データをスケーラブル復号する復号部とを備える画像処理装置である。
前記読み出し部は、前記符号化データの、前記復号部により前記符号化データが簡易復号された前記画像データに対する画像処理に応じたレイヤを読み出すことができる。
前記バスおよび前記記憶部をさらに備えることができる。
前記符号化部は、前記画像データを、データ長が固定の固定長方式で簡易符号化することができる。
前記符号化部は、前記画像データのビット深度をスケーラブル化して前記画像データを簡易符号化することができる。
前記符号化部は、前記画像データの解像度をスケーラブル化して前記画像データを簡易符号化することができる。
前記符号化部は、前記画像データの周波数成分をスケーラブル化して前記画像データを簡易符号化することができる。
前記符号化部は、前記画像データの互いに異なるレイヤを簡易符号化する単レイヤ符号化部を複数有し、前記単レイヤ符号化部の多段構成により、前記画像データをスケーラブル符号化することができる。
前記復号部は、前記符号化データの互いに異なるレイヤを簡易復号する単レイヤ復号部を複数有し、前記単レイヤ復号部の多段構成により、前記符号化データをスケーラブル復号することができる。
本技術の一側面は、また、画像データをスケーラブル符号化し、スケーラブル符号化された前記画像データである符号化データを、所定のバスを介して記憶部に記憶させ、前記記憶部から前記符号化データの所望のレイヤを、前記バスを介して読み出し、前記記憶部から読み出された前記符号化データをスケーラブル復号する画像処理方法である。
本技術の他の側面は、予測画像の生成の際に参照される画像データをスケーラブル符号化するスケーラブル符号化部と、前記スケーラブル符号化部によりスケーラブル符号化された前記画像データである符号化データを記憶する記憶部と、前記符号化データの所望のレイヤを、前記記憶部から読み出す読み出し部と、前記読み出し部により前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成するスケーラブル復号部と、前記スケーラブル復号部により前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成する予測部と、前記予測部により生成された前記予測画像を用いて、画像データを符号化する符号化部とを備える画像符号化装置である。
前記読み出し部は、処理対象であるカレントピクチャのピクチャタイプに応じたレイヤを読み出すことができる。
前記読み出し部は、前記画像データの用途に応じたレイヤを読み出すことができる。
前記スケーラブル符号化部は、前記画像データを、データ長が固定の固定長方式で簡易符号化することができる。
本技術の他の側面は、また、予測画像の生成の際に参照される画像データをスケーラブル符号化し、スケーラブル符号化された前記画像データである符号化データを記憶部に記憶し、前記符号化データの所望のレイヤを、前記記憶部から読み出し、前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成し、前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成し、生成された前記予測画像を用いて、画像データを符号化する画像符号化方法である。
本技術のさらに他の側面は、予測画像の生成の際に参照される画像データをスケーラブル符号化するスケーラブル符号化部と、前記スケーラブル符号化部によりスケーラブル符号化された前記画像データである符号化データを記憶する記憶部と、前記符号化データの所望のレイヤを、前記記憶部から読み出す読み出し部と、前記読み出し部により前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成するスケーラブル復号部と、前記スケーラブル復号部により前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成する予測部と、前記予測部により生成された前記予測画像を用いて、画像データが符号化された符号化データを復号する復号部とを備える画像復号装置である。
前記読み出し部は、処理対象であるカレントピクチャのピクチャタイプに応じたレイヤを読み出すことができる。
前記読み出し部は、前記画像データの用途に応じたレイヤを読み出すことができる。
前記スケーラブル符号化部は、前記画像データを、データ長が固定の固定長方式で簡易符号化することができる。
本技術のさらに他の側面は、また、予測画像の生成の際に参照される画像データをスケーラブル符号化し、スケーラブル符号化された前記画像データである符号化データを記憶部に記憶し、前記符号化データの所望のレイヤを、前記記憶部から読み出し、前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成し、前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成し、生成された前記予測画像を用いて、画像データが符号化された符号化データを復号する画像復号方法である。
本技術の一側面においては、画像データがスケーラブル符号化され、スケーラブル符号化された画像データである符号化データが所定のバスを介して記憶部に記憶され、その記憶部から符号化データの所望のレイヤがバスを介して読み出され、記憶部から読み出された符号化データがスケーラブル復号される。
本技術の他の側面においては、予測画像の生成の際に参照される画像データがスケーラブル符号化され、スケーラブル符号化された画像データである符号化データが記憶部に記憶され、その符号化データの所望のレイヤが記憶部から読み出され、記憶部から読み出された符号化データがスケーラブル復号されて参照画像データが生成され、符号化データがスケーラブル復号された参照画像データを用いて予測が行われて予測画像が生成され、生成された予測画像を用いて画像データが符号化される。
本技術のさらに他の側面においては、予測画像の生成の際に参照される画像データがスケーラブル符号化され、スケーラブル符号化された画像データである符号化データが記憶部に記憶され、その符号化データの所望のレイヤが記憶部から読み出され、記憶部から読み出された符号化データがスケーラブル復号されて参照画像データが生成され、符号化データがスケーラブル復号された参照画像データを用いて予測が行われて予測画像が生成され、生成された予測画像を用いて、画像データが符号化された符号化データが復号される。
本開示によれば、画像データをメモリに格納することができる。特に、その際に、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができる。
共有フレームメモリの利用例を説明する図である。 共有フレームメモリの他の利用例を説明する図である。 画像処理装置の主な構成例を示すブロック図である。 メモリアクセスの様子の例を説明する図である。 スケーラブル符号化部の主な構成とスケーラブル符号化の様子の例を示す図である。 スケーラブル符号化部の主な構成とスケーラブル符号化の様子の他の例を示す図である。 スケーラブル符号化部の主な構成とスケーラブル符号化の様子の、さらに他の例を示す図である。 スケーラブル復号部の主な構成とスケーラブル復号の様子の例を示す図である。 記憶処理の流れの例を説明するフローチャートである。 読み出し処理の流れの例を説明するフローチャートである。 テレビジョン装置の主な構成例を示すブロック図である。 携帯電話機の主な構成例を示すブロック図である。 撮像装置の主な構成例を示すブロック図である。 ビデオユニットの主な構成例を示すブロック図である。 画像符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 インター予測処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 予測画像生成処理の流れの例を説明するフローチャートである。 インター予測モード予測画像生成処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像処理装置）
２．第２の実施の形態（テレビジョン装置）
３．第３の実施の形態（携帯電話機）
４．第４の実施の形態（撮像装置）
５．第５の実施の形態（ビデオユニット）
６．第６の実施の形態（画像符号化装置）
７．第７の実施の形態（画像復号装置）
８．第８の実施の形態（コンピュータ）
＜１．第１の実施の形態＞
＜共有フレームメモリの利用＞
従来、画像データを取り扱う電子機器等において、その画像データをフレームメモリに格納し、必要に応じてそのフレームメモリから画像データを読み出し、画像処理等の任意の処理を行った後、またフレームメモリに戻すといった操作が行われていた。このような方法により、画像データに対して、予め決められた処理だけでなく、適宜多様な処理を施すことができる。換言するに、画像データ（フレームメモリ）を多様な処理同士で共有することができる。
近年、電子機器等において取り扱われる画像の高解像度化や高画質化が進み、処理される画像データのデータ量が増大している。そのため、その画像データを格納するフレームメモリの大容量化が求められている。さらに、画像データのデータ量が増大することにより、フレームメモリへのアクセス（画像データの読み書き）においてメモリバスの帯域使用量も増大し、メモリバスの広帯域化も求められている。また、画像データに対して行われる処理も多様化しているため、フレームメモリへのアクセス量も増大しており、それによってもメモリバスの広帯域化が求められている。
フレームメモリの大容量化やメモリバスの広帯域化は、コストが増大するだけでなく、ハードウエアの制限等から、無限に実現することは困難である。そこで、例えば、特許文献１乃至特許文献５のように、画像データを圧縮してフレームメモリに記憶させることにより、画像データの格納に必要なメモリ容量やメモリアクセス帯域の増大を抑制する方法が考えられた。
このような画像圧縮の方法として可逆圧縮と非可逆圧縮が存在するが、可逆圧縮は、処理が複雑であり、十分な圧縮率が得られない場合も考えられるので、このような圧縮には不向きである。これに対して、非可逆圧縮は、処理も容易であり、十分な圧縮率を容易に得ることができる。ただし、非可逆圧縮は、復号画像の画質が符号化前に比べて劣化するので、不要に圧縮率を高くすると不要に画質を劣化させてしまうおそれがあった。
そのため、適切な圧縮率にすることが求められるが、適切な圧縮率は、フレームメモリから読み出された画像データに施される処理の内容等によって様々であり、一意に特定することができない。そのため、多様な処理に利用される画像データを格納する（複数の処理でフレームメモリを共有する）場合、上述した特許文献に記載の方法では、不要に画質を低減させてしまったり、メモリアクセスの帯域やメモリ容量の増大を十分に抑制することができなかったりするおそれがあった。
例えば、図１に示されるように、共有フレームメモリであるDRAM（Dynamic Random Access Memory）に格納する前に入力画像をエンコーダ（ENC）で符号化（圧縮）すると、データの格納に使用するメモリバスの帯域やメモリ容量を低減させることができる。しかしながら、その符号化データをDRAMから読み出してデコーダ（DEC）で復号し、得られた復号画像データに対して処理Ａ乃至処理Ｃを施す場合、処理Ａ乃至処理Ｃの各処理において必要な情報量（例えば画質や解像度等）が同一であるとは限らない。
例えば、処理Ａが画像内の人物を検出する処理であり、処理Ｂが画像の奥行き（Depth）を検出する処理であり、処理Ｃが視差補正等の、処理結果を出力画像として出力する処理であるとすると、画像データに求められる情報量は、処理Ｃが最も大きく、処理Ａが最も小さくなる場合が考えられる。
この場合、エンコーダ（ENC）の圧縮率を処理Ａに必要な情報量に合わせると、処理Ｂや処理Ｃに必要な情報量が得られなくなってしまう。逆に、エンコーダ（ENC）の圧縮率を処理Ｃに必要な情報量に合わせると、処理Ａや処理Ｂに対して圧縮率が十分でなく（圧縮率を高める余地があり）、メモリバスの帯域やメモリ容量の使用量を十分に低減することができない。
そこで、例えば、図２に示されるように、DRAMに格納する前に入力画像を、処理Ａ乃至処理Ｃのそれぞれに必要な情報量に合わせて符号化（圧縮）するようにする。すなわち、エンコーダ（ENC_A）が処理Ａに必要な情報量に応じた圧縮率で入力画像を圧縮し、エンコーダ（ENC_B）が処理Ｂに必要な情報量に応じた圧縮率で入力画像を圧縮し、エンコーダ（ENC_C）が処理Ｃに必要な情報量に応じた圧縮率で入力画像を圧縮するようにする。この場合、DRAMには、図２に示されるように、各エンコーダにより生成された符号化データが格納される。
処理Ａに用いるためにDRAMの画像データ（符号化データ）を読み出す場合、デコーダ（DEC_A）が、エンコーダ（ENC_A）により生成された符号化データを読み出して復号する。処理Ｂに用いるためにDRAMの画像データ（符号化データ）を読み出す場合、デコーダ（DEC_B）が、エンコーダ（ENC_B）により生成された符号化データを読み出して復号する。処理Ａに用いるためにDRAMの画像データ（符号化データ）を読み出す場合、デコーダ（DEC_A）が、エンコーダ（ENC_A）により生成された符号化データを読み出して復号する。このように、各処理に対して適切な情報量の符号化データを読み出すことができるので、メモリバスの帯域の使用量を十分に低減させることができる。
しかしながら、図２に示されるように、DRAMには、同一の入力画像の符号化データが複数格納されることになるので、図１の場合と比較して冗長性が増大し、DRAMのメモリ容量の使用量が増大するおそれがあった。また、図１の場合と比較してDRAMに書き込む回数およびデータ転送量が増大するので、メモリバスの帯域の使用量が増大するおそれがあった。
＜画像処理装置＞
そこで、画像データを記憶部に書き込む際には、画像データをスケーラブル符号化して記憶部に記憶させ、画像データを処理する際には、その記憶部からスケーラブル符号化された符号化データの所望のレイヤを読み出してスケーラブル復号するようにする。
なお、所望のレイヤとは、例えば、符号化データが記憶部から読み出され復号された画像データに対する処理に応じたレイヤとしてもよい。また、画像データの符号化・復号は、データ長が固定の固定長方式としてもよい。
図３は、本技術を適用した画像処理装置の一態様である画像処理装置の構成の一例を示すブロック図である。図３に示される画像処理装置１００は、入力される画像データに対して画像処理を施す装置である。
図３に示されるように、画像処理装置１００は、画像処理部１１１、スケーラブル符号化部１１２、メモリバス１１３Ａおよびメモリバス１１３Ｂ、記憶部１１４、並びにスケーラブル復号部１１５を有する。
画像処理部１１１は、画像データに対して任意の画像処理を行う。画像処理部１１１は、外部から入力される画像データを、スケーラブル符号化部１１２に供給して記憶部１１４に記憶させる。その際、画像処理部１１１は、画像データに対して画像処理を行ってからスケーラブル符号化部１１２に供給するようにしてもよい。画像処理部１１１は、また、所望の画像データ（符号化データ）を、スケーラブル復号部１１５を介して記憶部１１４から読み出し、その画像データに対して任意の画像処理を行う。画像処理部１１１は、その画像処理された画像データを、スケーラブル符号化部１１２に供給し、再度記憶部１１４に記憶させてもよいし、画像処理装置１００の外部に出力してもよい。
スケーラブル符号化部１１２は、画像処理部１１１から供給される画像データをスケーラブル符号化（階層符号化）する。すなわち、スケーラブル符号化部１１２は、画像データを多レイヤ化（階層化）し、各レイヤ（各階層）を符号化する。この符号化方式は任意である。例えば、データ長が固定の固定長方式としてもよい。固定長の方が、可変長よりも処理が容易であり、高圧縮率化も容易であり、記憶部１１４にデータを格納する際のデータの管理も容易であるので望ましい。
より具体的には、スケーラブル符号化部１１２は、スケーラブル簡易符号化を行うのが望ましい。スケーラブル簡易符号化とは、スケーラビリティの機能を有する簡易符号化のことである。簡易符号化（簡易圧縮とも称する）とは、データ転送レートやメモリ帯域を削減するための画像符号化技術である。この簡易符号化では、主観画質を同等レベルに維持しつつ、データが符号化（圧縮）される。一般的に、簡易符号化の圧縮率は、主観画質を同等レベルに維持するために、AVCなどの汎用符号化に比べて低くなる（例えば約50%程度）。スケーラブル符号化部１１２がこのような簡易符号化を行うことにより、メモリ容量の削減やデータ伝送時の転送レートを下げることができる。
また、AVCなどの汎用符号化でなく簡易符号化を行うことにより、スケーラブル符号化部１１２は、より簡易な処理で画像データを符号化（圧縮）することができる。つまり、スケーラブル符号化部１１２は、汎用符号化の場合に比べて、より短時間に符号化を行うことができる。また、符号化処理の負荷が低減されるため、汎用符号化の場合に比べて、消費電力や製造コストの増大を抑制することもできる。
また、簡易符号化の場合、画像データは、ブロック単位で独立して(既に符号化又は復号されている周囲のブロックを参照しない状態で)符号化される。したがって、スケーラブル符号化部１１２がこのような簡易圧縮を行うことにより、符号化データが記憶部１１４から読み出される際、必要なデータ（任意のブロック）のみを任意の順に読み出すことができるようになる（すなわち、ランダムアクセス可能が可能になる）。したがって、データを読み出す際の、メモリバス１１３Ｂの帯域占有量（使用量）の増大を抑制することができる。また、簡易符号化の場合、画像データは、符号化後のビット量(ビット長)が固定となるように符号化される。したがって、記憶部１１４におけるデータの格納場所の管理が容易になり、データの読み出しがより容易になる。つまり、データ処理に対して利用しやすいデータ構成をとることができる。特にランダムアクセスの場合、読み出しアドレスの指定数が増大するので、各データの格納場所の管理が容易になることにより、その効果はより顕著になる。
このような簡易符号化の具体的な方法は任意であるが、例えば、DPCM（Differential Pulse Code Modulation）を用いる圧縮方法や、１次元DCT（Discrete Cosine Transform）を用いる圧縮方法を適用することができる。
以下においては、このような簡易符号化を用いたスケーラブル簡易符号化（少なくとも固定長方式でスケーラブル符号化）が行われるものとして説明する。スケーラブル符号化部１１２は、スケーラブル符号化により得られた各レイヤの符号化データを、メモリバス１１３Ａを介して記憶部１１４に供給し、記憶させる。
メモリバス１１３Ａは、符号化データのスケーラブル符号化部１１２から記憶部１１４への伝送に用いられるバス（伝送媒体）である。メモリバス１１３Ｂは、符号化データの記憶部１１４からスケーラブル復号部１１５への伝送に用いられるバス（伝送媒体）である。なお、図３においては、メモリバス１１３Ａとメモリバス１１３Ｂをそれぞれ１つの矢印により示しているが、実際のバスの本数は任意である。例えば、メモリバス１１３Ａとメモリバス１１３Ｂとが、共通のバス（同一のバス）であってもよい。以下においてメモリバス１１３Ａとメモリバス１１３Ｂとを互いに区別して説明する必要が無い場合、メモリバス１１３と称する。
記憶部１１４は、画像データがスケーラブル符号化された符号化データを記憶する記憶媒体である。例えば、記憶部１１４は、フレームメモリとして機能する。記憶部１１４は、例えばDRAM等により構成される。
スケーラブル復号部１１５は、記憶部１１４に記憶されている符号化データの所望のレイヤを、メモリバス１１３Ｂを介して読み出す。スケーラブル復号部１１５は、読み出した符号化データに対して、スケーラブル符号化部１１２が行うスケーラブル符号化に対応する復号方式であるスケーラブル復号を行う。すなわち、スケーラブル復号部１１５は、読み出した各レイヤの符号化データを復号して結合し、単レイヤ（単階層）の画像データ（復号画像データ）を生成する。この復号方式は、スケーラブル符号化部１１２の符号化方式に対応するものであればどのようなものであってもよい。例えば、データ長が固定の固定長方式としてもよい。
また、例えば、スケーラブル符号化部１１２がスケーラブル簡易符号化を行う場合、スケーラブル復号部１１５が、スケーラブル簡易復号を行うようにしてもよい。スケーラブル簡易復号とは、上述したスケーラブル符号化に対応する復号方式であり、スケーラビリティ機能を有する簡易復号である。簡易復号（簡易伸長とも称する）とは、上述した簡易符号化に対応する復号方式である。簡易符号化の場合と同様に、簡易復号の場合、AVCなどの汎用復号方式に比べてより簡易な処理で符号化データを復号（伸長）することができる。
以下においては、このような簡易復号を用いたスケーラブル簡易復号（少なくとも固定長方式でスケーラブル復号）が行われるものとして説明する。スケーラブル復号部１１５は、スケーラブル復号により得られた復号画像データを画像処理部１１１に供給する。
以上のように、スケーラブル符号化部１１２およびスケーラブル復号部１１５は、記憶部１１４（メモリバス１１３）のインタフェースとして機能する。スケーラブル符号化部１１２およびスケーラブル復号部１１５を一体化し、スケーラブルな符号化・復号を行うスケーラブルコーデック部１２１としてもよい。本技術は、このスケーラブルコーデック部１２１に適用することができる。つまり、このスケーラブルコーデック部１２１を、本技術を適用した画像処理装置の一実施の形態とし、画像処理部１１１、メモリバス１１３、および記憶部１１４は、外部の構成とすることもできる。
また、画像処理部１１１、スケーラブル符号化部１１２、およびスケーラブル復号部１１５を一体化し、画像処理モジュール１２２としてもよい。本技術は、この画像処理モジュール１２２に適用することができる。つまり、この画像処理モジュール１２２を、本技術を適用した画像処理装置の一実施の形態とし、メモリバス１１３や記憶部１１４は外部の構成とすることもできる。
＜データの書き込み・読み出し＞
図３の画像処理装置１００の場合、記憶部１１４への画像データ（符号化データ）の書き込みや読み出しは、例えば、図４のように行われる。
入力画像は、画像処理部１１１において前処理された後、スケーラブル符号化部１１２（スケーラブルENC）によりスケーラブル簡易符号化され、記憶部１１４（DRAM（共有フレームメモリ））に格納される。したがって、画像データは階層化され、レイヤ毎に符号化されて記憶される。図４の例の場合、画像データは、ベースレイヤ、エンハンスメントレイヤＡ、エンハンスメントレイヤＢの３階層のそれぞれの符号化データとして記憶部１１４に格納される。この階層化の詳細は後述するが、エンハンスメントレイヤは、階層化する前のデータと、自身より下位の階層のデータとの差分により構成されるので、各レイヤの符号化データの冗長性は、図２の場合と比べて低い。そのため、記憶部１１４のメモリ容量の使用量やメモリバス１１３の帯域の使用量の増大を抑制することができる。
復号する際は、所望のレイヤ以下の各レイヤの符号化データを読み出せばよい。例えば、処理Ａを行う場合、処理Ａに必要な情報量が得られるレイヤがベースレイヤであるとすると、スケーラブル復号部１１５（スケーラブルDEC_A）は、そのベースレイヤの符号化データを読み出して簡易復号し、得られた復号画像データ（ベースレイヤ）を画像処理部１１１に供給する。画像処理部１１１は、その復号画像データに処理Ａを施す。
また、例えば、処理Ｂを行う場合、処理Ｂに必要な情報量が得られるレイヤがエンハンスメントレイヤＡであるとすると、スケーラブル復号部１１５（スケーラブルDEC_B）は、ベースレイヤとエンハンスメントレイヤＡの符号化データを読み出して簡易復号し、得られた復号画像データ（ベースレイヤとエンハンスメントレイヤＡを結合したもの）を画像処理部１１１に供給する。画像処理部１１１は、その復号画像データに処理Ｂを施す。
さらに、例えば、処理Ｃを行う場合、処理Ｃに必要な情報量が得られるレイヤがエンハンスメントレイヤＢであるとすると、スケーラブル復号部１１５（スケーラブルDEC_C）は、ベースレイヤ、エンハンスメントレイヤＡ、およびエンハンスメントレイヤＢの符号化データを読み出して簡易復号し、得られた復号画像データ（ベースレイヤ、エンハンスメントレイヤＡ、およびエンハンスメントレイヤＢを結合したもの）を画像処理部１１１に供給する。画像処理部１１１は、その復号画像データに処理Ｃを施し、出力画像として出力する。
このように、スケーラブル簡易符号化・スケーラブル簡易復号を用いることにより、図２の例のように記憶部１１４のメモリ容量の使用量やメモリバス１１３の帯域の使用量を増大させずに、各処理に対して適切な情報量の符号化データを読み出すことができるので、メモリバスの帯域の使用量を十分に低減させることができる。つまり、画像処理装置１００は、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができる。
＜スケーラブル符号化＞
スケーラブル符号化において、レイヤ化（階層化）は、階層化する前のデータと、自身より下位の階層のデータとの差分により構成されるように行われ、各レイヤのデータ同士の冗長性を増大させないように行われる。このようなスケーラブル符号化において、画像データの何のパラメータをスケーラブル化するかは任意である。
例えば、画像データのビット深度をスケーラブル化するようにしてもよい。つまり、画像データのビット深度についてレイヤ化するようにしてもよい。図５Ａに、その場合のスケーラブル符号化部１１２の主な構成例を示す。図５Ａの例では、入力画像は、ベースレイヤとエンハンスメントレイヤの２レイヤに階層化される。
図５Ａに示されるように、この場合、スケーラブル符号化部１１２は、符号化部１５１、復号部１５２、演算部１５３、および符号化部１５４を有する。符号化部１５１は、ベースレイヤの簡易符号化を行う。例えば、符号化部１５１は、入力画像データから、各画素データの上位ビットを抽出し（下位ビットを切り捨て）、簡易符号化する。この符号化データがベースレイヤの符号化データとして記憶部１１４に供給される。
復号部１５２は、そのベースレイヤの符号化データを簡易復号し、ベースレイヤの復号画像データ（入力画像データの上位ビットに相当）を生成する。演算部１５３は、入力画像データからベースレイヤの復号画像データを減算する。つまり、入力画像データから、各画素データの下位ビットが抽出される。
符号化部１５４は、エンハンスメントレイヤに対して符号化部１５１と同様の処理（簡易符号化）を行う。つまり、符号化部１５４は、演算部１５３により得られた差分データ（入力画像データの下位ビットに相当）から、各画素データの上位ビット（差分データにおける上位ビット。すなわち、入力画像データの下位ビットの中で上位ビット）を抽出して簡易符号化する。この符号化データがエンハンスメントレイヤの符号化データとして記憶部１１４に供給される。
このようにスケーラブル簡易符号化を行うことにより、図５Ｂに示されるように、画像データの各画素データの上位ビット（図５Ｂの例の場合、上位５ビット）がベースレイヤとされ、中位ビット（図５Ｂの例の場合、最上位から６ビット目と７ビット目）がエンハンスメントレイヤとされ、レイヤ毎に簡易符号化される。すなわち、画像データのビット深度がスケーラブル化されて符号化される。
また、例えば、画像データの周波数成分をスケーラブル化するようにしてもよい。つまり、画像データの周波数成分についてレイヤ化するようにしてもよい。図６に、その場合のスケーラブル符号化部１１２の主な構成例を示す。図６の例では、入力画像は、ベースレイヤとエンハンスメントレイヤの２レイヤに階層化される。
図６に示されるように、この場合、スケーラブル符号化部１１２は、LPF１６１、符号化部１６２、演算部１６３、および符号化部１６４を有する。LPF１６１は、ローパスフィルタであり、入力画像の所定の低周波成分を抽出する。符号化部１６２は、LPF１６１により抽出された入力画像データの低周波成分を簡易符号化する。この符号化データがベースレイヤの符号化データとして記憶部１１４に供給される。
演算部１６３は、入力画像データから、LPF１６１により抽出された入力画像データの低周波成分を減算する。つまり、入力画像データの所定の高周波成分が抽出される。
符号化部１６４は、符号化部１６２と同様の処理を行う。つまり、符号化部１６２は、演算部１６３により得られた差分データ（入力画像データの高周波成分）を簡易符号化する。この符号化データがエンハンスメントレイヤの符号化データとして記憶部１１４に供給される。
このようにスケーラブル簡易符号化を行うことにより、画像データの低周波成分がベースレイヤとされ、高周波成分がエンハンスメントレイヤとされ、レイヤ毎に簡易符号化される。すなわち、画像データの周波数成分がスケーラブル化されて符号化される。
なお、入力画像データの周波数成分の分離は任意である。例えば、上述したようにローパスフィルタを用いる代わりに、ハイパスフィルタやバンドパスフィルタを用いるようにしてもよい。また、例えばDCT（Discrete Cosine Transform）やウェーブレット変換等の直交変換を用いるようにしてもよい。
さらに、例えば、画像データの解像度をスケーラブル化するようにしてもよい。つまり、画像データの解像度についてレイヤ化するようにしてもよい。図７Ａに、その場合のスケーラブル符号化部１１２の主な構成例を示す。図７Ａの例では、入力画像は、ベースレイヤとエンハンスメントレイヤの２レイヤに階層化される。
図７Ａに示されるように、この場合、スケーラブル符号化部１１２は、縮小部１７１、符号化部１７２、拡大部１７３、演算部１７４、および符号化部１７５を有する。縮小部１７１は、入力画像を所定の解像度になるまで縮小する。この縮小の方法は任意である。例えば、ウェーブレット変換等の直交変換を用いるようにしてもよい。画像データにウェーブレット変換を行うことにより、図７Ｂに示されるように、低周波成分（LL１）が得られる。この低周波成分は、ウェーブレット変換前の画像を低解像度化した画像（すなわち、縮小画像）ともいえる。符号化部１７２は、縮小部１７１により得られた入力画像の縮小画像を簡易符号化する。この符号化データがベースレイヤの符号化データとして記憶部１１４に供給される。
拡大部１７３は、縮小部１７１により得られたベースレイヤの画像データの画像サイズを入力画像データの画像サイズと同サイズになるまで拡大する。演算部１７４は、入力画像データから拡大したベースレイヤの画像データを減算する。これにより入力画像データとベースレイヤの画像データとの差分データが得られる。
符号化部１７５は、符号化部１７２と同様の処理を行う。つまり、符号化部１７５は、演算部１７４により得られた差分データを簡易符号化する。この符号化データがエンハンスメントレイヤの符号化データとして記憶部１１４に供給される。
このようにスケーラブル簡易符号化を行うことにより、図７Ｂに示されるように、画像データの縮小画像がベースレイヤとされ、入力画像と縮小画像の差分がエンハンスメントレイヤとされ、レイヤ毎に簡易符号化される。すなわち、画像データの解像度がスケーラブル化されて符号化される。
なお、拡大部１７３による拡大処理は、単に画像サイズを揃える処理であり、高解像度化ではない。つまり、入力画像データとベースレイヤの画像データとの差分を求めるための処理であるので、不要であれば省略するようにしてもよい。例えば、ウェーブレット変換を用いる場合、ベースレイヤの画像データとエンハンスメントレイヤの画像データの両方を得ることができる。符号化部１７２および符号化部１７５は、それぞれのレイヤの画像データを簡易符号化すればよい。例えば、図７Ｂの例の場合、符号化部１７２が入力画像の低周波成分LL1（縮小画像）を簡易符号化し、符号化部１７５が入力画像の高周波成分LH1, HL1, HH1（すなわち、入力画像と縮小画像との差分）を簡易符号化する。このような場合、拡大部１７３や演算部１７４は、省略することができる。
もちろん、スケーラブル化するパラメータは、上述した例に限定されない。また、スケーラブル符号化部１１２の構成は、上述した例に限定されない。
上述した各例では、スケーラブル符号化部１１２が、画像データの互いに異なるレイヤを簡易符号化する単レイヤ符号化部を複数有し、その単レイヤ符号化部を多段構成とすることにより、画像データをスケーラブル符号化している。このような構成とすることにより、例えば同一の回路を用いて各単レイヤ符号化部を実現する等、ハードウエア資源の共有（同一の回路を時分割して利用することにより、複数の単レイヤ符号化部を実現すること）が可能になる。そのため、回路規模の増大を抑制することができる。
＜スケーラブル復号＞
スケーラブル復号は、上述したスケーラブル符号化に対応する方法であればどのように行われるようにしてもよい。
図８に、スケーラブル復号部１１５の主な構成例を示す。図８の例では、ベースレイヤとエンハンスメントレイヤの２レイヤに階層化された符号化データが簡易復号される。
図８に示されるように、この場合、スケーラブル復号部１１５は、復号部１８１、復号部１８２、および演算部１８３を有する。復号部１８１は、ベースレイヤの符号化データを、その符号化方式に対応する復号方式で簡易復号する。復号部１８２は、エンハンスメントレイヤについて復号部１８１と同様の処理を行う。つまり、復号部１８２は、エンハンスメントレイヤの符号化データを簡易復号する。演算部１８３は、復号部１８１により得られるベースレイヤの復号画像データと、復号部１８２により得られるエンハンスメントレイヤの復号画像データとを結合する。
例えば、ベースレイヤの復号画像データを得る場合、スケーラブル復号部１１５は、復号部１８１を用いてベースレイヤの符号化データを簡易復号し、得られた復号画像データ（ベースレイヤ出力画像）を出力する。
また、例えば、エンハンスメントレイヤの復号画像データ（すなわち、ベースレイヤの復号画像データとエンハンスメントレイヤの復号画像データを結合したもの）を得る場合、スケーラブル復号部１１５は、復号部１８１を用いてベースレイヤの符号化データを簡易復号し、復号部１８２を用いてエンハンスメントレイヤの符号化データを簡易復号し、演算部１８３を用いて各レイヤの復号画像データを結合し、得られた復号画像データ（ベースレイヤ＋エンハンスメントレイヤ出力画像）を出力する。
このように、スケーラブル復号部１１５は、所望のレイヤの復号画像データを得ることができる。
もちろん、スケーラブル化するパラメータは、上述した例に限定されない。また、スケーラブル復号部１１５の構成は、上述した例に限定されない。
上述した各例では、スケーラブル復号部１１５が、符号化データの互いに異なるレイヤを簡易復号する単レイヤ復号部を複数有し、その単レイヤ復号部を多段構成とすることにより、符号化データをスケーラブル復号している。このような構成とすることにより、例えば同一の回路を用いて各単レイヤ復号部を実現する等、ハードウエア資源の共有（同一の回路を時分割して利用することにより、複数の単レイヤ復号部を実現すること）が可能になる。そのため、回路規模の増大を抑制することができる。
＜記憶処理・読み出し処理の流れ＞
次に、図９のフローチャートを参照して、画像データを記憶部１１４に記憶する際に実行される記憶処理の流れの例を説明する。
記憶処理が開始されると、スケーラブル符号化部１１２は、ステップＳ１０１において、画像データをスケーラブル符号化（スケーラブル簡易符号化）する。
ステップＳ１０２において、スケーラブル符号化部１１２は、ステップＳ１０１の処理により得られた符号化データ（スケーラブル符号化された画像データ）の各レイヤを、メモリバス１１３Ａを介して記憶部１１４に供給し、記憶させる。
ステップＳ１０２の処理が終了すると、記憶処理が終了する。
次に、図１０のフローチャートを参照して、記憶部１１４から画像データを読み出す際に実行される読み出し処理の流れの例を説明する。
読み出し処理が開始されると、スケーラブル復号部１１５は、ステップＳ１２１において、記憶部１１４に記憶されている符号化データの中から、例えば画像処理部１１１から要求された画像データに対応する符号化データを特定する。ステップＳ１２２において、スケーラブル復号部１１５は、ステップＳ１２１において特定した符号化データのベースレイヤを、メモリバス１１３Ｂを介して読み出す。
ステップＳ１２３において、スケーラブル復号部１１５は、ステップＳ１２２の処理により記憶部１１４から読み出されたベースレイヤの符号化データを復号（簡易復号）する。
ステップＳ１２４において、スケーラブル復号部１１５は、例えば画像処理部１１１により指定された全てのレイヤを読み出したか否かを判定する。読み出していないレイヤが存在すると判定された場合、処理はステップＳ１２５に進む。
ステップＳ１２５において、スケーラブル復号部１１５は、次のエンハンスメントレイヤの符号化データを、記憶部１１４からメモリバス１１３を介して読み出す。符号化データを読み出すと、処理は、ステップＳ１２３に戻り、それ以降の処理を繰り返す。すなわち、読み出されたエンハンスメントレイヤの符号化データに対して、ステップＳ１２３乃至ステップＳ１２５の処理が繰り返される。すなわち、ステップＳ１２３においては、ステップＳ１２５において読み出されたエンハンスメントレイヤの符号化データが復号（簡易復号）される。
ステップＳ１２４において、指定された全てのレイヤを読み出したと判定された場合、処理は、ステップＳ１２６に進む。ステップＳ１２６において、スケーラブル復号部１１５は、各レイヤの復号画像データを結合し、要求されたレイヤの復号画像データ（ベースレイヤから要求されたレイヤまで結合した復号画像データ）を生成する。スケーラブル復号部１１５は、生成した復号画像データを画像処理部１１１に供給する。ステップＳ１２６の処理が終了すると、読み出し処理が終了する。
以上のように各処理を行うことにより、画像処理装置１００は、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができる。
＜２．第２の実施の形態＞
＜テレビジョン装置＞
本技術は、第１の実施の形態において説明した画像処理装置１００として以外にも、様々な装置に適用することができる。以下に、その適用例の一部について説明する。
例えば、本技術はテレビジョン装置に適用することができる。図１１は、本技術を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置２００は、アンテナ２１１、チューナ２１２、デマルチプレクサ２１３、デコーダ２１４、画像処理部２１５、スケーラブルコーデック部２１６、記憶部２１７、表示部２１８、音声処理部２１９、スピーカ２２０、バス２３０、制御部２３１、ユーザインタフェース（I/F）部２３２、外部インタフェース（I/F）部２３４、およびドライブ２３５を備える。
チューナ２１２は、アンテナ２１１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。デマルチプレクサ２１３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離する。
音声ストリームは、デコーダ２１４により復号され、音声信号として音声処理部２１９により所定の信号処理が施され、音声としてスピーカ２２０から出力される。
映像ストリームは、デコーダ２１４において復号され、画像データとして画像処理部２１５において画像処理が施され、画像として表示部２１８に表示される。
制御部２３１は、バス２３０を介して、テレビジョン装置２００の各処理部を制御する。制御部２３１は、CPU（Central Processing Unit）などのプロセッサ、並びにRAM（Random Access Memory）及びROM（Read Only Memory）などのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置２００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部２３２から入力される操作信号に応じて、テレビジョン装置２００の動作を制御する。
ユーザインタフェース部２３２は、例えば、ユーザがテレビジョン装置２００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部２３２は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部２３１へ出力する。
外部インタフェース部２３４は、テレビジョン装置２００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部２３４を介して受信される映像ストリーム又は音声ストリームが、デコーダ２１４に供給され復号されるようにしてもよい。また、デコーダ２１４において復号された音声データや画像データ、または、音声処理部２１９により信号処理された音声信号、若しくは、画像処理部２１５により画像処理された画像データが、この外部インタフェース部２３４を介して他の装置に伝送されるようにしてもよい。
ドライブ２３５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２３６を駆動する。
スケーラブルコーデック部２１６は、本技術を適用した、スケーラブルコーデック部１２１と同様の機能を有する処理部である。つまり、スケーラブルコーデック部２１６は、スケーラブル符号化部１１２およびスケーラブル復号部１１５等、スケーラブルコーデック部１２１と同様の構成を有し、同様の処理を行う。また、記憶部２１７は、記憶部１１４と同様の機能を有する処理部であり、記憶部１１４と同様の構成を有し、同様の処理を行う。
つまり、スケーラブルコーデック部２１６は、画像処理部２１５により画像処理が施される画像データを、スケーラブル符号化して記憶部２１７に記憶させる。また、スケーラブルコーデック部２１６は、例えば画像処理部２１５に要求された符号化データの、要求されたレイヤを記憶部２１７から読み出し、各レイヤを復号して結合し、得られた復号画像データを画像処理部２１５に供給する。
このようにすることにより、テレビジョン装置２００は、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができる。
＜３．第３の実施の形態＞
＜携帯電話機＞
また、本技術は携帯電話機にも適用することができる。図１２は、本技術を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機３００は、バス３１０、アンテナ３１１、通信部３１２、音声コーデック３１３、スピーカ３１４、マイクロホン３１５、カメラ部３１６、画像処理部３１７、スケーラブルコーデック部３１８、記憶部３１９、記録再生部３２０、表示部３２１、多重分離部３２２、制御部３３１、操作部３３２、およびドライブ３３３を備える。
音声通話モードの場合、受話する音声は、アンテナ３１１を介して通信部３１２により受信されて復調され、音声コーデック３１３により復号され、スピーカ３１４より出力される。また、送話する音声は、マイクロホン３１５から入力され、音声コーデック３１３により符号化され、通信部３１２により変調され、アンテナ３１１を介して送信される。
また、データ通信モードにおいて画像データを外部から受信する場合、その画像データは、アンテナ３１１を介して通信部３１２により受信されて復調され、画像処理部３１７において画像処理され、その画像が表示部３２１に表示される。また、画像データは、記録再生部３２０において符号化されて内蔵する記録媒体（またはリムーバブルメディア３３４）等に格納されるようにしてもよい。
また、記録再生部３２０が記録媒体やリムーバブルメディア３３４に記憶された画像データを外部に送信する場合、その画像データは、記録再生部３２０により読み出されて復号され、画像処理部３１７により画像処理が行われ、記録再生部３２０により符号化され、通信部３１２により変調されて、アンテナ３１１を介して送信されるようにしてもよい。また、画像処理部３１７により画像処理が行われた画像データの画像が表示部３２１に表示されるようにしてもよい。
また、被写体を撮像して撮像画像データを記録する場合、カメラ部３１６により被写体が撮像されて撮像画像データが生成される。その撮像画像データは、画像処理部３１７により画像処理が行われ、記録再生部３２０により記録される。また、画像処理された画像データの画像が表示部３２１に表示されるようにしてもよい。さらに、画像処理された画像データが、記録再生部３２０により符号化され、通信部３１２により変調されて、アンテナ３１１を介して送信されるようにしてもよい。
制御部３３１は、バス３１０を介して、携帯電話機３００の各処理部を制御する。制御部３３１は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、携帯電話機３００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えば操作部３３２から入力される操作信号に応じて、携帯電話機３００の動作を制御する。
操作部３３２は、例えば、ユーザが携帯電話機３００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。操作部３３２は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部３３１へ出力する。
ドライブ３３３は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３３４を駆動する。
スケーラブルコーデック部３１８は、本技術を適用した、スケーラブルコーデック部１２１と同様の機能を有する処理部である。つまり、スケーラブルコーデック部３１８は、スケーラブル符号化部１１２およびスケーラブル復号部１１５等、スケーラブルコーデック部１２１と同様の構成を有し、同様の処理を行う。また、記憶部３１９は、記憶部１１４と同様の機能を有する処理部であり、記憶部１１４と同様の構成を有し、同様の処理を行う。
つまり、スケーラブルコーデック部３１８は、画像処理部３１７により画像処理が施される画像データを、スケーラブル符号化して記憶部３１９に記憶させる。また、スケーラブルコーデック部３１８は、例えば画像処理部３１７に要求された符号化データの、要求されたレイヤを記憶部３１９から読み出し、各レイヤを復号して結合し、得られた復号画像データを画像処理部３１７に供給する。
このようにすることにより、携帯電話機３００は、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができる。
＜４．第４の実施の形態＞
＜撮像装置＞
また、本技術は撮像装置にも適用することができる。図１３は、本技術を適用した撮像装置の概略的な構成の一例を示している。撮像装置４００は、光学ブロック４１１、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサ４１２、画像処理部４１３、スケーラブルコーデック部４１４、記憶部４１５、表示部４１６、コーデック処理部４１７、記憶部４１８、通信部４１９、制御部４３１、操作部４３２、およびドライブ４３３を有する。
光学ブロック４１１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック４１１は、被写体の光学像をCMOSイメージセンサ４１２の撮像面に結像させる。CMOSイメージセンサ４１２は、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換し、画像処理部４１３へ出力する。CMOSイメージセンサ４１２の代わりに、CCD（Charge Coupled Device）のイメージセンサを用いるようにしてもよい。
画像処理部４１３は、CMOSイメージセンサ４１２において得られた画像信号、すなわち、撮像画像データに対して画像処理を行う。画像処理された撮像画像データは、例えば、その画像が表示部４１６に表示される。また、画像処理された撮像画像データは、コーデック処理部４１７に供給され、符号化されて、符号化データとして記憶部４１８に記憶される。また、その符号化データは、通信部４１９を介して他の装置に伝送されてもよい。
また、通信部４１９を介して他の装置から画像データの符号化データを取得し、記憶部４１８に記憶させるようにしてもよい。その際、コーデック処理部４１７が、その符号化データを必要に応じて復号して再符号化してもよい。また、通信部４１９が取得した符号化データをコーデック処理部４１７が復号し、画像処理部４１３が画像処理を施し、表示部４１６がその画像を表示してもよい。
制御部４３１は、点線４２０で囲まれた撮像装置４００の各処理部やドライブ４３３を制御する。制御部４３１は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置４００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えば操作部４３２から入力される操作信号に応じて、撮像装置４００の動作を制御する。
操作部４３２は、例えば、ユーザが撮像装置４００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。操作部４３２は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部４３１へ出力する。
ドライブ４３３は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４３４を駆動する。
スケーラブルコーデック部４１４は、本技術を適用した、スケーラブルコーデック部１２１と同様の機能を有する処理部である。つまり、スケーラブルコーデック部４１４は、スケーラブル符号化部１１２およびスケーラブル復号部１１５等、スケーラブルコーデック部１２１と同様の構成を有し、同様の処理を行う。また、記憶部４１５は、記憶部１１４と同様の機能を有する処理部であり、記憶部１１４と同様の構成を有し、同様の処理を行う。
つまり、スケーラブルコーデック部４１４は、画像処理部４１３により画像処理が施される画像データを、スケーラブル符号化して記憶部４１５に記憶させる。また、スケーラブルコーデック部４１４は、例えば画像処理部４１３に要求された符号化データの、要求されたレイヤを記憶部４１５から読み出し、各レイヤを復号して結合し、得られた復号画像データを画像処理部４１３に供給する。
このようにすることにより、撮像装置４００は、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができる。
＜５．第５の実施の形態＞
＜ビデオユニット＞
また、本技術はビデオユニットにも適用することができる。図１４は、本技術を適用したビデオユニットの概略的な構成の一例を示している。近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１ユニットとして実施を行う場合も多く見られるようになってきた。
図１４に示されるビデオユニット５００は、このような多機能化された構成であり、画像処理（例えば符号化や復号など）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図１４に示されるように、ビデオユニット５００は、ビデオプロセッサ５１１、スケーラブルコーデックプロセッサ５１２、メモリバス５１３、および外部メモリ５１４を有する。
ビデオプロセッサ５１１は、入力された画像データに対して画像処理を行い、画像処理された画像データを出力する。図１４の例の場合、ビデオプロセッサ５１１は、ビデオエンコーダ５２１、ビデオデコーダ５２２、画像処理部５２３、および内部メモリ５２４を有する。ビデオエンコーダ５２１は、画像データを符号化する。ビデオデコーダ５２２は、画像データの符号化データを復号する。画像処理部５２３は、画像データに対して画像処理を行う。内部メモリ５２４は、例えばSRAM（Static Random Access Memory）等の高速かつ小容量の記憶領域であり、ビデオエンコーダ５２１、ビデオデコーダ５２２、および画像処理部５２３等の処理に利用される。ただし、内部メモリ５２４は、小容量のため、大容量が必要なフレームメモリ等としては利用することができない。そのような場合は、外部メモリ５１４が利用される。
スケーラブルコーデックプロセッサ５１２は、本技術を適用した、スケーラブルコーデック部１２１と同様の機能を有するプロセッサである。つまり、スケーラブルコーデックプロセッサ５１２は、スケーラブル符号化部１１２およびスケーラブル復号部１１５等、スケーラブルコーデック部１２１と同様の構成を有し、同様の処理を行う。また、メモリバス５１３は、メモリバス１１３と同様のバスであり、外部メモリ５１４は、記憶部１１４と同様の記憶部である。
つまり、スケーラブルコーデックプロセッサ５１２は、ビデオプロセッサ５１１（例えば画像処理部５２３）により画像処理が施される画像データを、スケーラブル符号化し、その符号化データを、メモリバス５１３を介して外部メモリ５１４に供給し、記憶させる。また、スケーラブルコーデックプロセッサ５１２は、例えばビデオプロセッサ５１１（例えば画像処理部５２３）に要求された符号化データの要求されたレイヤを、メモリバス５１３を介して外部メモリ５１４から読み出し、各レイヤを復号して結合し、得られた復号画像データをビデオプロセッサ５１１（例えば画像処理部５２３）に供給する。
このようにすることにより、ビデオユニット５００は、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができる。
なお、ビデオプロセッサ５１１とスケーラブルコーデックプロセッサ５１２とを一体化し、ビデオモジュール５４０としてもよい。本技術は、このビデオモジュール５４０に適用することができる。つまり、このビデオモジュール５４０を、本技術を適用した画像処理装置の一実施の形態とし、メモリバス５１３や外部メモリ５１４は外部の構成とすることもできる。
＜６．第６の実施の形態＞
＜画像符号化装置＞
また、本技術は、例えば、MPEG（Moving Picture Experts Group）、AVC（Advanced Video Coding）、またはHEVC（High Efficiency Video Coding）等のように、参照画像を用いて符号化を行う画像符号化にも適用することができる。図１５は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図１５に示される画像符号化装置６００は、例えば、参照画像を用いて予測画像を生成し、その予測画像を用いて画像データを符号化する。その際、画像符号化装置６００は、参照画像として利用する画像データを一時的にフレームメモリに記憶させる。
図１５に示されるように画像符号化装置６００は、画面並べ替えバッファ６１１、演算部６１２、直交変換部６１３、量子化部６１４、可逆符号化部６１５、蓄積バッファ６１６、レート制御部６１７、逆量子化部６１８、および逆直交変換部６１９を有する。また、画像符号化装置６００は、演算部６２０、イントラ予測部６２１、ループフィルタ６２２、スケーラブル符号化部６２３、フレームメモリ６２４、スケーラブル復号部６２５、インター予測部６２６、および予測画像選択部６２７を有する。
画面並べ替えバッファ６１１は、入力された画像データの各フレームの画像をその表示順に記憶し、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部６１２に供給する。また、画面並べ替えバッファ６１１は、フレームの順番を並び替えた画像を、イントラ予測部６２１およびインター予測部６２６にも供給する。
演算部６１２は、画面並べ替えバッファ６１１から読み出された画像から、予測画像選択部６２７を介してイントラ予測部６２１若しくはインター予測部６２６から供給される予測画像を減算し、その差分情報（残差データ）を直交変換部６１３に供給する。例えば、イントラ符号化が行われる画像の場合、演算部６１２は、画面並べ替えバッファ６１１から読み出された画像から、イントラ予測部６２１から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部６１２は、画面並べ替えバッファ６１１から読み出された画像から、インター予測部６２６から供給される予測画像を減算する。
直交変換部６１３は、演算部６１２から供給される残差データに対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部６１３は、その直交変換により得られた変換係数を量子化部６１４に供給する。
量子化部６１４は、直交変換部６１３から供給される変換係数を量子化する。量子化部６１４は、レート制御部６１７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部６１４は、量子化された変換係数を可逆符号化部６１５に供給する。
可逆符号化部６１５は、量子化部６１４において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部６１７の制御の下で量子化されているので、この符号量は、レート制御部６１７が設定した目標値となる（若しくは目標値に近似する）。
また、可逆符号化部６１５は、イントラ予測のモードを示す情報などをイントラ予測部６２１から取得し、インター予測のモードを示す情報や差分動きベクトル情報などをインター予測部６２６から取得する。
可逆符号化部６１５は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）のヘッダ情報の一部とする（多重化する）。可逆符号化部６１５は、符号化して得られた符号化データを蓄積バッファ６１６に供給して蓄積させる。
可逆符号化部６１５の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
蓄積バッファ６１６は、可逆符号化部６１５から供給された符号化データを、一時的に保持する。蓄積バッファ６１６は、所定のタイミングにおいて、保持している符号化データを、画像符号化装置６００の外部に出力する。すなわち、蓄積バッファ６１６は、符号化データを伝送する伝送部でもある。
レート制御部６１７は、蓄積バッファ６１６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部６１４の量子化動作のレートを制御する。
また、量子化部６１４において量子化された変換係数は、逆量子化部６１８にも供給される。逆量子化部６１８は、その量子化された変換係数を、量子化部６１４による量子化に対応する方法で逆量子化する。逆量子化部６１８は、その逆量子化により得られた変換係数を、逆直交変換部６１９に供給する。
逆直交変換部６１９は、逆量子化部６１８から供給された変換係数を、直交変換部６１３による直交変換処理に対応する方法で逆直交変換する。逆直交変換部６１９は、逆直交変換された出力（復元された残差データ）を演算部６２０に供給する。
演算部６２０は、逆直交変換部６１９から供給された、復元された残差データに、予測画像選択部６２７を介してイントラ予測部６２１若しくはインター予測部６２６からの予測画像を加算し、局所的に再構成された画像（以下、再構成画像と称する）を得る。その再構成画像は、ループフィルタ６２２またはイントラ予測部６２１に供給される。
イントラ予測部６２１は、演算部６２０から参照画像として供給される再構成画像である処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部６２１は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。
イントラ予測部６２１は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ６１１から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部６２１は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部６２７に供給する。
また、上述したように、イントラ予測部６２１は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部６１５に供給し、符号化させる。
ループフィルタ６２２は、デブロックフィルタや適応ループフィルタ等を含み、演算部６２０から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ６２２は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ６２２は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
なお、ループフィルタ６２２が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ６２２は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部６１５に供給し、それを符号化させるようにすることもできる。
ループフィルタ６２２は、フィルタ処理結果（以下、復号画像と称する）を、スケーラブル符号化部６２３を介してフレームメモリ６２４に記憶させる。
インター予測部６２６は、画面並べ替えバッファ６１１から供給される入力画像と、スケーラブル復号部６２５を介してフレームメモリ６２４から供給される参照画像とを用いてインター予測処理（動き予測処理および補償処理）を行う。より具体的には、インター予測部６２６は、インター予測処理として、動き予測を行って検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。インター予測部６２６は、予め用意された複数のインター予測モードでこのようなインター予測を行う。
インター予測部６２６は、候補となる全てのインター予測モードで予測画像を生成する。インター予測部６２６は、画面並べ替えバッファ６１１から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。インター予測部６２６は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部６２７に供給する。
インター予測部６２６は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部６１５に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として、予測動きベクトルのインデックスを示すフラグなどがある。
予測画像選択部６２７は、演算部６１２や演算部６２０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部６２７は、予測画像の供給元としてイントラ予測部６２１を選択し、そのイントラ予測部６２１から供給される予測画像を演算部６１２や演算部６２０に供給する。また、例えば、インター符号化の場合、予測画像選択部６２７は、予測画像の供給元としてインター予測部６２６を選択し、そのインター予測部６２６から供給される予測画像を演算部６１２や演算部６２０に供給する。
スケーラブル符号化部６２３は、本技術を適用した、スケーラブル符号化部１１２と同様の機能を有する処理部である。つまり、スケーラブル符号化部６２３は、スケーラブル符号化部１１２と同様の構成を有し、同様の処理を行う。つまり、スケーラブル符号化部６２３は、ループフィルタ６２２から供給される復号画像データをスケーラブル符号化（スケーラブル簡易符号化）し、各レイヤの符号化データをフレームメモリ６２４に供給し、記憶させる。
フレームメモリ６２４は、記憶部１１４と同様の記憶部である。つまり、フレームメモリ６２４は、スケーラブル符号化部６２３から供給される各レイヤの符号化データを記憶する。また、フレームメモリ６２４は、所定のタイミングにおいて、記憶している復号画像を参照画像としてスケーラブル復号部６２５に供給する。
スケーラブル復号部６２５は、本技術を適用した、スケーラブル復号部１１５と同様の機能を有する処理部である。つまり、スケーラブル復号部６２５は、スケーラブル復号部１１５と同様の構成を有し、同様の処理を行う。つまり、スケーラブル復号部６２５は、フレームメモリ６２４から符号化データの所望のレイヤを参照画像として読み出し、スケーラブル復号（スケーラブル簡易復号）し、得られた各レイヤの復号画像データを結合して、参照画像データとしてインター予測部６２６に供給する。
その際、スケーラブル復号部６２５は、例えば、画像データの用途に応じたレイヤを読み出すようにしてもよい。例えば、スケーラブル復号部６２５は、符号化の処理対象であるカレントピクチャのピクチャタイプに応じたレイヤを読み出すようにしてもよい。
例えば、スケーラブル復号部６２５は、カレントピクチャがIピクチャの場合、フレームメモリ６２４から、ベースレイヤとエンハンスメントレイヤの符号化データを読み出し、各レイヤを復号し、ベースレイヤとエンハンスメントレイヤを結合した復号画像データを生成し、参照画像としてインター予測部６２６に供給するようにしてもよい。
また、例えば、スケーラブル復号部６２５は、カレントピクチャがＰピクチャ若しくはＢピクチャの場合、フレームメモリ６２４からベースレイヤの符号化データを読み出して復号し、得られたベースレイヤの復号画像データを参照画像としてインター予測部６２６に供給するようにしてもよい。
また、スケーラブル復号部６２５は、カレントピクチャがIピクチャ若しくはＰピクチャの場合、ベースレイヤとエンハンスメントレイヤを結合した復号画像データを参照画像としてインター予測部６２６に供給し、カレントピクチャがＢピクチャの場合、ベースレイヤの復号画像データを参照画像としてインター予測部６２６に供給するようにしてもよい。
このようにすることにより、カレントピクチャが参照画像として利用されるピクチャの場合、参照画像データの情報量を増大させ、カレントピクチャが参照画像として利用されないピクチャの場合、参照画像データの情報量を低減させることができる。このようにすることにより、画像符号化装置６００は、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができる。
つまり、画像符号化装置６００は、参照画像の符号化・復号により参照画像の画質が不要に低減することを抑制することができる。したがって、画像符号化装置６００は、参照画像を介した画質の低減の伝搬を抑制することができ、参照画像の画質の低減に起因する符号化効率の低減や復号画像の画質の低減を抑制することができる。
＜符号化処理の流れ＞
次に、画像符号化装置６００により実行される各処理の流れの例を説明する。最初に、符号化処理の流れの例を、図１６のフローチャートを参照して説明する。
符号化処理が開始されると、画面並べ替えバッファ６１１は、ステップＳ６０１において、入力された動画像の各フレーム（ピクチャ）の画像をその表示する順番に記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ６０２において、イントラ予測部６２１は、イントラ予測モードのイントラ予測処理を行う。
ステップＳ６０３において、インター予測部６２６は、インター予測モードでの動き予測や動き補償等を行うインター予測処理を行う。
ステップＳ６０４において、予測画像選択部６２７は、コスト関数値等に基づいて、ステップＳ６０２のイントラ予測により生成された予測画像と、ステップＳ６０３のインター予測により生成された予測画像のいずれか一方を選択する。
ステップＳ６０５において、演算部６１２は、ステップＳ６０１の処理によりフレーム順を並び替えられた入力画像と、ステップＳ６０４の処理により選択された予測画像との差分を演算する。つまり、演算部６１２は、入力画像と予測画像との残差データを生成する。このようにして求められた残差データは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップＳ６０６において、直交変換部６１３は、ステップＳ６０５において生成された残差データを直交変換する。
ステップＳ６０７において、量子化部６１４は、レート制御部６１７により算出された量子化パラメータを用いて、ステップＳ６０６の処理により得られた直交変換係数を量子化する。
ステップＳ６０８において、逆量子化部６１８は、ステップＳ６０７の処理により生成された量子化された係数（量子化係数とも称する）を、その量子化の特性に対応する特性で逆量子化する。
ステップＳ６０９において、逆直交変換部６１９は、ステップＳ６０８の処理により得られた直交変換係数を逆直交変換する。
ステップＳ６１０において、演算部６２０は、ステップＳ６０９の処理により復元された残差データに、ステップＳ６０５の処理により選択された予測画像を加算することにより、再構成画像の画像データを生成する。
ステップＳ６１１においてループフィルタ６２２は、ステップＳ６１０の処理により生成された再構成画像の画像データにループフィルタ処理を行う。これにより、再構成画像のブロック歪み等が除去される。
ステップＳ６１２において、スケーラブル符号化部６２３は、図９のフローチャートを参照して説明した記憶処理を行うことにより、ステップＳ６１１の処理により得られた、局所的に復号された復号画像をスケーラブル符号化（スケーラブル簡易符号化）してフレームメモリ６２４に記憶させる。
ステップＳ６１３において、可逆符号化部６１５は、ステップＳ６０７の処理により得られた、量子化された係数を符号化する。すなわち、残差データに対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
また、このとき、可逆符号化部６１５は、ステップＳ６０４の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部６１５は、イントラ予測部６２１から供給される最適イントラ予測モード情報、または、インター予測部６２６から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。
ステップＳ６１４において蓄積バッファ６１６は、ステップＳ６１３の処理により得られた符号化データ等を蓄積する。蓄積バッファ６１６に蓄積された符号化データ等は、ビットストリームとして適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
ステップＳ６１５においてレート制御部６１７は、ステップＳ６１４の処理により蓄積バッファ６１６に蓄積された符号化データ等の符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、ステップＳ６０７の量子化処理のレートを制御する。
ステップＳ６１５の処理が終了すると、符号化処理が終了する。
＜インター予測処理の流れ＞
次に、図１７のフローチャートを参照して、インター予測処理の流れの例を説明する。
インター予測処理が開始されると、インター予測部６２６は、ステップＳ６３１において、カレントピクチャの種類（ピクチャタイプ）に応じて参照ピクチャのレイヤを決定する。
ステップＳ６３２において、スケーラブル復号部６２５は、図１０のフローチャートを参照して説明した読み出し処理を行って、フレームメモリ６２４から参照ピクチャの、ステップＳ６３１において決定されたレイヤを読み出す。
ステップＳ６３３において、インター予測部６２６は、読み出された参照ピクチャ等を用いて動き探索を行う。
ステップＳ６３４において、インター予測部６２６は、各モードについてコスト関数値を算出し、その値に基づいて最適インター予測モードを選択する。
ステップＳ６３５において、インター予測部６２６は、ステップＳ６３４において選択された最適インター予測モードで動き補償を行い、予測画像を生成し、それを予測画像選択部６２７に供給する。
また、ステップＳ６３６において、インター予測部６２６は、最適インター予測モードに関する情報を可逆符号化部６１５に供給し、符号化させる。
ステップＳ６３６の処理が終了すると、インター予測処理が終了し、処理は、図１６に戻る。
以上のように各処理を実行することにより、画像符号化装置６００は、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができる。
＜７．第７の実施の形態＞
＜画像復号装置＞
また、本技術は、例えば、MPEG、AVC、またはHEVC等のように、参照画像を用いて復号を行う画像復号にも適用することができる。図１８は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図１８に示される画像復号装置７００は、図１５の画像符号化装置６００に対応する画像復号装置であり、画像符号化装置６００により符号化された符号化データを復号する。その際、画像復号装置７００は、参照画像として復号に利用する画像データを一時的にフレームメモリに記憶させる。
図１８に示されるように画像復号装置７００は、蓄積バッファ７１１、可逆復号部７１２、逆量子化部７１３、逆直交変換部７１４、演算部７１５、ループフィルタ７１６、および画面並べ替えバッファ７１７を有する。また、画像復号装置７００は、イントラ予測部７１８、スケーラブル符号化部７１９、フレームメモリ７２０、スケーラブル復号部７２１、インター予測部７２２、および予測画像選択部７２３を有する。
蓄積バッファ７１１は、符号化側（例えば画像符号化装置６００）から伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ７１１は、その伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部７１２に供給する。符号化データには、予測モード情報などの復号に必要な情報が付加されている。可逆復号部７１２は、蓄積バッファ７１１より供給された、可逆符号化部６１５により符号化された情報を、その符号化方式に対応する復号方式で復号する。可逆復号部７１２は、復号して得られた量子化された係数データを、逆量子化部７１３に供給する。
また、可逆復号部７１２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部７１８およびインター予測部７２２の内、選択されたと判定したモードの方に供給する。つまり、例えば画像符号化装置６００において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部７１８に供給される。また、例えば画像符号化装置６００において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報がインター予測部７２２に供給される。
さらに、可逆復号部７１２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を逆量子化部７１３に供給する。
逆量子化部７１３は、可逆復号部７１２により復号されて得られた量子化された係数データを、量子化部６１４の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部７１３は、逆量子化部６１８と同様の処理部である。つまり、逆量子化部７１３の説明は、逆量子化部６１８にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
逆量子化部７１３は、得られた係数データを逆直交変換部７１４に供給する。
逆直交変換部７１４は、逆量子化部７１３から供給される直交変換係数を、必要に応じて、直交変換部６１３の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部７１４は、逆直交変換部６１９と同様の処理部である。つまり、逆直交変換部７１４の説明は、逆直交変換部６１９にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
逆直交変換部７１４は、この逆直交変換処理により、画像符号化装置６００において直交変換される前の状態に対応する残差データを得る。逆直交変換されて得られた残差データは、演算部７１５に供給される。
演算部７１５は、逆直交変換部７１４から供給された残差データを取得する。また、演算部７１５は、予測画像選択部７２３を介して、イントラ予測部７１８若しくはインター予測部７２２から予測画像を取得する。演算部７１５は、差分画像と予測画像とを加算し、演算部６１２により予測画像が減算される前の画像に対応する再構成画像を得る。演算部７１５は、その再構成画像をループフィルタ７１６およびイントラ予測部７１８に供給する。
ループフィルタ７１６は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ７１６は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ７１６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
なお、ループフィルタ７１６が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ７１６が、画像符号化装置６００から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。
ループフィルタ７１６は、フィルタ処理結果である復号画像を画面並べ替えバッファ７１７およびスケーラブル符号化部７１９に供給する。
画面並べ替えバッファ７１７は、画像の並べ替えを行う。すなわち、画面並べ替えバッファ６１１により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。画面並べ替えバッファ７１７は、フレームの順番を並べ替えた復号画像データを画像復号装置７００の外部に出力する。
イントラ予測部７１８には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部７１２から適宜供給される。イントラ予測部７１８は、イントラ予測部６２１において用いられたイントラ予測モードで、演算部７１５から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部７１８は、生成した予測画像を予測画像選択部７２３に供給する。
インター予測部７２２は、ヘッダ情報を復号して得られた情報（最適予測モード情報、参照画像情報等）を可逆復号部７１２から取得する。
インター予測部７２２は、可逆復号部７１２から取得された最適予測モード情報が示すインター予測モードで、スケーラブル復号部７２１から取得した参照画像を用いてインター予測を行い、予測画像を生成する。
予測画像選択部７２３は、イントラ予測部７１８からの予測画像またはインター予測部７２２からの予測画像を、演算部７１５に供給する。そして、演算部７１５においては、動きベクトルが用いられて生成された予測画像と残差データ（差分画像情報）とが加算されて元の画像が復号される。
スケーラブル符号化部７１９は、本技術を適用した、スケーラブル符号化部１１２と同様の機能を有する処理部である。つまり、スケーラブル符号化部７１９は、スケーラブル符号化部１１２と同様の構成を有し、同様の処理を行う。つまり、スケーラブル符号化部７１９は、ループフィルタ７１６から供給される復号画像データをスケーラブル符号化（スケーラブル簡易符号化）し、各レイヤの符号化データをフレームメモリ７２０に供給し、記憶させる。
フレームメモリ７２０は、記憶部１１４と同様の記憶部である。つまり、フレームメモリ７２０は、スケーラブル符号化部７１９から供給される各レイヤの符号化データを記憶する。また、フレームメモリ７２０は、所定のタイミングにおいて、記憶している復号画像を参照画像としてスケーラブル復号部７２１に供給する。
スケーラブル復号部７２１は、本技術を適用した、スケーラブル復号部１１５と同様の機能を有する処理部である。つまり、スケーラブル復号部７２１は、スケーラブル復号部１１５と同様の構成を有し、同様の処理を行う。つまり、スケーラブル復号部７２１は、フレームメモリ７２０から符号化データの所望のレイヤを参照画像として読み出し、スケーラブル復号（スケーラブル簡易復号）し、得られた各レイヤの復号画像データを結合して、参照画像データとしてインター予測部７２２に供給する。
その際、スケーラブル復号部７２１は、例えば、画像データの用途に応じたレイヤを読み出すようにしてもよい。例えば、スケーラブル復号部７２１は、符号化の処理対象であるカレントピクチャのピクチャタイプに応じたレイヤを読み出すようにしてもよい。
例えば、スケーラブル復号部７２１は、カレントピクチャがIピクチャの場合、フレームメモリ７２０から、ベースレイヤとエンハンスメントレイヤの符号化データを読み出し、各レイヤを復号し、ベースレイヤとエンハンスメントレイヤを結合した復号画像データを生成し、参照画像としてインター予測部７２２に供給するようにしてもよい。
また、例えば、スケーラブル復号部７２１は、カレントピクチャがＰピクチャ若しくはＢピクチャの場合、フレームメモリ７２０からベースレイヤの符号化データを読み出して復号し、得られたベースレイヤの復号画像データを参照画像としてインター予測部７２２に供給するようにしてもよい。
また、スケーラブル復号部７２１は、カレントピクチャがIピクチャ若しくはＰピクチャの場合、ベースレイヤとエンハンスメントレイヤを結合した復号画像データを参照画像としてインター予測部７２２に供給し、カレントピクチャがＢピクチャの場合、ベースレイヤの復号画像データを参照画像としてインター予測部７２２に供給するようにしてもよい。
このようにすることにより、カレントピクチャが参照画像として利用されるピクチャの場合、参照画像データの情報量を増大させ、カレントピクチャが参照画像として利用されないピクチャの場合、参照画像データの情報量を低減させることができる。このようにすることにより、画像復号装置７００は、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができる。
つまり、画像復号装置７００は、参照画像の符号化・復号により参照画像の画質が不要に低減することを抑制することができる。したがって、画像復号装置７００は、参照画像を介した画質の低減の伝搬を抑制することができ、参照画像の画質の低減に起因する復号画像の画質の低減を抑制することができる。
＜復号処理の流れ＞
次に、画像復号装置７００により実行される各処理の流れの例を説明する。最初に、復号処理の流れの例を、図１９のフローチャートを参照して説明する。
復号処理が開始されると、ステップＳ７０１において、蓄積バッファ７１１は、伝送されてきたビットストリームを蓄積する。ステップＳ７０２において、可逆復号部７１２は、蓄積バッファ７１１から供給されるビットストリームを復号する。すなわち、可逆符号化部６１５により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
ステップＳ７０３において、逆量子化部７１３は、ステップＳ７０２の処理により得られた、量子化された係数を逆量子化する。
ステップＳ７０４において、逆直交変換部７１４は、ステップＳ７０３の処理により得られた直交変換係数を逆直交変換する。この処理により残差データが復元される。
ステップＳ７０５において、イントラ予測部７１８若しくはインター予測部７２２は、予測処理を行い、予測画像を生成する。つまり、可逆復号部７１２において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部７１８が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、インター予測部７２２が、符号化の際に最適とされたインター予測モードで予測画像を生成する。
ステップＳ７０６において、演算部７１５は、ステップＳ７０４の処理により復元された残差データに、ステップＳ７０５において生成された予測画像を加算する。これにより再構成画像が得られる。
ステップＳ７０７において、ループフィルタ７１６は、ステップＳ７０６の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
ステップＳ７０８において、画面並べ替えバッファ７１７は、ステップＳ７０７の処理により得られた復号画像のフレームの並べ替えを行う。すなわち、符号化の際に並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。フレームが並べ替えられた復号画像は、画像復号装置７００の外部に出力される。
ステップＳ７０９において、スケーラブル符号化部７１９は、図９のフローチャートを参照して説明した記憶処理を行うことにより、ステップＳ７０７の処理により得られた、局所的に復号された復号画像をスケーラブル符号化（スケーラブル簡易符号化）してフレームメモリ７２０に記憶させる。
ステップＳ７０９の処理が終了すると、復号処理が終了する。
＜予測画像生成処理の流れ＞
次に、このような復号処理のステップＳ７０５において実行される予測画像生成処理の流れの例を、図２０のフローチャートを参照して説明する。
予測画像生成処理が開始されると、ステップＳ７２１において、可逆復号部７１２は、インター予測であるか否かを判定する。インター予測であると判定すると、処理はステップＳ７２２に進む。
ステップＳ７２２において、インター予測部７２２は、インター予測モードで予測画像を生成する。ステップＳ７２２の処理が終了すると、処理は図１９に戻る。
また、ステップＳ７２１においてインター予測でないと判定された場合、処理は、ステップＳ７２３に進む。ステップＳ７２３において、イントラ予測部７１８は、イントラ予測モードで予測画像を生成する。ステップＳ７２３の処理が終了すると、処理は図１９に戻る。
＜インター予測モード予測画像生成処理の流れ＞
次に、このような予測画像生成処理のステップＳ７２２において実行されるインター予測モード予測画像生成処理の流れの例を、図２１のフローチャートを参照して説明する。
インター予測モード予測画像生成処理が開始されると、ステップＳ７４１において、インター予測部７２２は、最適インター予測モードに関する情報を取得する。
ステップＳ７４２において、インター予測部７２２は、カレントピクチャの種類に応じて、参照ピクチャのレイヤを決定する。
ステップＳ７４３において、スケーラブル復号部７２１は、図１０のフローチャートを参照して説明した読み出し処理を行って、フレームメモリ７２０から参照ピクチャの、ステップＳ７４２において決定されたレイヤを読み出す。
ステップＳ７４４において、インター予測部７２２は、最適インター予測モードで動き補償を行い、予測画像を生成する。
ステップＳ７４４の処理が終了すると、インター予測モード予測画像生成処理が終了し、処理は図２０に戻る。
以上のように各処理を実行することにより、画像復号装置７００は、不要な画質の低減を抑制しながら、メモリアクセスの帯域やメモリ容量の増大を抑制することができる。
＜８．第８の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図２２に示されるコンピュータ８００において、CPU（Central Processing Unit）８１１、ROM（Read Only Memory）８１２、RAM（Random Access Memory）８１３は、バス８１４を介して相互に接続されている。
バス８１４にはまた、入出力インタフェース８２０も接続されている。入出力インタフェース８２０には、入力部８２１、出力部８２２、記憶部８２３、通信部８２４、およびドライブ８２５が接続されている。
入力部８２１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８２２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８２３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８２４は、例えば、ネットワークインタフェースよりなる。ドライブ８２５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８３１を駆動する。
以上のように構成されるコンピュータでは、CPU８１１が、例えば、記憶部８２３に記憶されているプログラムを、入出力インタフェース８２０およびバス８１４を介して、RAM８１３にロードして実行することにより、上述した一連の処理が行われる。RAM８１３にはまた、CPU８１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU８１１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８３１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８３１をドライブ８２５に装着することにより、入出力インタフェース８２０を介して、記憶部８２３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８２４で受信し、記憶部８２３にインストールすることができる。
その他、このプログラムは、ROM８１２や記憶部８２３に、あらかじめインストールしておくこともできる。
なお、本技術をテレビジョン装置２００（図１１）に適用し、一連の処理をソフトウエアにより実行する場合、制御部２３１が実行するプログラムは、例えば、そのプログラムが記録されたリムーバブルメディア２３６をドライブ２３５に装着することにより、バス２３０を介して、制御部２３１にインストールすることができる。また、プログラムは、外部インタフェース部２３４を介して外部から受け取り、制御部２３１にインストールすることができる。さらに、このプログラムは、制御部２３１に、予めインストールしておくこともできる。
同様に、本技術を携帯電話機３００（図１２）に適用し、一連の処理をソフトウエアにより実行する場合、制御部３３１が実行するプログラムは、例えば、そのプログラムが記録されたリムーバブルメディア３３４をドライブ３３３に装着することにより、バス３１０を介して、制御部３３１にインストールすることができる。また、プログラムは、通信部３１２を介して外部から受け取り、制御部３３１にインストールすることができる。さらに、このプログラムは、制御部３３１に、予めインストールしておくこともできる。
同様に、本技術を撮像装置４００（図１３）に適用し、一連の処理をソフトウエアにより実行する場合、制御部４３１が実行するプログラムは、例えば、そのプログラムが記録されたリムーバブルメディア４３４をドライブ４３３に装着することにより、制御部４３１にインストールすることができる。また、プログラムは、通信部４１９を介して外部から受け取り、制御部４３１にインストールすることができる。さらに、このプログラムは、制御部４３１に、予めインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
上述した実施形態に係る画像符号化装置及び画像復号装置は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。
例えば、画像符号化装置６００は、携帯電話機３００（図１２）の記録再生部３２０内のエンコーダ（図示せず）、撮像装置４００（図１３）のコーデック処理部４１７、またはビデオユニット（図１４）のビデオエンコーダ５２１等に適用することができる。また、例えば、画像復号装置７００は、テレビジョン装置２００（図１１）のデコーダ２１４、携帯電話機３００（図１２）の記録再生部３２０内のデコーダ（図示せず）、撮像装置４００（図１３）のコーデック処理部４１７、またはビデオユニット（図１４）のビデオデコーダ５２２等に適用することができる。もちろん、適用可能な装置は、これらの例に限定されない。
また、本明細書では、各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
なお、本技術は以下のような構成も取ることができる。
（１） 画像データをスケーラブル符号化する符号化部と、
前記符号化部によりスケーラブル符号化された前記画像データである符号化データを、所定のバスを介して記憶部に記憶させる書き込み部と、
前記記憶部から前記符号化データの所望のレイヤを、前記バスを介して読み出す読み出し部と、
前記読み出し部により前記記憶部から読み出された前記符号化データをスケーラブル復号する復号部と
を備える画像処理装置。
（２） 前記読み出し部は、前記符号化データの、前記復号部により前記符号化データが簡易復号された前記画像データに対する画像処理に応じたレイヤを読み出す
（１）、（３）乃至（９）のいずれかに記載の画像処理装置。
（３） 前記バスおよび前記記憶部をさらに備える
（１）、（２）、（４）乃至（９）のいずれかに記載の画像処理装置。
（４） 前記符号化部は、前記画像データを、データ長が固定の固定長方式で簡易符号化する
（１）乃至（３）、（５）乃至（９）のいずれかに記載の画像処理装置。
（５） 前記符号化部は、前記画像データのビット深度をスケーラブル化して前記画像データを簡易符号化する
（１）乃至（４）、（６）乃至（９）のいずれかに記載の画像処理装置。
（６） 前記符号化部は、前記画像データの解像度をスケーラブル化して前記画像データを簡易符号化する
（１）乃至（５）、（７）乃至（９）のいずれかに記載の画像処理装置。
（７） 前記符号化部は、前記画像データの周波数成分をスケーラブル化して前記画像データを簡易符号化する
（１）乃至（６）、（８）、（９）のいずれかに記載の画像処理装置。
（８） 前記符号化部は、前記画像データの互いに異なるレイヤを簡易符号化する単レイヤ符号化部を複数有し、前記単レイヤ符号化部の多段構成により、前記画像データをスケーラブル符号化する
（１）乃至（７）、（９）のいずれかに記載の画像処理装置。
（９） 前記復号部は、前記符号化データの互いに異なるレイヤを簡易復号する単レイヤ復号部を複数有し、前記単レイヤ復号部の多段構成により、前記符号化データをスケーラブル復号する
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 画像データをスケーラブル符号化し、
スケーラブル符号化された前記画像データである符号化データを、所定のバスを介して記憶部に記憶させ、
前記記憶部から前記符号化データの所望のレイヤを、前記バスを介して読み出し、
前記記憶部から読み出された前記符号化データをスケーラブル復号する
画像処理方法。
（１１） 予測画像の生成の際に参照される画像データをスケーラブル符号化するスケーラブル符号化部と、
前記スケーラブル符号化部によりスケーラブル符号化された前記画像データである符号化データを記憶する記憶部と、
前記符号化データの所望のレイヤを、前記記憶部から読み出す読み出し部と、
前記読み出し部により前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成するスケーラブル復号部と、
前記スケーラブル復号部により前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成する予測部と、
前記予測部により生成された前記予測画像を用いて、画像データを符号化する符号化部と
を備える画像符号化装置。
（１２） 前記読み出し部は、処理対象であるカレントピクチャのピクチャタイプに応じたレイヤを読み出す
（１１）、（１３）乃至（１９）のいずれかに記載の画像符号化装置。
（１３） 前記読み出し部は、前記画像データの用途に応じたレイヤを読み出す
（１１）、（１２）、（１４）乃至（１９）のいずれかに記載の画像符号化装置。
（１４） 前記スケーラブル符号化部は、前記画像データを、データ長が固定の固定長方式で簡易符号化する
（１１）乃至（１３）、（１５）乃至（１９）のいずれかに記載の画像符号化装置。
（１５） 前記スケーラブル符号化部は、前記画像データのビット深度をスケーラブル化して前記画像データを簡易符号化する
（１１）乃至（１４）、（１６）乃至（１９）のいずれかに記載の画像符号化装置。
（１６） 前記スケーラブル符号化部は、前記画像データの解像度をスケーラブル化して前記画像データを簡易符号化する
（１１）乃至（１５）、（１７）乃至（１９）のいずれかに記載の画像符号化装置。
（１７） 前記スケーラブル符号化部は、前記画像データの周波数成分をスケーラブル化して前記画像データを簡易符号化する
（１１）乃至（１６）、（１８）、（１９）のいずれかに記載の画像符号化装置。
（１８） 前記スケーラブル符号化部は、前記画像データの互いに異なるレイヤを簡易符号化する単レイヤ符号化部を複数有し、前記単レイヤ符号化部の多段構成により、前記画像データをスケーラブル符号化する
（１１）乃至（１７）、（１９）のいずれかに記載の画像符号化装置。
（１９） 前記スケーラブル復号部は、前記符号化データの互いに異なるレイヤを簡易復号する単レイヤ復号部を複数有し、前記単レイヤ復号部の多段構成により、前記符号化データをスケーラブル復号する
（１１）乃至（１８）のいずれかに記載の画像符号化装置。
（２０） 予測画像の生成の際に参照される画像データをスケーラブル符号化し、
スケーラブル符号化された前記画像データである符号化データを記憶部に記憶し、
前記符号化データの所望のレイヤを、前記記憶部から読み出し、
前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成し、
前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成し、
生成された前記予測画像を用いて、画像データを符号化する
画像符号化方法。
（２１） 予測画像の生成の際に参照される画像データをスケーラブル符号化するスケーラブル符号化部と、
前記スケーラブル符号化部によりスケーラブル符号化された前記画像データである符号化データを記憶する記憶部と、
前記符号化データの所望のレイヤを、前記記憶部から読み出す読み出し部と、
前記読み出し部により前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成するスケーラブル復号部と、
前記スケーラブル復号部により前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成する予測部と、
前記予測部により生成された前記予測画像を用いて、画像データが符号化された符号化データを復号する復号部と
を備える画像復号装置。
（２２） 前記読み出し部は、処理対象であるカレントピクチャのピクチャタイプに応じたレイヤを読み出す
（２１）、（２３）乃至（２９）のいずれかに記載の画像復号装置。
（２３） 前記読み出し部は、前記画像データの用途に応じたレイヤを読み出す
（２１）、（２２）、（２４）乃至（２９）のいずれかに記載の画像復号装置。
（２４） 前記スケーラブル符号化部は、前記画像データを、データ長が固定の固定長方式で符号化する
（２１）乃至（２３）、（２５）乃至（２９）のいずれかに記載の画像復号装置。
（２５） 前記スケーラブル符号化部は、前記画像データのビット深度をスケーラブル化して前記画像データを簡易符号化する
（２１）乃至（２４）、（２６）乃至（２９）のいずれかに記載の画像復号装置。
（２６） 前記スケーラブル符号化部は、前記画像データの解像度をスケーラブル化して前記画像データを簡易符号化する
（２１）乃至（２５）、（２７）乃至（２９）のいずれかに記載の画像復号装置。
（２７） 前記スケーラブル符号化部は、前記画像データの周波数成分をスケーラブル化して前記画像データを簡易符号化する
（２１）乃至（２６）、（２８）、（２９）のいずれかに記載の画像復号装置。
（２８） 前記スケーラブル符号化部は、前記画像データの互いに異なるレイヤを簡易符号化する単レイヤ符号化部を複数有し、前記単レイヤ符号化部の多段構成により、前記画像データをスケーラブル符号化する
（２１）乃至（２７）、（２９）のいずれかに記載の画像復号装置。
（２９） 前記スケーラブル復号部は、前記符号化データの互いに異なるレイヤを簡易復号する単レイヤ復号部を複数有し、前記単レイヤ復号部の多段構成により、前記符号化データをスケーラブル復号する
（２１）乃至（２８）のいずれかに記載の画像復号装置。
（３０） 予測画像の生成の際に参照される画像データをスケーラブル符号化し、
スケーラブル符号化された前記画像データである符号化データを記憶部に記憶し、
前記符号化データの所望のレイヤを、前記記憶部から読み出し、
前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成し、
前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成し、
生成された前記予測画像を用いて、画像データが符号化された符号化データを復号する
画像復号方法。
１００ 画像処理装置， １１１ 画像処理部， １１２ スケーラブル符号化部， １１３ メモリバス， １１４ 記憶部， １１５ スケーラブル復号部， １２１ スケーラブルコーデック部， １２２ 画像処理モジュール， １５１ 符号化部， １５２ 復号部， １５３ 演算部， １５４ 符号化部， １６１ LPF， １６２ 符号化部， １６３ 演算部， １６４ 符号化部， １７１ 縮小部， １７２ 符号化部， １７３ 拡大部， １７４ 演算部， １７５ 符号化部， １８１ 復号部， １８２ 復号部， １８３ 演算部， ２００ テレビジョン装置， ２１４ デコーダ， ２１５ 画像処理部， ２１６ スケーラブルコーデック部， ２１７ 記憶部， ３００ 携帯電話機， ３１７ 画像処理部， ３１８ スケーラブルコーデック部， ３１９ 記憶部， ３２０ 記録再生部， ４００ 撮像装置， ４１３ 画像処理部， ４１４ スケーラブルコーデック部， ４１５ 記憶部， ４１７ コーデック処理部， ５００ ビデオユニット， ５１１ ビデオプロセッサ， ５１２ スケーラブルコーデックプロセッサ， ５１３ メモリバス， ５１４ 外部メモリ， ５２１ ビデオエンコーダ， ５２２ ビデオデコーダ， ５２３ 画像処理部， ６００ 画像符号化装置， ６２３ スケーラブル符号化部， ６２４ フレームメモリ， ６２５ スケーラブル復号部， ６２６ インター予測部， ７００ 画像復号装置， ７１９ スケーラブル符号化部， ７２０ フレームメモリ， ７２１ スケーラブル復号部， ７２２ インター予測部

Claims (20)

  1. 画像データをスケーラブル符号化する符号化部と、
    前記符号化部によりスケーラブル符号化された前記画像データである符号化データを、所定のバスを介して記憶部に記憶させる書き込み部と、
    前記記憶部から前記符号化データの所望のレイヤを、前記バスを介して読み出す読み出し部と、
    前記読み出し部により前記記憶部から読み出された前記符号化データをスケーラブル復号する復号部と
    を備える画像処理装置。
  2. 前記読み出し部は、前記符号化データの、前記復号部により前記符号化データが簡易復号された前記画像データに対する画像処理に応じたレイヤを読み出す
    請求項１に記載の画像処理装置。
  3. 前記バスおよび前記記憶部をさらに備える
    請求項１に記載の画像処理装置。
  4. 前記符号化部は、前記画像データを、データ長が固定の固定長方式で簡易符号化する
    請求項１に記載の画像処理装置。
  5. 前記符号化部は、前記画像データのビット深度をスケーラブル化して前記画像データを簡易符号化する
    請求項１に記載の画像処理装置。
  6. 前記符号化部は、前記画像データの解像度をスケーラブル化して前記画像データを簡易符号化する
    請求項１に記載の画像処理装置。
  7. 前記符号化部は、前記画像データの周波数成分をスケーラブル化して前記画像データを簡易符号化する
    請求項１に記載の画像処理装置。
  8. 前記符号化部は、前記画像データの互いに異なるレイヤを簡易符号化する単レイヤ符号化部を複数有し、前記単レイヤ符号化部の多段構成により、前記画像データをスケーラブル符号化する
    請求項１に記載の画像処理装置。
  9. 前記復号部は、前記符号化データの互いに異なるレイヤを簡易復号する単レイヤ復号部を複数有し、前記単レイヤ復号部の多段構成により、前記符号化データをスケーラブル復号する
    請求項１に記載の画像処理装置。
  10. 画像データをスケーラブル符号化し、
    スケーラブル符号化された前記画像データである符号化データを、所定のバスを介して記憶部に記憶させ、
    前記記憶部から前記符号化データの所望のレイヤを、前記バスを介して読み出し、
    前記記憶部から読み出された前記符号化データをスケーラブル復号する
    画像処理方法。
  11. 予測画像の生成の際に参照される画像データをスケーラブル符号化するスケーラブル符号化部と、
    前記スケーラブル符号化部によりスケーラブル符号化された前記画像データである符号化データを記憶する記憶部と、
    前記符号化データの所望のレイヤを、前記記憶部から読み出す読み出し部と、
    前記読み出し部により前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成するスケーラブル復号部と、
    前記スケーラブル復号部により前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成する予測部と、
    前記予測部により生成された前記予測画像を用いて、画像データを符号化する符号化部と
    を備える画像符号化装置。
  12. 前記読み出し部は、処理対象であるカレントピクチャのピクチャタイプに応じたレイヤを読み出す
    請求項１１に記載の画像符号化装置。
  13. 前記読み出し部は、前記画像データの用途に応じたレイヤを読み出す
    請求項１１に記載の画像符号化装置。
  14. 前記スケーラブル符号化部は、前記画像データを、データ長が固定の固定長方式で簡易符号化する
    請求項１１に記載の画像符号化装置。
  15. 予測画像の生成の際に参照される画像データをスケーラブル符号化し、
    スケーラブル符号化された前記画像データである符号化データを記憶部に記憶し、
    前記符号化データの所望のレイヤを、前記記憶部から読み出し、
    前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成し、
    前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成し、
    生成された前記予測画像を用いて、画像データを符号化する
    画像符号化方法。
  16. 予測画像の生成の際に参照される画像データをスケーラブル符号化するスケーラブル符号化部と、
    前記スケーラブル符号化部によりスケーラブル符号化された前記画像データである符号化データを記憶する記憶部と、
    前記符号化データの所望のレイヤを、前記記憶部から読み出す読み出し部と、
    前記読み出し部により前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成するスケーラブル復号部と、
    前記スケーラブル復号部により前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成する予測部と、
    前記予測部により生成された前記予測画像を用いて、画像データが符号化された符号化データを復号する復号部と
    を備える画像復号装置。
  17. 前記読み出し部は、処理対象であるカレントピクチャのピクチャタイプに応じたレイヤを読み出す
    請求項１６に記載の画像復号装置。
  18. 前記読み出し部は、前記画像データの用途に応じたレイヤを読み出す
    請求項１６に記載の画像復号装置。
  19. 前記スケーラブル符号化部は、前記画像データを、データ長が固定の固定長方式で簡易符号化する
    請求項１６に記載の画像復号装置。
  20. 予測画像の生成の際に参照される画像データをスケーラブル符号化し、
    スケーラブル符号化された前記画像データである符号化データを記憶部に記憶し、
    前記符号化データの所望のレイヤを、前記記憶部から読み出し、
    前記記憶部から読み出された前記符号化データをスケーラブル復号して参照画像データを生成し、
    前記符号化データがスケーラブル復号された前記参照画像データを用いて予測を行い、前記予測画像を生成し、
    生成された前記予測画像を用いて、画像データが符号化された符号化データを復号する
    画像復号方法。
JP2014044672A 2014-03-07 2014-03-07 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法 Pending JP2015170994A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014044672A JP2015170994A (ja) 2014-03-07 2014-03-07 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法
US14/630,833 US9635370B2 (en) 2014-03-07 2015-02-25 Image processing apparatus and image processing method, image encoding apparatus and image encoding method, and image decoding apparatus and image decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014044672A JP2015170994A (ja) 2014-03-07 2014-03-07 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法

Publications (1)

Publication Number Publication Date
JP2015170994A true JP2015170994A (ja) 2015-09-28

Family

ID=54018733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014044672A Pending JP2015170994A (ja) 2014-03-07 2014-03-07 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法

Country Status (2)

Country Link
US (1) US9635370B2 (ja)
JP (1) JP2015170994A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742980B2 (en) 2018-05-15 2020-08-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170359596A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Video coding techniques employing multiple resolution
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101365596B1 (ko) * 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US9167246B2 (en) * 2008-03-06 2015-10-20 Arris Technology, Inc. Method and apparatus for decoding an enhanced video stream
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
JP5245794B2 (ja) 2008-12-15 2013-07-24 富士通株式会社 画像処理装置および方法
JP5156655B2 (ja) 2009-01-21 2013-03-06 株式会社日立製作所 画像処理装置
JP5845663B2 (ja) 2011-07-04 2016-01-20 セイコーエプソン株式会社 画像処理装置、画像表示装置及びプロジェクター
JP2013098873A (ja) 2011-11-02 2013-05-20 Sony Corp 画像処理装置と画像処理方法
JP2013146038A (ja) 2011-12-13 2013-07-25 Canon Inc 画像量子化装置、画像量子化方法及びプログラム、画像逆量子化装置、画像逆量子化方法及びプログラム
EP2916547A4 (en) * 2012-11-30 2016-05-11 Sony Corp IMAGE PROCESSING APPARATUS AND METHOD
US9532057B2 (en) * 2012-12-28 2016-12-27 Qualcomm Incorporated Inter-layer prediction using sample-adaptive adjustments for bit depth scalable video coding
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
GB2509704B (en) * 2013-01-04 2016-06-01 Canon Kk Method and device for processing prediction information for encoding or decoding at least part of an image
US9264683B2 (en) * 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
US9756337B2 (en) * 2013-12-17 2017-09-05 Qualcomm Incorporated Signaling color values for 3D lookup table for color gamut scalability in multi-layer video coding
WO2015102959A1 (en) * 2014-01-02 2015-07-09 Vid Scale, Inc. Sub-bitstream extraction process for hevc extensions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742980B2 (en) 2018-05-15 2020-08-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US11503296B2 (en) 2018-05-15 2022-11-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
US9635370B2 (en) 2017-04-25
US20150256839A1 (en) 2015-09-10

Similar Documents

Publication Publication Date Title
US11196995B2 (en) Image processing device and image processing method
CN105453570B (zh) 用于下一代视频的对分区数据的内容自适应熵编码
KR102498725B1 (ko) 화상 부호화 장치, 화상 부호화 방법 및 기록 매체
JP5590133B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
JP6399366B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US9635370B2 (en) Image processing apparatus and image processing method, image encoding apparatus and image encoding method, and image decoding apparatus and image decoding method
WO2015194394A1 (ja) 画像符号化装置および方法、並びに画像復号装置および方法
JP6527263B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
WO2014050676A1 (ja) 画像処理装置および方法
JPWO2014045920A1 (ja) 画像処理装置および方法
WO2014050731A1 (ja) 画像処理装置および方法
WO2013001939A1 (ja) 画像処理装置及び画像処理方法
JP2015192381A (ja) 画像処理装置及び画像処理方法
WO2013108688A1 (ja) 画像処理装置および方法
WO2014156708A1 (ja) 画像復号装置および方法
US20150312581A1 (en) Image processing device and method
WO2015005024A1 (ja) 画像処理装置及び画像処理方法
TW201330638A (zh) 影像處理裝置及方法
US20160286218A1 (en) Image encoding device and method, and image decoding device and method
WO2014097703A1 (ja) 画像処理装置及び画像処理方法
WO2014156707A1 (ja) 画像符号化装置および方法、並びに、画像復号装置および方法
US20160037184A1 (en) Image processing device and method