JP2013243477A - 画像処理装置および方法、並びに、プログラム - Google Patents

画像処理装置および方法、並びに、プログラム Download PDF

Info

Publication number
JP2013243477A
JP2013243477A JP2012114679A JP2012114679A JP2013243477A JP 2013243477 A JP2013243477 A JP 2013243477A JP 2012114679 A JP2012114679 A JP 2012114679A JP 2012114679 A JP2012114679 A JP 2012114679A JP 2013243477 A JP2013243477 A JP 2013243477A
Authority
JP
Japan
Prior art keywords
encoded data
unit
rate
frame
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012114679A
Other languages
English (en)
Other versions
JP2013243477A5 (ja
JP5950157B2 (ja
Inventor
Takahiro Fukuhara
隆浩 福原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012114679A priority Critical patent/JP5950157B2/ja
Priority to CN2013101696190A priority patent/CN103426189A/zh
Priority to US13/891,367 priority patent/US20130308697A1/en
Publication of JP2013243477A publication Critical patent/JP2013243477A/ja
Publication of JP2013243477A5 publication Critical patent/JP2013243477A5/ja
Application granted granted Critical
Publication of JP5950157B2 publication Critical patent/JP5950157B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】１の動画像データから複数種類のフレームレートの符号化データを、より容易に生成することができるようにする。
【解決手段】本技術の画像処理装置は、画像データの一部のフレームが符号化された第１の符号化データのビットレートを制御し、第１のビットレートの低フレームレート符号化データと、前記第１のビットレートと異なる第２のビットレートの第２の符号化データとを生成するレート制御部と、前記画像データの、前記第１の符号化部が符号化するフレーム以外のフレームが符号化された第３の符号化データと、第２の符号化データとを統合し、高フレームレート符号化データを生成する統合部とを備える。本技術は、例えば、画像処理装置に適用することができる。
【選択図】図１

Description

本技術は、画像処理装置および方法、並びに、プログラムに関し、特に、１の画像データ若しくはその符号化データから複数種類のフレームレートの符号化データを、より容易に生成することができるようにした画像処理装置および方法、並びに、プログラムに関する。
従来、事実上のデジタルシネマの国際規格とも言えるDCI（Digital Cinema Initiative）規格では、2Kx1Kの解像度のフレームレートが24Pと48Pに規定され、4kx2Kの解像度のフレームレートを24Pに規定されている。
従来は、低フレームレート（LFR）用の24Pのファイルと、高フレームレート（HFR）用の48Pのファイルとが、互いに独立したファイルとして扱われていた。従って、映画館等でLFR用の映画とHFR用の映画を取り扱う場合、両方のファイルを用意する必要がある。
一般的に画像データは容量低減のために符号化して保存される（例えば特許文献１参照）。１の画像データに対してLFR用の符号化データと、HFR用の符号化データを生成する場合、互いに独立して生成すると、同じフレーム画像を２度符号化する場合があり、冗長な処理により負荷が不要に増大する恐れがある。
そこで、HFR用の符号化データから、LFRに対応するフレームのデータのみを抽出することにより、LFR用の符号化データを生成する方法が考えられる。この場合、各フレームの画像は１度しか符号化されないので、LFR用の符号化データとHFR用の符号化データを１の画像データからそれぞれ生成する場合よりも、符号化処理の負荷の不要な増大を抑制することができる。
特開２００４−１６６２５４号公報
しかしながら、LFR用の符号化データとHFR用の符号化データとで、要求されるビットレートが異なる場合がある。その場合、上述したようにHFR用符号化データからLFR用符号化データを単純に抽出する方法では、要求されるビットレート条件を満たすことができず、実現することができない恐れがあった。
本技術は、このような状況に鑑みて提案されたものであり、１の画像データ若しくはその符号化データから複数種類のフレームレートの符号化データを、より容易に生成することを目的とする。
本技術の一側面は、画像データの一部のフレームを符号化して、第１の符号化データを生成する第１の符号化部と、前記第１の符号化部が生成した前記第１の符号化データのビットレートを制御し、第１のビットレートの低フレームレート符号化データと、前記第１のビットレートと異なる第２のビットレートの第２の符号化データとを生成するレート制御部と、前記画像データの、前記第１の符号化部が符号化するフレーム以外のフレームを符号化して、前記第２のビットレートの第３の符号化データを生成する第２の符号化部と、前記レート制御部により生成された前記第２の符号化データと、前記第２の符号化部により生成された前記第３の符号化データとを統合し、高フレームレート符号化データを生成する統合部とを備える画像処理装置である。
前記ビットレートは、１フレーム当たりのビット量であるようにすることができる。
前記レート制御部は、各フレームについて、前記第１の符号化データの一部を必要に応じて切り捨てることにより、前記１フレーム当たりのビット量を制御することができる。
前記レート制御部は、各フレームについて、前記第１の符号化データの一部を、より重要でない方から順に必要量分切り捨てることができる。
前記第１の符号化部は、前記一部のフレームの画像データを、周波数帯域毎の係数データに変換する変換部と、前記変換部により得られた前記係数データを、所定数の前記係数データ毎に生成される、互いに同一のビット位置の値の集合であるビットプレーン毎に符号化するビットプレーン符号化部とを備え、前記レート制御部は、前記第１の符号化データのビットプレーンを、最下位から順に必要数分切り捨てることができる。
前記第１の符号化部は、前記変換部により得られた前記係数データを所定数毎にまとめたコードブロックを生成するコードブロック生成部と、前記コードブロック生成部により生成された前記コードブロック毎に、前記ビットプレーンを生成するビットプレーン生成部とをさらに備え、前記ビットプレーン符号化部は、前記ビットプレーン生成部により生成された、前記コードブロック毎のビットプレーンを、最下位から順に必要数分切り捨てることができる。
前記第２の符号化部は、前記第１の符号化部と同様の符号化方式により前記画像データを符号化することができる。
前記第１の符号化部および前記第２の符号化部は、それぞれ、前記画像データのフレームをJPEG2000方式により符号化することができる。
前記第１の符号化部は、前記第１のビットレートおよび前記第２のビットレートに応じて符号化パスのレイヤを設定し、前記レート制御部は、前記レイヤを必要数分切り捨てることにより、前記第１の符号化データのビットレートを制御し、前記低フレームレート符号化データおよび前記第２の符号化データを生成することができる。
予め設定されたフレームレートに応じて、前記画像データの一部のフレームを前記第１の符号化部に分配し、その他のフレームを前記第２の符号化部に分配するフレーム分配部をさらに備えることができる。
前記フレーム分配部は、前記第１の符号化部に分配するフレーム、若しくは、前記第２の符号化部に分配するフレームの内、少なくともいずれか一方に、分配先毎のグループを識別する識別情報を付加することができる。
前記レート制御部により生成された前記低フレームレート符号化データを記憶する記憶部をさらに備えることができる。
本技術の一側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、画像データの一部のフレームを符号化して、第１の符号化データを生成し、生成した前記第１の符号化データのビットレートを制御し、第１のビットレートの低フレームレート符号化データと、前記第１のビットレートと異なる第２のビットレートの第２の符号化データとを生成し、前記画像データの他のフレームを符号化して、前記第２のビットレートの第３の符号化データを生成し、生成された前記第２の符号化データと前記第３の符号化データとを統合し、高フレームレート符号化データを生成する画像処理方法である。
本技術の一側面は、さらに、コンピュータを、画像データの一部のフレームを符号化して、第１の符号化データを生成する第１の符号化部と、前記第１の符号化部が生成した前記第１の符号化データのビットレートを制御し、第１のビットレートの低フレームレート符号化データと、前記第１のビットレートと異なる第２のビットレートの第２の符号化データとを生成するレート制御部と、前記画像データの、前記第１の符号化部が符号化するフレーム以外のフレームを符号化して、前記第２のビットレートの第３の符号化データを生成する第２の符号化部と、前記レート制御部により生成された前記第２の符号化データと、前記第２の符号化部により生成された前記第３の符号化データとを統合し、高フレームレート符号化データを生成する統合部として機能させるためのプログラムである。
本技術の他の側面は、画像データが符号化された符号化データから、フレームレートに応じた割合でフレーム毎にデータを選択することにより、複数のフレームレートの符号化データを生成する選択部と、前記選択部により生成された各フレームレートの符号化データのビットレートを、それぞれの目標ビットレートにするレート制御部とを備える画像処理装置である。
前記目標ビットレートを決定する決定部をさらに備え、前記レート制御部は、各フレームレートの符号化データのビットレートを、前記決定部により決定された目標ビットレートにすることができる。
前記画像データを符号化し、前記符号化データを生成する符号化部をさらに備え、前記選択部は、前記符号化部により生成された前記符号化データから複数のフレームレートの符号化データを生成することができる。
レート制御部によりそれぞれの目標ビットレートに制御された各フレームレートの符号化データを復号する復号部をさらに備えることができる。
本技術の他の側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、画像データが符号化された符号化データから、フレームレートに応じた割合でフレーム毎にデータを選択することにより、複数のフレームレートの符号化データを生成し、生成された各フレームレートの符号化データのビットレートを、それぞれの目標ビットレートにする画像処理方法である。
本技術の他の側面は、さらに、コンピュータを、画像データが符号化された符号化データから、フレームレートに応じた割合でフレーム毎にデータを選択することにより、複数のフレームレートの符号化データを生成する選択部と、前記選択部により生成された各フレームレートの符号化データのビットレートを、それぞれの目標ビットレートにするレート制御部として機能させるためのプログラムである。
本技術の一側面においては、画像データの一部のフレームが符号化されて、第１の符号化データが生成され、生成された第１の符号化データのビットレートが制御され、第１のビットレートの低フレームレート符号化データと、第１のビットレートと異なる第２のビットレートの第２の符号化データとが生成され、画像データの他のフレームが符号化されて、第２のビットレートの第３の符号化データが生成され、生成された第２の符号化データと第３の符号化データとが統合され、高フレームレート符号化データが生成される。
本技術の他の側面においては、画像データが符号化された符号化データから、フレームレートに応じた割合でフレーム毎にデータを選択することにより、複数のフレームレートの符号化データが生成され、生成された各フレームレートの符号化データのビットレートが、それぞれの目標ビットレートにされる。
本技術によれば、画像を処理することが出来る。特に、１の画像データ若しくはその符号化データから複数種類のフレームレートの符号化データを、より容易に生成することができる。
画像符号化装置の主な構成例を示すブロック図である。 LFRとHFRのピクチャ配列の関係の例を説明する図である。 LFR符号化部の主な構成例を示す図である。 サブバンドの構成例を示す図である。 サブバンドの構成例を示す図である。 各サブバンド中のコードブロックの例を示す図である。 ビットプレーンの例を説明する図である。 符号化パスの例を説明する図である。 係数の走査の例を説明する図である。 レイヤを説明する図である。 レイヤの構成例を説明する図である。 プログレッション機能の例を説明する図である。 プログレッション機能の他の例を説明する図である。 レート制御の様子の例を説明する図である。 複数FR符号化処理の流れの例を説明するフローチャートである。 符号化処理の流れの例を説明するフローチャートである。 画像符号化装置の主な構成例を示すブロック図である。 複数FR符号化処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 LFR復号部の主な構成例を示す部六図である。 複数FR復号処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 CODマーカセグメントの構成例を示す図である。 Scodパラメータの例を示す図である。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像符号化装置）
３．第３の実施の形態（画像復号装置）
４．第４の実施の形態（応用例）
５．第５の実施の形態（コンピュータ）
＜１．第１の実施の形態＞
［１−１冗長な処理］
事実上のデジタルシネマの国際規格とも言えるDCI（Digital Cinema Initiative）規格では、2Kx1Kの解像度のフレームレートを24Pと48P、4kx2Kの解像度のフレームレートを24Pに規定している。従来、低フレームレート（LFR）用の24Pのファイルと、高フレームレート（HFR）用の48Pのファイルとが、互いに独立したファイルとして扱われていた。従って、映画館等でLFR用の映画とHFR用の映画を取り扱う場合、両方のファイルを用意する必要がある。
しかしながら、この場合、両ファイルは、フレームレートが異なるだけなので、互いに同じフレームを含むことも十分に考えられる。すなわち、両ファイルは冗長性が高く、両ファイルを同時に記憶することは、不要に多くの記憶容量を必要とする。
特に動画像データの場合、データ量が多く、一般的には、容量低減の為に符号化されて保存される場合が多いが、符号化データであってもそのデータ量は多い。例えばDCI規格である250MbpsでエンコードされたJPEG2000符号化データの場合の、２時間のデータ量は、250Mbps×3,600秒×2時間 = 1,800 Gbyte (1.8TB)にもなる。そのため、上述したような冗長性はできるだけ低減させることが望ましい。
そこで、共通のフレームは、一方のみを記憶し、他方を省略する方法が考えられた。例えば、LFRのフレームが全てHFRのフレームに含まれる場合、HFR用のデータのみを保存し、LFR用のデータが必要なときは、HFR用のデータから必要部分を抽出して生成するようにする。このようにすることにより、冗長性を低減し、データ量の不要な増大を抑制することができる。
しかしながら、LFR用のデータと、HFR用のデータとで、要求されるビットレート（目標ビットレート）が異なる場合がある。また、フレームレートが異なるため、仮にビットレートが共通であっても、１フレーム当たりに要求されるビット量（目標ビット量）は異なる場合がある。
この１フレーム当たりの目標ビット量は、要求されるビットレートやフレームレートに応じて決定されるため、様々であり、例えばLFRの方がHFRよりも多くなる場合もあるし、少なくなる場合も考えられる。
このように、目標ビットレートが共通でない場合に、上述したようにデータを共有すると、再生画像の画質が低減する恐れがある。
例えば、上述したようにLFRの全てのフレームがHFRのフレームに含まれ、LFRのデータは、HFRのデータから抽出するとする。この場合、LFRとHFRの共通フレームの目標ビット量をLFRに揃えると、LFRの再生画像は問題ないが、HFRの再生画像において、ビット量がフレーム毎に大きく変化し、視聴者の視覚に違和感を生じさせ、視聴者に画質の低下と感じさせてしまう恐れがある。
逆に、共通フレームの目標ビット量をHFRの目標ビット量に揃えると、HFRの再生画像に問題は無いが、例えば、LFRの１フレーム当たりの目標ビット量が、HFRの１フレーム当たりの目標ビット量より多い場合、LFRのビットレートが不要に低減しており、再生画像の画質が不要に低減する。逆に、LFRの１フレーム当たりの目標ビット量が、HFRの１フレーム当たりの目標ビット量より少ない場合、LFRのビットレートが目標ビットレートを上回ることになり、データ伝送等において遅延時間が許容範囲を超える等の不具合を生じる恐れがあった。
そのため、各画像データのレートを調整する必要が生じる。そのため、結局、共通のフレームのデータをそれぞれ符号化したり復号したりしなければならず、処理の冗長性が高くなることにより不要に負荷が増大し、実現が困難になる恐れがあった。特に、伝送したデータを即時的に（リアルタイムに）再生する場合等においては、符号化や復号等の処理の遅延時間の低減が要求され、実現がより困難になる恐れがあった。
［１−２複数フレームレートの符号化データの生成］
そこで、画像データの一部のフレームを符号化して、第１の符号化データを生成し、その第１の符号化データのビットレートを制御し、第１のビットレートの低フレームレート符号化データを生成するとともに、第１のビットレートと異なる第２のビットレートの第２の符号化データを生成し、その画像データの、第１の符号化データに含まれるフレーム以外のフレームを符号化して、第２のビットレートの第３の符号化データを生成し、第２の符号化データのフレームと、第３の符号化データのフレームとを統合し、高フレームレート符号化データを生成するようにする。
このようにすることにより、画像処理装置は、負荷の大きな符号化や復号の冗長性を低減させることができる。つまり、画像処理装置は、１の動画像データから複数種類のフレームレートの符号化データを、より容易に生成することができる。
なお、上述したビットレートは、１フレーム当たりのビット量とすることにより、各フレームのビット量を揃えることができ、再生画像の視覚的な違和感を抑制することができる。
なお、レート制御においては、各フレームについて、第１の符号化データの一部を必要に応じて切り捨てることにより、１フレーム当たりのビット量を制御するようにしてもよい。このようにすることにより、符号化データのビットレート制御を容易に実現することができる。
また、レート制御においては、各フレームについて、第１の符号化データの一部を、より重要でない方から順に必要量分切り捨てるようにしてもよい。例えば、一部のフレームの画像データを、周波数帯域毎の係数データに変換し、得られた係数データを、所定数の係数データ毎に生成される、互いに同一のビット位置の値の集合であるビットプレーン毎に符号化し、そのビットプレーンを、最下位から順に必要数分切り捨てるようにしてもよい。このようにすることにより、より重要なデータをレート制御の為に切り捨ててしまうことを抑制することができ、レート制御による画質低減を抑制することができる。
さらに、符号化の際には、係数データを所定数毎にまとめたコードブロックを生成し、そのコードブロック毎に、ビットプレーンを生成するようにしてもよい。この場合、レート調整においては、コードブロック毎のビットプレーンが、最下位から順に必要数分切り捨てられる。このようにすることにより、より容易に所望のレート制御を行うことができる。
なお、第１の符号化データを生成する符号化と、第３の符号化データを生成する符号化とは、互いに同様の符号化方式を適用するようにしてもよい。このようにすることにより、第２の符号化データと第３の符号化データとの統合が容易になる。またこれらの符号化の符号化方式をJPEG2000方式としてもよい。JPEG2000方式の場合、フレーム毎に独立して符号化を行うので、フレーム単位のレート制御やフレームの統合等が容易になる。また、後述するように符号化データのレート制御も容易に実現することができる。
また、符号化において、第１のビットレートおよび第２のビットレートに応じて符号化パスのレイヤを設定し、レイヤを必要数分切り捨てることにより、第１の符号化データのビットレートを制御し、低フレームレート符号化データおよび第２の符号化データを生成するようにしてもよい。このようにすることによりレート制御をより容易にすることができる。
予め設定されたフレームレートに応じて、画像データの各フレームを仕分けするようにしてもよい。また、このような仕分けにおいて、仕分ける各フレームの内、少なくともいずれか一方に、グループを識別する識別情報を付加するようにしてもよい。このようにすることにより、フレーム統合されたデータから一部のフレームを抽出する際に、その識別情報を利用することができ、処理がより容易になる。
レート制御部により生成された低フレームレート符号化データを記憶するようにしてもよい。
また、画像データが符号化された符号化データから、フレームレートに応じた割合でフレーム毎にデータを選択することにより、複数のフレームレートの符号化データを生成し、生成された各フレームレートの符号化データのビットレートを、それぞれの目標ビットレートに合わせるようにしてもよい。このようにすることにより、１の動画像データから複数種類のフレームレートの符号化データを、より容易に生成することができる。
また、目標ビットレートを決定するようにしてもよい。これにより任意の目標ビットレートへの変換をより容易に行うことができる。
さらに、画像データを符号化し、符号化データを生成したり、目標ビットレートに制御された符号化データを復号したりしてもよい。
もちろん、これらの処理をソフトウエアにより実現するようにしてもよい。
［１−３画像符号化装置］
以下に、より具体的な例を説明する。図１は、画像符号化装置の主な構成例を示すブロック図である。図１に示される画像符号化装置１００は、本技術を適用した画像処理装置であって、入力された高フレームレート（HFR）の動画像データ（HFR画像データ）を符号化し、高フレームレート（HFR）の符号化データを生成する。また、画像符号化装置１００は、HFR画像データの一部のフレームの符号化データを用いて、低フレームレート（LFR）の符号化データを生成する。
その際、画像符号化装置１００は、それぞれ所望のビットレートで、HFRの符号化データおよびLFRの符号化データの両方を容易に生成することができる。
図１に示されるように、画像符号化装置１００は、ビットレート決定部１０１、ピクチャ選択部１０２、符号化部１０３、レート制御部１０４、コードストリーム統合部１０５、および記憶部１０６を有する。
ビットレート決定部１０１は、LFR用およびHFR用のそれぞれの目標ビットレートを決定する。ビットレート決定部１０１は、決定したこれらの目標ビットレートを示す制御情報を符号化部１０３およびレート制御部１０４に供給し、それらの動作を制御する。
ピクチャ選択部１０２は、入力される高フレームレートの画像データ（HFR画像データ）の供給先をそのピクチャ毎に制御する。ピクチャ選択部１０２は、低フレームレート（LFR）に属するフレーム（LFRおよびHFRで共通のフレーム）（LFR）の画像データをLFR符号化部１１１に供給し、残りのフレーム（HFRのみに属するフレーム）（HFR-LFR）の画像データをHFR符号化部１１２に供給する。
符号化部１０３は、ピクチャ選択部１０２から供給される各フレームの画像データを、例えばJPEG2000方式で符号化する。符号化部１０３は、ビットレート決定部１０１により決定された目標ビットレートを用いて符号化を行う。例えば、符号化部１０３は、図１に示されるように、LFR符号化部１１１およびHFR符号化部１１２を有する。
LFR符号化部１１１は、ピクチャ選択部１０２から供給されるLFRおよびHFRで共通のフレームの画像データ（LFR）を符号化する。その際、LFR符号化部１１１は、ビットレート決定部１０１が決定したLFR用のビットレートとHFR用のビットレートの内の高い方のビットレート、若しくはそれ以上のビットレートを目標値として符号化を行う。LFR符号化部１１１は、生成した符号化データ（LFR）をレート制御部１０４に供給する。
HFR符号化部１１２は、ピクチャ選択部１０２から供給されるHFRのみに属するフレームの画像データ（HFR-LFR）を符号化する。その際、HFR符号化部１１２は、ビットレート決定部１０１が決定したHFR用のビットレートを目標値として符号化を行う。HFR符号化部１１２は、生成したHFR用の符号化データ（HFR-LFR）をコードストリーム統合部１０５に供給する。
レート制御部１０４は、LFR符号化部１１１から供給される符号化データ（LFR）のビットレートをフレーム毎に適宜制御する。つまり、レート制御部１０４は、符号化データのフレーム毎のビット量を適宜調整する。例えば、レート制御部１０４は、ビットレート決定部１０１が決定した目標ビットレートを用いて、符号化データのレート制御を行う。
詳細については後述するが、レート制御部１０４は、符号化データのより不要な部分を切り捨てることによりレート制御を行う。つまり、レート制御部１０４は、この切り捨てるデータ量を制御することにより、レート制御を行う。符号化データの一部を切り捨てるのみであるので、このレート制御処理は、非常に負荷を小さく実現することができる。つまり、レート制御部１０４は、より容易にレート制御を行うことができる。
レート制御部１０４は、共通フレームの符号化データのビットレートを制御することにより、LFR用の符号化データ（LFR符号化データ）とHFR用の符号化データを生成する。レート制御部１０４は、生成したLFR符号化データを画像符号化装置１００の外部に出力するか、若しくは、記憶部１０６に供給して記憶させる。また、レート制御部１０４は、生成したHFR用の符号化データをコードストリーム統合部１０５に供給する。
レート制御部１０４は、ビットレート決定部１０１により決定されたLFR用の目標ビットレートおよびHFR用の目標ビットレートの内、少なくともいずれか一方を用いて、適宜、レート制御を行う。
例えば、LFR符号化部１１１によりLFR用の目標ビットレートを目標値として符号化された場合、レート制御部１０４は、その符号化データをLFR符号化データとし、さらに、その符号化データのビットレートをHFR用の目標ビットレートに変換したHFR用の符号化データを生成する。
また、例えば、LFR符号化部１１１によりHFR用の目標ビットレートを目標値として符号化された場合、レート制御部１０４は、その符号化データをHFR用の符号化データとし、さらに、その符号化データのビットレートをLFR用の目標ビットレートに変換したLFR符号化データを生成する。
さらに、例えば、LFR符号化部１１１によりLFR用およびHFR用の目標ビットレートよりも高いビットレートを目標値として符号化された場合、レート制御部１０４は、その符号化データのビットレートをLFR用の目標ビットレートに変換したLFR符号化データを生成するとともに、その符号化データのビットレートをHFR用の目標ビットレートに変換したHFR用の符号化データを生成する。
図１に示されるように、レート制御部１０４は、例えば、LFRレート制御部１２１およびHFRレート制御部１２２を有する。
LFRレート制御部１２１は、ビットレート決定部１０１により決定されたLFR用の目標ビットレートを用いて、LFR符号化部１１１から供給される符号化データのビットレートを適宜制御し、LFR符号化データを生成する。LFRレート制御部１２１は、生成したLFR符号化データを、画像符号化装置１００の外部に出力したり、記憶部１０６に供給して記憶させたりする。
HFRレート制御部１２２は、ビットレート決定部１０１により決定されたHFR用の目標ビットレートを用いて、LFR符号化部１１１から供給される符号化データのビットレートを適宜制御し、HFR用の符号化データ（LFR）を生成する。HFRレート制御部１２２は、生成したHFR用の符号化データ（LFR）を、コードストリーム統合部１０５に供給する。
コードストリーム統合部１０５は、HFR符号化部１１２から供給されるHFR用の符号化データ（HFR-LFR）と、HFRレート制御部１２２から供給されるHFR用の符号化データ（LFR）とを統合し、１のコードストリームを生成する。HFR用の符号化データ（HFR-LFR）と、HFR用の符号化データ（LFR）とは、共通のHFR画像データを符号化して生成された符号化データであり、互いに異なるフレームの画像データを符号化して生成されたものである。つまり、これらの符号化データを、適切な順で統合して１のコードストリームとすることにより、HFR画像データの全フレームを符号化した符号化データ（HFR符号化データ）が得られる。
なお、統合される両符号化データのビットレートは、それぞれ、HFR符号化部１１２若しくはHFRレート制御部１２２において、HFR用の目標ビットレートを用いて制御されている。したがって、これらの符号化データ間に大きなビットレートの差は無い。したがって、これらが統合されて生成されたHFR符号化データの再生画像におけるフレーム間のビット量の大きな変化による視覚的な違和感は抑制される。
コードストリーム統合部１０５は、生成したコードストリーム（HFR符号化データ）を、画像符号化装置１００の外部に出力するか、若しくは、記憶部１０６に供給し、記憶させる。
記憶部１０６は、LFRレート制御部１２１から供給されるLFR符号化データやコードストリーム統合部１０５から供給されるHFR符号化データを記憶することができる。記憶部１０６が、これらの符号化データの内、いずれか一方のみを記憶するようにしてもよいし、両方を記憶するようにしてもよい。例えば、HFR符号化データからLFR符号化データを生成することができる場合、HFR符号化データのみ記憶部１０６に記憶されるようにしてもよい。
また、LFR符号化データやHFR符号化データを記憶する必要が無い場合、この記憶部１０６を省略するようにしてもよい。
次にピクチャ選択について説明する。図２は、LFRとHFRのピクチャ配列の関係の例を説明する図である。
図２に示される四角の列は、画像データを示しており、各四角は、各フレームを表している。「Ｈ」と記載された四角は、HFR（High Frame Rate）のみに属するフレームを示し、「Ｌ」と記載された四角は、HFRおよびLFR（Low Frame Rate）の両方に属するフレームを示す。つまり、HFRは、図２に記載の全てのフレームにより構成され、LFRは、その内の一部のフレームにより構成される。なお、図２中の「Ｈ」および「Ｌ」の表記は、以上のような意味をもつものであり、実際のフレーム画像の絵を表すものではない。
また、図２の例におけるLFRおよびHFRの具体的なフレームレートは、以下のとおりである。「24P」は、２４フレーム毎秒のプログレッシブ画像を示し、「60P」は、６０フレーム毎秒のプログレッシブ画像を示す。
Low Frame Rate＝24P
High Frame Rate＝60P
また、LFRの目標ビットレート（Bit_LFR）と、HFRの目標ビットレート（Bit_HFR）の例を以下に２つ示す。
（Case-1）：
Bit_HFR＝500Mbps/60P=8.33Mb/pic
Bit_LFR＝250Mbps/24P=10.42Mb/pic
つまり、この場合、Bit_HFR ＜ Bit_LFRになる。つまり、LFRの符号化データの方が、HFRの符号化データよりも、１ピクチャ当たりの目標ビット量が多い。したがって、図２の「Ｌ」のピクチャ（共通フレーム）を、LFRの目標ビットレートで符号化すると、HFRの符号化データのビットレートが500Mbpsを超えてしまう恐れがある。従って、この場合、共通フレームのビットレートは、他のフレームと同様に8.33Mbpsに低下させなければならない。
（Case-2）：
Bit_HFR＝500Mbps/60P=8.33Mb/pic
Bit_LFR＝150Mbps/24P=6.25Mb/pic
つまり、この場合、Bit_HFR ＞ Bit_LFRになる。つまり、LFRの符号化データの方が、HFRの符号化データよりも、１ピクチャ当たりの目標ビット量が少ない。したがって、図２の「Ｌ」のピクチャ（共通フレーム）を、LFRの目標ビットレートで符号化すると、HFRの符号化データのビットレートが500Mbpsに達しない恐れがある。従って、この場合、共通フレームのビットレートは、他のフレームと同様に8.33Mbpsに増大させなければならない。
レート制御方法の具体例については、後述する。その前に、図１の符号化部１０３（LFR符号化部１１１およびHFR符号化部１１２）について説明する。
［１−４符号化部］
図３は、LFR符号化部１１１の主な構成例を示す図である。なお、HFR符号化部１１２は、符号化するフレームや目標ビットレートが異なる場合があるのみで、基本的には、LFR符号化部１１１と同様の構成を有し、同様の処理を行う。したがって、以下においては、LFR符号化部１１１の構成を説明し、そのLFR符号化部１１１の説明をHFR符号化部１１２にも適用することができるものとし、HFR符号化部１１２についての説明を省略する。
LFR符号化部１１１は、JPEG2000方式と同様のプログレッション構造を有するコードストリームを生成するように符号化を行う。LFR符号化部１１１がJPEG2000方式により画像を符号化するようにしてもよい。図３に示されるように、LFR符号化部１１１は、DCレベルシフト部１３１、ウェーブレット変換部１３２、量子化部１３３、コードブロック化部１３４、およびビットプレーン展開部１３５を有する。
DCレベルシフト部１３１は、後段のウェーブレット変換を効率的に行うために、矢印１６１のようにLFR符号化部１１１に入力されたHFR画像データのDC成分のレベルシフトを行う。例えば、RGB信号が正の値（符号無しの整数）を持っている。そこで、DCレベルシフト部１３１は、そのことを利用し、原信号のダイナミックレンジを半分にするレベルシフトを行うことで、圧縮効率の向上を図る。従って、YCbCr信号の色差データCbや色差データCrの様に符号（正負両方あり）の整数値を持つ信号を原信号とする場合には、このレベルシフトは行われない。
ウェーブレット変換部１３２は、通常低域フィルタと高域フィルタから構成されるフィルタバンクによって実現される。また、デジタルフィルタは通常複数タップ長のインパルス応答（フィルタ係数）を有するので、ウェーブレット変換部１３２は、フィルタリングが行えるだけの入力画像を予めバッファリングするバッファを有する。
ウェーブレット変換部１３２は、矢印１６２のようにDCレベルシフト部１３１より出力された画像データを、フィルタリングに最低限必要なデータ量以上取得すると、そのDCレベルシフト後の画像データに対して、所定のウェーブレット変換フィルタを用いてフィルタリングを行い、ウェーブレット係数を生成する。なお、ウェーブレット変換部１３２は、画像の垂直方向および水平方向のそれぞれに対して、画像データを低域成分と高域成分に分離するフィルタリングを行う。
そして、ウェーブレット変換部１３２は、このようなフィルタリング処理を、垂直方向および水平方向の両方において低域成分として分離されたサブバンドに対して再帰的に所定回数繰り返す。これは、例えば図４に示されるように、画像のエネルギーの多くが低域成分に集中しているからである。
図４は、サブバンドの構成例を示す図である。図４に示されるように、分割レベル数１の状態においても分割レベル数３の状態においても、画像のエネルギーの多くは、低域成分に集中している。
図５は、分割レベル数４のウェーブレット変換処理により生成されるサブバンドの構成例を示す図である。
この場合、ウェーブレット変換部１３２は、まず、画像全体をフィルタリングし、サブバンド1LL（図示せず）、1HL、1LH、および1HHを生成する。次に、ウェーブレット変換部１３２は、生成されたサブバンド1LLに対して再度フィルタリングを行い、2LL（図示せず）、2HL、2LH、および2HHを生成する。さらに、ウェーブレット変換部１３２は、生成されたサブバンド2LLに対して再度フィルタリングを行い、3LL、3HL、3LH、および3HHを生成する。さらに、ウェーブレット変換部１３２は、生成されたサブバンド3LLに対して再度フィルタリングを行い、4LL、4HL、4LH、および4HHを生成する。
このように、分割レベル数４まで分析フィルタリングが行われると、１３個のサブバンドが生成される。図５に示されるように、分割レベルが１つ上位に進むごとに、サブバンドのサイズは、縦方向および横方向にそれぞれ２分の１となる。
つまり、例えば横方向に１９２０画素の画像のベースバンドの画像データが１回分析フィルタリングされると、横方向に９６０画素のサブバンドが４つ（1LL,1HL,1LH,1HH）生成される。さらに、サブバンド1LLが１回分析フィルタリングされると、横方向に４８０画素のサブバンドが４つ（2LL,2HL,2LH,2HH）が生成される。さらに、サブバンド2LLが回分析フィルタリングされると、横方向に２４０画素のサブバンドが４つ（3LL,3HL,3LH,3HH）が生成される。さらに、サブバンド3LLが１回分析フィルタリングされると、横方向に１２０画素のサブバンドが４つ（4LL,4HL,4LH,4HH）が生成される。
なお、ウェーブレット変換の分割レベル数は任意である。
ウェーブレット変換部１３２は、フィルタリングにより得られたウェーブレット係数を、サブバンド毎に、矢印１６３に示されるように量子化部１３３に供給する。量子化部１３３は、供給されたウェーブレット係数を量子化する。この量子化の方法は任意であるが、量子化ステップサイズで除算するスカラ量子化が一般的である。量子化部１３３は、量子化により得られた量子化係数を、矢印１６４に示されるように、コードブロック化部１３４に供給する。なお、これより後段においては、ウェーブレット係数の代わりに量子化係数が供給されることになるが、この量子化係数もウェーブレット係数の場合と基本的に同様に扱われる。したがって、以下においては、必要でない限りその点についての説明は省略し、単に係数または係数データと称する。
なお、LFR符号化部１１１が、復号処理により元のデータを完全に復元可能な可逆符号化方式により画像データを符号化する場合、この量子化部１３３の処理は省略され、矢印１６５に示されるように、ウェーブレット変換部１３２の出力がコードブロック化部１３４に供給される。
ウェーブレット係数は、コードブロック化部１３４で、エントロピ符号化の処理単位である所定の大きさのコードブロックに分割される。図６は各サブバンド中のコードブロックの位置関係を示したものである。例えば64×64画素程度のサイズのコードブロックが、分割後のすべてのサブバンド中に生成される。後段の各処理部は、このコードブロック毎に処理を行う。
コードブロック化部１３４は、矢印１６６に示されるように、各コードブロックをビットプレーン展開部１３５に供給する。ビットプレーン展開部１３５は、係数データを、ビットの位毎のビットプレーンに展開する。
ビットプレーンは、所定の数のウェーブレット係数よりなる係数群を、１ビット毎、つまり位毎に分割（スライス）したものである。つまり、ビットプレーンは、その係数群の互いに同一の位のビット（係数ビット）の集合である。
図７にその具体例を示す。図７の左図は縦４個、横４個の計１６個の係数を示している。この１６個の係数のうち、絶対値が最大のものは１３で、２進数で１１０１と表現される。ビットプレーン展開部１３５は、このような係数群を、絶対値を示す４枚のビットプレーン（絶対値のビットプレーン）と、符号を示す１枚のビットプレーン（符号のビットプレーン）に展開する。つまり、図７中左の係数群は、図７中右に示されるように、４枚の絶対値のビットプレーンと１枚の符号のビットプレーンに展開される。ここで、絶対値のビットプレーンの要素はすべて０か１の値をとる。また、符号を示すビットプレーンの要素は、係数の値が正であることを示す値、係数の値が０であることを示す値、または係数の値がマイナスを示す値のいずれかをとる。
LFR符号化部１１１は、さらに、ビットモデリング部１３６、算術符号化部１３７、符号量加算部１３８、レート制御部１３９、ヘッダ生成部１４０、およびパケット生成部１４１を有する。
ビットプレーン展開部１３５は、展開したビットプレーンを、矢印１６７に示されるように、ビットモデリング部１３６に供給する。
ビットモデリング部１３６および算術符号化部１３７は、EBCOT（Embedded Coding with Optimized Truncation）部１５１として動作し、入力される係数データに対して、JPEG2000規格で定められたEBCOTと呼ばれるエントロピ符号化を行う。EBCOTは、所定の大きさのブロック毎にそのブロック内の係数の統計量を測定しながら符号化を行う手法である。
ビットモデリング部１３６は、JPEG2000規格で定められた手順に従って、係数データに対してビットモデリングを行い、矢印１６８に示されるように、制御情報、シンボル、およびコンテキスト等の情報を算術符号化部１３７に供給する。算術符号化部１３７は、係数のビットプレーンを算術符号化する。
コードブロックの縦横のサイズは４から２５６まで２のべき乗で、通常使用される大きさは、３２×３２、６４×６４、１２８×３２等がある。係数値がｎビットの符号付き２進数で表されていて、bit０からbit（ｎ−２）がLSBからMSBまでのそれぞれのビットを表すとする。残りの１ビットは符号を示す。符号ブロックの符号化は、MSB側のビットプレーンから順番に、次の３種類の符号化パスによって行われる。
（１）Significant Propagation Pass
（２）Magnitude Refinement Pass
（３）Cleanup Pass
３つの符号化パスの用いられる順序は、図８で示される。最初にBit-plane（n-1）（MSB）がCleanup Passによって符号化される。続いて順次LSB側に向かい、各ビットプレーンの符号化が、３つの符号化パスをSignificant Propagation Pass、Magnitude Refinement Pass、Cleanup Passの順序で用いて行われる。
ただし、実際にはMSB側から何番目のビットプレーンで初めて１が出てくるかをヘッダに書き、MSB側から連続するオール０のビットプレーン（ゼロビットプレーンと称する）は符号化しない。この順序で３種類の符号化パスを繰返し用いて符号化し、任意のビットプレーンの、任意の符号化パス迄で符号化を打ち切ることにより、符号量と画質のトレードオフを取る（レート制御を行う）。
次に、係数の走査（スキャニング）について図９を用いて説明する。コードブロックは高さ４個の係数毎にストライプ（stripe）に分けられる。ストライプの幅はコードブロックの幅に等しい。スキャン順とは、１個のコードブロック内の、すべての係数をたどる順番で、コードブロック中では上のストライプから下のストライプへの順序、ストライプの中では、左の列から右の列へ向かっての順序、列の中では上から下へという順序である。各符号化パスにおいてコードブロック中のすべての係数が、このスキャン順で処理される。
以下、３つの符号化パスについて述べる。以下はいずれもJPEG-2000規格書（参考文献：ISO/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system）に記述されている内容である。
（１）Significance Propagation Pass（SPパス）：
あるビットプレーンを符号化するSignificance Propagation Passでは、８近傍の少なくとも１つの係数が有意（significant）であるようなnon-significant係数のビットプレーンの値を算術符号化する。その符号化したビットプレーンの値が１である場合は、符号が＋であるか、−であるかを続けてMQ符号化する。
ここでsignificanceというJPEG2000特有の用語について説明する。significanceとは、各係数に対して符号化器が持つ状態で、significanceの初期値はnon-significantを表す０、その係数で１が符号化されたときにsignificantを表す１に変化し、以降常に１であり続けるものである。従って、significanceとは有効桁の情報を既に符号化したか否かを示すフラグとも言える。あるビットプレーンでsignificantになれば、以降のビットプレーンではsignificantになったままである。
（２）Magnitude Refinement Pass（MRパス）：
ビットプレーンを符号化するMagnitude Refinement Passでは、ビットプレーンを符号化する Significance Propagation Passで、且つ符号化していないsignificantな係数のビットプレーンの値をMQ符号化する。
（３）Cleanup Pass（CUパス）：
ビットプレーンを符号化するCleanup Passでは、ビットプレーンを符号化するSignificance Passで、且つ符号化していないnon-significantな係数のビットプレーンの値をMQ符号化する。その符号化したビットプレーンの値が１である場合は符号が＋であるか−であるか（Sign情報）を続けてMQ符号化する。
尚、以上の３つの符号化パスでのMQ符号化では、ケースに応じて、ZC（Zero Coding）、RLC（Run-Length Coding）、SC（Sign Coding）、およびMR（Magnitude Refinement）が使い分けられる。ここでMQ符号化と呼ばれる算術符号が用いられる。MQ符号化は、JBIG2（参考文献：ISO/IEC FDIS 14492, “Lossy/Lossless Coding of Bi-level Images”, March 2000）で規定された学習型の２値算術符号である。
図３に戻り、算術符号化部１３７は、生成したコードストリームを、矢印１６９に示されるように、符号量加算部１３８に供給する。符号量加算部１３８は、そのコードストリームの符号量をカウントし、累積する。
そして、符号量加算部１３８は、そのコードストリームを、矢印１７２および矢印１７３に示されるように、ヘッダ作成部１４０およびパケット生成部１４１に供給するとともに、矢印１７０に示されるように、符号量の累積値をレート制御部１３９に供給する。レート制御部１３９は、供給された符号量の累積値に基づいて、矢印１７１に示されるように、EBCOT部１５１を制御し、累積値が目標符号量に達した時点で符号化を終了させる。つまり、レート制御部１３９は、発生符号量の制御（コードストリームのレート制御）を行う。
パケット生成部１４１は、供給されたコードストリームをパケット化する。ヘッダ生成部１４０は、そのパケットのヘッダ情報を生成し、そのヘッダ情報を矢印１７４に示されるように、パケット生成部１４１に供給する。パケット生成部１４１は、そのヘッダ情報を用いてパケット化を行う。
このパケットの概念を図１０に示す。図１０に示される例では、ウェーブレット変換を３回施した例で、その結果、最低域のPacket-1から最高域のPacket-4までの4個のパケットが生成されることを示している。従って、これら個々のパケット内のサブバンド中に存在する、すべての符号ブロックの符号化コードストリームが、パケット毎にパッキングされることになる。
また図１１は、符号化パスを、レイヤ１乃至レイヤＬのＬ個のレイヤに分割したケースを図示したものである。あるコードブロックで、レイヤｎの先頭の符号化パスはレイヤ（ｎ−１）の最終後尾の符号化パスの直後に位置する。したがって、レイヤ数が増えるごとにコードストリームの符号量が増加する。つまり復号画像の画質が向上する（解像度は変化しない）。
したがって、復号時に、レイヤ１からどのレイヤまでを復号するかを制御することにより、復号画像の画質を制御することができる。以下において、特に説明をしない限り、「画質」は、このレイヤ（つまり各画素の情報量）に依存する復号画像の視覚的品質のことを示すものとする。
なお、どのコードブロックのどの符号化パスでレイヤの境界を切るかは、エンコーダ（画像符号化装置１００）により設定することができる。以上のパケット内のサブバンド中に存在する、すべてのコードブロックのコードストリームが、パケット毎にパッキングされることになる。
生成されたパケットは矢印１７５に示されるように、外部に出力される。
LFR符号化部１０３は、上述したようにJPEG2000方式で画像データを符号化し、解像度やレイヤ等について、JPEG2000のプログレッション機能を持たせたコードストリームを生成する。
JPEG2000の符号化における特徴として、ビットプレーンと、ウェーブレット変換によって生成されるサブバンドとがある。これらによってプログレッションの定義が可能になる。
プログレッションとは、同じカテゴリに属する符号語の順番である。例えば同じ解像度レベルに属する異なるレイヤの符号語を集めれば、画像サイズが同一で画質が異なる画像を生成することができる。逆に同じレイヤに属する異なる解像度レベルの符号語を集めれば、画質が同じで画像サイズが異なる画像を生成することができる。つまり、復号画像の拡張性を実現するためのデータ構造である。
JPEG2000では、このように所定の要素について、コードストリームから一部のデータのみを復号することができる。これにより、１つのコードストリームから多様な復号画像を容易に得ることができる。つまり、コードストリームにこのようなプログレッション構造を持たせることにより、より多様な用途に使用することができるようになり、コードストリームの利便性が向上する。
例えば、１つのコードストリームから、大画面の表現力が豊かな高性能の液晶ディスプレイに対しては、高解像度かつ高ビットレートの復号画像を提供し、小画面で画像処理能力が低い携帯電話機等に対しては、低解像度かつ低ビットレートの復号画像を提供する、といったことも、復号するレイヤやサブバンド等のプログレッションの要素の選択により、容易に実現することができる。
なお、このようなプログレッション構造は、復号処理だけでなく、復号画像の画像サイズや画質等を変化させる変換処理（トランスコード）においても利用することができる。つまり、上述した復号処理の場合と同様に、レイヤやサブバンド等のプログレッションの要素を選択するだけで、容易に、復号画像の画像サイズや画質を変化させたコードストリームを生成する（すなわちトランスコードする）ことができる。
JPEG2000の場合、プログレッションの要素には、解像度レベル、レイヤ、ポジション、およびコンポーネントの４つが存在する。
解像度レベルは、図４で図示したように、ウェーブレット変換に伴って生成されるレベルである。つまり、解像度レベルは、復号画像の画像サイズを定義するものである。レイヤは、図１１で図示した通り、ビットプレーン方向のレベルで画質を左右する要素である。また、コンポーネントは、例えばYCｂCrのような異なる成分からなる場合に定義されるものである（YCbCrやRGBの場合、コンポーネント数は、３になる）。最後にポジションであるが、これはJPEG2000の特徴の１つのタイリングに関係するもので、画面を複数の矩形ブロックに分割エンコード・デコードする場合の、各タイルの個数や位置を定義する。
以上のようにプログレッションの要素が複数存在する場合、要素毎の階層構造が形成される。JPEG2000のPart-1の場合、上述した要素を使ったLRCP（Layer Resolution-level Component Position Progression）、RLCP（Resolution-level Layer Component Position Progression）、RPCL（Resolution-level Position Component Layer）、PCRL（Position Component Resolution-level Layer）、およびCPRL（Component Position Resolution-level Layer）の５通りの階層構造が用意されている。
図１２はLRCPの順番にJPEG2000の符号語を並べた符号化コードストリームを、その順番にデコードした時に生成されるデコード画像を図示したものである。このプログレッション構造の場合、以下の順番にパケットが並んでいる。すなわち、最上位階層がレイヤ（全レイヤ数＝Ｌ）、その１つ下の階層が解像度レベル（N(max)が最大解像度レベル）、さらにその１つ下の階層がコンポーネント（Csizはコンポーネント総数）、最下位階層がポジションとなるように、符号語が並べられている。なお、以下においては、ポジション（P）についての説明は省略している。
for each l = 0, …, L-1
for each r = 0, …, N(max)
for each i = 0, …, Csiz-1
{ packet for component(i), resolution-level（ｒ）, layer(l) }
この場合、最上位階層がレイヤであるので、復号画像は、図１２に示される画像１８１、画像１８２、画像１８３、画像１８４の順のように、徐々に画質が向上していくように表示される。
図１３はRLCPの順番にJPEG2000の符号語を並べた符号化コードストリームを、その順番にデコードした際に生成されるデコード画像を図示したものである。このプログレッション構造の場合、以下の順番にパケットが並んでいる。すなわち、最上位階層が解像度レベル、その１つ下の階層がレイヤ、さらにその１つ下の階層がコンポーネント、最下位階層がポジションとなるように、符号語が並べられている。なお、以下においては、ポジション（P）についての説明は省略している。
for each r = 0, …, N(max)
for each l = 0, …, L-1
for each i = 0, …, Csiz-1
{ packet for component(i), resolution-level（ｒ）, layer(l) }
この場合、最上位階層が解像度レベルであるので、復号画像は、図１３に示される画像１９１、画像１９２、画像１９３、画像１９４の順のように、徐々に画像サイズ（解像度）が大きくなるように表示される。
このように、プログレッションの各要素の階層構造に応じて、コードストリームの復号処理の順序が異なり、復号画像の表示のされ方も変化する。その他のRPCL、PCRL、およびCPRLについても同様に、それぞれの階層構造に応じた順序で復号処理が進められる。
［１−５レート制御］
次に、レート制御について説明する。図１４は、レート制御の様子の例を説明する図である。まず、上述した（Case-1）の場合（Bit_HFR ＜ Bit_LFR）について説明する。上述したように、この場合のBit_HFRとBit_LFRは、以下のとおりとする。
Bit_HFR＝500Mbps/60P=8.33Mbits/pic
Bit_LFR＝250Mbps/24P=10.42Mbits/pic
この場合、図２に示されるように、１秒間６０ピクチャの中でＬの２４ピクチャをこのまま含めると、上述したようにHFRのビットレートが500Mbpsを超えてしまう。従ってＬの２４ピクチャも8.33Mbits/picに削減する必要がある。
図１４において、CB0、CB1，・・・・・・・CBnはコードブロックの番号である。JPEG2000のEBCOT符号化を用いれば、上位MSBから下位LSBに至るビットプレーン毎に、符号量を制御することができる。
例えば、最上位ビットプレーンの（１）乃至（１４）（図１４中では、丸囲み数字で示す。以下同じ。）のビットプレーンの発生符号量が、上記のBit_LFRであるとする。また、（１）乃至（９）までのビットプレーンの発生符号量が、上記のBit_HFRであるとする。
この場合、レート制御部１０４は、（１０）乃至（１４）のビットプレーンの発生符号量を切り捨てることで、ビットレートをBit_LFRからBit_HFRに低減することができる。この様に、レート制御部１０４は、高いビットレートでエンコードされた符号化コードストリームを（デコード＋再エンコード）することなく、コードストリームレベルでの操作によって変換することができる。
次に（Case-2）について説明する。上述したように、この場合のBit_HFRとBit_LFRは、以下のとおりとする。
Bit_HFR＝500Mbps/60P=8.33Mb/pic
Bit_LFR＝150Mbps/24P=6.25Mb/pic
この場合、Bit_LFR ＜ Bit_HFRであるので、図１４の（１）乃至（６）のビットプレーンの発生符号量がBit_LFRであるとすると、60Pの動画の内の24Pのピクチャの発生符号量が小さいため、HFRのビットレートが500Mbpsに達しない。従って、Ｌピクチャの符号化において、発生符号量を（１）乃至（９）の8.33Mbps（Bit_HFRと同値）に増加させるようにすればよい。これによって６０Pのビットレートを維持することができる。
以上のように、本技術によれば、動画像信号を、低フレームレート用のビットレートと高フレームレートのビットレートを満たしながら同時並行的にエンコードを行い、低フレームレート用の符号化コードストリームと、高フレームレート用の符号化コードストリームを生成するので、高フレームレートのコードストリームの一部を抽出することで、低フレームレートのコードストリームを抽出する効果がある。
従って、従来の様に低フレームレートと高フレームレートのコードストリームを別々に記憶・保持しておく必要が無いので、ハードディスクやメモリ等の容量を削減する効果がある。その結果、ハード機器ではコストダウンの効果もある。
すなわち、画像符号化装置１００は、１の動画像データから複数種類のフレームレートの符号化データを、より容易に生成することができる。
なお、以上においては、画像データを符号化して２つのフレームレートの符号化データを生成する場合について説明したが、フレームレート（符号化データ）の種類は任意であり、３つ以上であってもよい。例えば、１の画像データから３つ以上の互いに異なるフレームレートの符号化データが生成されるようにしてもよい。
［１−６処理の流れ］
次に、画像符号化装置１００により実行される各処理について説明する。最初に、図１５のフローチャートを参照して、複数FR符号化処理の流れの例を説明する。
複数FR符号化処理が開始されると、ビットレート決定部１０１は、ステップＳ１０１において、フレームレート（FR）毎に目標ビットレートを決定する。
ステップＳ１０２において、ピクチャ選択部１０２は、処理対象のピクチャがLFR用のピクチャであるか否かを判定する。LFR用のピクチャであると判定された場合、処理は、ステップＳ１０３に進む。
ステップＳ１０３において、LFR符号化部１１１は、LFRの方がHFRよりも目標ビットレートが高いか否かを判定する。LFRの方がHFRよりも目標ビットレートが高いと判定された場合、処理は、ステップＳ１０４に進む。
ステップＳ１０４において、LFR符号化部１１１は、処理対象にピクチャの画像データを、ステップＳ１０１において決定されたLFR用の目標ビットレートを用いて符号化する。この符号化処理の詳細については、後述する。
符号化が終了すると、ステップＳ１０５において、LFRレート制御部１２１は、ステップＳ１０４の処理により得られた処理対象のピクチャの符号化データをLFR符号化データとして出力する。
また、ステップＳ１０６において、HFRレート制御部１２２は、ステップＳ１０４の処理により得られた処理対象のピクチャの符号化データのビットレートを、HFR用の目標ビットレートに近づけるように制御する。
ステップＳ１０７において、コードストリーム統合部１０５は、ステップＳ１０６の処理によりビットレートが制御された処理対象のピクチャの符号化データを、HFR符号化データとして出力する。
ステップＳ１０７の処理が終了すると、処理は、ステップＳ１１４に進む。
また、ステップＳ１０３において、LFRの方がHFRよりも目標ビットレートが低いと判定された場合、処理は、ステップＳ１０８に進む。
ステップＳ１０８において、LFR符号化部１１１は、処理対象のピクチャの画像データを、ステップＳ１０１において決定されたHFR用の目標ビットレートを用いて符号化する。この符号化処理の詳細については、後述する。
ステップＳ１０９において、コードストリーム統合部１０５は、ステップＳ１０８の処理により得られた処理対象のピクチャの符号化データを、HFR符号化データとして出力する。
また、ステップＳ１１０において、LFRレート制御部１２１は、ステップＳ１０８の処理により得られた符号化データのビットレートを、LFR用の目標ビットレートに近づけるように制御する。
ステップＳ１１１において、LFRレート制御部１２１は、ステップＳ１１０においてビットレートが制御された処理対象のピクチャの符号化データを、LFR符号化データとして出力する。
ステップＳ１１１の処理が終了すると、処理は、ステップＳ１１４に進む。
また、ステップＳ１０２において、処理対象のピクチャがLFR用のピクチャでないと判定された場合、処理は、ステップＳ１１２に進む。
ステップＳ１１２において、HFR符号化部１１２は、処理対象のピクチャの画像データを、ステップＳ１０１において決定されたHFR用の目標ビットレートを用いて符号化する。この符号化処理の詳細については、後述する。
ステップＳ１１３において、コードストリーム統合部１０５は、ステップＳ１１２の処理により得られた処理対象のピクチャの符号化データを、HFR符号化データとして出力する。
ステップＳ１１３の処理が終了すると、処理は、ステップＳ１１４に進む。
ステップＳ１１４において、ピクチャ選択部１０２は、全てのピクチャを処理したか否かを判定する。未処理のピクチャが存在すると判定された場合、処理は、ステップＳ１０２に戻る。すなわち、ステップＳ１０２乃至ステップＳ１１４の各処理が、ピクチャ毎に行われる。
なお、ピクチャ毎に目標ビットレートを変える場合、このループ処理にステップＳ１０１を含めても良い。その場合、ステップＳ１１４において、未処理のピクチャが存在すると判定された場合、処理は、ステップＳ１０１に戻る。
ステップＳ１１４において、全てのピクチャを処理したと判定された場合、複数FR符号化処理が終了する。
次に、図１６のフローチャートを参照して、図１５のステップＳ１０４、ステップＳ１０８、およびステップＳ１１２において実行される符号化処理の流れの例を説明するフローチャートである。どのステップで実行する場合も、目標ビットレートが異なる以外は、基本的に同様の処理が実行される。
符号化処理が開始されると、ステップＳ１３１において、DCレベルシフト部１３１は、自身が対応する入力系統より入力された画像データのDCレベルをシフトする。ステップＳ１３２において、ウェーブレット変換部１３２は、DCレベルがシフトされた画像データをウェーブレット変換する。
ステップＳ１３３において、量子化部１３３は、非可逆符号化方式の場合、ステップＳ１３２において生成されたウェーブレット係数を量子化する。なお、可逆符号化方式の場合、この処理は省略される。
ステップＳ１３４において、コードブロック化部１３４は、量子化された係数をコードブロック単位で分割する。ステップＳ１３５において、ビットプレーン展開部１３５は、そのコードブロック毎の係数をビットプレーンに展開する。
ステップＳ１３６において、EBCOT部１５１は、ビットプレーン展開された係数を符号化する。ステップＳ１３７において、レート制御部１３９は、符号量加算部１３８において加算された符号量等を用いて、発生符号量のレートを、ビットレート決定部１０１により決定された目標ビットレートに近づけるように制御する。
ステップＳ１３８において、ヘッダ生成部１４０は、パケットヘッダを生成する。ステップＳ１３９において、パケット生成部１４１は、パケットを生成する。ステップＳ１４０において、符号化部１０３は、そのパケットを外部に出力する。
ステップＳ１４０の処理が終了すると、符号化処理が終了し、処理は、図１５のステップＳ１０４、ステップＳ１０８、若しくはステップＳ１１２に戻る。
以上のように各処理を実行することにより、画像符号化装置１００は、１の動画像データから複数種類のフレームレートの符号化データを、より容易に生成することができる。
＜２．第２の実施の形態＞
［２−１画像符号化装置］
なお、ピクチャ選択は、符号化の後であってもよい。図１７は、画像符号化装置の、他の構成例を示すブロック図である。
図１７に示される画像符号化装置２００は、本技術を適用した画像処理装置であり、図１の画像符号化装置１００と同様に、１の画像データから複数のフレームレートの符号化データを生成する装置である。
図１７に示されるように、画像符号化装置２００は、ビットレート決定部２０１、符号化部２０２、レート制御部２０３、および記憶部２０４を有する。
ビットレート決定部２０１は、図１のビットレート決定部１０１の場合と同様に、LFR用およびHFR用のそれぞれの目標ビットレートを決定する。ビットレート決定部２０１は、決定したこれらの目標ビットレートを示す制御情報を符号化部２０２およびレート制御部２０３に供給し、これらの動作を制御する。
符号化部２０２は、画像符号化装置２００に入力される高フレームレートの画像データ（HFR画像データ）を、例えばJPEG2000方式で符号化する。符号化部２０２は、ビットレート決定部２０１により決定されたLFR用の目標ビットレート、および、HFR用の目標ビットレートの内、高い方のビットレートを用いて符号化を行う。符号化部２０２は、符号化して得られた高フレームレートの符号化データ（HFR符号化データ）を、レート制御部２０３に供給する。
レート制御部２０３は、符号化部２０２により生成されたHFR符号化データから、一部のフレームのデータを抽出し、低フレームレートの符号化データ（LFR符号化データ）を生成する。レート制御部２０３は、そのLFR符号化データのビットレートと、HFR符号化データのビットレートを、それぞれ、ビットレート決定部２０１により決定された目標ビットレートを用いて変換する。レート制御部２０３は、ビットレートを制御したLFR符号化データとHFR符号化データをそれぞれ画像符号化装置２００の外部に出力するか、若しくは、記憶部２０４に供給し、記憶させる。一方を出力し、他方を記憶部２０４に記憶させても良い。
レート制御部２０３は、図１７に示されるように、ピクチャ選択部２１１、LFRレート制御部２１２、およびHFRレート制御部２１３を有する。
ピクチャ選択部２１１は、符号化部２０２から供給されるHFR符号化データから、LFRに属するフレームのデータを検出し、抽出する。ピクチャ選択部２１１は、抽出したデータ（一部のフレームのデータ）を、LFR符号化データとしてLFRレート制御部２１２に供給する。
なお、それとともに、ピクチャ選択部２１１は、符号化部２０２から供給されたHFR符号化データ（全てのフレームのデータ）をHFRレート制御部２１３に供給する。
LFRレート制御部２１２は、ピクチャ選択部２１１から供給されるLFR符号化データのビットレートを、ビットレート決定部２０１により決定されたLFR用の目標ビットレートに近づけるように制御する。LFRレート制御部２１２は、ビットレートを制御したLFR符号化データを、画像符号化装置２００の外部に出力するか、若しくは、記憶部２０４に供給し、記憶させる。
なお、符号化部２０２においてLFR用の目標ビットレートを用いて符号化が行われた場合、このLFRレート制御部２１２は、省略することができる。その場合、ピクチャ選択部２１１から出力されたLFR符号化データは、画像符号化装置２００の外部に出力されるか、若しくは、記憶部２０４に供給し、記憶される。
HFRレート制御部２１３は、ピクチャ選択部２１１から供給されるHFR符号化データのビットレートを、ビットレート決定部２０１により決定されたHFR用の目標ビットレートに近づけるように制御する。HFRレート制御部２１３は、ビットレートを制御したHFR符号化データを、画像符号化装置２００の外部に出力するか、若しくは、記憶部２０４に供給し、記憶させる。
なお、符号化部２０２においてHFR用の目標ビットレートを用いて符号化が行われた場合、このHFRレート制御部２１３は、省略することができる。その場合、ピクチャ選択部２１１から出力されたHFR符号化データは、画像符号化装置２００の外部に出力されるか、若しくは、記憶部２０４に供給し、記憶される。
記憶部２０４は、記憶部１０６と同様の記憶部であり、LFRレート制御部２１２から供給されるLFR符号化データや、HFRレート制御部２１３から供給されるHFR符号化データを記憶することができる。記憶部２０４が、これらの符号化データの内、いずれか一方のみを記憶するようにしてもよいし、両方を記憶するようにしてもよい。例えば、HFR符号化データからLFR符号化データを生成することができる場合、HFR符号化データのみ記憶部２０４に記憶されるようにしてもよい。
また、LFR符号化データやHFR符号化データを記憶する必要が無い場合、この記憶部２０４を省略するようにしてもよい。
このように、ピクチャの選択を符号化処理より後段で行うようにすることにより、画像符号化装置２００は、画像符号化装置１００の場合と同様に、１の動画像データから複数種類のフレームレートの符号化データを、より容易に生成することができる。
また、図１７に示されるように、画像符号化装置２００の方が、画像符号化装置１００よりも、処理部の構造を簡易化することができる。これにより、ハードウエアにより画像符号化装置の各処理部を実現する場合、回路規模や製造コストの増大を抑制することができる。また、画像符号化装置をソフトウエアにより実現する場合、各処理が容易になる。さらに、この符号化やレート制御による遅延時間の増大を抑制することができる。
［２−２処理の流れ］
次に、画像符号化装置２００により実行される処理の流れについて説明する。図１８のフローチャートを参照して、画像符号化装置２００による複数FR符号化処理の流れの例を説明する。
複数FR符号化処理が開始されると、ビットレート決定部２０１は、ステップＳ２０１において、フレームレート（FR）毎に目標ビットレートを決定する。
ステップＳ２０２において、符号化部２０２は、LFRの方がHFRよりも目標ビットレートが高いか否かを判定する。LFRの方がHFRよりも目標ビットレートが高いと判定された場合、処理は、ステップＳ２０３に進む。
ステップＳ２０３において、符号化部２０２は、処理対象のピクチャの画像データを、ステップＳ２０１において決定されたLFR用の目標ビットレートを用いて、図１６のフローチャートを参照して説明したように、符号化する。
ステップＳ２０４において、ピクチャ選択部２１１は、処理対象のピクチャがLFRに属するピクチャであるか否かを判定する。LFRに属するピクチャであると判定された場合、処理は、ステップＳ２０５に進む。
ステップＳ２０５において、LFRレート制御部２１２は、処理対象のピクチャの符号化データをLFR符号化データとして出力する。
ステップＳ２０６において、HFRレート制御部２１３は、処理対象のピクチャの符号化データのビットレートを、ステップＳ２０１において決定されたHFR用の目標ビットレートに近づけるように制御する。
ステップＳ２０７において、HFRレート制御部２１３は、ステップＳ２０６の処理によりビットレートが制御された処理対象のピクチャの符号化データを、HFR符号化データとして出力する。
ステップＳ２０７の処理が終了すると、処理はステップＳ２１７に進む。
また、ステップＳ２０４において、処理対象のピクチャがLFRに属さないピクチャであると判定された場合、処理は、ステップＳ２０８に進む。
ステップＳ２０８において、HFRレート制御部２１３は、処理対象のピクチャの符号化データのビットレートを、ステップＳ２０１において決定されたHFR用の目標ビットレートに近づけるように制御する。
ステップＳ２０９において、HFRレート制御部２１３は、ステップＳ２０８の処理によりビットレートが制御された処理対象のピクチャの符号化データを、HFR符号化データとして出力する。
ステップＳ２０９の処理が終了すると、処理はステップＳ２１７に進む。
また、ステップＳ２０２において、LFRの方がHFRよりも目標ビットレートが低いと判定された場合、処理は、ステップＳ２１０に進む。
ステップＳ２１０において、符号化部２０２は、処理対象のピクチャの画像データを、ステップＳ２０１において決定されたHFR用の目標ビットレートを用いて、図１６のフローチャートを参照して説明したように、符号化する。
ステップＳ２１１において、ピクチャ選択部２１１は、処理対象のピクチャがLFRに属するピクチャであるか否かを判定する。LFRに属するピクチャであると判定された場合、処理は、ステップＳ２１２に進む。
ステップＳ２１２において、LFRレート制御部２１２は、処理対象のピクチャの符号化データのビットレートを、ステップＳ２０１において決定されたLFR用の目標ビットレートに近づけるように制御する。
ステップＳ２１３において、LFRレート制御部２１２は、ステップＳ２１２の処理によりビットレートが制御された処理対象のピクチャの符号化データを、LFR符号化データとして出力する。
ステップＳ２１３の処理が終了すると、処理はステップＳ２１７に進む。
また、ステップＳ２１１において、処理対象のピクチャがLFRに属さないピクチャであ４ると判定された場合、処理は、ステップＳ２１４に進む。
ステップＳ２１４において、HFRレート制御部２１３は、処理対象のピクチャの符号化データをHFR符号化データとして出力する。
ステップＳ２１５において、LFRレート制御部２１２は、処理対象のピクチャの符号化データのビットレートを、ステップＳ２０１において決定されたLFR用の目標ビットレートに近づけるように制御する。
ステップＳ２１６において、LFRレート制御部２１２は、ステップＳ２１５の処理によりビットレートが制御された処理対象のピクチャの符号化データを、LFR符号化データとして出力する。
ステップＳ２１６の処理が終了すると、処理はステップＳ２１７に進む。
ステップＳ２１７において、ピクチャ選択部１０２は、全てのピクチャを処理したか否かを判定する。未処理のピクチャが存在すると判定された場合、処理は、ステップＳ２０２に戻る。すなわち、ステップＳ２０２乃至ステップＳ２１６の各処理（分岐で選択されたなかった一部の処理を除く）が、ピクチャ毎に行われる。
なお、ピクチャ毎に目標ビットレートを変える場合、このループ処理にステップＳ２０１を含めても良い。その場合、ステップＳ２１７において、未処理のピクチャが存在すると判定された場合、処理は、ステップＳ２０１に戻る。
ステップＳ２１７において、全てのピクチャを処理したと判定された場合、複数FR符号化処理が終了する。
以上のように各処理を実行することにより、画像符号化装置２００は、１の動画像データから複数種類のフレームレートの符号化データを、より容易に生成することができる。
＜３．第３の実施の形態＞
［３−１画像復号装置］
なお、第２の実施の形態において説明したようなレート制御は、符号化データに対してであれば、どの段階でも行うことができる。つまり、例えば、画像復号装置において復号する前の符号化データに対して同様のレート制御を行うこともできる。以下、その場合について説明する。
図１９は、画像復号装置の主な構成例を示すブロック図である。図１９に示される画像復号装置３００は、本技術を適用した画像処理装置であり、１の符号化データから複数のフレームレートの符号化データを生成し、さらにそれらを復号する装置である。
画像復号装置３００に入力される符号化データや、記憶部３０１に記憶されている符号化データは、所定のビットレートである高ビットフレーム（HFR）の画像データが符号化された符号化データ（HFR符号化データ）である。画像復号装置３００は、そのHFR符号化データを復号し、HFRの画像データ（HFR画像データ）と、HFRよりもビットレートが低い所定のビットレートである低ビットフレーム（LFR）の画像データ（LFR）画像データを生成し、出力する。
その際、画像復号装置３００は、HFR符号化データのビットレートを、HFR用の目標ビットレートに近づけるように制御するとともに、LFR符号化データのビットレートを、LFR用の目標ビットレートに近づけるように制御する。これにより、画像復号装置３００は、複数の、所望のビットレートの、所望のフレームレートの画像データを得ることができる。
なお、以下において、図２を参照して説明した場合と同様に、LFRに属するフレームは、全てHFRに属するものとする。また、画像復号装置３００に入力される符号化データは、画像符号化装置１００や画像符号化装置２００が行う符号化方式（例えばJPEG2000方式）により符号化されているものとする。
図１９に示されるように、画像復号装置３００は、記憶部３０１、ビットレート決定部３０２、レート制御部３０３、および復号部３０４を有する。
記憶部３０１は、画像データが符号化された符号化データを記憶し、所定のタイミング、若しくは、要求に基づいて、記憶している符号化データをビットレート決定部３０２やレート制御部３０３に供給する。記憶部３０１は、画像復号装置３００に入力された符号化データを記憶してもよいし、予め符号化データを記憶していても良い。
ビットレート決定部３０２は、画像復号装置３００に入力された符号化データ、若しくは、記憶部３０１から読み出した符号化データを取得し、その符号化データについて、HFR用のビットレートと、LFR用のビットレートを、それぞれ決定する。
ビットレート決定部３０２は、決定したビットレートを示す制御情報をレート制御部３０３に供給し、その動作を制御する。
レート制御部３０３は、供給されるHFR符号化データからLFR符号化データを生成し、そのHFR符号化データのビットレートを、ビットレート決定部３０２により決定されたHFR用の目標ビットレートに近づけるように制御するとともに、生成したLFR符号化データのビットレートを、ビットレート決定部３０２により決定されたLFR用の目標ビットレートに近づけるように制御する。
図１９に示されるように、レート制御部３０３は、ピクチャ選択部３１１、LFRレート制御部３１２、および、HFRレート制御部３１３を有する。
ピクチャ選択部３１１は、供給されたHFR符号化データから、LFRに属するフレームのデータを検出し、抽出する。ピクチャ選択部３１１は、抽出したデータ（一部のフレームのデータ）を、LFR符号化データとしてLFRレート制御部３１２に供給する。
なお、それとともに、ピクチャ選択部３１１は、供給されたHFR符号化データ（全てのフレームのデータ）をHFRレート制御部３１３に供給する。
LFRレート制御部３１２は、ピクチャ選択部３１１から供給されるLFR符号化データのビットレートを、ビットレート決定部３０２により決定されたLFR用の目標ビットレートに近づけるように制御する。LFRレート制御部３１２は、ビットレートを制御したLFR符号化データを、復号部３０４に供給する。
HFRレート制御部３１３は、ピクチャ選択部３１１から供給されるHFR符号化データのビットレートを、ビットレート決定部３０２により決定されたHFR用の目標ビットレートに近づけるように制御する。HFRレート制御部３１３は、ビットレートを制御したHFR符号化データを、復号部３０４に供給する。
復号部３０４は、レート制御部３０３（LFRレート制御部３１２およびHFRレート制御部３１３）から供給される符号化データ（LFR符号化データおよびHFR符号化データ）を復号する。
図１９に示されるように、復号部３０４は、LFR復号部３２１およびHFR復号部３２２を有する。
LFR復号部３２１は、LFRレート制御部３１２から供給されるLFR符号化データを、その符号化方式に対応する方法で復号する。例えば、LFR復号部３２１は、JPEG2000方式により符号化されているLFR符号化データを、そのJPEG2000方式により復号し、画像データを生成する。LFR復号部３２１は、生成した画像データ（LFR画像データ）を画像復号装置３００の外部に出力する。なお、LFR復号部３２１は、この画像データを記憶部３０１に記憶させても良い。
HFR復号部３２２は、HFRレート制御部３１３から供給されるHFR符号化データを、その符号化方式に対応する方法で復号する。例えば、HFR復号部３２２は、JPEG2000方式により符号化されているHFR符号化データを、そのJPEG2000方式により復号し、画像データを生成する。HFR復号部３２２は、生成した画像データ（HFR画像データ）を画像復号装置３００の外部に出力する。なお、HFR復号部３２２は、この画像データを記憶部３０１に記憶させても良い。
［３−２復号部］
次に、図１９の復号部３０４（LFR復号部３２１およびHFR復号部３２２）について説明する。
図２０は、LFR復号部３２１の主な構成例を示す図である。なお、HFR復号部３２２は、符号化するフレームや目標ビットレートが異なる場合があるのみで、基本的には、LFR復号部３２１と同様の構成を有し、同様の処理を行う。したがって、以下においては、LFR復号部３２１の構成を説明し、そのLFR復号部３２１の説明をHFR復号部３２２にも適用することができるものとし、HFR復号部３２２についての説明を省略する。
図２０に示されるように、LFR復号部３２１は、パケット解読部３５１、算術復号部３５２、ビットモデリング部３５３、ビットプレーン合成部３５４、コードブロック合成部３５５、ウェーブレット逆変換部３５６、およびDCレベル逆シフト部３５７を有する。
パケット解読部３５１は、矢印３６１に示されるように、外部から供給される、若しくは、記憶部３０１から読み出されるパケットを解読し、矢印３６２に示されるように、コードストリームを算術復号部３５２に供給する。
算術復号部３５２およびビットモデリング部３５３は、EBCOT部３７１として動作し、入力されるコードストリームに対して、例えばJPEG2000規格等で定められたEBCOTと呼ばれるエントロピ復号を行う。
算術復号部３５２は、算術符号化部１３７に対応する方法でコードストリームを復号し、矢印３６３に示されるように、コンテキストをビットモデリング部３５３に供給する。ビットモデリング部３５３は、ビットモデリング部１３６に対応する方法で、ビットプレーンに展開されたウェーブレット係数を生成する。ビットモデリング部３５３は、生成したビットプレーン毎の係数データを、矢印３６４に示されるように、ビットプレーン合成部３５４に供給する。
ビットプレーン合成部３５４は、ビットプレーンに展開されたウェーブレット係数を合成する。ビットプレーン合成部３５４は、ビットプレーンを合成したウェーブレット係数を、矢印３６５に示されるように、コードブロック合成部３５５に供給する。
コードブロック合成部３５５は、供給されたビットプレーンを用いてコードブロック単位の係数データを生成し、さらにそれらを合成し、サブバンド毎の係数データを生成する。コードブロック合成部３５５は、矢印３６６に示されるように、それをウェーブレット逆変換部３５６に供給する。
ウェーブレット逆変換部３５６は、供給されたウェーブレット係数をウェーブレット逆変換し、ベースバンドの画像データを生成する。ウェーブレット逆変換部３５６は、生成したベースバンドの画像データを、矢印３６７に示されるように、DCレベル逆シフト部３５７に供給する。
DCレベル逆シフト部３５７は、その画像データのDC成分に対して、DCレベルシフト部１３１においてシフトした分を元に戻すDCレベル逆シフト処理を必要に応じて行う。DCレベル逆シフト部３５７は、DCレベル逆シフト処理後の画像データ（復号画像データ）を、矢印３６８に示されるように、画像復号装置３００の外部に出力する。
以上のように符号化データを復号することにより、画像復号装置３００は、１の符号化データから複数種類のフレームレートの符号化データを、より容易に生成することができる。
［３−３処理の流れ］
次に、画像復号装置３００により実行される各種処理の流れについて説明する。まず、図２１のフローチャートを参照して、複数FR復号処理の流れの例を説明する。
複数FR復号処理が開始されると、ビットレート決定部３０２は、ステップＳ３０１において、例えば、供給されるHFR符号化データのヘッダ情報やユーザ指示等に基づいて、フレームレート（FR）毎に目標ビットレートを決定する。
ステップＳ３０２において、ピクチャ選択部３１１は、LFRの方がHFRよりも目標ビットレートが高いか否かを判定する。LFRの方がHFRよりも目標ビットレートが高いと判定された場合、処理は、ステップＳ３０３に進む。
ステップＳ３０３において、ピクチャ選択部３１１は、処理対象のピクチャがLFRに属するピクチャであるか否かを判定する。LFRに属するピクチャであると判定された場合、処理は、ステップＳ３０４に進む。
ステップＳ３０４において、LFR復号部３２１は、処理対象のピクチャの符号化データを復号する。この復号処理の詳細は、後述する。LFR復号部３２１は、このように得られたLFR画像データを出力する。
ステップＳ３０５において、HFRレート制御部３１３は、処理対象のピクチャの符号化データを、ステップＳ３０１において決定されたHFR用の目標ビットレートに近づけるように制御する。
ステップＳ３０６において、HFR復号部３２２は、処理対象のピクチャの符号化データを復号する。この復号処理の詳細は、後述する。HFR復号部３２２は、このように得られたHFR画像データを出力する。
ステップＳ３０６の処理が終了すると、処理は、ステップＳ３１４に進む。
また、ステップＳ３０３において、処理対象のピクチャがLFRに属さないピクチャであると判定された場合、処理は、ステップＳ３０７に進む。
ステップＳ３０７において、HFRレート制御部３１３は、処理対象のピクチャの符号化データを、ステップＳ３０１において決定されたHFR用の目標ビットレートに近づけるように制御する。
ステップＳ３０８において、HFR復号部３２２は、処理対象のピクチャの符号化データを復号する。この復号処理の詳細は、後述する。HFR復号部３２２は、このように得られたHFR画像データを出力する。
また、ステップＳ３０２において、LFRの方がHFRよりも目標ビットレートが低いと判定された場合、処理は、ステップＳ３０９に進む。
ステップＳ３０９において、ピクチャ選択部３１１は、処理対象のピクチャがLFRに属するピクチャであるか否かを判定する。LFRに属するピクチャであると判定された場合、処理は、ステップＳ３１０に進む。
ステップＳ３１０において、HFR復号部３２２は、処理対象のピクチャの符号化データを復号する。この復号処理の詳細は、後述する。HFR復号部３２２は、このように得られたHFR画像データを出力する。
ステップＳ３１１において、LFRレート制御部３１２は、処理対象のピクチャの符号化データを、ステップＳ３０１において決定されたLFR用の目標ビットレートに近づけるように制御する。
ステップＳ３１２において、LFR復号部３２１は、処理対象のピクチャの符号化データを復号する。この復号処理の詳細は、後述する。LFR復号部３２１は、このように得られたLFR画像データを出力する。
ステップＳ３１２の処理が終了すると、処理は、ステップＳ３１４に進む。
また、ステップＳ３０９において、処理対象のピクチャがLFRに属さないピクチャであると判定された場合、処理は、ステップＳ３１３に進む。
ステップＳ３１３において、HFR復号部３２２は、処理対象のピクチャの符号化データを復号する。この復号処理の詳細は、後述する。HFR復号部３２２は、このように得られたHFR画像データを出力する。
次に、図２１のステップＳ３０４、ステップＳ３０８、ステップＳ３１０、ステップＳ３１２、若しくはステップＳ３１３において実行される復号処理の詳細な流れの例を、図２２のフローチャートを参照して説明する。
復号処理が開始されると、パケット解読部３５１は、ステップＳ３３１において、取得されたパケットから符号化データを抽出する。
ステップＳ３３２において、EBCOT部３７１は、ステップＳ３３１において抽出された符号化データを復号する。ステップＳ３３３において、ビットプレーン合成部３５４は、その復号により得られた係数データのビットプレーンを合成し、コードブロック毎の係数データを生成する。ステップＳ３３４において、コードブロック合成部３５５は、そのコードブロック毎の係数データのコードブロックを合成し、サブバンド毎の係数データを生成する。
ステップＳ３３５において、ウェーブレット逆変換部３５６は、そのサブバンド毎の係数データをウェーブレット逆変換し、ベースバンドの画像データを生成する。なお、係数データが量子化されている場合、係数データに対して、その量子化に対応する逆量子化を行ってからウェーブレット逆変換を行う。
ステップＳ３３６において、DCレベル逆シフト部３３７は、そのウェーブレット逆変換により得られたベースバンドの画像データのDCレベルを逆シフトする。
ステップＳ３３７において、DCレベル逆シフト部３３７は、DCレベル逆シフト処理が施された画像データを復号画像データとして出力する。例えば、この復号画像データが例えば図示せぬディスプレイに出力され、その画像が表示される。
ステップＳ３３７の処理が終了すると、復号処理が終了し、処理は、図２１のステップＳ３０４、ステップＳ３０８、ステップＳ３１０、ステップＳ３１２、若しくはステップＳ３１３に戻る。
以上のように各処理を実行することにより、画像復号装置３００は、１の符号化データから複数種類のフレームレートの符号化データを、より容易に生成することができる。
＜４．第４の実施の形態＞
［４−１レイヤ制御］
なお、本技術は、図１２で図示したレイヤを用いて、ビットレートの制御をより容易に行うようにすることができる。
例えば、第１の実施の形態の（Case-1）において、各レイヤのビットレートを以下のように設定する。
レイヤ１乃至レイヤM ： Bit_HFR（8.33Mbits/pic）
レイヤ１乃至レイヤL ： Bit_LFR（10.42Mbits/pic）
つまり、以上のようなビットレートとなるように、符号化の際にレイヤを設定する。このようにすることにより、レート制御の際、低ビットレートに削減するときは、レイヤM乃至レイヤLまでに存在するレイヤを切り捨てる操作を行えばよい。（Case-2）の場合も同様に考えれば良い。
［４−２情報伝送］
JPEG2000符号化コードストリーム中に、LFR及びHFRのピクチャを識別するためのフラグを定義するようにしてもよい。この場合、JPEG2000のピクチャヘッダ内の、マーカセグメントの未使用ビットを用いるのが適当である。例えば、図２３はCODマーカセグメントの例を示し、図２４はCODマーカ内のScodパラメータの例を示す。
図２４に示される表において、上から２行目乃至７行目のパラメータは既にJPEG2000 Part1で定義済みのパラメータであるので、これらのビットを使うことはできない。そこで、図２４の表において斜線で示される部分のように、以下の様に定義してLFRとHFRのピクチャを識別することができるようにする。
xxxx 0xxx High frame rate used
xxxx 1xxx Low frame rate used
また、これ以外でもピクチャヘッダ内の空きビットを用いれば、同様の効果を得ることは言うまでもない。
なお、本技術は、デジタルシネマの用途等で、従来の低フレームレート（LFR：例えば24P）に加えて高フレームレート（HFR：例えば48P、60Pなど）で、動画像信号を同時にエンコードする装置、例えば、デジタルシネマ用エンコーダ装置、デジタルシネマ用編集装置、アーカイブシステム、放送局の画像伝送装置、画像データベース、医用画像の記録システム、ゲーム機、テレビ受像機システム、Blu Ray Discレコーダ・プレイヤ、自由視点テレビ、臨場感TV会議システム、PC上のオーサリング・ツールまたはそのソフトウェア・モジュール等に適用することができる。
＜５．第５の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図２５に示されるコンピュータ４００において、CPU（Central Processing Unit）４０１、ROM（Read Only Memory）４０２、RAM（Random Access Memory）４０３は、バス４０４を介して相互に接続されている。
バス４０４にはまた、入出力インタフェース４１０も接続されている。入出力インタフェース４１０には、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５が接続されている。
入力部４１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部４１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなる。ドライブ４１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１を駆動する。
以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４１３に記憶されているプログラムを、入出力インタフェース４１０およびバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア４２１をドライブ４１５に装着することにより、入出力インタフェース４１０を介して、記憶部４１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４１４で受信し、記憶部４１３にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４１３に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は以下のような構成も取ることができる。
（１） 画像データの一部のフレームを符号化して、第１の符号化データを生成する第１の符号化部と、
前記第１の符号化部が生成した前記第１の符号化データのビットレートを制御し、第１のビットレートの低フレームレート符号化データと、前記第１のビットレートと異なる第２のビットレートの第２の符号化データとを生成するレート制御部と、
前記画像データの、前記第１の符号化部が符号化するフレーム以外のフレームを符号化して、前記第２のビットレートの第３の符号化データを生成する第２の符号化部と、
前記レート制御部により生成された前記第２の符号化データと、前記第２の符号化部により生成された前記第３の符号化データとを統合し、高フレームレート符号化データを生成する統合部と
を備える画像処理装置。
（２） 前記ビットレートは、１フレーム当たりのビット量である
前記（１）に記載の画像処理装置。
（３） 前記レート制御部は、各フレームについて、前記第１の符号化データの一部を必要に応じて切り捨てることにより、前記１フレーム当たりのビット量を制御する
前記（２）に記載の画像処理装置。
（４） 前記レート制御部は、各フレームについて、前記第１の符号化データの一部を、より重要でない方から順に必要量分切り捨てる
前記（３）に記載の画像処理装置。
（５） 前記第１の符号化部は、
前記一部のフレームの画像データを、周波数帯域毎の係数データに変換する変換部と、
前記変換部により得られた前記係数データを、所定数の前記係数データ毎に生成される、互いに同一のビット位置の値の集合であるビットプレーン毎に符号化するビットプレーン符号化部と
を備え、
前記レート制御部は、前記第１の符号化データのビットプレーンを、最下位から順に必要数分切り捨てる
前記（４）に記載の画像処理装置。
（６） 前記第１の符号化部は、
前記変換部により得られた前記係数データを所定数毎にまとめたコードブロックを生成するコードブロック生成部と、
前記コードブロック生成部により生成された前記コードブロック毎に、前記ビットプレーンを生成するビットプレーン生成部と
をさらに備え、
前記ビットプレーン符号化部は、前記ビットプレーン生成部により生成された、前記コードブロック毎のビットプレーンを、最下位から順に必要数分切り捨てる
前記（５）に記載の画像処理装置。
（７） 前記第２の符号化部は、前記第１の符号化部と同様の符号化方式により前記画像データを符号化する
前記（６）に記載の画像処理装置。
（８） 前記第１の符号化部および前記第２の符号化部は、それぞれ、前記画像データのフレームをJPEG2000方式により符号化する
前記（７）に記載の画像処理装置。
（９） 前記第１の符号化部は、前記第１のビットレートおよび前記第２のビットレートに応じて符号化パスのレイヤを設定し、
前記レート制御部は、前記レイヤを必要数分切り捨てることにより、前記第１の符号化データのビットレートを制御し、前記低フレームレート符号化データおよび前記第２の符号化データを生成する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 予め設定されたフレームレートに応じて、前記画像データの一部のフレームを前記第１の符号化部に分配し、その他のフレームを前記第２の符号化部に分配するフレーム分配部をさらに備える
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記フレーム分配部は、前記第１の符号化部に分配するフレーム、若しくは、前記第２の符号化部に分配するフレームの内、少なくともいずれか一方に、分配先毎のグループを識別する識別情報を付加する
前記（１０）に記載の画像処理装置。
（１２） 前記レート制御部により生成された前記低フレームレート符号化データを記憶する記憶部をさらに備える
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 画像処理装置の画像処理方法において、
前記画像処理装置が、
画像データの一部のフレームを符号化して、第１の符号化データを生成し、
生成した前記第１の符号化データのビットレートを制御し、第１のビットレートの低フレームレート符号化データと、前記第１のビットレートと異なる第２のビットレートの第２の符号化データとを生成し、
前記画像データの他のフレームを符号化して、前記第２のビットレートの第３の符号化データを生成し、
生成された前記第２の符号化データと前記第３の符号化データとを統合し、高フレームレート符号化データを生成する
画像処理方法。
（１４） コンピュータを、
画像データの一部のフレームを符号化して、第１の符号化データを生成する第１の符号化部と、
前記第１の符号化部が生成した前記第１の符号化データのビットレートを制御し、第１のビットレートの低フレームレート符号化データと、前記第１のビットレートと異なる第２のビットレートの第２の符号化データとを生成するレート制御部と、
前記画像データの、前記第１の符号化部が符号化するフレーム以外のフレームを符号化して、前記第２のビットレートの第３の符号化データを生成する第２の符号化部と、
前記レート制御部により生成された前記第２の符号化データと、前記第２の符号化部により生成された前記第３の符号化データとを統合し、高フレームレート符号化データを生成する統合部と
して機能させるためのプログラム。
（１５） 画像データが符号化された符号化データから、フレームレートに応じた割合でフレーム毎にデータを選択することにより、複数のフレームレートの符号化データを生成する選択部と、
前記選択部により生成された各フレームレートの符号化データのビットレートを、それぞれの目標ビットレートにするレート制御部と
を備える画像処理装置。
（１６） 前記目標ビットレートを決定する決定部をさらに備え、
前記レート制御部は、各フレームレートの符号化データのビットレートを、前記決定部により決定された目標ビットレートにする
前記（１５）に記載の画像処理装置。
（１７） 前記画像データを符号化し、前記符号化データを生成する符号化部をさらに備え、
前記選択部は、前記符号化部により生成された前記符号化データから複数のフレームレートの符号化データを生成する
前記（１５）または（１６）に記載の画像処理装置。
（１８） レート制御部によりそれぞれの目標ビットレートに制御された各フレームレートの符号化データを復号する復号部をさらに備える
前記（１５）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 画像処理装置の画像処理方法において、
前記画像処理装置が
画像データが符号化された符号化データから、フレームレートに応じた割合でフレーム毎にデータを選択することにより、複数のフレームレートの符号化データを生成し、
生成された各フレームレートの符号化データのビットレートを、それぞれの目標ビットレートにする
画像処理方法。
（２０） コンピュータを、
画像データが符号化された符号化データから、フレームレートに応じた割合でフレーム毎にデータを選択することにより、複数のフレームレートの符号化データを生成する選択部と、
前記選択部により生成された各フレームレートの符号化データのビットレートを、それぞれの目標ビットレートにするレート制御部と
して機能させるためのプログラム。
１００ 画像符号化装置， １０１ ビットレート決定部， １０２ ピクチャ選択部， １０３ 符号化部， １０４ レート制御部， １０５ コードストリーム統合部， １０６ 記憶部， １１１ LFR符号化部， １１２ HFR符号化部， １２１ LFRレート制御部， １２２ HFRレート制御部， １３１ DCレベルシフト部， １３２ ウェーブレット変換部， １３３ 量子化部， １３４ コードブロック化部， １３５ ビットプレーン展開部， １３６ ビットモデリング部， １３７ 算術符号化部， １３８ 符号量加算部， １３９ レート制御部， １４０ ヘッダ生成部， １４１ パケット生成部， １５１ EBCOT部， ２００ 画像符号化装置， ２０１ ビットレート制御部， ２０２ 符号化部， ２０３ レート制御部， ２０４ 記憶部， ２１１ ピクチャ選択部， ２１２ LFRレート制御部， ２１３ HFRレート制御部， ３００ 画像復号装置， ３０１ 記憶部， ３０２ ビットレート決定部， ３０３ レート制御部， ３０４ 復号部， ３１１ ピクチャ選択部， ３１２ LFRレート制御部， ３１３ HFRレート制御部， ３２１ LFR復号部， ３２２ HFR復号部， ３５１ パケット解読部， ３５２ 算術復号部， ３５３ ビットモデリング部， ３５４ ビットプレーン合成部， ３５５ コードブロック合成部， ３５６ ウェーブレット逆変換部， ３５７ DCレベル逆シフト部， ３７１ EBCOT部

Claims (20)

  1. 画像データの一部のフレームを符号化して、第１の符号化データを生成する第１の符号化部と、
    前記第１の符号化部が生成した前記第１の符号化データのビットレートを制御し、第１のビットレートの低フレームレート符号化データと、前記第１のビットレートと異なる第２のビットレートの第２の符号化データとを生成するレート制御部と、
    前記画像データの、前記第１の符号化部が符号化するフレーム以外のフレームを符号化して、前記第２のビットレートの第３の符号化データを生成する第２の符号化部と、
    前記レート制御部により生成された前記第２の符号化データと、前記第２の符号化部により生成された前記第３の符号化データとを統合し、高フレームレート符号化データを生成する統合部と
    を備える画像処理装置。
  2. 前記ビットレートは、１フレーム当たりのビット量である
    請求項１に記載の画像処理装置。
  3. 前記レート制御部は、各フレームについて、前記第１の符号化データの一部を必要に応じて切り捨てることにより、前記１フレーム当たりのビット量を制御する
    請求項２に記載の画像処理装置。
  4. 前記レート制御部は、各フレームについて、前記第１の符号化データの一部を、より重要でない方から順に必要量分切り捨てる
    請求項３に記載の画像処理装置。
  5. 前記第１の符号化部は、
    前記一部のフレームの画像データを、周波数帯域毎の係数データに変換する変換部と、
    前記変換部により得られた前記係数データを、所定数の前記係数データ毎に生成される、互いに同一のビット位置の値の集合であるビットプレーン毎に符号化するビットプレーン符号化部と
    を備え、
    前記レート制御部は、前記第１の符号化データのビットプレーンを、最下位から順に必要数分切り捨てる
    請求項４に記載の画像処理装置。
  6. 前記第１の符号化部は、
    前記変換部により得られた前記係数データを所定数毎にまとめたコードブロックを生成するコードブロック生成部と、
    前記コードブロック生成部により生成された前記コードブロック毎に、前記ビットプレーンを生成するビットプレーン生成部と
    をさらに備え、
    前記ビットプレーン符号化部は、前記ビットプレーン生成部により生成された、前記コードブロック毎のビットプレーンを、最下位から順に必要数分切り捨てる
    請求項５に記載の画像処理装置。
  7. 前記第２の符号化部は、前記第１の符号化部と同様の符号化方式により前記画像データを符号化する
    請求項６に記載の画像処理装置。
  8. 前記第１の符号化部および前記第２の符号化部は、それぞれ、前記画像データのフレームをJPEG2000方式により符号化する
    請求項７に記載の画像処理装置。
  9. 前記第１の符号化部は、前記第１のビットレートおよび前記第２のビットレートに応じて符号化パスのレイヤを設定し、
    前記レート制御部は、前記レイヤを必要数分切り捨てることにより、前記第１の符号化データのビットレートを制御し、前記低フレームレート符号化データおよび前記第２の符号化データを生成する
    請求項１に記載の画像処理装置。
  10. 予め設定されたフレームレートに応じて、前記画像データの一部のフレームを前記第１の符号化部に分配し、その他のフレームを前記第２の符号化部に分配するフレーム分配部をさらに備える
    請求項１に記載の画像処理装置。
  11. 前記フレーム分配部は、前記第１の符号化部に分配するフレーム、若しくは、前記第２の符号化部に分配するフレームの内、少なくともいずれか一方に、分配先毎のグループを識別する識別情報を付加する
    請求項１０に記載の画像処理装置。
  12. 前記レート制御部により生成された前記低フレームレート符号化データを記憶する記憶部をさらに備える
    請求項１に記載の画像処理装置。
  13. 画像処理装置の画像処理方法において、
    前記画像処理装置が、
    画像データの一部のフレームを符号化して、第１の符号化データを生成し、
    生成した前記第１の符号化データのビットレートを制御し、第１のビットレートの低フレームレート符号化データと、前記第１のビットレートと異なる第２のビットレートの第２の符号化データとを生成し、
    前記画像データの他のフレームを符号化して、前記第２のビットレートの第３の符号化データを生成し、
    生成された前記第２の符号化データと前記第３の符号化データとを統合し、高フレームレート符号化データを生成する
    画像処理方法。
  14. コンピュータを、
    画像データの一部のフレームを符号化して、第１の符号化データを生成する第１の符号化部と、
    前記第１の符号化部が生成した前記第１の符号化データのビットレートを制御し、第１のビットレートの低フレームレート符号化データと、前記第１のビットレートと異なる第２のビットレートの第２の符号化データとを生成するレート制御部と、
    前記画像データの、前記第１の符号化部が符号化するフレーム以外のフレームを符号化して、前記第２のビットレートの第３の符号化データを生成する第２の符号化部と、
    前記レート制御部により生成された前記第２の符号化データと、前記第２の符号化部により生成された前記第３の符号化データとを統合し、高フレームレート符号化データを生成する統合部と
    して機能させるためのプログラム。
  15. 画像データが符号化された符号化データから、フレームレートに応じた割合でフレーム毎にデータを選択することにより、複数のフレームレートの符号化データを生成する選択部と、
    前記選択部により生成された各フレームレートの符号化データのビットレートを、それぞれの目標ビットレートにするレート制御部と
    を備える画像処理装置。
  16. 前記目標ビットレートを決定する決定部をさらに備え、
    前記レート制御部は、各フレームレートの符号化データのビットレートを、前記決定部により決定された目標ビットレートにする
    請求項１５に記載の画像処理装置。
  17. 前記画像データを符号化し、前記符号化データを生成する符号化部をさらに備え、
    前記選択部は、前記符号化部により生成された前記符号化データから複数のフレームレートの符号化データを生成する
    請求項１５に記載の画像処理装置。
  18. レート制御部によりそれぞれの目標ビットレートに制御された各フレームレートの符号化データを復号する復号部をさらに備える
    請求項１５に記載の画像処理装置。
  19. 画像処理装置の画像処理方法において、
    前記画像処理装置が
    画像データが符号化された符号化データから、フレームレートに応じた割合でフレーム毎にデータを選択することにより、複数のフレームレートの符号化データを生成し、
    生成された各フレームレートの符号化データのビットレートを、それぞれの目標ビットレートにする
    画像処理方法。
  20. コンピュータを、
    画像データが符号化された符号化データから、フレームレートに応じた割合でフレーム毎にデータを選択することにより、複数のフレームレートの符号化データを生成する選択部と、
    前記選択部により生成された各フレームレートの符号化データのビットレートを、それぞれの目標ビットレートにするレート制御部と
    して機能させるためのプログラム。
JP2012114679A 2012-05-18 2012-05-18 画像処理装置および方法、並びに、プログラム Expired - Fee Related JP5950157B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012114679A JP5950157B2 (ja) 2012-05-18 2012-05-18 画像処理装置および方法、並びに、プログラム
CN2013101696190A CN103426189A (zh) 2012-05-18 2013-05-09 图像处理设备、图像处理方法及程序
US13/891,367 US20130308697A1 (en) 2012-05-18 2013-05-10 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012114679A JP5950157B2 (ja) 2012-05-18 2012-05-18 画像処理装置および方法、並びに、プログラム

Publications (3)

Publication Number Publication Date
JP2013243477A true JP2013243477A (ja) 2013-12-05
JP2013243477A5 JP2013243477A5 (ja) 2015-04-09
JP5950157B2 JP5950157B2 (ja) 2016-07-13

Family

ID=49581291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012114679A Expired - Fee Related JP5950157B2 (ja) 2012-05-18 2012-05-18 画像処理装置および方法、並びに、プログラム

Country Status (3)

Country Link
US (1) US20130308697A1 (ja)
JP (1) JP5950157B2 (ja)
CN (1) CN103426189A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3055993B1 (en) 2013-10-10 2020-03-18 Dolby Laboratories Licensing Corp. Displaying dci and other content on an enhanced dynamic range projector
US9598011B2 (en) 2014-01-09 2017-03-21 Northrop Grumman Systems Corporation Artificial vision system
EP3041233A1 (en) * 2014-12-31 2016-07-06 Thomson Licensing High frame rate-low frame rate transmission technique
JP2016163131A (ja) * 2015-02-27 2016-09-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像データ配信方法
EP3884662A4 (en) * 2018-12-25 2021-12-08 Zhejiang Dahua Technology Co., Ltd. IMAGE PROCESSING SYSTEMS AND METHODS
CN115633176B (zh) * 2022-12-08 2023-03-21 北京蔚领时代科技有限公司 动态调整画面群组长度的方法、装置和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165098A (ja) * 2000-11-27 2002-06-07 Sony Corp 画像符号化装置及び画像符号化方法
JP2004166254A (ja) * 2002-10-25 2004-06-10 Sony Corp 画像符号化装置及び方法、並びにプログラム及び記録媒体
JP2005064897A (ja) * 2003-08-13 2005-03-10 Kddi Corp 動画像圧縮符号化装置
JP2005110185A (ja) * 2003-09-08 2005-04-21 Sony Corp 画像符号化装置及び方法
JP2005143105A (ja) * 2003-10-31 2005-06-02 Canon Inc デジタルビデオ圧縮
JP2005236895A (ja) * 2004-02-23 2005-09-02 Sony Corp 画像符号化装置及び方法、並びに画像復号装置及び方法
JP2009200645A (ja) * 2008-02-19 2009-09-03 Ricoh Co Ltd 画像伝送装置
JP2011239066A (ja) * 2010-05-07 2011-11-24 Sony Corp 画像処理装置および方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181821B1 (en) * 1997-04-30 2001-01-30 Massachusetts Institute Of Technology Predictive source encoding and multiplexing
US6023296A (en) * 1997-07-10 2000-02-08 Sarnoff Corporation Apparatus and method for object based rate control in a coding system
US6690833B1 (en) * 1997-07-14 2004-02-10 Sarnoff Corporation Apparatus and method for macroblock based rate control in a coding system
US6100940A (en) * 1998-01-21 2000-08-08 Sarnoff Corporation Apparatus and method for using side information to improve a coding system
US7024046B2 (en) * 2000-04-18 2006-04-04 Real Time Image Ltd. System and method for the lossless progressive streaming of images over a communication network
EP1349393A1 (en) * 2002-03-15 2003-10-01 Ricoh Company Image compression device, image decompression device, image compression/decompression device, program for executing on a computer to perform functions of such devices, and recording medium storing such a program
JP3743384B2 (ja) * 2002-04-19 2006-02-08 ソニー株式会社 画像符号化装置及び方法、並びに画像復号装置及び方法
US7738554B2 (en) * 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
JP4442392B2 (ja) * 2004-11-05 2010-03-31 カシオ計算機株式会社 画像処理装置及び画像処理方法
TW200746655A (en) * 2005-11-18 2007-12-16 Sony Corp Encoding device and method, decoding device and method, and transmission system
US8711925B2 (en) * 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US20090238479A1 (en) * 2008-03-20 2009-09-24 Pawan Jaggi Flexible frame based energy efficient multimedia processor architecture and method
US8189933B2 (en) * 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8345749B2 (en) * 2009-08-31 2013-01-01 IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH Method and system for transcoding regions of interests in video surveillance
JP5817125B2 (ja) * 2011-01-21 2015-11-18 ソニー株式会社 画像処理装置および方法
US8615140B2 (en) * 2011-11-18 2013-12-24 Canon Kabushiki Kaisha Compression of image data in accordance with depth information of pixels
JP5924943B2 (ja) * 2012-01-06 2016-05-25 キヤノン株式会社 撮像装置および撮像装置の制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165098A (ja) * 2000-11-27 2002-06-07 Sony Corp 画像符号化装置及び画像符号化方法
JP2004166254A (ja) * 2002-10-25 2004-06-10 Sony Corp 画像符号化装置及び方法、並びにプログラム及び記録媒体
JP2005064897A (ja) * 2003-08-13 2005-03-10 Kddi Corp 動画像圧縮符号化装置
JP2005110185A (ja) * 2003-09-08 2005-04-21 Sony Corp 画像符号化装置及び方法
JP2005143105A (ja) * 2003-10-31 2005-06-02 Canon Inc デジタルビデオ圧縮
JP2005236895A (ja) * 2004-02-23 2005-09-02 Sony Corp 画像符号化装置及び方法、並びに画像復号装置及び方法
JP2009200645A (ja) * 2008-02-19 2009-09-03 Ricoh Co Ltd 画像伝送装置
JP2011239066A (ja) * 2010-05-07 2011-11-24 Sony Corp 画像処理装置および方法

Also Published As

Publication number Publication date
US20130308697A1 (en) 2013-11-21
JP5950157B2 (ja) 2016-07-13
CN103426189A (zh) 2013-12-04

Similar Documents

Publication Publication Date Title
US8953898B2 (en) Image processing apparatus and method
US9838715B2 (en) Image processing apparatus and method
JP4656190B2 (ja) 情報処理装置および方法
JP4888729B2 (ja) 符号化装置および方法、並びに、復号装置および方法
US9955176B2 (en) Efficient and scalable intra video/image coding using wavelets and AVC, modified AVC, VPx, modified VPx, or modified HEVC coding
JP4780172B2 (ja) 情報処理装置および方法
JP5660361B2 (ja) 画像処理装置および方法、並びにプログラム
JP4124792B2 (ja) 符号化方法及び復号化方法及び符号化装置及び復号化装置
JP5950157B2 (ja) 画像処理装置および方法、並びに、プログラム
US8605793B2 (en) Information processing device and method, and program
Descampe et al. JPEG XS, a new standard for visually lossless low-latency lightweight image compression
JP2004254133A (ja) 動画再生システム、動画再生装置、動画送信装置、動画再生方法、プログラム、及び、記録媒体
US8908985B2 (en) Image processing including encoding information concerning the maximum number of significant digits having largest absolute value of coefficient data in groups
Richter et al. JPEG-XS—A high-quality mezzanine image codec for video over IP
US8331708B2 (en) Method and apparatus for a multidimensional discrete multiwavelet transform
JP5817125B2 (ja) 画像処理装置および方法
US20110069897A1 (en) Image processing device and method
JP2011147050A (ja) 画像処理装置および方法
JP2001112004A (ja) 動画像符号化装置及び動画像復号装置、並びに動画像符号化方法及び動画像復号方法
JP2011239066A (ja) 画像処理装置および方法
Kaur A review of region-of-interest coding techniques of JPEG2000
JP2011151524A (ja) 画像処理装置および方法
Demaude et al. Using interframe correlation in a low-latency and lightweight video codec
JP2006246241A (ja) スケーラブルトランスコード方法及び装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160525

R151 Written notification of patent or utility model registration

Ref document number: 5950157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees