JP2014090261A - エンコード装置、デコード装置、エンコード方法、およびデコード方法 - Google Patents

エンコード装置、デコード装置、エンコード方法、およびデコード方法 Download PDF

Info

Publication number
JP2014090261A
JP2014090261A JP2012238135A JP2012238135A JP2014090261A JP 2014090261 A JP2014090261 A JP 2014090261A JP 2012238135 A JP2012238135 A JP 2012238135A JP 2012238135 A JP2012238135 A JP 2012238135A JP 2014090261 A JP2014090261 A JP 2014090261A
Authority
JP
Japan
Prior art keywords
image
magnification
base
component information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012238135A
Other languages
English (en)
Inventor
Hiroshi Arai
洋 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012238135A priority Critical patent/JP2014090261A/ja
Priority to CN201310499109.XA priority patent/CN103796020A/zh
Priority to US14/061,014 priority patent/US20140119670A1/en
Publication of JP2014090261A publication Critical patent/JP2014090261A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

【課題】簡易な計算により様々に解像度変換した画像を利用可能とするエンコード装置、デコード装置、エンコード方法、およびデコード方法を提供する。
【解決手段】入力画像を予め定められた第１の倍率でダウンコンバートしてベース画像を生成するベース画像生成部と、入力画像を第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、ベース画像から入力画像を復元するために必要な情報の一部である第１の画像成分情報を生成する第１の画像成分生成部と、入力画像を第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、第１の画像成分情報と共に用いてベース画像から入力画像を復元するために必要な第２の画像成分情報を生成する第２の画像成分生成部と、ベース画像、第１の画像成分情報および第２の画像成分情報を出力する出力部とを具備する。
【選択図】図３

Description

本技術は、複数の解像度の画像データの伝送に好適なエンコード装置およびデコード装置に関する。
近年、テレビ放送は高解像度化が進み、４Ｋハイビジョンや８Ｋスーパーハイビジョンなどの高解像度の画像が扱われるようになってきている。また、スマートフォンなどの携帯型端末の普及が進み、高解像度から低解像度まで様々な解像度の画像を表示する要求が高まってきている。
また、現在、高解像度画像を圧縮して伝送するためには、ウェーブレット変換を用いることが一般的に行われている。
従来のウェーブレット変換・逆変換は、その性質上、２のべき乗でしか解像度を縮小又は拡大（スケーリング）することができないとされていたが、例えば原画像の解像度が大きくなると上記２のべき乗以外の解像度でデコードする要求も増えて来ると考えられる。すなわち、２のべき乗だけでなくそれ以外も含む任意有理数の解像度でデコード（復号化）することができるようになれば、端末側の制約条件に左右されることが無くなるため、非常に用途が広まると考えられた。
そこで、例えば、特許文献１に開示されているウェーブレット復号化装置では、ウェーブレット逆変換部に、アップサンプラ、ダウンサンプラ及び合成フィルタを、所定の解像度変換の倍率に応じて適応的に配置することにより、任意有理数倍率の解像度変換機能を実現している。なお、以下の説明では、解像度変換を行う機構の名称としてアップサンプラおよびダウンサンプラの用語に代わりアップコンバータ（アップコンバート）およびダウンコンバータ（ダウンコンバート）の用語を用いている。
特開２０００−１２５２９４号公報
特許文献１に記載されている復号化装置（デコード装置）では、入力される画像はウェーブレット変換されたものであることが前提であった。デコード装置において、ウェーブレット逆変換により画像を復号する場合、垂直方向の逆変換および水平方向の逆変換の２回の逆変換を行わなければならず、更に一方の逆変換のみを行った段階での中間画像は、縦方向または横方向に間延びした画像となっており、そのまま出力して利用することはできなかった。以上のように、上記のデコード装置などにおいては、得られる画像の解像度や品質に制限があり、その他、様々な面での改善が要求されている。
以上のような事情に鑑み、本技術の目的は、簡易な計算により様々に解像度変換した画像を利用可能とするエンコード装置、デコード装置、エンコード方法、およびデコード方法を提供することにある。
（１）上記目的を達成するため、本技術の一形態に係るエンコード装置は、入力画像を予め定められた第１の倍率でダウンコンバートしてベース画像を生成するベース画像生成部と、前記入力画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記入力画像を復元するために必要な情報の一部である第１の画像成分情報を生成する第１の画像成分生成部と、前記入力画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記入力画像を復元するために必要な第２の画像成分情報を生成する第２の画像成分生成部と、前記ベース画像、前記第１の画像成分情報および第２の画像成分情報を出力する出力部とを具備する。
本技術では、デコード装置側において、入力画像を第１の倍率、第２の倍率、および第３の倍率でダウンコンバートした３つの画像および元の入力画像の、合計４つの解像度の画像を出力する。そのために、エンコード装置側では、ベース画像、第１の画像成分情報、および第２の画像成分情報の３つのみを生成し、デコード装置に送る。これらの成分は、簡単な計算により生成でき、また簡単な計算によりダウンコンバートされた３つの画像および元の入力画像とすることができる。それ故、本技術のエンコード装置およびデコード装置では、簡易な計算により様々に解像度変換した画像を利用することができる。
（２）上記目的を達成するため、本技術の一形態に係るエンコード装置は、前記第１の画像成分情報と、前記ベース画像の各画素との第１のオフセット値を計算し、この第１のオフセット値を符号化し、前記第２の画像成分情報と、前記ベース画像の各画素との第２のオフセット値を計算し、この第２のオフセット値を符号化する符号化部をさらに具備し、前記第１の出力部は、前記ベース画像、前記符号化された第１のオフセット値、および前記符号化された第２のオフセット値を出力する構成でもよい。
本技術では、ベース画像の各画素の画素値と、第１の画像成分情報の値および第２の画像成分情報の値との差分すなわちオフセット値を計算する。ここで計算されたオフセット値は、ゼロになる事が多い。そのため、符号化すると効率よく圧縮することができる。
（３）上記目的を達成するため、本技術の一形態に係るエンコード装置は、前記ベース画像の全画素に対して均等な画質調整を行う画質調整部をさらに具備し、前記符号化部は、前記画質調整が行われたベース画像から前記オフセット値を計算する構成でもよい。
本技術では、入力された画像の画質調整を行う場合、入力された時点で調整するのではなく、ベース画像が生成された時点で、ベース画像のみに画質調整を行う。ベース画像のみに対して行われた画質調整の効果は、オフセット計算を経てデコード装置から出力される全ての解像度の画像に反映される。そのため、画質調整の対象となる画素数を削減できる。
（４）本技術の一形態に係るエンコード装置では、前記入力画像の垂直解像度は２１６０であり、前記第１の倍率は、１／３倍であり、前記第２の倍率は、１／２倍であり、前記第３の倍率は、２／３倍であってもよい。
（５）上記目的を達成するため、本技術の一形態に係るデコード装置は、元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報とを入力する入力部と、前記入力されたベース画像を出力する出力部とを具備する。
本技術では、デコード装置に入力された、ベース画像、第１の画像成分情報、および第２の画像成分情報から簡単な構成と処理により、ベース画像を取り出すことができる。
（６）本技術の一形態に係るデコード装置では、前記出力部から出力されるベース画像の垂直解像度は７２０であってもよい。
（７）上記目的を達成するため、本技術の一形態に係るデコード装置は、元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報とを入力する入力部と、前記入力された第１の画像成分情報を用いて前記元画像の前記第２の倍率でのダウンコンバート画像を生成するダウンコンバート部と、前記ダウンコンバートされた画像を出力する出力部とを具備する。
本技術では、デコード装置に入力された、ベース画像、第１の画像成分情報、および第２の画像成分情報から簡単な計算により、第２の倍率でのダウンコンバート画像を取り出すことができる。
（８）本技術の一形態に係るデコード装置では、前記出力部から出力される画像の垂直解像度は１０８０であってもよい。
（９）上記目的を達成するため、本技術の一形態に係るデコード装置は、元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報とを入力する入力部と、前記入力されたベース画像および第２の画像成分情報を用いて前記元画像の前記第３の倍率でのダウンコンバート画像を生成するダウンコンバート部と、前記ダウンコンバートされた画像を出力する出力部とを具備する。
本技術では、デコード装置に入力された、ベース画像、第１の画像成分情報、および第２の画像成分情報から簡単な計算により、第３の倍率でのダウンコンバート画像を取り出すことができる。
（１０）本技術の一形態に係るデコード装置では、前記出力部から出力される画像の垂直解像度は１４４０であってもよい。
（１１）上記目的を達成するため、本技術の一形態に係るデコード装置は、元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報とを入力する入力部と、前記入力されたベース画像、第１の画像成分情報、および第２の画像成分情報を用いて前記元画像を復元する復元部と、前記復元された元画像を出力する出力部とを具備する。
本技術では、デコード装置に入力された、ベース画像、第１の画像成分情報、および第２の画像成分情報から簡単な計算により、復元された元画像を取り出すことができる。
（１２）本技術の一形態に係るデコード装置では、前記出力部から出力される前記入力画像の垂直解像度は２１６０であってもよい。
（１３）上記目的を達成するため、本技術の一形態に係るデコード装置は、元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報とを入力する入力部と、前記入力された第１の画像成分情報を用いて前記元画像の前記第２の倍率での第１のダウンコンバート画像を生成する第１のダウンコンバート部と、前記入力されたベース画像および第２の画像成分情報を用いて前記元画像の前記第３の倍率での第２のダウンコンバート画像を生成する第２のダウンコンバート部と、前記入力されたベース画像、第１の画像成分情報、および第２の画像成分情報を用いて前記元画像を復元する復元部と、前記入力されたベース画像と、前記第１のダウンコンバート画像と、前記第２のダウンコンバート画像と、前記復元された元画像とを出力する出力部とを具備する。
本技術では、デコード装置に入力された、ベース画像、第１の画像成分情報、および第２の画像成分情報から簡単な計算により、ベース画像と、前記第１のダウンコンバート画像と、前記第２のダウンコンバート画像と、前記復元された元画像とを取り出すことができる。
（１４）本技術の一形態に係るデコード装置では、前記出力部から出力される、ベース画像の垂直解像度は７２０であり、前記第１のダウンコンバート画像の垂直解像度は１０８０であり、前記第２のダウンコンバート画像の垂直解像度は１４４０であり、前記復元された元画像の垂直解像度は２１６０であってもよい。
（１５）上記目的を達成するため、本技術の一形態に係るエンコード方法では、入力画像を予め定められた第１の倍率でダウンコンバートしてベース画像を生成し、前記入力画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記入力画像を復元するために必要な情報の一部である第１の画像成分情報を生成し、前記入力画像を前記第１および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記入力画像を復元するために必要な第２の画像成分情報を生成する。
（１６）上記目的を達成するため、本技術の一形態に係るデコード方法では、元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報とを受け付け、前記第１の画像成分情報を用いて前記元画像の前記第２の倍率でのダウンコンバート画像を生成し、前記ベース画像および第２の画像成分情報を用いて前記元画像の前記第３の倍率でのダウンコンバート画像を生成し、前記ベース画像、第１の画像成分情報、および第２の画像成分情報を用いて前記元画像を復元する。
以上のように、本技術によれば、簡易な計算により様々に解像度変換した画像を利用可能となる。
３×３の画素群に、Ｄ０からＤ８までの番号を振った様子を示す図である。 ６×６の画素群に、Ｄ１０からＤ４８までの番号を振った様子を示す図である。 エンコード装置に入力された画像の解像度が、どのような処理を経て、デコード装置からの各解像度の出力画像になるかを示す図である。 入力画像の各画素が、どのように出力画像である７２０Ｐ画像に使われるかを示す図である。 入力画像の各画素が、どのように出力画像である１０８０Ｐ画像に使われるかを示す図である。 入力画像の各画素が、どのように出力画像である１４４０Ｐ画像に使われるかを示す図である。 入力画像に対してエンコード処理と並べ替え処理を行う様子を示す図である。 画素の並び替え方法の具体例を示す図である。 エンコード装置１００の構成を示すブロック図である。 デコード装置２００の構成を示すブロック図である。 エンコード装置１００におけるエンコード処理の流れについて説明するフローチャートである。 デコード装置２００における、７２０Ｐ画像、３６０Ｐ画像、および１８０Ｐ画像のデコード処理の流れについて説明するフローチャートである。 デコード装置２００における、１０８０Ｐ画像、５４０Ｐ画像、および２７０Ｐ画像のデコード処理の流れについて説明するフローチャートである。 デコード装置２００における、１４４０Ｐ画像のデコード処理の流れについて説明するフローチャートである。 デコード装置２００における、２１６０Ｐ画像のデコード処理の流れについて説明するフローチャートである。 エンコード装置１０１に入力された画像の解像度が、どのような処理を経て、デコード装置２０１からの各解像度の出力画像になるかを示す図である。 入力画像の各画素が、どのように出力画像である１４４０Ｐ画像に使われるかを示す図である。 デコード装置２０１の構成を示すブロック図である。 エンコード装置１０２に入力された画像の解像度が、どのような処理を経て、デコード装置２０２からの各解像度の出力画像になるかを示す図である。
以下、本技術に係る２つの実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
本技術の特徴は、大きく分けて２つある。１つは、エンコード装置に入力された画像を所定の倍率でダウンコンバートするために、画素同士の加減乗除による計算を行う事である。もう１つは、エンコード装置からデコード装置に対してデータを効率よく圧縮して伝送するために、入力画像をベース画像とベース画像からのオフセット値とに分解し、オフセット値部分の符号化により伝送するデータを効率よく圧縮する事である。
以下の説明では、最初に、エンコード装置に入力された画像を所定の倍率でダウンコンバートするための画素同士の加減乗除による計算について説明し、その後、オフセット値の計算までを含めた計算について説明する。
［ダウンコンバートのための計算（概略）］
最初に、エンコード装置に入力された画像を所定の倍率でダウンコンバートするための画素同士の加減乗除による計算の概略について説明する。
以下の説明では、画素の位置を区別するために、画像を３×３または６×６の画素群に分け、その画素群を一つの単位として説明を行う。なお、以下の説明では、図１に示すように各画素に、３×３の画素群では、Ｄ０からＤ８までの番号を振る。
また、図２に示すように、６×６の画素群では、左上の３×３の画素群を第１象限の画素として、これらにＤ１０からＤ１８までの番号を振る。同様に、右上の３×３の画素群を第２象限の画素として、これらにＤ２０からＤ２８までの番号を振り、第３象限および第４象限も同様に番号を振る。
また、以下の説明では、（水平解像度）×（垂直解像度）が３８４０×２１６０Ｐ（Progressive）の画像を２１６０Ｐ画像と呼ぶ。同様に１９２０×１０８０Ｐ、１２８０×７２０Ｐ、９６０×５４０Ｐ、６４０×３６０Ｐ、２５６０×１４４０Ｐの画像をそれぞれ、１０８０Ｐ画像、７２０Ｐ画像、５４０Ｐ画像、３６０Ｐ画像、１４４０Ｐ画像と呼ぶ。
また、垂直解像度が７２０×２ｎ（ｎは整数）である画像を、７２０系の画像と呼び、垂直解像度が１０８０×２ｍ（ｍは整数）である画像を１０８０系の画像と呼ぶ。
図３は、本実施形態において、エンコード装置に入力された画像の解像度が、どのような処理を経て、デコード装置からの各解像度の出力画像になるかを示す図である。
一番左側が入力画像である２１６０Ｐ画像１０であり、その右側の矢印部分がエンコード装置において行われる演算処理を表し、その右側の７２０Ｐ画像２０、第１の画像成分３０、および第２の画像成分４０が、エンコード装置からデコード装置に伝送されるデータである。その右側の矢印部分がデコード装置において行われる演算処理を表し、最も右側の７２０Ｐ画像６０、２１６０Ｐ画像７０、１０８０Ｐ画像８０、および１４４０Ｐ画像９０が、デコード装置から直接的に出力される画像である。ここで直接的と表現したのは、デコード装置側でローカルにダウンコンバートまたはアップコンバートを行うことにより、この図に表した解像度以外の７２０系の画像や１０８０系の画像、さらにこれらの系列に当てはまらない解像度の画像でも出力を行うことができるからである。
以下では、入力画像である２１６０Ｐ画像１０が、出力画像である７２０Ｐ画像６０、２１６０Ｐ画像７０、１０８０Ｐ画像８０、および１４４０Ｐ画像９０となるまでの経路について、１つずつ説明を行う。
（７２０Ｐ画像の生成経路）
まず、入力画像である２１６０Ｐ画像１０から出力画像である７２０Ｐ画像６０までの経路に沿って説明する。
エンコード装置に入力される入力画像は、２１６０Ｐ画像１０であり、その中の３×３の画素群には、画素Ｄ０から画素Ｄ８までが含まれている。
エンコード装置からデコード装置への伝送データに含まれる７２０Ｐ画像２０は、２１６０Ｐ画像１０に対して１／３倍ダウンコンバートを行う事により生成される。７２０Ｐ画像２０は、間引きによる１／３倍ダウンコンバートの場合、２１６０Ｐ画像１０の画素Ｄ４に基づいて生成される。
なお、図では、７２０Ｐ画像２０の、エンコード処理により生成される画素Ｄ４’は、画素Ｄ４から生成される事を示している。なお、以下の説明では、ダッシュが付いた画素は、画素の位置はダッシュが付かないものと同じであるが、その画素値は、各種処理が行われたものとなり、元の画素値とは意味が異なるものであることを示している。
７２０Ｐ画像２０は、デコード装置に伝送され、そのまま出力された場合、７２０Ｐ画像６０となる。
（１０８０Ｐ画像の生成経路）
次に、入力画像である２１６０Ｐ画像１０から出力画像である１０８０Ｐ画像８０までの経路に沿って説明する。
エンコード装置への入力画像は、２１６０Ｐ画像１０であり上記と同じである。
２１６０Ｐ画像１０に対して、１／２倍ダウンコンバートを行って得られる１０８０Ｐ画像８０をデコード装置において生成するための計算処理を途中まで行って第１の画像成分３０が生成される。第１象限に位置する３×３画素群の場合、画素Ｄ０’は画素Ｄ０、Ｄ１、Ｄ３、Ｄ４から計算される。同様に画素Ｄ２’、Ｄ６’、およびＤ８’が計算される。なお、図では、便宜上６×６の画素番号ではなく、３×３の画素番号を用いて示している。
計算された第１の画像成分３０は、デコード装置に伝送された後、１０８０Ｐ画像８０を生成するために、１／２倍ダウンコンバートの後半の計算が行われ、最終的に１０８０Ｐ画像８０となってデコード装置から出力される。
（１４４０Ｐ画像の生成経路）
次に、入力画像である２１６０Ｐ画像１０から出力画像である１４４０Ｐ画像９０までの経路に沿って説明する。
エンコード装置への入力画像は、２１６０Ｐ画像１０であり上記と同じである。
２１６０Ｐ画像１０から画素Ｄ１、Ｄ３、Ｄ５、Ｄ７を抽出し、それらをエンコード処理により生成された画素Ｄ１’、Ｄ３’、Ｄ５’、Ｄ７’として、第２の画像成分が生成される。第２の画像成分は、デコード装置に伝送される。そして、デコード装置において、同じくエンコード装置から伝送された７２０Ｐ画像２０の画素Ｄ４’と共に、補間２／３倍ダウンコンバートが行われ、１４４０Ｐ画像９０が生成され、出力される。
ここで１４４０Ｐ画像９０は、画素Ｄ１’、Ｄ３’、Ｄ４’、Ｄ５’、およびＤ７’を用いてダウンコンバート計算されるが、Ｄ０’、Ｄ２’、Ｄ６’、Ｄ８’の位置の画素値を用いることが出来ないため、これらの画素の分を補間してダウンコンバートが行われる。それ故、この１４４０Ｐ画像９０は、２１６０Ｐ画像１０に対してそのまま２／３倍ダウンコンバート処理を行った画像とは異なるので、疑似１４４０Ｐ画像の位置づけとなる。
（２１６０Ｐ画像の復元経路）
次に、入力画像である２１６０Ｐ画像１０から出力画像である２１６０Ｐ画像７０までの経路に沿って説明する。
エンコード装置への入力画像は、２１６０Ｐ画像１０であり上記と同じである。また、エンコード装置からデコード装置に伝送される伝送データに含まれる、７２０Ｐ画像２０、第１の画像成分３０、および第２の画像成分４０は、上記と同じである。
デコード装置では、受信した７２０Ｐ画像２０、第１の画像成分３０、および第２の画像成分４０に含まれるエンコード処理された画素Ｄ０’からＤ８’までの画素値を用いて、連立方程式を解くことにより、入力画像の画素Ｄ０からＤ８までの値を逆算し、２１６０Ｐ画像７０を生成（復元）して、出力する。
以上、ダウンコンバートのための計算の概略について説明した。
［ダウンコンバートのための計算（詳細）］
エンコード装置に入力された画像を所定の倍率でダウンコンバートするための画素同士の加減乗除による計算の詳細について説明する。
（７２０Ｐ画像の計算）
まず、７２０Ｐ画像６０の生成に関し説明する。図４は、入力画像の各画素が、どのように出力画像である７２０Ｐ画像に使われるかを示す図である。
図の左側は、入力画像の３×３の画素の配置を示しており、そのうちの画素Ｄ４のみが間引きによる１／３倍ダウンコンバートの対象となりＤ４’となる。よって画素Ｄ４’を求める計算式は、
Ｄ４’＝Ｄ４ （１）
となる。図の中央は、伝送データ中の３×３の画素配置における画素Ｄ４’の位置を示している。そして、デコード装置に送られた伝送データ中の画素Ｄ４’は、デコード処理により抽出され、１×１のＤ４のみで表された７２０Ｐ画像６０となる。ここでは、計算式
Ｄ４＝Ｄ４’ （２）
の逆算が行われていると考えることができる。
以上が、７２０Ｐ画像６０の生成方法である。
（１０８０Ｐ画像の計算）
次に、１０８０Ｐ画像８０の生成に関し説明する。図５は、入力画像の各画素が、点線により示した区分けに従って、どのように出力画像である１０８０Ｐ画像に使われるかを示す図である。
図の左側は、入力画像の６×６の画素の配置を示している。そして、以下の数式により、図の中央に示す伝送データ（第１の画像成分）内の画素Ｄ１０’、Ｄ１２’、Ｄ１６’、Ｄ１８’、Ｄ２０’、Ｄ２２’、Ｄ２６’、Ｄ２８’、Ｄ３０’、Ｄ３２’、Ｄ３６’、Ｄ３８’、Ｄ４０’、Ｄ４２’、Ｄ４６’、およびＤ４８’の値が求められる。
第１象限の場合、
Ｄ１０’＝（Ｄ１０＋Ｄ１１＋Ｄ１３＋Ｄ１４）／４ （３）
Ｄ１２’＝（Ｄ１２＋Ｄ１５）／２ （４）
Ｄ１６’＝（Ｄ１６＋Ｄ１７）／２ （５）
Ｄ１８’＝Ｄ１８ （６）
第２象限の場合、
Ｄ２０’＝（Ｄ２０＋Ｄ２３）／２ （７）
Ｄ２２’＝（Ｄ２１＋Ｄ２２＋Ｄ２４＋Ｄ２５）／４ （８）
Ｄ２６’＝Ｄ２６ （９）
Ｄ２８’＝（Ｄ２７＋Ｄ２８）／２ （１０）
第３象限の場合、
Ｄ３０’＝（Ｄ３０＋Ｄ３１）／２ （１１）
Ｄ３２’＝Ｄ３２ （１２）
Ｄ３６’＝（Ｄ３３＋Ｄ３４＋Ｄ３６＋Ｄ３７）／４ （１３）
Ｄ３８’＝（Ｄ３５＋Ｄ３８）／２ （１４）
第４象限の場合、
Ｄ４０’＝Ｄ４０ （１５）
Ｄ４２’＝（Ｄ４１＋Ｄ４２）／２ （１６）
Ｄ４６’＝（Ｄ４３＋Ｄ４６）／２ （１７）
Ｄ４８’＝（Ｄ４４＋Ｄ４５＋Ｄ４７＋Ｄ４８）／４ （１８）
図の右側に示すように、デコード装置に送られた上記の第１の画像成分を元に、さらに以下の計算が行われ、出力画像である１０８０Ｐ画像８０の３×３画素を構成する画素Ａ０からＡ８までの値が求められる。
Ａ０＝Ｄ１０’ （１９）
Ａ１＝（Ｄ１２’＋Ｄ２０’）／２ （２０）
Ａ２＝Ｄ２２’ （２１）
Ａ３＝（Ｄ１６’＋Ｄ３０’）／２ （２２）
Ａ４＝（Ｄ１８’＋Ｄ２６’＋Ｄ３２’＋Ｄ４０’）／４ （２３）
Ａ５＝（Ｄ２８’＋Ｄ４２’）／２ （２４）
Ａ６＝Ｄ３６’ （２５）
Ａ７＝（Ｄ３８’＋Ｄ４６’）／２ （２６）
Ａ８＝Ｄ４８’ （２７）
以上が、１０８０Ｐ画像８０の生成方法である。
（１４４０Ｐ画像の計算）
次に、１４４０Ｐ画像９０の生成に関し説明する。図６は、入力画像の各画素が、点線により示した区分けに従って、どのように出力画像である１４４０Ｐ画像に使われるかを示す図である。
図の左側は、入力画像の３×３の画素の配置を示している。そして、以下の数式により、図の中央に示す伝送データ（第２の画像成分）内の画素Ｄ１’、Ｄ３’、Ｄ４’、Ｄ５’、Ｄ７’の値が求められる。
Ｄ１’＝Ｄ１ （２８）
Ｄ３’＝Ｄ３ （２９）
Ｄ５’＝Ｄ５ （３０）
Ｄ７’＝Ｄ７ （３１）
なお、Ｄ４’の値は、上記の数式（１）のとおり、７２０Ｐ画像２０を生成する過程で求めているので、ここでは改めて求めることは行わない。
図の右側に示すように、デコード装置に送られた上記の第２の画像成分を元に、さらに以下の計算が行われ、出力画像である１４４０Ｐ画像の２×２画素を構成する画素Ｂ０からＢ３までの値が求められる。
Ｂ０＝（Ｄ１’／２＋Ｄ３’／２＋Ｄ４’／４）×４／５ （３２）
Ｂ１＝（Ｄ１’／２＋Ｄ５’／２＋Ｄ４’／４）×４／５ （３３）
Ｂ２＝（Ｄ３’／２＋Ｄ７’／２＋Ｄ４’／４）×４／５ （３４）
Ｂ３＝（Ｄ５’／２＋Ｄ７’／２＋Ｄ４’／４）×４／５ （３５）
以上が、１４４０Ｐ画像９０の生成方法である。
（２１６０Ｐ画像の計算）
次に、２１６０Ｐ画像７０の復元に関し説明する。第１象限から第４象限まで、同様に計算を行うので、ここでは第１象限についての計算のみ説明を行う。なお、６×６の画像群の第１象限の画素Ｄ１０’からＤ１８’までは、３×３の画素群のＤ０’からＤ８’までと同じなので、以下では、Ｄ１０’＝Ｄ０’などの数式は省略する。
まず、画素Ｄ１４の値は、数式（２）より、
Ｄ１４＝Ｄ１４’ （３６）
である。また、画素Ｄ１、Ｄ３、Ｄ５、Ｄ７の値は、数式（２８）から（３１）より、
Ｄ１１＝Ｄ１１’ （３７）
Ｄ１３＝Ｄ１３’ （３８）
Ｄ１５＝Ｄ１５’ （３９）
Ｄ１７＝Ｄ１７’ （４０）
である。
また、第１象限なので、数式（６）より、
Ｄ１８＝Ｄ１８’ （４１）
である。画素Ｄ１２の値は、数式（４）より、
Ｄ１２＝２×Ｄ１２’−Ｄ１５ （４２）
である。画素Ｄ１６の値は、数式（５）より、
Ｄ１６＝２×Ｄ１６’−Ｄ１７ （４３）
である。そして、画素Ｄ１０の値は、数式（３）より、
Ｄ１０＝４×Ｄ１０’−（Ｄ１１＋Ｄ１３＋Ｄ１４） （４４）
から求まる。
以上の計算により、第１象限の９個の画素についてその値が求まる。第２象限から第４象限まで同様にして画素の値を求めると、２１６０Ｐ画像７０を復元することが出来る。
［オフセット値の計算］
本技術では、上記のダウンコンバートの為の画素同士の演算に加えて、エンコード装置からデコード装置に伝送データを送信する際に、伝送データを効率よく圧縮するために、第１の画像成分および第２の画像成分の符号化を行っている。
符号化は、これらの画像成分に対して直接符号化を行うのではなく、圧縮率を高めるために、ベース画像となる７２０Ｐ画像２０と第１の画像成分および第２の画像成分との間でオフセット値を求め、このオフセット値に対する符号化を行っている。符号化には、ハフマン符号化や算術符号化を利用することができる。
具体的には、３×３の画素群では、ベース画像の画素Ｄ４’と、第１の画像成分の画素Ｄ０’、Ｄ２’、Ｄ６’、およびＤ８’と、第２の画像成分の画素Ｄ１’、Ｄ３’、Ｄ５’、およびＤ７’との間で差分を取っている。
オフセット値は、画像の低周波領域では、多くの値が０となるため、符号化する際の圧縮率を高めることが出来、効率的な圧縮を行うことができる。そのため、エンコード装置から出力される伝送データを、複数の解像度の画像をまとめた単一のＬＬＶＣ（Low Latency Video Codec）ストリームとして、１０Ｇｂｐｓの帯域幅でデコード装置に送ることが出来る。
別の言い方をすれば、２種類のコヒーレントな信号成分をマイナス合成すると、相関性の高い部分が弱めあいほぼゼロになることで符号化圧縮を効率的に行う事が可能になったと言える。
なお、オフセット値を計算する事には、符号化の圧縮率を高める以外にも利点がある。例えば、ホワイトバランス処理などの、全画素に対して均等に画質調整する処理を行う場合、本技術では、入力画像である２１６０Ｐ画像の全ての画素に対して演算を行う代わりに、ベース画像の画素のみに対して処理を行えばよい。ベース画像はオフセット値を求める基準となる画像なので、この基準のホワイトバランスなどを変更すれば、全ての解像度の画像に対して処理をおこなったのと同じ効果が得られる。
以下では、これまでに述べたダウンコンバートの為の画素同士の計算式に、オフセット値の計算を含めて、実際の計算式がどうなるかを説明する。
（７２０Ｐ画像の計算）
まず、７２０Ｐ画像２０に関しては、これ自体がベース画像となるので、これ自体に対してはオフセット値の計算は行わない。ベース画像の画素値Ｄ４’が、以下の計算で用いられることになる。
なお、１０８０Ｐ画像および２１６０Ｐ画像を生成する際に、６×６画素群を用いる場合、ベース画像の画素Ｄ４’は、上述のとおり、第１象限では、画素Ｄ１４’となる。
（１０８０Ｐ画像の計算）
次に、１０８０Ｐ画像８０を生成する場合の計算式を挙げる。まず第１の画像成分の計算は、第１象限の場合、以下のようになる。第２象限以下は同様なので省略する。
Ｄ１０’＝（Ｄ１０＋Ｄ１１＋Ｄ１３＋Ｄ１４）／４−Ｄ１４’ （４５）
Ｄ１２’＝（Ｄ１２＋Ｄ１５）／２−Ｄ１４’ （４６）
Ｄ１６’＝（Ｄ１６＋Ｄ１７）／２−Ｄ１４’ （４７）
Ｄ１８’＝Ｄ１８−Ｄ１４’ （４８）
そして、出力画像である１０８０Ｐ画像８０の３×３画素を構成する画素Ａ０からＡ８までの値は以下のようになる。
Ａ０＝Ｄ１０’＋Ｄ１４’ （４９）
Ａ１＝（Ｄ１２’＋Ｄ２０’）／２＋Ｄ１４’ （５０）
Ａ２＝Ｄ２２’ ＋Ｄ１４’ （５１）
Ａ３＝（Ｄ１６’＋Ｄ３０’）／２＋Ｄ１４’ （５２）
Ａ４＝（Ｄ１８’＋Ｄ２６’＋Ｄ３２’＋Ｄ４０’）／４＋Ｄ１４’ （５３）
Ａ５＝（Ｄ２８’＋Ｄ４２’）／２＋Ｄ１４’ （５４）
Ａ６＝Ｄ３６’ ＋Ｄ１４’ （５５）
Ａ７＝（Ｄ３８’＋Ｄ４６’）／２＋Ｄ１４’ （５６）
Ａ８＝Ｄ４８’ ＋Ｄ１４’ （５７）
以上が、１０８０Ｐ画像８０の計算方法である。
（１４４０Ｐ画像の計算）
次に、１４４０Ｐ画像９０を生成する場合の計算式を挙げる。まず第２の画像成分の計算は、以下のようになる。
Ｄ１’＝Ｄ１−Ｄ４’ （５８）
Ｄ３’＝Ｄ３−Ｄ４’ （５９）
Ｄ５’＝Ｄ５−Ｄ４’ （６０）
Ｄ７’＝Ｄ７−Ｄ４’ （６１）
そして、出力画像である１４４０Ｐ画像９０の２×２画素を構成する画素Ｂ０からＢ３までの値は以下のようになる。
Ｂ０＝（Ｄ１’／２＋Ｄ３’／２＋Ｄ４’×５／４）×４／５ （６２）
Ｂ１＝（Ｄ１’／２＋Ｄ５’／２＋Ｄ４’×５／４）×４／５ （６３）
Ｂ２＝（Ｄ３’／２＋Ｄ７’／２＋Ｄ４’×５／４）×４／５ （６４）
Ｂ３＝（Ｄ５’／２＋Ｄ７’／２＋Ｄ４’×５／４）×４／５ （６５）
以上が、１４４０Ｐ画像９０の計算方法である。
（２１６０Ｐ画像の計算）
次に、２１６０Ｐ画像７０を復元する場合の計算式を挙げる。計算式は、以下のようになる。なお、ここでは第１象限のみについて説明する。
まず、画素Ｄ１４の値は、数式（２）より、
Ｄ１４＝Ｄ１４’ （６６）
である。また、画素Ｄ１、Ｄ３、Ｄ５、Ｄ７の値は、数式（５８）から（６１）より、
Ｄ１１＝Ｄ１１’＋Ｄ１４’ （６７）
Ｄ１３＝Ｄ１３’＋Ｄ１４’ （６８）
Ｄ１５＝Ｄ１５’＋Ｄ１４’ （６９）
Ｄ１７＝Ｄ１７’＋Ｄ１４’ （７０）
である。
また、第１象限なので、数式（４８）より、
Ｄ１８＝Ｄ１８’＋Ｄ１４’ （７１）
である。画素Ｄ１２の値は、数式（４６）より、
Ｄ１２＝２×（Ｄ１２’＋Ｄ１４’）−Ｄ１５ （７２）
である。画素Ｄ１６の値は、数式（４７）より、
Ｄ１６＝２×（Ｄ１６’＋Ｄ１４’）−Ｄ１７ （７３）
である。そして、画素Ｄ１０の値は、数式（４５）より、
Ｄ１０＝４×（Ｄ１０’＋Ｄ１４’）−（Ｄ１１＋Ｄ１３＋Ｄ１４） （７４）
となる。
以上が、２１６０Ｐ画像７０の計算方法である。
［伝送データの画素の並び替えについて］
本技術では、エンコード装置から送られる伝送データに含まれる７２０Ｐ画像２０をデコード装置側で取り出しやすくするため、また、エンコード処理を多重に行う際に計算をし易くするため、伝送データの生成時に、画素の並べ替えを行う。
図７は、入力画像に対してエンコード処理と並べ替え処理を行う様子を示す図である。図の左側が入力画像である。図の中央は、一度エンコード処理を行った後に、７２０Ｐ画像が伝送データの中央に来るように並べ替えを行った様子を示している。図の右側は、再度エンコード処理と並べ替えを行った場合の様子を示しており、伝送データの中央には、７２０Ｐ画像の代わりに、再度エンコード処理を行うことによって生成された第１の画像成分および第２の画像成分と、２４０Ｐ画像が含まれている事がわかる。
図８は、画素の並び替え方法の具体例を示す図である。第１象限の３×３の画素群の中央にある画素Ｄ１４と、それぞれの象限にある画素Ｄ２４、Ｄ３４、Ｄ４４がベース画像７２０Ｐ２０を構成する画素である。図中、これらの画素には下線を引いて示してある。これらを伝送データの中央に集めた様子が、図の右側に示すものである。下線で示した画素Ｄ１４、Ｄ２４、Ｄ３４、Ｄ４４が、伝送データの中央に集まっていることが分かる。
以上、伝送データにおけるベース画像である７２０Ｐ画像２０の並べ替えについて説明した。
［エンコード装置の構成について］
次に、エンコード装置の構成について説明する。図９は、エンコード装置１００の構成を示すブロック図である。
エンコード装置１００は、生成部１１０、オフセット計算部１２０、符号化部１３０、送信部１４０（出力部）、および画質調整部１５０を備えている。なお、生成部１１０は、ベース画像生成部１１０ａ、第１の画像成分生成部１１０ｂ、および第２の画像成分生成部１１０ｃを含んで構成される。
エンコード装置１００には、例えば、４Ｋハイビジョンカメラ１が接続される。接続された４Ｋハイビジョンカメラ１から、４Ｋハイビジョン画像が入力される。
エンコード装置１００に入力された４Ｋハイビジョン画像は、生成部１１０に渡される。
生成部１１０は、上述のとおり、４Ｋハイビジョン画像（２１６０Ｐ画像１０）を１／３倍ダウンコンバートし、ベース画像（７２０Ｐ画像２０）を生成する。生成されたベース画像は、画質調整部１５０に渡される。
生成部１１０は、また、上述のとおり、４Ｋハイビジョン画像（２１６０Ｐ画像１０）を途中まで１／２倍ダウンコンバートし第１の画像成分を生成すると共に、一部の画素の抽出を行い第２の画像成分を生成する。生成された第１および第２の画像成分は、オフセット計算部１２０に渡される。
画質調整部１５０は、生成部１１０から渡されたベース画像に対し、ホワイトバランス処理などの画像全体に均等に処理を施す画質調整を行う。画質調整されたベース画像は、オフセット計算部１２０および送信部１４０に渡される。
オフセット計算部１２０は、上述のとおり、画質調整部１５０から渡されたベース画像に対して、同じく生成部１１０から渡された第１および第２の画像成分のオフセット値を計算する。計算された第１および第２の画像成分のオフセット値は、符号化部１３０に渡される。
符号化部１３０は、オフセット計算部１２０から渡された第１および第２の画像成分のオフセット値を符号化する。符号化方法には上述のとおり、ハフマン符号化や算術符号化などを用いればよい。符号化された第１および第２の画像成分のオフセット値は、送信部１４０に渡される。
送信部１４０は、生成部１１０から渡されたベース画像と、符号化部１３０から渡された符号化された第１および第２の画像成分のオフセット値とを、伝送データとしてデコード装置に送信する。
なお、上記の説明では、エンコード装置１００は、生成部１１０、オフセット計算部１２０、符号化部１３０、および送信部１４０を備えているとしたが、伝送データを圧縮せずに送信する場合には、生成部１１０および送信部１４０のみを備えた構成でもよい。
以上、エンコード装置１００の構成について説明を行った。
［デコード装置の構成について］
次に、デコード装置の構成について説明する。図１０は、デコード装置２００の構成を示すブロック図である。
デコード装置２００は、受信部２１０（入力部）、出力部２２０、逆符号化部２３０、オフセット逆計算部２４０、１／２ダウンコンバート部（後半計算用）２５０（ダウンコンバート部、第１のダウンコンバート部）、１／２ダウンコンバート部２５１、２５２、２５３、２５４、補間２／３ダウンコンバート部２６０（ダウンコンバート部、第２のダウンコンバート部）、復元部２７０を備えている。
上記の構成では、デコード装置２００から、２１６０Ｐ画像、１４４０Ｐ画像、１０８０Ｐ画像、７２０Ｐ画像、５４０Ｐ画像、２７０Ｐ画像、３６０Ｐ画像、および１８０Ｐ画像を出力することが出来る。
なお、１／２ダウンコンバート部２５１、２５２、２５３、および２５４は、必須の構成要素ではなく、デコード装置２００からそれぞれ５４０Ｐ画像、２７０Ｐ画像、３６０Ｐ画像、１８０Ｐ画像を出力させる場合にのみ備えればよいものである。
また、例えば、２７０Ｐ画像をさらに１／２倍ダウンコンバートした１３５Ｐ画像の出力が必要な場合は、もう１段ダウンコンバートを行うための１／２ダウンコンバート部を、１／２ダウンコンバート部２５２の後段に設けてもよい。
また、上記では、複数の１／２ダウンコンバート部を用意したが、１／２倍のダウンコンバート処理を行う１／２ダウンコンバート部は１つのみとして、この１／２ダウンコンバート部からの出力を、再度１／２ダウンコンバート部の入力に戻すことにより、複数回の１／２倍ダウンコンバート処理を行ってもよい。
このように、デコード装置２００の構成は、出力させる画像の解像度の種類の増減により、種々変更されることになる。
例えば、出力画像として７２０Ｐ画像のみが必要な場合、必須の構成要素は、受信部２１０および出力部２２０のみとなる。例えば、出力画像として３６０Ｐ画像が必要な場合、７２０Ｐ画像を１／２倍ダウンコンバートするので、１／２ダウンコンバート部２５３が構成に追加される。
出力画像として１０８０Ｐ画像のみが必要な場合、必須の構成要素は、受信部２１０、逆符号化部２３０、オフセット逆計算部２４０、１／２ダウンコンバート部（後半計算用）２５０、および出力部２２０のみとなる。例えば、出力画像として５４０Ｐ画像が必要な場合、１０８０Ｐ画像を１／２倍ダウンコンバートするので、１／２ダウンコンバート部２５１が構成に追加される。
出力画像として１４４０Ｐ画像のみが必要な場合、必須の構成要素は、受信部２１０、逆符号化部２３０、オフセット逆計算部２４０、補間２／３ダウンコンバート部２６０、および出力部２２０のみとなる。
出力画像として２１６０Ｐ画像のみが必要な場合、必須の構成要素は、受信部２１０、逆符号化部２３０、オフセット逆計算部２４０、復元部２７０、および出力部２２０のみとなる。
以下では、デコード装置２００の各ブロックの説明を行う。
受信部２１０は、エンコード装置１００から送られてきた、ベース画像と、符号化された第１および第２の画像成分のオフセット値とを受信し、受信したベース画像を出力部２２０と、オフセット逆計算部２４０と、補間２／３ダウンコンバート部２６０と、復元部２７０とに渡す。また、受信した符号化された第１および第２の画像成分のオフセット値を逆符号化部２３０に渡す。
出力部２２０は、受信部２１０、１／２ダウンコンバート部（後半計算用）２５０、補間２／３ダウンコンバート部２６０、復元部２７０からそれぞれ渡された、７２０Ｐ画像、１０８０Ｐ画像、１４４０Ｐ画像、２１６０Ｐ画像を外部に出力する。出力部２２０は、１／２ダウンコンバート部２５１、２５２を備えている場合、それぞれ５４０Ｐ画像および２７０Ｐ画像を外部に出力する。
逆符号化部２３０は、受信部２１０から渡された符号化された第１および第２の画像成分のオフセット値を復号する。復号は、エンコード装置１００の符号化部１３０において行われた符号化の逆の演算により行う。復号された第１および第２の画像成分のオフセット値は、オフセット逆計算部２４０に渡される。
オフセット逆計算部２４０は、受信部２１０から渡されたベース画像の各画素値と、逆符号化部２３０から渡された第１および第２の画像成分のオフセット値とから、オフセット値をオフセット前の元の値に戻し、第１および第２の画像成分を算出する。オフセット逆計算部２４０は、算出した第１の画像成分を１／２ダウンコンバート部（後半計算用）２５０および復元部２７０に渡す。また、算出した第２の画像成分を補間２／３ダウンコンバート部２６０および復元部２７０に渡す。
１／２ダウンコンバート部（後半計算用）２５０は、第１の画像成分をオフセット逆計算部２４０から受け取る。そして、上述のとおり、２１６０Ｐ画像を１／２倍ダウンコンバートして１０８０Ｐ画像を生成するための計算が途中まで行われた第１の画像成分に基づいて、１０８０Ｐ画像を生成するまでの残りの計算を行う。１／２ダウンコンバート部（後半計算用）２５０は、生成した１０８０Ｐ画像を出力部２２０に渡す。また、５４０Ｐ画像や２７０Ｐ画像が必要な場合、１／２ダウンコンバート部（後半計算用）２５０は、生成した１０８０Ｐ画像を１／２ダウンコンバート部２５１に渡す。
なお、１／２ダウンコンバート部２５１、２５２、２５３、および２５４は、入力された画像を１／２倍ダウンコンバート処理した画像を出力するものである。
補間２／３ダウンコンバート部２６０は、受信部２１０から渡されたベース画像と、オフセット逆計算部２４０から渡された第２の画像成分とを用いて、上述のとおり、補間しながら２／３倍ダウンコンバート計算を行い、１４４０Ｐ画像を生成する。補間２／３ダウンコンバート部２６０は、生成した１４４０Ｐ画像を出力部２２０に渡す。
復元部２７０は、受信部２１０から渡されたベース画像と、オフセット逆計算部２４０から渡された第１および第２の画像成分とを用いて、上述のとおり、２１６０Ｐ画像を復元する。復元部２７０は、復元した２１６０Ｐ画像を出力部２２０に渡す。
以上、デコード装置２００の構成について説明した。
［エンコード処理の流れについて］
次に、エンコード装置１００における入力画像のエンコード処理の流れについて説明する。図１１は、エンコード装置１００におけるエンコード処理の流れについて説明するフローチャートである。
まず、エンコード装置１００が、エンコード処理を開始する前に、各部の初期化を行う（ステップＳ１）。
次に、生成部１１０が、外部からの画像の入力を受け付ける（ステップＳ２）。
次に、生成部１１０が、入力画像から、ベース画像、第１の画像成分、および第２の画像成分を抽出する（ステップＳ３）。抽出方法は、上述のとおりである。
次に、オフセット計算部１２０が、第１および第２の画像成分の、ベース画像の画素値からのオフセット値を計算する（ステップＳ４）。
次に、符号化部１３０が、ステップＳ４において計算されたオフセット値の符号化を行う（ステップＳ５）。
次に、送信部１４０が、ステップ３において抽出されたベース画像と、ステップ５において符号化された第１および第２の画像成分のオフセット値とを、デコード装置２００へ送信する（ステップＳ６）。
最後に、エンコード装置１００は、エンコード処理が終了したか否かを判断する（ステップＳ７）。終了していない場合（ステップＳ７のＮｏ）は、ステップＳ２に戻り、次の画像の入力を受け付けてエンコード処理を継続する。
以上、エンコード装置１００におけるエンコード処理の流れについて説明した。
［デコード処理の流れについて］
次に、デコード装置２００における受信画像のデコード処理の流れについて説明する。
（７２０Ｐ画像、３６０Ｐ画像、および１８０Ｐ画像）
図１２は、デコード装置２００における、７２０Ｐ画像、３６０Ｐ画像、および１８０Ｐ画像のデコード処理の流れについて説明するフローチャートである。
まず、デコード装置２００は、デコード処理を開始する前に、各部の初期化を行う（ステップＳ１１）。
次に、受信部２１０が、伝送データ、すなわち、ベース画像と、符号化された第１および第２の画像成分のオフセット値との受信を行う（ステップＳ１２）。
７２０Ｐ画像に関しては、ステップＳ１２の次に、出力部２２０が、受信したベース画像（７２０Ｐ画像）を外部に出力する（ステップＳ１３）。
３６０Ｐ画像に関しては、ステップＳ１２の次に、１／２ダウンコンバート部２５３が、受信したベース画像の１／２倍ダウンコンバート処理を行う（ステップＳ１４）。次いで、出力部２２０が、ダウンコンバートした３６０Ｐ画像を外部に出力する（ステップＳ１５）。
１８０Ｐ画像に関しては、ステップＳ１４の次に、１／２ダウンコンバート部２５４が、１／２倍ダウンコンバート処理された画像に対して、さらに１／２倍ダウンコンバート処理を行う（ステップＳ１６）。次いで、出力部２２０が、ダウンコンバートした１８０Ｐ画像を外部に出力する（ステップＳ１７）。
ステップＳ１３、Ｓ１５、およびＳ１７における画像の外部出力の後、デコード装置２００は、デコード処理が終了したか否かの判断を行う（ステップＳ１８）。終了していない場合（ステップＳ１８のＮｏ）は、ステップＳ１２に戻り、次の画像を受信してデコード処理を継続する。
以上が、デコード装置２００における、７２０Ｐ画像、３６０Ｐ画像、および１８０Ｐ画像のデコード処理の流れである。
（１０８０Ｐ画像、５４０Ｐ画像、および２７０Ｐ画像）
図１３は、デコード装置２００における、１０８０Ｐ画像、５４０Ｐ画像、および２７０Ｐ画像のデコード処理の流れについて説明するフローチャートである。
まず、デコード装置２００は、デコード処理を開始する前に、各部の初期化を行う（ステップＳ２１）。
次に、受信部２１０が、伝送データ、すなわち、ベース画像と、符号化された第１および第２の画像成分のオフセット値との受信を行う（ステップＳ２２）。
次に、逆符号化部２３０が、符号化された第１の画像成分のオフセット値の復号を行う（ステップＳ２３）。
次に、オフセット逆計算部２４０が、復号された第１の画像成分のオフセット値と、受信部２１０が受信したベース画像とから、第１の画像成分をオフセット値からオフセット前の元の値に戻す（ステップＳ２４）。
次に、１／２ダウンコンバート部（後半計算用）２５０が、第１の画像成分を用いて、１／２倍ダウンコンバート計算の後半を行い、１０８０Ｐ画像を生成する（ステップＳ２５）。
１０８０Ｐ画像に関しては、ステップＳ２５の次に、出力部２２０が、生成された１０８０Ｐ画像を外部に出力する（ステップＳ２６）。
５４０Ｐ画像に関しては、ステップＳ２５の次に、１／２ダウンコンバート部２５１が、生成された１０８０Ｐ画像の１／２倍ダウンコンバート処理を行う（ステップＳ２７）。次いで、出力部２２０が、ダウンコンバートした５４０Ｐ画像を外部に出力する（ステップＳ２８）。
２７０Ｐ画像に関しては、ステップＳ２７の次に、１／２ダウンコンバート部２５２が、１／２倍ダウンコンバート処理された画像に対して、さらに１／２倍ダウンコンバート処理を行う（ステップＳ２９）。次いで、出力部２２０が、ダウンコンバートした２７０Ｐ画像を外部に出力する（ステップＳ３０）。
ステップＳ２６、Ｓ２８、およびＳ３０における画像の外部出力の後、デコード装置２００は、デコード処理が終了したか否かの判断を行う（ステップＳ３１）。終了していない場合（ステップＳ３１のＮｏ）は、ステップＳ２２に戻り、次の画像を受信してデコード処理を継続する。
以上が、デコード装置２００における、１０８０Ｐ画像、５４０Ｐ画像、および２７０Ｐ画像のデコード処理の流れである。
（１４４０Ｐ画像）
図１４は、デコード装置２００における、１４４０Ｐ画像のデコード処理の流れについて説明するフローチャートである。
まず、デコード装置２００は、デコード処理を開始する前に、各部の初期化を行う（ステップＳ４１）。
次に、受信部２１０が、伝送データ、すなわち、ベース画像と、符号化された第１および第２の画像成分のオフセット値との受信を行う（ステップＳ４２）。
次に、逆符号化部２３０が、符号化された第２の画像成分のオフセット値の復号を行う（ステップＳ４３）。
次に、オフセット逆計算部２４０が、復号された第２の画像成分のオフセット値と、受信部２１０が受信したベース画像とから、第２の画像成分をオフセット値からオフセット前の元の値に戻す（ステップＳ４４）。
次に、補間２／３ダウンコンバート部２６０が、ベース画像および第２の画像成分を用いて、補間による２／３倍ダウンコンバート計算を行い、１４４０Ｐ画像を生成する（ステップＳ４５）。
次に、出力部２２０が、生成された１４４０Ｐ画像を外部に出力する（ステップＳ４６）。
次に、デコード装置２００は、デコード処理が終了したか否かの判断を行う（ステップＳ４７）。終了していない場合（ステップＳ４７のＮｏ）は、ステップＳ４２に戻り、次の画像を受信してデコード処理を継続する。
以上が、デコード装置２００における、１４４０Ｐ画像のデコード処理の流れである。
（２１６０Ｐ画像）
図１５は、デコード装置２００における、２１６０Ｐ画像のデコード処理の流れについて説明するフローチャートである。
まず、デコード装置２００は、デコード処理を開始する前に、各部の初期化を行う（ステップＳ５１）。
次に、受信部２１０が、伝送データ、すなわち、ベース画像と、符号化された第１および第２の画像成分のオフセット値との受信を行う（ステップＳ５２）。
次に、逆符号化部２３０が、符号化された第１および第２の画像成分のオフセット値の復号を行う（ステップＳ５３）。
次に、オフセット逆計算部２４０が、復号された第１および第２の画像成分のオフセット値と、受信部２１０が受信したベース画像とから、第１および第２の画像成分をオフセット値からオフセット前の元の値に戻す（ステップＳ５４）。
次に、復元部２７０が、ベース画像と第１および第２の画像成分とを用いて、連立方程式を解くことにより、２１６０Ｐ画像を復元する（ステップＳ５５）。
次に、出力部２２０が、復元された２１６０Ｐ画像を外部に出力する（ステップＳ５６）。
次に、デコード装置２００は、デコード処理が終了したか否かの判断を行う（ステップＳ５７）。終了していない場合（ステップＳ５７のＮｏ）は、ステップＳ５２に戻り、次の画像を受信してデコード処理を継続する。
以上が、デコード装置２００における、２１６０Ｐ画像のデコード処理の流れである。
以上、本技術における第１の実施形態について説明した。
＜第２の実施形態＞
次に、本技術における第２の実施形態について説明する。なお、以下の説明では、第１の実施形態と異なる部分についてのみ説明を行う。
［第１の実施形態との違い（概略）］
第１の実施形態では、１４４０Ｐ画像を求めるために、画素Ｄ１、Ｄ３、Ｄ４、Ｄ５、およびＤ７のみを用いたので、２／３倍ダウンコンバートを行う際には、画素Ｄ０、Ｄ２、Ｄ６、およびＤ８の分は、補間により補った。それ故、生成された１４４０Ｐ画像は、疑似１４４０Ｐ画像であった。
第２の実施形態では、１４４０Ｐ画像を求めるために、画素Ｄ０からＤ８までの全ての画素値を用いる。それ故、生成された１４４０Ｐ画像は、正確な２／３倍ダウンコンバート画像となっている。但し、１４４０Ｐ画像の計算方法を変えたために、２１６０Ｐ画像を復元する際の連立方程式を解くために、もう１つ、元の画素値が必要になる。以下の説明では、例として画素Ｄ５の画素値を、伝送データに含むことにしているが、Ｄ４以外の画素であればいずれの画素でもよい。
［ダウンコンバートのための計算（概略）］
図１６は、本実施形態において、エンコード装置１０１に入力された画像の解像度が、どのような処理を経て、デコード装置２０１からの各解像度の出力画像になるかを示す図である。
第１の実施形態との違いは、１４４０Ｐ画像の生成経路と、２１６０Ｐ画像の復元経路である。７２０Ｐ画像および１０８０Ｐ画像に関する経路は同じなので説明は省略する。
（１４４０Ｐ画像の生成経路）
まず、入力画像である２１６０Ｐ画像１０から出力画像である１４４０Ｐ画像９１までの経路に沿って説明する。
エンコード装置１００に入力される入力画像は、２１６０Ｐ画像１０であり、その中の３×３の画素群には、画素Ｄ０から画素Ｄ８までが含まれている。
本実施形態では、エンコード装置１０１側において、２／３倍ダウンコンバートの演算処理を行う。すなわち、例えば、画素Ｄ０、Ｄ１、Ｄ３、Ｄ４から、ダウンコンバート後の２×２の画素群の画素Ｂ０の値を算出する。但し、画素Ｂ０の値を、ダウンコンバート後の２×２の画素配置における画素Ｂ０の位置に配置するのは、デコード装置２０１側において行う。それ故、伝送データ上では、求めた画素Ｂ０の値は、元の３×３の画素群の画素Ｄ１’の画素位置に置かれて伝送される。
このように、２／３倍ダウンコンバート演算により求められたダウンコンバート後の２×２の画素群の画素Ｂ０からＢ３の値は、元の３×３の画素群の画素Ｄ１’、Ｄ３’、Ｄ５’、Ｄ７’の位置に格納され、伝送される。そしてデコード装置２０１において、２×２画素群の適切な画素位置に配置しなおされ、１４４０Ｐ画像が生成される。
（２１６０Ｐ画像の復元経路）
次に、入力画像である２１６０Ｐ画像１０から出力画像である２１６０Ｐ画像７０までの経路に沿って説明する。
エンコード装置への入力画像は、２１６０Ｐ画像１０であり上記と同じである。また、エンコード装置からデコード装置に伝送される伝送データに含まれる、７２０Ｐ画像２０および第１の画像成分３０は、第１の実施形態と同じである。
第２の画像成分４１は、１４４０Ｐ画像の生成経路において説明したとおり、２１６０Ｐ画像１０を２／３倍ダウンコンバートした画像成分である。
そして、第３の画像成分５０は、上記のとおり、３×３の画素群における例えば画素Ｄ５を集めたものである。画素Ｄ５の抽出は、入力画像である２１６０Ｐ画像１０に対して、間引きによる１／３倍ダウンコンバート処理を行うことにより得られる。
このように、第２の実施形態では、ベース画像（７２０Ｐ画像２０）、第１および第２の画像成分に加えて、第３の画像成分も伝送データとしてデコード装置２０１に送られる。
デコード装置２０１では、受信した７２０Ｐ画像２０、第１の画像成分３０、および第２の画像成分４１に含まれるエンコード処理された画素Ｄ０’からＤ８’までの画素値と、同じく受信した第３の画像成分５０に含まれる画素Ｄ５’の画素値を用いて、連立方程式を解くことにより、入力画像の画素Ｄ０からＤ８までの値を逆算し、２１６０Ｐ画像７０を生成（復元）して、出力する。
以上、ダウンコンバートのための計算の概略について説明した。
［ダウンコンバートのための計算（詳細）］
エンコード装置１０１に入力された画像を所定の倍率でダウンコンバートするための画素同士の加減乗除による計算の詳細について説明する。なお、７２０Ｐ画像および１０８０Ｐ画像に関しては第１の実施形態と同じなので、説明は省略する。
（１４４０Ｐ画像の計算）
まず、１４４０Ｐ画像９０の生成に関し説明する。図１７は、入力画像の各画素が、点線により示した区分けに従って、どのように出力画像である１４４０Ｐ画像に使われるかを示す図である。
図の左側は、入力画像の３×３の画素の配置を示している。そして、以下の数式により、図の中央に示す伝送データ（第２の画像成分）内の画素Ｄ１’、Ｄ３’、Ｄ５’、Ｄ７’の値が求められる。
Ｄ１’＝{Ｄ０＋（Ｄ１＋Ｄ３）／２＋Ｄ４／４}×４／９ （７５）
Ｄ３’＝{Ｄ２＋（Ｄ１＋Ｄ５）／２＋Ｄ４／４}×４／９ （７６）
Ｄ５’＝{Ｄ６＋（Ｄ３＋Ｄ７）／２＋Ｄ４／４}×４／９ （７７）
Ｄ７’＝{Ｄ８＋（Ｄ７＋Ｄ５）／２＋Ｄ４／４}×４／９ （７８）
図の右側に示すように、デコード装置に送られた上記の第２の画像成分を元に、画素位置の配置換えが行われ、出力画像である１４４０Ｐ画像の２×２画素を構成する画素Ｂ０からＢ３までの値が求められる。
Ｂ０＝Ｄ１’ （７９）
Ｂ１＝Ｄ３’ （８０）
Ｂ２＝Ｄ５’ （８１）
Ｂ３＝Ｄ７’ （８２）
以上が、１４４０Ｐ画像９１の生成方法である。
（２１６０Ｐ画像の計算）
次に、２１６０Ｐ画像７０の復元に関し説明する。第１象限から第４象限まで、同様に計算を行うので、ここでは第１象限についての計算のみ説明を行う。
まず、画素Ｄ１４の値は、数式（２）より、
Ｄ１４＝Ｄ１４’ （８３）
である。また、第３の画像成分は、入力画像２１６０Ｐ画像の画素Ｄ１５（画素Ｄ５）そのままであるので、画素Ｄ１５の値は、
Ｄ１５＝Ｄ１５’ （８４）
である。また、数式（６）より、画素Ｄ１８の値は、
Ｄ１８＝Ｄ１８’ （８５）
である。また、画素Ｄ１２の値は、数式（４）より、
Ｄ１２＝２×Ｄ１２’−Ｄ１５ （８６）
である。また、画素Ｄ１７の値は、数式（７８）より、
Ｄ１７＝（Ｄ１７’×９／４−Ｄ１４／４−Ｄ１５／２−Ｄ１８）×２ （８７）
である。また、画素Ｄ１６の値は、数式（５）より、
Ｄ１６＝Ｄ１６’×２−Ｄ１７ （８８）
である。また、画素Ｄ１１の値は、数式（７６）より、
Ｄ１１＝（Ｄ１３’×９／４−Ｄ１４／４−Ｄ１５／２−Ｄ１２）×２ （８９）
である。また、画素Ｄ１３の値は、数式（７７）より、
Ｄ１３＝（Ｄ１５’×９／４−Ｄ１４／４−Ｄ１７／２−Ｄ１６）×２ （９０）
である。また、画素Ｄ１０の値は、数式（７５）より、
Ｄ１０＝Ｄ１１’×９／４−（Ｄ１１＋Ｄ１３）／２−Ｄ１４／４ （９１）
である。
以上の計算により、第１象限の９個の画素についてその値が求まる。第２象限から第４象限まで同様にして画素の値を求めると、２１６０Ｐ画像７０を復元することが出来る。
［オフセット値の計算］
本実施形態では、３×３の画素群では、ベース画像の画素Ｄ４’と、第１の画像成分の画素Ｄ０’、Ｄ２’、Ｄ６’、およびＤ８’との間で差分を取り、また、ベース画像の画素Ｄ４’と、第２の画像成分の画素Ｄ１’、Ｄ３’、Ｄ５’、およびＤ７’との間で差分を取っている。さらに、ベース画像の画素Ｄ４’と、第３の画像成分の画素Ｄ５’との間でも差分を取っている。
以下では、これまでに述べたダウンコンバートの為の画素同士の計算式に、オフセット値の計算を含めて、実際のどうなるかを説明する。なお、７２０Ｐ画像および１０８０Ｐ画像については、第１の実施形態と同じなので説明は省略する。
（１４４０Ｐ画像の計算）
次に、１４４０Ｐ画像９０を生成する場合の計算式を挙げる。まず第２の画像成分の計算は、以下のようになる。
Ｄ１’＝{Ｄ０＋（Ｄ１＋Ｄ３）／２＋Ｄ４／４}×４／９−Ｄ４’ （９２）
Ｄ３’＝{Ｄ２＋（Ｄ１＋Ｄ５）／２＋Ｄ４／４}×４／９−Ｄ４’ （９３）
Ｄ５’＝{Ｄ６＋（Ｄ３＋Ｄ７）／２＋Ｄ４／４}×４／９−Ｄ４’ （９４）
Ｄ７’＝{Ｄ８＋（Ｄ７＋Ｄ５）／２＋Ｄ４／４}×４／９−Ｄ４’ （９５）
そして、出力画像である１４４０Ｐ画像９１の２×２画素を構成する画素Ｂ０からＢ３までの値は以下のようになる。
Ｂ０＝Ｄ１’＋Ｄ４’ （９６）
Ｂ１＝Ｄ３’＋Ｄ４’ （９７）
Ｂ２＝Ｄ５’＋Ｄ４’ （９８）
Ｂ３＝Ｄ７’＋Ｄ４’ （９９）
以上が、１４４０Ｐ画像９１の生成方法である。
（２１６０Ｐ画像の計算）
次に、２１６０Ｐ画像７０の復元に関し説明する。第１象限から第４象限まで、同様に計算を行うので、ここでは第１象限についての計算のみ説明を行う。
まず、画素Ｄ１４の値は、数式（２）より、
Ｄ１４＝Ｄ１４’ （１００）
である。また、第３の画像成分は、入力画像２１６０Ｐ画像の画素Ｄ１５（画素Ｄ５）そのままであるので、画素Ｄ１５の値は、
Ｄ１５＝Ｄ１５’＋Ｄ１４’ （１０１）
である。また、数式（４８）より、画素Ｄ１８の値は、
Ｄ１８＝Ｄ１８’＋Ｄ１４’ （１０２）
である。また、画素Ｄ１２の値は、数式（４６）より、
Ｄ１２＝２×（Ｄ１２’＋Ｄ１４’）−Ｄ１５ （１０３）
である。また、画素Ｄ１７の値は、数式（９５）より、
Ｄ１７＝{（Ｄ１７’＋Ｄ１４’）×９／４−Ｄ１４／４−Ｄ１５／２−Ｄ１８}×２ （１０４）
である。また、画素Ｄ１６の値は、数式（４７）より、
Ｄ１６＝（Ｄ１６’＋Ｄ１４’）×２−Ｄ１７ （１０５）
である。また、画素Ｄ１１の値は、数式（９３）より、
Ｄ１１＝{（Ｄ１３’＋Ｄ１４’）×９／４−Ｄ１４／４−Ｄ１５／２−Ｄ１２}×２ （１０６）
である。また、画素Ｄ１３の値は、数式（９４）より、
Ｄ１３＝{（Ｄ１５’＋Ｄ１４’）×９／４−Ｄ１４／４−Ｄ１７／２−Ｄ１６）×２ （１０７）
である。また、画素Ｄ１０の値は、数式（９２）より、
Ｄ１０＝（Ｄ１１’＋Ｄ１４’）×９／４−（Ｄ１１＋Ｄ１３）／２−Ｄ１４／４ （１０８）
である。
以上の計算により、第１象限の９個の画素についてその値が求まる。第２象限から第４象限まで同様にして画素の値を求めると、２１６０Ｐ画像７０を復元することが出来る。
［伝送データの画素の並び替えについて］
伝送データの画素の並び替え方法については、ベース画像と、第１および第２の画像成分の並び替えは、第１の実施形態のものと同じである。本実施形態では、これらに加えて、第３の画像成分が伝送データに追加される。
［エンコード装置の構成について］
次に、エンコード装置１０１の構成について説明する。エンコード装置１０１の構成を示すブロック図は、図９と同じなので省略する。
第１の実施形態との違いは、生成部１１１である。生成部１１１は、上述のとおり、４Ｋハイビジョン画像（２１６０Ｐ画像１０）を１／３倍ダウンコンバートし、ベース画像（７２０Ｐ画像２０）を生成する。生成されたベース画像は、オフセット計算部１２０および送信部１４０に渡される。生成部１１０は、また、上述のとおり、４Ｋハイビジョン画像（２１６０Ｐ画像１０）を途中まで１／２倍ダウンコンバートし第１の画像成分を生成する。この点は第１の実施形態と同じである。
生成部１１１に関して第１の実施形態と異なるのは、生成部１１１が、４Ｋハイビジョン画像（２１６０Ｐ画像１０）を２／３倍ダウンコンバートし第２の画像成分を生成する事と、４Ｋハイビジョン画像（２１６０Ｐ画像１０）を間引いて１／３倍ダウンコンバートし第３の画像成分を生成する事である。
生成された第１、第２および第３の画像成分は、オフセット計算部１２０に渡されて処理された後、ベース画像と共に、伝送データとしてデコード装置２０１に送信される。
［デコード装置の構成について］
次に、デコード装置２０１の構成について説明する。図１８は、デコード装置２０１の構成を示すブロック図である。
デコード装置２０１は、受信部２１０、出力部２２０、逆符号化部２３０、オフセット逆計算部２４０、１／２ダウンコンバート部（後半計算用）２５０、１／２ダウンコンバート部２５１、２５２、２５３、２５４、１４４０Ｐ画像生成部２６１、復元部２７１を備えている。
第１の実施形態との大きな違いは、１４４０Ｐ画像生成部２６１および復元部２７１である。
１４４０Ｐ画像生成部２６１は、上述のとおり、エンコード装置１００において、２１６０Ｐ画像１０を２／３倍ダウンコンバートして得られた画素値を、３×３の画素群の画素Ｄ１’、Ｄ３’、Ｄ５’、Ｄ７’の位置に格納しておいたものを、２×２の画素群の画素Ｂ０からＢ３の画素位置に配置しなおす。
復元部２７１は、上述のとおり、エンコード装置１００から送られたベース画像、第１、第２および第３の画像成分に基づき、連立方程式を解くことにより、２１６０Ｐ画像７０を復元する。
以上、本技術における第２の実施形態について説明した。
＜第３の実施形態＞
次に、本技術における第３の実施形態について説明する。なお、以下の説明では、第１の実施形態と異なる部分についてのみ説明を行う。
［第１の実施形態との違い（概略）］
第１の実施形態では、７２０Ｐ画像２０を求めるために、画素Ｄ０からＤ８のうち、画素Ｄ４以外を間引くことにより、１／３倍ダウンコンバート処理を行った。本実施形態では、間引くのではなく、画素Ｄ０からＤ８までの平均値を求めることにより、１／３倍ダウンコンバート処理を行う。
すなわち、第１の実施形態では、画素Ｄ４’の値は、数式（１）にあるように、
Ｄ４’＝Ｄ４ （１）
であったが、本実施形態では、画素Ｄ４’の値は、
Ｄ４’＝（Ｄ０＋Ｄ１＋Ｄ２＋Ｄ３＋Ｄ４＋Ｄ５＋Ｄ６＋Ｄ７＋Ｄ８）／９ （１０９）
となる。数式（１０９）から分かるように、この式から画素Ｄ４の値を一意に定めることはできないので、２１６０Ｐ画像を復元するために連立方程式を解く際には、第２の実施形態と同様に、もう１つの画素の値、例えば画素Ｄ５の値を、第３の画像成分としてデコード装置２０２に送る必要がある。
［ダウンコンバートのための計算（概略）］
図１９は、本実施形態において、エンコード装置１０２に入力された画像の解像度が、どのような処理を経て、デコード装置２０２からの各解像度の出力画像になるかを示す図である。
第１の実施形態との違いの１点目は、ベース画像（７２０Ｐ画像）を構成する画素Ｄ４’が画素Ｄ０からＤ８を用いて求められている点である。２点目は、伝送データに、例えば画素Ｄ５から構成される第３の画像成分５０が含まれる点である。３点目は、２１６０Ｐ画像を復元するために、ベース画像２１と、第１、第２および第３の画像成分３０、４０、５０を用いる点である。
なお、数式による計算の詳細や、エンコード装置１０２、デコード装置２０２の詳細は、第１の実施形態および第２の実施形態から同様に導かれるので、説明は省略する。
なお、第３の実施形態では、第１の実施形態を基に、画素Ｄ４’の計算式を数式（１）から数式（１０９）に変更したが、これに限らず、第２の実施形態を基に、画素Ｄ４’の計算式を数式（１０９）に変更してもよい。
［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
１０…２１６０Ｐ画像
２０、２１…７２０Ｐ画像
３０…第１の画像成分
４０、４１…第２の画像成分
５０…第３の画像成分
６０…７２０Ｐ画像
７０…２１６０Ｐ画像
８０…１０８０Ｐ画像
９０、９１…１４４０Ｐ画像
１００〜１０２…エンコード装置
１１０、１１１…生成部
１２０…オフセット計算部
１３０…符号化部
１４０…送信部
２００〜２０２…デコード装置
２１０…受信部
２２０…出力部
２３０…逆符号化部
２４０…オフセット逆計算部
２５０…１／２ダウンコンバート部（後半計算用）
２５１〜２５４…１／２ダウンコンバート部
２６０…補間２／３ダウンコンバート部
２６１…１４４０Ｐ画像生成部
２７０、２７１…復元部

Claims (16)

  1. 入力画像を予め定められた第１の倍率でダウンコンバートしてベース画像を生成するベース画像生成部と、
    前記入力画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記入力画像を復元するために必要な情報の一部である第１の画像成分情報を生成する第１の画像成分生成部と、
    前記入力画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記入力画像を復元するために必要な第２の画像成分情報を生成する第２の画像成分生成部と、
    前記ベース画像、前記第１の画像成分情報および第２の画像成分情報を出力する出力部と
    を具備するエンコード装置。
  2. 請求項１に記載のエンコード装置であって、
    前記第１の画像成分情報と、前記ベース画像の各画素との第１のオフセット値を計算し、この第１のオフセット値を符号化し、前記第２の画像成分情報と、前記ベース画像の各画素との第２のオフセット値を計算し、この第２のオフセット値を符号化する符号化部
    をさらに具備し、
    前記第１の出力部は、
    前記ベース画像、前記符号化された第１のオフセット値、および前記符号化された第２のオフセット値を出力する
    エンコード装置。
  3. 請求項２に記載のエンコード装置であって、
    前記ベース画像の全画素に対して均等な画質調整を行う画質調整部
    をさらに具備し、
    前記符号化部は、
    前記画質調整が行われたベース画像から前記オフセット値を計算する
    エンコード装置。
  4. 請求項１に記載のエンコード装置であって、
    前記入力画像の垂直解像度は２１６０であり、
    前記第１の倍率は、１／３倍であり、
    前記第２の倍率は、１／２倍であり、
    前記第３の倍率は、２／３倍である
    エンコード装置。
  5. 元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、
    前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、
    前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報と
    を入力する入力部と、
    前記入力されたベース画像を出力する出力部と
    を具備するデコード装置。
  6. 請求項５に記載のデコード装置であって、
    前記出力部から出力されるベース画像の垂直解像度は７２０である
    デコード装置。
  7. 元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、
    前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、
    前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報と
    を入力する入力部と、
    前記入力された第１の画像成分情報を用いて前記元画像の前記第２の倍率でのダウンコンバート画像を生成するダウンコンバート部と、
    前記ダウンコンバートされた画像を出力する出力部と
    を具備するデコード装置。
  8. 請求項７に記載のデコード装置であって、
    前記出力部から出力される画像の垂直解像度は１０８０である
    デコード装置。
  9. 元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、
    前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、
    前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報と
    を入力する入力部と、
    前記入力されたベース画像および第２の画像成分情報を用いて前記元画像の前記第３の倍率でのダウンコンバート画像を生成するダウンコンバート部と、
    前記ダウンコンバートされた画像を出力する出力部と
    を具備するデコード装置。
  10. 請求項９に記載のデコード装置であって、
    前記出力部から出力される画像の垂直解像度は１４４０である
    デコード装置。
  11. 元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、
    前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、
    前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報と
    を入力する入力部と、
    前記入力されたベース画像、第１の画像成分情報、および第２の画像成分情報を用いて前記元画像を復元する復元部と、
    前記復元された元画像を出力する出力部と
    を具備するデコード装置。
  12. 請求項１１に記載のデコード装置であって、
    前記出力部から出力される前記入力画像の垂直解像度は２１６０である
    デコード装置。
  13. 元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、
    前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、
    前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報と
    を入力する入力部と、
    前記入力された第１の画像成分情報を用いて前記元画像の前記第２の倍率での第１のダウンコンバート画像を生成する第１のダウンコンバート部と、
    前記入力されたベース画像および第２の画像成分情報を用いて前記元画像の前記第３の倍率での第２のダウンコンバート画像を生成する第２のダウンコンバート部と、
    前記入力されたベース画像、第１の画像成分情報、および第２の画像成分情報を用いて前記元画像を復元する復元部と、
    前記入力されたベース画像と、前記第１のダウンコンバート画像と、前記第２のダウンコンバート画像と、前記復元された元画像とを出力する出力部と
    を具備するデコード装置。
  14. 請求項１３に記載のデコード装置であって、
    前記出力部から出力される、ベース画像の垂直解像度は７２０であり、
    前記第１のダウンコンバート画像の垂直解像度は１０８０であり、
    前記第２のダウンコンバート画像の垂直解像度は１４４０であり、
    前記復元された元画像の垂直解像度は２１６０である
    デコード装置。
  15. 入力画像を予め定められた第１の倍率でダウンコンバートしてベース画像を生成し、
    前記入力画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記入力画像を復元するために必要な情報の一部である第１の画像成分情報を生成し、
    前記入力画像を前記第１および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記入力画像を復元するために必要な第２の画像成分情報を生成する
    エンコード方法。
  16. 元画像を予め定められた第１の倍率でダウンコンバートして得られたベース画像と、
    前記元画像を前記第１の倍率とは異なる予め定められた第２の倍率でダウンコンバートするために必要な情報であって、前記ベース画像から前記元画像を復元するために必要な情報の一部である第１の画像成分情報と、
    前記元画像を前記第１の倍率および第２の倍率とは異なる予め定められた第３の倍率でダウンコンバートするために必要な情報であって、前記第１の画像成分情報と共に用いて前記ベース画像から前記元画像を復元するために必要な第２の画像成分情報とを受け付け、
    前記第１の画像成分情報を用いて前記元画像の前記第２の倍率でのダウンコンバート画像を生成し、
    前記ベース画像および第２の画像成分情報を用いて前記元画像の前記第３の倍率でのダウンコンバート画像を生成し、
    前記ベース画像、第１の画像成分情報、および第２の画像成分情報を用いて前記元画像を復元する
    デコード方法。
JP2012238135A 2012-10-29 2012-10-29 エンコード装置、デコード装置、エンコード方法、およびデコード方法 Pending JP2014090261A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012238135A JP2014090261A (ja) 2012-10-29 2012-10-29 エンコード装置、デコード装置、エンコード方法、およびデコード方法
CN201310499109.XA CN103796020A (zh) 2012-10-29 2013-10-22 编码装置、解码装置、编码方法及解码方法
US14/061,014 US20140119670A1 (en) 2012-10-29 2013-10-23 Encoding apparatus, decoding apparatus, encoding method, and decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012238135A JP2014090261A (ja) 2012-10-29 2012-10-29 エンコード装置、デコード装置、エンコード方法、およびデコード方法

Publications (1)

Publication Number Publication Date
JP2014090261A true JP2014090261A (ja) 2014-05-15

Family

ID=50547265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012238135A Pending JP2014090261A (ja) 2012-10-29 2012-10-29 エンコード装置、デコード装置、エンコード方法、およびデコード方法

Country Status (3)

Country Link
US (1) US20140119670A1 (ja)
JP (1) JP2014090261A (ja)
CN (1) CN103796020A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6689821B2 (ja) * 2014-08-12 2020-04-28 シンジェンタ パーティシペーションズ アーゲー 硫黄含有置換基を有する殺有害生物的に活性な複素環式誘導体
WO2018142159A1 (en) * 2017-02-03 2018-08-09 Tv One Limited Method of video transmission and display
US11297203B2 (en) * 2018-05-09 2022-04-05 Panamorph, Inc. Image processing system and method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5125045A (en) * 1987-11-20 1992-06-23 Hitachi, Ltd. Image processing system
CN100440982C (zh) * 2001-07-10 2008-12-03 索尼株式会社 判定视频信号的设备和方法
GB2412519B (en) * 2004-03-23 2010-11-03 British Broadcasting Corp Monitoring system

Also Published As

Publication number Publication date
CN103796020A (zh) 2014-05-14
US20140119670A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
CA2635898C (en) Resampling and picture resizing operations for multi-resolution video coding and decoding
EP2524505B1 (en) Edge enhancement for temporal scaling with metadata
US9734557B2 (en) Method and apparatus for generating 3K-resolution display image for mobile terminal screen
US20090231487A1 (en) Image processing apparatus and method for format conversion
JP2012257148A (ja) 動きベクトル検出装置、符号化装置、復号装置、及びこれらのプログラム
JP5449398B2 (ja) 映像処理システムにおける映像を変換する装置及び方法
US20210329246A1 (en) Architecture for signal enhancement coding
JP2012235383A (ja) エンコーダ、デコーダ、エンコーダシステム、デコーダシステム、伝送アダプタ、エンコード方法、デコード方法、および撮像装置
JP2014090261A (ja) エンコード装置、デコード装置、エンコード方法、およびデコード方法
JP2009044538A (ja) 監視システムおよびこれに用いる撮像装置
EP3785445A1 (en) Video decoder chipset
JP5945816B2 (ja) 映像処理システム
WO2013035358A1 (ja) 動画像符号化装置およびその方法、ならびに動画像復号装置およびその方法
KR20100043955A (ko) 블록 단위 스케러블 부호화기, 복호화기 및 그 방법
JP2010028218A (ja) 画像符号化装置、画像復号装置、画像帯域分割装置及び画像帯域合成装置
JP2017098753A (ja) 符号化装置、撮像装置、符号化装置の制御方法、プログラム及び記憶媒体
JP2014160972A (ja) 画像処理装置及びプログラム