JP2013198059A5 - - Google Patents

Description

ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４（０３／２００９）−Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ

また、デプス画像符号化部３３０は、フレーム単位のテクスチャ画像Ｐｔｘに対応するデプス画像Ｐｄｐに基づくデプス情報Ｄｄｐを生成する。
一例として、デプス画像符号化部３３０は、以下のようにデプス情報Ｄｄｐを生成する。つまり、デプス画像符号化部３３０は、フレーム単位による符号化デプス画像Ｐｄｐ＿ｅｎｃについて逆処理、すなわち、復号を行って復号デプス画像を生成する。この復号デプス画像は、画像復号装置４００において復号されるデプス画像Ｐｄｐと同一のデータである。このように、画像符号化装置３００と画像復号装置４００とでデプス画像を同一とすることにより、生成される予測ベクトルを一致させることができる。
そして、デプス画像符号化部３３０は、例えばこの復号デプス画像の画素値を、デプス情報Ｄｄｐとして出力する。
また、デプス情報Ｄｄｐは、デプス画像を符号化した際の各ブロックの符号化モードや分割方法(例えば１６×１６、８×８など)や、動きベクトル、視差ベクトル、または、参照画像を指定するインデックスなどの情報のすべてあるいは一部を含むようなものであってもよい。

ＮＡＬユニットは、例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４において規定されている。
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４におけるビットストリームのシンタックスにおいては、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）とＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）の２層構造であるべきことが規定されている。

デプス情報Ｄｄｐを利用すべきことの指示が行われたと判定した場合（ステップＳ１０７−ＹＥＳ）、デプス情報入力部３２２は、デプス画像符号化部３３０から出力されるデプス情報Ｄｄｐをテクスチャ画像符号化処理部３２１に入力させる。これにより、テクスチャ画像符号化処理部３２１は、デプス情報Ｄｄｐを利用してテクスチャ画像Ｐｔｘを符号化して、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃを生成する（ステップＳ１０８）。

多重化部３５０は、すべての画像の符号化が終了したか否かについて判定し（ステップＳ１１８）、符号化が終了したのであれば（ステップＳ１１８−ＹＥＳ）、この図に示す処理を終了する。これに対して、符号化が終了していなければ（ステップＳ１１８−ＮＯ）、多重化部３５０はステップＳ１０１に戻る。これにより、画像符号化装置３００は、次の画像の符号化を実行する。

デプス画像復号部４４０は、符号化デプス画像Ｐｄｐ１＿ｅｎｃ、Ｐｄｐ２＿ｅｎｃを復号し、デプス画像Ｐｄｐ１＿ｄｅｃ、Ｐｄｐ２＿ｄｅｃを生成する。また、復号されたデプス画像Ｐｄｐ＿ｄｅｃを利用して、符号化の際に利用されたのと同じデプス情報Ｄｄｐを生成し、テクスチャ画像復号部４３０に出力する。
そのうえで、デプス画像復号部４４０は、デプス情報Ｄｄｐが符号化テクスチャ画像Ｐｔｘ＿ｅｎｃの符号化に際して利用されていたことが利用結果情報により示されている場合、符号化デプス画像Ｐｄｐ＿ｅｎｃを復号する復号処理を実行する。また、デプス画像復号部４４０は、デプス情報Ｄｄｐが符号化テクスチャ画像Ｐｔｘ＿ｅｎｃの符号化に際して利用されていないことが利用結果情報により示されている場合、上記の復号処理を省略する。つまり、このときのデプス画像復号部４４０は、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号を行わない。

一方、分離したＮＡＬユニットのデータが符号化テクスチャ画像Ｐｔｘ＿ｅｎｃでない場合（ステップＳ２０６−ＮＯ）、分離部４１０は、さらに、その分離したＮＡＬユニットのデータが符号化デプス画像Ｐｄｐ＿ｅｎｃであるか否かについて判定する（ステップＳ２０８）。
分離したＮＡＬユニットのデータが符号化デプス画像Ｐｄｐ＿ｅｎｃである場合（ステップＳ２０８−ＹＥＳ）、デプス画像復号部４４０における復号可否判定部４４１は、デプス画像要求信号ＲＱｄがデプス画像の要求を示しているか否かについて判定する(ステップＳ２０９)。
デプス画像の要求を示している場合(ステップＳ２０９−ＹＥＳ)、復号可否判定部４４１は、利用結果情報の値に係わらず、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号をすべきと判定し、後述のステップＳ２１１に進む。
一方、デプス画像の要求を示していない場合(ステップＳ２０９−ＮＯ)、復号可否判定部４４１は、さらにシーケンス情報Ｄｓｅｑに付加されている利用結果情報の値が「０」と「１」のいずれであるのかを判定する（ステップＳ２１０）。

前述のように、「０」の値の利用結果情報は、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃがデプス情報Ｄｄｐを利用して符号化されたことを示している。したがって、利用結果情報の値が「０」であると判定した場合（ステップＳ２１０−「０」）、復号可否判定部４４１は、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号をすべきと判定したことになる。
このように符号化デプス画像Ｐｄｐ＿ｅｎｃの復号をすべきと判定された場合、デプス画像復号処理部４４２は、符号化デプス画像Ｐｄｐ＿ｅｎｃを復号してデプス画像Ｐｄｐ＿ｄｅｃを生成する(ステップＳ２１１)。これとともに、デプス画像復号処理部４４２は、デプス画像Ｐｄｐ＿ｄｅｃに基づくデプス情報Ｄｄｐを生成する（ステップＳ２１１）。

一方、「１」の値の利用結果情報は、符号化テクスチャ画像Ｐｔｘ＿ｅｎｃがデプス情報Ｄｄｐを利用せずに符号化されたことを示している。したがって、利用結果情報の値が「１」であると判定した場合（ステップＳ２１０−「１」）、復号可否判定部４４１は、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号をすべきでないと判定したことになる。
この場合、デプス画像復号処理部４４２は、判定結果にしたがって、ステップＳ２１１の符号化デプス画像Ｐｄｐ＿ｅｎｃの復号処理を省略する。つまり、符号化デプス画像Ｐｄｐ＿ｅｎｃの復号処理を実行しないようにする。

Claims (9)

1. テクスチャ画像の被写空間に含まれる対象物に対する視点からの距離を示すデプス画像を符号化するとともに、符号化した前記デプス画像に基づくデプス情報を生成するデプス画像符号化部と、
   前記デプス情報を利用して前記テクスチャ画像を符号化すべき場合に、前記デプス情報を利用して前記テクスチャ画像を符号化し、前記デプス情報を利用せずに前記テクスチャ画像を符号化すべき場合に、前記デプス情報を利用せずに前記テクスチャ画像を符号化するテクスチャ画像符号化部と、
   前記デプス情報を前記テクスチャ画像の符号化に際して利用したか否かを示す利用結果情報を生成し、生成した利用結果情報を符号化する利用結果情報符号化部と、
   を備える画像符号化装置。
2. 前記テクスチャ画像のシーケンスに関連するシーケンス情報を符号化して符号化シーケンス情報を生成するにあたり、符号化された前記利用結果情報を含めて前記符号化シーケンス情報を生成するシーケンス情報符号化処理部をさらに備える、
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記デプス画像符号化部は、フレーム単位の前記テクスチャ画像に対応する前記デプス画像に基づく前記デプス情報を生成する、
   ことを特徴とする請求項１または２に記載の画像符号化装置。
4. 符号化されたテクスチャ画像を復号するテクスチャ画像復号部と、
   前記テクスチャ画像の被写空間に含まれる対象物に対する視点からの距離を示すデプス画像に基づくデプス情報を前記テクスチャ画像の符号化に際して利用したか否かを示す利用結果情報を符号化した符号化利用結果情報を復号する利用結果情報復号部と、
   符号化された前記デプス画像を復号するデプス画像復号部と、
   を備えることを特徴とする画像復号装置。
5. 前記利用結果情報復号部は、
   前記テクスチャ画像のシーケンスに関連するシーケンス情報が符号化された符号化シーケンス情報に付加された前記符号化利用結果情報を復号する、
   ことを特徴とする請求項４に記載の画像復号装置。
6. テクスチャ画像の被写空間に含まれる対象物に対する視点からの距離を示すデプス画像を符号化するとともに、符号化した前記デプス画像に基づくデプス情報を生成するデプス画像符号化ステップと、
   前記デプス情報を利用して前記テクスチャ画像を符号化すべき場合に、前記デプス情報を利用して前記テクスチャ画像を符号化し、前記デプス情報を利用せずに前記テクスチャ画像を符号化すべき場合に、前記デプス情報を利用せずに前記テクスチャ画像を符号化するテクスチャ画像符号化ステップと、
   前記デプス情報を前記テクスチャ画像の符号化に際して利用したか否かを示す利用結果情報を生成し、生成した利用結果情報を符号化する利用結果情報符号化ステップと、
   を備える画像符号化方法。
7. 符号化されたテクスチャ画像を復号するテクスチャ画像復号ステップと、
   前記テクスチャ画像の被写空間に含まれる対象物に対する視点からの距離を示すデプス画像に基づくデプス情報を前記テクスチャ画像の符号化に際して利用したか否かを示す利用結果情報を符号化した符号化利用結果情報を復号する利用結果情報復号ステップと、
   符号化された前記デプス画像を復号するデプス画像復号ステップと、
   を備えることを特徴とする画像復号方法。
8. コンピュータに、
   テクスチャ画像の被写空間に含まれる対象物に対する視点からの距離を示すデプス画像を符号化するとともに、符号化した前記デプス画像に基づくデプス情報を生成するデプス画像符号化ステップ、
   前記デプス情報を利用して前記テクスチャ画像を符号化すべき場合に、前記デプス情報を利用して前記テクスチャ画像を符号化し、前記デプス情報を利用せずに前記テクスチャ画像を符号化すべき場合に、前記デプス情報を利用せずに前記テクスチャ画像を符号化するテクスチャ画像符号化ステップ、
   前記デプス情報を前記テクスチャ画像の符号化に際して利用したか否かを示す利用結果情報を生成し、生成した利用結果情報を符号化する利用結果情報符号化ステップ、
   を実行させるためのプログラム。
9. コンピュータに、
   符号化されたテクスチャ画像を復号するテクスチャ画像復号ステップ、
   前記テクスチャ画像の被写空間に含まれる対象物に対する視点からの距離を示すデプス画像に基づくデプス情報を前記テクスチャ画像の符号化に際して利用したか否かを示す利用結果情報を符号化した符号化利用結果情報を復号する利用結果情報復号ステップ、
   符号化された前記デプス画像を復号するデプス画像復号ステップ、
   を実行させるためのプログラム。