JP2015073272A - オリジナルデプスフレームをリサイズ及び復元する方法、装置並びにシステム - Google Patents

Abstract

【課題】オリジナルデプスフレームをリサイズ及び復元する方法、装置並びにシステムを提供し、有効に現存の転送装置とバンドワイズの負担を軽減することを課題とする。
【解決手段】オリジナルデプスフレームのサイズを変更する方法は、オリジナルデプスフレームの少なくとも２つの画素の２つの副画素値をそれぞれ取得するステップと、それらの副画素値をそれぞれリサイズデプスフレームの一画素の２つの副画素内に保存させるステップとを備える。リサイズデプスフレームを復元する方法は、リサイズデプスフレームの一画素の第１副画素値を取得するステップと、第１副画素値をオリジナルデプスフレームの第１画素の全ての副画素内に保存させるステップと、リサイズデプスフレームの当該画素の第２副画素値を取得するステップと、第２副画素値をオリジナルデプスフレームの第２画素の全ての副画素内に保存させるステップとを備える。
【選択図】図２Ａ

Description

本発明は、オリジナルデプスフレーム（original depth frame）をリサイズ及び復元する方法、装置並びにシステムに関する。
本発明における画素の配列の表記について、「行」とは縦方向の並びを指し、「列」とは横方向の並びを指すものとする。

科学技術の進歩に伴い、電子製品の性能及び品質の向上がますます要求されるようになった。このうち、表示装置の設置に際しては、クリアで見やすい表示画面が提供される外、各メーカーは次々と３次元（three-dimension, ３Ｄ）表示装置を発表して、消費者に従来とは異なる視覚効果を提供している。

現段階において、３Ｄ映像生成システムは、オリジナルの２Ｄ映像データ、すなわちカラーフレーム（color frame）に基づいて当該カラーフレームに対応するデプスフレーム（depth frame）を生成して、現存の転送装置を介してカラーフレームとデプスフレームを ユーザの３Ｄ表示装置に転送するものである。３Ｄ表示装置は、カラーフレームとデプスフレームを受信して演算を行うことにより、全ての裸眼式３Ｄ表示装置が使用できる２つ以上の多視点映像を得るか、あるいは、メガネ式３Ｄ表示装置の左眼映像及び右眼映像を得ることができるようになっている。

しかしながら、従来の技術では、上述のカラーフレームとデプスフレームを転送する前に、データ量を軽減したり、圧縮効率を強化する処理を行っておらず、カラーフレームとデプスフレームを転送する際のデータ量または処理時間が倍増してしまう。

図１を参照しながら説明する。図１は、デプスフレームがオリジナル状態（未処理の状態）で転送された時の画素データ構造を示した図である。ここでは、オリジナルデプスフレームＯがグレースケールフレームであり、且つ、これに対応するカラーフレームにおける各画素がそれぞれ３つの副画素（サブピクセル）を有する場合を例とする。したがって、オリジナルデプスフレームＯにおける各画素の副画素の数量もそれぞれ３つであり、この３つの副画素は、それぞれレッド、グリーン、ブルー（Ｒ、Ｇ、Ｂ）である。しかしながら、実際では、オリジナルデプスフレームＯがグレースケールフレームであるため、各副画素もそれぞれの副画素値（すなわちグレースケール値）を有しており、これらの副画素値はいずれも各画素内では同じである。

上述のシステムにおいて、どのように効果的なフレーム圧縮及び復元方式を提供して、これを３Ｄ映像の圧縮及び復元システムに応用し、現存の転送装置とバンドワイズ（bandwidth）の負担を軽減させるかが重要な課題である。

上述の課題に鑑み、本発明は、３Ｄ映像の圧縮及び復元システムに応用して、圧縮効率が高く、データ量が少なく、転送効率が高いという長所を有することで、有効に現存の転送装置及びバンドワイズの負担を軽減させることができる効果的なオリジナルデプスフレームの圧縮及び復元方法、装置並びにシステムを提供することを目的とする。

上記目的を達成するために、本発明に係るオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする方法は、オリジナルデプスフレームにおける少なくとも２つの画素の２つの副画素値をそれぞれ取得するステップと、これら複数の副画素値をそれぞれリサイズデプスフレームにおける１つの画素の２つの副画素内に対応して保存させるステップを備えることを特徴とする。
一実施例においては、前記オリジナルデプスフレームは、グレースケールフレームであり、前記グレースケールフレームにおける各画素の副画素値は同一であることを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記副画素の副画素値は同一であることを特徴とする。
一実施例においては、前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記複数の副画素値を保存するステップは、３つの副画素値をそれぞれ前記リサイズデプスフレームにおける１つの画素の３つの副画素内に対応して保存させるステップであることを特徴とする。
一実施例においては、前記リサイズデプスフレームの行方向に沿ったサイズは、前記オリジナルデプスフレームの３分の１であることを特徴とする。

上記目的を達成するために、本発明に係るオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする装置は、画素取得ユニット及び画素保存ユニットを備える。画素取得ユニットは、オリジナルデプスフレームにおける少なくとも２つの画素の２つの副画素値をそれぞれ取得する。画素保存ユニットは、これら複数の副画素値をそれぞれリサイズデプスフレームにおける１つの画素の２つの副画素内に対応して保存させることを特徴とする。
一実施例においては、前記オリジナルデプスフレームは、グレースケールフレームであり、前記グレースケールフレームにおける各画素の副画素値は同一であることを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記副画素の副画素値は同一であることを特徴とする。
一実施例においては、前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記画素保存ユニットは、３つの副画素値をそれぞれ前記リサイズデプスフレームにおける１つの画素の３つの副画素内に対応して保存させることを特徴とする。
一実施例においては、前記リサイズデプスフレームの行方向に沿ったサイズは、前記オリジナルデプスフレームの３分の１であることを特徴とする。

上記目的を達成するために、本発明に係るオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにするシステムは、メモリユニット及び処理ユニットを備える。メモリユニットは、オリジナルデプスフレームを保存する。処理ユニットは、オリジナルデプスフレームにおける少なくとも２つの画素の２つの副画素値をそれぞれ取得して、これらの副画素値をそれぞれリサイズデプスフレームにおける１つの画素の２つの副画素内に対応して保存させることを特徴とする。
一実施例においては、前記オリジナルデプスフレームは、グレースケールフレームであり、前記グレースケールフレームにおける各画素の副画素値は同一であることを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記副画素の副画素値は同一であることを特徴とする。
一実施例においては、前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記処理ユニットは、前記オリジナルデプスフレームにおける３つの画素の３つの副画素値をそれぞれ取得して、３つの副画素値をそれぞれ前記リサイズデプスフレームにおける１つの画素の３つの副画素内に対応して保存させることを特徴とする。
一実施例においては、前記リサイズデプスフレームの行方向に沿ったサイズは、前記オリジナルデプスフレームの３分の１であることを特徴とする。

上記目的を達成するために、本発明に係るリサイズデプスフレームをオリジナルデプスフレームに復元する方法は、リサイズデプスフレームにおける１つの画素の第１副画素値を取得するステップと、第１副画素値をオリジナルデプスフレームにおける第１画素の全ての副画素内に保存させるステップと、リサイズデプスフレームにおける当該画素の第２副画素値を取得するステップと、第２副画素値をオリジナルデプスフレームにおける第２画素の全ての副画素内に保存させるステップと、を備えることを特徴とする。
一実施例においては、前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記第１副画素値を保存するステップは、前記第１副画素値を前記オリジナルデプスフレームにおける前記第１画素の３つの副画素内に保存させるステップであり、前記第２副画素値を保存するステップは、前記第２副画素値を前記オリジナルデプスフレームにおける前記第２画素の３つの副画素内に保存させるステップであることを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記副画素の副画素値は同一であることを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一行内に位置することを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一列内に位置することを特徴とする。
一実施例においては、前記オリジナルデプスフレームの行方向に沿ったサイズは、前記リサイズデプスフレームの３倍であることを特徴とする。

上記目的を達成するために、本発明に係るリサイズデプスフレームをオリジナルデプスフレームに復元する装置は、画素取得ユニット及び画素保存ユニットを備える。画素取得ユニットは、リサイズデプスフレームにおける１つの画素の少なくとも１つの第１副画素値と第２副画素値を取得する。画素保存ユニットは、第１副画素値をオリジナルデプスフレームにおける第１画素の全ての副画素内に保存させて、第２副画素値をオリジナルデプスフレームにおける第２画素の全ての副画素内に保存させることを特徴とする。
一実施例においては、前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記画素保存ユニットは、前記第１副画素値を前記オリジナルデプスフレームにおける前記第１画素の３つの副画素内に保存させると共に、前記第２副画素値を前記オリジナルデプスフレームにおける前記第２画素の３つの副画素内に保存させることを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記画素の副画素値は同一であることを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一行内に位置することを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一列内に位置することを特徴とする。
一実施例においては、前記オリジナルデプスフレームの行方向に沿ったサイズは、前記リサイズデプスフレームの３倍であることを特徴とする。

上記目的を達成するために、本発明に係るリサイズデプスフレームをオリジナルデプスフレームに復元するシステムは、メモリユニット及び処理ユニットを備える。メモリユニットは、リサイズデプスフレームを保存する。処理ユニットは、リサイズデプスフレームにおける１つの画素の少なくとも１つの第１副画素値と第２副画素値を取得して、第１副画素値をオリジナルデプスフレームにおける第１画素の全ての副画素内に保存させると共に、第２副画素値をオリジナルデプスフレームにおける第２画素の全ての副画素内に保存させることを特徴とする。
一実施例においては、前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記処理ユニットは、前記第１副画素値を前記オリジナルデプスフレームにおける前記第１画素の３つの副画素内に保存させると共に、前記第２副画素値を前記オリジナルデプスフレームにおける前記第２画素の３つの副画素内に保存させることを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記副画素の副画素値は同一であることを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一行内に位置することを特徴とする。
一実施例においては、前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一列内に位置することを特徴とする。
一実施例においては、前記オリジナルデプスフレームの行方向に沿ったサイズは、前記リサイズデプスフレームの３倍であることを特徴とする。

このように、本発明に係るオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする方法、装置並びにシステムでは、オリジナルデプスフレームにおける少なくとも２つの画素の２つの副画素値をそれぞれ取得して、これらの副画素値をそれぞれリサイズデプスフレームにおける１つの画素の２つの副画素内に対応して保存させている。したがって、リサイズデプスフレームのデータ量を、オリジナルデプスフレームのデータ量のわずか３分の１にできるため、本発明は効果的なデプスフレーム圧縮技術であり、３Ｄ映像圧縮システムに応用でき、圧縮効率が高く、データ量が少なく、転送効率が高いという長所を有する。転送に応用する際、効果的に現存の転送装置のバンドワイズの負担を軽減させることができる。

また、本発明に係るリサイズデプスフレームをオリジナルデプスフレームに復元する方法、装置並びにシステムでは、リサイズデプスフレームにおける１つの画素の第１副画素値を取得するステップと、第１副画素値をオリジナルデプスフレームにおける第１画素の全ての副画素内に保存させるステップと、リサイズデプスフレームにおける当該画素の第２副画素値を取得するステップと、第２副画素値をオリジナルデプスフレームにおける第２画素の全ての副画素内に保存させるステップとを備える。したがって、リサイズデプスフレームをオリジナルデプスフレームに復元する方法、装置並びにシステムは、従来の技術とは異なり、３Ｄ映像復元システムに応用することができる。

デプスフレームがオリジナル形式（未処理の状態）で転送された時の画素データ構造を示した図である。 本発明の好適な実施例におけるオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする方法を示したフロー図である。 本発明の好適な実施例におけるオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする装置の機能を示したブロック図である。 本発明の好適な実施例におけるオリジナルデプスフレームを示した図である。 本発明の好適な実施例における変更後のリサイズデプスフレームを示した図である。 本発明の好適な実施例における変更後のリサイズデプスフレームを示した図である。 本発明の好適な実施例におけるオリジナルデプスフレームの映像を示した図である。 図４Ａに示したものを、本発明の好適な実施例に係る方法によって変更した後のリサイズデプスフレームの映像を示した図である。 図４Ａに示したものを、本発明の好適な実施例に係る方法によって変更した後の他のリサイズデプスフレームの映像を示した図である。 本発明の好適な実施例における他のオリジナルデプスフレームを示した図である。 本発明の好適な実施例における他の変更後のリサイズデプスフレームを示した図である。 本発明の好適な実施例における他の変更後のリサイズデプスフレームを示した図である。 本発明の好適な実施例における他のオリジナルデプスフレームの映像を示した図である。 図６Ａに示したものを、本発明の好適な実施例に係る方法によって変更した後のリサイズデプスフレームの映像を示した図である。 図６Ａに示したものを、本発明の好適な実施例に係る方法によって変更した後の他のリサイズデプスフレームの映像を示した図である。 本発明の好適な実施例におけるオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにするシステムの機能を示したブロック図である。 本発明の好適な実施例におけるリサイズデプスフレームをオリジナルデプスフレームに復元する方法を示したフロー図である。 本発明の好適な実施例におけるリサイズデプスフレームをオリジナルデプスフレームに復元する装置の機能を示したブロック図である。 本発明の好適な実施例におけるリサイズデプスフレームを示した図である。 本発明の好適な実施例における復元後のオリジナルデプスフレームを示した図である。 本発明の好適な実施例における復元後のオリジナルデプスフレームを示した図である。 本発明の好適な実施例におけるリサイズデプスフレームの映像を示した図である。 上述の図１０Ｂに示した好適な実施例に係る方法によって復元した後のオリジナルデプスフレームの映像を示した図である。 上述の図１０Ｃに示した好適な実施例に係る方法によって復元した後の他のオリジナルデプスフレームの映像を示した図である。 本発明の他の実施態様におけるリサイズデプスフレームを示した図である。 本発明の他の実施態様におけるオリジナルデプスフレームを示した図である。 本発明のさらなる他の実施態様におけるオリジナルデプスフレームを示した図である。 本発明の好適な実施例における他のリサイズデプスフレームの映像を示した図である。 上述の図１２Ｂに示した好適な実施例に係る方法によって復元した後のオリジナルデプスフレームの映像を示した図である。 上述の図１２Ｃに示した好適な実施例に係る方法によって復元した後の他のオリジナルデプスフレームの映像を示した図である。 本発明の好適な実施例におけるリサイズデプスフレームをオリジナルデプスフレームに復元するシステムの機能を示したブロック図である。

以下、図を参照しながら、本発明の好適な実施例における方法、装置並びにシステムについて説明する。このうち同じ構成要素は同じ符号を付して説明する。

以下、まずはオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする方法、装置並びにシステムについて説明する。

図２Ａ及び図２Ｂを参照しながら説明する。図２Ａは，本発明の好適な実施例におけるオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする方法を示したフロー図である。図２Ｂは、本発明の好適な実施例におけるオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする装置１の機能を示したブロック図である。

図２Ａに示したように、本実施例に係るオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする方法は、ステップＳ０１〜ステップＳ０２を備える。このうち、ステップＳ０１は、オリジナルデプスフレームにおける少なくとも２つの画素の２つの副画素値をそれぞれ取得するステップである。より具体的には、オリジナルデプスフレームにおける少なくとも２つの画素からそれぞれ少なくとも１つずつ、合計少なくとも２つの副画素値を取得するステップである。ステップＳ０２は、これらの副画素値をそれぞれリサイズデプスフレームにおける１つの画素の２つの副画素内に対応して保存させるステップである。より具体的には、ステップＳ０２は、ステップＳ０１で取得した前記少なくとも２つの副画素値を、それぞれリサイズデプスフレームにおける１つの画素中の少なくとも２つの副画素内に対応して保存させるステップである。ここで、オリジナルデプスフレームは、デプスフレームカメラを使用して得たグレースケールフレームであり、または、オリジナルマルチビューカラーフレーム（original multiview color frame。視角が異なる複数の２Ｄカラー映像であり、以下オリジナルカラーフレームと称する）に基づいて生成されたオリジナルデプスフレームである。このため、オリジナルデプスフレームとオリジナルカラーフレームは互いに対応するグレースケールフレームである。また、ステップＳ０１において、オリジナルデプスフレームにおける２つの画素はオリジナルデプスフレームの同一行内に位置するか、あるいは、オリジナルデプスフレームにおける２つの画素はオリジナルデプスフレームの同一列内に位置する。以下に詳細に説明する。

また、図２Ｂに示したように、オリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする装置１（以下、「装置１」と称する）は、画素取得ユニット１１、画素保存ユニット１２、及びコントロールユニット１３を備える。コントロールユニット１３は、画素取得ユニット１１及び画素保存ユニット１２にそれぞれ電気的に接続される。このうち、画素取得ユニット１１は、オリジナルデプスフレームにおける少なくとも２つの画素の２つの副画素値をそれぞれ取得する。そして、画素保存ユニット１２は、これらの副画素値をそれぞれリサイズデプスフレームにおける１つの画素の２つの副画素内に対応して保存させる。ここで、画素取得ユニット１１及び画素保存ユニット１２は、ソフトウェアよってその機能を実現させるか、あるいは、ハードウェアまたはファームウェアによって画素取得ユニット１１及び画素保存ユニット１２の機能を実現させることもできるが、本発明はこれらに限定しない。コントロールユニット１３は、装置１のコア制御部品であり、例えば、ＣＰＵ（central processing unit）、または、その他の制御用のハードウェア、ソフトウェアまたはファームウェアから組成される。このうち、コントロールユニット１３は、画素取得ユニット１１をコントロールしてオリジナルデプスフレームの副画素値を取得させて、画素保存ユニット１２をコントロールして副画素値をリサイズデプスフレームの対応する副画素内に保存させることができる。以下、図３Ａ、図３Ｂ及び図３Ｃを参照しながら上述の方法及び装置１、並びにその詳細な作動過程について説明する。

図３Ａ及び図３Ｂを参照しながら説明する。図３Ａ及び図３Ｂは、それぞれ本発明の好適な実施例におけるオリジナルデプスフレームＯ及び変更後のリサイズデプスフレームＤを示した図である。ここで、オリジナルデプスフレームＯは、例えば、図１のオリジナルデプスフレームＯと同一のものであり、すなわち、グレースケールフレームであることができる。且つ、画素ごとの副画素の数量はそれぞれ３つであり、つまり、レッド、グリーン、ブルーの３つの副画素（Ｒ、Ｇ、Ｂ）である。オリジナルデプスフレームＯがグレースケールフレームであることから、副画素の３つの副画素値（すなわちグレースケールフレーム値）はいずれも同一である。また、変更後のリサイズデプスフレームＤの画素ごとの副画素の数量もまた３つである。本実施例のオリジナルデプスフレームＯは、画素が縦に３行、横に６列、即ち、３×６＝１８個の画素を含む場合を例とする。この場合、画素ごとに３つの副画素を有するため、副画素数は、９行×６列の合計５４個の副画素を有することになる。以下、コードによって各副画素の位置及びその副画素値を表示する。例えば、図３Ａに示した第１行、第１列の副画素はＲ（３０）で表示される。この副画素が副画素Ｒであることを意味し、３０はその副画素値であり、（１，１）によってその位置を表す。第５行、第３列の副画素は、Ｇ（３３）で表示される。この副画素が副画素Ｇであることを意味し、３３はその副画素値であり、（５，３）によってその位置を表す。他の副画素もこの表示法に準じる。

本実施例のフレームのリサイズ方法では、画素取得ユニット１１を介してオリジナルデプスフレームＯにおける３つの画素の３つの副画素値をそれぞれ取得して、画素保存ユニット１２によって、これらの副画素値をそれぞれリサイズデプスフレームＤの１つの画素の３つの副画素内に対応して保存させる。即ち、より具体的には、画素取得ユニット１１を介してオリジナルデプスフレームＯにおける３つの画素のそれぞれから１つずつの副画素値を取得、即ち、合計３つの副画素値を取得して、画素保存ユニット１２によって、これらの副画素値をそれぞれリサイズデプスフレームＤの１つの画素中の３つの副画素内に対応して保存させる。図３Ａ及び図３Ｂに示したように、本実施例においては、図３ＡのオリジナルデプスフレームＯの画素における位置（１，１）（副画素Ｒ）の副画素値３０を取得して［オリジナルデプスフレームＯにおける各画素中の３つの副画素値がいずれも同一であることから、位置（２，１）（副画素Ｇ）または位置（３，１）（副画素Ｂ）の副画素値を取得することも可能である］、この副画素値３０を図３ＢのリサイズデプスフレームＤの位置（１，１）（副画素Ｒ）に保存させる。オリジナルデプスフレームＯにおける他の画素中の位置（１，２）（副画素Ｒ）の副画素値３１を取得して、この副画素値３１をリサイズデプスフレームＤの位置（２，１）（副画素Ｇ）内に保存させる。オリジナルデプスフレームＯのさらなる他の画素中の位置（１，３）（副画素Ｒ）の副画素値３２を取得して、この副画素値３２をリサイズデプスフレームＤの位置（３，１）（副画素Ｂ）内に保存させる。オリジナルデプスフレームＯのまたさらなる画素の位置（１，４）（副画素Ｒ）の副画素値３４を取得して、この副画素値３４をリサイズデプスフレームＤの位置（１，２）（副画素Ｒ）内に保存させる。オリジナルデプスフレームＯのまたさらなる他の画素位置（１，５）（副画素Ｒ）の副画素値３６を取得して、この副画素値３６をリサイズデプスフレームＤの（２，２）（副画素Ｇ）内に保存させる。オリジナルデプスフレームＯのまたさらなる他の画素位置（１，６）（副画素Ｒ）の副画素値３５を取得して、この副画素値３５をリサイズデプスフレームＤの位置（３，２）（副画素Ｂ）内に保存させる。オリジナルデプスフレームＯのまたさらなる他の画素位置（４，１）（副画素Ｒ）の副画素値２９を取得して、この副画素値２９をリサイズデプスフレームＤの位置（４，１）（副画素Ｒ）内に保存させる。オリジナルデプスフレームＯのまたさらなる画素位置（４，２）（副画素Ｒ）の副画素値３０を取得して、この副画素値３０をリサイズデプスフレームＤの位置（５，１）（副画素Ｇ）内に保存させる。・・（以下、同様の操作を繰り返す。）・・。オリジナルデプスフレームＯのまたさらなる他の画素位置（７，４）（副画素Ｒ）の副画素値１０３を取得して、この副画素値１０３をリサイズデプスフレームＤの位置（７，２）（副画素Ｒ）内に保存させる。オリジナルデプスフレームＯのまたさらなる他の画素位置（７，５）（副画素Ｒ）の副画素値１０４を取得して、この副画素値１０４をリサイズデプスフレームＤの位置（８，２）（副画素Ｇ）内に保存させる。オリジナルデプスフレームＯのまたさらなる他の画素位置（７，６）（副画素Ｒ）の副画素値１０６を取得して、この副画素値１０６をリサイズデプスフレームＤの位置（９，２）（副画素Ｂ）内に保存させる。したがって、本実施例のリサイズデプスフレームＤの行方向（縦方向）Ｄ２に沿ったサイズは、オリジナルデプスフレームＯの少なくとも３分の１（ここでは３分の１の場合を例とする）となるが、列方向（横方向）Ｄ１に沿ったサイズはオリジナルデプスフレームＯのものと同じである。したがって、リサイズデプスフレームＤのデータ量は、オリジナルデプスフレームＯの少なくとも３分の１（ここでは３分の１の場合を例とする）に過ぎない量となる。留意すべきは、上述の副画素値を取得する順序は単に一例を挙げたに過ぎず、その他の実施例において、リサイズ後の精確性を高めるために、上述の副画素値の取得及び保存の順序は前記とは異なるようにする（または、リサイズ後の相対位置関係が異なると見なすこともできる）ことも可能である。例えば、図３Ｃに示したように、その第１列は、図３Ｂの第１列の配列と同じである。しかしながら、その第２列の各画素は、図３Ｂ第２列の画素ごとの副画素値を移動させて配列させたものである。このうち、図３Ｂの各画素において、例えば、位置(１，２)の副画素値３４は右に１つ移動されて、位置(２,２)の副画素値３６は右に１つ移動されて、そして位置(３，２)の副画素値３５は、第１列第２行までに左に２つ移動されている。他の画素における副画素値の配列もこれに準じる。上述の副画素値の並べ替えや移動は単に一例を挙げたに過ぎず、本発明はこれに限定されるものではない。これにより、オリジナルデプスフレームに対応するリサイズデプスフレームの副画素値の配列位置を変更したり、順序を並び替えることにより、リサイズ後もオリジナルデプスレームの精確性を維持させることができる。

図４Ａ、図４Ｂ及び図４Ｃを参照しながら説明する。図４Ａは、本発明の好適な実施例におけるオリジナルデプスフレームの映像を示した図である。そして、図４Ｂ及び図４Ｃは、それぞれ図４Ａに示したものを、本発明の実施例の方法によって変更した後のリサイズデプスフレームの映像を示した図である。このうち、図４Ｂは図３Ｂに対応し、図４Ｃは図３Ｃに対応する。そのように、図４Ｂ及び図４Ｃは、それぞれ図３Ｂ及び図３Ｃの方法に対応しているため、その示した映像が異なるが、肉眼で見る限り、図４Ｂと図４Ｃの映像は非常に近似しており、見分けるのは容易ではない。

図４Ａのグレースケールフレームのサイズ（解析度）は１９２０×８１０であり、図４Ｂ及び図４Ｃに示したもののサイズは１９２０×２７０(２７０＝８１０×１/３)である。このため、図４Ｂ及び図４Ｃのリサイズデプスフレームのサイズは、図４ＡのオリジナルデプスフレームＯの３分の１である。したがって、本発明は、効果的なデプスフレーム圧縮技術であり、３Ｄ映像圧縮システムに応用できる上、圧縮効率が高く、データ量が少なく、転送効率が高いといった長所を有する。また、転送に応用する際に、現存の転送装置のバンドワイズの負担を軽減させることができる。同時に、本実施例において、副画素値は、位置の変更や順序の変更を介して処理されることができるため、オリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする方法は、その他の圧縮技術と組み合わせて使用するのに適しており、フレーム圧縮が２度行なわれたとしても、デプスフレームの精確性が維持される。

次に、図５Ａ及び図５Ｂを参照しながら説明する。図５Ａ及び図５Ｂは、それぞれ本発明の他の実施態様のオリジナルデプスフレームＯ及びリサイズデプスフレームＤを示した図である。ここでも、オリジナルデプスフレームＯはグレースケールフレームであり、且つ、画素ごとの副画素の数量もそれぞれ３つ（Ｒ、Ｇ、Ｂ）の場合を例とする。さらに、各副画素の３つの副画素値（グレースケール値）はいずれも同一である。また、リサイズデプスフレームＤの画素ごとの副画素の数量も３つである。本実施例のオリジナルデプスフレームＯも、画素が縦に３行、横に６列、即ち、３×６＝１８個の画素を含む場合を例とする。故に、副画素としては、９行×６列の合計５４個の副画素を有する。以下でも、コード及び数字によって、各副画素の位置及びその副画素値（グレースケール値）を表示する。例えば、図５Ａにおける第１行、第１列の副画素はＲ（１９５）で表示され、この副画素が副画素Ｒであることを意味し、１９５はその副画素値であり、(１,１)によってその位置を表す。第３行、第５列の副画素はＢ(２６)で表示され、この副画素が副画素Ｂであることを意味し、２６はその副画素値であり、(３,５)によってその位置を表す。他の副画素もこの表示法に準じる。

本実施例において、図５Ａ及び図５Ｂに示したように、オリジナルデプスフレームＯの画素中の位置(１,１)の副画素値１９５を取得して［オリジナルデプスフレームＯにおける各画素の３つの副画素値はいずれも同じであるため、位置（２，１）または（３，１）内の副画素値を取得することも可能である］、この副画素値１９５をリサイズデプスフレームＤの位置(１,１)内に保存させる。オリジナルデプスフレームＯの他の画素中の位置(４,１)の副画素値１９８を取得して、この副画素値１９８をリサイズデプスフレームＤの位置(２,１)内に保存させる。オリジナルデプスフレームＯのさらなる他の画素中の位置(７,１)の副画素値２００を取得して、この副画素値２００をリサイズデプスフレームＤの位置(３,１)内に保存させる。オリジナルデプスフレームＯのまたさらなる他の画素中の位置(１,２)の副画素値１９０を取得して、この副画素値１９０をリサイズデプスフレームＤの位置(１,２)内に保存させる。・・（以下、同様の操作を繰り返す。）・・。オリジナルデプスフレームＯのまたさらなる他の画素位置(４,６)の副画素値３１を取得して、この副画素値３１をリサイズデプスフレームＤの位置(２,６)内に保存させる。オリジナルデプスフレームＯのまたさらなる画素位置(７,６)の副画素値３５を取得して、この副画素値３５をリサイズデプスフレームＤの位置(３,６)内に保存させる。したがって、本実施例のリサイズデプスフレームＤの横向きの列方向Ｄ１に沿ったサイズは、オリジナルデプスフレームＯの３分の１であるが、行方向Ｄ２に沿ったサイズはオリジナルデプスフレームＯと同一であるため、リサイズデプスフレームＤのデータ量は、オリジナルデプスフレームＯの３分の１しかない。留意すべきは、上述の副画素値の取得順序もまた、単に一例を挙げたに過ぎず、その他の実施例において、精確性を高めるために、副画素値の取得順序は異なってもよい。例えば、図５Ｃに示したように、横方向の第１列と図５Ｂの横方向の第１列の配列は同じである。その第２列は、図５Ｂの第２列の副画素値が１つ移動して配列したものであり、その第３列は、図５Ｂの第３列の副画素値が２つ移動して配列したものである。また、図５Ｃの第４列は図５Ｂの第４列と配列が同じである。その第５列は、図５Ｂの第５列の副画素値が１つ移動して配列したものである。その第６列は、図５Ｂの第６列の副画素値が２つ移動して配列したものである。上述の副画素値の並べ替えや移動はただの例に過ぎず、本発明を限定するものではない。

次に、図６Ａ，図６Ｂ及び図６Ｃを参照しながら説明する。図６Ａは、本発明の好適な実施例におけるオリジナルデプスフレームの映像を示した図である。図６Ｂ及び図６Ｃは、それぞれ図６Ａに示したものを、本発明の実施例の方法によって変更した後のリサイズデプスフレームの映像を示した図である。このうち、図６Ｂ及び図６Ｃは、それぞれ図５Ｂ及び図５Ｃに示した方法に対応する。そのように、図６Ｂ及び図６Ｃは、それぞれ図５Ｂ及び図５Ｃの方法に対応しているため、その示した映像が異なるが、肉眼で見る限り、図６Ｂは図６Ｃの映像に非常に近似しており、見分けるのは容易ではない。図６Ａのグレースケールフレームのサイズ（解析度）は１９２０×８１０であり、図６Ｂ及び図６Ｃのサイズは６３０(６３０＝１９２０×１/３)×８１０であるため、図６Ｂ及び図６Ｃのリサイズデプスフレームのサイズは図６ＡのオリジナルデプスフレームＯの３分の１である。

再度留意すべきは、上述のオリジナルデプスフレームＯのサイズ及び各画素はそれぞれ３つの副画素を有するが、これは単に一例を挙げたに過ぎず、当然、その他の実施例において、オリジナルデプスフレームＯのサイズ及びその副画素の数量が異なることも可能である。例えば、副画素の数量は、２つまたは４つ以上（４つを含む）でも可能であり、本発明はこれを限定するものではない。

また、図７を参照しながら説明する。図７は、本発明の好適な実施例におけるオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにするシステム２（以下、「システム２」と略称する）の機能を示したブロック図である。

システム２は、メモリユニット２１及び処理ユニット２２を備える。メモリユニット２１は処理ユニット２２に電気的に接続される。メモリユニット２１は、オリジナルデプスフレームを保存する。当然、メモリユニット２１はリサイズデプスフレームを保存することもできる。メモリユニット２１は、非一時的なコンピュータ可読媒体（non-transitory computer readable storage medium）である。例えば、メモリ、メモリカード、ＣＤ−ＲＯＭ、ビデオテープ、コンピュータ用磁気テープ、またはこれらの任意の組み合わせであり、情報を保存するために用いられる。このうち、メモリは、ＲＯＭ、ＲＡＭ、フラッシュメモリ、またはＦＰＧＡ（Field-Programmable Gate Array）、またあるいは、その他の形式のメモリであるが、ここでは特に限定しない。

処理ユニット２２は、システム２のコア制御部品を備えることができる。例えば、少なくとも１つのＣＰＵ及びメモリを備えるか、あるいは、その他の制御するためのハードウェア、ソフトウェア、またはファームウェアを備える。処理ユニット２２は、メモリユニット２１が保存したオリジナルデプスフレームにおける少なくとも２つの画素の２つの副画素値をそれぞれ取得して、取得したこれらの副画素値をそれぞれリサイズデプスフレームにおける１つの画素の２つの副画素内に対応して保存させることができる。より具体的には、処理ユニット２２は、メモリユニット２１が保存したオリジナルデプスフレームにおける少なくとも２つの画素からそれぞれ少なくとも１つずつ、合計少なくとも２つの副画素値を取得して、取得したこれらの副画素値をそれぞれリサイズデプスフレームにおける１つの画素中の少なくとも２つの副画素内に対応して保存させることができる。その場合、前記図３Ｂ、３Ｃに示すように、リサイズデプスフレームの行方向Ｄ２に沿ったサイズを、オリジナルデプスフレームの３分の１としたり、または、前記図５Ｂ、５Ｃに示すように、リサイズデプスフレームの列方向Ｄ１に沿ったサイズを、オリジナルデプスフレームの３分の１とすることができる。

また、システム２において、オリジナルデプスフレームのサイズを変更して、リサイズデプスフレームにすることに関する他の技術的特徴は、上述のリサイズ方法並びに装置１の技術内容に準じているため、ここでは再述しない。

次に、リサイズデプスフレームをオリジナルデプスフレームに復元する方法、装置並びにシステムについて説明する。

図８及び図９を参照しながら説明する。図８は、本発明の好適な実施例におけるリサイズデプスフレームをオリジナルデプスフレームに復元する方法を示したフロー図である。図９は、本発明の好適な実施例におけるリサイズデプスフレームをオリジナルデプスフレームに復元する装置３の機能を示したブロック図である。

図８に示したように、本実施例に係るリサイズデプスフレームをオリジナルデプスフレームに復元する方法は、ステップＰ０１からステップＰ０４を備える。このうち、ステップＰ０１は、リサイズデプスフレームにおける１つの画素の第１副画素値を取得するステップである。ステップＰ０２は、前記第１副画素値をオリジナルデプスフレームにおける第１画素の全ての副画素内に保存させるステップである。ステップＰ０３は、リサイズデプスフレームの当該画素（前記「１つの画素」）の第２副画素値を取得するステップである。そして、ステップＰ０４は、第２副画素値をオリジナルデプスフレームにおける第２画素の全ての副画素内に保存させるステップである。ここで、リサイズデプスフレームは、オリジナルの多視点カラーフレームに基づいて取得することができる。また、ステップＰ０１及びステップＰ０２において、オリジナルデプスフレームの第１画素及び第２画素は、オリジナルデプスフレームの同一行内に位置するか、あるいは、オリジナルデプスフレームの同一列内に位置する。以下に詳細に説明する。

また、図９に示したように、リサイズデプスフレームをオリジナルデプスフレームに復元する装置３（以下、「装置３」と称する）は、画素取得ユニット３１、画素保存ユニット３２及びコントロールユニット３３を備える。コントロールユニット３３は、画素取得ユニット３１及び画素保存ユニット３２にそれぞれ電気的に接続される。このうち、画素取得ユニット３１は、リサイズデプスフレームにおける１つの画素の少なくとも１つの第１副画素値及び第２副画素値を取得する。画素保存ユニット３２は、画素取得ユニット３１が取得した第１副画素値をオリジナルデプスフレームにおける第１画素の全ての副画素内に保存させ、また、第２副画素値をオリジナルデプスフレームにおける第２画素の全ての副画素内に保存させる。ここで、画素取得ユニット３１及び画素保存ユニット３２は、ソフトウェアによってその機能を実現させるか、あるいは、ハードウェアまたはファームウェアによって画素取得ユニット３１及び画素保存ユニット３２の機能を実現させるが、ここでは特に限定しない。また、コントロールユニット３３は、装置３のコア制御部品を備える。例えば、ＣＰＵ、あるいは、その他の制御用ハードウェア、ソフトウェアまたはファームウェアから組成される。このうち、コントロールユニット３３は、リサイズデプスフレームにおける各画素の副画素値を取得するように画素取得ユニット３１をコントロールして、取得した副画素値をオリジナルデプスフレームの対応する全ての副画素内に保存させるように画素保存ユニット３２をコントロールする。以下、図１０Ａ及び図１０Ｂ、図１０Ｃを参照しながら、上述の復元方法及び装置３、並びにその詳細な作動過程について説明する。

図１０Ａ及び図１０Ｂを参照しながら説明する。図１０Ａ及び図１０Ｂは、それぞれ本発明の好適な実施例におけるリサイズデプスフレームＤ及びオリジナルデプスフレームＯを示した図である。ここで、リサイズデプスフレームＤは、グレースケールフレームであり、各画素ごとの副画素の数量が３つの場合を例とし、且つ、各画素はそれぞれレッド、グリーン、ブルーの３つの副画素（Ｒ、Ｇ、Ｂ）を有する。また、オリジナルデプスフレームＯの画素ごとの副画素の数量もまた３つ（各画素もまた、それぞれ３つの副画素Ｒ、Ｇ、Ｂを有する）である。本実施例の図１０ＡのリサイズデプスフレームＤは、縦向き３行、横向き２列、即ち、３×２＝６個の画素を含む場合を例とする。前記の如く、各画素が３個の副画素を有するので、９行×２列の合計１８個の副画素を有する。以下、前記と同様に、コードによって各副画素の位置及びその副画素値を表示する。例えば、図１０Ａにおける第１行、第１列の副画素は、Ｒ(３０)で表示され、この副画素が副画素Ｒであることを意味し、３０はその副画素値を表し、(１,１)によってその位置を表す。第５行、第２列の副画素はＧ(３９)で表示され、この副画素が副画素Ｇであることを意味し、３９はその副画素値を表し、(５,２)によってその位置を表す。他の副画素もこの表示法に準じる。

本実施例に係るフレームサイズの復元方法では、前記画素取得ユニット３１を介して、リサイズデプスフレームＤにおける１つの画素の第１副画素値、第２副画素値及び第３副画素値を取得して、前記画素保存ユニット３２を介して、取得した第１副画素値をオリジナルデプスフレームにおける第１画素の全ての副画素内に保存させ、また、取得した第２副画素値をオリジナルデプスフレームにおける第２画素の全ての副画素内に保存させ、また、取得した第３副画素値をオリジナルデプスフレームにおける第３画素の全ての副画素内に保存させる。

図１０Ａ及び図１０Ｂに示したように、本実施例では、前記画素取得ユニット３１を介してリサイズデプスフレームＤにおける画素中の位置（１，１）（副画素Ｒ）の第１副画素値３０、位置（２，１）（副画素Ｇ）の第２副画素値３１、及び位置（３，１）（副画素Ｂ）の第３副画素値３２を取得して、前記画素保存ユニット３２を介して、第１副画素値３０をそれぞれオリジナルデプスフレームＯの第１画素中の位置（１，１）（副画素Ｒ）、位置（２，１）（副画素Ｇ）、及び位置（３，１）（副画素Ｂ）内に保存させ、また、第２副画素値３１をそれぞれオリジナルデプスフレームＯの第２画素中の位置（１，２）（副画素Ｒ）、位置（２，２）（副画素Ｇ）、及び位置（３，２）（副画素Ｂ）内に保存させ、また、第３副画素値３２をそれぞれオリジナルデプスフレームＯの第３画素中の位置（１，３）（副画素Ｒ）、位置（２，３）（副画素Ｇ）、及び位置（３，３）（副画素Ｂ）内に保存させる。ここで、オリジナルデプスフレームＯの第１画素、第２画素及び第３画素（の同一の副画素）は、オリジナルデプスフレームＯの縦方向の同一行内に位置する。

続いて、リサイズデプスフレームＤの他の画素における位置（１，２）（副画素Ｒ）の第１副画素値３４、位置（２，２）（副画素Ｇ）の第２副画素値３６、及び位置（３，２）（副画素Ｂ）の第３副画素値３５を取得して、第１副画素値３４をそれぞれオリジナルデプスフレームＯの第４画素中の位置（１，４）（副画素Ｒ）、位置（２，４）（副画素Ｇ）、及び位置（３，４）（副画素Ｂ）内に保存させ、また、第２副画素値３６をそれぞれオリジナルデプスフレームＯの第５画素中の位置（１，５）（副画素Ｒ）、位置（２，５）（副画素Ｇ）、及び位置（３，５）（副画素Ｂ）内に保存させ、また、第３副画素値３５をそれぞれオリジナルデプスフレームＯの第６画素中の位置（１，６）（副画素Ｒ）、位置（２，６）（副画素Ｇ）、及び位置（３，６）（副画素Ｂ）内に保存させる。

続いて、さらに、リサイズデプスフレームＤのさらなる他の画素における位置（４，１）（副画素Ｒ）の第１副画素値２９、位置（５，１）（副画素Ｇ）の第２副画素値３０、及び位置（６，１）（副画素Ｂ）の第３副画素値３３を取得して、第１副画素値２９をそれぞれオリジナルデプスフレームＯの第７画素中の位置（４，１）（副画素Ｒ）、位置（５，１）（副画素Ｇ）、及び位置（６，１）（副画素Ｂ）内に保存させ、また、第２副画素値３０をそれぞれオリジナルデプスフレームＯの第８画素中の位置（４，２）（副画素Ｒ）、位置（５，２）（副画素Ｇ）、及び位置（６，２）（副画素Ｂ）内に保存させ、また、第３副画素値３３をそれぞれオリジナルデプスフレームＯの第９画素中の位置（４，３）（副画素Ｒ）、位置（５，３）（副画素Ｇ）及び位置（６，３）（副画素Ｂ）内に保存させる。・・（以下、同様の操作を繰り返す。）・・。最後に、リサイズデプスフレームＤのまたさらなる他の画素における位置（７，２）（副画素Ｒ）の第１副画素値１０３、位置（８，２）（副画素Ｇ）の第２副画素値１０４、及び位置（９，２）（副画素Ｂ）の第３副画素値１０６を取得して、第１副画素値１０３をそれぞれオリジナルデプスフレームＯの第１６画素中の位置（７，４）（副画素Ｒ）、位置（８，４）（副画素Ｇ）、及び位置（９，４）（副画素Ｂ）内に保存させ、また、第２副画素値１０４をそれぞれオリジナルデプスフレームＯの第１７画素中の位置（７，５）（副画素Ｒ）、位置（８，５）（副画素Ｇ）、及び位置（９，５）（副画素Ｂ）内に保存させ、また、第３副画素値１０６をそれぞれオリジナルデプスフレームＯの第１８画素中の位置（７，６）（副画素Ｒ）、位置（８，６）（副画素Ｇ）、及び位置（９，６）（副画素Ｂ）内に保存させる。したがって、本実施例のオリジナルデプスフレームＯの縦向きの行方向Ｄ２に沿ったサイズは、リサイズデプスフレームＤの３倍であるが、横向きの列方向Ｄ１に沿ったサイズは、リサイズデプスフレームＤと同じであるため、データ量から言えば、オリジナルデプスフレームＯのデータ量もリサイズデプスフレームＤの３倍となっている。

上述の副画素値の取得順序は単なる一例を挙げたに過ぎず、その他の実施例において、サイズ復元後の精確性を高めるために、上述の副画素値の取得及び保存の順序は異なる（または、変更後の相対位置関係が異なると見なすこともできる）ことも可能である。例えば、図１０Ｃに示したように、その第１列、第２列及び第３列は、それぞれ図１０Ｂの第１列、第２列及び第３列の配列と同じである。その第４列、第５列及び第６列の各画素は、それぞれ図１０Ｂの第４列、第５列及び第６列の各画素の副画素値を１つ移動させて配列している。このうち、図１０Ｂの第４列は図１０Ｃの第５列と同じであり、図１０Ｂの第５列は図１０Ｃの第６列を同じであり、図１０Ｂの第６列は図１０Ｃの第４列と同じである。上述の副画素値の並べ替えや移動は、単に一例を挙げたに過ぎず、本発明を限定するものではない。これにより、リサイズデプスフレームに対応するオリジナルデプスフレームの副画素値の配列位置を変更したり、順序を並べ替えることにより、リサイズデプスフレームのサイズ変更後でも依然として精確性を維持させることが可能である。

次に、図１１Ａ，図１１Ｂ及び図１１Ｃを参照しながら説明する。図１１Ａは、本発明の好適な実施例におけるリサイズデプスフレームの映像を示した図である。図１１Ｂは、図１１Ａに示したものを、上述の図１０Ｂに示した好適な実施例の方法によって復元した後のオリジナルデプスフレームの映像を示した図である。図１１Ｃは、他のリサイズデプスフレームを、上述図１０Ｃに示した好適な実施例の方法によって復元した後のオリジナルデプスフレームの映像を示した図である。ここで、図１１Ｃの変更前の当該他のリサイズデプスフレームの映像は図１１Ａのものに近似しているため、図示はしていない。また、図１１Ｂ及び図１１Ｃは、それぞれ図１０Ｂ及び図１０Ｃに示した方法に対応する。そのように、図１１Ｂ及び図１１Ｃは、それぞれ図１０Ｂ及び図１０Ｃの方法に対応しているため、その示した映像が異なるが、肉眼で見る限り、図１１Ｂと図１１Ｃの映像は非常に近似しており、見分けるのは容易ではない。図１１Ａのグレースケールフレームのサイズは、１９２０×２７０であり、図１１Ｂ及び図１１Ｃのサイズは、１９２０×８１０（８１０＝２７０×３）であるため、図１１Ｂ及び図１１Ｃのオリジナルデプスフレームのサイズは、図１１Ａのリサイズデプスフレームの３倍である。

更に、図１２Ａ及び図１２Ｂを参照しながら説明する。図１２Ａ及び図１２Ｂは、それぞれ本発明の他の実施態様に係るリサイズデプスフレームＤ及び復元後のオリジナルデプスフレームＯを示した図である。ここでも、リサイズデプスフレームＤはグレースケールフレームであり、且つ、各画素の副画素の数量は３つの場合を例とする（各画素はそれぞれ３つの副画素Ｒ、Ｇ、Ｂを有する）。また、オリジナルデプスフレームＯにおける各画素の副画素の数量もまた３つ（各画素はそれぞれ三個の副画素Ｒ、Ｇ、Ｂを有する）である。本実施例のリサイズデプスフレームＤは、１×６＝６個の画素を備える場合を例とするため、３行×６列の合計１８個の副画素を有する。以下でも、前記と同様に、コードによって各副画素の位置及びその副画素値を表示する。例えば、図１２Ａにおける第１行、第１列の副画素は、Ｒ（１９５）で表示され、この副画素が副画素Ｒであることを意味し、１９５はその副画素値を表し、（１，１）によってその位置を表す。第３行、第２列の副画素は、Ｂ（２０２）で表示され、この副画素が副画素Ｂであることを意味し、２０２はその副画素値を表し、（３，２）によってその位置を表す。他の副画素もこの表示法に準じる。

本実施例において、図１２Ａ及び図１２Ｂに示したように、リサイズデプスフレームＤの画素における位置（１，１）（副画素Ｒ）の第１副画素値１９５、位置（２，１）（副画素Ｇ）の第２副画素値１９８及び位置（３，１）（副画素Ｂ）の第３副画素値２００を取得して、第１副画素値１９５をそれぞれオリジナルデプスフレームＯの第１画素中の位置（１，１）（副画素Ｒ）、位置（２，１）（副画素Ｇ）、及び位置（３，１）（副画素Ｂ）内に保存させ、また、第２副画素値１９８をそれぞれオリジナルデプスフレームＯの第２画素中の位置（４，１）（副画素Ｒ）、位置（５，１）（副画素Ｇ）、及び位置（６，１）（副画素Ｂ）内に保存させ、また、第３副画素値２００をそれぞれオリジナルデプスフレームＯの第３画素中の位置（７，１）（副画素Ｒ）、位置（８，１）（副画素Ｇ）、及び位置（９，１）（副画素Ｂ）内に保存させる。ここで、オリジナルデプスフレームＯの第１画素、第２画素及び第３画素は、オリジナルデプスフレームＯの同一列内に位置する。次に、リサイズデプスフレームＤの他の画素における位置（１，２）（副画素Ｒ）の第１副画素値１９０、位置（２，２）（副画素Ｇ）の第２副画素値１９７、及び位置（３，２）（副画素Ｂ）の第３副画素値２０２を取得して、第１副画素値１９０をそれぞれオリジナルデプスフレームＯの第４画素中の位置（１，２）（副画素Ｒ）、位置（２，２）（副画素Ｇ）、及び位置（３，２）（副画素Ｂ）内に保存させ、また、第２副画素値１９７をそれぞれオリジナルデプスフレームＯの第５画素中の位置（４，２）（副画素Ｒ）、位置（５，２）（副画素Ｇ）、及び位置（６，２）（副画素Ｂ）内に保存させ、また、第３副画素値２０２をそれぞれオリジナルデプスフレームＯの第６画素中の位置（７，２）（副画素Ｒ）、位置（８，２）（副画素Ｇ）、及び位置（９，２）（副画素Ｂ）内に保存させる。・・（以下、同様の操作を繰り返す。）・・。最後に、リサイズデプスフレームＤのさらなる他の画素における位置（１，６）（副画素Ｒ）の第１副画素値２８、位置（２，６）（副画素Ｇ）の第２副画素値３１、及び位置（３，６）（副画素Ｂ）の第３副画素値３５を取得して、第１副画素値２８をそれぞれオリジナルデプスフレームＯの第１６画素中の位置（１，６）（副画素Ｒ）、位置（２，６）（副画素Ｇ）、及び位置（３，６）（副画素Ｂ）内に保存させ、また、第２副画素値３１をそれぞれオリジナルデプスフレームＯの第１７画素中の位置（４，６）（副画素Ｒ）、位置（５，６）（副画素Ｇ）、及び位置（６，６）（副画素Ｂ）内に保存させ、また、第３副画素値３５をそれぞれオリジナルデプスフレームＯの第１８画素中の位置（７，６）（副画素Ｒ）、位置（８，６）（副画素Ｇ）、及び位置（９，６）（副画素Ｂ）内に保存させる。したがって、本実施例のオリジナルデプスフレームＯの横向きの列方向Ｄ１に沿ったサイズは、リサイズデプスフレームＤの３倍であるが、縦向きの行方向Ｄ２に沿ったサイズは、リサイズデプスフレームＤと同じであるため、データ量から言えば、オリジナルデプスフレームＯのデータ量もまた、リサイズデプスフレームＤの３倍となっている。

留意すべきは、上述の副画素値の取得順序は、単なる一例を挙げたに過ぎず、その他の実施例において、サイズ復元後の精確性を高めるために、上述の副画素値の取得及び保存の順序は異なる（または、変更後の相対位置関係が異なると見なすこともできる）ことも可能である。例えば、図１２Ｃに示したように、その第１列及び第４列は、それぞれ図１２Ｂの第１列及び第４列の配列と同一であり、その第２列及び第５列は、それぞれ図１２Ｂの第２列及び第５列における各画素値が画素１つ分（副画素３つ分）を移動して配列したものであり、その第３列及び第６列は、それぞれ図１２Ｂの第３列及び第６列の各画素値が画素２つ分を移動して配列したものである。これにより、リサイズデプスフレームに対応するオリジナルデプスフレームの副画素値の配列位置を変更したり、順序を並べ替えることにより、リサイズデプスフレームのサイズ変更後でも依然として精確性を維持させることが可能である。

上述の副画素値の並べ替えや移動は単なる一例を挙げたに過ぎず、本発明を限定するものではない。また、上述のリサイズデプスフレームＤのサイズ及び各画素がそれぞれ３つの画素を有することも、単に一例を挙げたに過ぎない。当然、その他の実施例において、リサイズデプスフレームＤのサイズ及びその副画素の数量は異ってもよい。例えば、副画素の数量は、２つまたは四つ以上（四つを含む）でも可能であり、本発明はこれを限定するものではない。

次に、図１３Ａ、図１３Ｂ及び図１３Ｃを参照しながら説明する。図１３Ａは、本発明の好適な実施例の他のリサイズデプスフレームの映像を示した図である。図１３Ｂは、図１３Ａに示したものを、上述の図１２Ｂに示した好適な実施例の方法により復元した後のオリジナルデプスフレームの映像を示した図である。図１３Ｃは、他のリサイズデプスフレームを、上述の図１２Ｃに示した好適な実施例の方法により復元した後のオリジナルデプスフレームの映像を示した図である。ここで、図１３Ｃの変更前の他のリサイズデプスフレームの映像は図１３Ａのものに近似するため、図示はしていない。このうち、図１３Ｂ及び図１３Ｃは、それぞれ図１２Ｂ及び図１２Ｃに示した方法に対応する。そのように、図１３Ｂ及び図１３Ｃは、それぞれ図１２Ｂ及び図１２Ｃの方法に対応しているため、その示した映像が異なるが、肉眼で見る限りでは、図１３Ｂと図１３Ｃの映像は極めて近似しており、見分けるのは容易ではない。図１３Ａのグレースケールフレームのサイズは、６３０×８１０であり、図１３Ｂ及び図１３Ｃのサイズは、１９２０×８１０（１９２０＝６３０×３）であるため、図１３Ｂ及び図１３Ｃのオリジナルデプスフレームのサイズは、図１３Ａのリサイズデプスフレームの３倍である。

次に、図１４を参照しながら説明する。図１４は、本発明の好適な実施例におけるリサイズデプスフレームをオリジナルデプスフレームに復元するシステム４（以下、「システム４」と称する）の機能を示したブロック図である。

システム４は、メモリユニット４１及び処理ユニット４２を備える。メモリユニット４１は処理ユニット４２に電気的に接続される。メモリユニット４１は、リサイズデプスフレームを保存する。当然、メモリユニット４１は、オリジナルデプスフレームを保存することもできる。メモリユニット４１は、非一時的なコンピュータ可読媒体であり、例えば、メモリ、メモリカード、ＣＤ−ＲＯＭ、ビデオテープ、コンピュータ用磁気テープ、またはこれらの任意の組み合わせであり、情報を保存するために用いられる。このうち、メモリは、ＲＯＭ、ＲＡＭ、フラッシュメモリ、またはＦＰＧＡ（Field-Programmable Gate Array）、またあるいは、その他の形式のメモリであるが、ここでは特に限定しない。

処理ユニット４２は、システム４のコア制御部品を備える。例えば、少なくとも１つのＣＰＵ及びメモリ、あるいは、その他の制御用ハードウェア、ソフトウェアまたはファームウェアを備えることができる。このうち、処理ユニット４２は、リサイズデプスフレームにおける１つの画素の少なくとも１つの第１副画素値及び第２副画素値を取得して、第１副画素値をオリジナルデプスフレームにおける第１画素の全ての副画素内に保存させて、第２副画素値をオリジナルデプスフレームにおける第２画素の全ての副画素内に保存させる。他の実施例において、オリジナルデプスフレームの第１画素及び第２画素は、オリジナルデプスフレームの同一行内または同一列内に位置する。また、オリジナルデプスフレームの行方向に沿ったサイズは、リサイズデプスフレームの３倍であり、または、オリジナルデプスフレームの列方向に沿ったサイズは、リサイズデプスフレームの３倍である。

また、システム４において、リサイズデプスフレームをオリジナルデプスフレームに復元することに関する他の技術的特徴は、上述の復元方法並びに装置３の技術内容に準じているため、ここでは再述しない。

このように、本発明に係るオリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする方法、装置並びにシステムでは、オリジナルデプスフレームにおける少なくとも２つの画素の２つの副画素値をそれぞれ取得して、これらの副画素値をそれぞれリサイズデプスフレームの１つの画素の２つの副画素内に対応して保存させる。これにより、リサイズデプスフレームのデータ量は、オリジナルデプスフレームの２分の１またはさらに小さく、例えば、３分の１となる。故に、本発明は、効果的なデプスフレーム圧縮技術であり、３Ｄ映像圧縮システムに応用することが可能である。さらに、圧縮効率が高く、データ量が少なく、転送効率が高いといった長所を有する。転送に応用される場合、現存の転送装置のバンドワイズの負担を軽減させる効果を達成することができる。

また、本発明のリサイズデプスフレームをオリジナルデプスフレームに復元する方法、装置並びにシステムは、リサイズデプスフレームにおける１つの画素の第１副画素値を取得するステップと、第１副画素値をオリジナルデプスフレームにおける第１画素の全ての副画素内に保存させるステップと、リサイズデプスフレームの当該画素の第２副画素値を取得するステップと、第２副画素値をオリジナルデプスフレームにおける第２画素の全ての副画素内に保存させるステップとを備える。これにより、リサイズデプスフレームをオリジナルデプスフレームに復元する方法、装置並びにシステムは、従来の技術とは異なり、３Ｄ映像復元システムに応用することが可能である。

以上、本発明の実施例を図面を参照して詳述してきたが、具体的な構成は、これらの実施例に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更などがあっても、本発明の技術的範囲に含まれる。

本発明は、以上の構成により、オリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする方法及びその復元方法と、これらの方法に対応する装置並びにシステムを提供して、３Ｄ映像の圧縮及び復元システムに応用できるほか、圧縮効率が高く、データ量が少なく、転送効率が高いという長所を有して、効果的に現存の転送装置及びバンドワイズの負担を軽減させることができる。

１、３ 装置
１１、３１ 画素取得ユニット
１２、３２ 画素保存ユニット
１３、３３ コントロールユニット
２、４ システム
２１、４１ メモリユニット
２２、４２ 処理ユニット
Ｂ、Ｇ、Ｒ 副画素
Ｄ リサイズデプスフレーム
Ｄ１ 列方向
Ｄ２ 行方向
Ｏ オリジナルデプスフレーム
Ｐ０１〜Ｐ０４、Ｓ０１〜Ｓ０２ ステップ

Claims (33)

1. オリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする方法であって、
   前記オリジナルデプスフレームにおける少なくとも２つの画素の２つの副画素値をそれぞれ取得するステップと、
   前記複数の副画素値をそれぞれ前記リサイズデプスフレームにおける１つの画素の２つの副画素内に対応して保存させるステップと、を備えることを特徴とする、オリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする方法。
2. 前記オリジナルデプスフレームは、グレースケールフレームであり、前記グレースケールフレームにおける各画素の副画素値は同一であることを特徴とする、請求項１に記載の方法。
3. 前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記副画素の副画素値は同一であることを特徴とする、請求項１に記載の方法。
4. 前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記複数の副画素値を保存するステップは、３つの副画素値をそれぞれ前記リサイズデプスフレームにおける１つの画素の３つの副画素内に対応して保存させるステップであることを特徴とする、請求項１に記載の方法。
5. 前記リサイズデプスフレームの行方向に沿ったサイズは、前記オリジナルデプスフレームの３分の１であることを特徴とする、請求項１に記載の方法。
6. オリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする装置であって、
   前記オリジナルデプスフレームにおける少なくとも２つの画素の２つの副画素値をそれぞれ取得する画素取得ユニットと、
   前記複数の副画素値をそれぞれ前記リサイズデプスフレームにおける１つの画素の２つの副画素内に対応して保存させる画素保存ユニットと、を備えることを特徴とする、オリジナルデプスフレームのサイズを変更してリサイズデプスフレームにする装置。
7. 前記オリジナルデプスフレームは、グレースケールフレームであり、前記グレースケールフレームにおける各画素の副画素値は同一であることを特徴とする、請求項６に記載の装置。
8. 前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記副画素の副画素値は同一であることを特徴とする、請求項６に記載の装置。
9. 前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記画素保存ユニットは、３つの副画素値をそれぞれ前記リサイズデプスフレームにおける１つの画素の３つの副画素内に対応して保存させることを特徴とする、請求項６に記載の装置。
10. 前記リサイズデプスフレームの行方向に沿ったサイズは、前記オリジナルデプスフレームの３分の１であることを特徴とする、請求項６に記載の装置。
11. オリジナルデプスフレームのサイズを変更してリサイズデプスフレームにするシステムであって、
    前記オリジナルデプスフレームを保存するメモリユニットと、
    前記オリジナルデプスフレームにおける少なくとも２つの画素の２つの副画素値をそれぞれ取得して、前記複数の副画素値をそれぞれ前記リサイズデプスフレームにおける１つの画素の２つの副画素内に対応して保存させる処理ユニットと、を備えることを特徴とする、オリジナルデプスフレームのサイズを変更してリサイズデプスフレームにするシステム。
12. 前記オリジナルデプスフレームは、グレースケールフレームであり、前記グレースケールフレームにおける各画素の副画素値は同一であることを特徴とする、請求項１１に記載のシステム。
13. 前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記副画素の副画素値は同一であることを特徴とする、請求項１１に記載のシステム。
14. 前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記処理ユニットは、前記オリジナルデプスフレームにおける３つの画素の３つの副画素値をそれぞれ取得して、３つの副画素値をそれぞれ前記リサイズデプスフレームにおける１つの画素の３つの副画素内に対応して保存させることを特徴とする、請求項１１に記載のシステム。
15. 前記リサイズデプスフレームの行方向に沿ったサイズは、前記オリジナルデプスフレームの３分の１であることを特徴とする、請求項１１に記載のシステム。
16. リサイズデプスフレームをオリジナルデプスフレームに復元する方法であって、
    前記リサイズデプスフレームにおける１つの画素の第１副画素値を取得するステップと、
    前記第１副画素値を前記オリジナルデプスフレームにおける第１画素の全ての副画素内に保存させるステップと、
    前記リサイズデプスフレームにおける前記画素の第２副画素値を取得するステップと、
    前記第２副画素値を前記オリジナルデプスフレームにおける第２画素の全ての副画素内に保存させるステップと、を備えることを特徴とする、リサイズデプスフレームをオリジナルデプスフレームに復元する方法。
17. 前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記第１副画素値を保存するステップは、前記第１副画素値を前記オリジナルデプスフレームにおける前記第１画素の３つの副画素内に保存させるステップであり、前記第２副画素値を保存するステップは、前記第２副画素値を前記オリジナルデプスフレームにおける前記第２画素の３つの副画素内に保存させるステップであることを特徴とする、請求項１６に記載の方法。
18. 前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記副画素の副画素値は同一であることを特徴とする、請求項１６に記載の方法。
19. 前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一行内に位置することを特徴とする、請求項１６に記載の方法。
20. 前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一列内に位置することを特徴とする、請求項１６に記載の方法。
21. 前記オリジナルデプスフレームの行方向に沿ったサイズは、前記リサイズデプスフレームの３倍であることを特徴とする、請求項１６に記載の方法。
22. リサイズデプスフレームをオリジナルデプスフレームに復元する装置であって、
    前記リサイズデプスフレームにおける１つの画素の少なくとも１つの第１副画素値と第２副画素値を取得する画素取得ユニットと、
    前記第１副画素値を前記オリジナルデプスフレームにおける第１画素の全ての副画素内に保存させて、前記第２副画素値を前記オリジナルデプスフレームにおける第２画素の全ての副画素内に保存させる画素保存ユニットと、を備えることを特徴とする、リサイズデプスフレームをオリジナルデプスフレームに復元する装置。
23. 前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記画素保存ユニットは、前記第１副画素値を前記オリジナルデプスフレームにおける前記第１画素の３つの副画素内に保存させると共に、前記第２副画素値を前記オリジナルデプスフレームにおける前記第２画素の３つの副画素内に保存させることを特徴とする、請求項２２に記載の装置。
24. 前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記画素の副画素値は同一であることを特徴とする、請求項２２に記載の装置。
25. 前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一行内に位置することを特徴とする、請求項２２に記載の装置。
26. 前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一列内に位置することを特徴とする、請求項２２に記載の装置。
27. 前記オリジナルデプスフレームの行方向に沿ったサイズは、前記リサイズデプスフレームの３倍であることを特徴とする、請求項２２に記載の装置。
28. リサイズデプスフレームをオリジナルデプスフレームに復元するシステムであって、
    前記リサイズデプスフレームを保存するメモリユニットと、
    前記リサイズデプスフレームにおける１つの画素の少なくとも１つの第１副画素値と第２副画素値を取得して、前記第１副画素値を前記オリジナルデプスフレームにおける第１画素の全ての副画素内に保存させると共に、前記第２副画素値を前記オリジナルデプスフレームにおける第２画素の全ての副画素内に保存させる処理ユニットと、を備えることを特徴とする、リサイズデプスフレームをオリジナルデプスフレームに復元するシステム。
29. 前記リサイズデプスフレームにおける各画素の副画素の数量は３つであり、前記処理ユニットは、前記第１副画素値を前記オリジナルデプスフレームにおける前記第１画素の３つの副画素内に保存させると共に、前記第２副画素値を前記オリジナルデプスフレームにおける前記第２画素の３つの副画素内に保存させることを特徴とする、請求項２８に記載のシステム。
30. 前記オリジナルデプスフレームにおける各画素の副画素の数量は３つであり、各前記副画素の副画素値は同一であることを特徴とする、請求項２８に記載のシステム。
31. 前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一行内に位置することを特徴とする、請求項２８に記載のシステム。
32. 前記オリジナルデプスフレームにおける前記第１画素及び前記第２画素は、前記オリジナルデプスフレームの同一列内に位置することを特徴とする、請求項２８に記載のシステム。
33. 前記オリジナルデプスフレームの行方向に沿ったサイズは、前記リサイズデプスフレームの３倍であることを特徴とする、請求項２８に記載のシステム。