JP2012008207A - ルックアップテーブルと画像の時間的重複性を用いた３次元動画の計算機合成ホログラムの算出方法及びその装置 - Google Patents

Abstract

【課題】ホログラムの算出時に必要とするメモリを低減する効果のある、ルックアップテーブルと画像の時間的重複性を用いた３次元動画の計算機合成ホログラムの算出方法及びその装置を提供する。
【解決手段】本発明による動画ホログラム算出装置は、３次元動画の対象フレームから明るさ画像及び奥行き画像を抽出する抽出部と、以前フレームと対象フレームの明るさ画像及び奥行き画像をそれぞれ比較して同一でない変更点を抽出する比較部と、変更点の数とフレームの全ての点の数の比率が所定の臨界値以上であるか否かにより、ホログラムパターンを用いたホログラムの算出方法を異にしてホログラム情報を算出するホログラム算出部と、対象フレームの明るさ画像、奥行き画像、及びホログラム情報を格納する格納部と、を含むことを特徴とする。
【選択図】図２

Description

本発明は、動画ホログラムの算出と再生方法に関するもので、特にルックアップテーブル（ＬＵＴ；Ｌｏｏｋ−ｕｐ Ｔａｂｌｅ）と時間的重複性を用いた３次元動画の計算機合成ホログラム（ＣＧＨ：Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｈｏｌｏｇｒａｍ、以下、ＣＧＨともする。）の算出方法及びその装置に関する。

最近、３次元画像と画像再生技術に関する研究が盛んであり、視覚情報の水準を一層高める新概念の実感画像メディアとして次世代ディスプレイの開発が見込まれている。また、３次元画像は２次元画像よりも臨場感があり、より自然に見え、人間が感じる現実に近いため、３次元画像に対する需要が増加しつつある。

３次元画像関連技術の中、ホログラフィ方式は、ホログラフィに光を照らすと観察者がホログラフィの前面から所定の距離離れてホログラフィを見ることで、虚像の立体画像を観察する方式である。

ホログラフィ方式は、レーザを用いて製作したホログラフィを観察する場合、特殊メガネを装着しなくても実物と同様の立体画像を感じることができる方式である。したがって、ホログラフィ方式は立体感に優れ、人間が疲労感を感じることなく３次元画像を楽しむ最も理想的な方式であるといえる。

通常、ホログラムパターンを計算するときには、光の回折を計算するレイトレーシング（Ｒａｙ−ｔｒａｃｉｎｇ）方法が主に用いられる。このとき、対象物体を点の集合とみなし、それぞれの点に対するホログラムパターンを計算して合算する。しかし、この方法は多くの計算量のため、リアルタイム再生が困難であるという問題がある。

このような問題を克服するために、ルックアップテーブルを用いてホログラムを計算する方法が提案された。この方法は、可能な領域内の全ての点に対する要素フリンジを予め計算しておいた後、ホログラムを計算するとき、対象物体の点に該当する要素フリンジを呼び出して合算することにより、リアルタイム処理を可能とした。しかし、この方法はオブジェクト領域が大きくなるほど必要とする要素フリンジの数が多くなるため、結局、ルックアップテーブルが大きすぎるという問題がある。

このような問題を解決するために、既存のルックアップテーブル方式のように高速のホログラム計算速度をそのまま維持しながらも、ルックアップテーブルのメモリ容量を画期的に低減できる新しいルックアップテーブルのＮ−ＬＵＴ（ｎｏｖｅｌ ｌｏｏｋ−ｕｐ ｔａｂｌｅ）方法が提案された。しかし、この方法を動画に適用しようとしても多くのデータ量のため、実質的な応用はできなかった。

こうした従来技術の問題点に鑑み、本発明は、リアルタイムで動画ホログラムの再生が可能なルックアップテーブルと時間的重複性を用いた計算機合成ホログラムの算出方法及びその装置を提供することを目的とする。
本発明のさらに別の目的は下記の説明を通して容易に理解できよう。

本発明の一実施形態によれば、３次元動画の対象フレームから明るさ画像及び奥行き画像を抽出する抽出部と、以前フレームと対象フレームの明るさ画像及び奥行き画像をそれぞれ比較して同一でない変更点を抽出する比較部と、上記変更点の数とフレームの全ての点の数の比率が所定の臨界値以上であるか否かにより、ホログラムパターンを用いたホログラムの算出方法を異にしてホログラム情報を算出するホログラム算出部と、上記対象フレームの明るさ画像、奥行き画像、及び上記ホログラム情報を格納する格納部と、を含み、上記対象フレームは現在時点で算出する画像の基準となるフレームであり、上記以前フレームは上記対象フレームの前のフレームであることを特徴とする動画ホログラム算出装置が提供される。

本発明の他の実施形態によれば、３次元動画の対象フレームから明るさ画像及び奥行き画像を抽出するステップと、以前フレームと対象フレームの明るさ画像及び奥行き画像をそれぞれ比較して同一でない変更点を抽出するステップと、上記変更点の数とフレームの全ての点の数の比率が所定の臨界値以上であるか否かにより、ホログラムパターンを用いたホログラムの算出方法を異にしてホログラム情報を算出するステップと、上記対象フレームの明るさ画像、奥行き画像、及び上記ホログラム情報を格納するステップと、を含み、上記対象フレームは現在時点で算出する画像の基準となるフレームであり、上記以前フレームは上記対象フレームの前のフレームであることを特徴とする動画ホログラムの算出方法が提供される。

本発明に係るルックアップテーブルと時間的重複性を用いた３次元動画の計算機合成ホログラムの算出方法及びその装置は、リアルタイムで動画ホログラムの算出が可能である効果がある。

また、本発明に係るルックアップテーブルと時間的重複性を用いた３次元動画の計算機合成ホログラムの算出方法及びその装置は、ホログラム算出時に必要とするメモリを大幅に低減できる効果がある。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施例によるホログラフィ技術を用いた３次元情報の獲得方法を示す図面である。 本発明の一実施例によるルックアップテーブルと時間的重複性を用いたホログラム算出装置を示す図面である。 本発明の一実施例によるホログラム算出部を示す図面である。 本発明の一実施例によるルックアップテーブルと時間的重複性を用いたホログラムの算出過程を示す図面である。 本発明の一実施例によるルックアップテーブルと時間的重複性を用いた３次元動画ホログラムの算出方法が適用された３次元入力動画と奥行き動画を示す図面である。 本発明の一実施例による明るさ画像と奥行き画像の変更点を示す図面である。 図６の画像に対して、本発明の一実施例によるホログラムの算出方法でホログラムを算出した後、これをデジタル復元した画像を示す図面である。 本発明の一実施例によるホログラムの算出方法と従来の方法による各３次元動画におけるフレームごとに計算した点の数を示す図面である。 本発明の一実施例によるホログラムの算出方法と従来の方法による各３次元動画におけるフレームごとにホログラムの算出に消耗した時間を示す図面である。 本発明の一実施例によるホログラムの算出方法と従来の方法による各３次元動画における各点ごとにホログラムの算出に消耗した時間を示す図面である。

本発明は多様な変換を加えることができ、様々な実施例を有することができるため、本願では特定実施例を図面に例示し、詳細に説明する。しかし、これは本発明を特定の実施形態に限定するものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物及び代替物を含むものとして理解されるべきである。

本願で用いた用語は、ただ特定の実施例を説明するために用いたものであって、本発明を限定するものではない。単数の表現は、文の中で明らかに表現しない限り、複数の表現を含む。本願において、「含む」または「有する」などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものの存在を指定するものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものの存在または付加可能性を予め排除するものではないと理解しなくてはならない。

その他、定義しない限り、技術的または科学的な用語を含んで、ここで用いられる全ての用語は、本発明が属する技術分野で通常の知識を有する者であれば一般的に理解される用語と同一の意味を有する。一般的に用いられる予め定義しているような用語は、関連技術の文脈上の意味と一致する意味を有すると解釈すべきで、本願で明らかに定義しない限り、理想的または過度に形式的な意味として解釈しない。

なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の図面符号を付することにより重複説明を省略する。本発明の説明において、係る公知技術に対する具体的な説明が本発明の要旨をかえって不明瞭にすると判断される場合、その詳細な説明を省略する。また、本発明の好ましい実施例を詳細に説明するに前に、ホログラフィ技術を用いて３次元情報を獲得する通常の原理及びシステムについて説明する。

図１は、本発明の実施例によるホログラフィ技術を用いた３次元情報獲得方法を示す図面である。

ホログラムの原理は、レーザから出た光線を２つに分けて、１つの光線は直接スクリーンを照らすようにし、他の一つの光線は対象物体を照らすようにする。このとき、直接スクリーンを照らす光線を基準光（ｒｅｆｅｒｅｎｃｅ ｂｅａｍ、参照光１２０）といい、物体を照らす光線を物体光（ｏｂｊｅｃｔ ｂｅａｍ）という。

物体光は、物体の各表面から反射してくる光線であるため、物体表面からスクリーンまでの距離に応じて位相差がそれぞれ異なって表れる。このとき、変形されない基準光と物体光と干渉を起こし、この時の干渉縞がスクリーンに格納される。このような干渉縞が格納されたフィルムをホログラムという。

計算機合成ホログラムのパターンは、ピクセルの（ｘ，ｙ，ｚ）座標値と強さ値（Ｉ）によりコンピュータ計算で算出される。ＣＧＨは３次元ホログラム画像を獲得するのに用いられる。図１は、ホログラムの幾何学的計算模型を示す。以下、このようなＣＧＨを中心に説明するが、本発明はこれに限定されるものではない。

ホログラムはｘ−ｙ平面１３０上に位置し、物体のｐ番目の点は（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）１１０に位置する。ａ_ｐとΦ_ｐはそれぞれの点の強さと位相を示し、これらはコンピュータにより下記一般式の計算に用いられる。ホログラムにおける複素振幅Ｏ（ｘ，ｙ）は、下記一般式（１）に示すように物体光の重ね合わせから得られる。

式中、ｐは物体を構成する点（物体点）を示し、Ｎは物体を構成する全ての点の数である。ａ_ｐは物体光の強さを示し、ｋは波数ベクトルであって、ｋ＝２π／λと定義される。λは自由空間上の光の波長である。ｒ_ｐはホログラムにおけるｐ番目の物体点と点（ｘ，ｙ，０）との間の斜めの距離を示し、下記一般式（２）で定義される。

また、平面光である基準光の複素振幅Ｒ（ｘ，ｙ）は下記一般式（３）から得られる。

式中、ａ_Ｒとθ_Ｒはそれぞれ基準光の強さと入射角を示す。ホログラム面における全体的な格子強度Ｉ（ｘ，ｙ）は、物体光Ｏ（ｘ，ｙ）と基準光Ｒ（ｘ，ｙ）との間の干渉パターンであって、下記一般式（４）で表される。

式中、｜Ｒ（ｘ，ｙ）｜^２は基準光の強さを示し、｜Ｏ（ｘ，ｙ）｜^２は物体光の強さを示す。２｜Ｒ（ｘ，ｙ）｜｜Ｏ（ｘ，ｙ）｜ｃｏｓ［ｋｒ_ｐ＋ｋｘｓｉｎθ_Ｒ＋φ_ｐ］はホログラム情報を部分的に含む物体光と基準光との間の干渉パターンを意味し、物体光の空間位置に対する位相情報を含む。ホログラム情報は、２｜Ｒ（ｘ，ｙ）｜｜Ｏ（ｘ，ｙ）｜ｃｏｓ［ｋｒ_ｐ＋ｋｘｓｉｎθ_Ｒ＋φ_ｐ］にのみ含まれているため、Ｉ（ｘ，ｙ）は下記一般式（５）のように表すことができる。

従来の光線追跡方式の場合、一般式（５）からホログラムパターンを算出する。しかし、一般式（５）に示すように、ホログラムパターンの算出式は非常に複雑であるため、リアルタイムで算出することが困難であった。

このような問題を解決するために、任意の物体空間内の全ての点を表現する要素フリンジパターンをあらかじめ作ってルックアップテーブルに格納しておき、算出しようとする３次元画像に対応するそれぞれの要素フリンジパターンを取り出してホログラムを算出するというルックアップテーブルを用いた方法が提案された。

このような構成要素を説明する前に本発明の実施例が前提とする事項を説明すれば次の通りである。一般的にイメージ空間は離散的ではない。しかし、人間の視覚システムの能力は限定されているため、離散化程度が人の目に認められないほど非常に小さい場合、２つの点が離れていなく、すなわち連続しているように認識される。例えば、人間は３ミリラジアン（ｍｉｌｌｉｒａｄｉａｎ）の間隔を有する２つの点を１つの点として認識する。したがって、５００ｍｍ離れて画像を見る場合、５００ｍｍ×０．００３＝１５０ミクロン以下の間隔を有する２つの点を１つの点として認識することになる。以下、本発明による一実施例では垂直、水平の離散化程度を１５０ミクロンに設定して説明する。

ルックアップテーブルを用いる場合には、要素フリンジパターンを予め算出しておかなければならない。それは、それぞれの点を表現する基準明るさの要素フリンジパターンＴ（ｘ，ｙ；ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）であって、一般式（５）を用いて一般式（６）のように表すことができる。

式中、ｒ_ｐはｐ番目の点と（ｘ，ｙ，０）との間の距離であって、一般式（２）から得られる。

この方式によれば、ホログラムを計算するとき、各点に対するフリンジパターンは必要時毎に一般式（５）から計算することではなく、予め計算しておいた各点（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）に対するフリンジパターンの集合であるルックアップテーブルを用いて計算することになる。したがって、ルックアップテーブル方式におけるホログラム情報Ｉ（ｘ，ｙ）は最終的に一般式（７）で表され、式中、Ｎは物体点の数を示す。

このようなルックアップテーブルを用いた方式によれば、可能な物体画像のすべての点に対して予め計算しておいた要素フリンジパターンを用いることにより、ホログラムの生成速度を向上させることができる。しかし、この方式の最も大きな短所は、予め計算しておいた要素フリンジパターンの量が非常に多いということで、結局、これを格納するルックアップテーブルのメモリもかなり増加するということである。例えば、ルックアップテーブル方式において、物体空間が１００（横）×１００（縦）×１００（奥行き）であり、各要素フリンジパターンの容量を１ＭＢと仮定すると、全体ルックアップテーブルのメモリ容量は、１ＭＢ×１００×１００×１００＝１ＴＢが必要となる。

このような問題を解決するために、既存のルックアップテーブル方式のように高速の計算速度をそのまま維持しながらも、ルックアップテーブルのメモリ容量を画期的に低減できる新しい形態のルックアップテーブルのＮ−ＬＵＴが提案され、これを用いたデジタルホログラムの高速算出方法が提案された。すなわち、Ｎ−ＬＵＴ方式では、物体の奥行き方向に対する要素フリンジパターンのみを計算して格納する。そして、物体の一奥行き方向が決定されると、その面に存在する物体点の要素フリンジパターンが予め計算されて格納され、当該奥行きの要素フリンジパターンを各物体点まで左右に移動させてフリンジパターンを計算、合算することにより、当該奥行き平面におけるホログラムパターンを計算することができる。

同様の方法で物体のすべての奥行き平面におけるホログラムを計算して合算することにより、物体全体に対するホログラムパターンを計算することができる。したがって、既存のルックアップテーブル方式においては、横、縦、奥行きのすべての方向の物体点に対する要素フリンジパターンを格納しなければならなかったが、提案されたＮ−ＬＵＴ方式においては、物体の奥行き方向に対する要素フリンジパターンのみを予め格納すればよいので、メモリ要求量が著しく低減する。

Ｎ−ＬＵＴ方法においても要素フリンジパターンを予め算出しておかなければならない。すなわち、それぞれの要素フリンジパターンＴ（ｘ，ｙ；ｚ_ｐ）は、各奥行きに対する基準強さのフレネルゾーンプレート（Ｆｒｅｓｎｅｌ ｚｏｎｅ ｐｌａｔｅ）となり、次のように表すことができる。

式中、ｒ_ｐはｐ番目の点と（ｘ，ｙ，０）との間の距離であって、一般式（２）から得られる。したがって、新たに提示されるＮ−ＬＵＴ方式では、物体の奥行き方向に対する要素フリンジパターン（以下、基準要素フリンジパターン）のみを計算して格納し、物体の一奥行き方向が決定されると、その面に存在する物体点の要素フリンジパターンは、予め格納された当該奥行きの基準要素フリンジパターンを各物体点まで移動させてフリンジパターンを計算することにより、当該奥行き平面におけるホログラムパターンを計算できるようになる。同様の方法で物体のすべての奥行き平面におけるそれぞれのホログラムを計算して合算することにより、物体全体に対するホログラムパターンを計算することができる。したがって、ルックアップテーブル方式によりｎ番目のフレームのホログラム情報Ｉ_ｎ（ｘ，ｙ）は最終的に一般式（９）のように表すことができる。

このようなＮ−ＬＵＴ方式を用いてホログラムパターンを高速算出し、復元することができる。しかし、この方法を動画に適用するには、依然として多くのデータ量のため、実質的な応用は困難であった。

一般に、動画は１秒当たり３０フレーム程度で構成される。すなわち、各フレーム間の時間間隔は非常に短く、フレーム間の画像の差は非常に少なくなる。これは３次元動画についても同様であって、明るさ画像や奥行き画像の両方とも差は少なくなる。これを動画の時間的重複性という。時間的重複性を用いてホログラムを算出すると、その計算複雑度を低減することができる。以下、図２及び図３を参照してルックアップテーブルと時間的重複性を用いたホログラム算出装置について説明する。

図２は、本発明の一実施例によるルックアップテーブルと時間的重複性を用いたホログラム算出装置を示す図面であり、図３は、本発明の一実施例によるホログラム算出部を示す図面である。図２を参照すると、本発明の一実施例によるホログラム算出装置は抽出部２１０、比較部２２０、ホログラム算出部２３０、格納部２４０から構成される。

抽出部２１０は、入力された３次元動画から明るさ画像及び奥行き画像を抽出する。このとき、３次元動画は実物に対して、３次元カメラで撮影した画像であるか、コンピュータグラフィックにより抽出したビデオ画像である。

抽出部２１０は、３次元動画データのうち、現在ホログラムを算出しようとするフレーム（以下、対象フレームと称する）から明るさ画像及び奥行き画像を抽出する。続いて、抽出部２１０は、明るさ画像及び奥行き画像を比較部２２０及びホログラム算出部２３０に出力する。

比較部２２０は、対象フレームと対象フレームの前のフレーム（以下、以前フレームとする）の明るさ画像と奥行き画像の各点を比較し、同一でない点（以下、変更点と称する）を抽出する。続いて、比較部２２０は変更点情報をホログラム算出部２３０に出力する。

ホログラム算出部２３０は、変更点の数とフレームの全ての点の数の比率が所定の臨界値以上であるか否かにより、ホログラムの算出方法を異にしてホログラムを算出する。ホログラム算出部２３０は、ホログラムを算出するために分配部３１０、第１算出部３２０、第２算出部３３０から構成される。

分配部３１０は、比較部２２０から変更点情報を受け、抽出部２１０から対象フレームの明るさ画像、奥行き画像の入力を受けて、変更点の数とフレームの全ての点の数の比率が所定の臨界値以上であるか否かを判断する。続いて、分配部３１０は、変更点の数とフレームの全ての点の数の比率が所定の臨界値以上であれば、第１算出部３２０に対象フレームの明るさ画像及び奥行き画像を出力する。

また、分配部３１０は、変更点の数とフレームの全ての点の数の比率が所定の臨界値未満であれば、第２算出部３３０に対象フレームの明るさ画像、奥行き画像、及び変更点情報を出力する。具体的に説明すると、分配部３１０は、変更点情報から変更点の数を把握し、変更点の数とフレームの全ての点の数の比率を計算する。ここで、フレームの全ての点の数は、分配部３１０に予め格納されていてもよく、あるいは抽出部２１０から入力された対象フレームの明るさ画像及び奥行き画像情報から算出されてもよい。

続いて、分配部３１０は、計算された比率が０．５以上であれば、第１算出部３２０に対象フレームの明るさ画像及び奥行き画像を出力する。また、分配部３１０は、計算された比率が０．５未満であれば、第２算出部３３０に対象フレームの明るさ画像、奥行き画像、及び変更点情報を出力する。ここでは、臨界値を０．５に設定して説明したが、分配部３１０が臨界値を任意に設定できることは明らかである。

第１算出部３２０は、分配部３１０から入力された対象フレームの明るさ画像、奥行き画像、及び上述したＮ−ＬＵＴ方式を用いてホログラム情報を算出する。続いて、第１算出部３２０は、対象フレームの明るさ画像、奥行き画像、及び一般式（９）によるホログラム情報を格納部２４０に出力する。

第２算出部３３０は、分配部３１０から対象フレームの明るさ画像、奥行き画像、及び変更点情報の入力を受け、格納部２４０に要求信号を送って以前フレームの明るさ画像、奥行き画像、及びホログラム情報の入力を受ける。続いて、第２算出部３３０は、以前フレームのホログラム情報から変更点に対応する以前フレームのホログラムパターンを除去し、対象フレームのホログラムパターンを挿入する。具体的に説明すると、第２算出部３３０は、変更点に対応する地点に限定して、以前フレームのホログラム情報から以前フレームのホログラムパターンを除去し、対象フレームのホログラムパターンを挿入する。したがって、ホログラム情報Ｉ（ｘ，ｙ）は、最終的に一般式（１０）のように表すことができる。

式中、Ｉ_ｎはｎ番目のフレームのホログラム情報であり、Ｎ_ｄは以前フレームと現在フレームとの間に変化が生じた点の数、Ｕ_ｎ（ｘ，ｙ；ｚ_ｐ）はｎ番目のフレームの要素フリンジパターンを示す。このとき、Ｕ_ｎ（ｘ，ｙ；ｚ_ｐ）はｎ番目のフレームの変更点のホログラムパターンであって、変更点以外の点では０である。ｎ番目のフレームの要素フリンジパターンは一般式（１１）のように表すことができる。

再び図２を参照して、格納部２４０は明るさ画像、奥行き画像、及びホログラム情報を格納する。このとき、格納部２４０は、第２算出部３３０がフレーム当たりホログラム算出時に必要とする情報を要求信号に応じて出力し、第１算出部３２０または第２算出部３３０から入力される対象フレームの明るさ画像、奥行き画像、ホログラム情報を格納する。

これらの情報は、次の対象フレームに対応するホログラムを算出する過程で、以前フレームに関する情報として用いられる。また、格納部２４０は、対象フレームのホログラム情報を外部装置に出力する。このとき、格納部２４０ではなく、ホログラム算出部２３０から外部装置にホログラム情報を出力できることは明らかである。

以下、図４を参照して本発明の一実施例による３次元動画のホログラムの算出過程について説明する。図４は、本発明の一実施例によるルックアップテーブルと時間的重複性を用いたホログラムの算出過程を示す図面である。ここで、説明を明確にするためにホログラム算出装置を構成する各機能部を「ホログラム算出装置」と通称して説明する。

図４を参照すると、ステップ４１０で、ホログラム算出装置は３次元動画に含まれているフレームのうち対象フレームを設定し、対象フレームの明るさ画像及び奥行き画像を抽出する。

ステップ４２０で、ホログラム算出装置は対象フレームと以前フレームとの同一性検査を行う。例えば、ホログラム算出装置は、対象フレームの各地点に対応する以前フレームの各地点のうち、明るさ画像及び奥行き画像が同一でない地点を変更点として設定する。

ステップ４３０で、ホログラム算出装置は、変更点の数とフレームの全ての点の数の比率が臨界値未満であるか否かを判断する。

若し変更点の数とフレームの全ての点の数の比率が臨界値以上であれば、ステップ４４０で、ホログラム算出装置は、対象フレームの全ての点に対応するホログラムパターンを用いてホログラム情報を算出する。このとき、ホログラム算出装置は、Ｎ−ＬＵＴ方式を用いてホログラム情報を算出する。

若し変更点の数とフレームの全ての点の数の比率が臨界値未満であれば、ステップ４５０で、ホログラム算出装置は、以前フレームのホログラム情報から以前フレームのホログラムパターンを除去する。

ステップ４６０で、ホログラム算出装置は、対象フレームのホログラムパターンを挿入してホログラム情報を算出する。

ステップ４７０で、ホログラム算出装置は、対象フレームの明るさ画像、奥行き画像、及びホログラム情報を格納する。

ステップ４８０で、ホログラム算出装置は、全てのフレームのホログラム算出が終了したか否かを確認する。

若し全てのフレームのホログラム算出が終了していない場合は、ホログラム算出装置はステップ４１０に戻る。

全てのフレームのホログラム算出が終了した場合は、ホログラム算出装置は実行を終了する。

図５は、本発明の一実施例によるルックアップテーブルと時間的重複性を用いた３次元動画ホログラムの算出方法が適用された３次元入力動画と奥行き動画を示す図面である。本発明の一実施例に用いられた明るさ画像５１０は、家とその周辺を回る自動車画像が１００フレーム、これを上から見た画像が１００フレーム、カメラの移動による画像が１００フレームで構成された３００フレームの画像である。奥行き画像５２０は、明るさ画像５１０を奥行き情報に基づいて示した画像であって、３００フレームで構成される。各画像は１５０×１５０の解像度を有し、ホログラムの大きさは５００×５００である。

図６は、本発明の一実施例による明るさ画像と奥行き画像の変更点を示す図面である。図６を参照すると、明るさ画像６１０及び奥行き画像６２０は、カメラの移動が速くて場面が急激に変わる一部分を除いてフレーム間の変化は少ないことが分かる。

図７は、図６の画像に対して、本発明の一実施例によるホログラムの算出方法でホログラムを算出した後、これをデジタル復元した画像を示す図面である。それぞれ家と自動車に焦点を合わせて復元した画像で、画像がきれいに復元されたことが分かる。

図８から図１０は、本発明の一実施例によるホログラムの算出方法と従来の方法による各３次元動画を、フレームごとに計算した点の数８１０、フレームごとにホログラムの算出に消耗した時間８２０、及び各点ごとにホログラムの算出に消耗した時間８３０を示す図面である。図８から図１０を参照すると、２００番目のフレームから３００番目のフレームまでの区間においては物体の動きが大きいため、従来の方法と本発明の一実施例によるホログラムの算出方法がほぼ同一の計算複雑度を有する。しかし、第１番目のフレームから２００番目のフレームまでの区間においては、本発明の一実施例によるホログラムの算出方法の計算複雑度が従来の方法の複雑度に比べて低いことが分かる。すなわち、本発明の一実施例によるホログラムの算出方法は、変化量の大きい区間では計算複雑度が従来とほぼ同様であるが、変化量の小さい区間では計算複雑度を低減させる効果がある。

下記表１は、従来の方式と本発明の一実施例によるホログラムの算出方法におけるフレームごとに計算すべき点の数、全体のホログラムの算出に消耗した時間、及び各点ごとにホログラムの算出に消耗した時間を示したものである。

上述した本発明の実施例によるルックアップテーブルと空間的重複性を用いた計算機合成ホログラムの算出と再生方法は、記録媒体に格納された後に所定の装置、例えば、移動通信端末機と連係して行われることができる。ここで、記録媒体は、ハードディスク、ビデオテープ、ＣＤ、ＶＣＤ、ＤＶＤのような磁気または光記録媒体であってもよく、あるいはオフラインまたはオンライン上に構築されたクライアントまたはサーバーコンピュータのデータベースであってもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。

２１０ 抽出部
２２０ 比較部
２３０ ホログラム算出部
２４０ 格納部
３１０ 分配部
３２０ 第１算出部
３３０ 第２算出部

Claims (12)

1. ３次元動画の対象フレームから明るさ画像及び奥行き画像を抽出する抽出部と、
   以前フレームと対象フレームの明るさ画像及び奥行き画像をそれぞれ比較して同一でない変更点を抽出する比較部と、
   前記変更点の数とフレームの全ての点の数の比率が所定の臨界値以上であるか否かにより、ホログラムパターンを用いたホログラムの算出方法を異にしてホログラム情報を算出するホログラム算出部と、
   前記対象フレームの明るさ画像、奥行き画像、及び前記ホログラム情報を格納する格納部と、を含み、
   前記対象フレームは現在時点で算出する画像の基準となるフレームであり、前記以前フレームは前記対象フレームの前のフレームであることを特徴とする動画ホログラム算出装置。
2. 前記ホログラム算出部は、
   前記変更点の数とフレームの全ての点の数の比率が前記臨界値以上である場合、フレームの全ての点に対応する前記ホログラムパターンを用いて前記ホログラム情報を算出する第１算出部と、
   前記変更点の数とフレームの全ての点の数の比率が前記臨界値未満である場合、前記以前フレームの前記ホログラム情報から前記以前フレームの前記変更点に対応する地点のホログラムパターンを除去し、前記対象フレームの前記変更点に対応する地点のホログラムパターンを挿入して前記対象フレームの前記ホログラム情報を算出する第２算出部と、を含むことを特徴とする請求項１に記載の動画ホログラム算出装置。
3. 前記臨界値が０．５であることを特徴とする請求項１または２に記載の動画ホログラム算出装置。
4. 前記ホログラムパターンは、下記一般式（８）により算出されることを特徴とする請求項１から３の何れか１項に記載の動画ホログラム算出装置。
   （式中、ｐは任意の自然数、Ｔは前記ホログラムパターン、ｒ_ｐはｐ番目の点と（ｘ，ｙ，０）との間の距離、ｋは２πをλで割った値、λは空気中の光の波長、θ_Ｒは基準光と物体光との間の角度、φ_ｐは対象物体のｐ番目の点の物体光の位相値である。）
5. 前記第１算出部は、前記ホログラムを下記一般式（９）を用いて算出することを特徴とする請求項１から４の何れか１項に記載の動画ホログラム算出装置。
   （式中、Ｉ_ｎはｎ番目のフレームのホログラム情報、ａ_ｐは対象物体のｐ番目の点の物体光の強さ値、Ｎは対象物体を構成する全ての点の数である。）
6. 前記第２算出部は、前記ホログラムを下記一般式（１０）を用いて算出することを特徴とする請求項１から５の何れか１項に記載の動画ホログラム算出装置。
   （式中、Ｉ_ｎはｎ番目のフレームのホログラム情報であり、Ｎ_ｄは変更点の数、Ｕ_ｎは変更点でのホログラムパターンであって、変更点以外の点では０である。）
7. ３次元動画の対象フレームから明るさ画像及び奥行き画像を抽出するステップと、
   以前フレームと対象フレームの明るさ画像及び奥行き画像をそれぞれ比較して同一でない変更点を抽出するステップと、
   前記変更点の数とフレームの全ての点の数の比率が所定の臨界値以上であるか否かにより、ホログラムパターンを用いたホログラムの算出方法を異にしてホログラム情報を算出するステップと、
   前記対象フレームの明るさ画像、奥行き画像、及び前記ホログラム情報を格納するステップと、を含み、
   前記対象フレームは現在時点で算出する画像の基準となるフレームであり、前記以前フレームは前記対象フレームの前のフレームであることを特徴とする動画ホログラムの算出方法。
8. 前記ホログラム情報を算出するステップは、
   前記変更点の数とフレームの全ての点の数の比率が前記臨界値以上である場合、フレームの全ての点に対応するホログラムパターンを用いて前記ホログラム情報を算出し、
   前記変更点の数とフレームの全ての点の数の比率が前記臨界値未満である場合、前記以前フレームの前記ホログラム情報から前記以前フレームの前記変更点に対応する地点のホログラムパターンを除去し、前記対象フレームの前記変更点に対応する地点のホログラムパターンを挿入して前記対象フレームの前記ホログラム情報を算出することを特徴とする請求項７に記載の動画ホログラムの算出方法。
9. 前記臨界値が０．５であることを特徴とする請求項７または８に記載の動画ホログラムの算出方法。
10. 前記ホログラムパターンは、下記一般式（８）により算出されることを特徴とする請求項７から９の何れか１項に記載の動画ホログラムの算出方法。
    （式中、ｐは任意の自然数、Ｔは前記ホログラムパターン、ｒ_ｐはｐ番目の点と（ｘ，ｙ，０）との間の距離、ｋは２πをλで割った値、λは空気中の光の波長、θ_Ｒは基準光と物体光との間の角度、φ_ｐは対象物体のｐ番目の点の物体光の位相値である。）
11. 前記変更点の数とフレームの全ての点の数の比率が前記臨界値以上である場合、前記ホログラムは下記一般式（９）により算出されることを特徴とする請求項７から１０の何れか１項に記載の動画ホログラムの算出方法。
    （式中、Ｉ_ｎはｎ番目のフレームのホログラム情報、ａ_ｐは対象物体のｐ番目の点の物体光の強さ値、Ｎは対象物体を構成する全ての点の数である。）
12. 前記変更点の数とフレームの全ての点の数の比率が前記臨界値未満である場合、前記ホログラムは下記一般式（１０）により算出されることを特徴とする請求項７から１１の何れか１項に記載の動画ホログラムの算出方法。
    （式中、Ｉ_ｎはｎ番目のフレームのホログラム情報であり、Ｎ_ｄは変更点の数、Ｕ_ｎは変更点でのホログラムパターンであって、変更点以外の点では０である。）