JP2010139746A - ホログラム生成装置、ホログラム生成方法およびホログラム生成プログラム - Google Patents

Abstract

【課題】背景の被写体が前景で隠れている場合であっても、オクルージョンホールの発生を防止した立体像を再生することが可能なホログラムを生成するホログラム生成装置を提供する。
【解決手段】ホログラム生成装置１は、奥行マップに基づいて、隣接画素間の奥行きの不連続範囲を検出する奥行不連続検出手段１０と、ホログラム画素を中心とした光の拡散範囲で、不連続範囲を隣接画素の奥側の画素が存在する被写体平面上に投影した範囲の画素を、基準映像に対して視差を有する隣接映像から選択することで、基準映像の画素が存在しない画素を補填する欠落画素補填手段３０と、基準映像における光の拡散範囲の画素および隣接映像から補填された画素の各画素位置からホログラム画素の位置に仮想的に入射される光量を加算してホログラム画素の画素値を算出するホログラム計算手段４０と、を備えることを特徴とする。
【選択図】図３

Description

本発明は、電子ホログラフィにより立体像を表示するためのホログラムを生成するホログラム生成装置、ホログラム生成方法およびホログラム生成プログラムに関する。

近年、電子ホログラフィにより立体像を表示するためのホログラムを、コンピュータ上で生成する計算機合成ホログラム（ＣＧＨ：Computer Generated Hologram）の技術が進んでいる（例えば、特許文献１参照）。
従来の手法は、コンピュータグラフィックスで生成した平面映像を、その奥行値に基づいて、複数の被写体を３次元空間に仮想的に配置し、それぞれの被写体から出る光を合成してホログラムを求めるものである。
この手法は、図１３（ａ）に示すように、奥行値を示す奥行マップＺに基づいて、２次元映像Ｄを、例えば、前景の被写体Ａと背景の被写体Ｂとに被写体を分けて３次元空間に配置し、ホログラムＨの画素ごとに、光の拡散範囲内にある各被写体Ａ，Ｂの各座標位置からの光量を加算し、ホログラムＨの画素値を求めることで、ホログラムＨを生成する。

この場合、２次元映像Ｄは１視点の平面映像であるため、生成されたホログラムＨに照明光を照射し、再生光として再生された立体像を撮影すると、図１３（ｂ）に示したような映像が撮影されることになる。すなわち、再生光を正面から撮影した場合、図１３（ｂ）の（ｂ−２）に示すように、被写体を撮影した映像を再現することができる。しかし、再生光を左から撮影したり、右から撮影したりすると、図１３（ｂ）の（ｂ−１）、（ｂ−３）に示すように、被写体Ａの左右に、暗く欠けて見える部分（図中Ｏ_Ｈ）が発生する。これは、図１３（ａ）で示したような前景の被写体Ａに隠れていた背景部分が暗く欠けて見えることにより発生するものである。以下、この現象をオクルージョンホールと呼ぶ。

なお、このようなオクルージョンホールに対し、再生時の共役光などの不要光を除去するために、一方向への拡散光を遮断するハーフゾーンプレート処理を行って作成したホログラムを、同じ方向の光を遮断するシングルサイドバンド（ＳＳＢ）法で再生することで、その方向からの映像全体を見えなくし、オクルージョンホールそのものを観測できないようにすることも可能である（例えば、特許文献２参照）。例えば、図１４に示すように、図中、上方向への拡散光を遮断するＳＳＢ法でホログラムＨを再生し、その再生された立体像を上方向から見ると、上方向の光はすべて不要光として遮断されるため、被写体Ａに隠れていた背景部分からの光がなくても、オクルージョンホールは見えない。しかし、この場合であっても、水平（左右）方向あるいは下方向から見た場合、オクルージョンホールが観測されることになる。
特開２００５−１８１８５４号公報 特開２００３−１５５０８号公報

前記したように、奥行値を有する１視点映像からホログラムを生成した場合、ホログラム再生された立体像を、当該立体像を撮影した視点以外から視認すると、オクルージョンホールが観測され、高品位な立体像を提供することができないという問題がある。
また、ＳＳＢ法を用いた場合であっても、一方向からのオクルージョンホールの観測を防止することはできるが、他の方向からはオクルージョンホールが観測されるため、同様の問題を残している。さらに、オクルージョンホールを単に観測しないようにするのみならず、視認方向によって、前景の被写体に隠れていた背景の被写体を視認したいという要望もある。

本発明は、以上のような問題を解決するためになされたものであり、背景の被写体が前景の被写体で隠れている場合であっても、オクルージョンホールの発生をなくし、従来よりも高品位な立体像を再生することが可能なホログラムを生成するホログラム生成装置、ホログラム生成方法およびホログラム生成プログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のホログラム生成装置は、被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、被写体の立体像を再生するためのホログラムを生成するホログラム生成装置であって、奥行不連続検出手段と、補填映像選択手段と、欠落画素補填手段と、ホログラム計算手段と、を備える構成とした。

かかる構成において、ホログラム生成装置は、奥行不連続検出手段によって、基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する。この不連続領域は、生成されたホログラムが再生された際に、基準映像を撮影した視点以外からは、画素が存在せず、オクルージョンホールとして視認される領域である。

そして、ホログラム生成装置は、補填映像選択手段によって、３次元空間上において、奥行不連続検出手段で検出された不連続領域と、当該３次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、不連続領域に対応する画素を補填するための隣接映像を選択する。なお、隣接映像は基準映像に対して予め定めた視差を有するため、当該視差の範囲で基準映像の画素が存在しない３次元空間上の画素が隣接映像内に存在することになる。

そして、ホログラム生成装置は、欠落画素補填手段によって、ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、隣接画素の奥側の画素の奥行値と同一の被写体平面上に不連続領域を投影した範囲の画素を、隣接映像から選択する。これによって、ホログラム画素の位置からの光の拡散範囲において、基準映像の画素が存在しない画素を隣接映像内の画素で補填することができる。

そして、ホログラム生成装置は、ホログラム計算手段によって、ホログラム画素の位置からの仮想的な光の拡散範囲において、基準映像の画素および欠落画素補填手段で補填された画素の各画素の位置からホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出する。これによって、ホログラム画素の位置に応じて、基準映像の前景の被写体で隠れていた背景の被写体の画素の光量が加算されることになる。

また、請求項２に記載のホログラム生成装置は、請求項１に記載のホログラム生成装置において、隣接映像が、基準映像に対して左右方向にそれぞれ予め定めた視差を有する左視点隣接映像および右視点隣接映像であって、奥行不連続検出手段が、左右に隣接する画素ごとに不連続領域を検出し、補填映像選択手段が、不連続領域とホログラム画素とを通る仮想光が、基準映像に対してホログラム画素の左手前側に進んで行く場合には左視点隣接映像を、不連続領域とホログラム画素とを通る仮想光が、基準映像に対してホログラム画素の右手前側に進んで行く場合には右視点隣接映像を、隣接映像として選択する構成とした。

かかる構成において、ホログラム生成装置は、基準映像を正面から見た場合に、不連続領域とホログラム画素とを通る仮想光が、ホログラム画素の位置から左手前側に進んで行く場合、当該不連続領域に対応する画素は、左視点隣接映像内に存在すると判断する。そして、補填映像選択手段は、この場合、左視点隣接映像を選択することで、欠落画素補填手段が欠落画素を補填するための隣接映像とする。

また、不連続領域とホログラム画素とを通る仮想光が、ホログラム画素の位置から右手前側に進んで行く場合、当該不連続領域に対応する画素は、右視点隣接映像内に存在すると判断する。そして、補填映像選択手段は、この場合、右視点隣接映像を選択することで、欠落画素補填手段が欠落画素を補填するための隣接映像とする。

さらに、請求項３に記載のホログラム生成装置は、請求項１に記載のホログラム生成装置において、隣接映像が、基準映像に対して上下方向にそれぞれ予め定めた視差を有する上視点隣接映像および下視点隣接映像であって、奥行不連続検出手段が、上下に隣接する画素ごとに不連続領域を検出し、補填映像選択手段が、不連続領域とホログラム画素とを通る仮想光が、基準映像に対してホログラム画素の上手前側に進んで行く場合には上視点隣接映像を、不連続領域とホログラム画素とを通る仮想光が、基準映像に対してホログラム画素の下手前側に進んで行く場合には下視点隣接映像を、隣接映像として選択する構成とした。

かかる構成において、ホログラム生成装置は、基準映像を正面から見た場合に、不連続領域とホログラム画素とを通る仮想光が、ホログラム画素の位置から上手前側に進んで行く場合、当該不連続領域に対応する画素は、上視点隣接映像内に存在すると判断する。そして、補填映像選択手段は、この場合、上視点隣接映像を選択することで、欠落画素補填手段が欠落画素を補填するための隣接映像とする。

また、不連続領域とホログラム画素とを通る仮想光が、ホログラム画素の位置から下手前側に進んで行く場合、当該不連続領域に対応する画素は、下視点隣接映像内に存在すると判断する。そして、補填映像選択手段は、この場合、下視点隣接映像を選択することで、欠落画素補填手段が欠落画素を補填するための隣接映像とする。

また、請求項４に記載のホログラム生成装置は、請求項１に記載のホログラム生成装置において、隣接映像が、基準映像に対して、ホログラムを表示するディスプレイの画素サイズで定まるホログラム再生光の最大回折角度と、ホログラムから被写体までの最大距離とで特定される視差量以上の視差を有することを特徴とする。

かかる構成において、隣接映像には、基準映像に対して、少なくともホログラムを表示するディスプレイの最大視差に相当する映像が含まれることになる。すなわち、この隣接映像を用いることで、ホログラム生成装置は、最大視差の範囲で、基準映像において不連続領域となる画素をすべて隣接映像により補填することが可能になる。

また、請求項５に記載のホログラム生成装置は、請求項１に記載のホログラム生成装置において、欠落画素補填手段が、３次元空間上において、ホログラム画素が不連続領域上に存在する場合、不連続領域の奥側の画素の奥行値と同一の被写体平面上で、ホログラム再生光の最大回折角度で定まる光の拡散範囲内の画素を、隣接映像から選択することを特徴とする。

かかる構成において、ホログラム画素が不連続領域上に存在する場合、ホログラム画素の位置から奥側の被写体は無限の範囲で視認されることになる。なお、光の拡散範囲外の画素からの光は、ホログラム再生によっては再生されない。そこで、ホログラム生成装置は、欠落画素補填手段によって、光の拡散範囲内の画素のみを隣接映像から選択することとする。

さらに、請求項６に記載のホログラム生成装置は、請求項１に記載のホログラム生成装置において、欠落画素補填手段が、３次元空間上において、ホログラム面が不連続領域と交差し、かつ、ホログラム画素が不連続領域上に存在しない場合、ホログラム画素の位置を視点として不連続領域が奥側の画素の奥行値と同一の被写体平面に投影された画素のうちで、奥側の画素からホログラム再生光の最大回折角度で定まる光の拡散範囲内の画素を、隣接映像から選択することを特徴とする。

かかる構成において、ホログラム面が不連続領域と交差し、かつ、ホログラム画素が不連続領域上に存在しない場合、ホログラム画素の位置から奥側の被写体は、当該不連続領域に応じて無限の直線上の範囲で視認されることになる。なお、光の拡散範囲外の画素からの光は、ホログラム再生によっては再生されない。そこで、ホログラム生成装置は、欠落画素補填手段によって、光の拡散範囲内の画素のみを隣接映像から選択することとする。

また、請求項７に記載のホログラム生成装置は、請求項１に記載のホログラム生成装置において、欠落画素補填手段が、３次元空間上において、ホログラム面が不連続領域よりも手前に存在する場合、ホログラム画素と、不連続領域の手前側の画素とを結んだ直線が、不連続領域の奥側の画素の奥行値と同一の被写体平面に投影された画素と、奥側の画素とを結んだ直線上の画素を、隣接映像から選択することを特徴とする。

かかる構成において、ホログラム生成装置は、欠落画素補填手段によって、ホログラム画素から見て、不連続領域を不連続領域の奥側の画素の奥行値と同一の被写体平面に投影した画素を、隣接映像から選択することで、基準映像には存在しない不連続領域の画素を隣接映像から補填する。

また、請求項８に記載のホログラム生成装置は、請求項１に記載のホログラム生成装置において、欠落画素補填手段は、３次元空間上において、ホログラム面と不連続領域の奥側の奥行値と同一の被写体平面との距離が、所定値よりも小さい場合、欠落画素の補填を行わないことを特徴とする。

かかる構成において、ホログラム生成装置は、欠落画素補填手段によって補填された画素と、ホログラム面とが接近している場合、この画素からの光を用いて求めたホログラムを再生する際に、ホログラム面での光の回折が正しく行われず、補填画素からの光が手前側の被写体を突き抜けたように見えるファントム現象を防止することができる。

また、請求項９に記載のホログラム生成方法は、被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、前記被写体の立体像を再生するためのホログラムを生成するホログラム生成方法であって、奥行不連続検出ステップと、補填映像選択ステップと、欠落画素補填ステップと、ホログラム値演算ステップと、を含む手順とした。

かかる手順において、ホログラム生成方法は、奥行不連続検出ステップで、基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する。
そして、ホログラム生成方法は、補填映像選択ステップで、３次元空間上において、不連続領域と、当該３次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、不連続領域に対応する画素を補填するための隣接映像を選択する。

そして、ホログラム生成方法は、欠落画素補填ステップで、ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、隣接画素の奥側の画素の奥行値と同一の被写体平面上に不連続領域を投影した範囲の画素を、隣接映像から選択する。
そして、ホログラム生成方法は、ホログラム値演算ステップで、ホログラム画素の位置からの仮想的な光の拡散範囲において、基準映像の画素および補填された画素の各画素の位置からホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出する。

さらに、請求項１０に記載のホログラム生成プログラムは、被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、前記被写体の立体像を再生するためのホログラムを生成するために、コンピュータを、奥行不連続検出手段、補填映像選択手段、欠落画素補填手段、ホログラム計算手段、として機能させる構成とした。

かかる構成において、ホログラム生成プログラムは、奥行不連続検出手段によって、基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する。
そして、ホログラム生成プログラムは、補填映像選択手段によって、３次元空間上において、奥行不連続検出手段で検出された不連続領域と、当該３次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、不連続領域に対応する画素を補填するための隣接映像を選択する。

そして、ホログラム生成プログラムは、欠落画素補填手段によって、ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、隣接画素の奥側の画素の奥行値と同一の被写体平面上に不連続領域を投影した範囲の画素を、隣接映像から選択する。
そして、ホログラム生成プログラムは、ホログラム計算手段によって、ホログラム画素の位置からの仮想的な光の拡散範囲において、基準映像の画素および欠落画素補填手段で補填された画素の各画素の位置からホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出する。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，９，１０に記載の発明によれば、基準映像の前景に隠れている背景の被写体の画素の光量を隣接映像の画素によって補填するため、基準映像を撮影した方向以外から視認した場合であっても、オクルージョンホールの発生がない高品位な立体像を再生可能なホログラムを生成することができる。

請求項２に記載の発明によれば、生成されたホログラム再生光を、水平方向に視線を動かして視認した場合であっても、従来のような被写体の左右に視認されるオクルージョンホールの発生を防止することが可能なホログラムを生成することができる。

請求項３に記載の発明によれば、生成されたホログラム再生光を、垂直方向に視線を動かして視認した場合であっても、従来のような被写体の上下に視認されるオクルージョンホールの発生を防止することが可能なホログラムを生成することができる。

請求項４に記載の発明によれば、ホログラム再生光で視認可能な範囲において、オクルージョンホールを補填可能な隣接映像を選択するため、高品位な立体像を再生可能なホログラムを生成することができる。

請求項５，６，７に記載の発明によれば、基準映像において不連続となる領域を隣接映像から補填する際に、その補填する画素を、ホログラム再生光の最大回折角度で定まる光の拡散範囲により特定することができるため、過剰な補填を行うことなく、高品位な立体像を再生可能なホログラムを生成することができる。

請求項８に記載の発明によれば、基準映像において不連続となる領域を隣接映像から補填する際に、その補填する画素の奥行値がホログラム面に接近している場合、補填した画素からの光が正しく再生されないことに起因する、前景の被写体が透けて背景が見えるファントム現象を防止して、高品位な立体像を再生可能なホログラムを生成することができる。

以下、本発明の実施形態について図面を参照して説明する。
［オクルージョンホール補填の手法］
最初に、図１，図２を参照して、本発明の実施形態に係るホログラム生成装置におけるオクルージョンホールを補填する手法について説明する。図１は、本発明の実施形態に係るホログラム生成装置がホログラムを生成する際に用いる各種の映像の内容を説明するための説明図である。図２は、本発明の実施形態に係るホログラム生成装置において、オクルージョンホールを補填する手法の概略を説明するための説明図である。

本発明に係るホログラム生成装置は、図１に示すように、被写体像を含んだ基準映像Ｆ_Ｃと、当該基準映像Ｆ_Ｃに対して予め定めた視差を有する隣接映像Ｆ_Ｎと、当該基準映像Ｆ_Ｃにおける画素ごとの被写体までの奥行値を示す奥行マップＺとに基づいて、オクルージョンホールを補填する。

基準映像Ｆ_Ｃは、ホログラム生成装置がホログラムを生成する際の基準となる映像であって、被写体を撮影した複数のカメラ（図示せず）のうちで、中心のカメラで撮影された映像である。

奥行マップＺは、基準映像Ｆ_Ｃに対応した被写体の３次元空間の奥行きを示す情報であって、基準映像Ｆ_Ｃの２次元座標の位置（ｘ，ｙ）に奥行値を対応付けたものである。これによって、基準映像Ｆ_Ｃの各画素は、図４に示すように、平面座標（ｘ，ｙ）および奥行値ｚからなる３次元空間（ｘ，ｙ，ｚ）で表現することができる。

なお、この奥行マップＺは、基準映像Ｆ_Ｃを撮影したカメラからの距離を奥行値で表した画像を用いることができる。また、奥行値は、カメラから照射する赤外線等が被写体に反射して戻ってくるまでの時間を計測することで求めたり、２台のカメラで撮影した２枚のカメラ画像の対応点のずれ量（視差）により求めたりすることができる。

また、隣接映像Ｆ_Ｎは、ホログラム生成装置がホログラムを生成する際に、オクルージョンホールを補填するための映像であって、基準映像Ｆ_Ｃを撮影したカメラの上下左右に配置したカメラで撮影された映像（上視点隣接映像Ｆ_ＮＵ、下視点隣接映像Ｆ_ＮＶ、右視点隣接映像Ｆ_ＮＲ、左視点隣接映像Ｆ_ＮＬ）である。

この隣接映像Ｆ_Ｎ（Ｆ_ＮＵ、Ｆ_ＮＶ、Ｆ_ＮＲ、Ｆ_ＮＬ）は、基準映像Ｆ_Ｃに対して予め定めた視差を有するものとする。すなわち、隣接映像Ｆ_Ｎ（Ｆ_ＮＵ、Ｆ_ＮＶ、Ｆ_ＮＲ、Ｆ_ＮＬ）は、それぞれの視点位置が、基準映像Ｆ_Ｃの視点位置に対して、それぞれの方向（上下左右）に予め定めた視差量Ｂ以上の最大視差量が得られる距離Ｌだけ離間した位置で撮影されたものである。ここで、最大視差量Ｂとカメラ間距離Ｌとの間には、被写体までの最近距離をＺ、カメラのレンズの焦点距離をｆとしたとき、以下の（１）式の関係が成り立つ。

なお、この予め定めた視差量Ｂは、ホログラムを表示するディスプレイの画素サイズで決まる再生光の最大回折角度をθ、ホログラムから被写体までの最大距離をＺ_ｍａｘとしたとき、以下の（２）式で求められる値である。

また、光の最大回折角度θは、ホログラムの表示を行うディスプレイの画素サイズｐと、立体像を再生するレーザ光の波長λとにより、以下の（３）式により求められる値である。

これによって、基準映像Ｆ_Ｃに対して、オクルージョンホールを補填するための画素が、隣接映像Ｆ_Ｎ（Ｆ_ＮＵ、Ｆ_ＮＶ、Ｆ_ＮＲ、Ｆ_ＮＬ）のいずれかに存在することになる。

そこで、本発明においては、基準映像Ｆ_Ｃを用いた場合にオクルージョンホールが発生する部分については、隣接映像Ｆ_Ｎの画素を用いることでオクルージョンの発生を防止する。その一例を、図２を参照して説明する。図２は、基準映像Ｆ_Ｃの一部分の被写体の表面（以下、単に被写体という）を奥行マップＺにより３次元空間上に配置し、上側から仮想的に見た図面（左右方向：ｘ座標、上下方向：ｙ座標、奥行方向：ｚ座標）である。また、ホログラムを生成する面（ホログラム面）を、ｚ＝０のｘｙ平面上で生成するものとする。

また、図２（ａ）は、ホログラム画素ｈが、前景の被写体Ａのｘ座標の範囲に存在している状態を示し、図２（ｂ）は、ホログラム画素ｈが、背景の被写体Ｂのｘ座標の範囲に存在している状態を示している。

図２（ａ）の例に示すように、本発明に係るホログラム生成装置では、ｘ軸線上で前景の被写体Ａと同一のｘ座標の範囲に存在するホログラム画素ｈについては、基準映像Ｆ_Ｃ（図１）を参照し、光の拡散範囲θ内にある各被写体Ａ，Ｂの各座標位置における光量を加算する。一方、図２（ｂ）の例に示すように、前景の被写体Ａのｘ座標の範囲から外れた（ここでは、図中左方向）ホログラム画素ｈについては、基準映像Ｆ_ＣのみではオクルージョンホールＯ_Ｈが発生する。そこで、ホログラム生成装置は、オクルージョンホールＯ_Ｈについては、隣接映像Ｆ_Ｎ（図１）を参照し、隣接映像Ｆ_Ｎの当該画素に対応する座標位置からの光量を加算する。これによって、オクルージョンホールＯ_Ｈの発生を防止することができる。
以下、本手法を実現するためのホログラム生成装置の構成および動作について詳細に説明する。

［ホログラム生成装置の構成］
まず、図３を参照して、本発明の実施形態に係るホログラム生成装置の構成について説明する。図３は、本発明の実施形態に係るホログラム生成装置の全体構成を示すブロック図である。

ホログラム生成装置１は、図１で説明した被写体像を含んだ基準映像Ｆ_Ｃと、当該基準映像Ｆ_Ｃに対して予め定めた視差を有する隣接映像Ｆ_Ｎと、当該基準映像Ｆ_Ｃにおける画素ごとの被写体までの奥行値を示す奥行マップＺとに基づいて、被写体の立体像を再生するためのホログラム（計算機合成ホログラム）を生成するものである。なお、基準映像Ｆ_Ｃ、隣接映像Ｆ_Ｎおよび奥行マップＺは、外部から入力されるものとする。

ここでは、ホログラム生成装置１は、奥行不連続検出手段１０と、補填映像選択手段２０と、欠落画素補填手段３０と、ホログラム計算手段４０と、を備えている。

奥行不連続検出手段１０は、奥行マップＺに基づいて、生成対象となるホログラムの画素（以下、ホログラム画素という）を中心とした仮想的な光の拡散範囲に存在する基準映像Ｆ_Ｃ内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域（以下、ギャップという）を検出するものである。このギャップｇは、３次元空間上においては、奥行き方向に長さを持つ直線で表され、２次元の基準映像Ｆ_Ｃ内においては、隣接画素の境界として表されるものである。

なお、ここでは、生成対象となるホログラム画素の位置は、後記するホログラム計算手段４０から順次入力されるものとする、また、奥行不連続検出手段１０で検出されたギャップの対応する画素（隣接画素）位置は、補填映像選択手段２０および欠落画素補填手段３０に出力される。

ここでは、奥行不連続検出手段１０は、図４に示すように、ホログラムを構成するホログラム画素ｈごとに、当該ホログラム画素ｈを中心に光の拡散範囲にある基準映像Ｆ_Ｃの画素ａ，ｂの奥行値ｚ_ａ，ｚ_ｂの差｜ｚ_ａ−ｚ_ｂ｜が、所定値｜ｚ_ａ／ｊ｜以上である箇所をギャップｇとして検出する。なお、このｊは、ギャップｇをホログラム面（ｚ＝０のｘｙ平面）に投影した点、すなわち、手前側の画素ａのｘｙ座標の位置から、画素値（ホログラム値）を求めているホログラム画素ｈまでのｘｙ平面内での距離を画素単位で表した値である。これによって、前景の被写体に隠れた背景の画素が１画素以上見えるオクルージョンホールを発生させる範囲をギャップｇとして検出することができる。なお、ここでは、奥行不連続検出手段１０は、１画素以上のギャップを検出することとしたが、この画素数は任意の画素数でよく、その画素数が多ければオクルージョンホールの発生を防止する精度は低下するが、処理を高速化させることができる。

補填映像選択手段２０は、奥行不連続検出手段１０で検出されたギャップｇに対応する隣接画素と、ホログラムの生成対象となるホログラム画素との位置関係に基づいて、オクルージョンホールを補填するための隣接映像を選択するものである。この補填映像選択手段２０は、どの隣接映像を選択したかを示す識別情報を欠落画素補填手段３０に出力する。

ここで、ギャップに対応する隣接画素が基準映像Ｆ_Ｃ内で左右の位置に配置され、かつ、ギャップとホログラム画素とを通る仮想光（以下、単に光という）が、基準映像Ｆ_Ｃに対してホログラム画素の左手前側に進んで行く場合、補填映像選択手段２０は、左視点隣接映像Ｆ_ＮＬを選択する。

例えば、図４に示すように、ホログラム面より奥にギャップｇがあり、ギャップｇに隣接する画素ａ，ｂのｘｙ座標が左右（ｘ方向）に隣接し、ギャップｇからホログラム画素ｈへの方向がｘｙ平面において右から左に向いている場合、ギャップｇに対応する画素を補填するために、補填映像選択手段２０は、左視点隣接映像Ｆ_ＮＬを選択する。この左視点隣接映像Ｆ_ＮＬを用いることで、ホログラム再生時に左方向から見た際に発生するオクルージョンホールを補填することが可能になる。

同様に、隣接する画素が基準映像Ｆ_Ｃ内で左右の位置に配置され、かつ、ギャップとホログラム画素とを通る光が、基準映像Ｆ_Ｃに対してホログラム画素の右手前側に進んで行く場合、補填映像選択手段２０は、右視点隣接映像Ｆ_ＮＲを選択する。この右視点隣接映像Ｆ_ＮＲを用いることで、ホログラム再生時に右方向から見た際に発生するオクルージョンホールを補填することが可能になる。

また、隣接する画素が基準映像Ｆ_Ｃ内で上下の位置に配置され、かつ、ギャップとホログラム画素とを通る光が、基準映像Ｆ_Ｃに対してホログラム画素の上手前側に進んで行く場合、補填映像選択手段２０は、上視点隣接映像Ｆ_ＮＵを選択する。この上視点隣接映像Ｆ_ＮＵを用いることで、ホログラム再生時に上方向から見た際に発生するオクルージョンホールを補填することが可能になる。

また、隣接する画素が基準映像Ｆ_Ｃ内で上下の位置に配置され、かつ、ギャップとホログラム画素とを通る光が、基準映像Ｆ_Ｃに対してホログラム画素の下手前側に進んで行く場合、補填映像選択手段２０は、下視点隣接映像Ｆ_ＮＶを選択する。この下視点隣接映像Ｆ_ＮＶを用いることで、ホログラム再生時に下方向から見た際に発生するオクルージョンホールを補填することが可能になる。

欠落画素補填手段３０は、ホログラムの生成対象となるホログラム画素ごとに、基準映像においてオクルージョンホールが発生する領域について、隣接映像の対応する画素を選択するものである。この欠落画素補填手段３０で選択された隣接映像の各画素位置は、隣接映像の識別情報とともに、ホログラム計算手段４０に出力される。

ここでは、欠落画素補填手段３０は、ホログラム画素を中心に光の拡散範囲で、奥行不連続検出手段１０で検出された隣接画素間のギャップを奥側の画素の奥行値と同一の被写体平面上に投影した領域範囲の画素を、オクルージョンホールを補填するための画素として選択する。

ここで、図４、図６、図８を主に参照（適宜図３参照）して、欠落画素補填手段３０が補填する画素の範囲（画素補填範囲）について説明する。図４は、ホログラム面がギャップよりも手前に存在する場合の画素補填範囲を説明するための説明図である。図６は、ホログラム面とギャップとが交差し、かつ、ホログラム画素がギャップ上に存在しない（ギャップより左下側にある）場合の画素補填範囲を説明するための説明図である。図８は、ホログラム画素がギャップ上に存在する場合の画素補填範囲を説明するための説明図である。なお、図４、図６、図８において、ギャップｇを構成する手前側の画素ａと、奥側の画素ｂは、それぞれ奥行値ｚ_ａ，ｚ_ｂの奥行きに存在し、ホログラム平面は、奥行値ｚ＝０のｘｙ平面に存在し、生成対象となるホログラム画素ｈは、３次元空間（ｘｙｚ座標）の原点Ｏに存在するものとする。

まず、図４を参照して、ホログラム面がギャップよりも手前に存在する場合の画素補填範囲について説明する。
図４に示すように、ホログラム面（ホログラム画素ｈ）がギャップｇよりも手前に存在し、ギャップｇが右奥にあって、ギャップｇの両端の画素ａ，ｂのうち、奥側の画素ｂが手前側の画素ａの左側にある場合、ホログラム画素ｈの位置からはギャップｇが見えることになる。そこで、欠落画素補填手段３０は、ホログラム画素ｈからはギャップｇが見える範囲の画素を隣接映像から補填する。

すなわち、欠落画素補填手段３０は、ホログラム画素ｈと、ギャップｇを構成する手前側の画素ａとを結んだ光線（直線）が、奥側の画素ｂの奥行値と同一の被写体面（ｚ＝ｚ_ｂのｘｙ平面）に投影された画素ｆと、画素ｂとを結んだ直線（画素補填範囲Ｒ）上の画素を、隣接映像（図４の例では、左視点隣接映像）から選択する。なお、ホログラム画素ｈの位置からギャップｇを見た場合、ギャップｇと画素補填範囲Ｒとは一致する。
これによって、ホログラム画素ｈの位置から見えるギャップｇに相当する画素が、画素補填範囲Ｒの画素によって補填されることになる。

なお、図４において、手前の画素ａが、ホログラム面に接近している場合は、画素ｆは予め定めた光の拡散範囲外に出る場合がある。そこで、欠落画素補填手段３０は、そのような場合は、点ｆと点ｂとを結ぶ線上で光の拡散範囲内の画素を補填する。

また、図４では、ギャップｇがホログラム面よりも奥側にある場合の例で説明したが、ギャップｇがホログラム面より手前にある場合であっても同じ手法を用いることができる。例えば、図５に示したように、ホログラム面（ホログラム画素ｈ）がギャップｇよりも奥側に存在し、ギャップｇが左手前にあって、ギャップｇの両端の画素ａ，ｂのうち、奥側の画素ｂが手前側の画素ａの左側にある場合、欠落画素補填手段３０は、ホログラム画素ｈと、ギャップｇを構成する手前側の画素ａとを結んだ光線（直線）が、奥側の画素ｂの奥行値と同一の被写体面（ｚ＝ｚ_ｂのｘｙ平面）に投影された画素ｆと、画素ｂとを結んだ直線（画素補填範囲Ｒ）上の画素を、隣接映像（図５の例では、左視点隣接映像）から選択する。

次に、図６を参照して、ホログラム面とギャップとが交差し、かつ、ホログラム画素がギャップ上に存在しない（ギャップより左下側にある）場合の画素補填範囲について説明する。
図６に示すように、ホログラム面とギャップｇとが交差し、かつ、ホログラム画素ｈがギャップｇ上に存在せず、ギャップｇより左下側に存在する場合、欠落画素補填手段３０は、基本的には、図４と同様に、ホログラム画素ｈと、ギャップｇを構成する手前側の画素ａとを結んだ光線（直線）が、奥側の画素ｂの奥行値と同一の被写体面（ｚ＝ｚ_ｂのｘｙ平面）に投影された画素と、画素ｂとを結んだ直線上の画素を画素補填範囲とすればよい。しかし、この場合、画素補填範囲は、画素ｂから無限遠の範囲となってしまう。また、ホログラム再生光は、（３）式で示したように、最大回折角度θ以上には拡散しない。

そこで、図６の状態の場合、欠落画素補填手段３０は、ホログラム画素ｈの位置を視点としてギャップｇが奥側の画素ｂの奥行値と同一の被写体平面に投影された画素のうちで、奥側の画素ｂからホログラム再生光の最大回折角度で定まる光の拡散範囲内の画素を画素補填範囲Ｒとする。この光の拡散範囲は、光の最大回折角度をθ、ギャップｇの奥側の画素ｂの奥行値をｚ_ｂとしたとき、画素ｂから、ｚ_ｂ×ｔａｎθを満たす範囲である。

すなわち、欠落画素補填手段３０は、ホログラム画素ｈからギャップｇ上を通過する光線（直線）のうちで、ｚ軸とのなす角が光の拡散範囲となる直線を算出する。そして、欠落画素補填手段３０は、算出した直線が、奥側の画素ｂの奥行値と同一の被写体面（ｚ＝ｚ_ｂのｘｙ平面）に投影された画素ｆと、画素ｂとを結んだ直線（画素補填範囲Ｒ）上の画素を、隣接映像（図６の例では、左視点隣接映像）から選択する。これによって、ホログラム画素ｈの位置から見えるギャップｇに相当する画素が、画素補填範囲Ｒの画素によって補填されることになる。

また、図６では、ホログラム画素ｈがギャップｇより左下側に存在する場合の例で説明したが、ホログラム画素ｈがギャップｇより右上側に存在する場合であっても同じ手法を用いることができる。例えば、図７に示したように、ホログラム面とギャップｇとが交差し、かつ、ホログラム画素ｈがギャップｇ上に存在せず、ギャップｇより右上側に存在する場合、欠落画素補填手段３０は、ホログラム画素ｈからギャップｇ上を通過する光線（直線）のうちで、ｚ軸とのなす角が光の拡散範囲となる直線を算出する。そして、欠落画素補填手段３０は、算出した直線が、奥側の画素ｂの奥行値と同一の被写体面（ｚ＝ｚ_ｂのｘｙ平面）に投影された画素ｄと、画素ｆとを結んだ直線（画素補填範囲Ｒ）上の画素を、隣接映像（図７の例では、左視点隣接映像）から選択する。

次に、図８を参照して、ホログラム画素がギャップ上に存在する場合の画素補填範囲について説明する。
図８に示すように、ホログラム画素ｈがギャップｇ上に存在する場合、ホログラム画素ｈの位置から見える奥側の画素ｂの奥行値と同一の被写体面（ｚ＝ｚ_ｂのｘｙ平面）は無限領域となる。しかし、この場合であっても、ホログラム再生光は、（３）式で示したように、最大回折角度θ以上には拡散しない。そこで、欠落画素補填手段３０は、光の最大回折角度をθ、ギャップｇの奥側の画素ｂの奥行値をｚ_ｂとし、画素ｂから、上方向にｚ_ｂ×ｔａｎθを満たす画素ｄと、右方向にｚ_ｂ×ｔａｎθを満たす画素ｅとしたとき、扇型領域ｂｄｅを画素補填範囲Ｒとする。そして、欠落画素補填手段３０は、画素補填範囲Ｒ上の画素を、隣接映像（図８の例では、左視点隣接映像）から選択する。

なお、ここでは、ホログラムを再生する際に、共役光等の不要光を除去するために、水平よりも下に拡散する光のみを求めるハーフゾーンプレート法を用いる場合の画素補填範囲Ｒを示している。ハーフゾーンプレート法を用いない場合、欠落画素補填手段３０は、図９に示すように、図８に示した扇型領域ｂｄｅを下半分に折り返した領域を加えた半円領域ｂｄｅｆを、画素補填範囲Ｒとしてもよい。

なお、いずれの場合も、補填すべき画素の隣接画像の中での位置は、基準映像内での補填画素の座標を（ｘ，ｙ）とし、その視差量をＢとすると、左視点隣接映像の中では（ｘ＋Ｂ，ｙ）、右視点隣接映像の中では（ｘ−Ｂ，ｙ）、下視点隣接映像の中では（ｘ，ｙ−Ｂ）、上視点隣接映像の中では（ｘ，ｙ＋Ｂ）で与えられる。なお、ホログラムを求める際のｘｙｚ座標のｚ＝０平面を、無限遠の被写体の映像を配置する奥行位置とすると、被写体の各画素の奥行値ｚ_ｂは常に負の値となるので、視差量Ｂの符号を反転したものが、奥行値ｚ_ｂになる。ｘｙｚ座標のｚ＝０平面をそれ以外に置く場合（ホログラム面を移動する場合）は、ｚ＝０平面を移動した距離を、各画素の奥行値に加えればよい。

以上、欠落画素補填手段３０が補填する画素補填範囲について説明したが、ここでは、隣接画素が左右に隣接し、右側の画素が手前、左側の画素が奥側に存在することで、補填対象となる隣接映像が左視点隣接映像である場合についてのみ説明した。しかし、右側の画素が奥側、左側の画素が手前に存在する場合、あるいは、隣接画素が上下に隣接する場合であっても、同じ手法で画素補填範囲を求めることができるため、他の配置の場合については説明を省略する。図３に戻って、ホログラム生成装置１の構成について説明を続ける。

ホログラム計算手段４０は、ホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出するものである。なお、ホログラム計算手段４０は、光の拡散範囲内の基準映像Ｆ_Ｃの各画素の位置および欠落画素補填手段３０によって補填された欠落画素の画素位置（隣接映像Ｆ_Ｎの識別番号を含む）からの光量を加算する。なお、ここでは、ホログラム計算手段４０は、奥行不連続検出手段１０に対して、生成対象となるホログラム画素の位置を通知することで、欠落画素補填手段３０から、当該画素に対応する補填用の画素位置および隣接映像Ｆ_Ｎの識別情報を取得することとする。

このホログラム計算手段４０は、各画素を３次元空間（ｘ，ｙ，ｚ）上に配置し、各画素の輝度をＩ（ｘ，ｙ）、奥行値をｚ、光の波長をλとしたとき、ホログラム画素の画素値ｈ（ｕ，ｖ）を、以下の（４）式により求める。なお、ホログラム面は、３次元空間（ｕ，ｖ，０）上に形成するものとする。

ここで、Σは、ホログラム画素から被写体を見たときに、ホログラムで回折する光の拡散範囲内にある被写体の画素Ｉ（ｘ，ｙ）すべての光量の加算を示している。
このように、ホログラム計算手段４０は、ホログラム画素に仮想的に入射される光量を加算することで、ホログラム画素の画素値を算出することができる。

なお、ホログラム再生光の回折は、隣接するホログラム画素からの光の干渉で生じるが、干渉するホログラム画素が少ないと十分な干渉が起きず、再生光はランダムに拡散してしまい、意図通りの方向に回折せず、ホログラム画素の前にある前景の被写体を突き抜けて補填画素からの光が見えるファントム現象が生じる。

そこで、欠落画素補填手段３０は、ギャップの奥側画素の奥行位置がホログラム面に所定値以上接近している場合、欠落画素の補填を行わないこととする。この所定値は、光の拡散範囲に入る補填画素数が３画素程度以下の場合とする。これによって、ファントム現象を防止することができる。このように、画素補填を行わない場合、オクルージョンホールが残ることになるが、このオクルージョンホールから見える画素は、３画素程度以下であるので、補填しなくても再生映像品質はほとんど劣化しない。

以上説明したように構成することで、ホログラム生成装置１は、ホログラム再生時に手前の被写体の陰に隠れていた光がない部分について、隣接映像の画素により補填を行うため、オクルージョンホールの発生を防止することができる。

なお、ホログラム生成装置１は、一般的なコンピュータを、前記した各手段として機能させるホログラム生成プログラムによって動作させることができる。また、このホログラム生成プログラムは、通信回線を介して配布したり、ＣＤ−ＲＯＭ等の記録媒体に記録して配布したりすることも可能である。

［ホログラム生成装置の動作］
次に、図１０を参照（構成については適宜図３参照）して、本発明の実施形態に係るホログラム生成装置の動作について説明する。図１０は、本発明の実施形態に係るホログラム生成装置の動作を示すフローチャートである。

まず、ホログラム生成装置１は、ホログラム計算手段４０によって、３次元空間上のホログラム面上において、ホログラムＨを生成するための画素（ホログラム画素）を選択する（ステップＳ１）。なお、このホログラム面は、図示を省略した入力手段を介して、ホログラムを生成するための３次元空間上の奥行値を入力されることで、ホログラム計算手段４０が、予め３次元空間上に設定するものとする。

（奥行不連続検出ステップ）
そして、ホログラム生成装置１は、奥行不連続検出手段１０によって、ステップＳ１で選択されたホログラム画素ｈを中心に光の拡散範囲にある隣接する画素ａ，ｂの奥行値ｚ_ａ，ｚ_ｂを比較する（ステップＳ２）。

ここで、奥行値の差が所定値よりも大きい場合（ステップＳ３でＹｅｓ）、当該画素間には、奥行きが不連続となるギャップが存在するため、当該ギャップを補填するステップＳ４以降の補填処理（補填映像選択処理、欠落画素補填処理）に動作を進める。一方、奥行値の差が所定値以下の場合（ステップＳ３でＮｏ）、当該画素間にはギャップが存在しないため、補填処理を行わずにステップＳ６に動作を進める。

（補填映像選択ステップ）
そして、奥行値の差が所定値よりも大きい場合（ステップＳ３でＹｅｓ）、ホログラム生成装置１は、補填映像選択手段２０によって、オクルージョンホールを補填するための隣接映像を選択する（ステップＳ４）。なお、このステップＳ４の動作については、図１１を参照して後で説明を行う。

（欠落画素補填ステップ）
さらに、ホログラム生成装置１は、欠落画素補填手段３０によって、ステップＳ２でギャップと判定された領域を隣接映像の画素により補填する（ステップＳ５）。なお、このステップＳ５の動作については、図１２を参照して後で説明を行う。

そして、ホログラム生成装置１は、奥行不連続検出手段１０によって、光の拡散範囲内の画素について、まだ参照していない被写体画素があるか否かを判定し（ステップＳ６）、補填を行っていない被写体画素がある場合（ステップＳ６で“あり”）、ステップＳ２に戻って動作を続ける。

（ホログラム値演算ステップ）
一方、光の拡散範囲内のすべての画素について参照を行った場合（ステップＳ６で“なし”）、ホログラム生成装置１は、ホログラム計算手段４０によって、ステップＳ５によって補填された光の拡散範囲の画素の位置からの光量を加算することでホログラム画素の画素値を算出する（ステップＳ７）。なお、算出されたホログラム画素値は、順次ホログラムＨを構成する画素値として外部に出力される。

そして、ホログラム生成装置１は、ホログラム計算手段４０によって、画素値が算出されていないホログラム画素があるか否かを判定し（ステップＳ８）、画素値が算出されていないホログラム画素がある場合（ステップＳ８で“あり”）、ステップＳ１に戻って、次のホログラム画素を選択し、動作を継続する。
一方、すべてのホログラム画素について、画素値を算出した場合（ステップＳ８で“なし”）、ホログラム生成装置１は、動作を終了する。

以上の動作によって、ホログラム生成装置１は、ホログラム画素ごとに、順次、光の拡散範囲内の画素の光量を加算したオクルージョンホールを補填したホログラム（計算機合成ホログラム）Ｈを生成することができる。

（補填映像選択処理）
次に、図１１を参照（構成については適宜図３参照）して、ホログラム生成装置１が、オクルージョンホールを補填するための隣接映像を選択する動作について説明する。なお、この動作は、図１０で説明したステップＳ４の動作に相当し、補填映像選択手段２０によって行われる。また、本説明では、適宜図４で用いた符号を用いることとする。

まず、補填映像選択手段２０は、隣接画素ａ，ｂがどのような並びで隣接しているのかを判定する（ステップＳ４１）。すなわち、補填映像選択手段２０は、基準映像Ｆ_Ｃの２次元座標の位置（ｘ，ｙ）（ｘ；水平方向、ｙ；垂直方向）において、隣接画素のｙ座標が同一の場合、左右（水平）に隣接していると判定し、ｘ座標が同一の場合、上下（垂直）に隣接していると判定する。

ここで、隣接画素が左右（水平）に並んでいる場合（ステップＳ４１で“左右”）、補填映像選択手段２０は、さらに、ギャップとホログラム画素ｈとを通る光の進行方向（ホログラム画素ｈから手前側に出射する光の進行方向）を判定する（ステップＳ４２）。すなわち、補填映像選択手段２０は、奥行マップＺを参照し、ギャップの両端の画素ａ，ｂのｘ座標およびｚ座標と、ホログラム画素のｘ座標およびｚ座標とを比較することで、ギャップとホログラム画素ｈとを通る光の水平方向の向きが、映像の正面から見て右から左手前に向いている場合（ステップＳ４２で“右→左”）、補填映像選択手段２０は、左視点隣接映像Ｆ_ＮＬを選択する（ステップＳ４３）。なお、ホログラムからの光は、常に手前（ｚ軸の負の）方向に進行するものとする。

一方、ギャップとホログラム画素ｈとを通る光の水平方向の向きが、映像の正面から見て左から右手前に向いている場合（ステップＳ４２で“左→右”）、補填映像選択手段２０は、右視点隣接映像Ｆ_ＮＲを選択する（ステップＳ４４）。

また、隣接画素が上下（垂直）に並んでいる場合（ステップＳ４１で“上下”）、補填映像選択手段２０は、さらに、ギャップとホログラム画素ｈとを通る光の進行方向（ホログラム画素ｈから手前側に出射する光の進行方向）を判定する（ステップＳ４５）。すなわち、補填映像選択手段２０は、奥行マップＺを参照し、ギャップの両端の画素ａ，ｂのｙ座標およびｚ座標と、ホログラム画素のｙ座標およびｚ座標とを比較することで、ギャップとホログラム画素ｈとを通る光の垂直方向の向きが、映像の正面から見て下から上に向いている場合（ステップＳ４５で“下→上”）、 補填映像選択手段２０は、上視点隣接映像Ｆ_ＮＵを選択する（ステップＳ４６）。

一方、ギャップとホログラム画素ｈとを通る光の垂直方向の向きが、映像の正面から見て上から下に向いている場合（ステップＳ４５で“上→下”）、補填映像選択手段２０は、下視点隣接映像Ｆ_ＮＶを選択する（ステップＳ４７）。
以上の動作によって、補填映像選択手段２０は、ギャップの領域を補填する映像を複数の隣接映像の中から選択することができる。

（欠落画素補填処理）
次に、図１２を参照（構成については適宜図３参照）して、ホログラム生成装置１が、オクルージョンホール（ギャップ）における欠落した画素を補填する動作について説明する。なお、この動作は、図１０で説明したステップＳ５の動作に相当し、欠落画素補填手段３０によって行われる。また、本説明では、適宜図４、図６、図８で用いた符号を用いることとする。

まず、欠落画素補填手段３０は、奥行マップＺを参照し、ギャップｇとホログラム画素ｈとを結ぶ直線上に、手前側の被写体の画素ａがあるか否かを判定する（ステップＳ５１）。具体的には、図４で、ホログラム画素ｈの右奥にギャップｇがある場合、光は右奥から左手前に進むが、ギャップｇの奥側の画素ｂのｘ座標より手前側の画素ａのｘ座標の方が小さい場合は、手前側の被写体は画素ａの位置から左側に広がっていると判断する。この場合、ギャップｇから出てホログラム画素ｈを通る光は、途中で画素ａを含む手前側の被写体に当たることになる。このように、ギャップｇとホログラム画素ｈとを結ぶ直線上に、手前側の被写体があると判断した場合、ホログラム画素ｈの位置からギャップｇは見えないため、画素の補填を行う必要はない。よって、欠落画素補填手段３０は、ギャップｇとホログラム画素ｈとの間に、手前側の被写体がある場合（ステップＳ５１で“あり”）、画素の補填を行わずに本動作を終了する。

一方、図４に示すように、ギャップｇとホログラム画素ｈとを結ぶ直線上に、手前側の被写体がないと判断した場合（ステップＳ５１で“なし”）、オクルージョンホールが見えることになるが、この場合は、さらに、ホログラム画素ｈがギャップｇ上に存在するか否かを判定する（ステップＳ５２）。

ここで、ホログラム画素ｈがギャップｇ上に存在する場合（ステップＳ５２でＹｅｓ）、図８で説明したように、ホログラム画素ｈから見える奥側の画素ｂの奥行値と同一の被写体面（ｚ＝ｚ_ｂのｘｙ平面）は無限領域となる。そこで、欠落画素補填手段３０は、奥側の画素ｂが存在する被写体面上の光の拡散範囲の画素（図８中、扇型領域ｂｄｅ）を、画素補填範囲Ｒとして、ステップＳ４（図１０）で選択された隣接映像から選択（補填）する（ステップＳ５３）。

一方、ホログラム画素ｈがギャップｇ上に存在しない場合（ステップＳ５２でＮｏ）、欠落画素補填手段３０は、さらに、ギャップｇがホログラム面と交差するか否かを判定する（ステップＳ５４）。

ここで、ギャップｇがホログラム面と交差しない場合（ステップＳ５４でＮｏ）、欠落画素補填手段３０は、図４で説明したように、ホログラム画素ｈと、ギャップｇを構成する手前側の画素ａとを結んだ光線（直線）が、奥側の画素ｂの奥行値と同一の被写体面（ｚ＝ｚ_ｂのｘｙ平面）に投影された画素ｆと、画素ｂとを結んだ直線（画素補填範囲Ｒ）上で、光の拡散範囲内の画素を、ステップＳ４（図１０）で選択された隣接映像から選択（補填）する（ステップＳ５５）。

一方、ギャップｇがホログラム面と交差する場合（ステップＳ５４でＹｅｓ）、欠落画素補填手段３０は、図６で説明したように、ホログラム画素ｈと、ギャップｇを構成する手前側の画素ａとを結んだ光線（直線）が、奥側の画素ｂの奥行値と同一の被写体面（ｚ＝ｚ_ｂのｘｙ平面）に投影された直線上の画素のうちで、ホログラム画素ｈから光の拡散範囲にある画素（画素補填範囲Ｒ）を、ステップＳ４（図１０）で選択された隣接映像から選択（補填）する（ステップＳ５６）。
以上の動作によって、欠落画素補填手段３０は、ギャップの領域を隣接映像の画素から補填することができる。

以上、本発明の実施形態に係るホログラム生成装置１の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
ここでは、被写体からの光が、水平・垂直の両方に拡散する全視差型のホログラムを生成する場合を例に、オクルージョンホールを補填したホログラムを生成するホログラム生成装置１について説明した。

しかし、本発明は、被写体からの光が水平方向のみに拡散する水平視差型ホログラムを生成する場合にも適用することができる。この場合、ホログラム生成装置１は、隣接映像として、図１で説明した４つの異なる隣接映像のうち、右視点隣接映像Ｆ_ＮＲおよび左視点隣接映像Ｆ_ＮＬのみを用いればよい。また、このとき、奥行不連続検出手段１０は、左右に隣接する画素についてのみギャップを検出すればよい。

さらに、水平視差型ホログラムで、不要光除去を、ハーフゾーンプレート法を用いて行う場合、ハーフゾーンプレート法で残った右もしくは左方向に拡散する光に応じて、右視点隣接映像Ｆ_ＮＲまたは左視点隣接映像Ｆ_ＮＬのいずれか一方のみを隣接映像として用いればよい。この場合、映像は、基準映像Ｆ_Ｃと１つの隣接映像のみとなり、２眼のステレオカメラ映像から、焦点調節が可能な立体映像を実現できると言う格別の効果がある。

また、ここでは、基準映像および隣接映像をそれぞれカメラで撮影した実写の映像として説明したが、コンピュータグラフィックスで生成された合成映像を用いることも可能である。

本発明の実施形態に係るホログラム生成装置がホログラムを生成する際に用いる各種の映像の内容を説明するための説明図である。 本発明の実施形態に係るホログラム生成装置において、オクルージョンホールを補填する手法の概略を説明するための説明図である。 本発明の実施形態に係るホログラム生成装置の全体構成を示すブロック図である。 ホログラム面がギャップよりも手前に存在する場合の画素補填範囲を説明するための説明図である。 ホログラム面がギャップよりも奥側に存在する場合の画素補填範囲を説明するための説明図である。 ホログラム面とギャップとが交差し、かつ、ホログラム画素がギャップ上に存在しない（ギャップより左下側にある）場合の画素補填範囲を説明するための説明図である。 ホログラム面とギャップとが交差し、かつ、ホログラム画素がギャップ上に存在しない（ギャップより右上側にある）場合の画素補填範囲を説明するための説明図である。 ホログラム画素がギャップ上に存在する場合の画素補填範囲を説明するための説明図である（ハーフゾーンプレート法を用いた場合）。 ホログラム画素がギャップ上に存在する場合の画素補填範囲を説明するための説明図である（ハーフゾーンプレート法を用いない場合）。 本発明の実施形態に係るホログラム生成装置の動作を示すフローチャートである。 本発明の実施形態に係るホログラム生成装置のオクルージョンホールを補填するための隣接映像を選択する動作を示すフローチャートである。 本発明の実施形態に係るホログラム生成装置のオクルージョンホール（ギャップ）における欠落した画素を補填する動作を示すフローチャートである。 従来の手法におけるオクルージョンホールを説明するための説明図である。 従来のハーフゾーンプレート処理を伴ったシングルサイドバンド（ＳＳＢ）法の概要を説明するための説明図である。

符号の説明

１ ホログラム生成装置
１０ 奥行不連続検出手段
２０ 補填映像選択手段
３０ 欠落画素補填手段
４０ ホログラム計算手段
Ｈ ホログラム
Ｚ 奥行マップ
Ｆ_Ｃ 基準映像
Ｆ_ＮＵ 上視点隣接映像
Ｆ_ＮＶ 下視点隣接映像
Ｆ_ＮＬ 左視点隣接映像
Ｆ_ＮＲ 右視点隣接映像
Ｏ_Ｈ オクルージョンホール
ｇ ギャップ（不連続領域）

Claims (10)

1. 被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、前記被写体の立体像を再生するためのホログラムを生成するホログラム生成装置であって、
   前記奥行マップに基づいて、前記基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する奥行不連続検出手段と、
   ３次元空間上において、前記奥行不連続検出手段で検出された不連続領域と、当該３次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、前記不連続領域に対応する画素を補填するための前記隣接映像を選択する補填映像選択手段と、
   前記ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、前記隣接画素の奥側の画素の奥行値と同一の被写体平面上に前記不連続領域を投影した範囲の画素を、前記隣接映像から選択する欠落画素補填手段と、
   前記ホログラム画素の位置からの前記光の拡散範囲において、前記基準映像の画素および前記欠落画素補填手段で選択された画素の各画素の位置から、前記ホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出するホログラム計算手段と、
   を備えることを特徴とするホログラム生成装置。
2. 前記隣接映像は、前記基準映像に対して左右方向にそれぞれ予め定めた視差を有する左視点隣接映像および右視点隣接映像であって、
   前記奥行不連続検出手段は、左右に隣接する画素ごとに前記不連続領域を検出し、
   前記補填映像選択手段は、前記不連続領域と前記ホログラム画素とを通る仮想光が、前記基準映像に対して前記ホログラム画素の左手前側に進んで行く場合には前記左視点隣接映像を、前記不連続領域と前記ホログラム画素とを通る仮想光が、前記基準映像に対して前記ホログラム画素の右手前側に進んで行く場合には前記右視点隣接映像を、前記隣接映像として選択することを特徴とする請求項１に記載のホログラム生成装置。
3. 前記隣接映像は、前記基準映像に対して上下方向にそれぞれ予め定めた視差を有する上視点隣接映像および下視点隣接映像であって、
   前記奥行不連続検出手段は、上下に隣接する画素ごとに前記不連続領域を検出し、
   前記補填映像選択手段は、前記不連続領域と前記ホログラム画素とを通る仮想光が、前記基準映像に対して前記ホログラム画素の上手前側に進んで行く場合には前記上視点隣接映像を、前記不連続領域と前記ホログラム画素とを通る仮想光が、前記基準映像に対して前記ホログラム画素の下手前側に進んで行く場合には前記下視点隣接映像を、前記隣接映像として選択することを特徴とする請求項１に記載のホログラム生成装置。
4. 前記隣接映像は、前記基準映像に対して、前記ホログラムを表示するディスプレイの画素サイズで定まるホログラム再生光の最大回折角度と、前記ホログラムから前記被写体までの最大距離とで特定される視差量以上の視差を有することを特徴とする請求項１に記載のホログラム生成装置。
5. 前記欠落画素補填手段は、前記３次元空間上において、前記ホログラム画素が前記不連続領域上に存在する場合、前記不連続領域の奥側の画素の奥行値と同一の被写体平面上で、ホログラム再生光の最大回折角度で定まる光の拡散範囲内の画素を、前記隣接映像から選択することを特徴とする請求項１に記載のホログラム生成装置。
6. 前記欠落画素補填手段は、前記３次元空間上において、前記ホログラム面が前記不連続領域と交差し、かつ、前記ホログラム画素が前記不連続領域上に存在しない場合、前記ホログラム画素の位置を視点として前記不連続領域が前記奥側の画素の奥行値と同一の被写体平面に投影された画素のうちで、前記奥側の画素からホログラム再生光の最大回折角度で定まる光の拡散範囲内の画素を、前記隣接映像から選択することを特徴とする請求項１に記載のホログラム生成装置。
7. 前記欠落画素補填手段は、前記３次元空間上において、前記ホログラム面が前記不連続領域よりも手前に存在する場合、前記ホログラム画素と、前記不連続領域の手前側の画素とを結んだ直線が、前記不連続領域の奥側の奥行値と同一の被写体平面に投影された画素と、前記奥側の画素とを結んだ直線上の画素を、前記隣接映像から選択することを特徴とする請求項１に記載のホログラム生成装置。
8. 前記欠落画素補填手段は、前記３次元空間上において、前記ホログラム面と前記不連続領域の奥側の奥行値と同一の被写体平面との距離が、所定値よりも小さい場合、欠落画素の補填を行わないことを特徴とする請求項１に記載のホログラム生成装置。
9. 被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、前記被写体の立体像を再生するためのホログラムを生成するホログラム生成方法であって、
   隣接画素間の奥行きの不連続領域を検出する奥行不連続検出手段により、前記奥行マップに基づいて、前記基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する奥行不連続検出ステップと、
   前記不連続領域に対応する画素を補填するための隣接映像を選択する補填映像選択手段により、３次元空間上において、前記奥行不連続検出手段で検出された不連続領域と、当該３次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、前記不連続領域に対応する画素を含んだ前記隣接映像を選択する補填映像選択ステップと、
   前記不連続領域に対応する画素を補填する欠落画素補填手段により、前記ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、前記隣接画素の奥側の画素の奥行値と同一の被写体平面上に前記不連続領域を投影した範囲の画素を、前記隣接映像から選択する欠落画素補填ステップと、
   前記ホログラム画素の画素値を算出するホログラム計算手段により、前記ホログラム画素の位置からの前記光の拡散範囲において、前記基準映像の画素および前記欠落画素補填手段で選択された画素の各画素の位置から、前記ホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出するホログラム値演算ステップと、
   を含むことを特徴とするホログラム生成方法。
10. 被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、前記被写体の立体像を再生するためのホログラムを生成するために、コンピュータを、
    前記奥行マップに基づいて、前記基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する奥行不連続検出手段、
    ３次元空間上において、前記奥行不連続検出手段で検出された不連続領域と、当該３次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、前記不連続領域に対応する画素を補填するための前記隣接映像を選択する補填映像選択手段、
    前記ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、前記隣接画素の奥側の画素の奥行値と同一の被写体平面上に前記不連続領域を投影した範囲の画素を、前記隣接映像から選択する欠落画素補填手段、
    前記ホログラム画素の位置からの前記光の拡散範囲において、前記基準映像の画素および前記欠落画素補填手段で選択された画素の各画素の位置から、前記ホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出するホログラム計算手段、
    として機能させることを特徴とするホログラム生成プログラム。

Images