JP2022120928A - 空中像生成装置、歪み補正関数生成方法及び空中像生成方法 - Google Patents

Abstract

【課題】透明物体または反射物体による映像歪みが補償された空中像を所定の空間に生成する。【解決手段】ＣＧカメラの画角内の各画素を選択し、ＣＧカメラから選択画素の位置に対応する理想カメラ映像の画素値を有する光線を選択画素の方向に発射した後に、透明物体及び／または反射物体、及び再帰透過光学素子を経由した光線が有する画素値を記録することで生成した算出用画像から歪み補正関数を生成する。そして、生成した歪み補正関数を用いて入力される画像信号に光学系に応じた歪みを与え、歪み補正画像表示光源を生成し、この歪み補正画像表示光源を用いて、所定の空間位置に実像としての空中像を生成する。【選択図】図１

Description

本発明は、透明物体または反射物体が光路上に存在した場合の空中像を表示する空中像生成装置、歪み補正関数生成方法及び空中像生成方法に関する。

光源から出射された光を光学素子等によって反射屈折させ、スクリーンやディスプレイが配置されていない空間の所定の位置に空中像（実像）を結像させる技術が知られている。空中像は、これを見る観察者に不思議な感覚を与えるため、仮想現実（ＶＲ：Virtual Reality）や拡張現実（ＡＲ:Augmented Reality）を始めとする様々なアプリケーションで利用されている。

仮想現実や拡張現実における映像表示は、観察者に単に情報を伝えるのではなく、観察者の注意をひいたり、実物体との自然なインタラクションを実現したりすることが重要になる。その意味で、実物体への映像投影は、静的な建築物や自然の景観などに、動的でインタラクティブな表現を付与することができる点で注目されている。

特許文献１には、設置場所の自由度が高く、観測者側から表示部の表示内容が直接視認されない空中像形成装置であって、マイクロミラーアレイプレート（micro-mirror array plates:ＭＭＡＰｓ）からなる再帰透過光学素子を用いて、入射する光を再帰透過させて空中像を形成する技術が記載されている。

特許文献２には、投影用の高品位な画像を生成する画像処理装置であって、投影画像を補正するための補正パラメータを算出し、算出した補正パラメータと投影部の設置状態に関するデータとに基づいて、投影画像を構成する画素位置を補正する技術が記載されている。

特許文献２に記載の技術は、白画像や格子画像等の補正パラメータを算出するための画像を用意し、出力デバイスに投影する画像を幾何変換するために必要な補正パラメータを算出する。また、仮想空間内に設置される仮想被写体の形状及び反射特性のデータ及び仮想カメラの位置データ等を含む仮想空間データを生成する。特許文献２に記載の技術は、これらの補正パラメータと仮想空間データとから、投影画像を構成する画素位置を補正している。

また、透明物体内に映像を表示する手法として非特許文献１に記載される技術がある。この非特許文献１に記載の光学系でも、再帰透過光学素子（ＭＭＡＰｓ）が用いられており、このＭＭＡＰｓを用いて、光源物体からの光を透明物体内に結像している。非特許文献１に記載の技術は、さらに、光源側に映像表示対象となる透明物体の鏡像体を配置して、この透明物体の屈折による歪を補償するようにしている。

非特許文献１に記載の光学系は、透明物体の見た目を損なうことなく、透明物体内に映像が浮かんでいるような実体感のある空中像（実像）の提示を行うための光学系である。

特開２０２０－６０７５２号公報 特開２０１６－７２６９１号公報

「横瀬哲也、大川達也、苗村 健、InFloasion:透明物体内に映像を結像させる光学系」信学技報、第118巻、pp89-94、2018

しかしながら、特許文献１、２に記載されるような従来の映像表示手法では、映像表示面が中空もしくは物体の表面上に限られており、透明物体の内部に映像を埋め込む表現が困難であるという問題があった。すなわち、中空でない透明物体の内部に映像を結像させる場合には、物体の境界面で発生する屈折による光路の変化が無視できないため、透明物体内に映像を表示しようとしても、所望の位置に正しく映像を表示することができなかった。

また、非特許文献１に記載の光学系では、映像の実在感のために、光源側で発生する屈折歪みのみが補償の対象となっており、このため、視点方向で発生する屈折歪みを補償することができないという問題があった。
また、非特許文献１に記載の光学系では、光源側に対象となる透明物体の鏡像体、もしくは透明物体を映像表示位置で切断したものが必要になるが、透明物体の形状や配置方法ごとに補償用の透明物体を用意することは困難であった。

本発明の目的は、光源からの光路中に透明物体や反射物体があっても、予め設定した空間位置に歪みのない空中像を生成することが可能な空中像生成装置、歪み補正関数生成方法及び空中像生成方法を提供することにある。

上記課題を解決するため、本発明の空中像生成装置は、入力される画像信号に歪みを与える歪み補正画像を生成する画像処理部と、この画像処理部で生成される歪み補正画像を記憶する歪み補正画像記憶部と、歪み補正画像記憶部に記憶された歪み補正画像を光源とする歪み補正画像表示光源と、歪み補正画像表示光源から発射される光を受けて、所定の空間位置に実像としての空中像を生成する空中像光学系と、を備える。
そして、空中像光学系は、歪み補正画像表示光源と空中像との間の光路中に、再帰透過光学素子と、光を透過する透明物体及び光を反射する反射物体の少なくとも一方を少なくとも１つ有し、画像処理部は、この空中像光学系によって与えられる空中像の歪みが補正されるように、歪み補正画像を生成する。

また、本発明の歪み補正関数生成方法は、ＣＧ空間内におけるステップ（１）～（３）を含み、本発明の空中像生成方法は、ＣＧ空間内におけるステップ（１）～（３）に加えて、更に実機におけるステップ（４）とステップ（５）を含む。
（１）透明物体または反射物体、及び再帰透過光学素子の配置関係を含む空中像光学系を設計するステップ、
（２）ＣＧ空間内で空中像表示位置に配置された理想像を、視点に対応するＣＧカメラの画角内の部分をレンダリングすることで理想カメラ映像を出力するステップ、
（３）ＣＧカメラから理想カメラ映像の各画素の画素値を有する光線を発射し、空中像光学系を介して実機の光源設置位置に光線が達したときに、理想カメラ映像の全画素の画素値を記録することにより生成された算出用画像から歪み補正関数を生成するステップ、
（４）歪み補正関数を用いて、入力される画像信号に歪みを与えた歪み補正画像を生成し、この歪み補正画像に基づいて歪み補正画像表示光源を生成するステップ、
（５）設計するステップ（１）で設計された空中像光学系と歪み補正画像表示光源とを実空間に配置し、歪み補正画像表示光源から発射される光を受けて、所定の空間位置に実像としての空中像を生成するステップ。

本発明によれば、透明物体または反射物体による映像歪みが補償された空中像を所定の空間に生成することが可能になる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明によって明らかにされる。

本発明の実施の形態の空中像生成装置の全体構成を示すブロック図である。 本発明の実施の形態の空中像生成方法の４つの工程を示す図である。 図２に示す工程Ａの光学系の設計工程を説明するための図である。 図２に示す工程Ｂの理想カメラ映像のレンダリングを説明するための図である。 図２に示す工程Ｂに関連して理想カメラ映像の生成処理の手順を示すフローチャートである。 図２に示す工程Ｃの歪み補正関数の生成処理の手順を示すフローチャートである。 図２に示す工程Ｃの歪み補正関数の生成方法を模式的に示す図である。 図２に示す工程Ｄの生成された歪み補正関数に基づいて生成された光源画像から透明物体の内部に空中像を生成する例を示す図である。 ＭＭＡＰｓ（再帰透過光学素子）の構造（ａ）と、ＭＭＡＰｓＢＲＤＦの原理（ｂ）を説明するための図である。 ＭＭＡＰｓにより生成した算出用画像（ａ）とＭＭＡＰｓＢＲＤＦにより生成した算出用画像（ｂ）の違いを説明するための図である。 実装試験において、従来の手法による透明物体内の映像と本発明の実施形態による透明物体内の映像を比較して示した図である。 実装試験により、本発明の実施形態の作用効果が確認できたことを示す図である。 本発明の実施形態の変形例（ａ）～（ｃ）を示す図である。

以下、本発明の基本的な構成と実施の形態を、添付図面を参照して詳細に説明する。本明細書及び図面において、実質的に同一の構成または機能を有する要素については、同一の符号を付し、重複する説明は省略する。

＜空中像生成装置の全体構成＞
図１は、本発明の実施形態の空中像生成装置１００の全体構成を示す図である。一般に、透明物体内の位置あるいは透明物体を経由した位置に空中像を生成する場合に、透明物体を透過する光線が屈折するため、空中像に歪みが発生する。
したがって、空中に生成される映像の形状及び色に歪みが発生しないようにすることが必要になる。

図１に示すように、本実施形態の空中像生成装置１００は、光源用歪み補正関数生成部１０１を備える。この光源用歪み補正関数生成部１０１は、後述するように、それぞれの光学系を経由する際の映像の歪みを計算し、空中像に歪みが生じないようにするための補正関数を導出する機能ブロックであり、空中像形成の際に実機外に事前に用意されるものである。

また、本実施形態の空中像生成装置１００は、歪み処理を行う画像処理部１０２、歪み補正画像記憶部１０３、歪み補正画像表示光源１０４及び空中像光学系１０５を備える。歪み補正画像記憶部１０３、歪み補正画像表示光源１０４及び空中像光学系１０５は、併せて空中像表示部を構成する。

画像処理部１０２には、空中像の基となる画像信号と光源用歪み補正関数生成部１０１で生成された歪み補正関数が供給され、供給された画像信号に歪み補正関数により後述する所定の光学系に応じた歪みが加えられる。画像処理部１０２で歪みが加えられた補正画像（歪み補正画像）は、歪み補正画像記憶部１０３に記録される。なお、空中像の基となる画像信号は、一般的な表示装置に入力することで歪みのない画像が表示される画像信号である。

そして、この歪み補正画像記憶部１０３に記憶された歪み補正画像が歪み補正画像表示光源１０４となって、空中像光学系１０５を経由して、所定の空間位置に実像としての空中像が表示される。空中像光学系１０５の詳細は後述するが、少なくとも再帰透過光学素子であるＭＭＡＰｓと透明物体（あるいは反射物体）を含む。

＜空中像生成方法の工程＞
図２は、本実施形態の空中像生成装置を用いて空中像の生成を行う空中像生成方法の工程図である。
図２に示すように、本実施形態の空中像生成方法では、図１に示す空中像光学系１０５及び、歪み補正画像表示光源１０４と空中像光学系１０５の配置を設計する工程Ａと、ＣＧを用いたシミュレーションにより理想カメラ映像をレンダリングする工程Ｂと、理想カメラ映像を用いて作成した算出用画像から歪み補正関数を生成する工程Ｃと、生成された歪み補正関数を用いて画像信号に歪みを与えて所定の空間位置に画像表示する工程Ｄから構成される。なお、工程ＡはＣＧ空間内の設計であり、工程Ｄは、工程Ａで設計された空中像光学系について、実空間で対応する実機を組んで、実機内で実施される工程である。

ここで、工程Ａ～ＣはＣＧ空間における処理となる。このＣＧ空間におけるカメラによる撮影をＣＧではレンダリングといい、このレンダリングをするための一つの方法がレイトレーシングである。
以下、工程Ａ～工程Ｄの順に本実施形態の空中像生成装置及び空中像生成方法において空中像を生成する手順について説明する。

＜空中像光学系１０５の設計＞
図１に示す空中像光学系１０５は、光源の光を再帰透過光学素子ＭＭＡＰｓのような特殊な光学素子により所定の空間に実像を生成するための光学系である。これにより、映像が中空に浮かび上がった映像表現を可能にすることができる。

本実施形態における空中像光学系１０５は、図３（ａ）、（ｂ）に示すように、傾けて設置された空中像４０を生成するためのＭＭＡＰｓ１０、及び空中像４０が生成される位置、あるいは空中像４０が生成される位置とＭＭＡＰｓ１０との間に配置される任意形状の透明物体３０からなる。

図３（ａ）は、空中像４０が透明物体３０内に生成される光学系の例を示し、図３（ｂ）は空中像４０が透明物体３０の外側に生成される光学系の例を示している。ここで、透明物体３０としては、表面が滑らかで、透明度の高い素材が利用される。透明物体３０とＭＭＡＰｓ１０の距離は、光源２０となるディスプレイとＭＭＡＰｓ１０との距離Ｌと同じになるように設計される。

また、図３（ａ）では、透明物体３０の内部に空中像４０を表示するため、空中像４０の大きさは、結像位置における透明物体３０の断面よりも小さくする必要がある。なお、図３には示されていないが、透明物体３０が光源２０とＭＭＡＰｓ１０との間に配置される場合も考えられる。

まず、この空中像光学系で用いられる再帰透過光学素子ＭＭＡＰｓ１０について、その構造と機能を説明する。
ＭＭＡＰｓ１０は、光源２０から入射した光を２回反射させて透過させ、面対称な位置に実像（空中像４０）を形成する光学素子である。具体的には、ＭＭＡＰｓ１０は、複数のマイクロミラーが面状に並べられた構成になっており、面に対して４５°で入射する光を９０°偏向させて、面対称な位置に実像を形成する。光源２０と空中像４０の結像位置を上記のように構成することで、ＭＭＡＰｓ１０による空中像の輝度が最も高くなる。

ＭＭＡＰｓ１０は、設置が簡単で、かつ光源２０と面対称な位置に空中像４０ができることから、デジタルサイネージ、アミューズメント施設、エンターテイメント全般に用いられている。ただし、ＭＭＡＰｓ１０では、２回の反射により、光の減衰が起き、また迷光等の発生もかなりあることから、全ての入射光が空中像４０として利用できるわけではない。入射光のうち、空中像４０として利用されるのは入射光の５０％以下になると言われている。

＜理想カメラ映像のレンダリング＞
図３（ａ）、（ｂ）に示すように、空中像４０の生成に際しては、ＭＭＡＰｓ１０と空中像生成位置との間、あるいは光源２０とＭＭＡＰｓ１０の間に介在する透明物体３０により、空中像４０に歪みが生じる。このため、本実施形態では、図２の工程Ｂに示すように、ＣＧによる理想カメラ映像のレンダリングを行う。
ここで、理想カメラ映像とは、理想像を含む、計算機内で定義された空間（以下、「ＣＧ空間」という）のうちＣＧカメラの画角内の部分をレンダリングした映像をいう。また、ＣＧカメラとは、レンダリングにおいて光線追跡を行うために、ＣＧ空間上で光線の原点と光線の出射範囲を定めたカメラである。

図４及び図５は、図２の工程Ｂに示す理想カメラ映像のレンダリングを説明するための図である。図４に示すように、まず、ＣＧ空間において、図３に示す空中像４０を表示する位置に理想像が配置される。この理想像は透明物体の内外に表示したい像であり、ここでは、全ての画素の色が異なる、色のグラデーションを持った像を理想像としてＣＧ空間内で生成している。

また、図４に示す理想カメラ映像は、理想像を含むＣＧ空間のレンダリングが終了した後の映像である。すなわち、理想カメラ映像の初期状態は、全画素に色が塗られていない状態である。いわば、ＣＧカメラ５０の画角内の全体が無色の状態といってよい。この状態から図５で後述する方法によって、理想像を含むＣＧ空間のうちＣＧカメラ５０の画角内の部分をレンダリングした映像が図４に示す理想カメラ映像となる。

したがって、理想カメラ映像には、図４に示す理想像以外にも、理想像の外側の外枠部分が含まれている。なお、これ以降、本明細書では、現実のカメラを用いて撮影もしくはＣＧ空間のうちＣＧカメラ５０の画角内の部分をレンダリングしたものを「映像」と呼び、光源として表示するものと、レンダリングとは異なる処理で生成されたものを「画像」と呼ぶこととする。

＜理想カメラ映像を生成するための手順＞
図５は、図４で説明した理想カメラ映像を生成するための手順を示すフローチャートである。まず、図４に示したように、ＣＧ空間内において空中像表示位置に理想像を配置する（ステップＳ１０）。このＣＧ空間内の理想像は、平面状に表示された画像光源である。
次に、ステップＳ１０で配置した理想像を含むＣＧ空間のうちＣＧカメラ５０の画角内の部分をレンダリングするための処理画素を選択する（ステップＳ１１）。

ここで、既に説明したように、理想像を含むＣＧ空間のうちＣＧカメラ５０の画角内の部分をレンダリングするのであるが、ＣＧカメラ５０の画角内には、理想像とそれ以外の外側の領域が含まれる。ステップＳ１１の処理画素の選択とは、ＣＧカメラ５０の画角内の画素を１画素ずつ選択することを意味している。当然、この選択には理想像以外の外側の領域にある画素も含まれる。

次に、ステップＳ１１で選択された画素（以下、「選択画素」という）に向けてＣＧカメラ５０から光線を発射する（ステップＳ１２）。このステップＳ１２の処理は、理想像を含むＣＧ空間に対してＣＧカメラ５０の画角内にあるすべての画素に対して行われる。

そして、ＣＧカメラ５０から発射された光線が理想像と交差したか否かが判断される（ステップＳ１３）。ステップＳ１３で、ＣＧカメラ５０から出射した光線が理想像と交差する場合（ステップＳ１３のＹＥＳ）には、光線が交差した位置の理想像の画素の値、つまり画素値が算出される（ステップＳ１４）。

また、ＣＧカメラ５０から発射された光線が理想像と交差しない場合（ステップＳ１３のＮＯ）、つまり交差する点がＣＧカメラ５０の画角内の理想像以外の外枠の部分である場合には、ＣＧカメラ５０からの光線の延長線上に理想像がないため、画素値は算出されない（ステップＳ１５）。
ステップＳ１４及びステップＳ１５の処理が終了すると、続いて、ＣＧカメラ５０の全画素の処理が終了したか否かが判断される（ステップＳ１６）。ステップＳ１６で、ＣＧカメラ５０の全画素の処理が終了しない場合（ステップＳ１６のＮＯ）には、全画素の処理が終了するまでステップＳ１１～Ｓ１６の処理を繰り返す。

ステップＳ１６で、ＣＧカメラ５０の全画素の処理が終了した場合（ステップＳ１６のＹＥＳ）、ステップＳ１４で算出された理想像の画素値を含むＣＧカメラ５０の全画素を理想カメラ映像として出力する（ステップＳ１７）。これにより、理想カメラ映像の生成処理が終了する。

＜歪み補正関数の生成方法＞
図６は、図２の工程Ｃの処理である歪み補正関数の生成処理を示すフローチャートである。まず、ＣＧ空間内で透明物体３０、ＭＭＡＰｓ１０、実機の光源設置位置を、図２の工程Ａに基づいて設定する（ステップＳ２０）。次に、ＣＧカメラ５０を空中像光学系のカメラ位置に配置し、理想カメラ映像の中の処理画素を選択する（ステップＳ２１）。そして、カメラ位置（視点位置に相当）から理想カメラ映像の中の選択画素の画素値を有する光線を発射する（ステップＳ２２）。

次に、ステップＳ２２でＣＧカメラ５０から発射された光線が透明物体３０と交差したときの次の光線経路を算出する（ステップＳ２３）。なお、ここでは透明物体３０としているが、透明物体３０の代わりに反射物体（反射面）に反射して光線経路が変更する場合もある。

そして、透明物体３０を透過した光線がＭＭＡＰｓ１０に交差すると、次の光線経路が算出される（ステップＳ２４）。なお、透明物体３０がＭＭＡＰｓ１０と光源位置の間にある場合もあるので、その場合には、ステップＳ２３とステップＳ２４の処理が入れ替わることになる。

次に、理想カメラ映像中の処理画素の画素値を有する光線が実機の光源設置位置に交差したら、その時の画素値を交差した位置に紐づけて不図示の記憶部に記録する（ステップＳ２５）。そして、理想カメラ映像の中の全ての処理画素について、ステップＳ２１～ステップＳ２５までの処理が終了したか否かが判断される（ステップＳ２６）。

ステップＳ２６において、理想カメラ映像の中の全処理画素についての画素値が記録されていない場合（ステップＳ２６のＮＯ）には、理想カメラ映像の全処理画素の画素値が記録されるまでステップＳ２１～Ｓ２５の処理を繰り返す。

そして、ステップＳ２６で、理想カメラ映像の中の全処理画素の画素値が記録された場合（ステップＳ２６のＹＥＳ）、保存された画素値を有する算出用画像が出力される（ステップＳ２７）。最後に、ステップＳ２７で生成された算出用画像から、歪み補正関数を生成する（ステップＳ２８）。
なお、ステップＳ２８で生成される歪み補正関数は、理想カメラ映像に映る理想像の中の各画素がステップＳ２７で算出された算出用画像のどの位置に移動したかを示す関数であり、算出用画像から求めた、入力された画像信号を歪ませる関数を表している。以上説明したステップＳ２０～Ｓ２８の処理で歪み補正関数の生成処理が終了する。

以上説明したように、図２の工程Ｃ及び図６では、算出用画像からどのように画像信号を歪ませるか決める歪み補正関数が求められる。すなわち、歪み補正関数は、どのように入力される画像信号を歪ませるかを決める関数であり、この歪み補正関数を画像信号に対して適用すると、空中像４０を表示するための歪み補正画像表示光源１０４（図１参照）が得られる。
したがって，歪み補正関数は、入力された画像信号の画素値を、歪み補正画像表示光源１０４に変換するために、移動すべき位置の対応関係を示す関数であるということができる。

なお、上述のとおり、歪み補正関数は、理想カメラ映像の各画素と算出用画像の各画素との対応関係から求められるが、当該対応関係として各画素の位置関係だけではなく、対応する各画素の画素値の変化量も記録することで、透明物体または反射物体による画像の色の変化を歪み補正関数により補正することができる。よって、本明細書において、「歪み」とは、形状の変化（変形）のみではなく色の変化をも含み、本発明の歪み補正関数を利用することで、空中像の変形の補正のみならず、空中像の色補正も行うことができる。

次に、図７を参照して、図６のフローチャートで説明した理想カメラ映像から算出用画像を生成する手順を、光学系に沿っての光路変化から説明する。
図７に示すように、まず光源位置Ｐ_４と視点位置Ｐ_０との間に、ＭＭＡＰｓ１０と透明物体３０が介在した光学系を考え、視点位置Ｐ_０にＣＧカメラ５０を配置する。したがって、視点位置Ｐ_０がＣＧカメラ位置Ｐ_０となる。

このＣＧカメラ５０から理想カメラ映像の特定点の画素値ｃを有する光線がＣＧカメラ位置Ｐ_０から出射方向ｖ_０に向けて出射する。この光線が透明物体３０の原点Ｐ_１に入射して屈折し、光路変更され、出射方向ｖ_１に向けて出射する光線となる。また、この光線は透明物体３０の点Ｐ_２から出射する際に光路が変更され、出射方向ｖ_２に向けて出射する光線となってＭＭＡＰｓ１０の点Ｐ_３に入射する。

そして、ＭＭＡＰｓ１０の点Ｐ_３で、光路が変更された出射方向ｖ_３に向けて出射し、光源位置Ｐ_４に達したときに光線の画素値を記録する。この光源位置Ｐ_４に達した位置で記録された画素値の集合が算出用画像となる。なお、光源位置Ｐ_４に達した光線の画素値は、ＣＧカメラ５０から出射された理想カメラ映像の特定点の画素値ｃに対応するものである。
以上の工程を理想カメラ映像の全画素に対して繰り返すことで、途中経路に配置された透明物体３０、ＭＭＡＰｓ１０等の光学系に応じた歪みのある算出用画像が光源位置Ｐ_４に形成される。

なお、図７で得られる算出用画像から歪み補正関数が生成され、この歪み補正関数が透明物体３０内または透明物体３０を通した空間に、歪みのない理想的な画像を表示するための光源画像の生成に利用される。そして、この生成された歪みを持つ光源画像を光源位置Ｐ_４に置くことにより、図３（ａ）、（ｂ）の空中像４０の位置に歪みのない空中像が生成されることになる。

図８は、工程Ｄを説明する図であり、実空間において、図６のフローチャートで示した手順、及び図７の模式図で説明した方法で生成した歪みを持つ光源画像を実際の光源位置に配置して、球状の透明物体３０の内部に歪みのない空中像４０を表示する具体例を示した図である。
図８に示すように、歪みを含む光源画像として金魚の画像を用意した。この光源画像は、図１に示す歪み補正画像表示光源１０４に相当するものである。

金魚の画像を有する歪み補正画像表示光源１０４は、その中心との距離がＬだけ離れたＭＭＡＰｓ１０で９０°曲げられ、ＭＭＡＰｓ１０から同じく距離Ｌだけ離れた透明物体３０の中心位置に結像する。なお。図８に示す透明物体３０内の金魚像は、実際の金魚像に近い像になっているが、これは本実施形態の図６で得た歪み補正関数を用いて、光源とする画像に歪みを持たせたことによる。この歪み補正関数による光源画像に対する歪み補正がない場合には、実際の金魚画像とは異なるものとなることが検証されている。

＜ＭＭＡＰｓＢＲＤＦによるノイズの低減＞
次に、光源画像生成の効率を向上させ、生成される光源画像のノイズを低減するため、ＭＭＡＰｓの機能のうち、空中像を結像するために必要な機能のみを有するＭＭＡＰｓＢＲＤＦ(双方向反射分布関数、Bidirectional Reflection Distribution Function)について説明する。

図９（ａ）に示すように、ＭＭＡＰｓ１０は、２層のミラーアレイとそれを覆うガラスによって構成されており、入射光を各層で１回ずつ反射し、光源からの光をＭＭＡＰｓ１０に対して面対称の位置に空中像として結像する。しかし、光の入射角度によっては、一方の層でしか反射されずに、観察者にとって邪魔な像を生成する迷光を生じたり、１度も反射せずに透過したりする光も存在する。

また、２層のミラーアレイ以外に、ガラスによる反射も生じるため、すべての光が空中像として結像するわけではない。実際、光源の光が空中像として結像するときには、輝度が半分以下に減衰してしまう。そのため、ＭＭＡＰｓ１０をそのまま算出用画像の生成に利用すると、光路の追跡において、５０％以上の確率で迷光や透過光、反射光を生成する光路を追跡してしまい、算出用画像生成の効率が悪くなる。

そこで、本実施形態の空中像生成装置では、図９（ｂ）に示すように、入射した光を面対称な方向に出射する機能のみを有するＢＲＤＦ（以下、「ＭＭＡＰｓＢＲＤＦ」という）をＣＧ空間上で用いることにした。ＭＭＡＰｓＢＲＤＦは、ＣＧ空間上でシミュレーションするために、光線の再帰透過を数学的に記述した関数であり、ＣＧ空間上の計算処理により実現されるもので、物理的に実在しているものではない。なお、ＢＲＤＦ自体は、ＣＧの一般的な用語として用いられるものであるが、ＭＭＡＰｓＢＲＤＦという言葉は、発明者らが名付けた名称である。

ＭＭＡＰｓＢＲＤＦは、いわば、入射した光が面対称な方向に出射するという性質のみを表す関数である。つまり、ＭＭＡＰｓ１０のように大量のミラーアレイを用いなくても、ＭＭＡＰｓＢＲＤＦが適用される１枚の平面が存在すれば、その平面はＭＭＡＰｓ１０と同じように面対称な方向に光を発して空中像４０を結像することができる。

以下、ＭＭＡＰｓＢＲＤＦの原理とその効果について説明する。
ＭＭＡＰｓＢＲＤＦは、図９（ｂ）に示すように、方向ｉで入射した光を面対称な方向ｏに出射する機能のみを有する。したがって、ＭＭＡＰｓＢＲＤＦを用いる場合には、入射ベクトルｉと表面の法線ｎから出射ベクトルｏを求める必要がある。

ここで、図９（ｂ）に示すベクトルｈを、入射ベクトルｉの原点から表面に対して垂線を下したときのベクトルと定義すると、簡単なベクトル計算で数１式が成立する。ここで、ベクトルｈはベクトルｉと単位ベクトルｎの内積に単位ベクトルｎをかけたものとなり、数２式で表すことができる。したがって、求める出射ベクトルｏは、数２式を数１式に代入して数３式のようになる。

（数１）
ｏ＝－ｉ＋２ｈ
（数２）
ｈ＝（ｉ・ｎ）ｎ
（数３）
ｏ＝－ｉ＋２（ｉ・ｎ）ｎ

図１０は、従来型のＭＭＡＰｓ１０を用いて生成した算出用画像（ａ）と、ＭＭＡＰｓＢＲＤＦを平面物体に適用して生成した算出用画像（ｂ）の違いを示す。なお、光源画像の生成には、Ｃ＋＋言語により発明者らが作成したＣＰＵ計算のレンダリングプログラムを用いた。

図１０（ａ）、（ｂ）から分かるように、ＭＭＡＰｓＢＲＤＦを用いて生成された算出用画像（ｂ）は、ＭＭＡＰｓ１０によって生成された算出用画像（ａ）に比べて明らかにノイズが少なくなっていることが分かる。

また、ＭＭＡＰｓＢＲＤＦを用いて算出用画像（ｂ）を生成する計算時間は、ＭＭＡＰｓ１０によって算出用画像（ａ）を生成する時間に比べて大幅に減少されることが分かった。すなわち、各画素におけるサンプリング数を１００、理想画像の解像度を５１２×５１２画素として計算したところ、ＭＭＡＰｓ１０を用いた場合には２５５２．８秒であったのに対し、ＭＭＡＰｓＢＲＤＦを用いた場合には５．１秒になった。

これは、ＭＭＡＰｓ１０が各層に１３８０枚の鏡を有するミラーアレイを２層持つ構造であるため、ＣＧ空間の物体数が大量になるのに対し、ＭＭＡＰｓＢＲＤＦは１枚の平面で空中像を結像できるためであると考えられる。

＜実装試験＞
本実施形態の空中像生成装置１００の作用効果を確認するため、以下（１）～（４）のような実験を行った。
（１）映像表示位置に直接空中像を表示し、空中像とＭＭＡＰｓＢＲＤＦとの間に透明物体を配置しない場合（以下、「所望の映像」という）
（２）空中像の光源の画像を上記「所望の映像」に用いた画像と同じものに設定し、透明物体内に映像を表示した場合（以下、「補償なしの映像」という）
（３）非特許文献１に記載されるInFloasionの光学系を用いて透明物体内に映像を表示した場合（以下、「補償ありの映像（InFloasion）」という）
（４）光源の画像を、歪を補正する光源画像を生成した光源の画像に設定し、透明物体内に映像を表示した場合（以下、「補償ありの映像（本実施形態）」という）

図１１は、所望の映像と透明物体内に表示された映像を撮影し、映像の結像位置を計測した結果を示す図である。
表示する映像としての「所望の映像」、「補償なしの映像」、「補償ありの映像（InFloasion）」では、図１１（ａ）に示す光源画像を用い、「補償ありの映像（本実施形態）」では、図１１（ｂ）で示す光源画像を用いた。

ここで、図１１（ａ）に示す光源画像では、表示対象の格子点の一片を３０ｍｍとしたが、図１１（ｂ）の「補償ありの映像（本実施形態）」用の光源画像では、図６のフローチャートのステップＳ２７に示す算出用画像の生成において、光線より伝播されてくる画素値を確実に記録できるように、光源画像の表示面をより大きな５０ｍｍの正方形とした。

図１１（ｃ）は「所望の映像」、図１１（ｄ）は「補償なしの映像」、図１１（ｅ）は「補償ありの映像（InFloasion）」、図１１（ｆ）は「補償ありの映像（本実施形態）」を示す。したがって、図１１（ｃ）～（ｅ）は、光源における画像提示部分が３０ｍｍ四方であるのに対し、図１１（ｆ）は、５０ｍｍ四方になっている。

図１１（ａ）～（ｆ）に示すように、透明物体内に表示された映像は傾いているが、実験は水平な光学定盤上で行っており、光源、ＭＭＡＰｓ、透明物体は傾いていないため、この映像の傾きはＭＭＡＰｓの厚みやたわみによって生じた傾きではないかと考えられる。

上述の（１）～（４）のそれぞれの条件で撮影された画像において表示された映像の位置を比較した。なお、この比較では、結像された映像内における格子点の位置の違いを調べた。すなわち、右向きを正の向きとするｘ方向、下向き（鉛直方向）を正の向きとするｙ方向として、結像した映像の４９の格子点の位置を記録した。この時、撮影された画像は、縦４０００画素、横６０００画素のデジタル画像であり、図１１（ｃ）に示すように、所望の映像における格子点のｘ方向の幅は１１６５画素である。

４９の格子点の位置を記録した後に、次の３通りの組み合わせについて、各画像の対応する格子点の座標の差分を求めた。
ケースＡ：（１）の所望の映像と（２）の補償なしの映像
ケースＢ：（１）の所望の映像と（３）の補償ありの映像（InFloasion）
ケースＣ：（１）の所望の映像と（４）の補償ありの映像（本実施形態）

図１２は、この結果を示している。図１２から分かるように、ケースＡでは平均で２７６．１画素、ケースＢでは平均で１５５．４画素、ケースＣでは平均で６２．８画素の所望の映像からの画素数の差が認められた。これにより、本実施形態の手法であるケースＣでは、ケースＡ、ケースＢで示した他の方法と比べて、透明物体内の映像歪みの補償を著しく向上させることが確認できたということができる。しかし、（１）の所望の映像の格子点のｘ方向の幅が１１５６画素であることを考えると、１格子の幅は１９１画素程度になるので、本実施形態においても１格子の３分の１程度は、所望の映像からずれていると言わざるをえない。

＜変形例＞
以上、視点とＭＭＡＰｓ１０との間に透明物体３０を配した例を挙げて、本実施形態の空中像生成装置と空中像生成方法について説明したが、本発明はこの実施形態に限定されない。図１３は、光学系の配置関係が図３に示した光学系と異なる例を示す。
図１３（ａ）は、光源ＬＳから出射した光が反射物体Ｒで反射してからＭＭＡＰｓに入射する光学系、図１３（ｂ）は、光源ＬＳから出射した光が透明物体Ｔを通過した後に、ＭＭＡＰｓに入射する光学系を示す。また、図１３（ｃ）は、光源ＬＳからの光がＭＭＡＰｓに入射しＭＭＡＰｓを出射した後に、反射物体Ｒで反射する光学系を示している。

これらの図１３（ａ）～（ｃ）に示す光学系は、あくまでも考えられる一例を示しただけであり、本実施の形態例はこれらの光学系に限定されるものではなく、特許請求の範囲の記載を逸脱しない限りにおいて、様々な応用例、変形例を含むことは勿論である。光路中において透明物体及び反射物体の双方が含まれる光学系も想定され、また、光路中に複数の透明物体及び複数の反射物体が含まれる光学系も想定される。

１００…空中像生成装置、１０１…光源用歪み補正関数生成部、１０２…画像処理部（歪み処理部）、１０３…歪み補正画像記憶部、１０４…歪み補正画像表示光源、１０５…空中像光学系、１０…再帰透過光学素子（ＭＭＡＰｓ）、２０、ＬＳ…光源、３０、Ｔ…透明物体、４０、ＭＩ…空中像、５０…ＣＧカメラ、Ｒ…反射物体

Claims (6)

1. 入力される画像信号に歪みを与える歪み補正画像を生成する画像処理部と、
   前記画像処理部で生成される前記歪み補正画像を記憶する歪み補正画像記憶部と、
   前記歪み補正画像記憶部に記憶された前記歪み補正画像を光源とする歪み補正画像表示光源と、
   前記歪み補正画像表示光源から発射される光を受けて、所定の空間位置に実像としての空中像を生成する空中像光学系と、を備え、
   前記空中像光学系は、前記歪み補正画像表示光源と前記空中像との間の光路中に、再帰透過光学素子と、光を透過する透明物体及び光を反射する反射物体の少なくとも一方を少なくとも１つ有し、
   前記画像処理部は、前記空中像光学系によって与えられる空中像の歪みが補正されるように、前記歪み補正画像を生成する
   空中像生成装置。
2. 前記空中像光学系に対応するＣＧ空間内において、
   空中像表示位置に配置された理想像を、視点に対応するＣＧカメラの画角内でレンダリングすることで得られる理想カメラ映像と、
   前記ＣＧカメラの画角内の各画素を選択し、前記ＣＧカメラから前記画素の位置に対応する前記理想カメラ映像の画素値を有する光線を前記画素の方向に発射した後、前記空中像光学系に設置された前記透明物体及び／または前記反射物体、並びに前記再帰透過光学素子を経由した光線が有する画素値を実機の光源設置位置で記録することで得られる算出用画像と、に基づいて歪み補正関数を生成する光源用歪み補正関数生成部を、更に備え、
   前記画像処理部は、前記光源用歪み補正関数生成部で生成された前記歪み補正関数により、前記入力される画像信号に歪みを与えた前記歪み補正画像を生成する
   請求項１に記載の空中像生成装置。
3. 前記空中像が表示される空間位置は、前記透明物体の内部または外部の位置である、
   請求項１または２のいずれか一項に記載の空中像生成装置。
4. 前記歪み補正関数の生成に際して用いられる前記再帰透過光学素子は、ＣＧ空間上でシミュレーションするために、光線の再帰透過を数学的に記述したＭＭＡＰｓＢＲＤＦを有する一枚の平面物体である、
   請求項１～３のいずれか一項に記載の空中像生成装置。
5. ＣＧ空間内において、
   透明物体または反射物体、及び再帰透過光学素子の配置関係を含む空中像光学系を設計するステップと、
   空中像表示位置に配置された理想像を、視点に対応するＣＧカメラの画角内でレンダリングすることで理想カメラ映像を出力するステップと、
   前記ＣＧカメラから前記理想カメラ映像の各画素の画素値を有する光線を発射し、前記空中像光学系を介して実機の光源設置位置に光線が達したときに前記理想カメラ映像の全画素の画素値を記録することにより生成された算出用画像から歪み補正関数を生成するステップと、を含む
   歪み補正関数生成方法。
6. ＣＧ空間内において、
   透明物体または反射物体、及び再帰透過光学素子の配置関係を含む空中像光学系を設計するステップと、
   空中像表示位置に配置された理想像を、視点に対応するＣＧカメラの画角内でレンダリングすることで理想カメラ映像を出力するステップと、
   前記ＣＧカメラから前記理想カメラ映像の各画素の画素値を有する光線を発射し、前記空中像光学系を介して実機の光源設置位置に光線が達したときに前記理想カメラ映像の全画素の画素値を記録することにより生成された算出用画像から歪み補正関数を生成するステップと、
   実機において、
   前記歪み補正関数を用いて、入力される画像信号に歪みを与えた歪み補正画像を生成し、前記歪み補正画像に基づいて歪み補正画像表示光源を生成するステップと、
   前記設計するステップで設計された空中像光学系と前記歪み補正画像表示光源とを実空間に配置し、前記歪み補正画像表示光源から発射される光を受けて、所定の空間位置に実像としての空中像を生成するステップと、を含む
   空中像生成方法。

Images