JP2016164701A - 情報処理装置及び情報処理装置の制御方法 - Google Patents

Abstract

【課題】ユーザが立体像に対して操作を行うことにより直感的に操作することができる情報処理装置を提供すること。【解決手段】本発明の情報処理装置１は、立体像を実像として空間に再生する立体像再生手段１０と、立体像が表示される空間を撮像し操作画像を生成する撮像手段２０と、操作画像を解析して立体像に物体が接触したことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する処理手段３０とを備えている。このような構成により、ユーザは、立体像をインタフェースとして用い、情報処理装置を直感的に操作することができる。【選択図】図１

Description

本発明は、３Ｄインタフェースを実現するための情報処理装置に関する。

体のジェスチャを認識するKinect（「KINECT」は登録商標）や、細かな手や指の動きを認識するLeap Motion（「LEAP MOTION」は登録商標）といった、デバイスに触れる必要がない非接触型のインタフェースが利用されつつある。これらのデバイスは３次元空間を利用したジェスチャ操作によってインタフェースを実現する。これらを立体像のディスプレイと組み合わせた技術もあるが、多くは表示像とジェスチャ等を行う位置は離れた位置にあり、表示像に対する直接的な操作ではない。

非特許文献１−３には、ジェスチャ認識と３Ｄディスプレイや空中ディスプレイを組み合わせることで空中に浮いた立体像に触って操作をするシステムを実現できることが記載されている。

非特許文献４には、イメージセンサをディスプレイに内蔵し、赤外線照明を用いて指などからの反射光を検出して非接触タッチパネルを実現する方法が記載されている。

特許文献１には、近接センサを内蔵したディスプレイによる３Ｄインタフェース方式が記載されている。

特開２０１１−１３７７８号公報

情報通信研究機構、"プレスリリース「空中映像を操作できるフローティングタッチディスプレイを開発」"、[online]、２００９年４月１５日、インターネット<URL http://www.nict.go.jp/press/2009/04/15-3.html> O. Hilliges, D. Kim, S. Izadi, M. Weiss, and A. D. Wilson "HoloDesk： direct 3d interactions with a situated see-through display,"、２０１２年、 Proc. CHI, 2421-2430 (2012). A. Butler, O. Hilliges, S. Izadi, S. Hodges, D. Molyneaux, D. Kim, and D. Kong, "Vermeer: direct interaction with a 360° viewable 3D display"、２０１１年、 Proc. UIST, 569-579 (2011). G. Z. Wang, Y. P. Huang, and T. S. Chang, "Bare finger 3D air-touch system with embedded multiwavelength optical sensor arrays for mobile 3D displays,"、２０１３年、Journal of the SID, 21, 9, 381-388 (2013)

非特許文献１−３に記載された技術では、立体像とジェスチャ認識の３次元空間の位置合わせを行う必要がある。これらにズレがあるとユーザが思った通りに反応しないストレスのかかるユーザインタフェースとなる。また正確なジェスチャ認識のために手や指のモデルを用いた処理を行うため、モデルに適合しない場合に認識が困難である。例えば指と指示棒やペン先などを併用して操作を行うことは難しい。

非特許文献４に記載された技術では、イメージセンサにレンズなどの結像素子を用いることができないため、液晶ディスプレイから離れた位置の像はぼけてしまう。このため、ディスプレイの近傍での操作に限定される。３次元的な操作の検出を行うためには照明光の走査機構を用いることが提案されているが、高速な走査が必要となる。

特許文献１に記載の技術では、検出範囲はディスプレイのごく近傍での操作に限定される。

そこで、本発明はユーザが立体像に対して操作を行うことにより直感的に操作することができる情報処理装置を提供することを目的とする。

本発明の情報処理装置は、立体像を実像として空間に再生する立体像再生手段と、立体像が表示される空間を撮像し操作画像を生成する撮像手段と、操作画像を解析して立体像に物体が接触したことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する処理手段とを備えている。

本発明の情報処理装置の制御方法は、像を再生することにより立体像を空間に再生し、立体像が表示される空間を撮像して操作画像を生成し、操作画像を解析して立体像に物体が接触したことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する。

本発明によれば、ユーザは、立体像に対して操作を行うことにより直感的に情報処理装置を操作することができる。

情報処理装置の機能ブロック図である。 散乱光の色に応じた処理を行う方法を説明する図である。 散乱光の色の算出処理を説明するフローチャートである。 指の動きの検出方法を説明する図である。 オプティカルフローによる指の動きの検出方法を説明する図である。 指の奥行き方向の位置の算出方法を説明する図である。 指の動きに応じた再生画像の変更を説明する図である。 色フィルタを備えた情報処理装置の概略構造図である。 第１の実施例の情報処理装置の構造を説明する図である。 ホログラフィックスクリーンの構造を説明する図である。 要素ホログラムの構造を説明する図である。 ホログラフィックスクリーンを製造する装置の構成例を示す図である。 要素ホログラムにピクセル光を投影したときの動作を説明する図である。 第１の実施例の情報処理装置の構造を説明する図である。 再生された立体像の例を示す図である。 指先で立体像に触れた状態を示す図である。 抽出された散乱光の例を示す図である。 散乱光を検出した場合の処理の例を示す図である。 色の異なる複数の領域を含む立体像の例を示す図である。 図２０（Ａ）、（Ｂ）は、ユーザが触れた立体像の領域に応じた処理の例を示す図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。本明細書で立体像と物体が「触れる」、あるいは「接触する」という場合は、立体像が再生されている空間の一部と物体の占める空間の一部が重なることを意味する。

図１は、本発明の一実施形態である情報処理装置１の機能ブロック図である。情報処理装置１は、立体像再生手段１０と撮像手段２０と制御手段３０とを備えている。

立体像再生手段１０は、再生する物の光線情報または波面情報を再現することでスクリーンの手前に実像として立体像を再生する方式（像再生型）のディスプレイ装置である。立体像再生手段１０は、後述するスクリーンの前面に、情報処理装置１の操作インタフェースとなるボタン等の立体像を再生する。このような方式で再生された立体像に物体が触れると、立体像を再生している光は立体像の位置に集中しているので、物体により散乱され散乱光が生じる。

本発明では、立体像の位置に集まった光を利用するので、水平・垂直両方向（全方向）視差を持つ立体像表示方式が望ましい。インテグラルイメージング、ホログラフィー、ホログラフィックスクリーンを用いた方式などが有効である。水平方向視差のみを持つ３Ｄディスプレイでも、水平方向に関しては光が収束するので実現は不可能ではないが、垂直方向に光が拡散されて像の位置に収束する光が少ないため検出が難しくなること、垂直方向の視点位置が変化した場合に像の位置がずれることなどの問題が生じる。

撮像手段２０は、たとえば、デジタルスチルカメラで構成され、立体像が表示される空間を撮像して操作画像を生成する。立体像再生手段１０が、半透明なスクリーンにより立体像を表示する方式である場合、撮像手段２０はユーザから見てスクリーン背後（立体像が再生されるのと反対の側）に設置することもできる。例えば、ホログラフィック光学素子を用いたスクリーンを用い、プロジェクターなどによって投影した画像によって立体像を表示する方式の場合、ホログラフィック光学素子の回折特性の角度選択性によって、ホログラフィックスクリーンによる回折光によって立体像を表示すると同時に、指で散乱された光のうち回折されない光を撮像手段２０で検出することが可能である。

撮像手段２０としては、デジタルカメラ等の立体像再生手段１０とは別体の装置の代わりに、立体像再生手段１０のスクリーンに内蔵されたイメージセンサを用いてもよい。制御手段３０は、後述のように再生像の色情報を用いて物体の位置や動きを判定するので、レンズの無いイメージング系でも比較的高い分解能で物体の位置を検出できる。

制御手段３０は、たとえば、マイクロコンピュータにより構成され、撮像手段２０によって生成された操作画像を解析し、立体像に物体が触れたことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する。ここで、検出結果は、散乱光の有無のほか、散乱光がある場合に操作画像を解析して得られる散乱光の色の変化、散乱光の動き等を含む。

情報処理装置１は、上記の各手段の他、用途に応じて図示しない種々の構成要素を備え、制御手段３０それらの構成要素も制御する。ユーザは、立体像再生手段１０によって再生された立体像をインタフェースとして情報処理装置１を操作する。

次に、制御手段３０の機能の詳細について説明する。まず、制御手段３０が散乱光の色に基づいて物体が立体像の複数の領域のいずれに触れたかを判定し、物体が触れた領域にあらかじめ対応づけられた処理を行う機能について説明する。

図２は、制御手段３０が、散乱光の色に応じた処理をする方法を説明する図である。この例では、立体像再生手段１０は、プロジェクター１１と、プロジェクター１１が光を投影するスクリーン１２により構成されている。立体像２は、スクリーン１２の前面（ユーザが操作を行う側）に再生される。

立体像２は、複数のボタンを立体的に表示するもので、異なる色彩で表示された複数の領域２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆを含んでいる。各領域がそれぞれひとつのボタンに対応している。図２ではグレースケールで表現しているが実際には領域２ａ〜２ｆはそれぞれ、水色、緑、白、黄色、赤、肌色で再生されている。

ユーザは、指３または指示棒等の他の物体で領域２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆのいずれかに触れて情報処理装置１を操作する。指３が立体像２に接触すると立体像２を再生している光は散乱し散乱光が生じるが、領域２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆは異なる色で表示されているから、散乱光の色を判定することで、どの領域に指３が接触したか判定することができる。たとえば、散乱光の色が水色である場合には、指３が領域２ａに接触した（ユーザの意図としては水色のボタンを押した）と判定することができる。

撮像手段２０は、デジタルカメラで構成され、スクリーン１２の背面（立体像２が再生される側の反対側）に配置されている。この例では、スクリーン１２は可視光に対して半透明となるように構成されているため、撮像手段２０をスクリーン１２の背面に配置しても立体像２と指３の位置を撮像し、散乱光を捕らえることができる。

制御手段３０は、撮像手段２０が取得した操作画像を解析し散乱光を抽出する。これは、たとえば、立体像２と指３が接触している部分の形状として想定される楕円形を画像から抽出することにより行う。次に、制御手段３０は、散乱光の色を判定し、その色のボタンにあらかじめ対応づけられている処理を実行する。

散乱光が検出された際に、操作画像中での散乱光の位置情報からユーザ操作の種類を識別することもできる。位置検出精度がそれほど高くなくても、色情報と組み合わせることで異なる位置に同じ色で配置されたボタンなどを見分けることが可能である。

このような方法では、指３の色が操作画像に含まれる散乱光の色に影響を与える。図３は、指３の色を考慮して散乱光の色を判定する方法を説明するフローチャートである。制御手段３０は、操作画像から散乱光を検出し立体像に対する操作が行われたことを検出したら、このときの操作画像を画像Ａとしてメモリに保存する（ステップＳ１）。

制御手段３０は、指３が検出された位置の近傍に白色または灰色の無彩色のパターンを投影し、この状態での画像（画像Ｂとする）を撮像手段２０により取得する（ステップＳ２）。

制御手段３０は、画像Ａまたは画像Ａから求めた画素値あるいは画像Ａから散乱光の画像として抽出した楕円領域での画素値の平均値に対して画像Ｂを用いてホワイトバランス処理等の補正処理を適用して補正画像を生成する（ステップＳ３）。

制御手段３０は、ステップＳ３で生成したホワイトバランス処理済みの補正画像に基づいて、散乱光の色を算出する（ステップＳ４）。このようにすれば、指３の色に影響されずに指３による散乱光の色を正確に算出できる。

背景が明るい場合には指３による散乱光の検出が困難になる場合がある。このような場合には、操作がなされていない状態での画像を撮像手段２０または他の装置であらかじめ取得しておき、この画像とユーザによる操作が行われたときに撮像手段２０が取得した操作画像との差分により指３の検出を行うとよい。また、操作がされていない状態の画像をあらかじめ取得しておく代わりに、散乱光が検出されたときに、指３の近傍に再生される光を短時間オフにしてこの時の画像を取得し、この画像と操作画像との差分を算出することで更に精度を向上できる。

次に、処理手段３０が指３の動く方向を判定し、その方向に応じた処理を行う機能について説明する。

図４は、立体像に触れる指の動きの判定方法を説明する図である。ここでは、スクリーン１２と平行な方向に対する指先の動きを検出する。たとえば、図４に示すような正方形の領域がタイル状に並んだパターンを立体像２として投影する。図４の「Ｒ」、「Ｇ」、「Ｂ」、「Ｃ」、「Ｙ」、「Ｍ」は、その領域の色がそれぞれ赤、緑、青、シアン、黄色、マゼンタであることを示すために付したもので実際に再生される立体像２には含まれていない。領域の行方向（横方向）に着目すると、色は次のようなパターンで並んでいる。上から１行目と３行目は、左から右に向かってＲ→Ｇ→Ｂのパターンが繰り返されている。そして、３行目は１行目に対して１マス右にずれたパターンとなっている。２行目と４行目も同様のパターンとなっているが色の組み合わせは、Ｃ、Ｙ、Ｍとなっている。

ユーザが指３を立体像２に触れながら左から右へ動かした場合、指３からの散乱光の色はＲＧＢＲＧＢ・・・またはＹＭＣＹＭＣ・・・と変化し、逆向きの場合はＢＧＲＢＧＲ・・・またはＣＭＹＣＭＹ・・・と変化する。したがって、制御手段３０は散乱光の色の変化パターンに基づいて指３の動いた方向を判定することができる。上述のように２種類の色の組み合わせを用い、横方向に１マスずつずらして配列することによって、横方向以外の方向にも、３色以上の色が規則的に並ぶようになる。そのため、指３が上下方向や斜め方向に動いた場合にも、制御手段３０は方向を判定することができる。制御手段３０は、たとえば、指３が右から左に動いた場合は音声のボリュームを上げる等の、指の動く方向に応じた処理を行う。

指先の動きを検出する別の方法として、図５に示すように、撮像手段２０で撮影された操作画像２１からオプティカルフローを計算することも可能である。ユーザが指３をプロジェクター１１により再生された立体像に触れながら図５の矢印Ｃのように動かしたとする。このとき撮像手段２０によって生成される複数の操作画像２１の中で、散乱光の画像２１ａは全体として矢印Ａのように動く。矢印Ｂは、散乱光の画像２１ａを構成する各ピクセルのフローベクトルである。矢印Ｂのフローベクトルの平均ベクトルを計算することなどによって、矢印Ａで表される指３の動きを求めることができる。指３が動いている間散乱光が発生し続けるように、指３より大きな立体像を再生すれば、散乱光の画像２１ａのオプティカルフローを取得し、指３などの物体の動きを求めることができる。

次に、処理手段３０が指３の奥行き（スクリーン１２に直角な方向の位置）を判定し、その判定結果に応じた処理を行う機能について説明する。

指３の奥行きを推定する方法の一例を図６に示す。指３による散乱光が検出されたら、指３の近傍に集まり色が異なる複数の光線を再生する。図６では、スクリーン１２の位置では上から順に色がＭＢＣＧＹＲである６本の光線を再生している。このようにすれば、指３の位置と集光位置４が一致したとき散乱光の色は白色、指３が集光位置４よりもスクリーン１２に近いとき上からＭＢＣＧＹＲ、遠いときＲＹＧＣＢＭの順で色が並ぶ。集光位置４を奥行き方向に変化させて数枚の操作画像を撮像手段２０で取得することで、指３の奥行き位置を簡易な処理で推定できる。図６の６本の光線の色が同じ場合には、撮像手段２０で取得する画像が１枚では指３の奥行き位置を得ることはできないが、集光位置を奥行き方向に変化させて数枚の画像を取得すれば、散乱光の強度が最大になる位置を求めることによって、指３の奥行き位置を推定することもできる。

ユーザによる操作に応じた立体像を再生し、時系列でカメラから画像を取得することで、より分かりやすいインタフェースを提供できる。例えば、図７（Ａ）は、プロジェクター１１でスクリーン１２の手前にボタンの立体像５を再生し、指３でそのボタンに触れた状態を示している。制御手段３０は、撮像手段２０により取得した画像に散乱光があること、すなわちユーザがボタンに触れたことを検出すると、図７（Ｂ）に示すように、それに応じて凹んだボタンの立体像６を表示する。

ボタンを押し込んでいれば凹んだボタンの位置で引き続き散乱光が発生するが、ボタンを押し込んでいなければ散乱光が発生しないため、押したか単に触れたかの操作の判定を行うことができる。制御手段３０は、この判定結果に応じて、たとえば、ボタンを押し込んでいなければ立体像５を再生し、押し込んでいれば立体像６を表示するといった処理を行うことができる。

指３などによる操作を検出した後に、構造化光投影を用いて手指形状を取得することで操作の種類を識別することもできる。検出された複数の指の近傍のみで構造化光投影法を用いて手形状を求めることによって、立体像２と指３の接触状態、すなわち指３がどのように立体像２へ接触しているかが分かり、指３の動きを正確に検出し、指３の動きの追尾や立体像２を掴む動作などの検出に利用し、操作性を向上する。

上述の手法を複数指に対応させたユーザインタフェース機能を提供することもできる。複数の散乱光を同時に検出し、それぞれの位置と色の情報から空中に再生された立体像２に対するマルチタッチインタフェースを実現できる。従来の２次元のタッチパネルで用いられているようなピンチイン・ピンチアウトのような方法を３次元空間に拡張する。例えば押す・引く・掴む・掴んで動かすといった立体像２に対する特有の操作も提供できる。

立体像再生手段１０で表示する原色の分光分布形状に合わせた色フィルタを通じて操作画像を取得することで、背景の影響を低減できる。色フィルタを備えた構成例を図８に示す。図１の例と同様にスクリーン１２の前面の空間に立体像２が再生され、ユーザが指３で立体像２に触れて操作を行っている。撮像手段２０も、スクリーン１２の背面に配置されているが、撮像手段２０とスクリーン１２の間には色フィルタ２２が配置されている。そのため、撮像手段２０には、色フィルタ２２を通過した光だけが入射する。例えば、立体像再生手段１０がレーザーやＬＥＤ光源を用いたものである場合や、体積型のホログラフィックスクリーンを用いたものである場合は、原色光の特性に合わせて狭帯域の光のみを透過させる色フィルタ２２を用いればよい。

情報処理装置１によれば、立体像再生手段１０によって空間に実像として再生された立体像２が再生されている空間を撮像手段２０によって撮像し操作画像を生成する。処理手段３０は、操作画像を解析して立体像２に指３が接触したことにより生じた散乱光を検出し、検出結果、たとえば、散乱光の有無、散乱光の色、散乱光の色の変化等に応じて所定の処理を行う。そのため、ユーザは立体像２を直接触ることによって直感的に情報処理装置１を操作することができる。

また、立体像が表示される位置とユーザが操作を行う位置（指の位置）が一致しているので、両者の位置合わせを行う必要がない。言い換えると、表示位置と操作位置のずれによってユーザの操作が適切に反映されないことによりユーザに不快感を与えることがない。

また、ユーザは、空間に表示された立体像２に対して操作を行うので、たとえばタッチパネル等の情報処理装置１の一部に触れる必要がない。そのため、ユーザの皮脂等によって情報処理装置が汚れる、逆にこの汚れによってユーザの手が汚れるといったことを防止することができる。この利点は、ＡＴＭ（Automated Teller Machine）等不特定多数のユーザが情報処理装置１を操作する場合に顕著である。

次に本発明の具体的な実施例について説明する。
第１の実施例では図９に示すように、立体像再生手段１０は、ホログラフィックスクリーン４１とプロジェクター４２を用いたシステムによって構成され、ホログラフィックスクリーン４１の前面の空間に立体像７を再生する。立体像７にユーザの指が触れたことにより生じた散乱光を撮像するカメラ４３（撮像手段の一例）をホログラフィックスクリーン４１の背面側に配置する。制御手段３０は、図示していないが、プロジェクター４２とカメラ４３に接続されたパーソナルコンピュータを用いた。

ホログラフィックスクリーン４１には図９、図１０に示すように要素ホログラム１５と呼ばれる微小なホログラムが２次元的に隙間なく配置されている。それぞれの要素ホログラム１５には、図１１のようにして、物体光１８としてレンズ６３の焦点距離から少しずらした発散光を、参照光１７として記録材料１４の反対側から入射した平行光を用い、これらのホログラムが厚い反射型ホログラムとして記録されている。このように記録したホログラムは記録材料１４の厚み方向に干渉縞が記録され、白色光を入射すると入射光のうち、記録した時の波長の光がブラッグ回折によって回折されて物体光が再生される。また、記録材料の同じ領域に複数のホログラムを多重記録することが可能であり、ＲＧＢの各レーザーで同じ発散光を記録すれば、同時に３色の物体光を再現できるため、フルカラー再生が可能である。

ホログラフィックスクリーン４１を作成する際に用いた記録光学系を図１２に示す。発振部５０ａは、波長が６３３ｎｍの赤色のレーザー光を発振する。発振部５０ａから射出されたレーザー光は、ＡＯＭ（Acousto-Optic Modulator）５１で変調された後、半波長板５２を経てビームスプリッタ５３で参照光１７と物体光１８に分割される。物体光１８は、半波長板５４、ミラー５５、空間フィルタ５６、レンズ５７、ミラー５８、絞り５９、レンズ６０、絞り６１、レンズ６２、レンズ６３から構成される光学系を経由して矢印Ｄの方向に記録材料１４に入射する。参照光１７は、ミラー７０、半波長板７１、ミラー７２、ミラー７３、ミラー７４、絞り７５、レンズ７６から構成される光学系を経由して、矢印Ｅに示すように物体光１８とは反対側から記録材料１４に入射する。発振部５０ｂ、５０ｃは、それぞれ波長が５３２ｎｍの緑色のレーザー光、波長が４７３ｎｍの青色のレーザー光を発振する。緑色のレーザー光と青色のレーザー光も、物体光と参照光に分割され、上記の赤色のレーザー光の場合と同様の構成の光学系を経由して記録材料１４に入射する。要素ホログラム１５にはレンズ６３の焦点から少しずらした光を物体光とした厚い反射型ホログラムが記録され、ＸＹステージによって記録と移動を繰り返しながら作成される。

このホログラフィックスクリーン４１に再生照明光を入射すると、図１０に示すようにそれぞれの要素ホログラム１５から発散光１６が再生される。このとき、再生照明光の入射位置によって、異なる方向に光が再生されるので、図１３のようにひとつの要素ホログラム１５に投影画像の複数ピクセルの光４０を投影すれば発散光１６が複数方向の光線として再生される。本再生システムにおいて、要素ホログラム１５に入射する画像のピクセル数が視点数に相当する。

このシステムは、物体から出て眼に入射する光を高密度の光線として扱い、その光線を再現することで立体像を再生するシステムであり、光線再生型ディスプレイと呼ばれる。光線を高密度に再現すれば、実物を見る時とほぼ同様の光が眼に入射するため、観察者は本当に目の前に物があるかのように知覚できる。眼鏡式や眼鏡無しの２眼式３Ｄディスプレイと異なり、多人数で立体像を同じ位置に観察できる。また、立体像７は実像としてホログラフィックスクリーン４１の手前に浮かせて再生することが出来るため、その立体像７に直接触ることができる。

プロジェクター４２が投影する画像の各ピクセルはホログラフィックスクリーン４１から出る光線に割り当てられる。1つの要素ホログラム１５に入射する要素画像のピクセル数が視点数に相当し、要素画像の数が立体像７の解像度に相当する。したがって、奥行きの深い大きな立体像７を再生するには高解像度プロジェクターが必要である。今回使用するプロジェクター４２の仕様を表１に示す。このプロジェクター４２の解像度に合わせてホログラフィックスクリーン４１を作成する。今回設計したシステムの性能を表２に示す。この再生システムで再生するとプロジェクター４２の解像度はやや低いが、ホログラフィックスクリーン４１の手前に数ｃｍ浮かせた全方向視差立体像を再生できる。

第１の実施例の情報処理装置において立体像を正しく再生するには、ホログラフィックスクリーン４１上で投影画像のピントが合い、できるだけホログラフィックスクリーン４１に対して垂直に画像が入射するようにプロジェクター４２の投射光学系を設計する必要がある。そこで今回は、プロジェクター４２の投射レンズの前にレンズを置くことで投射光学系を作成した。このレンズはホログラフィックスクリーン４１上でピントが合うような焦点距離で、ホログラフィックスクリーン４１にできるだけ垂直に画像が投影されるようにプロジェクター４２とホログラフィックスクリーン４１の距離を伸ばすための口径の大きなレンズである。

情報処理装置を構成する各要素の実際の配置を図１４に示す。図の左側のやや上よりの位置の長方形で示した位置にホログラフィックスクリーン４１が配置されている。ホログラフィックスクリーン４１の右側の手前側にはプロジェクター４２が配置され、プロジェクター４２の前面には上述の大口径のレンズが配置されている。カメラ４３は、ホログラフィックスクリーン４１の背面の小さい長方形で示した位置に配置されている。

今回の実験では、表３に示す立体像を再生する。再生した立体像を図１５に示す。ユーザから見てホログラフィックスクリーン４１の手前３６ｍｍの位置に大きく「Ｔ」の文字が立体的に再生されている。「Ｔ」の左の位置に「Ｔｏｕｃｈ」の文字、「Ｔ」の右の位置に「Ｓｃｒｅｅｎ」の文字がそれぞれ立体的に再生されている。「Ｔｏｕｃｈ」と「Ｓｃｒｅｅｎ」の奥行き方向の位置はホログラフィックスクリーン４１の手前３ｍｍである。なお、これらの立体像は実際には赤色で再生されている。

ユーザは指先で図１５の立体像に触れる。その時の操作画像をカメラ４３で取得し、指先による散乱光が取得されればホログラフィックスクリーン４１の左下に「ＯＫ」と再生するシステムを作成した。

指を立体像の位置に置いた時の散乱光の様子を情報処理装置の横からカメラ４３とは別のカメラで撮影した画像を図１６に示す。ユーザの人差し指の指先が他の部分よりも明るくなっていることが分かる。実際には、立体像の色（この実施例では赤）に染まった指がホログラフィックスクリーン４１の裏側に設置したカメラ４３によって撮影される。

今回の実験では、散乱光の色情報を用いて立体像への接触の検出を行った。操作画像のうち、立体像に触った時に発生する散乱光の色に近い色のみを抜き出し、色を抜き出した画像の中からある範囲の大きさの楕円を検出するというステップで検出を行った。楕円が検出された時の画像を図１７に示す。画像の幅方向の中央部のやや上よりの位置に、灰色の楕円（この楕円は説明のために書き入れた）で囲んだ、指先の大きさとほぼ同じ大きさの白の楕円の領域が認められる。このように楕円が検出された時に、ホログラフィックスクリーン４１の左下に「ＯＫ」と表示する。

表示結果を図１８に示す。ユーザの指が立体像の「Ｔ」の部分に触れている状態でスクリーン４１の「Ｔｏｕｃｈ」の文字の下の位置に「ＯＫ」と表示されていることが分かる。この実験によって、提案手法である立体像の位置に指を置いた時に発生する散乱光を用いることで、立体像への接触を検出できることが確認できた。

次に、第２の実施例として、空中に２種類の色の立体像を再生し、どちらの立体像へ接触を行ったかを検出する実験を行った。装置の構成は図９に示したものと同一である。再生した立体像を図１９に、その仕様を表４に示す。ホログラフィックスクリーン４１の中央上部の手前の空間に「Ｃｈｏｏｓｅ」の文字（実際には赤色）が、その左側に「Ｙ」の文字（実際には緑色）が、右側に「Ｎ」の文字（実際には青色）が立体像として表示されている。

立体像に触った時、指は散乱光によって光り、ホログラフィックスクリーン４１の背後に設置したカメラ４３によって操作画像が撮影される。この操作画像からあらかじめ指定した散乱光の色に近い色を抜き出し、その画像から楕円を検出するというステップで操作検出を行った。どちらの立体像への操作による散乱光を検出したかによって、異なる出力を行う。操作検出の様子を図２０（Ａ）、（Ｂ）に示す。図２０（Ａ）では検出した楕円の色が緑であったので、図１９の立体像の「Ｙ」にユーザが触れたと判定し、「ＹＥＳ」の文字を表示している。図２０（Ｂ）では検出した楕円の色が青であったので、図１９の立体像の「Ｎ」にユーザが触れたと判定し、「ＮＯ」の文字を表示している。この実験によって、立体像の位置に指を置いた時に発生する散乱光の色情報を用いることで立体像のどの部分に接触したかを判定できることを確認した。

１ 情報処理装置
２ 立体像
３ 指（物体の一例）
１０ 立体画像再生手段
１１ プロジェクター
１２ スクリーン
２０ 撮像手段
２１ 操作画像
３０ 制御手段
４１ ホログラフィックスクリーン
４２ プロジェクター
４３ カメラ

Claims (17)

1. 立体像を実像として空間に再生する立体像再生手段と、
   上記立体像が表示される空間を撮像し操作画像を生成する撮像手段と、
   上記操作画像を解析して上記立体像に物体が接触したことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する処理手段とを備えた情報処理装置。
2. 上記立体像は、色が異なる複数の領域を含み、
   上記処理手段は、上記散乱光の色に基づいて上記物体が上記複数の領域のいずれに触れたかを判定し、上記物体が触れた上記領域にあらかじめ対応づけられた処理を行うことを特徴とする請求項１に記載の情報処理装置。
3. 上記処理手段が上記散乱光を検出した場合に、上記立体像再生手段により上記物体の位置を含む領域に無彩色のパターンを表示し、
   上記処理手段は、上記無彩色のパターンが表示されているときに上記撮像手段により撮像された画像を用いて、上記散乱光が検出された時の操作画像の色に対して補正処理を施し、この補正処理の結果に基づいて上記散乱光の色を判定することを特徴とする請求項２に記載の情報処理装置。
4. 上記処理手段は、上記物体が上記立体像に接触していないときに上記撮像手段により撮像された画像と、ユーザによる操作が行われているときに上記撮像手段により撮像された上記操作画像との差分により上記散乱光を検出することを特徴とする請求項１ないし請求項３のいずれか１項に記載の情報処理装置。
5. 上記処理手段は、上記物体の動く方向を判定し、その方向に応じた処理を行うことを特徴とする請求項１ないし請求項４のいずれか１項に記載の情報処理装置。
6. 上記処理手段は、上記散乱光の色の変化により上記物体の動く方向を判定することを特徴とする請求項５に記載の情報処理装置。
7. 上記処理手段は、複数の上記操作画像から上記散乱光のオプティカルフローを算出し、このオプティカルフローに基づいて上記物体の動く方向を判定することを特徴とする請求項５に記載の情報処理装置。
8. 上記処理手段が上記散乱光を検出した場合に、上記立体像再生手段により、上記物体の位置で交差する複数の光線を再生し、
   上記処理手段は、上記散乱光の検出結果に基づいて、上記物体の奥行き方向の位置を判定することを特徴とする請求項１ないし請求項７のいずれか１項に記載の情報処理装置。
9. 上記複数の光線は色が異なり、
   上記処理手段は、上記散乱光における色の並び順に基づいて、上記物体の奥行き方向の位置を判定することを特徴とする請求項８に記載の情報処理装置。
10. 上記処理手段は、上記処理手段による散乱光の検出結果に応じて、上記立体像表示手段が再生する上記立体像を変化させることを特徴とする請求項１ないし請求項９のいずれか１項に記載の情報処理装置。
11. 上記処理手段は、上記処理手段が上記散乱光を検出した場合に、構造化光投影法により上記物体と上記立体像との接触状態を判定することを特徴とする請求項１ないし請求項１０のいずれか１項に記載の情報処理装置。
12. 上記物体は複数の指で、上記処理手段は複数の上記散乱光を検出することを特徴とする請求項１ないし請求項１１のいずれか１項に記載の情報処理装置。
13. 上記立体像再生手段は、要素ホログラムが２次元的に配列されたホログラフィックスクリーンと、
    上記ホログラフィックスクリーンに光を投射するプロジェクターを備えることを特徴とする請求項１ないし請求項１２のいずれか１項に記載の情報処理装置。
14. 上記撮像手段は、上記ホログラフィックスクリーンの背後に配置されることを特徴とする請求項１３に記載の情報処理装置。
15. 上記撮像手段は、上記ホログラフィックスクリーンに内蔵された撮像素子であることを特徴とする請求項１３に記載の情報処理装置。
16. 上記立体像の原色の分光分布形状に合わせた色フィルタを備え、上記撮像手段は上記色フィルタを通過した光を撮像することを特徴とする請求項１ないし請求項１５のいずれか１項に記載の情報処理装置。
17. 像を再生することにより立体像を空間に再生し、
    上記立体像が表示される空間を撮像して操作画像を生成し、
    上記操作画像を解析して上記立体像に物体が接触したことにより生じた散乱光を検出し、検出結果に応じて所定の処理を実行する情報処理装置の制御方法。