JP2013218395A - 情報処理装置、プログラム及び情報処理方法 - Google Patents

Abstract

【課題】撮影された画像に基づいて撮影範囲に含まれる物体の立体的配置を反映した画像を生成することが可能な情報処理装置、プログラム及び情報処理方法を提供すること
【解決手段】本技術に係る情報処理装置は、画像取得部と、距離検出部と、画像生成部とを具備する。画像取得部は、撮影部によって異なる合焦距離で撮影された複数の撮影画像を取得する。距離検出部は、複数の撮影画像に基づいて、撮影部の撮影範囲に含まれる物体と撮影部の距離を検出する。画像生成部は、当該距離に基づいて、画像表示部によって表示される表示画像を生成する。
【選択図】図１

Description

本技術は、画像を投影し、又はディスプレイに表示する情報処理装置、プログラム及び情報処理方法に関する。

近年、キーボード等の入力装置の画像を投影面に投影し、投影面に対するユーザの操作を操作入力として受け付ける入力装置が開発されている。当該入力装置は、投影面をカメラによって撮影することにより、ユーザの操作、例えば手の動き等を判別することが可能に構成されている。

例えば、特許文献１には、キーボード像の投影面を複数の撮影手段によって撮影し、撮影データを解析して投影面に接触したユーザの指の位置を特定し、操作入力として受け付けるデータ入力方法及びデータ入力装置が開示されている。複数の撮影手段によって投影面を撮影することにより、キーボード像においてユーザの手の影となる領域を減少させることが可能とされている。

特開２００８−１２３３１６号公報

しかしながら、特許文献１に記載のデータ入力装置は、上述のように複数の撮影手段が必要であり、専用のハードウェアが必要となると考えられる。近年、ノート型パソコンや携帯電話等、撮影手段を備えるデバイスが多く普及しているが、ほとんどのデバイスでは一方向に一つのカメラしか設けられておらず、特許文献１に記載の発明をそのまま適用することができない。

以上のような事情に鑑み、本技術の目的は、撮影された画像に基づいて撮影範囲に含まれる物体の立体的配置を反映した画像を生成することが可能な情報処理装置、プログラム及び情報処理方法を提供することにある。

本技術の一形態に係る情報処理装置は、画像取得部と、距離検出部と、画像生成部とを具備する。
上記画像取得部は、撮影部によって異なる合焦距離で撮影された複数の撮影画像を取得する。
上記距離検出部は、上記複数の撮影画像に基づいて、上記撮影部の撮影範囲に含まれる物体と上記撮影部の距離を検出する。
上記画像生成部は、上記距離に基づいて、画像表示部によって表示される表示画像を生成する。

この構成によれば、撮影部によって撮影された撮影画像を利用して、撮影範囲に含まれる物体と撮影部の距離が検出される。即ち、物体を検出するためのセンサ等が別途必要ではなく、多くの情報処理装置が備える撮影部によって物体の立体的配置を取得することが可能となる。

上記画像取得部は、上記複数の撮影画像のそれぞれにおいて、焦点が合っている領域である合焦領域を抽出し、上記距離検出部は、上記合焦領域の分布に基づいて上記距離を検出してもよい。

この構成によれば、各撮影画像における合焦領域から、その撮影画像が撮影された合焦距離における物体の存在を検出することが可能である。

、
上記画像生成部は、上記距離に基づいて、表示対象物の画像である表示対象物画像に変更を加え、上記表示画像を生成してもよい。

この構成によれば、物体の立体的配置に応じて表示画像を生成し、表示することが可能である。

上記画像生成部は、上記距離に基づいて画像マスクを生成し、上記画像マスクを上記表示対象物画像と合成して上記表示画像を生成してもよい。

この構成によれば、物体の立体的配置に応じて画像マスクの範囲を変更することが可能であり、物体に表示対象物画像が重複することを防止することが可能となる。

上記画像生成部は、上記距離に基づいて上記物体の画像を抽出し、上記物体の画像を上記表示対象物画像と合成して上記表示画像を生成する。

この構成によれば、撮影画像から物体の画像のみを抽出し、物体の画像と表示対象物画像を合成することが可能となる。

上記画像生成部は、上記距離に基づいて上記物体の凹凸を検出し、上記表示対象物画像を上記凹凸に応じて補正し、上記表示画像を生成してもよい。

この構成によれば、物体の凹凸に応じて表示対象物画像を補正することによって、物体の凹凸による表示対象物画像の歪みを防止することが可能となる。

この構成によれば、入力装置の画像に物体（例えばユーザの手等）の立体的配置を反映させることが可能である。

上記画像取得部は、上記距離に基づいて、上記撮影部が撮影する合焦距離の範囲を制御してもよい。

この構成によれば、撮影部によって物体が存在しない合焦距離の範囲、即ち撮影する必要のない合焦距離の範囲の撮影を防止することが可能である。

上記情報処理装置は、上記距離に基づいて、ユーザによる操作入力を処理する入力処理部をさらに具備してもよい。

この構成によれば、撮影部による撮影画像を利用して、ユーザによって操作される物体（手等）の立体的配置を取得し、操作入力の処理に利用することができる。

本技術の一形態に係る情報処理装置は、撮影部と、画像取得部と、距離検出部と、画像表示部とを具備する。
上記撮影部は、異なる合焦距離で複数の撮影画像を撮影する。
上記画像取得部は、上記複数の撮影画像を取得する。
上記距離検出部は、上記撮影画像に基づいて、上記撮影部の撮影範囲に含まれる物体と上記撮影部の距離を検出する。
上記画像生成部は、上記距離に基づいて、表示画像を生成する。
上記画像表示部は、上記表示画像を表示する。

上記画像表示部は、上記表示画像を投影面に投影してもよい。

上記画像表示部は、上記表示画像を表示画面に表示してもよい。

本技術の一形態に係るプログラムは、画像取得部と、距離検出部と、画像姿勢部とを具備する。
上記画像取得部は、撮影部によって異なる合焦距離で撮影された複数の撮影画像を取得する。
上記距離検出部は、上記複数の撮影画像に基づいて、上記撮影部の撮影範囲に含まれる物体と上記撮影部の距離を検出する。
上記プログラムは、上記距離に基づいて、画像表示部によって表示される表示画像を生成する。

本技術の一形態に係るプログラムは、画像取得部が、撮影部によって異なる合焦距離で撮影された複数の撮影画像を取得する。
距離検出部が、上記複数の撮影画像に基づいて、上記撮影部の撮影範囲に含まれる物体と上記撮影部の距離を検出する。
画像生成部が、上記距離に基づいて、画像表示部によって表示される表示画像を生成する。

以上のように、本技術によれば、撮影された画像に基づいて撮影範囲に含まれる物体の立体的配置を反映した画像を生成することが可能な情報処理装置、プログラム及び情報処理方法を提供することが可能である。

本技術の第１の実施形態に係る情報処理装置の構成を示す模式図である。 同情報処理装置の動作を示すフローチャートである。 同情報処理装置の画像取得部による撮影画像の取得に係るフローチャートである。 同情報処理装置の撮影画像の取得の様子を示す模式図である。 同情報処理装置の画像生成部によって生成される画像マスクを示す模式図である。 同情報処理装置の画像生成部による画像マスクの最適化を示す模式図である。 同情報処理装置の画像生成部による画像マスクの最適化を示す模式図である。 同情報処理装置の画像生成部による表示画像の生成を示す模式図である。 同情報処理装置の画像表示部によって投影される表示画像を示す模式図である。 本技術の第２の実施形態に係る情報処理装置の構成を示す模式図である。 同情報処理装置の動作を示すフローチャートである。 同情報処理装置の画像生成部によって抽出された物体画像を示す模式図である。 同情報処理装置の画像生成部によって変換された物体画像を示す模式図である。 同情報処理装置の画像生成部によって生成される表示画像を示す模式図である。 同情報処理装置の画像生成部によって物体画像に透過処理を施して生成される表示画像を示す模式図である。 本技術の第３の実施形態に係る情報処理装置の構成を示す模式図である。 同情報処理装置の動作を示すフローチャートである。 同情報処理装置の撮影部によって撮影画像が撮影された合焦距離を含む面を示す模式図である 同情報処理装置の撮影部によって撮影された各撮影画像における合焦領域を示す模式図である。 同情報処理装置の画像生成部による表示対象物画像の補正を示す模式図である。 同情報処理装置の画像表示部によって投影面に投影された表示画像を示す模式図である。 同情報処理装置の画像表示部によってユーザの手上に投影されたマーカを示す模式図である。

（第１の実施形態）
本技術の第１の実施形態に係る情報処理装置について説明する。

［情報処理装置の構成］
図１は、第１の実施形態に係る情報処理装置１００の構成を示す模式図である。同図に示すように、情報処理装置１００は、撮影部１０１、画像取得部１０２、距離検出部１０３、画像生成部１０４、画像表示部１０５及び入力処理部１０６を有する。撮影部１０１は画像取得部１０２と接続され、画像取得部１０２は距離検出部１０３に接続されている。距離検出部１０３は画像生成部１０４と接続され、画像生成部１０４は画像表示部１０５に接続されている。入力処理部１０６は距離検出部１０３に接続されている。情報処理装置１００は、画像の生成、表示が可能なあらゆる装置、例えば、パーソナルコンピュータ等の各種コンピュータ、携帯電話、携帯型情報端末等であるものとすることができる。

図１においては、投影面Ｐ（例えば、机など）に画像表示部１０５によって表示対象物（例えばキーボード）の画像（以下、表示画像）Ｓが投影されている。ユーザが表示画像Ｓを参照して投影面Ｐに対して入力操作（例えばタイピング）を実施しているものとし、ユーザの手を手Ｈとして示す。

撮影部１０１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と必要な光学系を備え、撮影範囲の画像を撮影する。撮影部１０１は、その合焦距離（撮影部１０１と焦点の距離）を変更可能なものであり、画像取得部１０２による制御を受けて合焦距離（フォーカス）を変更するものとすることができる。撮影部１０１は、撮影した画像（以下、撮影画像）を画像取得部１０２に出力する。

画像取得部１０２は、撮影部１０１によって撮影された撮影画像を取得し、距離検出部１０３に供給する。画像取得部１０２は、撮影部１０１を制御し、その合焦距離を変更すると共に画像を撮影させるものとすることができる。詳細は後述するが、画像取得部１０２は、複数の合焦距離で撮影部１０１に撮影画像を撮影させるものとすることができる。

距離検出部１０３は、画像取得部１０２から供給された複数の撮影画像に対して所定の画像処理を実行し、撮影部１０１の撮影範囲に含まれる物体（ここではユーザの手Ｈ）と撮影部１０１の距離（以下、物体距離とする）を検出する。距離検出部１０３は物体距離を入力処理部１０６及び画像生成部１０４に供給する。

画像生成部１０４は、画像取得部１０２から供給された複数の撮影画像に対して所定の画像処理を実行し、その処理結果に基づいて画像表示部１０５によって表示される表示画像Ｓを生成する。詳細は後述するが、画像生成部１０４は、物体距離に基づいて画像マスクを生成し、この画像マスクを用いて表示画像Ｓを生成する。

画像表示部１０５は、画像の投影が可能なもの（プロジェクタ）であり、画像生成部１０４によって生成された表示画像Ｓを投影面Ｐに投影する。画像表示部１０５は、任意の方式のプロジェクタであるものとすることができる。画像表示部１０５は撮影部１０１と近接して配置されているものが好適である。

入力処理部１０６は、距離検出部１０３から供給された物体距離に基づいてユーザの操作入力を判断し、操作入力に対する入力処理を実行する。詳細は後述するが、入力処理部１０６は、投影面Ｐに対してのユーザの手Ｈの接触を検出し、その接触箇所と表示画像Ｓの位置関係から、ユーザの操作入力を判断するものとすることができる。入力処理部１０６によって生成された入力処理は、情報処理装置１００のオペレーティングシステムに供給される。

情報処理装置１００は以上のような構成を有する。画像取得部１０２、距離検出部１０３、画像生成部１０４及び入力処理部１０６は、ソフトウェアとハードウェアの協働によって実現される機能的構成であるものとすることができ、物理的に情報処理装置１００の筐体に収容されているものに限られず、ネットワーク上に実装されているものであってもよい。

［情報処理装置の動作］
図２は、情報処理装置１００の動作を示すフローチャートである。

図２に示すように、画像取得部１０２は、撮影画像を取得する（Ｓｔ１０１）。図３は、画像取得部１０２による撮影画像の取得に係るフローチャートであり、図４は撮影画像の取得の様子を示す模式図である。

図３に示すように、画像取得部１０２は撮影部１０１を制御し、その合焦距離を初期値に設定する（Ｓｔ１１１）。初期値は、撮影部１０１から投影面Ｐが十分に含まれると予想される距離であり、撮影部１０１の情報処理装置１００における配置等に応じて設定することが可能である。図４に、初期値の合焦距離を含む面をＡ面として示す。

画像取得部１０２は、撮影部１０１に当該合焦距離（Ａ面）で画像を撮影させる（Ｓｔ１１２）。画像取得部１０２は、Ａ面において撮影された撮影画像に対して合焦領域の抽出（Ｓｔ１１２）を実行する。合焦領域は、撮影画像において焦点が合っている領域であり、例えば撮影画像における各画素のコントラスト、あるいは位相差から検出することが可能である。

続いて画像取得部１０２は、撮影画像において合焦領域が検出されたか否かを確認する（Ｓｔ１１３）。画像取得部１０２は合焦領域を検出した場合（Ｓｔ１１４；Ｙｅｓ）、合焦距離を移動させる（Ｓｔ１１５）。具体的には、画像取得部１０２は、合焦距離を初期値（Ａ面）から撮影部１０１のより近傍（Ｂ面）に変更させる。Ａ面とＢ面の間隔は任意であり、被写界深度が浅ければ、例えば数ｍｍとすることができる。

画像取得部１０２は、合焦領域が検出されている限りにおいて合焦距離の変更と撮影以下のプロセスを繰り返し実行する。画像取得部１０２は、合焦領域を検出しなかった場合（Ｓｔ１１４、Ｎｏ）、撮影画像の取得を終了する。例えば図４においては最後に合焦領域が検出される（手Ｈが存在する）合焦距離がＣ面にあるとすると、撮影画像の撮影はＡ面とＣ面の間で所定間隔で実行されることになる。なお、Ａ面とＣ面の間で所定間隔で実行された際に、投影面Ｐの手前にも合焦領域が検出されるが、投影面Ｐが机のような平面あるいは手と比較して凸凹が少ない曲面では、投影面Ｐでの合焦領域はほとんど直線状を成し、あきらかに手のような立体物とは異なる合焦領域データとなりうるため、削除できる。

以上のようにして画像取得部１０２は、少なくともユーザの手Ｈが含まれる範囲において所定の間隔で撮影された複数の撮影画像を取得する。また、画像取得部１０２は、物体（手Ｈ）の検出に利用した合焦領域のデータを保持しておく。

続いて図２に戻り、距離検出部１０３は、撮影部１０１の撮影範囲に含まれる物体（手Ｈ）の撮影部１０１との距離（物体距離）を検出する（Ｓｔ１０２）。具体的には、距離検出部１０３は、各撮影画像における合焦領域の分布から、各撮影画像毎に手Ｈの位置を特定することによって物体の立体的な配置（手Ｈの各部と撮影部１０１の距離）を検出することが可能である。距離検出部１０３は物体距離を画像生成部１０４に供給する。

続いて、画像生成部１０４は、画像マスクを生成する（Ｓｔ１０３）。画像生成部１０４は、距離検出部１０３によって検出された物体距離を用いて投影面Ｐより撮影部１０１に近接する面（例えばＣ面）に投射される手Ｈの形状を求め、画像マスクとする。図５は画像生成部１０４によって生成される画像マスクＭの例を示す。

続いて画像生成部１０４は、必要に応じて画像マスクＭの最適化を実行する（Ｓｔ１０４）。図６及び図７は、画像生成部１０４による画像マスクＭの最適化を示す模式図である。画像生成部１０４は、例えば、図６に示すように画像マスクＭを所定の割合（例えば５〜１０％程度）で拡大させるものとすることができる。あるいは投影面Ｐでの影が気になるのであれば所定の割合（例えば−５〜−１０％程度）で縮小させるなどマスク最適値は連続的に増減できる。また画像生成部１０４は、図７に示すように、画像マスクＭの境界を不鮮明化させることも可能である。このような画像マスクＭの最適化により、従来の指の側面などに投影される見苦しい余分な投影が低減され、後述する表示画像Ｓの視認性を向上させることが可能となる。境界の不鮮明化により境界線の曖昧さが生じさせることにより、指の細かな動きに対して実時間でその都度マスクデータを高速で更新する必要がなくなるため、情報処理の低減ができ、電池使用機器では使用時間の増大が望める。

続いて画像生成部１０４は、画像マスクＭを用いて表示画像Ｓを生成する（Ｓｔ１０５）。図８は、画像生成部１０４による表示画像Ｓの生成を示す模式図である。同図に示すように、画像生成部１０４は、画像マスクＭを表示対象物（ここではキーボード）の画像（以下、表示対象物画像）Ｇに合成し、表示画像Ｓを生成する。

続いて画像生成部１０４は、生成した表示画像Ｓを画像表示部１０５に供給し、投影させる（Ｓｔ１０６）。図９は画像表示部１０５によって投影される表示画像Ｓを示す図である。同図に示すように、画像マスクＭには表示対象物画像Ｇが表示されないので、表示対象物画像Ｇがユーザの手Ｈ上に投影されず、視認性の悪化を防止することが可能である。この際、画像生成部１０４は、画像マスクＭに相当する領域の描写に必要な電力をカットする電力制御を実行してもよい。

なお、表示画像Ｓの生成及び投影と並行して、入力処理部１０６は、ユーザの操作入力に対する入力処理を実行する。入力処理部１０６は、距離検出部１０３から供給される手Ｈと撮影部１０１の距離（物体距離）から、手Ｈが投影面Ｐに接触しているか否かを判断することが可能である。入力処理部１０６は、例えば手Ｈの投影面Ｐへの接触箇所と表示画像Ｓの位置関係から、ユーザの操作入力を判断するものとすることができる。

以上のように、本実施形態においては、異なる合焦距離で撮影された複数の撮影画像から撮影範囲に含まれる物体（手Ｈ）と撮影部１０１の距離を検出することが可能であり、当該距離を利用して画像マスクを生成することが可能である。これにより、手Ｈへの表示対象物画像Ｇの投影が防止され、ユーザの視認性の悪化を防止することができる。

（第２の実施形態）
本技術の第２の実施形態に係る情報処理装置について説明する。

［情報処理装置の構成］
図１０は、第２の実施形態に係る情報処理装置２００の構成を示す模式図である。同図に示すように、情報処理装置２００は、撮影部２０１、画像取得部２０２、距離検出部２０３、画像生成部２０４、画像表示部２０５及び入力処理部２０６を有する。撮影部２０１は画像取得部２０２と接続され、画像取得部２０２は距離検出部２０３に接続されている。距離検出部２０３は画像生成部２０４と接続され、画像生成部２０４は画像表示部２０５に接続されている。入力処理部２０６は距離検出部２０３に接続されている。情報処理装置２００は、画像の生成、表示が可能なあらゆる装置、例えば、パーソナルコンピュータ等の各種コンピュータ、携帯電話、携帯型情報端末等であるものとすることができる。

図１０においては、ユーザが何も表示されていない操作面Ｐ（普通の机など）に対して入力操作（例えばタイピングの動作）を実施しているものとし、ユーザの手を手Ｈとして示す。手Ｈを含む操作面Ｐが撮影部２０１によって撮影され、手Ｈの画像と、表示対象物（例えばキーボード）の画像が合成された画像が表示画像Ｓとして画像表示部２０５に表示されているものとする。

撮影部２０１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と必要な光学系を備え、撮影範囲の画像を撮影する。撮影部２０１は、その合焦距離（撮影部２０１と焦点の距離）を変更可能なものであり、画像取得部２０２による制御を受けて合焦距離（フォーカス）を変更するものとすることができる。撮影部２０１は、撮影した画像（以下、撮影画像）を画像取得部２０２に出力する。撮影部２０１は、画像表示部２０５（ディスプレイ等）に搭載されているものが好適である。

画像取得部２０２は、撮影部２０１によって撮影された撮影画像を取得し、距離検出部２０３に供給する。画像取得部２０２は、撮影部２０１を制御し、その合焦距離を変更すると共に画像を撮影させるものとすることができる。詳細は後述するが、画像取得部２０２は、複数の合焦距離で撮影部２０１に撮影画像を撮影させるものとすることができる。

距離検出部２０３は、画像取得部２０２から供給された複数の撮影画像に対して所定の画像処理を実行し、撮影部２０１の撮影範囲に含まれる物体（ここではユーザの手Ｈ）と撮影部２０１の距離（以下、物体距離とする）を検出する。距離検出部２０３は物体距離を入力処理部２０６及び画像生成部２０４に供給する。

画像生成部２０４は、画像取得部２０２から供給された複数の撮影画像に対して所定の画像処理を実行し、その処理結果に基づいて画像表示部２０５によって表示される表示画像Ｓを生成する。詳細は後述するが、画像生成部２０４は、物体距離に基づいて撮影画像から手Ｈの画像を抽出し、この手Ｈの画像を用いて表示画像Ｓを生成する。

画像表示部２０５は、画像の表示が可能なもの（ディスプレイ）であり、画像生成部２０４によって生成された表示画像Ｓを表示画面に表示する。画像表示部２０５は、任意の方式のディスプレイであるものとすることができる。上述のように画像表示部２０５には撮影部２０１が搭載されるものとすることができる。

入力処理部２０６は、距離検出部２０３から供給された物体距離に基づいてユーザの操作入力を判断し、操作入力に対する入力処理を実行する。詳細は後述するが、入力処理部２０６は、操作面Ｐに対してのユーザの手Ｈの接触を検出し、その接触箇所と撮影部２０１の位置関係から、ユーザの操作入力を判断するものとすることができる。入力処理部２０６によって生成された入力処理は、情報処理装置２００のオペレーティングシステムに供給される。

情報処理装置２００は以上のような構成を有する。画像取得部２０２、距離検出部２０３、画像生成部２０４及び入力処理部２０６は、ソフトウェアとハードウェアの協働によって実現される機能的構成であるものとすることができ、物理的に情報処理装置２００の筐体に収容されているものに限られず、ネットワーク上に実装されているものであってもよい。

［情報処理装置の動作］
図１１は、情報処理装置２００の動作を示すフローチャートである。

図１１に示すように、画像取得部２０２は、撮影画像を取得する（Ｓｔ２０１）。画像取得部２０２は、第１の実施形態と同様にして撮影画像を取得することが可能である。即ち、画像取得部２０２は、撮影部２０１の合焦距離を移動させながら、少なくともユーザの手Ｈが含まれる範囲において所定の間隔で撮影された複数の撮影画像を取得する。また、画像取得部２０２は、物体（手Ｈ）の検出に利用した合焦領域のデータを保持しておく。

続いて距離検出部２０３は、撮影部２０１の撮影範囲に含まれる物体（手Ｈ）の撮影部２０１との距離（物体距離）を検出する（Ｓｔ２０２）。具体的には、距離検出部２０３は、各撮影画像における合焦領域の分布から、各撮影画像毎に手Ｈの位置を特定することによって物体の立体的な配置（手Ｈの各部と撮影部２０１の距離）を検出することが可能である。距離検出部２０３は物体距離を画像生成部２０４に供給する。

続いて画像生成部２０４は、物体距離を用いて物体画像（手Ｈの画像）を抽出する（Ｓｔ２０３）。具体的には画像生成部２０４は、画像取得部２０２によって取得された複数の撮影画像のうちのひとつの画像、例えば最も合焦領域が大きい（焦点が合っている）画像を選択する。画像生成部２０４は、物体距離を利用してその撮影画像から手Ｈに相当する画像領域（物体画像）を抽出することができる。図１２は画像生成部２０４によって抽出された物体画像Ｂを示す模式図である。

続いて画像生成部２０４は、必要に応じて抽出した物体画像Ｂを変換する（Ｓｔ２０４）。図１２に示すように、物体画像Ｂは、撮影部２０１と手Ｈの位置関係によっては、手Ｈの撮影部２０１に接近する側が拡大される場合がある。図１３は、変換された物体画像Ｂを示す模式図である。画像生成部２０４は図１３に示すように物体画像Ｂの撮影部２０１に接近する領域を圧縮し、撮影部２０１から離間する領域を伸張させることによって物体画像Ｂを変換することができる。これにより、ユーザの視点と撮影部２０１の視点が異なることによる物体画像Ｂの変形を防止することができる。

続いて画像生成部２０４は、表示画像を生成する（Ｓｔ２０５）。図１４は画像生成部２０４によって生成される表示画像Ｓを示す模式図である。同図に示すように画像生成部２０４は、物体画像Ｂと表示対象物（ここではキーボード）の画像（以下、表示対象物画像）Ｇとを重畳させ、表示画像Ｓを生成する。画像生成部２０４はこの際、物体画像Ｂと表示対象物画像Ｇの位置合わせを実行する。画像生成部２０４は例えば、物体画像Ｂのうち手Ｈの左小指に相当する領域をキーボードの「Ｑ」キー付近、右小指に相当する領域をキーボードの「Ｅｎｔｅｒ」キー付近に合わせるものとすることができる。この位置合わせは頻繁に実行すると、対象物画像Ｇの描写がぶれるため、最初に表示画像を生成する際に実行すればよい。

画像生成部２０４は、表示画像Ｓを生成する際、物体画像Ｂに透過処理を施すことも可能である。図１５は、物体画像に透過処理を施して生成される表示画像Ｓを示す模式図である。同図に示すように物体画像Ｂに透過処理を施すことによって、表示対象物画像Ｇが物体画像Ｂを透過して表示され、ユーザによる視認が可能となる。また、画像生成部２０４は、透過処理に替わり、物体画像Ｂ上に着色を施し、物体画像Ｂ（即ち手Ｈ）をユーザに明示するものとすることも可能である。

画像生成部２０４は、生成した表示画像Ｓを画像表示部２０５に出力し、図１０に示すようにその表示画面に表示させる（Ｓｔ２０６）。ユーザは、何も表示されていない操作面Ｐに対する操作入力を、画像表示部２０５に表示される表示対象物画像Ｇを参照して実施することが可能である。

なお、表示画像Ｓの生成及び表示と並行して、入力処理部２０６は、ユーザの操作入力に対する入力処理を実行する。入力処理部２０６は、距離検出部２０３から供給される手Ｈの各部と撮影部２０１の距離（物体距離）から、手Ｈが操作面Ｐに接触しているか否かを判断することが可能である。入力処理部２０６は、例えば手Ｈの操作面Ｐへの接触箇所と撮影部２０１の位置関係から、ユーザの操作入力を判断するものとすることができる。

以上のように、本実施形態においては、異なる合焦距離で撮影された複数の撮影画像から撮影範囲に含まれる物体（手Ｈ）と撮影部２０１の距離を検出することが可能であり、当該距離を利用して当該物体の画像を抽出することが可能である。これにより、当該物体と表示対象物画像と合成した表示画像が表示され、ユーザは表示画像を参照して入力処理を実行することが可能となる。

（第３の実施形態）
本技術の第３の実施形態に係る情報処理装置について説明する。

［情報処理装置の構成］
図１６は、第３の実施形態に係る情報処理装置３００の構成を示す模式図である。同図に示すように、情報処理装置３００は、撮影部３０１、画像取得部３０２、距離検出部３０３、画像生成部３０４、画像表示部３０５及び入力処理部３０６を有する。撮影部３０１は画像取得部３０２と接続され、画像取得部３０２は距離検出部３０３に接続されている。距離検出部３０３は画像生成部３０４と接続され、画像生成部３０４は画像表示部３０５に接続されている。入力処理部３０６は距離検出部３０３に接続されている。情報処理装置３００は、画像の生成、投影が可能なあらゆる装置、例えば、パーソナルコンピュータ等の各種コンピュータ、携帯電話、携帯型情報端末等であるものとすることができる。

図１６においては、表示対象物（例えばキーボード）の画像（表示画像Ｓ）がユーザの手Ｈ１の表面である投影面Ｐに投影されている。ユーザが表示画像Ｓを参照して投影面Ｐに対して入力操作（例えばタイピング）を実施しているものとし、入力操作に用いられるユーザの手を手Ｈ２として示す。

撮影部３０１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と必要な光学系を備え、撮撮範囲の画像を撮影する。撮影部３０１は、その合焦距離（撮影部３０１と焦点の距離）を変更可能なものであり、画像取得部３０２による制御を受けて合焦距離（フォーカス）を変更するものとすることができる。撮影部３０１は、撮影した画像（以下、撮影画像）を画像取得部２０２に出力する。

なお撮影部３０１は、上述の撮像素子だけ限られず、ＴＯＦ（time-of-flight）方式等の専用の距離画像の計測方式を用いてもよい。ＴＯＦ方式は、光の到達時間を基に物体の距離を計測するものであり、赤外線等の不可視光をパルス変調して画角内に照射し、撮像素子側でこのパルスの位相遅れを計測することで、物体までの距離を割り出すものである。（参考ＵＲＬ：http://www.nikkei.com/tech/news/article/g=96958A9C93819499E0E6E2E1E48DE0E6E2E0E0E2E3E0E2E2E2E2E2E2;da=96958A88889DE2E4E1E2E5E0E6E2E0E7E2E6E0E2E3E2E2E2E2E2E2E2）

画像取得部３０２は、撮影部３０１によって撮影された撮影画像を取得し、距離検出部３０３に供給する。画像取得部３０２は、撮影部３０１を制御し、その合焦距離を変更すると共に画像を撮影させるものとすることができる。詳細は後述するが、画像取得部３０２は、複数の合焦距離で撮影部３０１に撮影画像を撮影させるものとすることができる。

距離検出部３０３は、画像取得部３０２から供給された複数の撮影画像に対して所定の画像処理を実行し、撮影部３０１の撮影範囲に含まれる物体（ここでは手Ｈ１）と撮影部３０１の距離（以下、物体距離とする）を検出する。距離検出部３０３は物体距離を入力処理部３０６及び画像生成部３０４に供給する。

画像生成部３０４は、画像取得部３０２から供給された複数の撮影画像に対して所定の画像処理を実行し、その処理結果に基づいて画像表示部３０５によって投影される表示画像Ｓを生成する。詳細は後述するが、画像生成部３０４は、物体距離に基づいて投影面Ｐの凹凸を検出し、その凹凸に応じて補正された画像を表示画像Ｓとして生成する。

画像表示部３０５は、画像の投影が可能なもの（プロジェクタ）であり、画像生成部３０４によって生成された表示画像Ｓを投影面Ｐに投影する。画像表示部３０５は、任意の方式のプロジェクタであるものとすることができる。画像表示部３０５は撮影部３０１と近接して配置されているものが好適である。

入力処理部３０６は、距離検出部３０３から供給された物体距離に基づいてユーザの操作入力を判断し、操作入力に対する入力処理を実行する。詳細は後述するが、入力処理部３０６は、投影面Ｐに対してのユーザの手Ｈ２の接触を検出し、その接触箇所と撮影部３０１の位置関係から、ユーザの操作入力を判断するものとすることができる。入力処理部３０６によって生成された入力処理は、情報処理装置３００のオペレーティングシステムに供給される。

情報処理装置３００は以上のような構成を有する。画像取得部３０２、距離検出部３０３、画像生成部３０４及び入力処理部３０６は、ソフトウェアとハードウェアの協働によって実現される機能的構成であるものとすることができ、物理的に情報処理装置３００の筐体に収容されているものに限られず、ネットワーク上に実装されているものであってもよい。

［情報処理装置の動作］
図１７は、情報処理装置３００の動作を示すフローチャートである。

図１７に示すように、画像取得部３０２は、撮影画像を取得する（Ｓｔ３０１）。画像取得部３０２は、第１の実施形態と同様にして撮影画像を取得することが可能である。即ち、画像取得部３０２は、撮影部３０１の合焦距離を移動させながら、少なくともユーザの手Ｈ１が含まれる範囲において所定の間隔で撮影された複数の撮影画像を取得するまた、画像取得部２０２は、物体（手Ｈ１）の検出に利用した合焦領域のデータを保持しておく。

図１８は、撮影画像が撮影された合焦距離を含む面を示す模式図である。図１８に示す手Ｈ１のＡ面、Ｂ面、Ｃ面及びＤ面において撮影画像が撮影されたものとする。図１９は各撮影画像における合焦領域を示す模式図である。図１９（ａ）は図１８のＡ面において撮影された撮影画像における合焦領域Ｒを示し、同様に、図１９（ｂ）は図１８のＢ面、図１９（ｃ）は図１８のＣ面、図１９（ｄ）は図１８のＤ面のそれぞれにおいて撮影された撮影画像における合焦領域Ｒを示す。図１９に示すように、手Ｈ１（投影面Ｐ）の凹凸に応じて撮影部３０１との距離が異なるため、各撮影画像において合焦領域の分布が異なる。

続いて距離検出部３０３は、撮影部３０１の撮影範囲に含まれる物体（手Ｈ１）の撮影部３０１との距離（物体距離）を検出する（Ｓｔ３０２）。具体的には、距離検出部３０３は、各撮影画像における合焦領域Ｒの分布から、各撮影画像毎に手Ｈ１の位置を特定することによって投影面Ｐの凹凸（手Ｈ１の各部と撮影部３０１の距離）を検出することが可能である。距離検出部３０３は物体距離を画像生成部３０４に供給する。

続いて画像生成部３０４は、物体距離を用いて表示対象物の画像（以下、表示対象物画像）Ｇの補正を実行する（Ｓｔ３０３）。図２０は、表示対象物画像Ｇの補正の例を示す模式図である。画像生成部３０４は、図２０（ａ）に示す表示対象物画像Ｇを、距離検出部３０３によって検出された投影面Ｐの凹凸に合わせて図２０（ｂ）に示すように補正する。画像生成部３０４は、投影面Ｐのうち、撮影部２０１に接近している領域（凸領域）に投影される表示対象物画像Ｇの領域を縮小し、撮影部２０１から離間している領域（凹領域）に投影される表示対象物画像Ｇの領域を拡大するように補正することができる。

画像生成部３０４は、上記ように補正した表示対象物画像Ｇを用いて表示画像Ｓを生成する（Ｓｔ３０４）。画像生成部３０４は、生成した表示画像Ｓを画像表示部３０５に出力し、投影面Ｐに投影させる（Ｓｔ３０５）。図２１は、投影面Ｐに投影された表示画像Ｓを示す模式図である。同図に示すように、表示画像Ｓは投影面Ｐの凹凸に応じて補正されているため、投影面Ｐの凹凸による画像の歪みが生じない。

なお、表示画像Ｓの生成及び投影と並行して、入力処理部３０６は、ユーザの操作入力に対する入力処理を実行する。入力処理部３０６は、距離検出部３０３から供給される手Ｈ２の各部と撮影部３０１の距離（物体距離）から、手Ｈ２が投影面Ｐに接触しているか否かを判断することが可能である。入力処理部２０６は、例えば手Ｈ２の投影面Ｐへの接触箇所と撮影部３０１の位置関係から、ユーザの操作入力を判断するものとすることができる。

本実施形態においては、検出した物体距離を表示対象物画像Ｇの生成に利用したが、利用したがこれに限られない。例えば物体距離を利用してユーザの手Ｈ１上にマーカを表示するものとすることも可能である。図２２はユーザの手Ｈ１上に投影されたマーカＭを示す模式図である。これにより、ユーザは指の位置を確認し易くなる。また、手Ｈが操作対象物（キーボード等）に接近するに連れてマーカＭの大きさあるいは強度を大きくして表示することも可能である。

以上のように、本実施形態においては、異なる合焦距離で撮影された複数の撮影画像から撮影範囲に含まれる物体（手Ｈ１）と撮影部３０１の距離を検出することが可能であり、当該距離を利用して表示対象物画像の補正を実施することが可能である。これにより、当該物体表面（投影面Ｐ）の凹凸による画像の歪みが発生せず、ユーザの視認性を良好なものとすることができる。

本技術は上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。

上記各実施形態において、表示対象物はキーボードであるものとしたが、これに限られない。例えばマウス等の他の入力装置とすることも可能である。その場合、ポインティング範囲を円や四角などで明示させてもよい。また、上記各実施形態において、撮影部の撮影範囲に含まれる物体はユーザの手であるものとしたが、これに限られない。例えばスタイラス等とすることも可能である。また、手のひらの距離認識時のように撮影部からの距離変化が少ないときは、高速で距離データを更新する必要がない。

なお、本技術は以下のような構成も採ることができる。
（１）
撮影部によって異なる合焦距離で撮影された複数の撮影画像を取得する画像取得部と、
上記複数の撮影画像に基づいて、上記撮影部の撮影範囲に含まれる物体と上記撮影部の距離を検出する距離検出部と、
上記距離に基づいて、画像表示部によって表示される表示画像を生成する画像生成部と
を具備する情報処理装置。

（２）
上記（１）に記載の情報処理装置であって、
上記画像取得部は、上記複数の撮影画像のそれぞれにおいて、焦点が合っている領域である合焦領域を抽出し、
上記距離検出部は、上記合焦領域の分布に基づいて上記距離を検出する
情報処理装置。

（３）
上記（１）又は（２）に記載の情報処理装置であって、
上記画像生成部は、上記距離に基づいて、表示対象物の画像である表示対象物画像に変更を加え、上記表示画像を生成する
情報処理装置。

（４）
上記（１）から（３）のうちいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記距離に基づいて画像マスクを生成し、上記画像マスクを上記表示対象物画像と合成して上記表示画像を生成する
情報処理装置。

（５）
上記（１）から（４）のうちいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記距離に基づいて上記物体の画像を抽出し、上記物体の画像を上記表示対象物画像と合成して上記表示画像を生成する
情報処理装置。

（６）
上記（１）から（５）のうちいずれか一つに記載の情報処理装置であって、
上記画像生成部は、上記距離に基づいて上記物体の凹凸を検出し、上記表示対象物画像を上記凹凸に応じて補正し、上記表示画像を生成する
情報処理装置。

（７）
上記（１）から（６）のうちいずれか一つに記載の情報処理装置であって、
上記表示対象物画像は、入力装置の画像である
情報処理装置。

（８）
上記（１）から（７）のうちいずれか一つに記載の情報処理装置であって、
上記画像取得部は、上記距離に基づいて、上記撮影部が撮影する合焦距離の範囲を制御する
情報処理装置。

（９）
上記（１）から（８）のうちいずれか一つに記載の情報処理装置であって、
上記距離に基づいて、ユーザによる操作入力を処理する入力処理部をさらに具備する
情報処理装置。

（１０）
異なる合焦距離で複数の撮影画像を撮影する撮影部と、
上記複数の撮影画像を取得する画像取得部と、
上記撮影画像に基づいて、上記撮影部の撮影範囲に含まれる物体と上記撮影部の距離を検出する距離検出部と、
上記距離に基づいて、表示画像を生成する画像生成部と、
上記表示画像を表示する画像表示部と
を具備する情報処理装置。

（１１）
上記（１０）に記載の情報処理装置であって、
上記画像表示部は、上記表示画像を投影面に投影する
情報処理装置。

（１２）
上記（１０）又は（１１）に記載の情報処理装置であって、
上記画像表示部は、上記表示画像を表示画面に表示する
情報処理装置。

（１３）
撮影部によって異なる合焦距離で撮影された複数の撮影画像を取得する画像取得部と、
上記複数の撮影画像に基づいて、上記撮影部の撮影範囲に含まれる物体と上記撮影部の距離を検出する距離検出部と、
上記距離に基づいて、画像表示部によって表示される表示画像を生成する画像生成部と
として情報処理装置を機能させるプログラム。

（１４）
画像取得部が、撮影部によって異なる合焦距離で撮影された複数の撮影画像を取得し、
距離検出部が、上記複数の撮影画像に基づいて、上記撮影部の撮影範囲に含まれる物体と上記撮影部の距離を検出し、
画像生成部が、上記距離に基づいて、画像表示部によって表示される表示画像を生成する
情報処理方法。

１００、２００、３００…情報処理装置
１０１、２０１、３０１…撮影部
１０２、２０２、３０２…画像取得部
１０３、２０３、３０３…距離検出部
１０４、２０４、３０４…画像生成部
１０５、２０５、３０５…画像表示部
１０６、２０６、３０６…入力処理部

Claims (14)

1. 撮影部によって異なる合焦距離で撮影された複数の撮影画像を取得する画像取得部と、
   前記複数の撮影画像に基づいて、前記撮影部の撮影範囲に含まれる物体と前記撮影部の距離を検出する距離検出部と、
   前記距離に基づいて、画像表示部によって表示される表示画像を生成する画像生成部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記画像取得部は、前記複数の撮影画像のそれぞれにおいて、焦点が合っている領域である合焦領域を抽出し、
   前記距離検出部は、前記合焦領域の分布に基づいて前記距離を検出する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記画像生成部は、前記距離に基づいて、表示対象物の画像である表示対象物画像に変更を加え、前記表示画像を生成する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記画像生成部は、前記距離に基づいて画像マスクを生成し、前記画像マスクを前記表示対象物画像と合成して前記表示画像を生成する
   情報処理装置。
5. 請求項３に記載の情報処理装置であって、
   前記画像生成部は、前記距離に基づいて前記物体の画像を抽出し、前記物体の画像を前記表示対象物画像と合成して前記表示画像を生成する
   情報処理装置。
6. 請求項３に記載の情報処理装置であって、
   前記画像生成部は、前記距離に基づいて前記物体の凹凸を検出し、前記表示対象物画像を前記凹凸に応じて補正し、前記表示画像を生成する
   情報処理装置。
7. 請求項３に記載の情報処理装置であって、
   前記表示対象物画像は、入力装置の画像である
   情報処理装置。
8. 請求項１に記載の情報処理装置であって、
   前記画像取得部は、前記距離に基づいて、前記撮影部が撮影する合焦距離の範囲を制御する
   情報処理装置。
9. 請求項１に記載の情報処理装置であって、
   前記距離に基づいて、ユーザによる操作入力を処理する入力処理部をさらに具備する
   情報処理装置。
10. 異なる合焦距離で複数の撮影画像を撮影する撮影部と、
    前記複数の撮影画像を取得する画像取得部と、
    前記撮影画像に基づいて、前記撮影部の撮影範囲に含まれる物体と前記撮影部の距離を検出する距離検出部と、
    前記距離に基づいて、表示画像を生成する画像生成部と、
    前記表示画像を表示する画像表示部と
    を具備する情報処理装置。
11. 請求項１０に記載の情報処理装置であって、
    前記画像表示部は、前記表示画像を投影面に投影する
    情報処理装置。
12. 請求項１０に記載の情報処理装置であって、
    前記画像表示部は、前記表示画像を表示画面に表示する
    情報処理装置。
13. 撮影部によって異なる合焦距離で撮影された複数の撮影画像を取得する画像取得部と、
    前記複数の撮影画像に基づいて、前記撮影部の撮影範囲に含まれる物体と前記撮影部の距離を検出する距離検出部と、
    前記距離に基づいて、画像表示部によって表示される表示画像を生成する画像生成部と
    として情報処理装置を機能させるプログラム。
14. 画像取得部が、撮影部によって異なる合焦距離で撮影された複数の撮影画像を取得し、
    距離検出部が、前記複数の撮影画像に基づいて、前記撮影部の撮影範囲に含まれる物体と前記撮影部の距離を検出し、
    画像生成部が、前記距離に基づいて、画像表示部によって表示される表示画像を生成する
    情報処理方法。

Images