JP2014142695A - 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】指示物体によって画像出力面上の座標を指定する操作の精度を高める。
【解決手段】本発明に係る情報処理装置２００は、検知部２２０と算出部２２５と判定部２４５と推定部２５０とを備える。検知部２２０は、画像出力面を指し示すための指示物体の複数の部位の各々の３次元位置を検知する。算出部２２５は、指示物体の複数の部位の各々の３次元位置に基づいて、指示物体が指し示す方向と、画像出力面との交点を算出する。判定部２４５は、交点が、画像出力面において所定の範囲内であるか判定する。推定部２５０は、判定部２４５による判定に基づいて、画像出力面のうち指示物体により指し示された位置を推定する。
【選択図】図７

Description

本発明は、情報処理装置、システム、画像投影装置、情報処理方法およびプログラムに関する。

画面に表示された画像を見ながら、その手前の何もない空間に仮想の操作面を想定し、この仮想操作面をタッチパネルに見立て、指など（指示物体）を動かすことで、操作入力を与えるＵＩ（ユーザインターフェース）装置が従来から提案されている。このような非接触タイプのＵＩ装置は、接触タイプの欠点（接触する手の皮脂等で画面が汚れる等）を解消した優れたＵＩ技術と言え、近年注目されている。

上記ＵＩ装置においては、実画面の座標と仮想操作面の座標との対応が重要になる。例えば特許文献１には、仮想操作面における指先から実画面の法線方向に延びる垂直線、または、指先の移動ベクトルの延長線が実画面と交わった点を指定座標とする技術が開示されている。

しかしながら、実画面のサイズが大きいと（例えば８０インチ）、ユーザの手が届かない座標も出てくる。実画面上の目標座標が遠いほど、ユーザの指先の方向を示す直線と、実画面の法線とのなす角度が大きくなるので、実際の目標座標と、実画面のうち、指先から実画面の法線方向に延びる垂直線と交わった点とのずれが大きくなる。つまり、特許文献１に開示された技術では、実画面上の目標座標が遠いほど、座標指定の精度が低くなるという問題がある。

本発明は、上記に鑑みてなされたものであって、指示物体によって画像出力面上の座標を指定する操作の精度を高めることが可能な情報処理装置、システム、画像投影装置、情報処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像が出力される画像出力面を指し示すための指示物体の複数の部位の各々の３次元位置を検知する検知部と、前記検知部によって検知された前記指示物体の複数の部位の各々の３次元位置に基づいて、前記指示物体が指し示す方向と、前記画像出力面との交点を算出する算出部と、前記交点が、前記画像出力面において所定の範囲内であるか判定する判定部と、前記判定部による判定に基づいて、前記画像出力面のうち前記指示物体により指し示された位置を推定する推定部と、を備えることを特徴とする情報処理装置である。

また、本発明は、画像を表示する表示装置と、前記表示装置と接続される情報処理装置とを備えるシステムであって、画像が出力される画像出力面の所定位置を指し示すための指示物体の複数の部位の各々の３次元位置を検知する検知部と、前記検知部によって検知された前記指示物体の複数の部位の各々の３次元位置に基づいて、前記指示物体が指し示す方向と、前記画像出力面との交点を算出する算出部と、前記交点が、前記画像出力面において所定の範囲内であるか判定する判定部と、前記判定部による判定に基づいて、前記画像出力面のうち前記指示物体により指し示された位置を推定する推定部と、を備えることを特徴とするシステムである。

また、本発明は、投影対象物に画像を投影する画像投影装置であって、前記投影対象物のうち画像が投影される領域を示す投影領域の所定位置を指し示すための指示物体の複数の部位の各々の３次元位置を検知する検知部と、前記検知部によって検知された前記複数の部位の各々の３次元位置に基づいて、前記指示物体が指し示す方向と、前記画像出力面との交点を算出する算出部と、前記交点が、前記画像出力面において所定の範囲内であるか判定する判定部と、前記判定部による判定に基づいて、前記画像出力面のうち前記指示物体により指し示された位置を推定する推定部と、を備えることを特徴とする画像投影装置である。

また、本発明は、画像が出力される画像出力面を指し示すための指示物体の複数の部位の各々の３次元位置を検知する検知ステップと、前記検知ステップによって検知された前記指示物体の複数の部位の各々の３次元位置に基づいて、前記指示物体が指し示す方向と、前記画像出力面との交点を算出する算出ステップと、前記交点が、前記画像出力面において所定の範囲内であるか判定する判定ステップと、前記判定ステップによる判定に基づいて、前記画像出力面のうち前記指示物体により指し示された位置を推定する推定ステップと、を含むことを特徴とする情報処理方法である。

さらに、本発明は、コンピュータに、画像が出力される画像出力面を指し示すための指示物体の複数の部位の各々の３次元位置を検知する検知ステップと、前記検知ステップによって検知された前記指示物体の複数の部位の各々の３次元位置に基づいて、前記指示物体が指し示す方向と、前記画像出力面との交点を算出する算出ステップと、前記交点が、前記画像出力面において所定の範囲内であるか判定する判定ステップと、前記判定ステップによる判定に基づいて、前記画像出力面のうち前記指示物体により指し示された位置を推定する推定ステップと、を実行させるためのプログラムである。

本発明によれば、指示物体によって画像出力面上の座標を指定する操作の精度を高めることができるという有利な効果を奏する。

図１は、第１実施形態に係るシステムの概略構成例を示すブロック図である。 図２は、ユーザが、投影領域上の目標座標に向けて手を差し伸ばしている様子を示す図である。 図３は、投影領域を真横から見た状態を模式的に示す図である。 図４は、ユーザの手をセンサで測定した様子を模式的に示す図である。 図５は、投影領域を正面から見た状態を模式的に示す図である。 図６は、第１実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。 図７は、第１実施形態に係る情報処理装置の機能構成例を示すブロック図である。 図８は、情報処理装置による処理の一例を示すフローチャートである。 図９は、第２実施形態に係る情報処理装置の機能構成例を示すブロック図である。 図１０は、第３実施形態に係る情報処理装置の機能構成例を示すブロック図である。

以下、添付図面を参照しながら、本発明に係る情報処理装置、システム、画像投影装置、情報処理方法およびプログラムの実施の形態を詳細に説明する。

（第１実施形態）
図１は、本実施形態に係るシステム１の概略構成例を示すブロック図である。図１に示すように、システム１は、互いに接続される表示装置１００および情報処理装置２００を少なくとも含む。本実施形態では、表示装置１００は、壁面などの投影対象物に画像を投影するプロジェクタ（画像投影装置の一例）で構成されるが、これに限られるものではない。

本実施形態では、投影対象物のうち画像が投影される領域を示す投影領域（画像が出力される画像出力面の一例）の手前の何もない空間に仮想操作面を想定し、ユーザ（操作者）は、この仮想操作面内において、例えば手（指）やペンなどの指示物体を動かすことで、投影領域上の所定位置の座標を指定する。つまり、ユーザは、非接触で投影領域上の座標を指定する操作を行う。図２の例では、ユーザ（操作者）１０１は、投影領域１０２に表示されたボタンアイコンなどの目標座標１０３に向けて手を差し伸ばしている。なお、ここでは、投影領域１０２の法線方向は鉛直方向（重力方向）と直交し、投影領域１０２の法線方向をＺ軸、鉛直方向をＹ軸、水平方向をＸ軸に設定して説明するが、座標系の設定方法はこれに限られるものではない。

図２の例では、投影領域１０２の上方に固定されたセンサ１０６が、ユーザ１０１の手の位置（投影領域１０２の手前の空間内における手の位置）を測定している。このセンサ１０６は、赤外光を出射する発光部と、その光が手に反射して戻ってくる光を受ける受光部を備えた、いわゆる３次元距離センサで構成される。３次元距離センサは、ジェスチャ認識などで一般的に使われており、受光した光のパターン形状、受光角度、出射から受光までの時間などに基づき、光が照射された点（照射点）とセンサ１０６との３次元距離を測定できる。センサ１０６と投影領域１０２との３次元位置関係が自明とすれば、照射点（手の位置）と投影領域１０２との３次元位置関係が測定できる。見方を変えれば、センサ１０６は、照射点の３次元位置を測定しているとみなすこともできる。この例では、センサ１０６は、システム１に含まれると考えてもよい。

本実施形態では、投影領域１０２の手前の、センサ１０６が測定を行う空間（以下、「対象空間」と呼ぶ場合がある）内にユーザ１０１の手が存在する場合、センサ１０６は、ユーザ１０１の手の複数の部位の各々の３次元距離を測定し、その測定結果を示す情報を情報処理装置２００へ出力する。

情報処理装置２００は、センサ１０６からの出力を用いて、仮想操作面における指示物体の位置に対応する投影領域１０２の位置（指定座標）を推定し、その指定座標を示す情報を、表示装置１００へ出力する。情報処理装置２００の具体的な内容については後述する。表示装置１００は、情報処理装置２００により推定された指定座標に応じて表示を切り替える。例えば投影領域１０２のうち、情報処理装置２００により推定された指定座標にボタンアイコンが表示される場合は、そのボタンアイコンがタッチされたとみなし、そのボタンアイコンのタッチ操作に応じた画像を投影表示するといった具合である。

図３は、投影領域１０２を真横(側方)から見た状態を模式的に示す図である。図３の（ａ）は、ユーザの手２０１が届く位置に目標座標２０３が存在する場合を例示しており、図３の（ｂ）は、ユーザの手２０１が届かない位置に目標座標２０４が存在する場合を例示している。人間の自然な動作として、図３の（ａ）のような場合は、投影領域１０２上の目標座標２０３を触るかのように、仮想操作面１１２に指を差し入れる動作をするが、図３の（ｂ）のような場合は、仮想操作面１１２とは無関係に、目標座標２０４の方向を指で指し示す動作を行う。

本発明は、以上のように、ユーザの手２０１が届く位置に目標座標が存在するか否かで、指し示し方が異なる点に着目し、図３の（ａ）のような場合は、投影領域１０２のうち、仮想操作面１１２を指が通過した点との距離が最短となる座標を、ユーザが指し示す位置として推定し、図３の（ｂ）のような場合は、投影領域１０２と、指先だけでなく手２０１全体が指し示す方向との交点を、ユーザが指し示す位置として推定する。これにより、ユーザの手２０１などの指示物体によって投影領域１０２上の座標を指定する精度を高めることができる。

図４は、ユーザの手２０１をセンサ１０６で測定した様子を模式的に示す図である。図４の（ａ）は図３の（ａ）に対応し、図４の（ｂ）は図３の（ｂ）に対応している。センサ１０６は、ほぼ同じ時間内に、ユーザの手２０１の複数の部位の各々の３次元距離を測定する。図４に示す１つの丸印は、ユーザの手２０１の複数の部位のうちの何れか１つの部位に対応する測定点を表している。図４の（ａ）の場合は、手２０１の複数の部位と１対１に対応する複数の測定点から算出された、手２０１が指し示す方向を示す回帰直線（手２０１が指し示す方向を示す仮想線の一例）が投影領域１０２と交わる座標３０５が、投影領域１０２のうちユーザの手２０１が届く範囲として予め設定された所定の範囲内に存在するので、仮想操作面１１２を通過した指先点から投影領域１０２に向けてＺ方向（投影領域１０２の法線方向）に延ばした直線が投影領域１０２と交わる座標３０３を、ユーザの手２０１により指し示された位置として推定する。図４の（ｂ）の場合は、回帰直線が投影領域１０２と交わる座標３０４が、所定の範囲外に存在するので、その座標３０４を、ユーザの手２０１により指し示された位置として推定する。

ここで、センサ１０６が測定する空間を示す対象空間の範囲について説明する。前述したように、本実施形態では、投影領域１０２上の座標（目標座標）を指定する操作を、投影領域１０２に非接触で行えるようにしている。目標座標に常に手が届くのなら、センサ１０６は、投影領域１０２と平行に設定した仮想操作面１１２（勢いあまって接触しないよう、投影領域１０２から１０ｃｍ程度の距離が望ましい）だけを測定すればよい。しかしながら、本明細書では、目標座標に手２０１が届かない場合があると仮定している（例えば投影領域１０２の所定値以上の高さに対応する位置は高すぎて手２０１が届かない、ユーザが予め定められた位置から移動しないことを前提とすれば、投影領域１０２の左右端部に対応する位置は手２０１が届かない）。

このため、上記回帰直線を算出するためには、２次元平面ではなく、３次元空間内における手２０１の複数の部位の各々の位置を測定しなければならない。回帰直線の算出精度を上げるためには、センサ１０６は、投影領域１０２の法線方向において３０ｃｍ以内の空間内に存在するユーザの手２０１の複数の部位の各々の３次元距離を測定する形態であることが好ましい。本実施形態では、対象空間は、投影領域１０２の法線方向において３０ｃｍ以内の空間に設定されている。ただし、この対象空間も、ユーザの手２０１が届く範囲で十分である。図３において、網点で示された範囲は手２０１の届く範囲、一点鎖線で囲まれる範囲は対象空間を表している。また、図５は、投影領域１０２を正面から見た状態を模式的に示す図である。この例では、ユーザは、投影領域１０２の中央付近に存在することが想定され、ユーザの手２０１が届く範囲は、網点で示された範囲となり、対象空間は、一点鎖線で囲まれた範囲となる。図５に示すように、対象空間は、ユーザの手２０１が届く範囲を包含するように設定される。

図６は、情報処理装置２００のハードウェア構成例を示すブロック図である。図６に示すように、情報処理装置２００は、ＣＰＵ２１１と、不揮発メモリ２１２と、画像処理部２１３と、揮発メモリ２１４と、センサ入力部２１５と、外部Ｉ／Ｆ部２１６と、を備える。

ＣＰＵ２１１は、情報処理装置２００全体の動作を統括的に制御する。不揮発メモリ２１２は、ＣＰＵ２１１が実行するプログラムやデータを記憶する。不揮発メモリ２１２は、例えばＲＯＭやＨＤＤなどで構成され得る。画像処理部２１３は、例えばＡＳＩＣやＤＳＰのような回路で構成され、データを高速に処理する。揮発メモリ２１４は、ＣＰＵ２１１が処理するデータやＣＰＵ２１１が実行するプログラムなどを展開する作業メモリとして機能する。揮発メモリ２１４は、例えばＲＡＭなどで構成され得る。センサ入力部２１５は、ＣＰＵ２１１の制御の下、センサ１０６の制御を行うとともに、センサ１０６との間で情報の送受信（センサ１０６からの出力の受信等）を行う機能も有する。外部Ｉ／Ｆ部２１６は、外部装置や記憶メディア（ＩＣカード、ＣＤ、ＤＶＤ等）とのＩ／Ｆ（バス、イーサネット（登録商標）、電話回線、無線等）である。

図７は、情報処理装置２００の機能構成例を示すブロック図である。図７に示すように、情報処理装置２００は、検知部２２０と、算出部２２５と、判定部２４５と、推定部２５０とを有する。

検知部２２０は、画像が出力される画像出力面（投影領域１０２）を指し示すための指示物体の複数の部位の各々の３次元位置を検知する。より具体的には、検知部２２０は、画像出力面の手前の空間内に存在する指示物体の複数の部位の各々の３次元位置を検知する。さらに言えば、検知部２２０は、画像出力面の法線方向において３０ｃｍ以内の空間内に存在する指示物体の複数の部位の各々の３次元位置を検知する。

本実施形態では、検知部２２０は、センサ１０６からの出力に基づいて、対象空間内に存在するユーザの手２０１の複数の部位の各々の３次元位置を検知する。この例では、検知部２２０は、センサ１０６と投影領域１０２との３次元位置関係を予め把握しているので、センサ１０６により測定された複数の測定点の各々の３次元距離から、各測定の３次元位置を検知することができる。

算出部２２５は、検知部２２０により検知された指示物体の複数の部位の各々の３次元位置に基づいて、指示物体が指し示す方向と、画像出力面との交点を算出する。より具体的には、以下のとおりである。図７に示すように、本実施形態では、算出部２２５は、第１算出部２３０と第２算出部２４０とを含む。第１算出部２３０は、検知部２２０により検知された指示物体の複数の部位の各々の３次元位置に基づいて、指示物体が指し示す方向を示す仮想線を算出する。本実施形態では、第１算出部２３０は、検知部２２０により検知されたユーザの手２０１の複数の部位の各々の３次元位置に基づいて、手２０１が指し示す方向を示す回帰直線を算出する。

第２算出部２４０は、画像出力面のうち仮想線と交わる点（座標値）を示す交点を算出する。本実施形態では、第２算出部２４０は、投影領域１０２と、第１算出部２３０により算出された回帰直線との交点を算出する。

判定部２４５は、算出部２２５により算出された交点が、画像出力面において所定の範囲内であるか否かを判定する。推定部２５０は、判定部２４５による判定に基づいて、画像出力面のうち指示物体により指し示された位置を推定する。より具体的には、以下のとおりである。推定部２５０は、判定部２４５によって、算出部２２５（第２算出部２４０）により算出された交点が、所定の範囲内であると判定された場合は、画像出力面のうち、指示物体の複数の部位の何れか１つの部位との距離が最短となる位置の座標を、指示物体により指し示された位置として推定する。より具体的には、推定部２５０は、判定部２４５によって、上記交点が、所定の範囲内であると判定された場合は、検知部２２０により３次元位置が検知された複数の部位のうち、画像出力面の手前の空間における仮想の操作面を画像出力面側に通過した何れか１つの部位との距離が最短となる画像出力面の位置の座標を、指示物体により指し示された位置として推定する。さらに言えば、推定部２５０は、判定部２４５によって、上記交点が、所定の範囲内の座標である場合は、検知部２２０により３次元位置が検知された複数の部位のうち、画像出力面の手前の空間における仮想の操作面を画像出力面側に通過するとともに、画像出力面に最も近い部位との距離が最短となる画像出力面の位置の座標を、指示物体により指し示された位置として推定する。

一方、推定部２５０は、判定部２４５によって、算出部２２５（第２算出部２４０）により算出された交点が、所定の範囲外であると判定された場合は、その交点を、指示物体により指し示された位置として推定する。本実施形態では、画像出力面は投影領域１０２であり、指示物体はユーザの手２０１であるが、これに限られるものではない。なお、上述の所定の範囲とは、画像出力面においてユーザの手２０１が届く範囲として設定された範囲を指す。

本実施形態では、上述の検知部２２０、算出部２２５（第１算出部２３０、第２算出部２４０）、判定部２４５、および、推定部２５０の各々の機能は、ＣＰＵ２１１が不揮発メモリ２１２等に格納されたプログラムを実行することにより実現されるが、これに限らず、例えば上述の検知部２２０、算出部２２５（第１算出部２３０、第２算出部２４０）、判定部２４５、および、推定部２５０の各々の機能のうちの少なくとも一部が専用のハードウェア回路（例えば画像処理部２１３）により実現されてもよい。

図８は、情報処理装置２００による処理の一例を示すフローチャートである。図８に示すように、まず検知部２２０は、センサ１０６からの出力を取得する（ステップＳ１）。次に、検知部２２０は、センサ１０６により３次元距離が測定された測定点の数（手２０１の部位に対応する測定点の数）が所定数以上であるか否かを判断する（ステップＳ２）。図２に例示した構成であれば、対象空間内にユーザの手２０１が存在しなくても、床の３次元距離を測定した測定点が多数得られるが、床の位置は自明なので、測定点が手２０１の部位なのか床なのかは判別可能である。

ステップＳ２において、センサ１０６により３次元距離が測定された測定点の数が所定数以上であると判断した場合（ステップＳ２：ＹＥＳ）、検知部２２０は、ユーザの手２０１の複数の部位と１対１に対応する複数の測定点の各々の３次元位置を示す情報を、第１算出部２３０へ出力する。そして、第１算出部２３０は、各測定点の３次元位置から、ユーザの手２０１が指し示す方向を示す回帰直線を算出する（ステップＳ３）。

次に、第２算出部２４０は、投影領域１０２と、ステップＳ３で算出された回帰直線との交点を算出する（ステップＳ４）。次に、判断部２４５は、ステップＳ４で算出された交点は、所定の範囲内であるか否かを判断する（ステップＳ５）。

ステップＳ５において、ステップＳ４で算出された交点は、所定の範囲内であると判断した場合（ステップＳ５：ＹＥＳ）、推定部２５０は、検知部２２０により３次元位置が検知された複数の測定点の中から、投影領域１０２に最も近い測定点（投影領域１０２に最近傍の測定点）を選ぶ（ステップＳ６）。次に、推定部２５０は、ステップＳ６で選んだ測定点は、仮想操作面１１２よりも投影領域１０２側に位置するか否かを判断する（ステップＳ７）。ステップＳ６で選んだ測定点は、仮想操作面１１２よりも投影領域１０２側に位置すると判断した場合（ステップＳ７：ＹＥＳ）、推定部２５０は、ステップＳ６で選んだ測定点からＺ方向（投影領域１０２の法線方向）に伸びる垂直線を算出する（ステップＳ８）。次に、推定部２５０は、投影領域と、ステップＳ８で算出した垂直線との交点を算出する（ステップＳ９）。次に、推定部２５０は、ステップＳ９で算出した交点を、ユーザの手２０１により指し示された位置として推定する（ステップＳ１０）。

一方、上述のステップＳ５において、ステップＳ４で算出された交点は、所定の範囲外であると判断した場合（ステップＳ５：ＮＯ）、推定部２５０は、ステップＳ４で算出した交点を、ユーザの手２０１により指し示された位置として推定する（ステップＳ１１）。

以上に説明したように、本実施形態では、投影領域１０２と、ユーザの手２０１が指し示す方向との交点が、ユーザの手２０１が届く範囲として予め設定された所定の範囲内である場合は、投影領域１０２のうち、ユーザの手２０１の複数の部位のうちの何れか１つの部位（本実施形態では、ユーザの手２０１の複数の部位のうち、仮想操作面１１２を通過するとともに投影領域１０２に最も近い部位）との距離が最短となる位置の座標を、ユーザの手２０１により指し示された位置として推定する。一方、上記交点が、所定の範囲外である場合は、その交点を、ユーザの手２０１により指し示された位置として推定する。これにより、ユーザの手２０１などの指示物体によって投影領域１０２上の座標を指定する操作の精度を高めることができる。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、前述の所定の範囲を可変に決定する点で上述の第１実施形態と相違する。以下、具体的に説明する。上述の第１実施形態と共通する要素については、同一の符号を付すなどして、適宜に説明を省略する。

図９は、第２実施形態に係る情報処理装置３００の機能構成例を示すブロック図である。図９に示すように、情報処理装置３００は、指示物体の３次元位置に基づいて、所定の範囲を可変に決定する第１決定部２６０をさらに有する点で第１実施形態と相違する。第１決定部２６０による所定の範囲の決定処理（以下、「キャリブレーション処理」と呼ぶ場合がある）は、図８の処理が行われる前に実行される。本実施形態では、キャリブレーション処理を開始するときに、情報処理装置３００は、予め定められた位置から、投影領域１０２に向けて手２０１を水平に差し出すことを促す情報をユーザに対して報知する。例えば報知画像を出力する形態であってもよいし、報知音声を出力する形態であってもよい。

図９に示すように、第１決定部２６０は、取得部２６１と、解析部２６２と、設定部２６３とを含む。取得部２６１は、投影領域１０２に向けて水平に差し出されたユーザの手２０１の複数の部位の各々の３次元位置を示す情報を、検知部２２０に対して要求し、その要求に対する応答として、ユーザの手２０１の複数の部位の各々の３次元位置を示す情報を、検知部２２０から取得する。

解析部２６２は、取得部２６１により取得された、ユーザの手２０１の複数の部位の各々の３次元位置を示す情報を解析して、ユーザの手２０１が指し示す方向を示す回帰直線を算出し、算出した回帰直線から、ユーザが水平に手２０１を差し出したか否かを判断する。例えば解析部２６２は、算出した回帰直線と、予め用意された、投影領域１０２の法線方向を示す基準線とのなす角度が閾値以下であるか否かを判定し、算出した回帰直線と基準線とのなす角度が閾値以下の場合は、ユーザが水平に手２０１を差し出したと判断することもできる。

そして、解析部２６２は、ユーザが水平に手２０１を差し出したと判断した場合は、投影領域１０２と、算出した回帰直線との交点を算出する。設定部２６３は、解析部２６２により算出された交点から、投影領域１０２のうちユーザの手２０１が届く範囲を推定し、その推定した範囲を、所定の範囲として設定する。

ここで、投影領域１０２と、水平に差し出されたユーザの手２０１が指し示す方向を示す回帰直線との交点は、ユーザの体格（身長等）に応じて異なる位置を示す。本実施形態によれば、所定の範囲は、ユーザの体格に応じて可変に決定されるので、指示物体によって投影領域１０２上の座標を指定する操作の精度を一層高めることができる。

（第２実施形態の変形例１）
例えばキャリブレーション処理を行うときに、情報処理装置３００は、投影領域１０２上の所定位置（例えば中央付近）に特定画像を表示させ、その特定画像に向けて手２０１を差し出すことを促す情報をユーザに対して報知することもできる。

この場合、取得部２６１は、投影領域１０２上の所定位置に表示された特定画像に向けて差し出されたユーザの手２０１の複数の部位の各々の３次元位置を示す情報を、検知部２２０に対して要求し、その要求に対する応答として、ユーザの手２０１の複数の部位の各々の３次元位置を示す情報を、検知部２２０から取得することもできる。

そして、解析部２６２は、取得部２６１により取得された、ユーザの手２０１の複数の部位の各々の３次元位置を示す情報を解析して、ユーザの手２０１が指し示す方向を示す回帰直線を算出し、算出した回帰直線と、投影領域１０２の法線方向を示す基準線とのなす角度を算出することもできる。この角度は、ユーザの体格に応じて異なる値を示し、例えば身長の低いユーザに対応する角度は、身長の高いユーザに対応する角度に比べて大きい値を示す。

そして、設定部２６３は、解析部２６２により算出された角度から、ユーザの手２０１の届く範囲を推定し、その推定した範囲を、所定の範囲として設定する。

本変形例でも、上述の所定の範囲は、ユーザの体格に応じて可変に決定されるので、指示物体によって投影領域１０２上の座標を指定する操作の精度を一層高めることができる。

（第２実施形態の変形例２）
例えば解析部２６２は、取得部２６１により取得された、ユーザの手２０１の複数の部位の各々の３次元位置を示す情報を解析して、ユーザの身長を推定することもできる。この場合、設定部２６３は、解析部２６２により推定されたユーザの身長から、投影領域１０２のうちユーザの手２０１が届く範囲を推定し、その推定した範囲を、所定の範囲として設定する。

なお、本変形例においては、キャリブレーション処理を開始するときに、情報処理装置３００は、予め定められた位置から、投影領域１０２に向けて手２０１を水平に差し出すことを促す情報をユーザに対して報知してもよいし、投影領域１０２上の所定位置に特定画像を表示させ、その特定画像に向けて手２０１を差し出すことを促す情報をユーザに対して報知してもよい。

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態では、ユーザの体格を示す体格情報の入力を受け付け、その受け付けた入力に基づいて、前述の所定の範囲を可変に決定する点で上述の各実施形態と相違する。以下、具体的に説明する。上述の各実施形態と共通する要素については、同一の符号を付すなどして、適宜に説明を省略する。

図１０は、第３実施形態に係る情報処理装置３１０の機能構成例を示すブロック図である。図１０に示すように、情報処理装置３１０は、体格情報の入力を受け付け、その受け付けた入力に基づいて、所定の範囲を可変に決定する第２決定部２７０を有する点で上述の各実施形態と相違する。この例では、体格情報は、ユーザの身長を示す情報であるが、これに限られるものではない。第２決定部２７０による所定の範囲の決定処理（キャリブレーション処理）は、図８の処理が行われる前に実行される。本実施形態では、キャリブレーション処理を開始するときに、情報処理装置３１０は、身長（体格情報の一例）の入力を促す情報をユーザに対して報知する。例えば報知画像を出力する形態であってもよいし、報知音声を出力する形態であってもよい。

図１０に示すように、第２決定部２７０は、受付部２７１と、設定部２７２とを含む。受付部２７１は、ユーザからの身長の入力を受け付ける。設定部２７２は、受付部２７１で受け付けた入力（身長を示す情報）から、投影領域１０２のうちユーザの手２０１が届く範囲を推定し、その推定した範囲を、所定の範囲として設定する。

本実施形態でも、上述の所定の範囲は、ユーザの体格に応じて可変に決定されるので、指示物体によって投影領域１０２上の座標を指定する操作の精度を一層高めることができる。

以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。また、各実施形態および変形例は任意に組み合わせることが可能である。

上述の各実施形態に係る情報処理装置（２００、３００、３１０）は、設置容易性を考慮すると表示装置１００と一体型であることが好ましい。例えば、この一体型の装置は、投影対象物に画像を投影する画像投影装置として捉えることもできる。つまり、本発明は、画像投影装置に対しても適用可能である。本発明に係る画像投影装置は、投影領域の所定位置を指し示すための指示物体の複数の部位の各々の３次元位置を検知する検知部と、検知部によって検知された指示物体の複数の部位の各々の３次元位置に基づいて、指示物体が指し示す方向と、画像出力面との交点を算出する算出部と、交点が、画像出力面において所定の範囲内であるか判定する判定部と、判定部による判定に基づいて、画像出力面のうち指示物体により指し示された位置を推定する推定部と、を備える形態であればよい。

また、表示装置１００は、例えば液晶型のディスプレイ装置であってもよい。また、画像が出力される画像出力面も、その法線方向が鉛直方向と一致する平置き型の態様であってもよい。３次元距離を測定するセンサ１０６も、光学式に限らず、超音波式であってもよい。センサ１０６の位置も、画像出力面の上側でなく下側であってもよい。

上述の情報処理装置（２００、３００、３１０）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、上述の情報処理装置（２００、３００、３１０）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の情報処理装置（２００、３００、３１０）で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

１ システム
１００ 表示装置
１０２ 投影領域
１０６ センサ
１１２ 仮想操作面
２００ 情報処理装置
２０１ 手
２１１ ＣＰＵ
２１２ 不揮発メモリ
２１３ 画像処理部
２１４ 揮発メモリ
２１５ センサ入力部
２１６ 外部Ｉ／Ｆ部
２２０ 検知部
２２５ 算出部
２３０ 第１算出部
２４０ 第２算出部
２４５ 判定部
２５０ 推定部
２６０ 第１決定部
２６１ 取得部
２６２ 解析部
２６３ 設定部
２７０ 第２決定部
２７１ 受付部
２７２ 設定部
３００ 情報処理装置
３１０ 情報処理装置

特開２００９−１１６５８３号公報

Claims (14)

1. 画像が出力される画像出力面を指し示すための指示物体の複数の部位の各々の３次元位置を検知する検知部と、
   前記検知部によって検知された前記指示物体の複数の部位の各々の３次元位置に基づいて、前記指示物体が指し示す方向と、前記画像出力面との交点を算出する算出部と、
   前記交点が、前記画像出力面において所定の範囲内であるか判定する判定部と、
   前記判定部による判定に基づいて、前記画像出力面のうち前記指示物体により指し示された位置を推定する推定部と、を備える、
   ことを特徴とする情報処理装置。
2. 前記推定部は、前記判定部によって、前記交点が、前記所定の範囲内であると判定された場合は、前記画像出力面のうち、前記指示物体の複数の部位の何れか１つの部位との距離が最短となる位置の座標を、前記指示物体により指し示された位置として推定する一方、前記交点が、前記所定の範囲外であると判定された場合は、前記交点を、前記指示物体により指し示された位置として推定する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記検知部は、前記画像出力面の手前の空間内に存在する前記指示物体の複数の部位の各々の３次元位置を検知する、
   ことを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 前記検知部は、前記画像出力面の法線方向において３０ｃｍ以内の空間内に存在する前記指示物体の複数の部位の各々の３次元位置を検知する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記推定部は、前記交点が前記所定の範囲内である場合は、前記指示物体の複数の部位のうち、前記画像出力面の手前の空間における仮想の操作面を前記画像出力面側に通過した何れか１つの部位との距離が最短となる前記画像出力面の位置の座標を、前記指示物体により指し示された位置として推定する、
   ことを特徴とする請求項１乃至４のうちの何れか１項に記載の情報処理装置。
6. 前記推定部は、前記指示物体の複数の部位のうち前記画像出力面に最も近い部位との距離が最短となる前記画像出力面の位置の座標を、前記指示物体により指し示された位置として推定する、
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記指示物体の３次元位置に基づいて、前記所定の範囲を可変に決定する第１決定部をさらに備える、
   ことを特徴とする請求項１乃至６のうちの何れか１項に記載の情報処理装置。
8. ユーザの体格を示す体格情報の入力を受け付け、その受け付けた前記体格情報に基づいて、前記所定の範囲を可変に決定する第２決定部をさらに備える、
   ことを特徴とする請求項１乃至６のうちの何れか１項に記載の情報処理装置。
9. 前記算出部は、
   前記指示物体の複数の部位の各々の３次元位置に基づいて、前記指示物体が指し示す方向を示す仮想線を算出する第１算出部と、
   前記画像出力面のうち、前記仮想線と交わる点を示す前記交点を算出する第２算出部と、を含む、
   ことを特徴とする請求項１乃至８のうちの何れか１項に記載の情報処理装置。
10. 前記所定の範囲は、前記画像出力面においてユーザの手が届く範囲として設定された範囲である、
    ことを特徴とする請求項１乃至９のうちの何れか１項に記載の情報処理装置。
11. 画像を表示する表示装置と、前記表示装置と接続される情報処理装置とを備えるシステムであって、
    画像が出力される画像出力面の所定位置を指し示すための指示物体の複数の部位の各々の３次元位置を検知する検知部と、
    前記検知部によって検知された前記指示物体の複数の部位の各々の３次元位置に基づいて、前記指示物体が指し示す方向と、前記画像出力面との交点を算出する算出部と、
    前記交点が、前記画像出力面において所定の範囲内であるか判定する判定部と、
    前記判定部による判定に基づいて、前記画像出力面のうち前記指示物体により指し示された位置を推定する推定部と、を備える、
    ことを特徴とするシステム。
12. 投影対象物に画像を投影する画像投影装置であって、
    前記投影対象物のうち画像が投影される領域を示す投影領域の所定位置を指し示すための指示物体の複数の部位の各々の３次元位置を検知する検知部と、
    前記検知部によって検知された前記複数の部位の各々の３次元位置に基づいて、前記指示物体が指し示す方向と、前記画像出力面との交点を算出する算出部と、
    前記交点が、前記画像出力面において所定の範囲内であるか判定する判定部と、
    前記判定部による判定に基づいて、前記画像出力面のうち前記指示物体により指し示された位置を推定する推定部と、を備える、
    ことを特徴とする画像投影装置。
13. 画像が出力される画像出力面を指し示すための指示物体の複数の部位の各々の３次元位置を検知する検知ステップと、
    前記検知ステップによって検知された前記指示物体の複数の部位の各々の３次元位置に基づいて、前記指示物体が指し示す方向と、前記画像出力面との交点を算出する算出ステップと、
    前記交点が、前記画像出力面において所定の範囲内であるか判定する判定ステップと、
    前記判定ステップによる判定に基づいて、前記画像出力面のうち前記指示物体により指し示された位置を推定する推定ステップと、を含む、
    ことを特徴とする情報処理方法。
14. コンピュータに、
    画像が出力される画像出力面を指し示すための指示物体の複数の部位の各々の３次元位置を検知する検知ステップと、
    前記検知ステップによって検知された前記指示物体の複数の部位の各々の３次元位置に基づいて、前記指示物体が指し示す方向と、前記画像出力面との交点を算出する算出ステップと、
    前記交点が、前記画像出力面において所定の範囲内であるか判定する判定ステップと、
    前記判定ステップによる判定に基づいて、前記画像出力面のうち前記指示物体により指し示された位置を推定する推定ステップと、を実行させるためのプログラム。

Images