JP2016126548A - 表示装置、表示制御プログラム - Google Patents

Abstract

【課題】非表示となる情報量を抑制しながら画像のシフトを実施可能にする技術の提供。【解決手段】表示面に画像を表示する表示装置であって、前記画像内の一部の領域を指定する領域指定ジェスチャーと、前記領域に含まれる前記画像の移動方向を指定する移動方向指定ジェスチャーと、を検出するジェスチャー検出部と、前記領域に含まれる前記画像を前記移動方向に移動させる画像処理部と、を備える表示装置を構成する。【選択図】図３

Description

本発明は、表示装置、表示制御プログラムに関する。

従来、表示装置に表示されたオブジェクトを移動させる技術が知られている。例えば、特許文献１には、指が届かないオブジェクトに指が届くようにスクロールさせる入出力装置が開示されている。

特開２０１４−２７５６号公報

従来の技術においては、移動すべき部分を選択して移動させ、移動すべき部分以外の部分を移動させないようにすることができなかった。従って、移動が行われると移動されていない部分を視認することができなくなり、表示装置としての機能が損なわれてしまう。特に、比較的大きい画面を表示するプロジェクターやインタラクティブホワイトボード等の表示装置は、プレゼンテーションや各種の会議などに利用されることが多いが、これらの表示装置の表示内容に基づいて利用者が説明等を行う際に表示内容を移動させる場合、移動すべき部分と移動させない部分とが選択できないと、表示装置としての機能が損なわれる。例えば、大画面の上部に表示されたグラフを利用して背の低い利用者が説明を行うため、グラフを下方に移動させることに伴って画像の全体を下方にスライドさせると、画像の表示内容のほぼ全てが表示外のエリアに移動されることになり、グラフ以外の情報を説明等に利用することができない。
本発明は、領域を選択してシフトさせることを可能にする技術を提供することを目的とする。

上記目的を達成するための表示装置は、表示面に画像を表示する表示装置であって、画像内の一部の領域を指定する領域指定ジェスチャーと、領域に含まれる画像の移動方向を指定する移動方向指定ジェスチャーと、を検出するジェスチャー検出部と、領域に含まれる画像を移動方向に移動させる画像処理部と、を備える。

すなわち、利用者は、領域指定ジェスチャーによって移動すべき領域を指定することができ、移動方向指定ジェスチャーによって当該領域に含まれる画像の移動方向を指定することができる。そして、これらのジェスチャーが行われると、画像処理部が指定された領域の画像を指定された方向に移動させる。従って、当該領域外の画像は移動されない。この結果、利用者は、説明等に必要な一部の領域の画像を選択して移動させることができる。

ここで、表示装置は、表示面に画像を表示する装置であればよく、スクリーン等が表示面となるプロジェクターであってもよいし、複数の表示素子を備える表示面からの発光によって画像を表示するディスプレイ（インタラクティブホワイトボード等を含む）であってもよい。

ジェスチャー検出部は、利用者が行うジェスチャーを検出することができればよい。ジェスチャーは利用者の体の一部を使って行われるが、体の一部の動作は、体以外の物体を含む任意の対象に基づいて検出されてもよい。例えば、ジェスチャー検出部は、利用者の体の一部を直接的に検出してもよいし、利用者が持つ物体（指示棒や筆記具状の物体等）を検出することで利用者の体の一部を間接的に検出してもよい。

また、検出原理としても種々の原理を採用可能である。例えば、利用者の体の一部や利用者が持つ物体からの光（反射光やこれらの物体で遮断される光、当該物体から出力される光等）を光学センサー等によって検出し、これらの物体の位置の変化に基づいてジェスチャーを検出してもよいし、利用者の体の一部や利用者が持つ物体の表示面等に対する接触をタッチセンサー等によって検出し、接触位置の変化に基づいてジェスチャーを検出してもよく、種々の構成を採用可能である。

ジェスチャーは、利用者の体の少なくとも一部を利用した動作であり、各種の動作を領域指定ジェスチャー、移動方向指定ジェスチャーとすることができる。領域指定ジェスチャーは、画像内の一部の領域を指定することができればよく、表示面上の画像の位置とジェスチャーを行う体の部分の位置とが対応づけられた状態でジェスチャーが行われることが好ましい。例えば、表示面に沿って体の部分を移動させるジェスチャーを行うことで体の部分と表示面内の画像の位置とが対応づけられた状態でジェスチャーが行われてもよい。

領域指定ジェスチャーは、画像内の一部の領域を指定することができればよく、例えば、ジェスチャーによって矩形の領域の一辺または二辺を指定する構成であってもよいし、ジェスチャーによって示された任意の図形と同様の形状の領域を指定する構成であってもよく、種々の構成を採用可能である。なお、ジェスチャーによって矩形の領域の一辺を指定する構成の場合、当該一辺に垂直な方向の辺の長さは種々の要素によって既定可能であり、例えば、表示面に表示される画像が矩形であり、ジェスチャー検出部が、表示面に沿って利用者が体の一部を移動させる第１ジェスチャーを領域指定ジェスチャーとして検出して、領域指定ジェスチャーにおける体の一部の位置と表示面に表示される画像の辺に沿う体の一部の移動距離とに基づいて、矩形の領域の一辺の位置および長さを取得し、当該一辺とは異なる方向の辺の長さを、矩形の領域の他の辺の長さとみなす構成等を採用可能である。

なお、領域指定ジェスチャーが行われた方向が表示面に表示される画像の辺に平行でない場合、ジェスチャーが行われた方向を表示面に表示される画像の辺に投影した長さによって矩形の領域の一辺の長さを取得すればよい。以上の構成によれば、利用者は、一辺を領域指定ジェスチャーで指定することにより、矩形の領域を指定することができ、簡易なジェスチャーによって領域を指定することが可能である。

移動方向指定ジェスチャーは、領域指定ジェスチャーで指定された領域に含まれる画像の移動方向を指定することができればよく、例えば、ジェスチャーが行われた方向や、ジェスチャーが行われた方向に最も近い矩形の画像の辺、表示面の辺等の方向を移動方向として取得する構成など、種々の構成を採用可能である。後者としては、ジェスチャー検出部が、表示面に沿って利用者が体の一部を移動させる第２ジェスチャーを移動方向指定ジェスチャーとして検出して、移動方向指定ジェスチャーにおける体の一部の表示面に表示される画像の辺に沿う移動方向を、矩形の領域に含まれる画像の移動方向として取得する構成を採用可能である。この構成によれば、指定された領域内の画像を既定の移動方向に移動させる指示を簡易な移動方向指定ジェスチャーで実行することができる。

画像処理部は、領域指定ジェスチャーで指定された領域に含まれる画像を移動方向に移動させることができればよい。すなわち、画像処理部は、表示面に表示する画像を生成し、表示装置を制御して生成された画像を表示面に表示させることが可能である。表示面に表示する画像は、表示前に予め生成されればよく、各種の文章やプレゼンテーション資料、コンピューターによる画面表示内容等を示す画像等が上げられる。

画像処理部は、任意の画像を表示面に表示させることが可能であるため、領域指定ジェスチャーで移動すべき領域が指定されると、当該領域内の画像を抜き出して、任意の位置に移動させた画像を生成することも可能である。従って、移動方向指定ジェスチャーによって移動方向が指定されると、当該領域内の画像を当該移動方向に移動させればよい。むろん、画像を移動させた後には画像を停止させる必要があるが、移動開始から移動終了までの移動量は、種々の手法で指定可能である。例えば、移動方向指定ジェスチャーによって指定されても良いし、利用者の位置によって指定されても良いし、デフォルトで指定されても良い。移動方向指定ジェスチャーによって移動量が指定される構成としては、種々の構成を採用可能であり、例えば、移動方向指定ジェスチャーによって利用者の体の一部が移動した距離に基づいて移動量が指定される構成等を採用可能である。

むろん、この場合において、移動方向指定ジェスチャーにおける体の一部の、表示面に表示される画像の辺に沿う移動距離が領域の移動量と見なす構成であってもよい。また、利用者の位置によって移動量が指定される構成としては、利用者の位置を移動方向指定ジェスチャー等に基づいて特定し、当該利用者の位置の周辺に画像を移動させる構成等を採用可能である。

さらに、表示装置が、検出対象の位置に基づいて画像内の指示位置を検出する指示位置検出部と、指示位置の軌跡を示す軌跡画像を画像に追加する画像追加部と、を備える構成であってもよい。この構成であれば、利用者は、表示装置における任意の画像に対して所望の文字や画像等の情報を追加し、表示装置に表示させることができる。そして、この構成において、領域指定ジェスチャーで指定された領域に含まれる画像が移動された後、移動後の画像に指示位置が含まれる場合に、画像追加部が、当該移動後の画像に軌跡画像を追加する構成であってもよい。すなわち、利用者は、領域指定ジェスチャーで指定された領域の画像を移動する前であっても、移動した後であっても、移動後の画像を含む任意の画像に所望の軌跡画像を追加することができる。

指示位置検出部は、検出対象の位置に基づいて画像内の指示位置を検出することができればよく、検出対象は、利用者の体の一部であってもよいし、利用者が持つ物体（指示棒や筆記具状の物体等）であってもよい。検出対象の位置は、画像内の位置を指示していればよく、例えば、検出対象で表示面内の任意の位置を指示可能に構成されており、当該指示によって画像内の指示位置が取得される構成等を採用可能である。

画像追加部は、指示位置の軌跡を示す軌跡画像を画像に追加することができればよい。軌跡画像は、指示位置の軌跡であり、当該軌跡によって任意の文字や図形等が表現可能であればよい。むろん、指示位置検出部によって検出される指示位置は、軌跡画像の生成以外に使用されても良く、例えば、表示面内のアイコンの位置の指示等に使用されてもよい。

さらに、ジェスチャー検出部が、画像の移動をキャンセルするキャンセルジェスチャーを検出し、記画像処理部は、移動後の画像に軌跡画像が追加された後にキャンセルジェスチャーが検出された場合、軌跡画像とともに移動後の画像を元の位置に戻す構成を採用してもよい。この構成によれば、利用者は、表示面に表示された画像の所望の場所を自身の近くなど、所望の位置に移動させた後に、画像に対して軌跡画像を追加し、さらに、当該画像を元の場所に戻すことが可能になる。なお、キャンセルジェスチャーは、画像の移動をキャンセルするジェスチャーとして予め決められたジェスチャーであればよく、例えば、移動方向指定ジェスチャーと同様のジェスチャーであって、体の部位の移動方向が逆向きであるジェスチャー等をキャンセルジェスチャーとする構成等を採用可能である。

さらに、本発明のように、ジェスチャーによって指定された領域を単位に表示装置内の画像を移動させる手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。

（１Ａ）は本発明の実施形態にかかる表示装置の使用状態を示す図であり、（１Ｂ）は本発明の実施形態にかかる表示装置のブロック図である。 （２Ａ）は軌跡画像追加処理のフローチャート、（２Ｂ）は画像移動処理のフローチャートである。 （３Ａ）〜（３Ｆ）は表示面に表示される画像の例を示す図である。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）表示装置の構成：
（２）軌跡画像追加処理：
（３）画像移動処理：
（４）他の実施形態：

（１）表示装置の構成：
図１Ａは、本発明の実施形態にかかる表示装置の使用状態を示す図であり、図１Ｂは、本発明の実施形態にかかる表示装置のブロック図である。表示装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０と撮像部４０と投影部４１と通信Ｉ／Ｆ４２とを備えており、制御部２０は、ＲＯＭ等に記録されたプログラムを実行することができる。

撮像部４０は、図示しない赤外線光源、光学系、撮影素子を備えている。撮像部４０は、光学系を介して赤外線光源から赤外線を出力することにより、表示面に平行な方向かつ撮像部４０から表示面方向を見た全範囲（図１Ａに示す角度Ｔ）に赤外線を出力する。撮影素子は、表示面の全範囲から撮像部４０に入射する赤外線を、光学系を介して集光し、その強度を示す情報を出力する素子である。従って、赤外線光源から出力された赤外線が、利用者の指や利用者が持つ物体に反射して撮像部４０に入射すると、入射方向に応じた撮影素子で当該反射した赤外線を検出することができる。

投影部４１は、図示しない光源、光変調装置、光学系を備えており、光源から出力される可視光の透過量を光変調装置によって画素毎に制御し、光学系を介して出力する装置である。表示装置１０は、表示面（図１Ａに示すスクリーンＳＣ）の上方の壁面や天井、自立式のスクリーンに伴って設置される支柱等に設置され、投影部４１からの出力光を表示面に投影することができる。投影部４１は、制御部２０の制御により画素毎の透過量を変調させることができるため、表示装置１０は、制御部２０の制御により投影部４１からの投影光を表示面に投影することにより、表示面に任意の画像を表示することができる。

通信Ｉ／Ｆ４２は、コンピューター等の外部装置と通信を行い、任意の情報を授受するためのインターフェースである。本実施形態においては、プレゼンテーション資料等の画像を示す画像情報が記録された記録媒体を備えるコンピューターが通信Ｉ／Ｆ４２によって表示装置１０に接続される。すなわち、制御部２０は、通信Ｉ／Ｆ４２を介して表示面に表示するための画像情報を取得する。

本実施形態において制御部２０は、ＲＯＭ等に記録された図示しない各種のプログラムを実行することが可能である。本実施形態においては、これらのプログラムの１種として表示制御プログラム２１が含まれており、制御部２０は、表示制御プログラム２１の処理により、撮像部４０および投影部４１を制御する。これらの制御を行うため、表示制御プログラム２１は、ジェスチャー検出部２１ａと画像処理部２１ｂと指示位置検出部２１ｃと画像追加部２１ｄとを備えている。

画像処理部２１ｂは、表示面に表示する画像を生成し、生成された画像を表示面に表示させる機能を制御部２０に実現させるプログラムモジュールである。表示面に表示する画像は任意の情報に基づいて生成可能であるが、ここでは、通信Ｉ／Ｆ４２を介して接続されたコンピューターから取得される画像情報に基づいて表示面に表示する画像が生成される例を想定する。すなわち、制御部２０は、コンピューターを利用した利用者の指示等に基づいて通信Ｉ／Ｆ４２から画像情報を取得し、当該画像情報から表示面に表示する画像を生成する（画像情報が示す画像を表示するための情報をＲＡＭに書き込む）。そして、制御部２０は、投影部４１を制御し、当該生成された画像を表示面に表示させる。

ジェスチャー検出部２１ａは、利用者が行うジェスチャーを検出する機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、ジェスチャー検出部２１ａの処理により、利用者が自身の体の一部を使って所定のジェスチャーを行った場合に、当該ジェスチャーを検出する。本実施形態においては、領域指定ジェスチャー、移動方向指定ジェスチャーおよびキャンセルジェスチャーが、利用者によって行われるジェスチャーとして予め決められている。

これらのジェスチャーは、表示面上の画像の位置とジェスチャーを行う体の部分の位置とが対応づけられる状態で行われる。すなわち、制御部２０は、撮像部４０を制御し、所定期間毎に赤外線光源から赤外線を出力する。利用者の手や指など（以下、指等と呼ぶ）で赤外線が反射し、反射した赤外線が撮像部４０に入射すると、制御部２０は、撮像部４０を制御して撮影素子によって赤外線を検出し、赤外線の入射方向を検出する。そして、制御部２０が、赤外線の入射方向と、赤外線が出力されてから検出されるまでのタイムラグとに基づいて利用者の指等の位置を検出する。

制御部２０は、画像処理部２１ｂの処理に基づいて投影部４１に画像を投影させており、画像を構成する各画素が投影される位置は（例えば、キャリブレーション等によって）予め特定されている。また、撮像部４０における赤外線の照射方向は、表示面に平行であり、赤外線の照射範囲は表示面からわずかに離れた面内に存在する。従って、制御部２０が撮像部４０の検出結果に基づいて利用者の指等の位置を検出すると、当該指等の位置と実質的に同一と見なすことができる画像内の位置を特定することができる。そこで、制御部２０は、検出された指等の位置に対応する画像内の位置を指示位置として取得する。

領域指定ジェスチャーは、画像内の一部の領域を指定するジェスチャーであり、本実施形態においては、指等を直線的に移動させるジェスチャーが領域指定ジェスチャーとして予め規定されている。そこで、赤外線の照射範囲内で指等が直線的に移動するジェスチャーが行われた場合に、制御部２０は、ジェスチャー検出部２１ａの処理により、領域指定ジェスチャーが行われたことを検出する。

本実施形態においては、当該領域指定ジェスチャーにより、移動対象となる画像を示す矩形の領域の一辺を指定するように構成されている。そこで、制御部２０は、ジェスチャー検出部２１ａの処理により、領域指定ジェスチャーにおける指等の位置と表示面に表示される画像（本例では表示面に表示される全画像）の辺に沿う指等の移動距離とに基づいて、矩形の領域の一辺の位置および長さを取得する。すなわち、制御部２０は、領域指定ジェスチャーによって指等が移動した方向を示すベクトルを、表示面に表示される画像の横の辺および縦の辺のそれぞれに投影した場合の線分を仮定し、長い方を特定する。そして、当該長い方の線分が領域の一辺であると見なす。さらに、制御部２０は、当該線分に垂直な、すなわち、表示面に表示される画像における異なる辺の長さを領域の他の一辺であると見なし、両辺に囲まれた矩形の領域を利用者が指定した領域であると見なす。以上の構成によれば、利用者は、一辺を領域指定ジェスチャーで指定することにより、矩形の領域を指定することができ、簡易なジェスチャーによって領域を指定することが可能である。

移動方向指定ジェスチャーは、領域指定ジェスチャーで指定された領域に含まれる画像の移動方向を指定するジェスチャーであり、本実施形態においては、領域が指定された後のジェスチャーであって、指等を直線的に移動させるジェスチャーが移動方向指定ジェスチャーとして予め規定されている。そこで、領域指定ジェスチャーによって領域が指定された後に、赤外線の照射範囲内で指等が直線的に移動するジェスチャーが行われた場合に、制御部２０は、ジェスチャー検出部２１ａの処理により、移動方向指定ジェスチャーが行われたことを検出する。

本実施形態において制御部２０は、当該移動方向指定ジェスチャーが行われた方向に最も近い表示面に表示される画像の辺の方向を移動方向として取得する。具体的には、制御部２０は、ジェスチャー検出部２１ａの処理により、移動方向指定ジェスチャーにおいて指等が移動した方向を示すベクトルを、表示面に表示される画像の横の辺および縦の辺のそれぞれに投影した場合の線分を仮定し、長い方を特定する。そして、当該長い方の線分に平行な方向を、矩形の領域に含まれる画像の移動方向として取得する。なお、移動方向は、領域指定ジェスチャーによって特定された画像の一辺とは異なる他の辺の方向でもよいし、同じ辺の方向でもよい。この構成によれば、既定の移動方向（表示面に表示される画像の２辺に平行な各方向）に領域内の画像を移動させる指示を簡易な移動方向指定ジェスチャーで実行することができる。なお、本実施形態においては、移動方向指定ジェスチャーによって、画像の移動量も指定されるように構成されている。すなわち、制御部２０は、移動方向指定ジェスチャーにおいて指等が移動した方向を示すベクトルを、表示面の横の辺および縦の辺のそれぞれに投影した場合の線分のうち、長い方の線分の長さを移動量と見なす。

キャンセルジェスチャーは、画像の移動をキャンセルするジェスチャーであり、本実施形態においては、移動方向指定ジェスチャーの後のジェスチャーであって、移動方向指定ジェスチャーと同様のジェスチャーであるとともに、指等の移動方向が逆向きであるジェスチャーがキャンセルジェスチャーとして予め規定されている。そこで、移動方向指定ジェスチャーによって移動方向が指定された後に、赤外線の照射範囲内で指等が移動方向指定ジェスチャーと逆向きに直線的に移動するジェスチャーが行われた場合に、制御部２０は、ジェスチャー検出部２１ａの処理により、キャンセルジェスチャーが行われたことを検出する。

画像処理部２１ｂは、任意の画像を表示面に表示させる機能に加え、領域指定ジェスチャーで指定された領域に含まれる画像の移動を制御する機能を制御部２０に実現させることができる。すなわち、領域指定ジェスチャーによって画像を移動すべき領域が指定されると、制御部２０は、画像処理部２１ｂの処理により、当該領域内の画像を抜き出し、当該領域内の画像をＲＡＭから消去する。そして、移動方向指定ジェスチャーが行われると、制御部２０は、画像処理部２１ｂの処理により、元の画像を、移動方向指定ジェスチャーによって指定された移動方向に、当該移動方向指定ジェスチャーで指定された移動量だけ移動させた場合の座標を特定し、当該座標に元の画像が配置されるように画像をＲＡＭに記録する。そして、制御部２０が、投影部４１を制御して、当該ＲＡＭに記録された画像を表示面に投影させる。

以上の構成によれば、利用者は、領域指定ジェスチャーによって移動すべき領域を指定することができ、移動方向指定ジェスチャーによって当該領域に含まれる画像の移動方向を指定することができる。そして、これらのジェスチャーが行われると、制御部２０は、指定された領域の画像を指定された方向に、指定された移動量だけ移動させる。従って、当該領域外の画像は移動されない。この結果、利用者は、説明等に必要な一部の領域の画像を選択して移動させることができ、非表示となる情報量を抑制しながら画像をシフトさせることができる。

さらに、キャンセルジェスチャーが行われると、制御部２０は、画像処理部２１ｂの処理により、ＲＡＭ内に記録された移動後の画像を抜き出し、当該画像をＲＡＭから消去する。そして、抜き出した画像が、当該画像の移動前の位置に配置されるように画像をＲＡＭに記録する。そして、制御部２０が、投影部４１を制御して、当該ＲＡＭに記録された画像を表示面に投影させる。以上の構成によれば、移動後の画像を簡易なジェスチャーによって元の位置に戻すことが可能である。

本実施形態にかかる表示装置１０は、表示面に表示している画像に対して任意の画像（文字や図形等）を追加することが可能である。本実施形態においては、利用者の指等を検出対象とし、当該検出対象の軌跡を示す軌跡画像を表示面に追加可能にするために、表示制御プログラム２１は、指示位置検出部２１ｃと画像追加部２１ｄとを備えている。指示位置検出部２１ｃは、検出対象の位置に基づいて画像内の指示位置を検出する機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、画像処理部２１ｂの処理に基づいて投影部４１に画像を投影させており、画像を構成する各画素が投影される位置は予め特定されている。また、撮像部４０における赤外線の照射方向は、表示面に平行であり、赤外線の照射範囲は表示面からわずかに離れた面内に存在する。そこで、制御部２０は、指示位置検出部２１ｃの処理により、撮像部４０を制御し、撮像部４０の検出結果に基づいて利用者の指等の位置を検出し、当該指等の位置と実質的に同一と見なすことができる画像内の位置を特定する。そして、制御部２０は、検出された指等の位置に対応する画像内の位置を指示位置として取得する。

画像追加部２１ｄは、指示位置の軌跡を示す軌跡画像を表示面上の画像に追加する機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、画像追加部２１ｄの処理により、指示位置検出部２１ｃの処理によって所定期間毎に検出された指示位置の履歴をＲＡＭに記録し、各指示位置を直線等で結んだ軌跡画像を生成する。当該軌跡画像は、指示位置、すなわち表示面上の位置が指定された状態で生成され、軌跡画像が生成されると制御部２０は、画像追加部２１ｄの処理により軌跡画像を画像処理部２１ｂに受け渡す。この場合、制御部２０は、画像処理部２１ｂの処理により、当該軌跡画像の位置に当該軌跡画像が表示されるようにＲＡＭを更新する。この結果、制御部２０が、画像処理部２１ｂの処理によって投影部４１を制御し、ＲＡＭに記録された情報に基づいて表示面に画像を表示させると、表示面に軌跡画像が追加された画像が表示される。従って、利用者は、任意の文字や図形等の画像を追加することができる。

なお、本実施形態において、指示位置検出部２１ｃは、画像の移動前後のいずれにおいても表示面上の画像の座標系内で指示位置を特定する。従って、領域指定ジェスチャーで指定された領域に含まれる画像が移動された後、移動後の画像に指示位置が含まれる場合、制御部２０は、画像追加部２１ｄの処理により、当該移動後の画像に軌跡画像を追加することになる。この結果、利用者は、領域指定ジェスチャーで指定された領域の画像を移動する前であっても、移動した後であっても、移動後の画像を含む任意の画像に所望の軌跡画像を追加することができる。

さらに、本実施形態において制御部２０は、移動後の画像に軌跡画像が追加された後にキャンセルジェスチャーが検出された場合、軌跡画像とともに移動後の画像を元の位置に戻す。すなわち、キャンセルジェスチャーが行われた場合、制御部２０は、軌跡画像を含む画像を移動対象として抜き出す。従って、抜き出された画像を制御部２０が元の位置に戻すことにより、軌跡画像とともに元の画像が元の位置に移動する。この構成によれば、利用者は、表示面に表示された画像の所望の場所を自身の近くなど、所望の位置に移動させた後に、画像に対して軌跡画像を追加し、さらに、当該画像を元の場所に戻すことが可能になる。

（２）軌跡画像追加処理：
次に、制御部２０が実行する軌跡画像追加処理を図２Ａに示すフローチャートに沿って詳細に説明する。本実施形態において、制御部２０は、所定のトリガが発生した場合に軌跡画像追加処理を実行する。所定のトリガとしては、種々のトリガを想定可能であり、例えば、利用者が所定のジェスチャーを行ったことを制御部２０が検出した場合や、利用者が表示面上の所定のアイコンを指示したことを制御部２０が検出した場合など、種々のトリガを想定可能である。なお、制御部２０は、軌跡画像追加処理を他の処理と並行して実行することができる。

軌跡画像追加処理が開始されると、制御部２０は、指示位置検出部２１ｃの処理により指示位置を検出する（ステップＳ１００）。すなわち、制御部２０は、撮像部４０を制御して赤外線の出力と反射した赤外線の検出を行い、当該検出結果に基づいて利用者の指等の位置を検出する。そして、制御部２０は、当該指等の位置と実質的に同一と見なすことができる画像内の位置を特定し、検出された指等の位置に対応する画像内の位置を指示位置として取得する。なお、制御部２０は、取得した指示位置をＲＡＭに記録する。記録された指示位置は少なくとも軌跡画像追加処理が終了するまで保持される。

次に、制御部２０は、画像追加部２１ｄの処理により、軌跡画像を生成する（ステップＳ１０５）。すなわち、制御部２０は、ＲＡＭを参照して指示位置の座標を取得し、各座標を線で結んだ軌跡画像を生成する。なお、指示位置の座標は、表示面の画像の座標系内で定義される。次に、制御部２０は、画像追加部２１ｄの処理により、軌跡画像を表示する（ステップＳ１１０）。すなわち、制御部２０は、画像追加部２１ｄの処理により、軌跡画像を指示位置の座標とともに画像処理部２１ｂに受け渡す。この結果、制御部２０が画像処理部２１ｂの処理により、指示位置の座標に表示されるように軌跡画像をＲＡＭに記録する。この結果、ＲＡＭ内には、通信Ｉ／Ｆ４２を介して取得された画像に軌跡画像が重畳された画像を示す情報が記録された状態になる。従って、この状態において制御部２０が、投影部４１を制御してＲＡＭに記録された情報に基づいて表示面に画像を表示することで、軌跡画像が追加された画像が表示面に投影されることになる。

次に、制御部２０は、指示位置検出部２１ｃの処理により、軌跡入力終了の指示が行われたか否かを判定する（ステップＳ１１５）。すなわち、制御部２０は、利用者が予め決められた軌跡入力終了指示のためのジェスチャー（例えば、同一指示位置を一定期間以上継続させるジェスチャー等）を行った場合に、軌跡入力終了の指示が行われたと判定する。ステップＳ１１５において、軌跡入力終了の指示が行われたと判定されない場合、制御部２０は、ステップＳ１００以降の処理を繰り返す。ステップＳ１１５において、軌跡入力終了の指示が行われたと判定された場合、制御部２０は、軌跡画像追加処理を終了する。

（３）画像移動処理：
次に、制御部２０が実行する画像移動処理を図２Ｂに示すフローチャートに沿って詳細に説明する。本実施形態において、制御部２０は、画像処理部２１ｂの処理によって、通信Ｉ／Ｆ４２等から取得される任意の画像を表示面に表示している状態において、図２Ｂに示す画像移動処理を実行する。

画像移動処理が開始されると、制御部２０は、ジェスチャー検出部２１ａの処理により、同一指示位置が継続して指示されているか否かを判定する（ステップＳ２００）。本実施形態においては、利用者が表示面の画像の同一位置を所定時間以上指示し続けた場合に領域指定ジェスチャーの検出を開始するように構成されている。そこで、制御部２０は、ジェスチャー検出部２１ａの処理によって検出される利用者の指等の位置が同一の位置であり（位置の変位が所定のマージン以内であってもよい）、利用者の指等が同一の位置である状態が、所定時間以上継続した場合に、同一指示位置が継続して指示されていると判定する。

ステップＳ２００において、同一指示位置が継続して指示されていると判定されない場合、制御部２０は、ステップＳ２００の判定を一定期間毎に繰り返す。一方、ステップＳ２００において、同一指示位置が継続して指示されていると判定された場合、制御部２０は、ジェスチャー検出部２１ａの処理により、領域指定ジェスチャーを検出したか否かを判定する（ステップＳ２１０）。すなわち、制御部２０は、ジェスチャー検出部２１ａの処理によって検出される利用者の指等の位置の軌跡を特定する。さらに、制御部２０は、軌跡が直線であり、かつ、表示面の横および縦の辺に平行な方向のいずれか一方の方向に長い場合（指等が移動した方向を示すベクトルを、表示面の横の辺および縦の辺のそれぞれに投影した場合の線分の一方が他方より長い場合）に、領域指定ジェスチャーを検出したと判定する。これ以外の場合、例えば、ジェスチャーが直線ではない場合等において、制御部２０は、領域指定ジェスチャーを検出したと判定しない。むろん、ジェスチャーを直線と見なす際に、直線がわずかに曲がっていても直線と見なすなど、所定のマージンを設けてもよい。

図３Ａは、表示面に表示される画像の例を示す図である。当該図３Ａに示す例においては、表示面に表示面に表示される画像の上部にグラフの画像Ｉｍが含まれている。また、一点鎖線の矢印は領域指定ジェスチャーの移動方向を示すベクトルを模式的に示しており、ここでは、利用者が赤外線の照射範囲内で表示面に平行に手を直線的に移動させた場合を想定している。当該領域指定ジェスチャーの移動方向はほぼ横方向であり、ベクトルを表示面に表示される画像の横方向の辺に投影した場合の線分の長さＬ₁はベクトルを当該画像の縦方向の辺に投影した場合の線分の長さより長い。従って、図３Ａに示すジェスチャーは領域指定ジェスチャーである。

ステップＳ２１０において、領域指定ジェスチャーを検出したと判定されない場合、制御部２０は、ステップＳ２００の判定を繰り返す。一方、ステップＳ２１０において、領域指定ジェスチャーを検出したと判定された場合、制御部２０は、ジェスチャー検出部２１ａの処理により、領域指定ジェスチャーが示す領域を特定する（ステップＳ２１５）。すなわち、制御部２０は、領域指定ジェスチャーの移動方向を示すベクトルを表示面に表示される画像の辺に投影した場合の線分であって長い方の線分を領域の一辺と見なす。例えば、図３Ａに示す例において、制御部２０は、位置Ｐ₁から横方向（図面の右方向）に距離Ｌ₁の辺を領域の一辺と見なす。さらに、制御部２０は、当該領域の一辺に垂直な方向における画像の全長（図３Ａに示す例においては縦方向の全長）を領域の他の一辺と見なす。この結果、制御部２０は、図３Ｂにおいて破線で示す領域Ｒを、領域指定ジェスチャーで指定された領域として取得する。

次に、制御部２０は、移動方向指定ジェスチャーを検出したか否かを判定する（ステップＳ２２０）。すなわち、制御部２０は、ジェスチャー検出部２１ａの処理によって検出される利用者の指等の位置の軌跡を特定する。さらに、制御部２０は、軌跡が直線であり、かつ、表示面に表示される画像の横および縦の辺に平行な方向のいずれか一方の方向に長い場合（指等が移動した方向を示すベクトルを、画像の横の辺および縦の辺のそれぞれに投影した場合の線分の一方が他方より長い場合）に、移動方向指定ジェスチャーを検出したと判定する。これ以外の場合、例えば、ジェスチャーが直線ではない場合等は移動方向指定ジェスチャーを検出したと判定しない。むろん、ジェスチャーを直線と見なす際に、直線がわずかに曲がっていても直線と見なすなど、所定のマージンを設けてもよい。

図３Ｂに示す例において、一点鎖線の矢印は移動方向指定ジェスチャーの移動方向を示すベクトルを模式的に示しており、ここでは、利用者が赤外線の照射範囲内で表示面に平行に手を直線的に移動させた場合を想定している。当該移動方向指定ジェスチャーの移動方向はほぼ縦方向であり、ベクトルを表示面に表示される画像の縦方向の辺に投影した場合の線分の長さＬ_２はベクトルを当該画像の横方向の辺に投影した場合の線分の長さより長い。従って、図３Ｂに示すジェスチャーは移動方向指定ジェスチャーである。

次に、制御部２０は、ジェスチャー検出部２１ａの処理により、移動方向指定ジェスチャーが示す移動方向および移動量を特定する（ステップＳ２２５）。すなわち、制御部２０は、移動方向指定ジェスチャーの移動方向を示すベクトルを画像の辺に投影した場合の線分であって長い方の線分を特定し、移動方向および移動量を特定する。例えば、図３Ｂに示す例において、移動方向指定ジェスチャーの移動方向を示すベクトルを画像の辺に投影した場合、縦方向の辺に投影した場合の線分の方が横方向の辺に投影した場合の線分よりも長い。従って、制御部２０は、下方向を移動方向と見なし、ベクトルを画像の縦方向の辺に投影した場合の線分の長さＬ_２を移動量として取得する。

次に、制御部２０は、画像処理部２１ｂの処理により、指定された領域内の画像を移動させる（ステップＳ２３０）。すなわち、制御部２０は、ステップＳ２１５で特定された領域に含まれる画像を抜き出し、ステップＳ２２５で特定された移動方向および移動量で移動するように、ＲＡＭ内の情報を更新する。この結果、制御部２０が、画像処理部２１ｂの処理によって投影部４１を制御しＲＡＭ内の情報に基づいて画像を表示させると、図３Ｂに示す画像内の領域Ｒの画像が下方向に距離Ｌ₂だけ移動した図３Ｃに示す状態となる。

次に、制御部２０は、ジェスチャー検出部２１ａの処理により、キャンセルジェスチャーを検出するまで待機する（ステップＳ２３５）。すなわち、制御部２０は、ジェスチャー検出部２１ａの処理によって検出される利用者の指等の位置の軌跡を特定する。さらに、制御部２０は、軌跡が直線であり、かつ、移動方向指定ジェスチャーの逆方向に移動する軌跡である場合、キャンセルジェスチャーを検出したと判定する。これ以外の場合、例えば、ジェスチャーが直線ではない場合や移動方向が移動方向指定ジェスチャーの逆方向ではない場合等はキャンセルジェスチャーを検出したと判定しない。むろん、ジェスチャーを直線と見なす際に、直線がわずかに曲がっていても直線と見なすなど、所定のマージンを設けてもよい。

図３Ｃに示すように、表示面に表示される画像のうちの上部に表示されるグラフの画像Ｉｍが下方に移動された状態であれば、背が低い利用者であってもグラフの直近に立ってグラフの説明等を行うことが可能である。そして、この状態において、利用者が軌跡画像を追加するトリガを発生させると、利用者は、ジェスチャーによって軌跡画像を追加することができる。なお、軌跡画像追加処理が実行されている場合、キャンセルジェスチャーの特定は保留され、利用者の指等による軌跡画像の指定が優先される。従って、この場合において、利用者が任意のジェスチャーを行うと、制御部２０は、軌跡画像追加処理により、当該ジェスチャーによって指定される指示位置の軌跡によって構成される軌跡画像を表示面上の画像に追加する。図３Ｄは、利用者が指によってグラフの画像Ｉｍに対して矢印を示す追加画像Ｉａを追加した場合の例を示している。

このように、追加画像が追加され、利用者が、軌跡入力の終了指示を行った場合、制御部２０は、軌跡画像追加処理を終了し、再び、ステップＳ２３５におけるキャンセルジェスチャーの検出処理を実行する。この段階で利用者が図３Ｅに一点鎖線で示すようにキャンセルジェスチャーを行うと、制御部２０は、画像処理部２１ｂの処理により、指定された領域内の画像を元の位置に移動させる（ステップＳ２４０）。すなわち、制御部２０は、移動後の画像を抜き出し、当該画像が元の位置に移動するように、ＲＡＭ内の情報を更新する。この結果、制御部２０が、画像処理部２１ｂの処理によって投影部４１を制御しＲＡＭ内の情報に基づいて画像を表示させると、移動後の画像が元の位置に戻った状態となる。なお、追加画像が存在する場合、制御部２０は、追加画像が存在する状態で移動後の画像を抜き出す。従って、投影部４１によって画像を元の位置に戻す表示が行われると、図３Ｅに示す状態の画像は、図３Ｆに示すように変化し、下方向に移動されていた画像が追加画像とともに上方向に移動する。

（４）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、ジェスチャーによって指定された領域を単位に表示装置内の画像を移動させる限りにおいて、他にも種々の実施形態を採用可能である。例えば、表示装置はプロジェクターに限定されず種々の装置であってよく、表示装置の設置位置もスクリーンの情報に限定されず、スクリーンに対向する壁面や机上等、種々の位置に設置されてよい。

さらに、ジェスチャーの検出法としても種々の手法を採用可能である。例えば、ジェスチャーが非直線状である場合に直線に修正してジェスチャーを検出する構成であってもよい。修正の手法としては、種々の手法を採用可能であり、指等が直線状に移動する過程で往復移動する部分がある場合に当該部分を直線状の移動と見なす構成等を採用してもよい。また、ジェスチャーの開始位置と終了位置を結ぶ直線がジェスチャーの軌跡であると見なす構成であってもよい。

さらに、領域指定ジェスチャーと移動方向指定ジェスチャーとが連続的に行われてもよい。例えば、移動軌跡が直角状に屈曲する２個の線分となるようにジェスチャーが行われ、制御部２０が、一方の線分が領域指定ジェスチャー、他方の線分が移動方向指定ジェスチャーであると見なす構成であってもよい。むろん、ジェスチャーの順序は限定されず、移動方向指定ジェスチャーの後に領域指定ジェスチャーが行われてもよい。さらに、画像の移動のキャンセルがジェスチャーではなく、アイコンの選択等によって指示されてもよい。

１０…表示装置、２０…制御部、２１…表示制御プログラム、２１ａ…ジェスチャー検出部、２１ｂ…画像処理部、２１ｃ…指示位置検出部、２１ｄ…画像追加部、４０…撮像部、４１…投影部

Claims (5)

1. 表示面に画像を表示する表示装置であって、
   前記画像内の一部の領域を指定する領域指定ジェスチャーと、前記領域に含まれる前記画像の移動方向を指定する移動方向指定ジェスチャーと、を検出するジェスチャー検出部と、
   前記領域に含まれる前記画像を前記移動方向に移動させる画像処理部と、
   を備える表示装置。
2. 検出対象の位置に基づいて前記画像内の指示位置を検出する指示位置検出部と、
   前記指示位置の軌跡を示す軌跡画像を前記画像に追加する画像追加部と、をさらに備え、
   前記画像追加部は、
   前記領域に含まれる前記画像が移動された後、移動後の前記画像に前記指示位置が含まれる場合に、当該移動後の前記画像に前記軌跡画像を追加する、
   請求項１に記載の表示装置。
3. 前記ジェスチャー検出部は、
   前記領域に含まれる前記画像の移動をキャンセルするキャンセルジェスチャーを検出し、
   前記画像処理部は、
   移動後の前記画像に前記軌跡画像が追加された後に前記キャンセルジェスチャーが検出された場合、前記軌跡画像とともに移動後の前記画像を元の位置に戻す、
   請求項２に記載の表示装置。
4. 前記表示面に表示される前記画像は矩形であり、
   前記ジェスチャー検出部は、
   前記表示面に沿って利用者が体の一部を移動させる第１ジェスチャーを前記領域指定ジェスチャーとして検出して、前記領域指定ジェスチャーにおける前記体の一部の位置と前記画像の辺に沿う前記体の一部の移動距離とに基づいて、矩形の前記領域の一辺の位置および長さを取得し、
   前記表示面に沿って利用者が体の一部を移動させる第２ジェスチャーを前記移動方向指定ジェスチャーとして検出して、前記移動方向指定ジェスチャーにおける前記体の一部の前記画像の辺に沿う移動方向を、矩形の前記領域に含まれる前記画像の前記移動方向として取得する、
   請求項１〜請求項３のいずれかに記載の表示装置。
5. 表示面に画像を表示する表示装置を制御する表示制御プログラムであって、
   前記画像内の一部の領域を指定する領域指定ジェスチャーと、前記領域に含まれる前記画像の移動方向を指定する移動方向指定ジェスチャーと、を検出するジェスチャー検出機能と、
   前記領域に含まれる前記画像を前記移動方向に移動させる画像処理機能と、
   をコンピューターに実現させる表示制御プログラム。

Images