JP2016126548A - 表示装置、表示制御プログラム - Google Patents
表示装置、表示制御プログラム Download PDFInfo
- Publication number
- JP2016126548A JP2016126548A JP2015000115A JP2015000115A JP2016126548A JP 2016126548 A JP2016126548 A JP 2016126548A JP 2015000115 A JP2015000115 A JP 2015000115A JP 2015000115 A JP2015000115 A JP 2015000115A JP 2016126548 A JP2016126548 A JP 2016126548A
- Authority
- JP
- Japan
- Prior art keywords
- image
- gesture
- movement
- display surface
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】非表示となる情報量を抑制しながら画像のシフトを実施可能にする技術の提供。【解決手段】表示面に画像を表示する表示装置であって、前記画像内の一部の領域を指定する領域指定ジェスチャーと、前記領域に含まれる前記画像の移動方向を指定する移動方向指定ジェスチャーと、を検出するジェスチャー検出部と、前記領域に含まれる前記画像を前記移動方向に移動させる画像処理部と、を備える表示装置を構成する。【選択図】図3
Description
本発明は、表示装置、表示制御プログラムに関する。
従来、表示装置に表示されたオブジェクトを移動させる技術が知られている。例えば、特許文献1には、指が届かないオブジェクトに指が届くようにスクロールさせる入出力装置が開示されている。
従来の技術においては、移動すべき部分を選択して移動させ、移動すべき部分以外の部分を移動させないようにすることができなかった。従って、移動が行われると移動されていない部分を視認することができなくなり、表示装置としての機能が損なわれてしまう。特に、比較的大きい画面を表示するプロジェクターやインタラクティブホワイトボード等の表示装置は、プレゼンテーションや各種の会議などに利用されることが多いが、これらの表示装置の表示内容に基づいて利用者が説明等を行う際に表示内容を移動させる場合、移動すべき部分と移動させない部分とが選択できないと、表示装置としての機能が損なわれる。例えば、大画面の上部に表示されたグラフを利用して背の低い利用者が説明を行うため、グラフを下方に移動させることに伴って画像の全体を下方にスライドさせると、画像の表示内容のほぼ全てが表示外のエリアに移動されることになり、グラフ以外の情報を説明等に利用することができない。
本発明は、領域を選択してシフトさせることを可能にする技術を提供することを目的とする。
本発明は、領域を選択してシフトさせることを可能にする技術を提供することを目的とする。
上記目的を達成するための表示装置は、表示面に画像を表示する表示装置であって、画像内の一部の領域を指定する領域指定ジェスチャーと、領域に含まれる画像の移動方向を指定する移動方向指定ジェスチャーと、を検出するジェスチャー検出部と、領域に含まれる画像を移動方向に移動させる画像処理部と、を備える。
すなわち、利用者は、領域指定ジェスチャーによって移動すべき領域を指定することができ、移動方向指定ジェスチャーによって当該領域に含まれる画像の移動方向を指定することができる。そして、これらのジェスチャーが行われると、画像処理部が指定された領域の画像を指定された方向に移動させる。従って、当該領域外の画像は移動されない。この結果、利用者は、説明等に必要な一部の領域の画像を選択して移動させることができる。
ここで、表示装置は、表示面に画像を表示する装置であればよく、スクリーン等が表示面となるプロジェクターであってもよいし、複数の表示素子を備える表示面からの発光によって画像を表示するディスプレイ(インタラクティブホワイトボード等を含む)であってもよい。
ジェスチャー検出部は、利用者が行うジェスチャーを検出することができればよい。ジェスチャーは利用者の体の一部を使って行われるが、体の一部の動作は、体以外の物体を含む任意の対象に基づいて検出されてもよい。例えば、ジェスチャー検出部は、利用者の体の一部を直接的に検出してもよいし、利用者が持つ物体(指示棒や筆記具状の物体等)を検出することで利用者の体の一部を間接的に検出してもよい。
また、検出原理としても種々の原理を採用可能である。例えば、利用者の体の一部や利用者が持つ物体からの光(反射光やこれらの物体で遮断される光、当該物体から出力される光等)を光学センサー等によって検出し、これらの物体の位置の変化に基づいてジェスチャーを検出してもよいし、利用者の体の一部や利用者が持つ物体の表示面等に対する接触をタッチセンサー等によって検出し、接触位置の変化に基づいてジェスチャーを検出してもよく、種々の構成を採用可能である。
ジェスチャーは、利用者の体の少なくとも一部を利用した動作であり、各種の動作を領域指定ジェスチャー、移動方向指定ジェスチャーとすることができる。領域指定ジェスチャーは、画像内の一部の領域を指定することができればよく、表示面上の画像の位置とジェスチャーを行う体の部分の位置とが対応づけられた状態でジェスチャーが行われることが好ましい。例えば、表示面に沿って体の部分を移動させるジェスチャーを行うことで体の部分と表示面内の画像の位置とが対応づけられた状態でジェスチャーが行われてもよい。
領域指定ジェスチャーは、画像内の一部の領域を指定することができればよく、例えば、ジェスチャーによって矩形の領域の一辺または二辺を指定する構成であってもよいし、ジェスチャーによって示された任意の図形と同様の形状の領域を指定する構成であってもよく、種々の構成を採用可能である。なお、ジェスチャーによって矩形の領域の一辺を指定する構成の場合、当該一辺に垂直な方向の辺の長さは種々の要素によって既定可能であり、例えば、表示面に表示される画像が矩形であり、ジェスチャー検出部が、表示面に沿って利用者が体の一部を移動させる第1ジェスチャーを領域指定ジェスチャーとして検出して、領域指定ジェスチャーにおける体の一部の位置と表示面に表示される画像の辺に沿う体の一部の移動距離とに基づいて、矩形の領域の一辺の位置および長さを取得し、当該一辺とは異なる方向の辺の長さを、矩形の領域の他の辺の長さとみなす構成等を採用可能である。
なお、領域指定ジェスチャーが行われた方向が表示面に表示される画像の辺に平行でない場合、ジェスチャーが行われた方向を表示面に表示される画像の辺に投影した長さによって矩形の領域の一辺の長さを取得すればよい。以上の構成によれば、利用者は、一辺を領域指定ジェスチャーで指定することにより、矩形の領域を指定することができ、簡易なジェスチャーによって領域を指定することが可能である。
移動方向指定ジェスチャーは、領域指定ジェスチャーで指定された領域に含まれる画像の移動方向を指定することができればよく、例えば、ジェスチャーが行われた方向や、ジェスチャーが行われた方向に最も近い矩形の画像の辺、表示面の辺等の方向を移動方向として取得する構成など、種々の構成を採用可能である。後者としては、ジェスチャー検出部が、表示面に沿って利用者が体の一部を移動させる第2ジェスチャーを移動方向指定ジェスチャーとして検出して、移動方向指定ジェスチャーにおける体の一部の表示面に表示される画像の辺に沿う移動方向を、矩形の領域に含まれる画像の移動方向として取得する構成を採用可能である。この構成によれば、指定された領域内の画像を既定の移動方向に移動させる指示を簡易な移動方向指定ジェスチャーで実行することができる。
画像処理部は、領域指定ジェスチャーで指定された領域に含まれる画像を移動方向に移動させることができればよい。すなわち、画像処理部は、表示面に表示する画像を生成し、表示装置を制御して生成された画像を表示面に表示させることが可能である。表示面に表示する画像は、表示前に予め生成されればよく、各種の文章やプレゼンテーション資料、コンピューターによる画面表示内容等を示す画像等が上げられる。
画像処理部は、任意の画像を表示面に表示させることが可能であるため、領域指定ジェスチャーで移動すべき領域が指定されると、当該領域内の画像を抜き出して、任意の位置に移動させた画像を生成することも可能である。従って、移動方向指定ジェスチャーによって移動方向が指定されると、当該領域内の画像を当該移動方向に移動させればよい。むろん、画像を移動させた後には画像を停止させる必要があるが、移動開始から移動終了までの移動量は、種々の手法で指定可能である。例えば、移動方向指定ジェスチャーによって指定されても良いし、利用者の位置によって指定されても良いし、デフォルトで指定されても良い。移動方向指定ジェスチャーによって移動量が指定される構成としては、種々の構成を採用可能であり、例えば、移動方向指定ジェスチャーによって利用者の体の一部が移動した距離に基づいて移動量が指定される構成等を採用可能である。
むろん、この場合において、移動方向指定ジェスチャーにおける体の一部の、表示面に表示される画像の辺に沿う移動距離が領域の移動量と見なす構成であってもよい。また、利用者の位置によって移動量が指定される構成としては、利用者の位置を移動方向指定ジェスチャー等に基づいて特定し、当該利用者の位置の周辺に画像を移動させる構成等を採用可能である。
さらに、表示装置が、検出対象の位置に基づいて画像内の指示位置を検出する指示位置検出部と、指示位置の軌跡を示す軌跡画像を画像に追加する画像追加部と、を備える構成であってもよい。この構成であれば、利用者は、表示装置における任意の画像に対して所望の文字や画像等の情報を追加し、表示装置に表示させることができる。そして、この構成において、領域指定ジェスチャーで指定された領域に含まれる画像が移動された後、移動後の画像に指示位置が含まれる場合に、画像追加部が、当該移動後の画像に軌跡画像を追加する構成であってもよい。すなわち、利用者は、領域指定ジェスチャーで指定された領域の画像を移動する前であっても、移動した後であっても、移動後の画像を含む任意の画像に所望の軌跡画像を追加することができる。
指示位置検出部は、検出対象の位置に基づいて画像内の指示位置を検出することができればよく、検出対象は、利用者の体の一部であってもよいし、利用者が持つ物体(指示棒や筆記具状の物体等)であってもよい。検出対象の位置は、画像内の位置を指示していればよく、例えば、検出対象で表示面内の任意の位置を指示可能に構成されており、当該指示によって画像内の指示位置が取得される構成等を採用可能である。
画像追加部は、指示位置の軌跡を示す軌跡画像を画像に追加することができればよい。軌跡画像は、指示位置の軌跡であり、当該軌跡によって任意の文字や図形等が表現可能であればよい。むろん、指示位置検出部によって検出される指示位置は、軌跡画像の生成以外に使用されても良く、例えば、表示面内のアイコンの位置の指示等に使用されてもよい。
さらに、ジェスチャー検出部が、画像の移動をキャンセルするキャンセルジェスチャーを検出し、記画像処理部は、移動後の画像に軌跡画像が追加された後にキャンセルジェスチャーが検出された場合、軌跡画像とともに移動後の画像を元の位置に戻す構成を採用してもよい。この構成によれば、利用者は、表示面に表示された画像の所望の場所を自身の近くなど、所望の位置に移動させた後に、画像に対して軌跡画像を追加し、さらに、当該画像を元の場所に戻すことが可能になる。なお、キャンセルジェスチャーは、画像の移動をキャンセルするジェスチャーとして予め決められたジェスチャーであればよく、例えば、移動方向指定ジェスチャーと同様のジェスチャーであって、体の部位の移動方向が逆向きであるジェスチャー等をキャンセルジェスチャーとする構成等を採用可能である。
さらに、本発明のように、ジェスチャーによって指定された領域を単位に表示装置内の画像を移動させる手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)表示装置の構成:
(2)軌跡画像追加処理:
(3)画像移動処理:
(4)他の実施形態:
(1)表示装置の構成:
(2)軌跡画像追加処理:
(3)画像移動処理:
(4)他の実施形態:
(1)表示装置の構成:
図1Aは、本発明の実施形態にかかる表示装置の使用状態を示す図であり、図1Bは、本発明の実施形態にかかる表示装置のブロック図である。表示装置10は、CPU、RAM、ROM等を備える制御部20と撮像部40と投影部41と通信I/F42とを備えており、制御部20は、ROM等に記録されたプログラムを実行することができる。
図1Aは、本発明の実施形態にかかる表示装置の使用状態を示す図であり、図1Bは、本発明の実施形態にかかる表示装置のブロック図である。表示装置10は、CPU、RAM、ROM等を備える制御部20と撮像部40と投影部41と通信I/F42とを備えており、制御部20は、ROM等に記録されたプログラムを実行することができる。
撮像部40は、図示しない赤外線光源、光学系、撮影素子を備えている。撮像部40は、光学系を介して赤外線光源から赤外線を出力することにより、表示面に平行な方向かつ撮像部40から表示面方向を見た全範囲(図1Aに示す角度T)に赤外線を出力する。撮影素子は、表示面の全範囲から撮像部40に入射する赤外線を、光学系を介して集光し、その強度を示す情報を出力する素子である。従って、赤外線光源から出力された赤外線が、利用者の指や利用者が持つ物体に反射して撮像部40に入射すると、入射方向に応じた撮影素子で当該反射した赤外線を検出することができる。
投影部41は、図示しない光源、光変調装置、光学系を備えており、光源から出力される可視光の透過量を光変調装置によって画素毎に制御し、光学系を介して出力する装置である。表示装置10は、表示面(図1Aに示すスクリーンSC)の上方の壁面や天井、自立式のスクリーンに伴って設置される支柱等に設置され、投影部41からの出力光を表示面に投影することができる。投影部41は、制御部20の制御により画素毎の透過量を変調させることができるため、表示装置10は、制御部20の制御により投影部41からの投影光を表示面に投影することにより、表示面に任意の画像を表示することができる。
通信I/F42は、コンピューター等の外部装置と通信を行い、任意の情報を授受するためのインターフェースである。本実施形態においては、プレゼンテーション資料等の画像を示す画像情報が記録された記録媒体を備えるコンピューターが通信I/F42によって表示装置10に接続される。すなわち、制御部20は、通信I/F42を介して表示面に表示するための画像情報を取得する。
本実施形態において制御部20は、ROM等に記録された図示しない各種のプログラムを実行することが可能である。本実施形態においては、これらのプログラムの1種として表示制御プログラム21が含まれており、制御部20は、表示制御プログラム21の処理により、撮像部40および投影部41を制御する。これらの制御を行うため、表示制御プログラム21は、ジェスチャー検出部21aと画像処理部21bと指示位置検出部21cと画像追加部21dとを備えている。
画像処理部21bは、表示面に表示する画像を生成し、生成された画像を表示面に表示させる機能を制御部20に実現させるプログラムモジュールである。表示面に表示する画像は任意の情報に基づいて生成可能であるが、ここでは、通信I/F42を介して接続されたコンピューターから取得される画像情報に基づいて表示面に表示する画像が生成される例を想定する。すなわち、制御部20は、コンピューターを利用した利用者の指示等に基づいて通信I/F42から画像情報を取得し、当該画像情報から表示面に表示する画像を生成する(画像情報が示す画像を表示するための情報をRAMに書き込む)。そして、制御部20は、投影部41を制御し、当該生成された画像を表示面に表示させる。
ジェスチャー検出部21aは、利用者が行うジェスチャーを検出する機能を制御部20に実現させるプログラムモジュールである。すなわち、制御部20は、ジェスチャー検出部21aの処理により、利用者が自身の体の一部を使って所定のジェスチャーを行った場合に、当該ジェスチャーを検出する。本実施形態においては、領域指定ジェスチャー、移動方向指定ジェスチャーおよびキャンセルジェスチャーが、利用者によって行われるジェスチャーとして予め決められている。
これらのジェスチャーは、表示面上の画像の位置とジェスチャーを行う体の部分の位置とが対応づけられる状態で行われる。すなわち、制御部20は、撮像部40を制御し、所定期間毎に赤外線光源から赤外線を出力する。利用者の手や指など(以下、指等と呼ぶ)で赤外線が反射し、反射した赤外線が撮像部40に入射すると、制御部20は、撮像部40を制御して撮影素子によって赤外線を検出し、赤外線の入射方向を検出する。そして、制御部20が、赤外線の入射方向と、赤外線が出力されてから検出されるまでのタイムラグとに基づいて利用者の指等の位置を検出する。
制御部20は、画像処理部21bの処理に基づいて投影部41に画像を投影させており、画像を構成する各画素が投影される位置は(例えば、キャリブレーション等によって)予め特定されている。また、撮像部40における赤外線の照射方向は、表示面に平行であり、赤外線の照射範囲は表示面からわずかに離れた面内に存在する。従って、制御部20が撮像部40の検出結果に基づいて利用者の指等の位置を検出すると、当該指等の位置と実質的に同一と見なすことができる画像内の位置を特定することができる。そこで、制御部20は、検出された指等の位置に対応する画像内の位置を指示位置として取得する。
領域指定ジェスチャーは、画像内の一部の領域を指定するジェスチャーであり、本実施形態においては、指等を直線的に移動させるジェスチャーが領域指定ジェスチャーとして予め規定されている。そこで、赤外線の照射範囲内で指等が直線的に移動するジェスチャーが行われた場合に、制御部20は、ジェスチャー検出部21aの処理により、領域指定ジェスチャーが行われたことを検出する。
本実施形態においては、当該領域指定ジェスチャーにより、移動対象となる画像を示す矩形の領域の一辺を指定するように構成されている。そこで、制御部20は、ジェスチャー検出部21aの処理により、領域指定ジェスチャーにおける指等の位置と表示面に表示される画像(本例では表示面に表示される全画像)の辺に沿う指等の移動距離とに基づいて、矩形の領域の一辺の位置および長さを取得する。すなわち、制御部20は、領域指定ジェスチャーによって指等が移動した方向を示すベクトルを、表示面に表示される画像の横の辺および縦の辺のそれぞれに投影した場合の線分を仮定し、長い方を特定する。そして、当該長い方の線分が領域の一辺であると見なす。さらに、制御部20は、当該線分に垂直な、すなわち、表示面に表示される画像における異なる辺の長さを領域の他の一辺であると見なし、両辺に囲まれた矩形の領域を利用者が指定した領域であると見なす。以上の構成によれば、利用者は、一辺を領域指定ジェスチャーで指定することにより、矩形の領域を指定することができ、簡易なジェスチャーによって領域を指定することが可能である。
移動方向指定ジェスチャーは、領域指定ジェスチャーで指定された領域に含まれる画像の移動方向を指定するジェスチャーであり、本実施形態においては、領域が指定された後のジェスチャーであって、指等を直線的に移動させるジェスチャーが移動方向指定ジェスチャーとして予め規定されている。そこで、領域指定ジェスチャーによって領域が指定された後に、赤外線の照射範囲内で指等が直線的に移動するジェスチャーが行われた場合に、制御部20は、ジェスチャー検出部21aの処理により、移動方向指定ジェスチャーが行われたことを検出する。
本実施形態において制御部20は、当該移動方向指定ジェスチャーが行われた方向に最も近い表示面に表示される画像の辺の方向を移動方向として取得する。具体的には、制御部20は、ジェスチャー検出部21aの処理により、移動方向指定ジェスチャーにおいて指等が移動した方向を示すベクトルを、表示面に表示される画像の横の辺および縦の辺のそれぞれに投影した場合の線分を仮定し、長い方を特定する。そして、当該長い方の線分に平行な方向を、矩形の領域に含まれる画像の移動方向として取得する。なお、移動方向は、領域指定ジェスチャーによって特定された画像の一辺とは異なる他の辺の方向でもよいし、同じ辺の方向でもよい。この構成によれば、既定の移動方向(表示面に表示される画像の2辺に平行な各方向)に領域内の画像を移動させる指示を簡易な移動方向指定ジェスチャーで実行することができる。なお、本実施形態においては、移動方向指定ジェスチャーによって、画像の移動量も指定されるように構成されている。すなわち、制御部20は、移動方向指定ジェスチャーにおいて指等が移動した方向を示すベクトルを、表示面の横の辺および縦の辺のそれぞれに投影した場合の線分のうち、長い方の線分の長さを移動量と見なす。
キャンセルジェスチャーは、画像の移動をキャンセルするジェスチャーであり、本実施形態においては、移動方向指定ジェスチャーの後のジェスチャーであって、移動方向指定ジェスチャーと同様のジェスチャーであるとともに、指等の移動方向が逆向きであるジェスチャーがキャンセルジェスチャーとして予め規定されている。そこで、移動方向指定ジェスチャーによって移動方向が指定された後に、赤外線の照射範囲内で指等が移動方向指定ジェスチャーと逆向きに直線的に移動するジェスチャーが行われた場合に、制御部20は、ジェスチャー検出部21aの処理により、キャンセルジェスチャーが行われたことを検出する。
画像処理部21bは、任意の画像を表示面に表示させる機能に加え、領域指定ジェスチャーで指定された領域に含まれる画像の移動を制御する機能を制御部20に実現させることができる。すなわち、領域指定ジェスチャーによって画像を移動すべき領域が指定されると、制御部20は、画像処理部21bの処理により、当該領域内の画像を抜き出し、当該領域内の画像をRAMから消去する。そして、移動方向指定ジェスチャーが行われると、制御部20は、画像処理部21bの処理により、元の画像を、移動方向指定ジェスチャーによって指定された移動方向に、当該移動方向指定ジェスチャーで指定された移動量だけ移動させた場合の座標を特定し、当該座標に元の画像が配置されるように画像をRAMに記録する。そして、制御部20が、投影部41を制御して、当該RAMに記録された画像を表示面に投影させる。
以上の構成によれば、利用者は、領域指定ジェスチャーによって移動すべき領域を指定することができ、移動方向指定ジェスチャーによって当該領域に含まれる画像の移動方向を指定することができる。そして、これらのジェスチャーが行われると、制御部20は、指定された領域の画像を指定された方向に、指定された移動量だけ移動させる。従って、当該領域外の画像は移動されない。この結果、利用者は、説明等に必要な一部の領域の画像を選択して移動させることができ、非表示となる情報量を抑制しながら画像をシフトさせることができる。
さらに、キャンセルジェスチャーが行われると、制御部20は、画像処理部21bの処理により、RAM内に記録された移動後の画像を抜き出し、当該画像をRAMから消去する。そして、抜き出した画像が、当該画像の移動前の位置に配置されるように画像をRAMに記録する。そして、制御部20が、投影部41を制御して、当該RAMに記録された画像を表示面に投影させる。以上の構成によれば、移動後の画像を簡易なジェスチャーによって元の位置に戻すことが可能である。
本実施形態にかかる表示装置10は、表示面に表示している画像に対して任意の画像(文字や図形等)を追加することが可能である。本実施形態においては、利用者の指等を検出対象とし、当該検出対象の軌跡を示す軌跡画像を表示面に追加可能にするために、表示制御プログラム21は、指示位置検出部21cと画像追加部21dとを備えている。指示位置検出部21cは、検出対象の位置に基づいて画像内の指示位置を検出する機能を制御部20に実現させるプログラムモジュールである。すなわち、制御部20は、画像処理部21bの処理に基づいて投影部41に画像を投影させており、画像を構成する各画素が投影される位置は予め特定されている。また、撮像部40における赤外線の照射方向は、表示面に平行であり、赤外線の照射範囲は表示面からわずかに離れた面内に存在する。そこで、制御部20は、指示位置検出部21cの処理により、撮像部40を制御し、撮像部40の検出結果に基づいて利用者の指等の位置を検出し、当該指等の位置と実質的に同一と見なすことができる画像内の位置を特定する。そして、制御部20は、検出された指等の位置に対応する画像内の位置を指示位置として取得する。
画像追加部21dは、指示位置の軌跡を示す軌跡画像を表示面上の画像に追加する機能を制御部20に実現させるプログラムモジュールである。すなわち、制御部20は、画像追加部21dの処理により、指示位置検出部21cの処理によって所定期間毎に検出された指示位置の履歴をRAMに記録し、各指示位置を直線等で結んだ軌跡画像を生成する。当該軌跡画像は、指示位置、すなわち表示面上の位置が指定された状態で生成され、軌跡画像が生成されると制御部20は、画像追加部21dの処理により軌跡画像を画像処理部21bに受け渡す。この場合、制御部20は、画像処理部21bの処理により、当該軌跡画像の位置に当該軌跡画像が表示されるようにRAMを更新する。この結果、制御部20が、画像処理部21bの処理によって投影部41を制御し、RAMに記録された情報に基づいて表示面に画像を表示させると、表示面に軌跡画像が追加された画像が表示される。従って、利用者は、任意の文字や図形等の画像を追加することができる。
なお、本実施形態において、指示位置検出部21cは、画像の移動前後のいずれにおいても表示面上の画像の座標系内で指示位置を特定する。従って、領域指定ジェスチャーで指定された領域に含まれる画像が移動された後、移動後の画像に指示位置が含まれる場合、制御部20は、画像追加部21dの処理により、当該移動後の画像に軌跡画像を追加することになる。この結果、利用者は、領域指定ジェスチャーで指定された領域の画像を移動する前であっても、移動した後であっても、移動後の画像を含む任意の画像に所望の軌跡画像を追加することができる。
さらに、本実施形態において制御部20は、移動後の画像に軌跡画像が追加された後にキャンセルジェスチャーが検出された場合、軌跡画像とともに移動後の画像を元の位置に戻す。すなわち、キャンセルジェスチャーが行われた場合、制御部20は、軌跡画像を含む画像を移動対象として抜き出す。従って、抜き出された画像を制御部20が元の位置に戻すことにより、軌跡画像とともに元の画像が元の位置に移動する。この構成によれば、利用者は、表示面に表示された画像の所望の場所を自身の近くなど、所望の位置に移動させた後に、画像に対して軌跡画像を追加し、さらに、当該画像を元の場所に戻すことが可能になる。
(2)軌跡画像追加処理:
次に、制御部20が実行する軌跡画像追加処理を図2Aに示すフローチャートに沿って詳細に説明する。本実施形態において、制御部20は、所定のトリガが発生した場合に軌跡画像追加処理を実行する。所定のトリガとしては、種々のトリガを想定可能であり、例えば、利用者が所定のジェスチャーを行ったことを制御部20が検出した場合や、利用者が表示面上の所定のアイコンを指示したことを制御部20が検出した場合など、種々のトリガを想定可能である。なお、制御部20は、軌跡画像追加処理を他の処理と並行して実行することができる。
次に、制御部20が実行する軌跡画像追加処理を図2Aに示すフローチャートに沿って詳細に説明する。本実施形態において、制御部20は、所定のトリガが発生した場合に軌跡画像追加処理を実行する。所定のトリガとしては、種々のトリガを想定可能であり、例えば、利用者が所定のジェスチャーを行ったことを制御部20が検出した場合や、利用者が表示面上の所定のアイコンを指示したことを制御部20が検出した場合など、種々のトリガを想定可能である。なお、制御部20は、軌跡画像追加処理を他の処理と並行して実行することができる。
軌跡画像追加処理が開始されると、制御部20は、指示位置検出部21cの処理により指示位置を検出する(ステップS100)。すなわち、制御部20は、撮像部40を制御して赤外線の出力と反射した赤外線の検出を行い、当該検出結果に基づいて利用者の指等の位置を検出する。そして、制御部20は、当該指等の位置と実質的に同一と見なすことができる画像内の位置を特定し、検出された指等の位置に対応する画像内の位置を指示位置として取得する。なお、制御部20は、取得した指示位置をRAMに記録する。記録された指示位置は少なくとも軌跡画像追加処理が終了するまで保持される。
次に、制御部20は、画像追加部21dの処理により、軌跡画像を生成する(ステップS105)。すなわち、制御部20は、RAMを参照して指示位置の座標を取得し、各座標を線で結んだ軌跡画像を生成する。なお、指示位置の座標は、表示面の画像の座標系内で定義される。次に、制御部20は、画像追加部21dの処理により、軌跡画像を表示する(ステップS110)。すなわち、制御部20は、画像追加部21dの処理により、軌跡画像を指示位置の座標とともに画像処理部21bに受け渡す。この結果、制御部20が画像処理部21bの処理により、指示位置の座標に表示されるように軌跡画像をRAMに記録する。この結果、RAM内には、通信I/F42を介して取得された画像に軌跡画像が重畳された画像を示す情報が記録された状態になる。従って、この状態において制御部20が、投影部41を制御してRAMに記録された情報に基づいて表示面に画像を表示することで、軌跡画像が追加された画像が表示面に投影されることになる。
次に、制御部20は、指示位置検出部21cの処理により、軌跡入力終了の指示が行われたか否かを判定する(ステップS115)。すなわち、制御部20は、利用者が予め決められた軌跡入力終了指示のためのジェスチャー(例えば、同一指示位置を一定期間以上継続させるジェスチャー等)を行った場合に、軌跡入力終了の指示が行われたと判定する。ステップS115において、軌跡入力終了の指示が行われたと判定されない場合、制御部20は、ステップS100以降の処理を繰り返す。ステップS115において、軌跡入力終了の指示が行われたと判定された場合、制御部20は、軌跡画像追加処理を終了する。
(3)画像移動処理:
次に、制御部20が実行する画像移動処理を図2Bに示すフローチャートに沿って詳細に説明する。本実施形態において、制御部20は、画像処理部21bの処理によって、通信I/F42等から取得される任意の画像を表示面に表示している状態において、図2Bに示す画像移動処理を実行する。
次に、制御部20が実行する画像移動処理を図2Bに示すフローチャートに沿って詳細に説明する。本実施形態において、制御部20は、画像処理部21bの処理によって、通信I/F42等から取得される任意の画像を表示面に表示している状態において、図2Bに示す画像移動処理を実行する。
画像移動処理が開始されると、制御部20は、ジェスチャー検出部21aの処理により、同一指示位置が継続して指示されているか否かを判定する(ステップS200)。本実施形態においては、利用者が表示面の画像の同一位置を所定時間以上指示し続けた場合に領域指定ジェスチャーの検出を開始するように構成されている。そこで、制御部20は、ジェスチャー検出部21aの処理によって検出される利用者の指等の位置が同一の位置であり(位置の変位が所定のマージン以内であってもよい)、利用者の指等が同一の位置である状態が、所定時間以上継続した場合に、同一指示位置が継続して指示されていると判定する。
ステップS200において、同一指示位置が継続して指示されていると判定されない場合、制御部20は、ステップS200の判定を一定期間毎に繰り返す。一方、ステップS200において、同一指示位置が継続して指示されていると判定された場合、制御部20は、ジェスチャー検出部21aの処理により、領域指定ジェスチャーを検出したか否かを判定する(ステップS210)。すなわち、制御部20は、ジェスチャー検出部21aの処理によって検出される利用者の指等の位置の軌跡を特定する。さらに、制御部20は、軌跡が直線であり、かつ、表示面の横および縦の辺に平行な方向のいずれか一方の方向に長い場合(指等が移動した方向を示すベクトルを、表示面の横の辺および縦の辺のそれぞれに投影した場合の線分の一方が他方より長い場合)に、領域指定ジェスチャーを検出したと判定する。これ以外の場合、例えば、ジェスチャーが直線ではない場合等において、制御部20は、領域指定ジェスチャーを検出したと判定しない。むろん、ジェスチャーを直線と見なす際に、直線がわずかに曲がっていても直線と見なすなど、所定のマージンを設けてもよい。
図3Aは、表示面に表示される画像の例を示す図である。当該図3Aに示す例においては、表示面に表示面に表示される画像の上部にグラフの画像Imが含まれている。また、一点鎖線の矢印は領域指定ジェスチャーの移動方向を示すベクトルを模式的に示しており、ここでは、利用者が赤外線の照射範囲内で表示面に平行に手を直線的に移動させた場合を想定している。当該領域指定ジェスチャーの移動方向はほぼ横方向であり、ベクトルを表示面に表示される画像の横方向の辺に投影した場合の線分の長さL1はベクトルを当該画像の縦方向の辺に投影した場合の線分の長さより長い。従って、図3Aに示すジェスチャーは領域指定ジェスチャーである。
ステップS210において、領域指定ジェスチャーを検出したと判定されない場合、制御部20は、ステップS200の判定を繰り返す。一方、ステップS210において、領域指定ジェスチャーを検出したと判定された場合、制御部20は、ジェスチャー検出部21aの処理により、領域指定ジェスチャーが示す領域を特定する(ステップS215)。すなわち、制御部20は、領域指定ジェスチャーの移動方向を示すベクトルを表示面に表示される画像の辺に投影した場合の線分であって長い方の線分を領域の一辺と見なす。例えば、図3Aに示す例において、制御部20は、位置P1から横方向(図面の右方向)に距離L1の辺を領域の一辺と見なす。さらに、制御部20は、当該領域の一辺に垂直な方向における画像の全長(図3Aに示す例においては縦方向の全長)を領域の他の一辺と見なす。この結果、制御部20は、図3Bにおいて破線で示す領域Rを、領域指定ジェスチャーで指定された領域として取得する。
次に、制御部20は、移動方向指定ジェスチャーを検出したか否かを判定する(ステップS220)。すなわち、制御部20は、ジェスチャー検出部21aの処理によって検出される利用者の指等の位置の軌跡を特定する。さらに、制御部20は、軌跡が直線であり、かつ、表示面に表示される画像の横および縦の辺に平行な方向のいずれか一方の方向に長い場合(指等が移動した方向を示すベクトルを、画像の横の辺および縦の辺のそれぞれに投影した場合の線分の一方が他方より長い場合)に、移動方向指定ジェスチャーを検出したと判定する。これ以外の場合、例えば、ジェスチャーが直線ではない場合等は移動方向指定ジェスチャーを検出したと判定しない。むろん、ジェスチャーを直線と見なす際に、直線がわずかに曲がっていても直線と見なすなど、所定のマージンを設けてもよい。
図3Bに示す例において、一点鎖線の矢印は移動方向指定ジェスチャーの移動方向を示すベクトルを模式的に示しており、ここでは、利用者が赤外線の照射範囲内で表示面に平行に手を直線的に移動させた場合を想定している。当該移動方向指定ジェスチャーの移動方向はほぼ縦方向であり、ベクトルを表示面に表示される画像の縦方向の辺に投影した場合の線分の長さL2はベクトルを当該画像の横方向の辺に投影した場合の線分の長さより長い。従って、図3Bに示すジェスチャーは移動方向指定ジェスチャーである。
次に、制御部20は、ジェスチャー検出部21aの処理により、移動方向指定ジェスチャーが示す移動方向および移動量を特定する(ステップS225)。すなわち、制御部20は、移動方向指定ジェスチャーの移動方向を示すベクトルを画像の辺に投影した場合の線分であって長い方の線分を特定し、移動方向および移動量を特定する。例えば、図3Bに示す例において、移動方向指定ジェスチャーの移動方向を示すベクトルを画像の辺に投影した場合、縦方向の辺に投影した場合の線分の方が横方向の辺に投影した場合の線分よりも長い。従って、制御部20は、下方向を移動方向と見なし、ベクトルを画像の縦方向の辺に投影した場合の線分の長さL2を移動量として取得する。
次に、制御部20は、画像処理部21bの処理により、指定された領域内の画像を移動させる(ステップS230)。すなわち、制御部20は、ステップS215で特定された領域に含まれる画像を抜き出し、ステップS225で特定された移動方向および移動量で移動するように、RAM内の情報を更新する。この結果、制御部20が、画像処理部21bの処理によって投影部41を制御しRAM内の情報に基づいて画像を表示させると、図3Bに示す画像内の領域Rの画像が下方向に距離L2だけ移動した図3Cに示す状態となる。
次に、制御部20は、ジェスチャー検出部21aの処理により、キャンセルジェスチャーを検出するまで待機する(ステップS235)。すなわち、制御部20は、ジェスチャー検出部21aの処理によって検出される利用者の指等の位置の軌跡を特定する。さらに、制御部20は、軌跡が直線であり、かつ、移動方向指定ジェスチャーの逆方向に移動する軌跡である場合、キャンセルジェスチャーを検出したと判定する。これ以外の場合、例えば、ジェスチャーが直線ではない場合や移動方向が移動方向指定ジェスチャーの逆方向ではない場合等はキャンセルジェスチャーを検出したと判定しない。むろん、ジェスチャーを直線と見なす際に、直線がわずかに曲がっていても直線と見なすなど、所定のマージンを設けてもよい。
図3Cに示すように、表示面に表示される画像のうちの上部に表示されるグラフの画像Imが下方に移動された状態であれば、背が低い利用者であってもグラフの直近に立ってグラフの説明等を行うことが可能である。そして、この状態において、利用者が軌跡画像を追加するトリガを発生させると、利用者は、ジェスチャーによって軌跡画像を追加することができる。なお、軌跡画像追加処理が実行されている場合、キャンセルジェスチャーの特定は保留され、利用者の指等による軌跡画像の指定が優先される。従って、この場合において、利用者が任意のジェスチャーを行うと、制御部20は、軌跡画像追加処理により、当該ジェスチャーによって指定される指示位置の軌跡によって構成される軌跡画像を表示面上の画像に追加する。図3Dは、利用者が指によってグラフの画像Imに対して矢印を示す追加画像Iaを追加した場合の例を示している。
このように、追加画像が追加され、利用者が、軌跡入力の終了指示を行った場合、制御部20は、軌跡画像追加処理を終了し、再び、ステップS235におけるキャンセルジェスチャーの検出処理を実行する。この段階で利用者が図3Eに一点鎖線で示すようにキャンセルジェスチャーを行うと、制御部20は、画像処理部21bの処理により、指定された領域内の画像を元の位置に移動させる(ステップS240)。すなわち、制御部20は、移動後の画像を抜き出し、当該画像が元の位置に移動するように、RAM内の情報を更新する。この結果、制御部20が、画像処理部21bの処理によって投影部41を制御しRAM内の情報に基づいて画像を表示させると、移動後の画像が元の位置に戻った状態となる。なお、追加画像が存在する場合、制御部20は、追加画像が存在する状態で移動後の画像を抜き出す。従って、投影部41によって画像を元の位置に戻す表示が行われると、図3Eに示す状態の画像は、図3Fに示すように変化し、下方向に移動されていた画像が追加画像とともに上方向に移動する。
(4)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、ジェスチャーによって指定された領域を単位に表示装置内の画像を移動させる限りにおいて、他にも種々の実施形態を採用可能である。例えば、表示装置はプロジェクターに限定されず種々の装置であってよく、表示装置の設置位置もスクリーンの情報に限定されず、スクリーンに対向する壁面や机上等、種々の位置に設置されてよい。
以上の実施形態は本発明を実施するための一例であり、ジェスチャーによって指定された領域を単位に表示装置内の画像を移動させる限りにおいて、他にも種々の実施形態を採用可能である。例えば、表示装置はプロジェクターに限定されず種々の装置であってよく、表示装置の設置位置もスクリーンの情報に限定されず、スクリーンに対向する壁面や机上等、種々の位置に設置されてよい。
さらに、ジェスチャーの検出法としても種々の手法を採用可能である。例えば、ジェスチャーが非直線状である場合に直線に修正してジェスチャーを検出する構成であってもよい。修正の手法としては、種々の手法を採用可能であり、指等が直線状に移動する過程で往復移動する部分がある場合に当該部分を直線状の移動と見なす構成等を採用してもよい。また、ジェスチャーの開始位置と終了位置を結ぶ直線がジェスチャーの軌跡であると見なす構成であってもよい。
さらに、領域指定ジェスチャーと移動方向指定ジェスチャーとが連続的に行われてもよい。例えば、移動軌跡が直角状に屈曲する2個の線分となるようにジェスチャーが行われ、制御部20が、一方の線分が領域指定ジェスチャー、他方の線分が移動方向指定ジェスチャーであると見なす構成であってもよい。むろん、ジェスチャーの順序は限定されず、移動方向指定ジェスチャーの後に領域指定ジェスチャーが行われてもよい。さらに、画像の移動のキャンセルがジェスチャーではなく、アイコンの選択等によって指示されてもよい。
10…表示装置、20…制御部、21…表示制御プログラム、21a…ジェスチャー検出部、21b…画像処理部、21c…指示位置検出部、21d…画像追加部、40…撮像部、41…投影部
Claims (5)
- 表示面に画像を表示する表示装置であって、
前記画像内の一部の領域を指定する領域指定ジェスチャーと、前記領域に含まれる前記画像の移動方向を指定する移動方向指定ジェスチャーと、を検出するジェスチャー検出部と、
前記領域に含まれる前記画像を前記移動方向に移動させる画像処理部と、
を備える表示装置。 - 検出対象の位置に基づいて前記画像内の指示位置を検出する指示位置検出部と、
前記指示位置の軌跡を示す軌跡画像を前記画像に追加する画像追加部と、をさらに備え、
前記画像追加部は、
前記領域に含まれる前記画像が移動された後、移動後の前記画像に前記指示位置が含まれる場合に、当該移動後の前記画像に前記軌跡画像を追加する、
請求項1に記載の表示装置。 - 前記ジェスチャー検出部は、
前記領域に含まれる前記画像の移動をキャンセルするキャンセルジェスチャーを検出し、
前記画像処理部は、
移動後の前記画像に前記軌跡画像が追加された後に前記キャンセルジェスチャーが検出された場合、前記軌跡画像とともに移動後の前記画像を元の位置に戻す、
請求項2に記載の表示装置。 - 前記表示面に表示される前記画像は矩形であり、
前記ジェスチャー検出部は、
前記表示面に沿って利用者が体の一部を移動させる第1ジェスチャーを前記領域指定ジェスチャーとして検出して、前記領域指定ジェスチャーにおける前記体の一部の位置と前記画像の辺に沿う前記体の一部の移動距離とに基づいて、矩形の前記領域の一辺の位置および長さを取得し、
前記表示面に沿って利用者が体の一部を移動させる第2ジェスチャーを前記移動方向指定ジェスチャーとして検出して、前記移動方向指定ジェスチャーにおける前記体の一部の前記画像の辺に沿う移動方向を、矩形の前記領域に含まれる前記画像の前記移動方向として取得する、
請求項1〜請求項3のいずれかに記載の表示装置。 - 表示面に画像を表示する表示装置を制御する表示制御プログラムであって、
前記画像内の一部の領域を指定する領域指定ジェスチャーと、前記領域に含まれる前記画像の移動方向を指定する移動方向指定ジェスチャーと、を検出するジェスチャー検出機能と、
前記領域に含まれる前記画像を前記移動方向に移動させる画像処理機能と、
をコンピューターに実現させる表示制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015000115A JP2016126548A (ja) | 2015-01-05 | 2015-01-05 | 表示装置、表示制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015000115A JP2016126548A (ja) | 2015-01-05 | 2015-01-05 | 表示装置、表示制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016126548A true JP2016126548A (ja) | 2016-07-11 |
Family
ID=56359389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015000115A Pending JP2016126548A (ja) | 2015-01-05 | 2015-01-05 | 表示装置、表示制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016126548A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018097280A (ja) * | 2016-12-16 | 2018-06-21 | カシオ計算機株式会社 | 表示装置、表示方法及びプログラム |
-
2015
- 2015-01-05 JP JP2015000115A patent/JP2016126548A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018097280A (ja) * | 2016-12-16 | 2018-06-21 | カシオ計算機株式会社 | 表示装置、表示方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9740338B2 (en) | System and methods for providing a three-dimensional touch screen | |
US6297804B1 (en) | Pointing apparatus | |
KR101446902B1 (ko) | 사용자 인터랙션 장치 및 방법 | |
CN102221964B (zh) | 将z次序指派给用户界面元素的方法和设备 | |
CN105938413B (zh) | 显示装置以及显示控制方法 | |
US10276133B2 (en) | Projector and display control method for displaying split images | |
CN107301005B (zh) | 决定触控位置的方法及使用所述方法的触控投影系统 | |
JP6544073B2 (ja) | 画像表示システムおよび画像表示方法 | |
US20110267260A1 (en) | Interactive display apparatus and operating method thereof | |
JP6543960B2 (ja) | 表示装置、表示制御方法およびプログラム | |
US20150261385A1 (en) | Picture signal output apparatus, picture signal output method, program, and display system | |
JP2017182109A (ja) | 表示システム、情報処理装置、プロジェクター及び情報処理方法 | |
KR20180066440A (ko) | 미술 학습을 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 | |
US9946333B2 (en) | Interactive image projection | |
JP2016126548A (ja) | 表示装置、表示制御プログラム | |
KR20180099954A (ko) | 표시 장치, 프로젝터 및, 표시 제어 방법 | |
RU2665296C2 (ru) | Способ двунаправленного отображения и устройство двунаправленного отображения | |
JP6278494B2 (ja) | 赤外光の調整方法及び位置検出システム | |
JP2000227835A (ja) | ポインティング方式 | |
KR101765202B1 (ko) | 화면 밖의 부분이 터칭되면 미리 설정된 기능이 실행되는 전자칠판 | |
JP6586891B2 (ja) | プロジェクター及びプロジェクターの制御方法 | |
JP6682768B2 (ja) | 表示システム、表示装置、情報処理装置及び制御方法 | |
JP6520227B2 (ja) | 表示装置および表示制御方法 | |
US20160320897A1 (en) | Interactive display system, image capturing apparatus, interactive display method, and image capturing method | |
JP2005339269A (ja) | 画像表示装置 |