JP2009277194A - 表示操作システム - Google Patents

Abstract

【課題】表示面に表示された図像に手を触れずに図像を直感的に指定することを可能にし、手から分泌された油脂で表示面が汚れるのを防止する。
【解決手段】映像形成装置１１は、ハーフミラー１２の背面側にプラズマディスプレイ１７を配置し、ハーフミラー１２の表面である表示面Ｐｄにおいてプラズマディスプレイ１７による映像を視認可能にする。位置センサ１６は、表示面Ｐｄの前方に重ね合わせる形で規定したセンシング領域Ｄｓ内に存在する位置指示物体Ｏｂの位置を検出する。座標置換部３３は、位置センサ１６により検出した位置指示物体Ｏｂの位置を表示面に規定した表示座標系における座標位置である指示位置に置換する。操作処理部３２は、表示座標系における指示位置を用いて指示位置に関連付けた処理を実行する。
【選択図】図１

Description

本発明は、映像が表示される表示面の前方で手などの位置指示物体を用いて処理の実行を指示する表示操作システムに関するものである。

従来から、コンピュータを用いた装置のユーザインターフェイスとして、ＧＵＩ（Graphical User Interface）が採用されている。ＧＵＩでは、ディスプレイ装置の画面にアイコンやウインドウのような図像を表示し、マウスやトラックパッドのようなポインティングデバイスを用い、図像を指定する操作を行うことにより図像に関係付けた処理を実行させたり、ポインティングデバイスの操作に関係付けた処理を実行させたりしている。

ただし、一般的なポインティングデバイスは、図像を表示するディスプレイ装置と、図像を指定するためのカーソルを移動させるポインティングデバイスとが離れて設けられている。したがって、利用者は、ポインティングデバイスを手で操作することによりディスプレイ装置に表示されたカーソルの移動を視認し、目的の位置にカーソルが移動するように手の動きを調節するという情報処理を常時行っていることになる。この操作は直感的に分かりやすいとは言えず、カーソルを目的の位置に合わせる操作は慣れによって修得することが必要である。

この種のポインティングデバイスに代えてタッチパネルにより図像を指定することも考えられている（たとえば、特許文献１参照）。タッチパネルでは、図像の位置に指を触れるから、操作が直感的で分かりやすく慣れが必要なく誰にでも使用できるという利点を有している。
特開平１０−２５５０５２号公報

しかしながら、タッチパネルは、図像を表示しているディスプレイ装置の表示面に指が直接触れるから、指から分泌される油脂などで表示面が汚れやすい上に、タッチパネルの表面に指を触れるうちに経年劣化するという問題がある。

本発明は上記事由に鑑みて為されたものであり、その目的は、位置指定物体で表示面に触れずに直感的な操作を可能にし、位置指定物体として手を用いる場合でも手から分泌される油脂で表示面が汚れることのない表示操作システムを提供することにある。

請求項１の発明は、規定の表示面に映像を形成する映像形成装置と、表示面の前方に重ね合わせる形で規定したセンシング領域内に存在する位置指示物体について規定のセンサ座標系における座標位置を検出する位置センサと、位置センサにより検出した位置指示物体の位置を表示面に規定した表示座標系における座標位置である指示位置に置換する座標置換部と、規定の処理と関連付けて表示面に形成される図像に基づいて設定された反応領域に指示位置が重なると図像に関連付けた処理を実行する操作処理部とを備えることを特徴とする。

請求項２の発明では、請求項１の発明において、前記位置センサは、規定のセンサ座標系における基準位置から位置指示物体までの距離および位置指示物体の存在する方位を計測することを特徴とする。

請求項３の発明では、請求項１又は２記載の表示操作システムにおいて、前記映像形成装置は、一面を前記表示面とするハーフミラーと、ハーフミラーの他面側に配置され映像を表示する映像表示装置とからなることを特徴とする。

請求項４の発明では、請求項１〜３のいずれかの発明において、前記センシング領域は、前記表示面に沿って形成されていることを特徴とする。

請求項５の発明では、請求項１〜４のいずれかの発明において、前記操作処理部は、前記映像形成装置で形成される映像内において、前記座標置換部で求めた指示位置にポインタを表示することを特徴とする。

請求項６の発明では、請求項１〜５のいずれかの発明において、前記操作処理部は、前記映像形成装置に形成された特定の図像が占める領域に関連付けて前記表示座標系内で設定した反応領域の範囲内に前記座標置換部で求めた指示位置が重なったときに、当該図像に割り当てた処理を実行することを特徴とする。

請求項７の発明では、請求項１〜５のいずれかの発明において、前記操作処理部は、前記映像形成装置に形成された特定の図像が占める領域に関連付けて前記表示座標系内で設定した反応領域の範囲内に前記座標置換部で求めた指示位置が重なっている時間が規定した判定時間に達したときに、当該図像に割り当てた処理を実行することを特徴とする。

請求項８の発明では、請求項１〜７のいずれかの発明において、前記操作処理部は、前記映像形成装置に形成された特定の図像が占める領域に関連付けて前記表示座標系内で設定した反応領域の範囲内に前記座標置換部で求めた指示位置が重なっている時間が規定した判定時間に達したときに、前記位置指示物体と当該図像とが連携して動くように結合し、前記センシング領域内で前記位置指示物体が移動した位置に当該図像を移動させることを特徴とする。

請求項９の発明では、請求項８の発明において、前記操作処理部は、前記位置指示物体が前記センシング領域の外に移動したときに、位置指示物体と前記図像とを分離し、前記表示面上での前記図像の位置を分離時点の位置とすることを特徴とする。

請求項１０の発明では、請求項１〜９のいずれかの発明において、前記操作処理部は、前記センシング領域における前記位置指示物体の特定の移動方向を判別し、位置指示物体の移動を検出したときに移動方向に関連付けた規定の処理を実行させることを特徴とする。

請求項１１の発明では、請求項１〜１０のいずれかの発明において、前記操作処理部は、前記センシング領域における前記位置指示物体の移動距離を判別し、位置指示物体の移動を検出したときに移動距離に関連付けた規定の処理を実行させることを特徴とする。

請求項１２の発明では、請求項１〜１１のいずれかの発明において、前記操作処理部は、前記センシング領域における前記位置指示物体の移動速度を判別し、位置指示物体の移動を検出したときに移動速度に関連付けた規定の処理を実行させることを特徴とする。

請求項１３の発明では、請求項１〜１２のいずれかの発明において、前記操作処理部は、前記センシング領域における前記位置指示物体の特定の移動パターンを判別し、当該移動パターンを検出したときに移動パターンに関連付けた規定の処理を実行させることを特徴とする。

請求項１の発明の構成によれば、センシング領域が表面の前方に重ね合わせる形で形成されているから、表示面に位置指示物体が直接触れなくとも処理の実行が可能になり、位置指示物体が表示面に触れることによる表示面の劣化や汚れを防止することができる。また、処理の実行を指示する位置指示物体として手を用いるときに、表示面に触れずに表示面から離れた場所で手を動かすことによって処理を指示することができるから、独特の浮遊感を伴う操作感が得られる。

請求項２の発明の構成によれば、位置指示物体までの距離と位置指示物体の存在する方位とを計測する位置センサを用いるから、センシング領域の全域における位置指示物体の位置を少数（最小構成は１個）の位置センサで求めることができ、位置センサの配置が容易であるとともにコストの増加を抑制することができる。

請求項３の発明の構成によれば、ハーフミラーの一面を表示面とし、他面側に映像表示装置を配置しているから、利用者自身を表示面に映すことができる。したがって、化粧鏡、姿見、洗面化粧台に設けている鏡に代えて映像形成装置を配置することができ、コンピュータ、テレビジョン、インターホンなどの様々な装置のディスプレイ装置として鏡を兼用することが可能になる。実施形態として後述するが、たとえばインターネットのような広域網に存在する情報を取得して映像形成装置に表示すれば、鏡に姿を映しながら天気予報やニュースの閲覧が可能になる。

請求項４の発明の構成によれば、表示面に沿ってセンシング領域を形成しており、処理の実行を指示するための位置指示物体の位置情報として表示面に沿った位置情報があればよく、表示面に直交する方向の位置情報が不要であるから、位置センサの構成が簡単になる。

請求項５の発明の構成によれば、表示面にポインタを表示するから、座標置換部で求めた表示座標系における座標位置をポインタにより視認することで、位置指示物体を移動させる方向や距離の目安が得られる。

請求項６の発明の構成によれば、表示面に規定した表示座標系での位置指示物体の位置に相当する指示位置が表示面に表示した特定の図像に重なると（実際には反応領域の範囲内に重なると）、図像に割り当てた処理を実行するから、表示面に沿って位置指示物体を移動させて図像に重ね合わせるだけで処理が起動される。この操作はマウスボタンのクリックに相当する。

たとえば、複数の処理について階層化し、各処理ごとに起動用のボタンを図像として設けるとともに、上位階層にも図像となるボタンを設けておき、常時は各処理ごとのボタンを表示面に表示せずに上位階層のボタンのみを表示している場合において、上位階層のボタンに指示位置を重ねることにより、下位階層のボタンを表示面に展開して表示することが可能になる。また、図像として写真のサムネイルを表示面に表示しているときに、サムネイルに指示位置を重ねたときに、当該写真に関する情報（撮影日、撮影条件など）を表示するという利用や、サムネイルにリンクされている元の写真に拡大して表示するという利用が可能になる。

請求項７の発明の構成によれば、表示面に規定した表示座標系での位置指示物体の位置に相当する指示位置が表示面に表示した図像に重なっている（実際には反応領域の範囲内に重なっている）時間が規定した判定時間に達したときに、図像に割り当てた処理を実行するから、マウスボタンのクリックあるいはプレスに相当する操作が可能になる。

この動作では、反応領域に指示位置が重なる時間が判定時間よりも短い場合には処理が実行されないから、位置指示物体の移動中に目的としない図像を指示位置が通過したとしても当該図像に関係付けた処理が実行されることがなく、予期しない誤操作が生じるのを防止できる。

請求項８の発明の構成によれば、位置指示物体の移動とともに図像を移動させることができるから、マウスによるドラッグに相当する操作が可能になる。

請求項９の発明の構成によれば、位置指示物体がセンシング領域の外に移動すると、位置指示物体の移動にかかわらず図像が移動しなくなるのであって、マウスによるドラッグ後にマウスボタンを放すことに相当する操作が可能になる。

請求項１０の発明の構成によれば、位置指示物体の移動方向により処理の内容を変更することが可能になる。

請求項１１の発明の構成によれば、位置指示物体の移動距離により処理の内容を変更することが可能になる。たとえば、画像形成装置に表示する画像の輝度を調節する操作などに利用することができる。

請求項１２の発明の構成によれば、位置指示物体の移動速度により処理の内容を変更することが可能になる。たとえば、移動速度を２段階に分類しておき、低速であればマウスのドラッグに相当する操作を行い、高速であれば表示面のスクロールに相当する操作を行うことが可能になる。

請求項１３の発明の構成によれば、位置指示物体の移動パターンにより処理の内容を選択することが可能になる。たとえば、図形や文字を描くように位置指示物体を移動させることにより、図形や文字に関係付けた処理を実行し、表示面に図形や文字を表示する入力装置として利用したり、図形や文字に対応付けた処理を起動したりすることが可能になる。

なお、請求項６〜１３において、位置指示物体の位置、反応領域に指示位置が重なっている時間、位置指示物体の移動方向、移動距離、移動速度、移動パターンは、位置センサにより検出される位置指示物体の位置に基づいて操作処理部が判断しているが、この判断に対して図像で行う処理は図像の属性として規定される。たとえば、処理が階層化されているときに、クリックに相当する操作で下位階層のボタンを表示面に展開することは、図像の属性として規定される。

（実施形態１）
以下に説明する実施形態では、図１に示すように、化粧台１（図３参照）に設けた鏡２を映像形成装置１１に用いる例を示す。映像形成装置１１は、前面が鏡２として機能するハーフミラー１２と、ハーフミラー１２の背面に配置した映像表示装置としてのプラズマディスプレイ１７とを備える。

ハーフミラー１２とプラズマディスプレイ１７との位置決めには、たとえば、図２に示すように、板状であって略平行に配置されるミラー取付台４１およびディスプレイ取付台４２を用いる。図示例では、ミラー取付台４１の厚み方向の一面（前面）にハーフミラー１２を取り付けるとともに、ディスプレイ取付台４２の厚み方向の一面（前面）にプラズマディスプレイ１７を取り付ける構造を採用している。また、図示例では、ミラー取付台４１およびディスプレイ取付台４２を床面上に支持するために、それぞれの下端に各一対の足４３を取り付けている。

ハーフミラー１２は、ミラー取付台４１の前面に貼着される。図示例においては、ハーフミラー１２のサイズをミラー取付台４１の前面のサイズに略一致させているが、ハーフミラー１２のサイズは用途に応じて適宜に調節される。

一方、プラズマディスプレイ１７は、ディスプレイ取付台４２の前面に固着した取付金具４４に取り付けられる。取付金具４４は、プラズマディスプレイ１７を壁面に取り付けるために提供されている既存のものを流用すればよい。

ところで、ミラー取付台４１にはプラズマディスプレイ１７の一部が挿入される切欠孔４５が厚み方向に貫通して設けられている。切欠孔４５は十字形に開口し、前面が長方形状であるプラズマディスプレイ１７を横長で取り付ける場合と縦長で取り付ける場合とのどちらにも対応可能としてある。すなわち、切欠孔４５は、プラズマディスプレイ１７の長手方向の寸法を一辺の長さとする正方形状の貫通孔の各角部に、プラズマディスプレイ１７の長手方向と短手方向の寸法差の２分の１の寸法を一辺の長さとする正方形状の突部をそれぞれ設けた形状に形成されている。

切欠孔４５にプラズマディスプレイ１７を挿入した状態では、プラズマディスプレイ１
７の周部が切欠孔４５の周壁により保持される。したがって、横長で取り付けた場合にはプラズマディスプレイ１７の上下に隙間が形成され、縦長で取り付けた場合にはプラズマディスプレイ１７の左右に隙間が形成される。プラズマディスプレイ１７の背面とディスプレイ取付台４２との間には一対のスペーサ４６が配置され、プラズマディスプレイ１７が前後にがたつかないようにしてある。

上述した構成により、プラズマディスプレイ１７の画面に表示される映像をハーフミラー１２の前方から見ることが可能になる。また、プラズマディスプレイ１７を取付金具４４のみで支持する場合よりもプラズマディスプレイ１７を支持する強度を高めることができる。

上述の例では、切欠孔４５に挿入されるプラズマディスプレイ１７の前面をミラー取付台４１の前面と同一平面としておけば、ハーフミラー１２をミラー取付台４１の前面に貼着することによって、ハーフミラー１２がプラズマディスプレイ１７の前面にも密着するから、ハーフミラー１２をとくに補強しなくともハーフミラー１２の平面度を維持することができる。

ただし、プラズマディスプレイ１７の前面とミラー取付台４１の前面とを同一平面としない場合には、ハーフミラー１２の機械的強度を向上させ平面度を維持するために、ハーフミラー１２の基材（後述する）に厚み寸法の比較的大きい透明板を用いることが必要である。

上述の構成により、映像形成装置１１の前面は鏡２として利用できるだけではなく、プラズマディスプレイ１７（映像表示装置）により形成される映像を表示する表示面Ｐｄとしても機能する。すなわち、映像形成装置１１の前に利用者が居れば、表示面Ｐｄに利用者の像を写すとともに、プラズマディスプレイ１７により形成された映像を表示することが可能になる。プラズマディスプレイ１７に表示する映像は、後述するようにコンピュータ３１を用いて形成する。

ハーフミラー１２の透過率は、ハーフミラー１２を鏡２として利用し、かつハーフミラー１２を通してプラズマディスプレイ１７に表示される映像を視認できるように設計される。ハーフミラー１２は、ガラスや合成樹脂の透明な基材の表面に金属膜などによる鏡面コーティングを形成したものであり、基材においてプラズマディスプレイ１７と対向する表面と、基材においてプラズマディスプレイ１７とは反対側の表面との少なくとも一方に鏡面コーティングを形成している。基材においてプラズマディスプレイ１７とは反対側の表面に鏡面コーティングを形成した場合には、プラズマディスプレイ１７から放射された光の透過率が高く、かつ前面の反射率が高いハーフミラー１２として機能させることが期待できる。つまり、基材による光の吸収がないから、鏡２としての機能を向上すると考えられる。なお、基材においてプラズマディスプレイ１７とは反対側の表面に鏡面コーティングを形成する場合には、鏡面コーティングの表面を透明な保護膜で覆うのが望ましい。また、プラズマディスプレイ１７に表示された映像を高輝度で表示できるように、ハーフミラー１２とプラズマディスプレイ１７の画面との間には、屈折率を調節して反射を防止する透明材料を充填するのが望ましい。

上述のように、本実施形態では、映像形成装置１１は、コンピュータ３１のディスプレイ装置として用いられる。映像形成装置１１は、テレビジョンなどの画面として用いることもでき、その場合にはコンピュータ３１により生成される映像をスーパーインポーズにより重ねて表示し、コンピュータ３１によりテレビジョンのチャンネル選択などの操作を可能にする。コンピュータ３１のディスプレイ装置として用いているから、コンピュータ３１をインターネットのような広域網の端末として用いることが可能であり、この場合には鏡に姿を映しながら天気予報やニュースの閲覧が可能になる。化粧台１として化粧に利用する場合には、化粧法の手順を示す映像を映像形成装置１１の表示面Ｐｄに表示することにより、新たな化粧法を習得する際の利便性が高くなる。

ところで、化粧台１は、図３に示すように、左右の両袖に立設される一対の棚２１と、両棚２１の上端間に架設される横梁２２と、横梁２２よりも下方で両棚２１の間に架設されるカウンタ２３とを備える。鏡２は矩形状であって化粧台１の後端部に配置され、鏡２の四周は棚２１と横梁２２とカウンタ２３とに接している。

横梁２２は中空であって、図４に示すように、カウンタ２３および化粧台１の前方を照明する蛍光ランプようなランプ２４と、後述する位置センサ１６とが内蔵される。横梁２２の下面にはランプ２４から放射された光を拡散透過させる拡散パネル２５が装着される。拡散パネル２５の左右寸法は両棚２１の間の距離に略等しく、拡散パネル２５の前後寸法は横梁２２の前後寸法よりも短く形成されている。拡散パネル２５の後端縁は鏡２の上端縁付近に位置し、横梁２２の下面において横梁２２の前端縁と拡散パネル２５の前端縁との間は遮光板２６により覆われている。遮光板２６の後端付近であって、遮光板２６の左右方向の中央部には位置センサ１６を露出させるスリット２７が形成されている。

位置センサ１６は、操作処理部３２とともにコンピュータ３１のポインティングデバイスとして機能する。また、後述するように、位置の指示には鏡２の前に居る利用者の手を用いる。操作処理部３２は、コンピュータ３１とは別に専用装置として設けることが可能であるが、本実施形態では、コンピュータ３１においてプログラムを実行することにより実現している。

位置センサ１６は、いわゆるレーザスキャナであって、レーザ光をポリゴンミラーで走査するとともに、レーザ光の往復時間を計測する光飛翔時間法（Time of Flight）を用いて物体までの距離を計測する。レーザ光を走査することにより、物体の存在する方位も検出することができ、距離と方位とにより物体の存在位置を２次元で計測することが可能になっている。本実施形態の位置センサ１６は、角度分解能が０．５度程度、距離分解能が１ｍｍ程度であって、１回のスキャン時間は０．１ｓ程度のものを想定している。

上述した位置センサ１６では、レーザ光の走査範囲内に存在する物体の位置を検出することができ、本実施形態では、鏡２の前面である表示面Ｐｄ（図５参照）の前方における物体Ｏｂの位置を検出できるように、レーザ光の走査範囲が設定されている。すなわち、上述したスリット２７は、鏡２の前方においてレーザ光を走査可能にするために設けてある。以下では、鏡２の前方において位置センサ１６が物体Ｏｂを検出する領域をセンシング領域（図１、図５参照）Ｄｓという。

いま、図６に示すように、鏡２の左上角を原点とし左右方向をｘ軸方向として右向きをｘ軸方向の正の向き、上下方向をｙ軸方向として下向きをｙ軸方向の正の向きとする表示座標系を考える。センシング領域Ｄｓは、表示座標系のｘｙ平面に平行な面内では表示面Ｐｄ（鏡２）の全面に相当する範囲を包含しており、表示面Ｐｄの前方に重ね合わせる形で形成されているのであって、位置センサ１６は、表示面Ｐｄの前方において表示面Ｐｄに沿った物体Ｏｂの存在する位置を検出する。センシング領域Ｄｓは、鏡２の前方に離間して（５〜１０ｃｍ程度）形成してあり、さらに、センシング領域Ｄｓが前後方向（表示面Ｐｄに直交する方向）において所定の厚みを持つように、レーザ光は前後方向において所定幅を有する帯状に形成されている。

上述したように、位置センサ１６は、物体Ｏｂまでの距離ｄおよび物体Ｏｂの存在する方位θ（水平方向を０度とし、原点の周りで左回りを正の向きとする）を検出するものであり、距離ｄおよび方位θは位置センサ１６において規定されたセンサ座標系において計測される。すなわち、センサ座標系は位置センサ１６に原点を設定した極座標系になる。位置センサ１６をポインティングデバイスとして用いるには、位置センサ１６により検出される利用者の手の位置（ｄ，θ）を、直交座標系である表示座標系（ｘ，ｙ）に変換する必要がある。したがって、鏡２の幅寸法Ｗと、センサ座標系の原点位置から鏡２の上端縁までの上下方向の距離Ｂとを用いて、以下のような変換演算を行う。この変換演算は、座標置換部３３において行われる。
ｘ＝Ｗ／２−（ｄ×ｃｏｓθ）
ｙ＝ｄ×ｓｉｎθ−Ｂ
以下では、鏡２の前に居る利用者の手を位置指示物体Ｏｂと呼ぶ。位置指示物体Ｏｂがセンシング領域Ｄｓに位置しているときには、位置指示物体Ｏｂの位置が位置センサ１６により検出され、座標置換部３３において表示座標系の位置座標に変換される。ここにおいて、位置センサ１６では、上述した角度分解能の角度間隔で位置指示物体Ｏｂの位置を検出しており、位置指示物体Ｏｂには大きさがあるから、位置指示物体Ｏｂに関して複数個の座標位置が得られる。そこで、座標置換部３３では、位置指示物体Ｏｂの代表点の位置を算出し、代表点の位置を位置指示物体Ｏｂの位置とする。

代表点を決定するには、たとえば、位置センサ１６の出力から位置指示物体Ｏｂの存在範囲を推定し（センシング領域Ｄｓ内に存在する物体で所定の角度範囲の大きさを持つ塊状の範囲として認識される部位を位置指示物体Ｏｂの存在範囲と推定）、当該存在範囲について距離の平均値を求めて代表点までの距離とし、当該存在範囲に相当する角度範囲を２分する中心線の方位を代表点が存在する方位とする。なお、所定の角度範囲の大きさを持つ塊状の範囲として位置指示物体Ｏｂを認識することを条件にしているのは、手程度の大きさを持つ物体ではない異物を位置指示物体Ｏｂとして誤認しないためである。この目的のために、位置指示物体Ｏｂの存在範囲を上述した中心線で２分するとともに、中心線で２分される各半分の領域ごとに距離の平均値を求め、両平均値の差分が規定値以上であるときに異物とみなす判断を付加してもよい。

センサ座標系における位置指示物体Ｏｂの位置が決定されると、座標置換部３３では、センサ座標系における位置指示物体Ｏｂの位置を、上述の変換演算により、表示座標系における座標位置である指示位置に置換する。

ところで、映像形成装置１１にはコンピュータ３１に設けた図像生成部３３により生成された図像（ＧＵＩで用いるアイコンなどに相当し、サムネイル画像を用いる場合もある）が表示される。図像生成部３４は、映像形成装置１１の表示面Ｐｄに図像を表示するための画像データと、各図像が選択されたときに行う処理（処理を実行するプログラムを記憶した記憶装置へのアクセス情報）とを関係付けて記憶している。すべての図像に処理が関係付けられているわけではなく、特定の図像にのみ処理が関係付けられる。

図像に対する基本的な操作はシステムプログラム（オペレーティングシステム）により規定され、座標置換部３３において上述のようにして求めた指定位置と、後述するように位置指示物体Ｏｂの動きに関係付けて操作処理部３２で規定されている操作情報とを座標置換部３３からシステムプログラムに引き渡すことによって、位置指示物体Ｏｂによりマウスのようなポインティングデバイスと同様の操作を可能にしている。したがって、意思指示物体の動きにより、図像生成部３４において図像に関係付けられている処理が起動されると当該処理が実行される。

座標置換部３３で求める指示位置は、映像形成装置１１の表示面Ｐｄの近傍に設定されているセンシング領域Ｄｓにおける位置指示物体Ｏｂであり、上述の演算から明らかなように、当該指示位置は表示面Ｐｄにおいて位置指示物体Ｏｂとほぼ重なる位置になっている。したがって、表示面Ｐｄにおいて図像が表示されている領域に重ねるように位置指示物体Ｏｂを移動させれば、マウスによりカーソルを移動させてアイコンのような図像に重ねたことに相当する動作が可能になる。

ただし、表示面Ｐｄにカーソルに相当する表示がなければ、利用者に不安感を生じる可能性があるから、本実施形態における操作処理部３２では、カーソルに相当するポインタＰｎｔ（図５参照）を表示面Ｐｄに表示するようにしている。ポインタＰｎｔは、表示面Ｐｄで反射して映り込む物体の像や映像形成装置１１により表示面Ｐｄに映される映像とは区別できる色や形で表示するのが望ましく、たとえば、赤色の円形状に形成される。

操作処理部３２では、座標置換部３３から出力される指示位置によりセンシング領域Ｄｓにおける位置指示物体Ｏｂの存在を認識すると、表示座標系における指示位置にポインタＰｎｔを表示する。言い換えると、センシング領域Ｄｓに位置指示物体Ｏｂが存在しないときには、表示面ＰｄにポインタＰｎｔは表示されない。したがって、ポインタＰｎｔが表示面Ｐｄに表示されているか否かによって、利用者は位置指示物体Ｏｂが操作処理部３２に認識されているか否かを知ることができる。

ポインティングデバイスとして機能するには、少なくとも押しボタンを１個備えるマウスと同等の操作が可能でなければならない。操作処理部３２では、位置指示物体Ｏｂの動きによって、クリック（ダブルクリック）、プレス、ドラッグなどの操作を判断し、システムプログラムに引き渡す。

クリックあるいはダブルクリックに相当する操作は、図像Ｉｃｎに関連付けて表示座標系内で設定している反応領域にポインタＰｎｔ（指示位置）が重なったこととする場合がある。この場合には、図像Ｉｃｎに対してポインタＰｎｔが重なると処理を実行するという属性が設定される。操作処理部３２では、図像Ｉｃｎについて設定した反応領域内にポインタＰｎｔの位置（指示位置）が重なるという条件が成立するか否かを監視しており、この条件が成立すると図像Ｉｃｎに関係付けた処理の起動を指示する。

なお、反応領域は、図像Ｉｃｎの近傍に円形領域や矩形領域として規定される。たとえば、図像Ｉｃｎに外接する円形領域ないし矩形領域を反応領域とすれば、比較的広い反応領域を設定することができるから、図像Ｉｃｎの選択が容易になる。

反応領域にポインタＰｎｔを重ねると、反応領域に対応付けている図像Ｉｃｎに関連付けた処理が起動される。この処理には、アプリケーションプログラムを実行する処理のほか、図像Ｉｃｎが、「吸着」「反発」「生成」「変形」「変色」「増殖」「発音」などの反応を行うことも含んでいる。

この操作では位置指示物体Ｏｂを移動させてポインタＰｎｔが移動している間に図像Ｉｃｎ（反応領域）にポインタＰｎｔが重なるだけで処理が実行されるので、階層化されたメニューから下位階層のメニューを選択する処理、サムネイルにより表示された写真の撮影日、撮影条件などを表示する処理、サムネイルにより表示された画像の拡大して表示する処理などに用いる。

なお、階層化されたメニューとは、複数の処理（処理名がメニューの各項目になる）について階層化し、各処理ごとに起動用のボタンとなる図像Ｉｃｎを設けるとともに、上位階層にも下位階層を選択するためのボタンとなる図像Ｉｃｎを設けていることを意味する。このメニューでは、常時は上位階層のボタンのみを表示し、上位階層のボタンにポインタＰｎｔが重なると、下位階層のボタンが表示面Ｐｄに表示される。

クリックあるいはダブルクリックに相当する操作は、図像Ｉｃｎに対して表示座標系内で設定している反応領域にポインタＰｎｔが重なるだけではなく、重なっている時間が規定の判定時間（たとえば、０．５ｓ）に達したこととする場合もある。この場合には、利用者が反応領域にポインタＰｎｔが重なっている時間が判定時間に達するように、位置指示物体Ｏｂの動きを意図的に操作する必要があるから、利用者の意思に反して処理が起動されることがなく、マウスのクリックないしダブルクリックの操作に近い操作が可能になる。

また、ポインタＰｎｔが反応領域に重なるとともに判定時間に達する前に反応領域からポインタＰｎｔが離れたことをクリックに相当する操作とし、ポインタＰｎｔが反応領域に重なる状態が判定時間に達したことをプレスに相当する操作としてもよい。プレスに相当する操作とする場合には、１個の押しボタンを備えるマウスのプレスや２個の押しボタンを備えるマウスの右クリックなどと同様に、メニューを表示面Ｐｄに表示するようにしてもよい。あるいはまた、プレス後に当該操作後に図像ＩｃｎをポインタＰｎｔに結合し、ポインタＰｎｔの移動に伴って図像Ｉｃｎの移動を可能にしてもよい。つまり、表示面Ｐｄの中で図像Ｉｃｎの配置を変更することが可能になる。言い換えると、マウスのドラッグに相当する操作が可能になる。ポインタＰｎｔが反応領域に重なっている時間が判定時間に達したときに、クリックないしダブルクリックの操作とするか、プレスによるメニューの表示の操作とするか、プレスによるドラッグの操作とするかは、各図像Ｉｃｎの属性として規定される。

クリックやダブルクリックの操作は、図像Ｉｃｎに関係付けた処理の実行により操作が終了するが、プレスやドラッグについてはマウスの押しボタンを放す操作に相当する操作が必要である。操作処理部３２では、プレスやドラッグの操作を行っていた位置指示物体Ｏｂがセンシング領域Ｄｓの外に移動したことをプレスやドラッグの終了と判断する。すなわち、プレスないしドラッグによって図像ＩｃｎとポインタＰｎｔが結合されている状態であれば、位置指示物体Ｏｂがセンシング領域Ｄｓの外に移動すると、位置指示物体Ｏｂと図像Ｉｃｎとを分離する。分離時点において、図像ＩｃｎはポインタＰｎｔから切り離されるから、分離時点の位置に留まることになる。

以上のようにしてポンティングデバイスの基本的な操作が可能になる。上述の操作に加えて、本実施形態では、以下の操作も可能にしている。すなわち、本実施形態の構成では、タッチセンサ（トラックパッド、タブレット、タッチパネル）と同様に、位置指示物体Ｏｂの移動方向を比較的容易に操作できるから、位置指示物体Ｏｂを図像Ｉｃｎに関係付けることなく処理を実行する指示を与えることが可能である。

図像とは関係なく位置指示物体Ｏｂの移動により処理の実行を指示する場合には、位置指示物体Ｏｂの移動方向、移動距離、移動速度、移動パターンのうちの少なくとも１種類を用いて処理の実行を指示する。これらの移動に関する情報は操作処理部３２において判別し、位置指示物体Ｏｂの移動を検出したときに、移動に関する情報に応じた規定の処理を行う。移動方向、移動距離、移動速度などを判別する基準値は、以下の説明では、プログラムによりあらかじめ設定しているが、人の自然な動作を数値化することによって基準値を決めることが望ましい。したがって、利用者の動作から検出した数値を登録する登録モードを設けておくのが望ましい。

移動方向により処理の実行を指示するには、たとえば、４５度間隔で８方向の区別を可能にしておき（各方向について、たとえば±１５度の幅を持たせる）、ポインタＰｎｔを現在位置から規定した速度以上の速度でいずれかの方向に移動させることにより、当該方向に関係付けた処理を実行する。

たとえば、１５〜４０ｃｍ／ｓの移動速度で特定の方向に２０ｃｍ以上移動したときに処理を実行するものとし、上方向をスリープ解除、下方向を再起動などに関係付ける。ここに、スリープとは、センシング領域Ｄｓで位置指示物体Ｏｂが一定時間を超えて検出されないときに、プラズマディスプレイ１７の長寿命化などのためにプラズマディスプレイ１７の表示を停止させて映像形成装置１１による映像の表示を停止している状態のことである。スリープ解除の操作を行えば、プラズマディスプレイ１７の動作が再開されて表示面Ｐｄへの図像Ｉｃｎが再び表示されるようになる。

移動方向により処理の実行を指示するには、Ｖ字や十字のように複数の移動方向を組み合わせて１つの処理を指示するようにすることも可能である。

上述の操作では、位置指示物体Ｏｂを移動させることによりポインタＰｎｔの位置を図像Ｉｃｎに合わせようとしている期間における位置指示物体Ｏｂの移動には応答しないように、移動速度と移動距離とを制約条件に用いている。また、表示面Ｐｄに表示している内容によっては、制約条件を用いなくとも移動方向のみによって実行する処理を選択することが可能である。

上述のように、移動速度による制約条件を設けることは、移動速度により実行する処理の種類を区別していることになる。つまり、センシング領域Ｄｓにおける位置指示物体Ｏｂの移動速度に応じて異なる処理を行っていることになる。たとえば、移動速度を高低２段階に分類し、低速ではマウスのドラッグに相当する操作を行い、高速では表示面Ｐｄのスクロールに相当する操作を行うという処理が可能である。

さらに、位置指示物体Ｏｂの移動距離を処理に対応付けてもよい。とくに、画像形成装置１１の輝度を調節したり色を調節したりする場合に、案内用の直線状のガイドとガイド上に位置するレバーとを備えるスライダを表示面Ｐｄに表示し、スライダに設けたレバーにポインタＰｎｔを重ねることによって、レバーをガイドに沿って移動させるようにドラッグの操作を行うようにし、このレバーの移動距離に応じて輝度や色を調節するようにしてもよい。

また、画像形成装置１１をテレビジョン放送（放送以外の映像も含む）の視聴やカメラ付きインターホンの表示装置として用いる場合には、音声も扱うことになるから、音声を出力するスピーカの音量を調節するためにスライダを用いるようにしてもよい。なお、スライダは表示面Ｐｄに常時表示することが可能であるが、常時はスライダを表示せず、表示面Ｐｄの特定領域にポインタＰｎｔを移動させたときに、スライダが表示されるようにしてもよい。

上述の構成では、位置指示物体Ｏｂを動かすことによりポインティングデバイスとして用いることが可能であるが、文字を入力する操作は行うことができない。そこで、表示面Ｐｄの特定領域にポインタＰｎｔを移動させたときにキーボードを表示する構成を採用したり、文字を書くようにポインタＰｎｔを移動させると手書き文字を認識することで文字を入力するようにしてもよい。たとえば、テレビジョン放送（放送以外の映像含む）を視聴する際のチャンネルの選択やビデオディスク（ＤＶＤ等）のチャプタの選択など各種の操作を、ポインタＰｎｔを移動させて書いた文字（数字）により行うことも可能である。このように、文字を書いたり図形を描いたりするようにポインタＰｎｔを移動させることによって、処理の種類を指示してもよい。

ところで、上述の説明では片手を位置指示物体Ｏｂとして用いることを想定しているが、両手を位置指示物体Ｏｂに用いることも可能である。この場合、位置センサ１６での検出結果を用いて座標置換部３３において所定の大きさの塊状の領域を２個検出すると、両領域に対応付けてポインタＰｎｔを表示面Ｐｄに表示させ、両ポインタＰｎｔの動きの組み合わせにより処理を実行するようにしてもよい。たとえば、２個のポインタＰｎｔをそれぞれ異なる図像Ｉｃｎに略同時に重ねたときに処理が起動されるようにすることができる。

上述したように、センシング領域Ｄｓは、表示面Ｐｄの前方に形成されているから、位置指示物体Ｏｂを表示面Ｐｄに直接接触させる必要がなく、鏡２に手が触れることによって鏡２が汚れるのを防止することができる。また、表示面Ｐｄを鏡２の表面とする代わりに、壁面を表示面とし、上述のように図像Ｉｃｎを表示することも可能であり、この場合にも壁面の汚れを防止し、また壁面に直接触れることによる壁面の劣化を防止することができる。そして、位置指示物体Ｏｂとして手を用いる場合に、図像Ｉｃｎが表示されている表示面Ｐｄから離れて手を動かすことによって、処理を実行することができるから、あたかも図像Ｉｃｎを遠隔で操作しているかのような浮遊感を伴う独特な操作感が得られる。

なお、上述の構成例では、位置センサ１６として、センシング領域Ｄｓに存在する位置指示物体Ｏｂまでの距離および位置指示物体Ｏｂが存在する方位を計測するものを用いているが、多数本の平行なビームをセンシング領域Ｄｓに張り、位置指示物体Ｏｂを検出したビームの位置によって位置指示物体Ｏｂの位置を検出する位置センサ１６を用いることも可能である。ただし、上述のように極座標系で位置を検出する位置センサ１６は、１箇所に配置すればよいから、位置センサ１６の配置および調整が容易であり、コストの増加を抑制することができる。

本実施形態では、映像表示装置としてプラズマディスプレイ１７を例示したが、現状技術ではプラズマディスプレイ１７に代えて他のフラットパネルディスプレイである液晶ディスプレイを用いることも可能である。また、有機ＥＬや電界放出形の固体電子線源を用いたフラットパネルディスプレイも大画面化すれば採用可能である。

（実施形態２）
実施形態１では、プラズマディスプレイ１７を映像表示装置に用いているが、本実施形態では、図７に示すように、映像表示装置としてプロジェクタ１３を用いる例を示す。プロジェクタ１３は、ハーフミラー１２の後方に配置される。ハーフミラー１２は機械的強度を保つための透明板１４の一面に形成されており、透明板１４の他面にはプロジェクタ１３のスクリーンとして機能する拡散層１５が形成される。

ハーフミラー１２と透明板１４と拡散層１５とは別部材を積層して形成することができる。また、透明板１４の一面に蒸着により金属膜を形成することによりハーフミラー１２として機能させることができる。拡散層１５は、透明板１４の他面に拡散透過性を付与する材料を塗布したり透明板１４の他面を研磨等により粗面化することにより形成してもよい。他の構成および動作は実施形態１と同様である。

実施形態１を示す構成図である。 同上の要部分解斜視図である。 同上の外観斜視図である。 同上の要部断面図である。 同上の原理説明図である。 同上の表示例を示す図である。 実施形態２を示す構成図である。

符号の説明

１１ 映像形成装置
１２ ハーフミラー
１３ プロジェクタ（映像表示装置）
１４ 透明板
１５ 拡散層
１６ 位置センサ
１７ プラズマディスプレイ（映像表示装置）
３１ コンピュータ
３２ 操作処理部
３３ 座標置換部
３４ 図像生成部
Ｄｓ センシング領域
Ｉｃｎ 図像
Ｏｂ 位置指示物体（手）
Ｐｄ 表示面
Ｐｎｔ ポインタ

Claims (13)

1. 規定の表示面に映像を形成する映像形成装置と、表示面の前方に重ね合わせる形で規定したセンシング領域内に存在する位置指示物体について規定のセンサ座標系における座標位置を検出する位置センサと、位置センサにより検出した位置指示物体の位置を表示面に規定した表示座標系における座標位置である指示位置に置換する座標置換部と、規定の処理と関連付けて表示面に形成される図像に基づいて設定された反応領域に指示位置が重なると図像に関連付けた処理を実行する操作処理部とを備えることを特徴とする表示操作システム。
2. 前記位置センサは、規定のセンサ座標系における基準位置から位置指示物体までの距離および位置指示物体の存在する方位を計測することを特徴とする請求項１記載の表示操作システム。
3. 前記映像形成装置は、一面を前記表示面とするハーフミラーと、ハーフミラーの他面側に配置され映像を表示する映像表示装置とからなることを特徴とする請求項１又は２記載の表示操作システム。
4. 前記センシング領域は、前記表示面に沿って形成されていることを特徴とする請求項１〜３のいずれか１項に記載の表示操作システム。
5. 前記操作処理部は、前記映像形成装置で形成される映像内において、前記座標置換部で求めた指示位置にポインタを表示することを特徴とする請求項１〜４のいずれか１項に記載の表示操作システム。
6. 前記操作処理部は、前記映像形成装置に形成された特定の図像が占める領域に関連付けて前記表示座標系内で設定した反応領域の範囲内に前記座標置換部で求めた指示位置が重なったときに、当該図像に割り当てた処理を実行することを特徴とする請求項１〜５のいずれか１項に記載の表示操作システム。
7. 前記操作処理部は、前記映像形成装置に形成された特定の図像が占める領域に関連付けて前記表示座標系内で設定した反応領域の範囲内に前記座標置換部で求めた指示位置が重なっている時間が規定した判定時間に達したときに、当該図像に割り当てた処理を実行することを特徴とする請求項１〜５のいずれか１項に記載の表示操作システム。
8. 前記操作処理部は、前記映像形成装置に形成された特定の図像が占める領域に関連付けて前記表示座標系内で設定した反応領域の範囲内に前記座標置換部で求めた指示位置が重なっている時間が規定した判定時間に達したときに、前記位置指示物体と当該図像とが連携して動くように結合し、前記センシング領域内で前記位置指示物体が移動した位置に当該図像を移動させることを特徴とする請求項１〜７のいずれか１項に記載の表示操作システム。
9. 前記操作処理部は、前記位置指示物体が前記センシング領域の外に移動したときに、位置指示物体と前記図像とを分離し、前記表示面上での前記図像の位置を分離時点の位置とすることを特徴とする請求項８記載の表示操作システム。
10. 前記操作処理部は、前記センシング領域における前記位置指示物体の特定の移動方向を判別し、位置指示物体の移動を検出したときに移動方向に関連付けた規定の処理を実行させることを特徴とする請求項１〜９のいずれか１項に記載の表示操作システム。
11. 前記操作処理部は、前記センシング領域における前記位置指示物体の移動距離を判別し、位置指示物体の移動を検出したときに移動距離に関連付けた規定の処理を実行させることを特徴とする請求項１〜１０のいずれか１項に記載の表示操作システム。
12. 前記操作処理部は、前記センシング領域における前記位置指示物体の移動速度を判別し、位置指示物体の移動を検出したときに移動速度に関連付けた規定の処理を実行させることを特徴とする請求項１〜１１のいずれか１項に記載の表示操作システム。
13. 前記操作処理部は、前記センシング領域における前記位置指示物体の特定の移動パターンを判別し、当該移動パターンを検出したときに移動パターンに関連付けた規定の処理を実行させることを特徴とする請求項１〜１２のいずれか１項に記載の表示操作システム。

Images