JP2004287823A - ポインティング操作支援システム - Google Patents
ポインティング操作支援システム Download PDFInfo
- Publication number
- JP2004287823A JP2004287823A JP2003078780A JP2003078780A JP2004287823A JP 2004287823 A JP2004287823 A JP 2004287823A JP 2003078780 A JP2003078780 A JP 2003078780A JP 2003078780 A JP2003078780 A JP 2003078780A JP 2004287823 A JP2004287823 A JP 2004287823A
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- distance
- movement amount
- position coordinates
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】ポインティングシステムのあらゆる操作者、とりわけ操作を苦手とする肢体不自由者、高齢者または子供（幼児を含む）などが不自由さを感じずに、確実にポインティングすることを可能とするポインティング操作支援システムを提供する。
【解決手段】画面上の操作者の視線位置座標と外部入力デバイスのポインタ位置座標との２点間距離を算出し、２点間距離が大きいほど外部入力デバイス単位移動量当たりに対するポインタ移動量を大きくし、２点間距離が小さいほどポインタ移動量を小さくする、また視線位置座標とポインタ位置座標が所定の距離範囲内で一致した場合にはポインタの位置を一定時間固定させるようにポインタの移動を制御する。
【選択図】 図１
【解決手段】画面上の操作者の視線位置座標と外部入力デバイスのポインタ位置座標との２点間距離を算出し、２点間距離が大きいほど外部入力デバイス単位移動量当たりに対するポインタ移動量を大きくし、２点間距離が小さいほどポインタ移動量を小さくする、また視線位置座標とポインタ位置座標が所定の距離範囲内で一致した場合にはポインタの位置を一定時間固定させるようにポインタの移動を制御する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、肢体不自由者、高齢者、幼児を含む子供でも確実にポインティングすることを可能とするポインティング操作支援システムに関するものである。
【０００２】
【従来の技術】
従来、操作者の視線の方向を検出して、この検出結果に応じた情報を処理する、視線入力式のポインティングシステムが多数提案されている。
【０００３】
これらの方式は、画面上のアイコンやボタンを選択する場合において、選択の確定は選択対象を一定時間以上注視しなくてはならず、注視動作そのものが操作者にとって不自然なものであり、使い難い操作方法であった。
【０００４】
その課題に対し、一定位置を注視することはせずに、視線により選択対象物をおおよそ確定させ、選択対象物からの位置ずれはマウスあるいはキーボードなどの手動操作により補正する方法が提案されている。（例えば、特許文献１参照）
【０００５】
また肢体不自由者を対象として、頭部の動きを用いたマウス代替装置があるが、抱える障害の度合いは様々で、運動能力によってはマーカやセンサの動きが十分取れなく、画面上の任意点を直接指し示し、選択することが困難な場合がある。
【０００６】
この課題を解決するために、表示装置上にマウスポインタ操作用の領域を配置し、この操作領域内を移動可能な疑似ポインタによって、マウスポインタの移動やマウスボタンのクリックに関連付けられた図形を指示選択する方法において、マウスポインタの位置と選択しようとする対象物間の距離が所定の範囲内にある場合、その距離と軌道修正角度を通知する方法が提案されている。（例えば、特許文献２参照）
【０００７】
【特許文献１】
特開２０００−８９９０５
【特許文献２】
特開２００３−５９１５
【０００８】
【課題を解決しようとする課題】
しかしながら、選択対象物からの位置ずれをマウスあるいはキーボードなどの手動操作により補正する場合、キーボードでポインタを微妙に移動させるのは非常に面倒な操作であり、通常使用するマウスにおいても、肢体不自由者や高齢者などで手先に不自由さを抱えている人や、手が小さくマウスを十分に掴むことができない幼児を含む子供にとっては、微妙な位置合わせのためのマウスの移動操作は非常に困難である。
また、肢体不自由者が不自由無くポインティング操作ができるようなシステムは、障害の軽い人、高齢者や子供には不要であり、画面上に操作画面などが表示されるとむしろ作業がやり難くなるといった欠点がある。
【０００９】
本発明は、ポインティングシステムのあらゆる操作者、とりわけ操作を苦手とする肢体不自由者、高齢者または子供（幼児を含む）などが不自由さを感じずに、確実にポインティングすることを可能とするポインティング操作支援システムを提供する。
【００１０】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係わるポインティング操作支援システムは、視線の方向を検出する視線検出装置と、前記視線検出装置の情報を基に画面上における視線位置座標を算出する座標算出装置を備えたポインティング操作支援システムにおいて、前記視線位置座標とポインタ位置座標との２点間距離を所定の時間間隔で算出する距離算出手段と、前記２点間距離に応じてポインタの移動量を調整する移動量制御手段を備えたことを特徴とするものである。
【００１１】
また前記移動量制御手段が、前記２点間距離に対して、前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量が設定された移動量設定データを参照することを特徴とするものである。
【００１２】
また前記移動量設定データが、前記２点間距離が大きいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を大きくする、前記２点間距離が小さいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を小さくするように設定されていることを特徴とするものである。
【００１３】
また前記移動量制御手段が、前記視線位置座標と前記ポインタ位置座標が所定の距離範囲内で一致した場合、ポインタの位置を一定時間内固定する機能を備えたことを特徴とするものである。
また前記２点間距離が、デバイス座標を基準に算出されることを特徴とするものである。
【００１４】
【作用】
本発明に係わるポインティング操作支援システムは、モニター上部に視線の方向を検出する視線検出装置としてセンサやカメラなどを備えており、座標算出装置によって視線検出装置からの情報を基に画面上における視線位置座標を算出する。視線位置座標と、マウスまたはキーボードなどの外部入力デバイスによってモニター画面上に表示されるポインタ位置座標との２点間距離は、距離算出手段によりデバイス座標を基準に算出されるものであり、所定の時間間隔で算出される。このようにして算出された２点間距離に対して、ポインタの移動量を調整するために備えられた移動量制御手段が、外部入力デバイスの単位移動量当たりに対するポインタ移動量が設定された移動量設定データを参照することにより、２点間距離の大きさに応じた適切なポインタの移動を可能とする。すなわち、２点間距離が大きいほど外部入力デバイスの単位移動量当たりに対するポインタ移動量を大きくする、一方２点間距離が小さいほど外部入力デバイスの単位移動量当たりに対するポインタ移動量を小さくすることにより、高速かつ確実なポインティングが可能となる。また、視線位置座標とポインタ位置座標が所定の距離範囲内で一致した場合には、移動量制御手段によりポインタの位置を一定時間固定することにより、選択対象物に対し確実に確定処理を実行することができる。
【００１５】
このようにして、ポインティングシステムのあらゆる操作者、とりわけ操作を苦手とする肢体不自由者、高齢者または子供（幼児を含む）などは不自由さを感じずに、確実にポインティング操作を行うことができる。
【００１６】
【実施例】
以下、本発明のポインティング操作支援システムにおける構成およびポインティング処理の詳細について図面を基に説明する。
【００１７】
図１は本発明のポインティング操作支援システムの構成を示すブロック図である。
【００１８】
視線検出装置１ａによって得られた情報は座標算出装置２ａに送られ、座標算出装置２ａでは情報処理装置３ａから送られたデバイス座標情報と合わせて座標変換処置が行われ、その結果得られた画面上における視線位置座標情報は情報処置装置３ａに備えられた距離算出手段５に送られる。情報処理装置３ａに備えられたポインタ位置検出手段４ではポインタの位置座標を求められ、その情報は距離算出手段５に送られる。距離算出手段５では、視線位置とポインタの位置の２点間距離が算出され、求められた２点間距離の情報が移動量制御手段７に送られる。移動量制御手段７では、移動量設定データ６を参照して、２点間距離に対応する外部入力デバイス８の移動量が決定され、制御信号を外部入力デバイス８に送ることにより、ポインタの移動量が制御される。
【００１９】
図２は本発明のポインティング操作支援システムを用いた情報処理システムの構成を示す図である。
【００２０】
情報処理装置３ｂ、モニター９、キーボード１０、マウス１１から構成された一般的な情報処理システムにおいて、モニター９の上部に視線の方向を検出するための視線検出装置１ｂとしてセンサやカメラなどが備えられている。
【００２１】
視線検出装置１は情報処理システムの操作者に対向して配置されており、操作者の眼球の動き検出し、その情報を座標算出装置２ｂに送る。座標算出装置２ｂではその情報を基に視線の方向を求め、画面上における視線位置座標に変換処理する。
【００２２】
なお視線位置座標はデバイス座標として取り扱うことにより、外部入力デバイス８が示すポインタ位置座標と直接比較することができる。またデバイス座標のサイズに関する情報は情報処理装置３ｂから座標算出装置２ｂに予め送られる。
【００２３】
座標算出装置２ｂで算出された視線位置座標の情報は情報処理装置３ｂに送られ、同時に情報処理装置３ｂに備えられたポインタ位置検出手段により、外部入力デバイスが示すポインタ位置座標が検出され、視線位置座標とポインタ位置座標の２点間距離が計算される。
【００２４】
図３は本発明のポインティング操作支援システムにおける全体的なポインティング処理のフローチャートを示す図であり、図４は画面上での視線およびポインタの位置関係の一例を示す図であり、図５は移動量設定データの数表の一例を示す図であり、図６は２点間距離とポインタ移動量の関係式の例を示す図である。
【００２５】
本実施例の説明においては、図４に示す画面左下の■を選択対象物、すなわち視線位置座標として、画面右上のポインタを示す矢印が選択対象物をポインティングする処理を一例として説明する。
【００２６】
ポインティング処理が開始（Ｓｔ１）されると視線は選択対象物に当てられ、座標算出装置２により画面上での視線位置座標（Ｘ０、Ｙ０）が算出される（Ｓｔ２）。算出された視線位置座標（Ｘ０、Ｙ０）は、情報処理装置３に送られる。
【００２７】
さらに情報処理装置３では、外部入力デバイスによるポインタ位置座標（Ｘ１、Ｙ１）が検出される（Ｓｔ３）。
以上の座標情報を基に、以降の処理が情報処理装置３によって行われる。
【００２８】
まず、視線位置座標とポインタ位置座標の２点間距離Ｄ１が算出される（Ｓｔ４）。
【００２９】
ここで視線位置座標とポインタ位置座標は同一の座標系、すなわちデバイス座標上の数値であるため、簡単に距離を求めることができる。なおデバイス座標は一般的に、左上が原点（０、０）、右下が（Ｘｍａｘ、Ｙｍａｘ）と定義される。
【００３０】
求めた２点間距離Ｄ１と、視線位置座標とポインタ位置座標が一致しているか否かを自動判定する判定値Ｄ０を比較する（Ｓｔ５）。
【００３１】
なお判定値は、デバイス座標サイズがＸｍａｘ＝８００、Ｙｍａｘ＝６００の場合には、例えばデバイス座標サイズの１／１００〜１／１０の６〜８０の範囲で、情報処理システムの操作者の熟練度や好みに応じて適宜適切なサイズを定義すれば良く、仮に判定値を大きな数値とした場合には、視線位置座標とポインタ位置座標が選択対象物の周辺を含めおおよそ一致したか否かを判定し、一方判定値を小さな数値とした場合には、視線位置座標とポインタ位置座標が完全に一致したか否かを自動判定することとなる。
【００３２】
２点間距離Ｄ１が判定値Ｄ０よりも大きい場合には、図５に一例として示したような移動量設定データを参照し、２点間距離Ｄ１と閾値（Ｒ１、Ｒ２、Ｒ３に相当する）を比較する（Ｓｔ６）。なお、図５に示した移動量設定データは、２点間距離Ｄ１がＲ１以下の場合にはポインタ移動量を１０、Ｒ１以上Ｒ２未満の場合には１００、Ｒ２以上Ｒ３未満の場合には３００、Ｒ３以上の場合には５００に設定することを示している。
【００３３】
図４に示すように、閾値（Ｒ１、Ｒ２、Ｒ３）は視線位置座標からの距離であり、視線位置座標を中心とした円弧で定義される。このように、閾値は多段階に設定することが望ましく、閾値の間隔を徐々に広げても、均等に設定しても良い。
【００３４】
ここで図５に示したポインタ移動量の数値は、外部入力デバイスの単位移動量に対するポインタの移動距離を示すものである。
【００３５】
例えば、外部入力デバイスがマウスである場合には、マウスボール一回転数当たりに対するポインタの移動距離を定義し、トラックボールの場合にもマウス同様、ボール一回転当たりに対するポインタの移動距離を定義し、キーボードの場合には、移動動作を制御するボタンを押している単位時間当たり（例えば単位時間一秒当たり）に対するポインタの移動距離を定義し、またタッチパッドの場合には、指の単位移動距離当たり（例えば単位距離１ｃｍ当たり）に対するポインタの移動距離を定義するなど、各種外部入力デバイスの操作方法に合わせてポインタの移動距離を定義することができる。
【００３６】
また、大きい閾値ではポインタ移動量を大きな値に設定し、小さい閾値ではポインタ移動量を小さな値に設定することにより、２点間距離Ｄ１が大きい時には、外部入力デバイスを少し動かすだけでポインタを大きく移動させることができ、２点間距離Ｄ１が小さい時、すなわちポインタが選択対象物に近づいている時には、外部入力デバイスの動きに対するポインタ移動量を小さくするため、ポインタ位置の微調整が正確にできる。
【００３７】
このような設定により、マウスを移動できるスペースが限られていても、十分なポインティング移動を実現できる。また、外部入力デバイスをスムースに操作することができない、あるいはポインタの位置を安定させることができないような肢体不自由者や高齢者、または手が小さいためにマウスを確実に掴むことができず、スムースに操作することができないような幼児を含む子供でも、ポインタをスムースに移動させ、ポインタの位置を安定させることが可能となる。
【００３８】
ポインタ移動量の設定方法としては、なお図５に示したような２点間距離Ｄ１に閾値を設けて設定する方法以外に、図６に示すような閾値を設定せずに、２点間距離Ｄ１とポインタ移動量の関係式によって設定する方法も有効である。
【００３９】
例えば、関係式１は２点間距離Ｄ１とポインタ移動量に線形関係を持たせた場合であり、関係式２は２次関数的な関係を持たせた場合であり、いずれも２点間距離Ｄ１が大きい時には、外部入力デバイスを少し動かすだけでポインタを大きく移動させ、２点間距離Ｄ１が小さい時には、外部入力デバイスの動きに対するポインタ移動量を小さくするといった制御を可能とするもので、閾値を用いた場合に比べ滑らかなポインタの移動を実現できる。
【００４０】
このようにして、２点間距離Ｄ１と閾値の比較から、２点間距離Ｄ１に対応したポインタ移動量が選択、設定される（Ｓｔ７）。
【００４１】
以上の一連の制御は所定の時間間隔で行われ、都度２点距離Ｄ１が算出され、移動量設定データを参照することにより、２点間距離Ｄ１に対応するマウス移動量が設定され、ポインタの動きが制御される。ここで制御の時間間隔は、操作者の熟練度や不自由さの度合いに応じて設定されるものであり、数１０ｍｓｅｃ〜数１００ｍｓｅｃが望ましい。
【００４２】
このようなポインタ移動量の制御が繰り返された結果、２点間距離が判定値よりも小さくなった場合には、視線位置座標とポインタ位置座標がほぼ一致、あるいは完全に一致したと判定され、ポインタをその位置に一定時間固定させる（Ｓｔ７）。
【００４３】
このようにポインタの動きを止めることにより、手の震えや操作ミスなどによって外部入力デバイスそのものは動いてしまっても、視線位置座標からポインタが離れてしまうようなことは無くなり、ポインティング操作のやり直しをしなくても済む。なおポインタの位置を固定させる時間は、操作者の好みに応じて適宜設定できる。
【００４４】
ここで視線位置座標とポインタ位置座標が完全に一致している場合には、外部入力デバイスの確定ボタンを押すことによりポイティング処理が完了する。
【００４５】
一方、視線位置座標とポインタ位置座標がわずかにずれている場合には、ポインタの固定が解除されるまで待てば再度ポインタの移動が可能となり、２点間距離に対して設定されたポインタ移動量により容易に微調整することが可能なため、的確に選択対象物を捉え、外部入力デバイスの確定ボタンを押すことによりポイティング処理を完了させることができる。なお、判定値を小さい値に設定した場合には、ポインタが選択対象物を完全に捉えた場合のみにポインタが固定されるため、ポインタを速い速度で移動させた場合でもポインタが選択対象物を捉えさえすればポインタは固定されるので、通り過ぎなどが無くなり、短時間でポインティング処理を完了させることも可能となる。
【００４６】
以上のように、本発明のポインティング操作支援システムは、視線によって捉えられた選択対象物の位置座標と外部入力デバイスのポインタ位置座標の２点間距離に応じて、ポインタを適切かつ高速に移動制御することにより、的確かつ高速にポインティング処理を実行することができ、とりわけ操作を苦手とする肢体不自由者、高齢者または子供（幼児を含む）などにとっては、不自由さを感じることなく、ポインティング処理を確実に実行することが可能となる。
【図面の簡単な説明】
【図１】本発明のポインティング操作支援システムの構成を示すブロック図である。
【図２】本発明のポインティング操作支援システムを用いた情報処理システムの構成を示す図である。
【図３】上記ポインティング操作支援システムにおける全体的なポインティング処理のフローチャートを示す図である。
【図４】上記ポインティング操作支援システムにおける画面上での視線およびポインタの位置関係の一例を示す図である。
【図５】上記ポインティング操作支援システムにおける移動量設定データの数表の一例を示す図である。
【図６】上記ポインティング操作支援システムにおける２点間距離とポインタ移動量の関係式の例を示す図である。
【符号の説明】
１ａ、１ｂ・・・視線検出装置
２ａ、２ｂ・・・座標算出装置
３ａ、３ｂ・・・情報処理装置
４・・・ポインタ位置検出手段
５・・・距離算出手段
６・・・移動量設定データ
７・・・移動量制御手段
８・・・外部入力デバイス
９・・・モニター
１０・・・キーボード
１１・・・マウス
【発明の属する技術分野】
本発明は、肢体不自由者、高齢者、幼児を含む子供でも確実にポインティングすることを可能とするポインティング操作支援システムに関するものである。
【０００２】
【従来の技術】
従来、操作者の視線の方向を検出して、この検出結果に応じた情報を処理する、視線入力式のポインティングシステムが多数提案されている。
【０００３】
これらの方式は、画面上のアイコンやボタンを選択する場合において、選択の確定は選択対象を一定時間以上注視しなくてはならず、注視動作そのものが操作者にとって不自然なものであり、使い難い操作方法であった。
【０００４】
その課題に対し、一定位置を注視することはせずに、視線により選択対象物をおおよそ確定させ、選択対象物からの位置ずれはマウスあるいはキーボードなどの手動操作により補正する方法が提案されている。（例えば、特許文献１参照）
【０００５】
また肢体不自由者を対象として、頭部の動きを用いたマウス代替装置があるが、抱える障害の度合いは様々で、運動能力によってはマーカやセンサの動きが十分取れなく、画面上の任意点を直接指し示し、選択することが困難な場合がある。
【０００６】
この課題を解決するために、表示装置上にマウスポインタ操作用の領域を配置し、この操作領域内を移動可能な疑似ポインタによって、マウスポインタの移動やマウスボタンのクリックに関連付けられた図形を指示選択する方法において、マウスポインタの位置と選択しようとする対象物間の距離が所定の範囲内にある場合、その距離と軌道修正角度を通知する方法が提案されている。（例えば、特許文献２参照）
【０００７】
【特許文献１】
特開２０００−８９９０５
【特許文献２】
特開２００３−５９１５
【０００８】
【課題を解決しようとする課題】
しかしながら、選択対象物からの位置ずれをマウスあるいはキーボードなどの手動操作により補正する場合、キーボードでポインタを微妙に移動させるのは非常に面倒な操作であり、通常使用するマウスにおいても、肢体不自由者や高齢者などで手先に不自由さを抱えている人や、手が小さくマウスを十分に掴むことができない幼児を含む子供にとっては、微妙な位置合わせのためのマウスの移動操作は非常に困難である。
また、肢体不自由者が不自由無くポインティング操作ができるようなシステムは、障害の軽い人、高齢者や子供には不要であり、画面上に操作画面などが表示されるとむしろ作業がやり難くなるといった欠点がある。
【０００９】
本発明は、ポインティングシステムのあらゆる操作者、とりわけ操作を苦手とする肢体不自由者、高齢者または子供（幼児を含む）などが不自由さを感じずに、確実にポインティングすることを可能とするポインティング操作支援システムを提供する。
【００１０】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係わるポインティング操作支援システムは、視線の方向を検出する視線検出装置と、前記視線検出装置の情報を基に画面上における視線位置座標を算出する座標算出装置を備えたポインティング操作支援システムにおいて、前記視線位置座標とポインタ位置座標との２点間距離を所定の時間間隔で算出する距離算出手段と、前記２点間距離に応じてポインタの移動量を調整する移動量制御手段を備えたことを特徴とするものである。
【００１１】
また前記移動量制御手段が、前記２点間距離に対して、前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量が設定された移動量設定データを参照することを特徴とするものである。
【００１２】
また前記移動量設定データが、前記２点間距離が大きいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を大きくする、前記２点間距離が小さいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を小さくするように設定されていることを特徴とするものである。
【００１３】
また前記移動量制御手段が、前記視線位置座標と前記ポインタ位置座標が所定の距離範囲内で一致した場合、ポインタの位置を一定時間内固定する機能を備えたことを特徴とするものである。
また前記２点間距離が、デバイス座標を基準に算出されることを特徴とするものである。
【００１４】
【作用】
本発明に係わるポインティング操作支援システムは、モニター上部に視線の方向を検出する視線検出装置としてセンサやカメラなどを備えており、座標算出装置によって視線検出装置からの情報を基に画面上における視線位置座標を算出する。視線位置座標と、マウスまたはキーボードなどの外部入力デバイスによってモニター画面上に表示されるポインタ位置座標との２点間距離は、距離算出手段によりデバイス座標を基準に算出されるものであり、所定の時間間隔で算出される。このようにして算出された２点間距離に対して、ポインタの移動量を調整するために備えられた移動量制御手段が、外部入力デバイスの単位移動量当たりに対するポインタ移動量が設定された移動量設定データを参照することにより、２点間距離の大きさに応じた適切なポインタの移動を可能とする。すなわち、２点間距離が大きいほど外部入力デバイスの単位移動量当たりに対するポインタ移動量を大きくする、一方２点間距離が小さいほど外部入力デバイスの単位移動量当たりに対するポインタ移動量を小さくすることにより、高速かつ確実なポインティングが可能となる。また、視線位置座標とポインタ位置座標が所定の距離範囲内で一致した場合には、移動量制御手段によりポインタの位置を一定時間固定することにより、選択対象物に対し確実に確定処理を実行することができる。
【００１５】
このようにして、ポインティングシステムのあらゆる操作者、とりわけ操作を苦手とする肢体不自由者、高齢者または子供（幼児を含む）などは不自由さを感じずに、確実にポインティング操作を行うことができる。
【００１６】
【実施例】
以下、本発明のポインティング操作支援システムにおける構成およびポインティング処理の詳細について図面を基に説明する。
【００１７】
図１は本発明のポインティング操作支援システムの構成を示すブロック図である。
【００１８】
視線検出装置１ａによって得られた情報は座標算出装置２ａに送られ、座標算出装置２ａでは情報処理装置３ａから送られたデバイス座標情報と合わせて座標変換処置が行われ、その結果得られた画面上における視線位置座標情報は情報処置装置３ａに備えられた距離算出手段５に送られる。情報処理装置３ａに備えられたポインタ位置検出手段４ではポインタの位置座標を求められ、その情報は距離算出手段５に送られる。距離算出手段５では、視線位置とポインタの位置の２点間距離が算出され、求められた２点間距離の情報が移動量制御手段７に送られる。移動量制御手段７では、移動量設定データ６を参照して、２点間距離に対応する外部入力デバイス８の移動量が決定され、制御信号を外部入力デバイス８に送ることにより、ポインタの移動量が制御される。
【００１９】
図２は本発明のポインティング操作支援システムを用いた情報処理システムの構成を示す図である。
【００２０】
情報処理装置３ｂ、モニター９、キーボード１０、マウス１１から構成された一般的な情報処理システムにおいて、モニター９の上部に視線の方向を検出するための視線検出装置１ｂとしてセンサやカメラなどが備えられている。
【００２１】
視線検出装置１は情報処理システムの操作者に対向して配置されており、操作者の眼球の動き検出し、その情報を座標算出装置２ｂに送る。座標算出装置２ｂではその情報を基に視線の方向を求め、画面上における視線位置座標に変換処理する。
【００２２】
なお視線位置座標はデバイス座標として取り扱うことにより、外部入力デバイス８が示すポインタ位置座標と直接比較することができる。またデバイス座標のサイズに関する情報は情報処理装置３ｂから座標算出装置２ｂに予め送られる。
【００２３】
座標算出装置２ｂで算出された視線位置座標の情報は情報処理装置３ｂに送られ、同時に情報処理装置３ｂに備えられたポインタ位置検出手段により、外部入力デバイスが示すポインタ位置座標が検出され、視線位置座標とポインタ位置座標の２点間距離が計算される。
【００２４】
図３は本発明のポインティング操作支援システムにおける全体的なポインティング処理のフローチャートを示す図であり、図４は画面上での視線およびポインタの位置関係の一例を示す図であり、図５は移動量設定データの数表の一例を示す図であり、図６は２点間距離とポインタ移動量の関係式の例を示す図である。
【００２５】
本実施例の説明においては、図４に示す画面左下の■を選択対象物、すなわち視線位置座標として、画面右上のポインタを示す矢印が選択対象物をポインティングする処理を一例として説明する。
【００２６】
ポインティング処理が開始（Ｓｔ１）されると視線は選択対象物に当てられ、座標算出装置２により画面上での視線位置座標（Ｘ０、Ｙ０）が算出される（Ｓｔ２）。算出された視線位置座標（Ｘ０、Ｙ０）は、情報処理装置３に送られる。
【００２７】
さらに情報処理装置３では、外部入力デバイスによるポインタ位置座標（Ｘ１、Ｙ１）が検出される（Ｓｔ３）。
以上の座標情報を基に、以降の処理が情報処理装置３によって行われる。
【００２８】
まず、視線位置座標とポインタ位置座標の２点間距離Ｄ１が算出される（Ｓｔ４）。
【００２９】
ここで視線位置座標とポインタ位置座標は同一の座標系、すなわちデバイス座標上の数値であるため、簡単に距離を求めることができる。なおデバイス座標は一般的に、左上が原点（０、０）、右下が（Ｘｍａｘ、Ｙｍａｘ）と定義される。
【００３０】
求めた２点間距離Ｄ１と、視線位置座標とポインタ位置座標が一致しているか否かを自動判定する判定値Ｄ０を比較する（Ｓｔ５）。
【００３１】
なお判定値は、デバイス座標サイズがＸｍａｘ＝８００、Ｙｍａｘ＝６００の場合には、例えばデバイス座標サイズの１／１００〜１／１０の６〜８０の範囲で、情報処理システムの操作者の熟練度や好みに応じて適宜適切なサイズを定義すれば良く、仮に判定値を大きな数値とした場合には、視線位置座標とポインタ位置座標が選択対象物の周辺を含めおおよそ一致したか否かを判定し、一方判定値を小さな数値とした場合には、視線位置座標とポインタ位置座標が完全に一致したか否かを自動判定することとなる。
【００３２】
２点間距離Ｄ１が判定値Ｄ０よりも大きい場合には、図５に一例として示したような移動量設定データを参照し、２点間距離Ｄ１と閾値（Ｒ１、Ｒ２、Ｒ３に相当する）を比較する（Ｓｔ６）。なお、図５に示した移動量設定データは、２点間距離Ｄ１がＲ１以下の場合にはポインタ移動量を１０、Ｒ１以上Ｒ２未満の場合には１００、Ｒ２以上Ｒ３未満の場合には３００、Ｒ３以上の場合には５００に設定することを示している。
【００３３】
図４に示すように、閾値（Ｒ１、Ｒ２、Ｒ３）は視線位置座標からの距離であり、視線位置座標を中心とした円弧で定義される。このように、閾値は多段階に設定することが望ましく、閾値の間隔を徐々に広げても、均等に設定しても良い。
【００３４】
ここで図５に示したポインタ移動量の数値は、外部入力デバイスの単位移動量に対するポインタの移動距離を示すものである。
【００３５】
例えば、外部入力デバイスがマウスである場合には、マウスボール一回転数当たりに対するポインタの移動距離を定義し、トラックボールの場合にもマウス同様、ボール一回転当たりに対するポインタの移動距離を定義し、キーボードの場合には、移動動作を制御するボタンを押している単位時間当たり（例えば単位時間一秒当たり）に対するポインタの移動距離を定義し、またタッチパッドの場合には、指の単位移動距離当たり（例えば単位距離１ｃｍ当たり）に対するポインタの移動距離を定義するなど、各種外部入力デバイスの操作方法に合わせてポインタの移動距離を定義することができる。
【００３６】
また、大きい閾値ではポインタ移動量を大きな値に設定し、小さい閾値ではポインタ移動量を小さな値に設定することにより、２点間距離Ｄ１が大きい時には、外部入力デバイスを少し動かすだけでポインタを大きく移動させることができ、２点間距離Ｄ１が小さい時、すなわちポインタが選択対象物に近づいている時には、外部入力デバイスの動きに対するポインタ移動量を小さくするため、ポインタ位置の微調整が正確にできる。
【００３７】
このような設定により、マウスを移動できるスペースが限られていても、十分なポインティング移動を実現できる。また、外部入力デバイスをスムースに操作することができない、あるいはポインタの位置を安定させることができないような肢体不自由者や高齢者、または手が小さいためにマウスを確実に掴むことができず、スムースに操作することができないような幼児を含む子供でも、ポインタをスムースに移動させ、ポインタの位置を安定させることが可能となる。
【００３８】
ポインタ移動量の設定方法としては、なお図５に示したような２点間距離Ｄ１に閾値を設けて設定する方法以外に、図６に示すような閾値を設定せずに、２点間距離Ｄ１とポインタ移動量の関係式によって設定する方法も有効である。
【００３９】
例えば、関係式１は２点間距離Ｄ１とポインタ移動量に線形関係を持たせた場合であり、関係式２は２次関数的な関係を持たせた場合であり、いずれも２点間距離Ｄ１が大きい時には、外部入力デバイスを少し動かすだけでポインタを大きく移動させ、２点間距離Ｄ１が小さい時には、外部入力デバイスの動きに対するポインタ移動量を小さくするといった制御を可能とするもので、閾値を用いた場合に比べ滑らかなポインタの移動を実現できる。
【００４０】
このようにして、２点間距離Ｄ１と閾値の比較から、２点間距離Ｄ１に対応したポインタ移動量が選択、設定される（Ｓｔ７）。
【００４１】
以上の一連の制御は所定の時間間隔で行われ、都度２点距離Ｄ１が算出され、移動量設定データを参照することにより、２点間距離Ｄ１に対応するマウス移動量が設定され、ポインタの動きが制御される。ここで制御の時間間隔は、操作者の熟練度や不自由さの度合いに応じて設定されるものであり、数１０ｍｓｅｃ〜数１００ｍｓｅｃが望ましい。
【００４２】
このようなポインタ移動量の制御が繰り返された結果、２点間距離が判定値よりも小さくなった場合には、視線位置座標とポインタ位置座標がほぼ一致、あるいは完全に一致したと判定され、ポインタをその位置に一定時間固定させる（Ｓｔ７）。
【００４３】
このようにポインタの動きを止めることにより、手の震えや操作ミスなどによって外部入力デバイスそのものは動いてしまっても、視線位置座標からポインタが離れてしまうようなことは無くなり、ポインティング操作のやり直しをしなくても済む。なおポインタの位置を固定させる時間は、操作者の好みに応じて適宜設定できる。
【００４４】
ここで視線位置座標とポインタ位置座標が完全に一致している場合には、外部入力デバイスの確定ボタンを押すことによりポイティング処理が完了する。
【００４５】
一方、視線位置座標とポインタ位置座標がわずかにずれている場合には、ポインタの固定が解除されるまで待てば再度ポインタの移動が可能となり、２点間距離に対して設定されたポインタ移動量により容易に微調整することが可能なため、的確に選択対象物を捉え、外部入力デバイスの確定ボタンを押すことによりポイティング処理を完了させることができる。なお、判定値を小さい値に設定した場合には、ポインタが選択対象物を完全に捉えた場合のみにポインタが固定されるため、ポインタを速い速度で移動させた場合でもポインタが選択対象物を捉えさえすればポインタは固定されるので、通り過ぎなどが無くなり、短時間でポインティング処理を完了させることも可能となる。
【００４６】
以上のように、本発明のポインティング操作支援システムは、視線によって捉えられた選択対象物の位置座標と外部入力デバイスのポインタ位置座標の２点間距離に応じて、ポインタを適切かつ高速に移動制御することにより、的確かつ高速にポインティング処理を実行することができ、とりわけ操作を苦手とする肢体不自由者、高齢者または子供（幼児を含む）などにとっては、不自由さを感じることなく、ポインティング処理を確実に実行することが可能となる。
【図面の簡単な説明】
【図１】本発明のポインティング操作支援システムの構成を示すブロック図である。
【図２】本発明のポインティング操作支援システムを用いた情報処理システムの構成を示す図である。
【図３】上記ポインティング操作支援システムにおける全体的なポインティング処理のフローチャートを示す図である。
【図４】上記ポインティング操作支援システムにおける画面上での視線およびポインタの位置関係の一例を示す図である。
【図５】上記ポインティング操作支援システムにおける移動量設定データの数表の一例を示す図である。
【図６】上記ポインティング操作支援システムにおける２点間距離とポインタ移動量の関係式の例を示す図である。
【符号の説明】
１ａ、１ｂ・・・視線検出装置
２ａ、２ｂ・・・座標算出装置
３ａ、３ｂ・・・情報処理装置
４・・・ポインタ位置検出手段
５・・・距離算出手段
６・・・移動量設定データ
７・・・移動量制御手段
８・・・外部入力デバイス
９・・・モニター
１０・・・キーボード
１１・・・マウス
Claims (5)
- 視線の方向を検出する視線検出装置と、前記視線検出装置からの検出情報を基に画面上における視線位置座標を算出する座標算出装置を備えたポインティングシステムにおいて、前記視線位置座標とポインタ位置座標との２点間距離を所定の時間間隔で算出する距離算出手段と、前記２点間距離に応じて前記ポインタ移動量を調整する移動量制御手段を備えたことを特徴とするポインティング操作支援システム。
- 請求項１記載の前記移動量制御手段が、前記２点間距離に対して、外部入力デバイスの単位移動量当たりの前記ポインタ移動量が設定された移動量設定データを参照することを特徴とするポインティング操作支援システム。
- 請求項２記載の前記移動量設定データが、前記２点間距離が大きいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を大きく、前記２点間距離が小さいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を小さくするように設定されていることを特徴とするポインティング操作支援システム。
- 請求項１記載の前記移動量制御手段が、前記視線位置座標と前記ポインタ位置座標が所定の距離範囲内で一致した場合、ポインタの位置を一定時間固定する機能を備えたことを特徴するポインティング操作支援システム。
- 請求項１の前記２点間距離が、デバイス座標を基準に算出されることを特徴とするポインティング操作支援システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003078780A JP2004287823A (ja) | 2003-03-20 | 2003-03-20 | ポインティング操作支援システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003078780A JP2004287823A (ja) | 2003-03-20 | 2003-03-20 | ポインティング操作支援システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004287823A true JP2004287823A (ja) | 2004-10-14 |
Family
ID=33293158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003078780A Withdrawn JP2004287823A (ja) | 2003-03-20 | 2003-03-20 | ポインティング操作支援システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004287823A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016110293A (ja) * | 2014-12-03 | 2016-06-20 | トヨタ自動車株式会社 | 情報処理システム、情報処理装置、情報処理方法 |
| JP6070833B2 (ja) * | 2013-05-08 | 2017-02-01 | 富士通株式会社 | 入力装置及び入力プログラム |
| WO2017069176A1 (ja) * | 2015-10-19 | 2017-04-27 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、および、視線入力プログラム |
| WO2017119133A1 (ja) * | 2016-01-08 | 2017-07-13 | 富士通株式会社 | シミュレーションシステム |
| JP2018010583A (ja) * | 2016-07-15 | 2018-01-18 | アイシン・エィ・ダブリュ株式会社 | 操作支援装置及びコンピュータプログラム |
| JP2018032348A (ja) * | 2016-08-26 | 2018-03-01 | アイシン・エィ・ダブリュ株式会社 | ポインタ制御システムおよびポインタ制御プログラム |
| US10241570B2 (en) | 2015-11-12 | 2019-03-26 | Fujitsu Limited | Pointing support device, pointing support method, and non-transitory computer-readable recording medium |
| WO2019235408A1 (ja) * | 2018-06-07 | 2019-12-12 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、視線入力プログラム及び視線入力システム |
-
2003
- 2003-03-20 JP JP2003078780A patent/JP2004287823A/ja not_active Withdrawn
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6070833B2 (ja) * | 2013-05-08 | 2017-02-01 | 富士通株式会社 | 入力装置及び入力プログラム |
| JPWO2014181403A1 (ja) * | 2013-05-08 | 2017-02-23 | 富士通株式会社 | 入力装置及び入力プログラム |
| JP2016110293A (ja) * | 2014-12-03 | 2016-06-20 | トヨタ自動車株式会社 | 情報処理システム、情報処理装置、情報処理方法 |
| WO2017069176A1 (ja) * | 2015-10-19 | 2017-04-27 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、および、視線入力プログラム |
| JPWO2017069176A1 (ja) * | 2015-10-19 | 2017-10-19 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、および、視線入力プログラム |
| CN108139813A (zh) * | 2015-10-19 | 2018-06-08 | 鸥利研究所股份有限公司 | 视线输入装置、视线输入方法以及视线输入程序 |
| US10678329B2 (en) | 2015-10-19 | 2020-06-09 | Orylab Inc. | Line-of-sight input device, and method of line-of-sight input |
| US10241570B2 (en) | 2015-11-12 | 2019-03-26 | Fujitsu Limited | Pointing support device, pointing support method, and non-transitory computer-readable recording medium |
| WO2017119133A1 (ja) * | 2016-01-08 | 2017-07-13 | 富士通株式会社 | シミュレーションシステム |
| JP2018010583A (ja) * | 2016-07-15 | 2018-01-18 | アイシン・エィ・ダブリュ株式会社 | 操作支援装置及びコンピュータプログラム |
| JP2018032348A (ja) * | 2016-08-26 | 2018-03-01 | アイシン・エィ・ダブリュ株式会社 | ポインタ制御システムおよびポインタ制御プログラム |
| WO2019235408A1 (ja) * | 2018-06-07 | 2019-12-12 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、視線入力プログラム及び視線入力システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10627900B2 (en) | Eye-signal augmented control | |
| US10076839B2 (en) | Robot operation apparatus, robot system, and robot operation program | |
| JP6542259B2 (ja) | ロボットインターフェース位置調整決定システムおよび方法 | |
| IL303037A (en) | A system and method of communication through visual feedback | |
| JP5588089B1 (ja) | アームの制御装置及び制御方法及び制御プログラム、ロボット、並びに、アームの制御用集積電子回路 | |
| WO2017089910A1 (en) | Method and system for interacting with medical information | |
| JP2004287823A (ja) | ポインティング操作支援システム | |
| WO2017213124A1 (ja) | リハビリテーション支援制御装置及びコンピュータプログラム | |
| JP2017012691A (ja) | リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法及びプログラム | |
| US20190004596A1 (en) | Hands-free input method and intra-oral controller apparatus | |
| EP3242646A1 (en) | Control of motorized wheelchair | |
| JP2001243011A (ja) | 口腔内で操作する電子機器入力用端末デバイス | |
| JPH1039994A (ja) | 大画面プレゼンテーションシステム用ポインティング装 置 | |
| JP2017217266A (ja) | リハビリテーション支援制御装置及びコンピュータプログラム | |
| Walsh et al. | Assistive pointing device based on a head-mounted camera | |
| US7145550B2 (en) | Method and apparatus for reducing repetitive motion injuries in a computer user | |
| JP6623122B2 (ja) | リハビリテーション支援制御装置及びコンピュータプログラム | |
| JPH1173273A (ja) | 肢体不自由者用入力装置 | |
| JPH11282617A (ja) | 視線入力装置 | |
| US11493994B2 (en) | Input device using bioelectric potential | |
| WO2012114791A1 (ja) | ジェスチャー操作システム | |
| JP2018161529A (ja) | リハビリテーション支援装置 | |
| JP7442774B1 (ja) | リハビリ支援システム | |
| JPH03256112A (ja) | 制御処理装置 | |
| JP2000047823A (ja) | 情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060606 |