JP2001067179A - ポインティング装置とそれを用いたコンピュータシステム - Google Patents
ポインティング装置とそれを用いたコンピュータシステムInfo
- Publication number
- JP2001067179A JP2001067179A JP24207999A JP24207999A JP2001067179A JP 2001067179 A JP2001067179 A JP 2001067179A JP 24207999 A JP24207999 A JP 24207999A JP 24207999 A JP24207999 A JP 24207999A JP 2001067179 A JP2001067179 A JP 2001067179A
- Authority
- JP
- Japan
- Prior art keywords
- head
- operator
- signal
- movement
- pointing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
ポインティング装置と、それを用いたハンズフリーで装
着出来るコンピュータシステムの提供。 【解決手段】 操作者10の頭部に装着され、対向面の
画像を入力するイメージセンサ、該入力画像の変動によ
り操作者頭部の動きの方角と移動量検出を行う信号処理
部とを有すセンサ部1と、操作スイッチ6、7と前記検
出信号をポインティングデバイス移動量信号に変換し、
スイッチの操作信号と共にコンピュータ回路に送出する
制御部とを備えたポインティング装置。又ポインティン
グ装置とディスプレイ4とコンピュータ回路を含むシス
テムで、ディスプレイ4をHMDとし、フットボタンで
指示するコンピュータシステム。MHDとセンサ部とイ
ヤホンマイクと音声認識部とをヘッドセットとし、頭部
の動きでカーソルを移動し、音声で操作指示し、コンピ
ュータ回路を装着型としたコンピュータシステム。
Description
ンティング装置とそれを用いたコンピュータシステムに
関し、特に操作者の手による操作を低減ないしハンズフ
リーとするポインティング装置とそれを用いたハンズフ
リー且つ操作者の体に装着出来るコンピュータシステム
に関する。
インティングデバイスは様々なものが考案されてきた。
例えば、マウス、トラックボール、スティック、スライ
ドパットなどが挙げられるが、いずれもデバイスまたは
デバイスを動かす台が安定していなければ操作性が悪く
なるという問題があった。また、手で操作を行うため手
を使う作業と並行してパーソナルコンピュータを操作す
ることが難しいという問題があった。
て例えば、特開平9−44297に開示されているデー
タ入力方法及びその装置がある。引用の方法及び装置
は、眼鏡に内蔵されたHMD(頭部動作検出部)とジャ
イロを組み合わせ、コンピュータ操作者の頭部の3次元
的な動きを検出し、動きの種類に応じこれを問い合わせ
画面に対する肯定、否定、多岐選択への指定とするもの
である。又、カメラなどの画像入力装置で操作者の手先
の動きを解析し上記指示とするものである。
は、ジャイロを使用しており装置が高価になるという問
題がある。又、操作者を撮影する画像入力装置による方
法は、必ずしも手による操作を低減する例ではないが、
操作者が画像入力装置により明瞭に撮像される必要があ
りその作業位置が限定されるという問題がある。又操作
者を撮影する入力装置は、操作者の体に装着出来るコン
ピュータシステムには容易に組み込めない。
ィング装置は、操作者の頭部に装着され、対向面の画像
を入力するイメージセンサ、該入力画像の変動により操
作者頭部の動きの方角と移動量検出を行う信号処理部と
を有すセンサ部と、操作ボタンと、前記検出信号をポイ
ンティングデバイス移動量信号に変換し、操作ボタン信
号とともにコンピュータ回路に送出する制御部とを備え
て構成される。
コンピュータ回路と、それに接続された前記ポインティ
ング装置と、ディスプレイとを含んで構成され、操作者
の頭部の動きにより前記ディスプレイ上のカーソルの移
動を指示することを特徴とする。
前記第1の前記コンピュータ回路に、前記ポインティン
グ装置からの移動量信号が、前記操作者の頭部の意図し
た動きにより、且つ復帰動作によるものでないことを識
別する手段を設けて構成し、該識別される移動量信号に
呼応し、前記デイスプレイ上のカーソルの移動を指示す
ることを特徴とする。
前記ディスプレイを操作者の頭部に装着されるヘッドマ
ウントディスプレイとし、前記センサ部を前記ヘッドマ
ウントディスプレイに取り付けて併設し、操作者の頭部
の動きにより前記ヘッドマウントデイスプレイ上のカー
ソルの移動を指示することを特徴とする。
前記ポインティング装置の前記操作ボタンを、足で操作
可能なフットボタンとしたことを特徴とする。
前記ポインティング装置の前記操作ボタンに替わり、マ
イクと、マイクの操作音声信号を認識し複数の操作単語
音声の特徴と比較し前記操作信号ないし操作信号シーケ
ンスに変換し前記制御部に渡す音声認識部とを設けて構
成し、操作者の頭部の動きにより前記ヘッドマウントデ
イスプレイ上のカーソルの移動を指示し、音声により操
作指示をすることを特徴とする。
前記センサ部と、前記制御部と、前記マイクと、前記音
声認識部と、イヤホンと、前記ヘッドマウントディスプ
レイと、少なくとも前記センサ部と前記ヘッドマウント
ディスプレイが所定位置に取り付けられ操作者の頭部に
装着されるヘッドバンドを有すヘッドセットと、操作者
の体に装着可能なコンピュータ回路とを含んで構成され
る。
前記センサ部と、マイクと、イヤホンと、前記ヘッドマ
ウントディスプレイと、少なくとも前記センサ部と前記
ヘッドマウントディスプレイが所定位置に取り付けられ
操作者の頭部に装着されるヘッドバンドを有すヘッドセ
ットと、前記マイクに入力される操作単語音声を認識し
操作指示情報を他のプログラムに通知する手段を持ち、
操作者の体に装着可能なコンピュータ回路とを含んで構
成される。
前記ヘッドセットの前記マイクとイヤホンに替わり、骨
伝導方式イヤホンマイクを有し構成される。
記制御部は前記ポインティング装置の移動量信号、操作
状態信号をマウスの移動量信号、操作状態信号と同様形
式の信号としコンピュータ回路のマウス入力に送出する
ことを特徴とする。
ついて図面を参照して詳細に説明する。図1を参照する
と、本発明によるポインティング装置のセンサ部1は、
操作者10の頭部に装着される。センサ部1は操作者1
0の頭部に固定され、頭部の動きに応じ対応する方角の
移動量情報を出力する。ディスプレイ4の画面11上に
はマウスカーソル12が表示され、操作者10の頭部の
動きに対応して画面上を移動する。また、操作者10は
マウスカーソル12の操作に加え、指示部5上のスイッ
チL6またはスイッチR7の操作によって、パーソナル
コンピュータ(図示せず)に指示を与えることができ
る。
説明するブロック図である。ポインティング装置13
は、センサ部1と制御部2と指示部5からなる。センサ
部1は画像の動きから上下および左右の方向の変化量を
制御部2に出力する。センサ部1からの出力信号は、Δ
x、Δyの2方向の情報からなる。また、指示部5内に
入っているスイッチL6とスイッチR7が押下されてい
るかの情報も制御部2に入力される。制御部2は、セン
サ部1と指示部5内のスイッチL6とスイッチR7に接
続され、得られたセンサの移動量情報とスイッチの押下
情報をポインティング情報としてまとめ、パーソナルコ
ンピュータ本体部(PC本体部と省略)3に所定のプロ
トコルで送る。PC本体部3は得られたポインティング
情報に基づき処理を行う。ディスプレイ4はPC本体部
3に接続され、PC本体部3が出力する画像情報を表示
する。
は、制御部2が指示部5のケースに同梱され、このケー
スがPC本体部3、センサ部1とケーブル接続される。
又、制御部2がセンサ部1のケースに同梱され、センサ
部1のケースからPC本体部3、指示部5にそれぞれケ
ーブル接続してもよい。更にPC本体部3が装着型の場
合は、PC本体部3への接続コネクタの近くにケーブル
接続された小さな中継部を設けこれよりセンサ部1、指
示部5にケーブル接続する様にしてもよい。
いるが、3つ以上のスイッチがあってもよい。
ク図である。センサ部1はイメージセンサ8と信号処理
部9からなる。センサ部1は外部の画像を光強度の変化
として捕らえ画像イメージを信号処理部9に出力する。
信号処理部9は得られた画像イメージの時間的変化から
動きを認識し移動量を出力する。出力信号は、x方向、
y方向をそれぞれΔx、Δy信号として出力される。セ
ンサ部1はモノクロでもカラーでもよいが、動きを検出
することだけが目的であるため安価なモノクロセンサの
方が好ましい。
成を示すブロック図である。同期発生回路91は水平同
期、垂直同期信号、ドットクロックを発生する回路であ
る。A/D変換92はイメージセンサ8からのアナログ
輝度信号を水平同期信号がオン中は1画素に対応する周
期(ドット周期)で各画素を8ビット程度のディジタル
信号に変換し数画素の変換後の輝度値を数バイトに直−
並列変換する回路である。画像メモリ93は例えば16
0*120ドット程度のフレームメモリを数組有する画
像メモリである。
93を制御しつつ、画像メモリ93上の画像イメージの
代表点を決め、その時間的変位を求めΔx、Δy信号と
して出力するマイコンである。
て図面を参照して説明する。先ず図3を参照してセンサ
部1の動作を説明する。操作者10が頭部を上下左右の
任意の方向に動かすと、イメージセンサ8の撮影する画
像が変化する。イメージセンサ8の撮影した画像を信号
処理部9で受け取り、動きを検出する。画像が右方向に
動いた場合は、操作者10が頭部を左に振ったと判断し
て左方向の移動量を出力する。ディスプレイ画面11上
でx、yそれぞれ右方向、上方向を正とすれば、Δxと
して負の値を出力する。移動量の絶対値は画像の動いた
量に比例させればよい。同様に画像が下方向に動いた場
合は、操作者10が頭部を上に振ったと判断して上方向
の移動量をΔyに正の値として出力する。データの形式
は任意だがPS/2マウスインタフェースに合わせて
x、yそれぞれ8ビットの符号付きバイナリデータとす
るのが簡便で好ましい。
詳細に説明する。マイコン94は、イメージセンサ8の
撮像素子(例えば160*120ドット程度のCCD素
子)から、同期信号に合わせて読み出された輝度信号を
変換し15フレーム/秒程度の周期でフレームメモリに
取り込む。初期状態では第1のフレームメモリに取り込
む。次に第1のフレームメモリ画像を例えば上下2等
分、左右2等分し均等に4分割する。各区画の中央の8
*8ドット程度のブロックについて第2フレームメモリ
にコピーする。次フレーム画像を第1フレームメモリに
取り込み、第2フレームメモリ画像を、該フレームメモ
リ上で左右、上下にスライドさせながら、第1フレーム
メモリ画像との差分を求める。差分値が所定以下でその
ばらつきが最小であればその時のスライド値をΔx、Δ
yとする。そして第1フレーム画像の各ブロックの輝度
値を前記同様、第2フレームメモリにコピーしておく。
3フレーム目以降の画像も同様に処理するが、数サイク
ル前から前サイクルまでのΔx、Δyにより予測される
変位量を決め、第2のフレーフメモリのブロック画像を
その変位量前後にスライドして、第1フレームメモリ画
像と比較する。尚、フレーム枠外に移動したと予測され
るブロックは最初から除外する。変動は水平、垂直方向
だけでなく多少画像が回転することもあるので、マッチ
ング処理ではそれも考慮し、第2フレーム画像を多少回
転させても比較する。
の対向面の画像範囲が限定できる場合には、その対向面
の画像の代表点を決め、予め代表点を含むブロックの各
ドットの輝度値ないしドット間差分値等をマイコンのフ
ラッシュメモリ等に登録しておいても良い。代表点とし
ては定常的な高輝度ドットを含むブロックを対角位置ブ
ロックを含め複数登録すればよい。
移動量データΔx、Δyは制御部2に送られる。操作者
10がPC本体部3上で実行されるオペレーティングシ
ステムやアプリケーションソフトなどに指示を与えるた
めスイッチL6またはスイッチR7を押すと、スイッチ
押下の情報が制御部2に送られる。制御部2はセンサ部
1からの移動データや、スイッチL6またはスイッチR
7の押下データがある毎にポインティング情報を出力す
る。ポインティング情報のプロトコルは任意だが、PS
/2マウス互換のインタフェースが簡便で好ましい。こ
の場合の、データフォーマットを図5に示す。X0〜X
7はX方向の符号付き移動量データ、Y0〜Y7はY方
向の符号付き移動量データ、R−SWはスイッチR7の
データ、L−SWはスイッチL6のデータを示す。スイ
ッチのデータは、「1」の時はスイッチ押下状態、
「0」の時は押していない状態を示す。これら3バイト
のデータがシリアルデータとして伝送される。
ロトコルによって出力されたポインティング情報はPC
本体部3に入力される。PC本体部3は、グラフィカル
ユーザインタフェース(GUI)のマウスカーソルをこ
のポインティング情報を用いて移動させ、スイッチL6
またはスイッチR7の押下に応じてオペレーティングシ
ステムやアプリケーションソフトなどに指示を与える。
例えば、スイッチL6のシングルクリック、ダブルクリ
ック動作や、スイッチR7のシングルクリック動作によ
り、それぞれ選択、実行、キャンセルの指示を与える。
マウスカーソルを制御し、指示部の操作と合わせてポイ
ンティング操作を行うことが可能となる。上記実施例で
は頭部が動くと常にカーソルが動くことになるが、指示
部にセンサスイッチを新たに設けて、センサ部の動作/
非動作を切り換えるようにしてもよい。
他の実施例について説明する。本実施例では、PC本体
部3のマウス入力処理部51がポインティング装置13
から受けた移動量信号を、分析しその信号が、操作者1
0の頭部の意図した動きにより、且つ復帰動作によるも
のでないことを識別する手段を設け、該識別される移動
量信号に呼応し、前記デイスプレイ上のカーソルの移動
を指示する。
きは顔を左に向けた後正面に戻し、上に移動するときは
顔を上に向けた後正面に戻し、復帰動作なしに一度で両
方の動きは原則しない様にする。マウス入力処理部51
は操作者の頭部の停止位置と、最近のn回の変動量とそ
の合計と、操作者がカーソル操作状態になったときの主
移動方向(左右/上下のいずれか)を管理保持する。又
図6に示す様に操作者の頭部状態を状態フラグを用い把
握、管理する。即ち、図6に示す様に、操作者の頭部動
作状態として停止中、移動中、復帰中、別位置復帰の4
状態を定義し、これらの遷移条件を検出し、次の状態を
決め、各状態対応の表示制御部への指示動作を行う。
の動作を説明する。停止状態にある時、最近のn回の変
動値のx或いはyのいずれかの計が予め設定された所定
値以上であれば、移動中に遷移する。同時に主移動方向
を記憶し、その方向の変動値計でカーソルの移動を指示
する。頭部位置情報は停止位置情報に上記X、Yを加算
し更新する。移動中状態に遷移すると、ポインティング
装置13からの移動量の内、主移動方向の変位でカーソ
ルの移動を指示する。頭部位置情報は上記移動量のX、
Yで更新する。ポインティング装置13からの移動量の
内、主移動方向の変位の符号が反転し、絶対値が規定以
上あれば、復帰中に遷移する。復帰中ではカーソルの移
動指示はせず、頭部位置情報のみ更新する。頭部位置情
報が最初の停止位置情報の近傍に入ると、停止状態に戻
る。移動中から所定時間(k)内に復帰中への遷移がな
かった時、復帰中から所定時間(l)内に停止への遷移
がなかった時、には一時的に別位置復帰とする。更に所
定時間(m)待ち、前回の停止位置に戻らなかった時
は、定常位置変更(体の向き等を変えた)と見なし、停
止位置情報を変更する。該m間変動してなければその時
の頭部位置を新規停止位置情報とする。変動していれば
m間の静止を検出後同様に停止位置情報を更新する。顔
が横、上下を向いた状態は短い期間なのでその状態が停
止位置と登録されることはない。又、上記所定値、n、
k、l、mはパラメータとして設定され、操作者、使用
形態にあわせ変更できる。k、l、mはフレーム周期の
数倍を単位とした整数である。
部の意図した動きで、且つ復帰動作によるものでない時
にのみ、カーソルの移動を指示するので、ディスプレイ
の真正面を向いてスイッチ操作出来、又カーソルの移動
量が大きい時は数回に分けて首を軽く振ればいいので楽
に操作が出来る。
明する。図8において、ヘッドマウントディスプレイ2
0(以下HMDと称す)が操作者10の頭部に装着され
ており、PC本体部3の画像出力は、HMD20で表示
される。図9はHMD20の構造を示した図である。フ
レーム22の前面の左右の目の前の位置に表示部23が
各々配置されている。センサ部1はフレーム22の中央
部に固定されている。表示部はカラー、モノクロいずれ
でも構わない。デバイスは見栄えの点でTFT(thi
n film trasistor)が好ましいが、T
N(twisted nematic)、STN(sc
an twisted nematic) 、EL(e
lectro luminescent panel)
等特に限定しない。センサ1の固定位置はフレーム22
に固定されればどの位置でもよい。
仮想スクリーン21が例えば2m先に見える。操作者1
0は第1の実施例と同様、頭部を動かすことにより、仮
想スクリーン21上のマウスカーソルを動かし操作を行
う。
が不要になるという新たな効果を有する。
明する。図10を参照すると、指示部30は足で操作可
能な様設置されている。操作者10は第1の実施形態と
同様頭部の動きによって画面を制御する。
2の操作と指示部30上のフットボタンL31またはフ
ットボタンR32の操作によって、パーソナルコンピュ
ータ(図示せず)に指示を与えることができる。
装置の一例を示す。この装置はボタントップ11−1、
押下部11−2、スプリング11−3、接点部11−
4、弾性体11−5、キーフィルタ11−6より構成さ
れている。弾性体11−4は、押下部11−2により押
し広げられ、復元力のある金属片の対である。押下部1
1−2と接する上側がRをもって折り返されている。こ
れにより押下時のクリック感を持たせている。キーフィ
ルタ11−6は足操作時のチャタリングを吸収するため
の回路である。この装置はフットボタンL31、フット
ボタンR32を持っているが、センサ部の動作/非動作
を切り換えるフットボタン33を設けても良い。
したが、第2の実施形態に示したようなHMD型のディ
スプレイを用いることもできる。その場合、手元の作業
が行えるよう、HMD内の表示部は片目のみの形態もし
くは外界の見える透過型のディスプレイデバイスの使用
が望ましい。
ュータのポインティング操作から解放されるため、両手
で他の作業を行いながらコンピュータ操作を行うことが
できるという新たな効果を有する。
明する。図12を参照すると、本実施形態のコンピュー
タシステムは、ヘッドセット40とPC筐体46からな
る。PC筐体46には、PC本体部3が納められてい
る。PC筐体46は操作者10の胴体に装備されてい
る。
を説明する。ヘッドバンド41は操作者10の頭部に装
着し固定するためのものである。アーム45はヘッドバ
ンド41につながり表示部42およびセンサ部1を支え
ている。表示用映像データを受け、センサ1による移動
データを送るためのケーブル44がヘッドセット40と
筐体46(図示せず)との間につながれている。ケーブ
ル44は途中で分岐し、イヤホンマイク43と接続して
いる。イヤホンマイクとしては、発声時に外耳道に伝わ
ってくる骨伝導音声振動を拾う方式のものが好適であ
る。これによりヘッドセットをシンプルに出来る。
コンピュータシステムの構成を説明するブロック図であ
る。センサ部1は画像の動きから上下および左右の方角
の変化量を出力し制御部2に入力する。センサ部1から
の出力信号は、Δx、Δyの2方向の情報を出力する。
イヤホンマイク43からの音声出力は音声認識部47に
入力される。音声認識部47は操作者の発音する所定の
単語を検出し、検出した単語に応じ、右スイッチ信号と
左スイッチ信号を制御部2に出力する。制御部2は、セ
ンサ部1により得られたセンサの移動量情報と音声認識
部47により得られた所定の指示情報をポインティング
情報としてまとめ、第1の実施形態と同様PC本体部3
に所定のプロトコルで送る。PC本体部3は得られたポ
インティング情報に基づき処理を行う。表示部42はP
C本体部3に接続され、これが出力する画像情報を表示
する。又、音声認識部47は図14に例示する様に、音
声信号を増幅後、音声のみを通過させるフィルタ回路7
0、A/D変換しサンプルホールドする回路71、メモ
リ72、処理部73より構成されている。
部の移動量については、第1の実施形態と同様センサ部
1からΔx、Δy信号が出力される。音声認識部47
は、予め設定された単語と合致する単語が発音されたか
どうかの検出を行う。例えば、「左ボタン」、「右ボタ
ン」、「ダブルクリック」という単語を登録しておき、
「左ボタン」の音声を認識したら左ボタン信号をオン、
「右ボタン」の音声を認識したら右ボタン信号をオン、
「ダブルクリック」の音声を認識したら左ボタン信号を
2回オンする。図15を参照し音声認識処理例を示す。
メモリ72上のテンプレート72−1には、上記操作指
示単語で使用する各音節(ひ、だ、り、・・く)と母音
の周波数スペクトル上の特徴が登録されている。登録は
操作者の音節を予め登録する。又次音節テーブル72−
2には認識済み音節シーケンスに対応して次音節の候補
が頻度順で設定されている。単語テーブル72−3は上
記操作単語が文字コードで設定されている。操作単語の
音声が入力されると10数KHzのレートで16ビット
程度のディジタル値に変換されメモリ72に書き込まれ
る。音節単位でスペクトル分析し、その特徴でテンプレ
ートを検索し最初の音節を推定する。次音節からは次音
節テーブル72−2も参照し認識する(S1)。次ステ
ップでは、推定認識した音節シーケンで単語テーブル7
2−3を引き一致度の高い単語を特定する(S2)。最
後にタイマ乃至クロック信号を使いながら、処理部73
の内部レジスタの所定2ビットをオン/オフしそれをス
イッチ信号とし制御部2に送出する(S3)。
作と同等の操作を行うことができる。以下第1の実施形
態と同様、操作者10は頭部の動作に応じてマウスカー
ソルを制御し、音声によるボタン代替操作と合わせてポ
インティング操作を行うことが可能となる。
イクを例示したが、イヤホンと分離したマイクでも構わ
ない。マイクのみ口の前に設置する方法も考えられる。
また、PC筐体46の設置場所は胴体に限らず、身につ
けられる場所ならどこでもよい。
がら、かつ、コンピュータを随時移動して操作できると
いう新たな効果を有する。その理由は、固定した場所に
設置が必要なポインティング装置を有しないためであ
る。
明する。図16を参照すると、本実施形態のコンピュー
タシステムは、ヘッドセット49とPC筐体46からな
る。PC筐体46には、PC本体部14が納められてい
る。PC筐体46は操作者10の胴体に装備されてい
る。又本実施形態では、PC本体部14は音声認識部5
2とマイク入力を搭載している。又、ヘッドセット49
は音声認識部47を持たない点がヘッドセット40と異
なるが他は同様で、イヤホンマイク43の音声信号は上
記PC本体部14のマイク入力に接続される。
ンサの移動量情報をPC本体部14のマウスインタフェ
ース(マウスI/F)を介し、マウス入力処理部51に
通知する。マウス入力処理部51はこの情報を、マウス
カーソル移動信号に変換し、表示制御部50に通知す
る。又イヤホンマイク43からの音声はマイク入力を介
し、音声認識部52に入力される。音声認識部52は音
声が操作単語と認識された場合、右ボタンクリック、左
ボタンクリック、右ボタンダブルクリックに対応するコ
ードをOS/AP54に通知する。OS/AP54はこ
の通知を受けると表示制御部50よりカーソル座標位置
を得、該座標位置に表示しているアイテムないしアイコ
ンが選択、実行、キャンセル指示されたことを知る。
るとともに、PC本体部が元々音声認識部を備えている
のであればこれを有効利用することが出来る。
ータ回路例として、PC本体部を用いているが、パーソ
ナルコンピュータの本体回路と限定する必要はなく、携
帯情報端末等であってもよい。
ヘッドセットのコンピュータ回路側の接続口は従来のマ
ウスI/Fに限定されるものでなく、USB(univ
ersal serial bus)インタフェース、
RS232Cシリアルインタフェース、赤外線通信イン
タフェース、無線インタフェース等を用いても良い。
前フレーム画像の複数の代表点ブロックについて次フレ
ーム画像での対応ブロックとの差分処理結果で移動先を
決める方法を示したが、入力画像を2値画像に変換し、
フレーム間で2値画像を比較し変位を決める方法であっ
ても良い。又、入力画像にエッジ強調処理を行い、エッ
ジライン上の特異点(交点、折れ点、端点、最高輝度
点)を代表点とし、その特異点の決め方、種類も記憶
し、次フレーム画像についても同様に処理し代表点の変
位を求める方法であってもよい。
他の実施例では、PC本体部3のマウス入力処理部がポ
インティング装置13から受けた移動量信号を、分析し
その信号が、操作者10の頭部の意図した動きにより、
且つ復帰動作によるものでないことを識別する方法を示
したが、同様の処理をセンサ部1の信号処理部9のマイ
コンで行うことも容易に考えられる。
は、「左ボタン」、「右ボタン」、「ダブルクリック」
としたが「上スクロール」、「右スクロール」等を追加
しても良い。
インティング装置及び第1〜3、5〜8のコンピュータ
システムは、センサ部1は頭部の動きに合わせて動作す
るためポインティング装置を机上に置く必要がなく、又
指示部5自体も指で操作できればよいので台に置かず手
に持って操作できる為、安定に設置された作業台や動作
スペースが不要になるという効果がある。
のコンピュータシステムは、頭部の動きにより画面上の
カーソルを移動できる為、コンピュータの手操作を低減
する効果があり、本発明の第4〜8のコンピュータシス
テムは、頭部の動きにより画面上のカーソルを移動で
き、足の操作或いは音声による指示でコンピュータに操
作指示が出来るので、両手で他の作業を行いながらコン
ピュータ操作を行うことができるという効果を有する。
テムは、ディスプレイ及びポインティングデバイスを纏
めて頭部に装着するヘッドセットとし、コンピュータ本
体を操作者の体、衣服等に装着できるので、コンピュー
タシステムと共に随時移動して操作できるという効果も
有する。
でコンピュータ本体部のマウス入力処理部として前記ポ
インティング装置13から受けた移動量信号を、分析し
その信号が、操作者10の頭部の意図した動きにより、
且つ復帰動作によるものでないことを識別する手段をも
つドライバを追加しておくことにより、画面上のカーソ
ルを端から端に移動させる場合、微少移動させる場合と
もに頭部によるカーソル移動操作を楽に行うことができ
る効果がある。
PCのマウスインタフェースに接続可能で、少なくとも
従来のPC本体ハードウェアで利用できる装置を含む。
る。
ある。
である。
図である。
の送出データの形式例を説明する図である。
ータシステムのマウス入力処理部が行う、操作者の頭部
の動きについての状態遷移図である。
力処理部動作を示す図である。
る。
る。
る。
図である。
る。
である。
ロック図である。
ク図である。
である。
Claims (10)
- 【請求項1】 操作者の頭部に装着され、対向面の画像
を入力するイメージセンサ、該入力画像の変動により操
作者頭部の動きの方角と移動量検出を行う信号処理部と
を有すセンサ部と、操作ボタンと、前記検出信号をポイ
ンティングデバイス移動量信号に変換し、操作ボタン信
号とともにコンピュータ回路に送出する制御部とを備え
たことを特徴とするポインティング装置。 - 【請求項2】 コンピュータ回路と、それに接続された
前記ポインティング装置と、ディスプレイとを含むコン
ピュータシステムであって、操作者の頭部の動きにより
前記デイスプレイ上のカーソルの移動を指示することを
特徴とするコンピュータシステム。 - 【請求項3】 前記コンピュータ回路に、前記ポインテ
ィング装置からの移動量信号が、前記操作者の頭部の意
図した動きにより、且つ復帰動作によるものでないこと
を識別する手段を設け、該識別される移動量信号に呼応
し、前記デイスプレイ上のカーソルの移動を指示するこ
とを特徴とする請求項2記載のコンピュータシステム。 - 【請求項4】 前記ディスプレイを操作者の頭部に装着
されるヘッドマウントディスプレイとし、前記センサ部
を前記ヘッドマウントディスプレイに取り付けて併設
し、操作者の頭部の動きにより前記ヘッドマウントデイ
スプレイ上のカーソルの移動を指示することを特徴とす
る請求項2又は3記載のコンピュータシステム。 - 【請求項5】 前記ポインティング装置の前記操作ボタ
ンを、足で操作可能なフットボタンとしたことを特徴と
する請求項2、3又は4記載のコンピュータシステム。 - 【請求項6】 前記ポインティング装置の前記操作ボタ
ンに替わり、マイクと、マイクの操作音声信号を認識し
複数の操作単語音声の特徴と比較し前記操作信号ないし
操作信号シーケンスに変換し前記制御部に渡す音声認識
部とを設け、操作者の頭部の動きにより前記ヘッドマウ
ントデイスプレイ上のカーソルの移動を指示し、音声に
より操作指示をすることを特徴とする請求項2、3又は
4記載のコンピュータシステム。 - 【請求項7】 前記センサ部と、前記制御部と、前記マ
イクと、前記音声認識部と、イヤホンと、前記ヘッドマ
ウントディスプレイと、少なくとも前記センサ部と前記
ヘッドマウントディスプレイが所定位置に取り付けられ
操作者の頭部に装着されるヘッドバンドを有すヘッドセ
ットと、操作者の体に装着可能なコンピュータ回路とを
含むことを特徴とする請求項6記載のコンピュータシス
テム。 - 【請求項8】 前記センサ部と、マイクと、イヤホン
と、前記ヘッドマウントディスプレイと、少なくとも前
記センサ部と前記ヘッドマウントディスプレイが所定位
置に取り付けられ操作者の頭部に装着されるヘッドバン
ドを有すヘッドセットと、前記マイクに入力される操作
単語音声を認識し操作指示情報を他のプログラムに通知
する手段を持ち、操作者の体に装着可能なコンピュータ
回路とを含むことを特徴とするコンピュータシステム。 - 【請求項9】 前記ヘッドセットの前記マイクとイヤホ
ンに替わり、骨伝導方式イヤホンマイクを有すことを特
徴とする請求項7又は8記載のコンピュータシステム。 - 【請求項10】 前記制御部は前記ポインティング装置
の移動量信号、操作状態信号をマウスの移動量信号、操
作状態信号と同様形式の信号としコンピュータ回路のマ
ウス入力に送出することを特徴とする請求項1記載のポ
インティング装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24207999A JP3487237B2 (ja) | 1999-08-27 | 1999-08-27 | ポインティング装置とそれを用いたコンピュータシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24207999A JP3487237B2 (ja) | 1999-08-27 | 1999-08-27 | ポインティング装置とそれを用いたコンピュータシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001067179A true JP2001067179A (ja) | 2001-03-16 |
JP3487237B2 JP3487237B2 (ja) | 2004-01-13 |
Family
ID=17083982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24207999A Expired - Fee Related JP3487237B2 (ja) | 1999-08-27 | 1999-08-27 | ポインティング装置とそれを用いたコンピュータシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3487237B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010110411A1 (ja) * | 2009-03-26 | 2010-09-30 | 独立行政法人産業技術総合研究所 | 頭部運動による入力装置 |
US8188971B2 (en) | 2006-03-15 | 2012-05-29 | Kabushiki Kaisha Toshiva | Medical image interpreting apparatus and cursor-moving method |
KR101237947B1 (ko) * | 2011-03-21 | 2013-03-05 | 휴롭 주식회사 | 사용자의 행동을 인식하여 전기 전자 기기를 작동시키는 핸즈프리 제어 장치 및 방법 |
JP2014179097A (ja) * | 2013-03-13 | 2014-09-25 | Honda Motor Co Ltd | ポインティングによる情報クエリ |
JP2015507803A (ja) * | 2012-01-09 | 2015-03-12 | ソフトキネティック ソフトウェア | 高められたジェスチャ・ベースの対話のためのシステム及び方法 |
JP2015049695A (ja) * | 2013-08-30 | 2015-03-16 | Kddi株式会社 | メガネ型表示装置、表示制御装置、表示システム及びコンピュータプログラム |
WO2015073928A1 (en) * | 2013-11-15 | 2015-05-21 | Glumobile, Inc. | Systems and methods for providing fused images to remote recipients for descrambling and interpretation |
KR20150135823A (ko) * | 2014-05-26 | 2015-12-04 | 주식회사 매크론 | 헤드 마우스 |
WO2015194659A1 (ja) * | 2014-06-20 | 2015-12-23 | オムロン株式会社 | ロボット操作用の作業者端末 |
JP2018091882A (ja) * | 2016-11-30 | 2018-06-14 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
US10353489B2 (en) | 2016-04-13 | 2019-07-16 | Seiko Epson Corporation | Foot input device and head-mounted display device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9715332B1 (en) | 2010-08-26 | 2017-07-25 | Cypress Lake Software, Inc. | Methods, systems, and computer program products for navigating between visual components |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61199178A (ja) * | 1985-03-01 | 1986-09-03 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力装置 |
JPH03176718A (ja) * | 1989-11-24 | 1991-07-31 | Crowe Hansen Per | 光学的ポインティング装置 |
JPH05108252A (ja) * | 1991-10-11 | 1993-04-30 | Nec Corp | カーソル位置制御方式 |
JPH05122590A (ja) * | 1991-10-24 | 1993-05-18 | Sanyo Electric Co Ltd | 手ブレ補正機能付きビデオカメラの動きベクトル特定回路 |
JPH05250089A (ja) * | 1992-03-05 | 1993-09-28 | Olympus Optical Co Ltd | コンピュータ画像表示装置 |
JPH07141098A (ja) * | 1993-11-17 | 1995-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 座標入力装置 |
JPH07302158A (ja) * | 1994-05-02 | 1995-11-14 | Wacom Co Ltd | 情報入力器具 |
JPH0814911A (ja) * | 1994-07-04 | 1996-01-19 | Sharp Corp | 動作認識装置 |
JPH09179062A (ja) * | 1995-12-25 | 1997-07-11 | Canon Inc | コンピュータシステム |
JPH09258887A (ja) * | 1996-03-22 | 1997-10-03 | Nec Corp | ハンドフリーマウス |
JPH1020997A (ja) * | 1996-07-08 | 1998-01-23 | Canon Inc | ディスプレイ装置 |
JPH1091324A (ja) * | 1996-09-17 | 1998-04-10 | Katsuaki Yasui | ポインティング装置 |
JPH10161801A (ja) * | 1996-11-27 | 1998-06-19 | Sony Corp | 入力装置 |
JP2000029619A (ja) * | 1998-07-10 | 2000-01-28 | Sony Corp | コンピュータ装置 |
-
1999
- 1999-08-27 JP JP24207999A patent/JP3487237B2/ja not_active Expired - Fee Related
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61199178A (ja) * | 1985-03-01 | 1986-09-03 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力装置 |
JPH03176718A (ja) * | 1989-11-24 | 1991-07-31 | Crowe Hansen Per | 光学的ポインティング装置 |
JPH05108252A (ja) * | 1991-10-11 | 1993-04-30 | Nec Corp | カーソル位置制御方式 |
JPH05122590A (ja) * | 1991-10-24 | 1993-05-18 | Sanyo Electric Co Ltd | 手ブレ補正機能付きビデオカメラの動きベクトル特定回路 |
JPH05250089A (ja) * | 1992-03-05 | 1993-09-28 | Olympus Optical Co Ltd | コンピュータ画像表示装置 |
JPH07141098A (ja) * | 1993-11-17 | 1995-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 座標入力装置 |
JPH07302158A (ja) * | 1994-05-02 | 1995-11-14 | Wacom Co Ltd | 情報入力器具 |
JPH0814911A (ja) * | 1994-07-04 | 1996-01-19 | Sharp Corp | 動作認識装置 |
JPH09179062A (ja) * | 1995-12-25 | 1997-07-11 | Canon Inc | コンピュータシステム |
JPH09258887A (ja) * | 1996-03-22 | 1997-10-03 | Nec Corp | ハンドフリーマウス |
JPH1020997A (ja) * | 1996-07-08 | 1998-01-23 | Canon Inc | ディスプレイ装置 |
JPH1091324A (ja) * | 1996-09-17 | 1998-04-10 | Katsuaki Yasui | ポインティング装置 |
JPH10161801A (ja) * | 1996-11-27 | 1998-06-19 | Sony Corp | 入力装置 |
JP2000029619A (ja) * | 1998-07-10 | 2000-01-28 | Sony Corp | コンピュータ装置 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8188971B2 (en) | 2006-03-15 | 2012-05-29 | Kabushiki Kaisha Toshiva | Medical image interpreting apparatus and cursor-moving method |
US8330717B2 (en) | 2006-03-15 | 2012-12-11 | Kabushiki Kaisha Toshiba | Medical image interpreting apparatus and cursor-moving method |
WO2010110411A1 (ja) * | 2009-03-26 | 2010-09-30 | 独立行政法人産業技術総合研究所 | 頭部運動による入力装置 |
JP2010231290A (ja) * | 2009-03-26 | 2010-10-14 | National Institute Of Advanced Industrial Science & Technology | 頭部運動による入力装置及び方法 |
KR101237947B1 (ko) * | 2011-03-21 | 2013-03-05 | 휴롭 주식회사 | 사용자의 행동을 인식하여 전기 전자 기기를 작동시키는 핸즈프리 제어 장치 및 방법 |
JP2015507803A (ja) * | 2012-01-09 | 2015-03-12 | ソフトキネティック ソフトウェア | 高められたジェスチャ・ベースの対話のためのシステム及び方法 |
JP2014179097A (ja) * | 2013-03-13 | 2014-09-25 | Honda Motor Co Ltd | ポインティングによる情報クエリ |
JP2015049695A (ja) * | 2013-08-30 | 2015-03-16 | Kddi株式会社 | メガネ型表示装置、表示制御装置、表示システム及びコンピュータプログラム |
WO2015073928A1 (en) * | 2013-11-15 | 2015-05-21 | Glumobile, Inc. | Systems and methods for providing fused images to remote recipients for descrambling and interpretation |
US9336189B2 (en) | 2013-11-15 | 2016-05-10 | Glu Mobile Inc. | Systems and methods for providing fused images to remote recipients for descrambling and interpretation |
US10510169B2 (en) | 2013-11-15 | 2019-12-17 | Glu Mobile, Inc. | Systems and methods for providing fused images to remote recipients for descrambling and interpretation |
KR20150135823A (ko) * | 2014-05-26 | 2015-12-04 | 주식회사 매크론 | 헤드 마우스 |
KR101588021B1 (ko) * | 2014-05-26 | 2016-01-25 | 주식회사 매크론 | 헤드 마우스 |
WO2015194659A1 (ja) * | 2014-06-20 | 2015-12-23 | オムロン株式会社 | ロボット操作用の作業者端末 |
JP2016007647A (ja) * | 2014-06-20 | 2016-01-18 | オムロン株式会社 | ロボット操作用の作業者端末 |
CN106457572A (zh) * | 2014-06-20 | 2017-02-22 | 欧姆龙株式会社 | 机械手操作用作业人员终端 |
US10353489B2 (en) | 2016-04-13 | 2019-07-16 | Seiko Epson Corporation | Foot input device and head-mounted display device |
JP2018091882A (ja) * | 2016-11-30 | 2018-06-14 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3487237B2 (ja) | 2004-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9448620B2 (en) | Input method and apparatus of portable device for mapping segments of a hand to a plurality of keys | |
US20180210544A1 (en) | Head Tracking Based Gesture Control Techniques For Head Mounted Displays | |
TWI498771B (zh) | 可辨識手勢動作的眼鏡 | |
US20150220142A1 (en) | Head-Tracking Based Technique for Moving On-Screen Objects on Head Mounted Displays (HMD) | |
EP2068235A2 (en) | Input device, display device, input method, display method, and program | |
CN104793842B (zh) | 图形用户界面系统、显示处理装置及输入处理装置 | |
WO2014054211A1 (en) | Information processing device, display control method, and program for modifying scrolling of automatically scrolled content | |
JP6251957B2 (ja) | 表示装置、頭部装着型表示装置および表示装置の制御方法 | |
CN101539788B (zh) | 便携式信息处理设备 | |
JP2015181028A (ja) | 携帯型情報処理端末 | |
JP3487237B2 (ja) | ポインティング装置とそれを用いたコンピュータシステム | |
KR20090016044A (ko) | 휴대용 단말기의 멀티태스킹 방법 및 장치 | |
WO2015050322A1 (ko) | 안경형 디스플레이 디바이스의 동작인식 입력방법 | |
WO2012119371A1 (zh) | 一种用户交互系统和方法 | |
JP2015115038A (ja) | 情報処理装置および情報処理装置の制御方法 | |
US20240028143A1 (en) | Virtual peripherals for mobile devices | |
CN112817443A (zh) | 基于手势的显示界面控制方法、装置、设备及存储介质 | |
KR20150006382A (ko) | 디스플레이 장치의 선택된 키 식별 방법 및 디스플레이 장치 | |
EP3985486B1 (en) | Glasses-type terminal | |
JP2002290529A (ja) | 携帯通信端末、情報表示装置、制御入力装置および制御入力方法 | |
WO2022057644A1 (zh) | 设备交互方法、电子设备及交互系统 | |
JPH11312033A (ja) | 眼鏡型画像表示装置 | |
KR20100030737A (ko) | 3d 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치 | |
JP2007102415A (ja) | 2つの入力モードを有する携帯端末、プログラム及び携帯端末への指令入力方法 | |
JP2003029919A (ja) | 入力機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030930 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081031 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091031 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091031 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101031 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |