JP2002244810A

JP2002244810A - 仮想現実空間データ入力装置

Info

Publication number: JP2002244810A
Application number: JP2001364698A
Authority: JP
Inventors: Toshiharu Enmei; 年晴延命
Original assignee: ADC Technology Inc
Current assignee: ADC Technology Inc
Priority date: 1993-03-10
Filing date: 2001-11-29
Publication date: 2002-08-30
Anticipated expiration: 2019-12-02
Also published as: JPH06274270A; JP3595792B2

Abstract

(57)【要約】【課題】キーボードやマウスを用いることなくデータの
入力を行う。【解決手段】ディスプレイ１７と３Ｄアイセット２５と
によって、操作者ＯＰに仮想現実画面を認識させる。画
像入力装置２１によって、操作者ＯＰの指ＵＢを認識し
て、その位置を検出する。指ＵＢが仮想現実画面上で指
し示した選択項目の選択信号を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、仮想現実空間上で
データを入力する装置に関する。

【０００２】

【従来の技術】従来、コンピュータやデータ端末装置用
のデータ入力装置としては、キーボード、マウス、デジ
タイザなどが用いられている。これらのデータ入力装置
は、何れも現実平面上で実際にキーボードなどを操作し
てデータ入力を行うものである。

【０００３】したがって、この様なデータ入力装置で
は、キーボードを操作したり、マウスを操作するため
の、労力が手や指に加わる。

【０００４】

【発明が解決しようとする課題】このため、従来のデー
タ入力装置では、テレマーケッティング装置、電話アン
ケート端末装置や、電話ショッピング端末装置などの長
時間操作し続ける用途に用いた場合には、オペレータの
手や指に加わる負担が大きなものとなり、健康を害する
問題があった。

【０００５】本発明は、オペレータが実際にキーボード
などを操作することなくデータ入力を行うことを目的と
する。

【０００６】

【課題を解決するための手段】第１発明の仮想現実空間
データ入力装置は、画像の表示面の前方空間に、所定の
仮想現実画像を形成する仮想現実画像表示手段と、上記
仮想現実画像が形成される空間の状態を検出する空間状
態検出手段と、該空間状態検出手段の検出結果と、上記
仮想現実画像表示手段による仮想現実画像とに基づく検
出信号を出力する検出信号出力手段とを備えることを要
旨とする。

【０００７】第２発明の仮想現実空間データ入力装置
は、画像の表示面の前方空間に、所定の仮想現実画像を
形成する仮想現実画像表示手段と、上記所定の仮想現実
画像が形成される空間に所定の物体が存在するかを検出
する所定位置空間物体検出手段と、該所定位置空間物体
検出手段の検出結果を出力する選択信号出力手段とを備
えることを要旨とする。

【０００８】第３発明の仮想現実空間データ入力装置
は、画像の表示面の前方空間に、所定の仮想現実画像を
形成する仮想現実画像表示手段と、上記表示面の前方空
間に所定の物体が存在するかを検出する前方空間物体検
出手段と、該前方空間物体検出手段の検出結果に基づい
て、所定の物体の移動状態を算出する物体移動状態算出
手段と、該物体移動状態算出手段の算出結果に基づい
て、上記所定の仮想現実画像の選択信号を出力する画像
選択信号出力手段とを備えることを要旨とする。

【０００９】第４発明の仮想現実空間データ入力装置
は、画像の表示面の前方空間に、所定の仮想現実画像を
形成する仮想現実画像表示手段と、上記所定の仮想現実
画像が形成される空間に所定の物体が存在するかを検出
する所定位置空間物体検出手段と、該所定位置空間物体
検出手段が所定の物体の存在を検出した位置に仮想現実
マーカを上記仮想現実画像表示手段に表示させるマーカ
表示手段とを備えることを要旨とする。

【００１０】第５発明の仮想現実空間データ入力装置
は、画像の表示面の前方空間に、所定の仮想現実画像を
形成する仮想現実画像表示手段と、上記所定の仮想現実
画像が形成される空間に所定の物体が存在するかを検出
する所定位置空間物体検出手段と、該所定位置空間物体
検出手段が所定の物体の存在を検出した位置に、仮想現
実マーカを上記仮想現実画像表示手段に表示させるマー
カ表示手段と、該マーカ表示手段の表示したマーカの影
画像を上記所定の仮想現実画像上に表示させる影画像表
示手段とを備えることを要旨とする。

【００１１】

【作用】第１発明の仮想現実空間データ入力装置は、仮
想現実画像表示手段が画像の表示面の前方に、仮想現実
画像を形成させる。一方、空間状態検出手段が、仮想現
実画像が形成される空間の状態を検出する。

【００１２】この状態で、検出信号出力手段が、空間状
態検出手段の検出結果と、仮想現実画像表示手段による
仮想現実画像とに基づく信号を出力する。これにより、
例えば所定の仮想現実画像を形成し、その仮想現実画像
が形成されている空間に手などの物体が接近した場合
に、この所定の仮想現実画像が選択されたことを示す検
出信号を出力することができる。

【００１３】第２発明の仮想現実空間データ入力装置
は、仮想現実画像表示手段が、画像の表示面の前方空間
に所定の仮想現実画像を形成させる。一方、所定位置空
間物体検出手段が、その所定の仮想現実画像が形成され
る空間に所定の物体が存在するかを検出し、選択信号出
力手段が、その検出結果を出力する。

【００１４】これにより、例えば、所定の仮想現実画像
を形成し、その仮想現実画像が形成されている空間に手
などの物体が接近した場合に、この所定の仮想現実画像
が選択されたことを示す選択信号を出力することができ
る。第３発明の仮想現実空間データ入力装置は、仮想現
実画像表示手段が、画像の表示面の前方空間に、所定の
仮想現実画像を形成する。一方、前方空間物体検出手段
が、表示面の前方空間に所定の物体が存在するかを検出
し、物体移動状態算出手段が、その移動状態を算出す
る。次いで、画像選択信号出力手段が、物体移動状態算
出手段の算出結果に基づいて、所定の仮想現実画像の選
択信号を出力する。

【００１５】これにより、例えば、手を所定の仮想現実
物体の位置に近づけようとする動作だけで、所定の仮想
現実画像の選択信号を出力することができる。第４発明
の仮想現実空間データ入力装置は、仮想現実画像表示手
段が、画像の表示面の前方空間に、所定の仮想現実画像
を形成する。一方、所定位置空間物体検出手段が、その
所定の仮想現実画像が形成される空間に所定の物体が存
在するかを検出し、マーカ表示手段が、所定の物体を検
出した位置にマーカを表示させる。

【００１６】これにより、所定の物体が認識された位置
が仮想現実画像上に表示される。第５発明の仮想現実空
間データ入力装置は、仮想現実画像表示手段が、画像の
表示面の前方空間に、所定の仮想現実画像を形成する。
一方、所定位置空間物体検出手段が、その所定の仮想現
実画像が形成される空間に所定の物体が存在するかを検
出し、マーカ表示手段が、その検出した位置にマーカを
表示する。また、影画像表示手段が、マーカの影画像を
所定の仮想現実画像上に表示する。

【００１７】これにより、マーカと、所定の仮想現実画
像との位置関係が、明確に表示される。

【００１８】

【発明の実施の形態】

【実施例】図１は、受注装置１の外観図、図２は、受注
装置１のブロック図、図３は、電話受注システム３のブ
ロック図である。図３に示す電話受注システム３は、受
注装置１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ、１Ｆ、１Ｇ、１
Ｈ・・・（特に区別しない場合は、１と記す。）と、電
話交換装置５と、ホスト装置７と、ＬＡＮ配線９と、制
御配線１０と、電話配線１１とを備えている。

【００１９】電話交換装置５は、着信信号をホスト装置
７に出力するとともに、ホスト装置７から回線接続信号
を受信して、公衆電話回線１３と、電話配線１１との接
続制御を行う。着信信号は、公衆電話回線１３から着信
がある毎に出力される。ホスト装置７は、コンピュータ
を主要構成とするものであって、ＬＡＮ配線９の系統の
制御を行うとともに、ＬＡＮ配線９を経由して受注装置
１との間でデータ送受を行う。ホスト装置７は、受注装
置１の受注頻度管理と、受注データの集計処理を行う。
ホスト装置７は、電話交換装置５の制御を行う。

【００２０】ＬＡＮ配線９は、ホスト装置７と、受注装
置１との間に配設されている。電話配線１１は、電話交
換装置５と、受注装置１との間に配設されている。図１
及び図２に示す受注装置１は、制御装置１５と、ディス
プレイ１７と、キーボード１９と、画像入力装置２１
と、ヘッドセット２３と、３Ｄアイセット２５とを備え
ている。

【００２１】制御装置１５は、図２に示すように、ＣＰ
Ｕ３１と、ＲＯＭ３３と、ＲＡＭ３５と、ハードディス
ク３７と、入出力インタフェース３９と、ＬＡＮユニッ
ト４１と、電話制御ユニット４３と、回線制御装置４５
と、スイッチユニット４７と、３Ｄ制御装置４９と、画
像処理プロセッサ５１と、画像メモリ５３とを備えてい
る。

【００２２】ディスプレイ１７は、表示面１７Ａにカラ
ー画像データを表示する。画像入力装置２１は、画像入
力ユニット５５と、画像入力ユニット５７とから構成さ
れている。画像入力ユニット５５、５７は、人工網膜素
子５９と、光学レンズ６１とを備えている。画像入力装
置２１は、図１に示すように、支持部材２１Ａによっ
て、表示面１７Ａの前方エリア１７Ｂの上部に配設さ
れ、前方エリア１７Ｂの画像を上方から取り込む。

【００２３】ヘッドセット２３は、ヘッドスピーカ２３
Ａと、マイク２３Ｂとを備えており、ケーブル２３Ｃに
よって、回線制御装置４５と接続されて、電話の送受話
器の機能を有する。３Ｄアイセット２５は、３Ｄ制御装
置４９に接続されており、操作者ＯＰの目視画像を制御
する。

【００２４】スイッチユニット４７は、運用／停止スイ
ッチ７１を備えている。運用／停止スイッチ７１は、運
用状態位置と、停止状態位置との２位置を有する。これ
は、操作者ＯＰによって、設定される。３Ｄ制御装置４
９は、ディスプレイ１７が表示する画像と、３Ｄアイセ
ット２５の透過光線量とを制御するものであって、操作
者ＯＰに仮想現実画像を視認させる。

【００２５】以上の構成を有することにより受注装置１
は、次に示す概略機能を有する。公衆電話回線との間での電話送受ホスト装置７との間のＬＡＮ通信操作者ＯＰへの仮想現実画像の提供前方エリア１７Ｂの画像の検出およびその画像の種類
と位置の判別次に、電話受注システム３の動作を説明する。

【００２６】図４は、着信分配処理ルーチンのフローチ
ャートである。これは、ホスト装置７によって、繰り返
し実行される処理である。まず、稼働状態入力を行う
（ステップ１００、以後ステップをＳと記す。）。稼働
状態の入力では、かく受注装置１から出力された稼働状
態を示す信号を入力する。稼働状態を示す信号として
は、停止中、待機中、通話中がある。これの出力処理の
説明は、後述する。

【００２７】稼働状態の入力後、次に各オペレータ別稼
働データベース作成を行う（Ｓ１１０）。この各オペレ
ータ別稼働データベースは、図示しないメモリ内に構成
されるものであって、各受注装置１毎に、その受注装置
１が停止中であるか、待機中であるか、あるいは通話中
であるかの状態を記憶するとともに、待機中になってか
らの経過時間と、これらの運用履歴を記憶するものであ
る。

【００２８】次いで、着信有りかを判断する（Ｓ１２
０）。着信の判断は、電話交換装置５からの着信信号に
よって行う。ここで、着信でないと判断した場合には、
稼働状態の入力に戻る（Ｓ１００）。一方、着信がある
と判断した場合には、次に着信オペレータ選択を行う
（Ｓ１３０）。この選択は、各オペレータ別データベー
スに基づいて行うもので、待機中になってからの時間が
長い受注装置１を選択する。

【００２９】次いで、オペレータコールを行う（Ｓ１４
０）。オペレータコールでは、Ｓ１３０にて選択された
受注装置１への電話配線１１と、着信した公衆電話回線
１３とを接続する処理を行う。これにより、選択された
受注装置１に、電話コールが行われる。

【００３０】オペレータコールの後、応答が有ったかを
判断し（Ｓ１５０）、応答がなければ、Ｓ１３０の着信
オペレータ選択に処理を移行し、応答があったらＳ１０
０の稼働状態入力に処理を移行する。応答の有無の判断
は、受注装置１に電話回線を接続後、所定時間（ここで
は２〜３秒）の間に、受注装置１が応答を行ったか否か
により行う。応答がない場合には、次の受注装置１が選
択され、前回の受注装置１への接続を維持するととも
に、次の受注装置１へも電話回線を接続する。これは、
オペレータが応答するまで行われる。

【００３１】以上に説明した着信分配処理により、公衆
電話回線１３から着信した電話が、待機状態の受注装置
１に接続される。しかも、受注装置１の稼働状態を均衡
にするとともに、待ち時間を徒に長くすることのない接
続制御が行われる。図５は、稼働状態出力制御処理ルー
チンのフローチャートである。この処理は、受注装置１
によって所定時間毎に行われる。

【００３２】まず、運用／停止スイッチの入力が行われ
る（Ｓ２００）。運用／停止スイッチ７１の入力では、
これが運用状態であるか停止状態であるかを入力する。
次いで、運用中かの判断を行う（Ｓ２１０）。運用中で
あるとの判断は、運用／停止スイッチ７１が運用状態で
ある場合に行われる。ここで、運用中ではないと判断さ
れた場合には、次に停止中出力が行われる（Ｓ２２
０）。停止中出力では、ＬＡＮユニット４１を介して、
ホスト装置７に停止中信号が出力される。これにより、
ホスト装置７によるこの受注装置１への電話の接続が停
止される。

【００３３】運用中かの判断で、運用中であるとされた
場合には、次に回線オン状態の入力が行われる（Ｓ２３
０）。回線オン状態の入力は、回線制御装置４５から入
力する。回線オン状態の入力後、次に回線オンかの判断
を行う（Ｓ２４０）。ここで、回線がオンでない場合に
は、次に待機中出力を行い（Ｓ２５０）、一方回線オン
であると判断した場合には、通話中出力を行う（Ｓ２６
０）。待機中出力では、ホスト装置７に待機中信号を出
力する。通話中出力では、ホスト装置７に通話中信号を
出力する。

【００３４】以上に説明した、稼働状態出力処理によ
り、受注装置の稼働状態をホスト装置７に送信すること
ができる。図６は、受注処理ルーチンのフローチャー
ト、図７は、呼出中表示の説明図であって、操作者ＯＰ
が、３Ｄアイセット２５を通して認識する仮想現実画面
を示す。以後の、表示画面の説明では、操作者ＯＰが、
３Ｄアイセット２５を通して認識する画面を示す。受注
処理ルーチンは、受注装置１が電話呼出されると、起動
される。まず、呼出中表示を行う（Ｓ３００）。呼出中
表示は、ディスプレイ１７に図７に一例を示すような呼
出中画面表示７３を行う。

【００３５】呼出中画面表示７３には、バックグランド
表示７５と、呼出中表示７７と、呼出回数表示７９とが
設けられる。バックグランド表示７５は、表示面１７Ａ
の前方に突出距離ＤＡだけ浮き出て表示されるバックグ
ランド画面である。呼出中表示７７と、呼出回数表示７
９とは、バックグランド表示７５中に表示されるもので
ある。呼出回数表示７９は、呼出のコール回数を表示す
る。例えば、呼出回数が３回目の場合には、「３コー
ル」と表示される。

【００３６】呼出中表示の後、応答有りかの判断を行う
（Ｓ３１０）。応答が有るかの判断は、操作者ＯＰによ
る呼出中画面表示７３の選択が行われたかにより行な
う。この選択処理の説明は、後述する。応答がない場合
は、呼出中表示を継続する。一方、応答があった場合に
は、応答処理画面表示を行って（Ｓ３２０）、その後の
応答処理を実行する（Ｓ３３０）。応答処理画面として
は、図８に示す応答処理画面表示８１を表示面１７Ａに
表示する。応答処理画面表示８１には、商品名コード表
示８３と、商品名表示８５と、選択コード表示８７と、
選択商品名表示８９と、記号選択表示９１とが設けられ
ている。これらの表示８３〜９１は、表示面１７Ａから
突出距離ＤＢだけ浮き出て表示されている。これらの詳
細は、後述する。応答処理が終了すれば（Ｓ３４０）、
本ルーチンを一旦終了する。

【００３７】以上に説明した受注処理により、電話を受
けて、その対応を行うとともに、コンピュータに受注内
容を入力することができる。図９は、指先検出処理ルー
チンのフローチャートである。これは、受注装置１によ
って所定時間毎に起動される。まず、バーチャルリアリ
ティエリア画像の入力を行う（Ｓ４００）。バーチャル
リアリティエリア画像の入力処理は、画像処理プロセッ
サ５１によって常時行われているものであって、次に示
すような処理が実行されている。

【００３８】光学レンズ６１を介して、人工網膜素子
５９上に結像した画像の輪郭データを人工網膜素子５９
によって算出する。画像処理プロセッサが輪郭データ
を人工網膜素子５９から入力して、画像メモリ５３に格
納する。

【００３９】バーチャルリアリティエリア画像の入力
後、指検出処理を行う（Ｓ４１０）。指検出処理は、画
像メモリ５３に格納されている輪郭データからパターン
認識処理によって指ＵＢを検出する。次いで、指先端座
標算出を行う（Ｓ４２０）。指先端座標は、指ＵＢが複
数検出された場合には、対応する数だけ求められる。ま
た、左右の画像入力ユニット５５、５７の指ＵＢの指先
端ＵＢＴの位置のズレと、平面位置とに基づいて、３次
元位置座標が求められる。

【００４０】座標の算出後、指先端座標値出力を行う
（Ｓ４３０）。座標値は、ＲＡＭ３５内の指先端座標エ
リア３５Ａに格納される。以上に説明した指先検出処理
により、前方エリア１７Ｂに差し出された操作者ＯＰの
指ＵＢの指先端ＵＢＴの３次元位置が求められる。

【００４１】図１０は、バーチャルマーカ表示処理ルー
チンのフローチャート、図１１、図１２は、バーチャル
マーカ９３の表示状態の説明図である。図１０の処理
は、ＣＰＵ３１によって所定時間毎に実行される。ま
ず、指先端座標値入力を行う（Ｓ５００）。これは、指
先端座標エリア３５Ａから読み込む。次いで、加速度モ
ードかを判断する（Ｓ５１０）。加速度モードか否か
は、図示しない環境設定処理によって予め入力されてい
る。

【００４２】ここで、加速度モードでないと判断した場
合には、次に指先端座標位置にバーチャルマーカ表示を
行う（Ｓ５２０）。バーチャルマーカ表示は、図７に示
すように、ディスプレイ１７によって行うものであっ
て、指先端ＵＢＴの位置であると算出された場所に球状
表示のバーチャルマーカ９３を表示する。バーチャルマ
ーカの表示後、本ルーチンを一旦終了する。

【００４３】以上の処理により、指先端ＵＢＴにバーチ
ャルマーカ９３が表示される。これにより、操作者ＯＰ
は、指先端ＵＢＴが画像入力装置２１によって、どの様
な位置で認識されているかを知ることができる。例え
ば、図１１に示すようにバーチャルマーカ９３が表示さ
れる。図１１の（Ａ）は、操作者ＯＰの視線が標準位置
より左側にずれている場合であり、（Ｂ）は、ほぼ標準
的な位置の場合である。図１１の（Ｃ）は、指先端ＵＢ
Ｔを表示９１方向に近づけていった場合の状態である。
図１２は、指先端ＵＢＴが表示９１に到達した状態を示
す。この場合には、バーチャルマーカ９３が表示９１に
接触した状態の表示が行われる。

【００４４】図１３は、加速度モードの説明図である。
Ｓ５１０で加速度モードであると判断された場合には、
次に加速度算出を行う（Ｓ５３０）。加速度は、指先端
座標値変化量から求める。加速度の値は、絶対値にす
る。次いで、加速度が所定値α以上であるか否かを判断
する（Ｓ５４０）。所定値αの値としては、指ＵＢを素
早く移動させた場合の値が設定される。

【００４５】ここで、加速度が所定値αより小さいと判
断された場合には、次に指先端座標位置にバーチャルマ
ーカを表示する（Ｓ５５０）。これにより、操作者ＯＰ
が指ＵＢを通常のゆっくりした移動速度で移動させた場
合には、バーチャルマーカ９３は、指先端ＵＢＴの移動
に従って、移動される。

【００４６】バーチャルマーカ９３の表示後、次にバー
チャルマーカの影を表示する（Ｓ５６０）。バーチャル
マーカの影の表示は、図７や図１３に示すように、バー
チャルマーカ９３を表示面１７Ａ方向に投影した場合に
発生する影９５を、バックグランド表示７５上やその他
の表示上に、影絵状に表示することにより行なう。影９
５を表示することにより、バーチャルマーカ９３の現在
位置が影９５の位置から一目で認識することが可能にな
る。

【００４７】Ｓ５４０の判断で、加速度が所定値α以上
であると判断した場合は、次に加速度の方向がディスプ
レイから遠ざかる方向かを判断する（Ｓ５７０）。ここ
で、加速度の方向がディスプレイ１７から遠ざかる方向
であると判断した場合には、次に所定遅れ時間βで指先
端座標位置にバーチャルマーカ表示を行う（Ｓ５８
０）。つまり、指ＵＢが表示面１７Ａから遠ざかる方向
に急激に移動した場合には、バーチャルマーカ９３は、
しばらく移動することなく現状位置にとどまる。

【００４８】一方、バーチャルマーカ９３がディスプレ
イ１７に急激に近づいていると判断した場合には（Ｓ５
７０）、ディスプレイ方向にバーチャルマーカを移動さ
せる処理を行う（Ｓ５９０）。つまり、指先端ＵＢＴの
位置に拘りなくバーチャルマーカ９３を表示面１７Ａ方
向に移動させる。これにより、図１３の（Ａ）に示すよ
うに、指ＵＢを表示面１７Ａ方向である矢印ＹＡ方向に
急激に移動させると、バーチャルマーカ９３だけが表示
面１７Ａ方向に移動され、図１３の（Ｂ）に示すよう
に、バックグランド表示７５やその他の表示９１に到達
する。

【００４９】以上に説明したバーチャルマーカ表示処理
により、指先端ＵＢＴの近傍にバーチャルマーカ９３を
表示することができるとともに、加速度モードの場合に
は、指先端ＵＢＴの移動状態に応じてバーチャルマーカ
９３を移動することができる。

【００５０】図１４は、バーチャルマーカ選択処理ルー
チンのフローチャート、図１５は、その説明図である。
図１４の処理は、ＣＰＵ３１によって所定時間毎に実行
される。まず選択項目位置座標入力が行われる（Ｓ６０
０）。選択項目位置座標は、商品名コード表示８３、商
品名表示８５、選択コード表示８７、選択商品名表示８
９、記号選択表示９１等の選択項目の表示位置の３Ｄ座
標データである。これは、画面を表示している図示しな
いソフトからデータ入力する。

【００５１】次に、バーチャルマーカ位置座標入力を行
う（Ｓ６１０）。これは、バーチャルマーカ９３の３次
元位置座標データを入力する。Ｓ６００と、Ｓ６１０と
により、例えば図１５中に示されている表示８３〜９１
と、バーチャルマーカ９３との３次元位置座標データが
読み込まれる。

【００５２】データの入力後、次にバーチャルマーカが
選択項目の近傍に位置するかを判断する（Ｓ６２０）。
つまり、バーチャルマーカ９３が表示８３〜９１の何れ
かに接近したかを判断する。ここで、いまだ近傍に達し
ていないと判断した場合には、本ルーチンをそのまま一
旦終了する。一方、近傍であると判断した場合には、近
傍と判断された選択項目の選択信号出力を行う（Ｓ６３
０）。つまり、バーチャルマーカ９３が接近した表示８
３〜９１の選択信号を出力する。例えば、図１５に示す
選択商品名表示８９Ａにバーチャルマーカ９３が接近し
た場合には、これの選択信号が出力される。

【００５３】以上に説明したバーチャルマーカ選択処理
により、バーチャルマーカ９３を移動させて、表示８３
〜９１の近傍に近づけるだけで、項目の選択が行える。
したがって、指先端ＵＢＴを表示８３〜９１の近傍に実
際に近づけることなく項目の選択を行うことが可能にな
る。

【００５４】以上に説明した電話受注システム３は、電
話による商品の受注業務に際し、操作者ＯＰがキーボー
ド１９やマウスなどの入力装置を実際に殆ど操作するこ
となくデータの入力を行うことができる。したがって、
長時間の入力業務を行っても指や手などに加わる負担が
小さくて済む。

【００５５】また、バーチャルマーカ９３による選択方
式としたことで、指先端ＵＢＴを表示面１７Ａの近傍ま
で実際に移動させて選択項目を指示することと、指先端
ＵＢＴを表示面１７Ａの近傍まで実際に移動させること
なく手前の位置で素早く移動させるだけで選択項目を指
示することが行える。

【００５６】この結果、操作者の疲労の低減を図ること
ができるという極めて優れた効果を奏する。

【００５７】

【発明の効果】第１発明の仮想現実空間データ入力装置
は、仮想現実画像が形成されている空間に手などの物体
が接近した場合に、この所定の仮想現実画像が選択され
たことを示す検出信号を出力することができる。これに
より、スイッチやボタンを実際に操作することなくデー
タの入力が行え、疲労の低減作用が向上するという極め
て優れた効果を奏する。

【００５８】第２発明の仮想現実空間データ入力装置
は、仮想現実画像が形成されている空間に手などの物体
が接近した場合に、この所定の仮想現実画像が選択され
たことを示す選択信号を出力することができる。これに
より、スイッチやボタンを実際に操作することなくデー
タの入力が行え、疲労の低減作用が向上するという極め
て優れた効果を奏する。

【００５９】第３発明の仮想現実空間データ入力装置
は、手を所定の仮想現実物体の位置に近づけようとする
動作だけで、所定の仮想現実画像の選択信号を出力する
ことができる。これにより、スイッチやボタンを実際に
操作することなくデータの入力が行えるとともに、手な
どの移動量を少なくすることができる。この結果、疲労
の低減作用が向上するとともに、速やかな入力作業を行
えるという極めて優れた効果を奏する。

【００６０】第４発明の仮想現実空間データ入力装置
は、入力を行うための手などの物体が認識された位置が
仮想現実画像で表示される。これにより、操作者が入力
位置を明確に把握でき、入力の信頼性が向上するという
極めて優れた効果を奏する。第５発明の仮想現実空間デ
ータ入力装置は、マーカと、所定の仮想現実画像との位
置関係が、影画像によって明確に表示される。これによ
り、操作者が入力位置を明確にかつ速やかに把握でき、
入力の信頼性と入力速度とが共に向上するという極めて
優れた効果を奏する。

【図面の簡単な説明】

【図１】受注装置１の外観図である。

【図２】受注装置１のブロック図である。

【図３】電話受注システム３のブロック図である。

【図４】着信分配処理ルーチンのフローチャートであ
る。

【図５】稼働状態出力制御処理ルーチンのフローチャー
トである。

【図６】受注処理ルーチンのフローチャートである。

【図７】呼出中表示の説明図である。

【図８】応答処理画面表示８１の説明図である。

【図９】指先検出処理ルーチンのフローチャートであ
る。

【図１０】バーチャルマーカ表示処理ルーチンのフロー
チャートである。

【図１１】バーチャルマーカ９３の表示状態の説明図で
ある。

【図１２】バーチャルマーカ９３の表示状態の説明図で
ある。

【図１３】加速度モードの説明図である。

【図１４】バーチャルマーカ選択処理ルーチンのフロー
チャートである。

【図１５】バーチャルマーカ選択処理の説明図である。

【符号の説明】

１…受注装置３…電話受注システム５…電話交換装置７…ホスト装置１５…制御装置１７…ディスプレイ１７Ａ…表示面１７Ｂ…前方エリア２１…画像入力装置２５…３Ｄアイセット

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１３年１２月７日（２００１．１２．
７）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正内容】

【書類名】明細書

【発明の名称】仮想現実空間データ入力装置

【特許請求の範囲】

【発明の詳細な説明】

【０００１】

【０００２】

【０００４】

【０００６】

【課題を解決するための手段】請求項１の発明の仮想現
実空間データ入力装置は、画像の表示面の前方空間に、
所定の仮想現実画像を形成する仮想現実画像表示手段
と、上記所定の仮想現実画像が形成される空間に所定の
物体が存在するかを検出して、その所定の物体の３次元
位置座標を検出する所定位置空間物体検出手段と、該所
定位置空間物体検出手段が所定の物体の存在を検出した
位置に、該所定の物体の認識位置を表す仮想現実マーカ
を上記仮想現実画像表示手段に表示させるマーカ表示手
段と、上記所定の物体の認識位置が上記画像の表示面に
所定加速度以上で接近した場合を検出する加速度検出手
段と、該加速度検出手段が所定加速度以上で接近したと
判断した場合に、該接近したと判断された所定の物体の
仮想現実マーカを上記所定の物体の認識位置を越えて上
記画像の表示面方向に移動させる加速度移動手段と、上
記仮想現実マーカの位置座標の入力を行う仮想現実マー
カ位置座標入力手段とを備えることを要旨とする。

【０００７】請求項２の発明の仮想現実空間データ入力
装置は、上記入力した仮想現実マーカの位置座標が上記
仮想現実画像表示手段によって表示される仮想現実画像
の所定位置の表示の近傍に位置するかを判断する近傍判
断手段と、該近傍判断手段によって上記仮想現実マーカ
が上記所定位置の表示の近傍に位置すると判断された場
合に、該所定位置の表示の選択信号を出力する選択信号
出力手段とを加えたことを特徴とする請求項１に記載の
仮想現実空間データ入力装置を要旨とする。

【０００８】請求項３の発明の仮想現実空間データ入力
装置は、上記所定の仮想現実画像の所定位置の表示は、
商品名コード表示、商品名表示、選択コード表示、選択
商品名表示、記号選択表示等の選択項目であることを特
徴とする請求項２に記載の仮想現実空間データ入力装置
を要旨とする。

【０００９】請求項４の発明の仮想現実空間データ入力
装置は、上記所定の物体は、指先端であることを特徴と
する請求項１ないし請求項３の何れかに記載の仮想現実
空間データ入力装置を要旨とする。請求項５の発明の仮
想現実空間データ入力装置は、上記所定の物体の認識位
置が上記画像の表示手段から所定加速度以上で遠ざかる
場合を検出する加速度遠方向検出手段と、該加速度遠方
向検出手段が所定加速度以上で遠ざかっていると判断し
た場合に、該遠ざかっていると判断された所定の物体の
仮想現実マーカを所定時間遅れで上記所定の物体の認識
位置に移動させる加速度遠方向移動手段とを加えたこと
を特徴とする請求項１ないし請求項４の何れかに記載の
仮想現実空間データ入力装置を要旨とする。

【００１０】

【作用】請求項１の発明の仮想現実空間データ入力装置
は、仮想現実画像表示手段が画像の表示面の前方に、仮
想現実画像を形成させる。一方、所定位置空間物体検出
手段が、所定の仮想現実画像が形成される空間に所定の
物体が存在するかを検出して、その所定の物体の３次元
位置座標を検出する。

【００１１】次いで、マーカ表示手段が、その検出した
所定の物体の３次元位置座標に、仮想現実マーカを表示
させるが、この状態で加速度検出手段によって、所定の
物体の認識位置が画像表示面に所定加速度以上で接近し
ていることが検出されると、加速度移動手段がその所定
の物体の仮想現実マーカをこの所定の物体の認識位置を
越えて、画像の表示面方向に移動させる。

【００１２】この様に移動される仮想現実マーカの位置
座標を仮想現実マーカ位置座標入力手段が入力する。こ
こで入力される仮想現実マーカの位置座標は、通常は、
所定の物体の認識位置であるが、所定の物体の認識位置
が画像表示面に急激に近づいている場合には、所定の物
体の認識位置に拘わりなく画像表示面方向に移動され
る。

【００１３】これにより、所定の物体を画像表示面の近
傍に近づけることなく仮想現実マーカを画像表示面の近
傍に近づけることが可能になる。請求項２の発明の仮想
現実空間データ入力装置は、近傍判断手段によって、ま
ず請求項１の仮想現実マーカ位置座標入力手段の入力し
た位置座標が仮想現実画像表示手段によって表示される
仮想現実画像の所定位置の表示の近傍に位置するかが判
断され、ここで近傍であると判断されると、選択信号出
力手段が、その所定位置の表示選択信号を出力する。

【００１４】これにより、例えば、仮想現実画像で選択
項目表示を形成し、その仮想現実画像が形成されている
空間に手などの物体を近づけようとする動作だけで、こ
の仮想現実画像によって形成された選択項目表示が選択
されたことを示す選択信号を出力することができる。

【００１５】請求項３の発明の仮想現実空間データ入力
装置は、商品名コード表示、商品名表示、選択コード表
示、選択商品名表示、記号選択表示等の選択項目が所定
の仮想現実画像の所定位置に表示される。これにより、
例えば、仮想現実画像で商品名コード表示、商品名表
示、選択コード表示、選択商品名表示、記号選択表示等
の選択項目表示を形成し、その仮想現実画像が形成され
ている空間に手などの物体を近づけようとする動作だけ
で、この仮想現実画像によって形成された選択項目表示
が選択されたことを示す選択信号を出力することができ
る。

【００１６】請求項４の発明の仮想現実空間データ入力
装置は、所定位置空間物体検出手段によって、指先端が
検出される。これにより、指先端を画像表示面の近傍に
近づけることなく仮想現実マーカを画像表示面の近傍に
近づけることが可能になる。

【００１７】請求項５の発明の仮想現実空間データ入力
装置は、仮想現実画像表示手段が画像の表示面の前方
に、仮想現実画像を形成させる。一方、所定位置空間物
体検出手段が、所定の仮想現実画像が形成される空間に
所定の物体が存在するかを検出して、その所定の物体の
３次元位置座標を検出する。

【００１８】次いで、マーカ表示手段が、その検出した
所定の物体の３次元位置座標に、仮想現実マーカを表示
させるが、この状態で加速度検出手段によって、所定の
物体の認識位置が画像表示面に所定加速度以上で接近し
ていることが検出されると、加速度移動手段がその所定
の物体の仮想現実マーカをこの所定の物体の認識位置を
越えて、画像の表示面方向に移動させる。一方、加速度
遠方向検出手段によって、所定の物体の認識位置が画像
表示面から所定加速度以上で遠ざかっていることが検出
されると、加速度遠方向移動手段がその所定の物体の仮
想現実マーカを所定時間遅れで所定の物体の認識位置に
移動させる。

【００１９】この様に移動される仮想現実マーカの位置
座標を仮想現実マーカ位置座標入力手段が入力する。こ
こで入力される仮想現実マーカの位置座標は、通常は、
所定の物体の認識位置であるが、所定の物体の認識位置
が画像表示面に急激に近づいている場合には、所定の物
体の認識位置に拘わりなく画像表示面方向に移動され
る。

【００２０】これにより、所定の物体を画像表示面の近
傍に近づけることなく仮想現実マーカを画像表示面の近
傍に近づけることが可能になる。又、所定の物体の認識
位置が画像表示面から急激に遠ざかっている場合には、
しばらく移動することなく現状位置にとどまり、その後
所定の物体の認識位置に移動する。

【００２１】

【発明の実施の形態】

【００２２】

【００２３】電話交換装置５は、着信信号をホスト装置
７に出力するとともに、ホスト装置７から回線接続信号
を受信して、公衆電話回線１３と、電話配線１１との接
続制御を行う。着信信号は、公衆電話回線１３から着信
がある毎に出力される。ホスト装置７は、コンピュータ
を主要構成とするものであって、ＬＡＮ配線９の系統の
制御を行うとともに、ＬＡＮ配線９を経由して受注装置
１との間でデータ送受を行う。ホスト装置７は、受注装
置１の受注頻度管理と、受注データの集計処理を行う。
ホスト装置７は、電話交換装置５の制御を行う。ＬＡＮ
配線９は、ホスト装置７と、受注装置１との間に配設さ
れている。電話配線１１は、電話交換装置５と、受注装
置１との間に配設されている。

【００２４】図１及び図２に示す受注装置１は、制御装
置１５と、ディスプレイ１７と、キーボード１９と、画
像入力装置２１と、ヘッドセット２３と、３Ｄアイセッ
ト２５とを備えている。制御装置１５は、図２に示すよ
うに、ＣＰＵ３１と、ＲＯＭ３３と、ＲＡＭ３５と、ハ
ードディスク３７と、入出力インタフェース３９と、Ｌ
ＡＮユニット４１と、電話制御ユニット４３と、回線制
御装置４５と、スイッチユニット４７と、３Ｄ制御装置
４９と、画像処理プロセッサ５１と、画像メモリ５３と
を備えている。

【００２５】ディスプレイ１７は、表示面１７Ａにカラ
ー画像データを表示する。画像入力装置２１は、画像入
力ユニット５５と、画像入力ユニット５７とから構成さ
れている。画像入力ユニット５５、５７は、人工網膜素
子５９と、光学レンズ６１とを備えている。画像入力装
置２１は、図１に示すように、支持部材２１Ａによっ
て、表示面１７Ａの前方エリア１７Ｂの上部に配設さ
れ、前方エリア１７Ｂの画像を上方から取り込む。

【００２６】ヘッドセット２３は、ヘッドスピーカ２３
Ａと、マイク２３Ｂとを備えており、ケーブル２３Ｃに
よって、回線制御装置４５と接続されて、電話の送受話
器の機能を有する。３Ｄアイセット２５は、３Ｄ制御装
置４９に接続されており、操作者ＯＰの目視画像を制御
する。

【００２７】スイッチユニット４７は、運用／停止スイ
ッチ７１を備えている。運用／停止スイッチ７１は、運
用状態位置と、停止状態位置との２位置を有する。これ
は、操作者ＯＰによって、設定される。３Ｄ制御装置４
９は、ディスプレイ１７が表示する画像と、３Ｄアイセ
ット２５の透過光線量とを制御するものであって、操作
者ＯＰに仮想現実画像を視認させる。

【００２８】以上の構成を有することにより受注装置１
は、次に示す概略機能を有する。公衆電話回線との間での電話送受ホスト装置７との間のＬＡＮ通信操作者ＯＰへの仮想現実画像の提供前方エリア１７Ｂの画像の検出およびその画像の種類
と位置の判別次に、電話受注システム３の動作を説明する。

【００２９】図４は、着信分配処理ルーチンのフローチ
ャートである。これは、ホスト装置７によって、繰り返
し実行される処理である。まず、稼働状態入力を行う
（ステップ１００、以後ステップをＳと記す。）。稼働
状態の入力では、かく受注装置１から出力された稼働状
態を示す信号を入力する。稼働状態を示す信号として
は、停止中、待機中、通話中がある。これの出力処理の
説明は、後述する。

【００３０】稼働状態の入力後、次に各オペレータ別稼
働データベース作成を行う（Ｓ１１０）。この各オペレ
ータ別稼働データベースは、図示しないメモリ内に構成
されるものであって、各受注装置１毎に、その受注装置
１が停止中であるか、待機中であるか、あるいは通話中
であるかの状態を記憶するとともに、待機中になってか
らの経過時間と、これらの運用履歴を記憶するものであ
る。

【００３１】次いで、着信有りかを判断する（Ｓ１２
０）。着信の判断は、電話交換装置５からの着信信号に
よって行う。ここで、着信でないと判断した場合には、
稼働状態の入力に戻る（Ｓ１００）。一方、着信がある
と判断した場合には、次に着信オペレータ選択を行う
（Ｓ１３０）。この選択は、各オペレータ別データベー
スに基づいて行うもので、待機中になってからの時間が
長い受注装置１を選択する。

【００３２】次いで、オペレータコールを行う（Ｓ１４
０）。オペレータコールでは、Ｓ１３０にて選択された
受注装置１への電話配線１１と、着信した公衆電話回線
１３とを接続する処理を行う。これにより、選択された
受注装置１に、電話コールが行われる。

【００３３】オペレータコールの後、応答が有ったかを
判断し（Ｓ１５０）、応答がなければ、Ｓ１３０の着信
オペレータ選択に処理を移行し、応答があったらＳ１０
０の稼働状態入力に処理を移行する。応答の有無の判断
は、受注装置１に電話回線を接続後、所定時間（ここで
は２〜３秒）の間に、受注装置１が応答を行ったか否か
により行う。応答がない場合には、次の受注装置１が選
択され、前回の受注装置１への接続を維持するととも
に、次の受注装置１へも電話回線を接続する。これは、
オペレータが応答するまで行われる。

【００３４】以上に説明した着信分配処理により、公衆
電話回線１３から着信した電話が、待機状態の受注装置
１に接続される。しかも、受注装置１の稼働状態を均衡
にするとともに、待ち時間を徒に長くすることのない接
続制御が行われる。図５は、稼働状態出力制御処理ルー
チンのフローチャートである。この処理は、受注装置１
によって所定時間毎に行われる。

【００３５】まず、運用／停止スイッチの入力が行われ
る（Ｓ２００）。運用／停止スイッチ７１の入力では、
これが運用状態であるか停止状態であるかを入力する。
次いで、運用中かの判断を行う（Ｓ２１０）。運用中で
あるとの判断は、運用／停止スイッチ７１が運用状態で
ある場合に行われる。ここで、運用中ではないと判断さ
れた場合には、次に停止中出力が行われる（Ｓ２２
０）。停止中出力では、ＬＡＮユニット４１を介して、
ホスト装置７に停止中信号が出力される。これにより、
ホスト装置７によるこの受注装置１への電話の接続が停
止される。

【００３６】運用中かの判断で、運用中であるとされた
場合には、次に回線オン状態の入力が行われる（Ｓ２３
０）。回線オン状態の入力は、回線制御装置４５から入
力する。回線オン状態の入力後、次に回線オンかの判断
を行う（Ｓ２４０）。ここで、回線がオンでない場合に
は、次に待機中出力を行い（Ｓ２５０）、一方回線オン
であると判断した場合には、通話中出力を行う（Ｓ２６
０）。待機中出力では、ホスト装置７に待機中信号を出
力する。通話中出力では、ホスト装置７に通話中信号を
出力する。

【００３７】以上に説明した、稼働状態出力処理によ
り、受注装置の稼働状態をホスト装置７に送信すること
ができる。図６は、受注処理ルーチンのフローチャー
ト、図７は、呼出中表示の説明図であって、操作者ＯＰ
が、３Ｄアイセット２５を通して認識する仮想現実画面
を示す。以後の、表示画面の説明では、操作者ＯＰが、
３Ｄアイセット２５を通して認識する画面を示す。受注
処理ルーチンは、受注装置１が電話呼出されると、起動
される。まず、呼出中表示を行う（Ｓ３００）。呼出中
表示は、ディスプレイ１７に図７に一例を示すような呼
出中画面表示７３を行う。呼出中画面表示７３には、バ
ックグランド表示７５と、呼出中表示７７と、呼出回数
表示７９とが設けられる。バックグランド表示７５は、
表示面１７Ａの前方に突出距離ＤＡだけ浮き出て表示さ
れるバックグランド画面である。呼出中表示７７と、呼
出回数表示７９とは、バックグランド表示７５中に表示
されるものである。呼出回数表示７９は、呼出のコール
回数を表示する。例えば、呼出回数が３回目の場合に
は、「３コール」と表示される。

【００３８】呼出中表示の後、応答有りかの判断を行う
（Ｓ３１０）。応答が有るかの判断は、操作者ＯＰによ
る呼出中画面表示７３の選択が行われたかにより行な
う。この選択処理の説明は、後述する。応答がない場合
は、呼出中表示を継続する。一方、応答があった場合に
は、応答処理画面表示を行って（Ｓ３２０）、その後の
応答処理を実行する（Ｓ３３０）。応答処理画面として
は、図８に示す応答処理画面表示８１を表示面１７Ａに
表示する。応答処理画面表示８１には、商品名コード表
示８３と、商品名表示８５と、選択コード表示８７と、
選択商品名表示８９と、記号選択表示９１とが設けられ
ている。これらの表示８３〜９１は、表示面１７Ａから
突出距離ＤＢだけ浮き出て表示されている。これらの詳
細は、後述する。応答処理が終了すれば（Ｓ３４０）、
本ルーチンを一旦終了する。以上に説明した受注処理に
より、電話を受けて、その対応を行うとともに、コンピ
ュータに受注内容を入力することができる。

【００３９】図９は、指先検出処理ルーチンのフローチ
ャートである。これは、受注装置１によって所定時間毎
に起動される。まず、バーチャルリアリティエリア画像
の入力を行う（Ｓ４００）。バーチャルリアリティエリ
ア画像の入力処理は、画像処理プロセッサ５１によって
常時行われているものであって、次に示すような処理が
実行されている。

【００４０】光学レンズ６１を介して、人工網膜素子
５９上に結像した画像の輪郭データを人工網膜素子５９
によって算出する。画像処理プロセッサが輪郭データを人工網膜素子５９
から入力して、画像メモリ５３に格納する。

【００４１】バーチャルリアリティエリア画像の入力
後、指検出処理を行う（Ｓ４１０）。指検出処理は、画
像メモリ５３に格納されている輪郭データからパターン
認識処理によって指ＵＢを検出する。次いで、指先端座
標算出を行う（Ｓ４２０）。指先端座標は、指ＵＢが複
数検出された場合には、対応する数だけ求められる。ま
た、左右の画像入力ユニット５５、５７の指ＵＢの指先
端ＵＢＴの位置のズレと、平面位置とに基づいて、３次
元位置座標が求められる。

【００４２】座標の算出後、指先端座標値出力を行う
（Ｓ４３０）。座標値は、ＲＡＭ３５内の指先端座標エ
リア３５Ａに格納される。以上に説明した指先検出処理
により、前方エリア１７Ｂに差し出された操作者ＯＰの
指ＵＢの指先端ＵＢＴの３次元位置が求められる。

【００４３】図１０は、バーチャルマーカ表示処理ルー
チンのフローチャート、図１１、図１２は、バーチャル
マーカ９３の表示状態の説明図である。図１０の処理
は、ＣＰＵ３１によって所定時間毎に実行される。ま
ず、指先端座標値入力を行う（Ｓ５００）。これは、指
先端座標エリア３５Ａから読み込む。次いで、加速度モ
ードかを判断する（Ｓ５１０）。加速度モードか否か
は、図示しない環境設定処理によって予め入力されてい
る。

【００４４】ここで、加速度モードでないと判断した場
合には、次に指先端座標位置にバーチャルマーカ表示を
行う（Ｓ５２０）。バーチャルマーカ表示は、図７に示
すように、ディスプレイ１７によって行うものであっ
て、指先端ＵＢＴの位置であると算出された場所に球状
表示のバーチャルマーカ９３を表示する。バーチャルマ
ーカの表示後、本ルーチンを一旦終了する。

【００４５】以上の処理により、指先端ＵＢＴにバーチ
ャルマーカ９３が表示される。これにより、操作者ＯＰ
は、指先端ＵＢＴが画像入力装置２１によって、どの様
な位置で認識されているかを知ることができる。例え
ば、図１１に示すようにバーチャルマーカ９３が表示さ
れる。図１１の（Ａ）は、操作者ＯＰの視線が標準位置
より左側にずれている場合であり、（Ｂ）は、ほぼ標準
的な位置の場合である。図１１の（Ｃ）は、指先端ＵＢ
Ｔを表示９１方向に近づけていった場合の状態である。
図１２は、指先端ＵＢＴが表示９１に到達した状態を示
す。この場合には、バーチャルマーカ９３が表示９１に
接触した状態の表示が行われる。

【００４６】図１３は、加速度モードの説明図である。
Ｓ５１０で加速度モードであると判断された場合には、
次に加速度算出を行う（Ｓ５３０）。加速度は、指先端
座標値変化量から求める。加速度の値は、絶対値にす
る。次いで、加速度が所定値α以上であるか否かを判断
する（Ｓ５４０）。所定値αの値としては、指ＵＢを素
早く移動させた場合の値が設定される。

【００４７】ここで、加速度が所定値αより小さいと判
断された場合には、次に指先端座標位置にバーチャルマ
ーカを表示する（Ｓ５５０）。これにより、操作者ＯＰ
が指ＵＢを通常のゆっくりした移動速度で移動させた場
合には、バーチャルマーカ９３は、指先端ＵＢＴの移動
に従って、移動される。

【００４８】バーチャルマーカ９３の表示後、次にバー
チャルマーカの影を表示する（Ｓ５６０）。バーチャル
マーカの影の表示は、図７や図１３に示すように、バー
チャルマーカ９３を表示面１７Ａ方向に投影した場合に
発生する影９５を、バックグランド表示７５上やその他
の表示上に、影絵状に表示することにより行なう。影９
５を表示することにより、バーチャルマーカ９３の現在
位置が影９５の位置から一目で認識することが可能にな
る。

【００４９】Ｓ５４０の判断で、加速度が所定値α以上
であると判断した場合は、次に加速度の方向がディスプ
レイから遠ざかる方向かを判断する（Ｓ５７０）。ここ
で、加速度の方向がディスプレイ１７から遠ざかる方向
であると判断した場合には、次に所定遅れ時間βで指先
端座標位置にバーチャルマーカ表示を行う（Ｓ５８
０）。つまり、指ＵＢが表示面１７Ａから遠ざかる方向
に急激に移動した場合には、バーチャルマーカ９３は、
しばらく移動することなく現状位置にとどまる。

【００５０】一方、バーチャルマーカ９３がディスプレ
イ１７に急激に近づいていると判断した場合には（Ｓ５
７０）、ディスプレイ方向にバーチャルマーカを移動さ
せる処理を行う（Ｓ５９０）。つまり、指先端ＵＢＴの
位置に拘りなくバーチャルマーカ９３を表示面１７Ａ方
向に移動させる。これにより、図１３の（Ａ）に示すよ
うに、指ＵＢを表示面１７Ａ方向である矢印ＹＡ方向に
急激に移動させると、バーチャルマーカ９３だけが表示
面１７Ａ方向に移動され、図１３の（Ｂ）に示すよう
に、バックグランド表示７５やその他の表示９１に到達
する。

【００５１】以上に説明したバーチャルマーカ表示処理
により、指先端ＵＢＴの近傍にバーチャルマーカ９３を
表示することができるとともに、加速度モードの場合に
は、指先端ＵＢＴの移動状態に応じてバーチャルマーカ
９３を移動することができる。

【００５２】図１４は、バーチャルマーカ選択処理ルー
チンのフローチャート、図１５は、その説明図である。
図１４の処理は、ＣＰＵ３１によって所定時間毎に実行
される。まず選択項目位置座標入力が行われる（Ｓ６０
０）。選択項目位置座標は、商品名コード表示８３、商
品名表示８５、選択コード表示８７、選択商品名表示８
９、記号選択表示９１等の選択項目の表示位置の３Ｄ座
標データである。これは、画面を表示している図示しな
いソフトからデータ入力する。

【００５３】次に、バーチャルマーカ位置座標入力を行
う（Ｓ６１０）。これは、バーチャルマーカ９３の３次
元位置座標データを入力する。Ｓ６００と、Ｓ６１０と
により、例えば図１５中に示されている表示８３〜９１
と、バーチャルマーカ９３との３次元位置座標データが
読み込まれる。

【００５４】データの入力後、次にバーチャルマーカが
選択項目の近傍に位置するかを判断する（Ｓ６２０）。
つまり、バーチャルマーカ９３が表示８３〜９１の何れ
かに接近したかを判断する。ここで、いまだ近傍に達し
ていないと判断した場合には、本ルーチンをそのまま一
旦終了する。一方、近傍であると判断した場合には、近
傍と判断された選択項目の選択信号出力を行う（Ｓ６３
０）。つまり、バーチャルマーカ９３が接近した表示８
３〜９１の選択信号を出力する。例えば、図１５に示す
選択商品名表示８９Ａにバーチャルマーカ９３が接近し
た場合には、これの選択信号が出力される。

【００５５】以上に説明したバーチャルマーカ選択処理
により、バーチャルマーカ９３を移動させて、表示８３
〜９１の近傍に近づけるだけで、項目の選択が行える。
したがって、指先端ＵＢＴを表示８３〜９１の近傍に実
際に近づけることなく項目の選択を行うことが可能にな
る。

【００５６】以上に説明した電話受注システム３は、電
話による商品の受注業務に際し、操作者ＯＰがキーボー
ド１９やマウスなどの入力装置を実際に殆ど操作するこ
となくデータの入力を行うことができる。したがって、
長時間の入力業務を行っても指や手などに加わる負担が
小さくて済む。

【００５７】また、バーチャルマーカ９３による選択方
式としたことで、指先端ＵＢＴを表示面１７Ａの近傍ま
で実際に移動させて選択項目を指示することと、指先端
ＵＢＴを表示面１７Ａの近傍まで実際に移動させること
なく手前の位置で素早く移動させるだけで選択項目を指
示することが行える。

【００５８】この結果、操作者の疲労の低減を図ること
ができるという極めて優れた効果を奏する。

【００５９】

【発明の効果】請求項１の発明の仮想現実空間データ入
力装置は、位置座標が入力される仮想現実マーカは、通
常は、所定の物体の認識位置であるが、所定の物体の認
識位置が画像表示面に急激に近づいている場合には、所
定の物体の認識位置に拘わりなく画像表示面方向に移動
される。

【００６０】これにより、所定の物体を画像表示面の近
傍に近づけることなく仮想現実マーカを画像表示面の近
傍に近づけることが可能になる。この結果、例えば、指
先端の認識位置を表す仮想現実マーカが画像表示面の近
傍に近づいたことによって、その位置の表示の選択信号
を出力する用途に用いられた場合には、指先端を画像表
示面の近傍まで実際に移動させることなく、手前の位置
で素早く移動させるだけで、表示を指示することが行
え、操作者の疲労の低減を図ることが出来るという極め
て優れた効果を奏する。

【００６１】請求項２の発明の仮想現実空間データ入力
装置は、例えば、仮想現実画像で選択項目表示を形成
し、その仮想現実画像が形成されている空間に手などの
物体を近づけようとする動作だけで、この仮想現実画像
によって形成された選択項目表示が選択されたことを示
す選択信号を出力することができる。

【００６２】この結果、例えば、指先端を画像表示面の
近傍まで実際に移動させることなく、手前の位置で素早
く移動させるだけで、表示を指示することが行え、操作
者の疲労の低減を図ることが出来るという極めて優れた
効果を奏する。請求項３の発明の仮想現実空間データ入
力装置は、例えば、仮想現実画像で商品名コード表示、
商品名表示、選択コード表示、選択商品名表示、記号選
択表示等の選択項目表示を形成し、その仮想現実画像が
形成されている空間に手などの物体を近づけようとする
動作だけで、この仮想現実画像によって形成された選択
項目表示が選択されたことを示す選択信号を出力するこ
とができる。

【００６３】この結果、例えば、指先端を画像表示面の
近傍まで実際に移動させることなく、手前の位置で素早
く移動させるだけで、選択項目表示を指示することが行
え、操作者の疲労の低減を図ることが出来るという極め
て優れた効果を奏する。請求項４の発明の仮想現実空間
データ入力装置は、指先端を画像表示面の近傍に近づけ
ることなく仮想現実マーカを画像表示面の近傍に近づけ
ることが可能になる。

【００６４】この結果、例えば、指先端を画像表示面の
近傍まで実際に移動させることなく、手前の位置で素早
く移動させるだけで、表示を指示することが行え、操作
者の疲労の低減を図ることが出来るという極めて優れた
効果を奏する。請求項５の発明の仮想現実空間データ入
力装置は、所定の物体を画像表示面の近傍に近づけるこ
となく仮想現実マーカを画像表示面の近傍に近づけるこ
とが可能になる。

【００６５】又、所定の物体の認識位置が画像表示面か
ら急激に遠ざかっている場合には、しばらく移動するこ
となく現状位置にとどまり、その後所定の物体の認識位
置に移動する。この結果、例えば、指先端を画像表示面
の近傍まで実際に移動させることなく、手前の位置で素
早く移動させるだけで、表示を指示することが行え、操
作者の疲労の低減を図ることが出来るという極めて優れ
た効果を奏する。