JP2005043954A - 仮想キーボードシステム - Google Patents
仮想キーボードシステム Download PDFInfo
- Publication number
- JP2005043954A JP2005043954A JP2003199862A JP2003199862A JP2005043954A JP 2005043954 A JP2005043954 A JP 2005043954A JP 2003199862 A JP2003199862 A JP 2003199862A JP 2003199862 A JP2003199862 A JP 2003199862A JP 2005043954 A JP2005043954 A JP 2005043954A
- Authority
- JP
- Japan
- Prior art keywords
- virtual keyboard
- hand
- hand image
- image
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】視認性を阻害しない形でハンドイメージ画像による入力が可能な仮想キーボードシステムを提供する。
【解決手段】操作者の手２０１の動きと連動する手の形状を模したハンドイメージ画像２０２を生成するハンドイメージ生成部１０２と、ハンドイメージ生成部１０２で生成したハンドイメージ画像２０２を表示画面２０５の仮想キーボード２０３上に重ね合わせて表示する表示装置１０８を備え、操作者の手２０１の動きに連動して仮想キーボード２０３上でハンドイメージ画像２０２を介してキー入力を行なう仮想キーボードシステムにおいて、仮想キーボード２０３上のハンドイメージ画像２０２の透明度を変更するハンドイメージ透明度変更手段１０３が設けられていることを特徴とする。
【選択図】 図１
【解決手段】操作者の手２０１の動きと連動する手の形状を模したハンドイメージ画像２０２を生成するハンドイメージ生成部１０２と、ハンドイメージ生成部１０２で生成したハンドイメージ画像２０２を表示画面２０５の仮想キーボード２０３上に重ね合わせて表示する表示装置１０８を備え、操作者の手２０１の動きに連動して仮想キーボード２０３上でハンドイメージ画像２０２を介してキー入力を行なう仮想キーボードシステムにおいて、仮想キーボード２０３上のハンドイメージ画像２０２の透明度を変更するハンドイメージ透明度変更手段１０３が設けられていることを特徴とする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、「コマンド」、「文字」および「数値」の入力をキーボードから行う例えば情報処理機器、金融会計機器、音楽機器、各種制御機器、ゲーム機器等コンピュータ応用機器、インターネットＴＶ等ネットワーク家電機器、デジタル放送チューナー等デジタル情報家電機器などキーボードを使用する各種機器に適用可能な仮想キーボードシステムに関する。
【０００２】
【従来の技術】
現在、例えば情報処理機器、金融会計機器、音楽機器、制御機器、ゲーム機器などの各種機器では「コマンド」、「文字」および「数値」の入力はキーボードを通して行なっている。
【０００３】
また、テレビジョンセンサ等の視覚センサによって入力キーデータを取得する方法等も提案されている。さらに、表示装置にキーボードイメージを表示し、手の形状をもったハンドイメージ画像をこれにオーバーレイ表示して、手指の動きと連動させ、入力相当の作業を行なう仮想キーボードシステムが、例えば下記特許文献１などで提案されている。
【０００４】
【特許文献１】
特開２００２−２７８６７３
【０００５】
【発明が解決しようとする課題】
前記特許文献１に記載されている仮想キーボードシステムは、操作者の手指の動きをフィードバックするハンドイメージ画像が仮想キーボード上にオーバーレイされる構成になっている。しかし、そのまま表示されたのではハンドイメージ画像により仮想キーボードが隠されてしまい、視認性が悪くなり、入力に支障をきたす場合が考えられる。
【０００６】
また、入力者の実際の手指と実際のキーボードの相対的大小関係と仮想キーボードとハンドイメージ画像との相対的大小関係が必ずしも一致するものではないため、操作者は仮想キーボードに対して実際のキーボードイメージより大きいまたは小さい等の違和感を生じ、実際のキータイピングとは異なる感覚での入力を余儀なくされる。
【０００７】
さらに両手が離れた状態での仮想キーボード入力を考える際、ハンドイメージ画像のホームポジションへの位置合わせ手段、及び操作者の左右の手の位置関係とハンドイメージ画像の左右の手の位置関係を調整する手段が必要であるが、これを有していない。
【０００８】
このため例えば操作者がギブスで片手を固定され、同一平面上に両手を置くことができないような場面ではキーボード入力を行うことができないなどの問題点を有している。
【０００９】
本発明の目的は、このような従来技術の欠点を解消し、視認性を阻害しない形でハンドイメージ画像による入力が可能となり、また操作者の手のサイズに最も適したキー入力環境をつくることができ、違和感のない入力が可能な仮想キーボードシステムを提供することにある。
【００１０】
【課題を解決するための手段】
前記目的を達成するため、本発明の第１の手段は、操作者の手の動きと連動する手の形状を模したハンドイメージ画像を生成するハンドイメージ生成部と、
そのハンドイメージ生成部で生成したハンドイメージ画像を表示画面の仮想キーボード上に重ね合わせて表示する表示装置とを備え、
操作者の手の動きに連動して前記仮想キーボード上でハンドイメージ画像を介してキー入力を行なう仮想キーボードシステムにおいて、
前記仮想キーボード上のハンドイメージ画像の透明度を変更するハンドイメージ透明度変更手段が設けられていることを特徴とするものである。
【００１１】
本発明の第２の手段は、操作者の手の動きと連動する手の形状を模したハンドイメージ画像を生成するハンドイメージ生成部と、
そのハンドイメージ生成部で生成したハンドイメージ画像を表示画面上の仮想キーボード上に重ね合わせて表示する表示装置とを備え、
操作者の手の動きに連動して前記仮想キーボード上でハンドイメージ画像を介してキー入力を行なう仮想キーボードシステムにおいて、
前記仮想キーボード上のハンドイメージ画像のサイズを変更するハンドイメージサイズ変更手段が設けられていることを特徴とするものである。
【００１２】
本発明の第３の手段は、操作者の手の動きと連動する手の形状を模したハンドイメージ画像を生成するハンドイメージ生成部と、
そのハンドイメージ生成部で生成したハンドイメージ画像を表示画面上の仮想キーボード上に重ね合わせて表示する表示装置とを備え、
操作者の手の動きに連動して前記仮想キーボード上でハンドイメージ画像を介してキー入力を行なう仮想キーボードシステムにおいて、
前記仮想キーボード上のハンドイメージ画像の透明度を変更するハンドイメージ透明度変更手段と、
前記仮想キーボード上のハンドイメージ画像のサイズを変更するハンドイメージサイズ変更手段と
が設けられていることを特徴とするものである。
【００１３】
本発明の第４の手段は前記第１ないし第３の手段において、前記変更手段によるハンドイメージ画像の変更動作が、前記仮想キーボード上の特定のキー入力による指示でなされるように構成されていることを特徴とするものである。
【００１４】
本発明の第５の手段は前記第１ないし第３の手段において、前記変更手段によるハンドイメージ画像の変更動作が、操作者の手の動作による指示でなされるように構成されていることを特徴とするものである。
【００１５】
本発明の第６の手段は前記第１ないし第３の手段において、前記変更手段によるハンドイメージ画像の変更動作が、前記仮想キーボード上の特定のキー入力による指示ならびに操作者の手の動作による指示でなされるように構成されていることを特徴とするものである。
【００１６】
本発明の第７の手段は前記第１ないし第６の手段において、前記仮想キーボード上におけるハンドイメージ画像の任意の位置から、予め定められた仮想キーボード上におけるハンドイメージ画像のホームポジションに復帰する復帰手段が設けられていることを特徴とするものである。
【００１７】
【発明の実施の形態】
次に本発明の実施形態を図とともに説明する。図１は、本発明の実施形態に係る仮想キーボードシステムの基本構成を示すブロック図である。
【００１８】
同図において１０１は指先位置・動き検出部であり、操作者の指先の位置・動きを検知する。具体的には固定点に設置された基準センサならびに操作者の指に装着された指センサなどで構成され、センサ間相対距離や動きの検出を行う。
【００１９】
この指先位置・動き検出部１０１の具体的手段としては、例えばカメラ画像の動画処理による動きの検出、手指の筋電位の測定、各種データグローブによる入力などの手段がある。
【００２０】
１０２はハンドイメージ生成部であり 指先位置・動き検出部１０１により得られた指位置情報・指センサ間位置情報を基にハンドイメージの形状を決定し、基準センサとの相対位置情報からハンドイメージの位置を決定して、ハンドイメージ画像を生成する。
【００２１】
１０３はハンドイメージ調整部であり、指先位置・動き検出部１０１において検出されたユーザーのハンドイメージ変更指示を受け、ハンドイメージ画像の透明度設定値・倍率設定値の変更を行う。設定された透明度設定値・倍率設定値はハンドイメージ生成部１０２に送られる。
【００２２】
ハンドイメージ生成部１０２は変更された透明度設定値を適用しハンドイメージ画像を任意な透明度の半透明状態とし、キーボードの視認を阻害しないよう変更することができる。同様に変更された倍率を適用して、ハンドイメージ画像のサイズを任意に変更することができる。
【００２３】
１０４は仮想キーボード生成部であり、所定のキー配列を有する仮想キーボード画像を生成する。
【００２４】
１０５は重ね合わせ画像生成部であり、仮想キーボード画像とハンドイメージ画像の座標を重ね合わせた画像（重ね合わせ画像）を生成し、それを表示装置１０８に伝送する。
【００２５】
１０６は指先キー位置判定部であり、ハンドイメージ生成部１０２より得られる指先位置情報と、仮想キーボード生成部１０４より得られる仮想キーボード画像より、ハンドイメージ画像の指先が仮想キーボード画像上のどのキー上に位置するかを判定する。
【００２６】
１０７はキー入力判定部であり、指先位置・動き検出部１０１により検出された指の動き情報を基に、キーボードの打鍵に相当する動作か否かを判定し、打鍵動作と判定した場合、指先キー位置判定部１０６より得られた指先キー位置情報から操作者の意図する打鍵キーを判断し、キーコードを生成して、そのキーコードをＣＰＵ１０９に送信する。
【００２７】
またハンドイメージ調整用に予め設定された特定の打鍵動作が検出された場合は、ハンドイメージ調整部１０３にハンドイメージ画像の透明度・サイズ倍率変更指示情報を出力する。
【００２８】
さらにキー入力判定部１０７で打鍵されたと判定された場合、対応するキーの表示色変更などをＣＰＵ１０９を介して仮想キーボード生成部１０４に指示し、仮想キーボード上において対応するキーの色を変える。
【００２９】
１０８は表示装置であり、具体的にはヘッドマウントディスプレイ、ＣＲＴ、液晶、ＰＤＰ等フラットディスプレイ、ホログラム画像表示装置などがある。
【００３０】
図２は、本発明に係る仮想キーボードシステムの表示画面および操作の状態の一例を示す図である。
【００３１】
同図に示すように前記表示装置１０８の表示画面２０５上に、仮想キーボード２０３が表示され、その近く（本実施形態では仮想キーボード２０３の上側）に入力表示欄２０４が設けられている。
【００３２】
さらに操作者の左手２０１Ｂと右手２０１Ｃの動きに追従するかたちで、仮想キーボード２０３上に半透明なハンドイメージ左手画像２０２Ｂとハンドイメージ右手画像２０２Ｃが重ねて描画されている。
【００３３】
そして操作者の左手の指先２０１Ａが打鍵動作を行なうと、ハンドイメージ指先２０２Ａの下側に位置する仮想キーボード２０３上のキー２０３Ａの表示色が変わり、打鍵されたことを操作者に対して表示する。その打鍵されたと判断されたキー２０３Ａに対応する「文字」や「数値」などが、前記入力表示欄２０４に表示される。
【００３４】
ハンドイメージ画像と操作者の手の位置的対応関係はハンドイメージ画像のホームポジションを決定した際の位置を根拠とする。このため図２に示されたようにハンドイメージ左手画像２０２Ｂとハンドイメージ右手画像２０２Ｃの相対位置関係は操作者の左手２０１Ｂと右手２０１Ｃの相対位置関係と、必ずしも一致しない。
【００３５】
本実施形態の場合、指先位置・動き検出部１０１として操作者の両手２０１Ｂ，２０１Ｃに向けて監視カメラ（図示せず）が設置されており、指先による打鍵動作、後述する指どうしの接触、手の上下動作などが検出されるようになっている。
【００３６】
図３は、本発明に係る仮想キーボードシステムの動作を説明するためのフローチャートである。このシステムの動作を図１ないし図３に基づいて説明する。
【００３７】
操作者のキー入力開始のスイッチとして「操作者の両手五指同時打鍵」が予め登録されている。図１に示す指先位置・動き検出部１０１が操作者の両手五指同時打鍵を検出した場合にキー入力開始とみなし、操作者の指動作によるキー入力の受け付けを開始する（ステップＳ３０１）。
【００３８】
仮想キーボード２０３とハンドイメージ画像２０２Ｂ，２０２Ｃの表示画面２０５上の初期配置は、左手ハンドイメージ画像２０２Ｂの人差し指が「Ｆ」キー上、右手ハンドイメージ画像２０２Ｃの人差し指が「Ｊ」キー上に位置するホームポジションであり、このときの操作者の指先位置がホームポジションに相当する形でハンドイメージ画像と指先位置の初期設定がなされる（ステップＳ３０２）。
【００３９】
ハンドイメージ生成部１０２により生成された両手のハンドイメージ画像２０２Ｂ，２０２Ｃと、仮想キーボード生成部１０４により生成された仮想キーボード２０３の画像が、重ね合わせ画像生成部１０５を経由し表示装置１０８に送られ、仮想キーボード２０３とハンドイメージ画像２０２Ｂ，２０２Ｃが重ね合わさって、表示画面２０５上に表示される（ステップＳ３０３）。
【００４０】
ハンドイメージ画像表示がなされた操作者は、ハンドイメージ画像２０２Ｂ，２０２Ｃを自分の手２０１Ｂ，２０１Ｃの動作によって操作することが可能となる。指先位置・動き検出部１０１は、操作者の指先の位置・動きの検出を行う（ステップＳ３０４）。
【００４１】
指先位置・動き検出部１０１より得られる指先動き情報に基づき、キー入力判定部１０７が操作者の指先動作が打鍵動作であるか判定を行う（ステップＳ３０５）。
【００４２】
検出された操作者の指先の動きが打鍵動作であると判定された場合、打鍵された指に対応するハンドイメージ画像２０２Ｂ，２０２Ｃの指先位置と仮想キーボード２０３上のキー位置から操作者の意図するキーを判定する。そしてキー入力判定部１０７でキーコードを生成してＣＰＵ１０９に送信し、表示画面２０５の入力表示欄２０４に入力文字を表示するとともに、仮想キーボード２０３上において打鍵されたと判断されたキー２０３Ａの色を一定時間変更する（ステップＳ３０６）。
【００４３】
操作者のキー入力動作がハンドイメージ画像２０２Ｂ，２０２Ｃの調整動作として規定された動作（後述）である場合、これを判定する（ステップＳ３０７）。
【００４４】
本実施形態では「Ａｌｔ」と「↑」、「Ａｌ」と「↓」、「Ａｌｔ」と「→」、「Ａｌｔ」と「←」の同時入力がハンドイメージ画像２０２Ｂ，２０２Ｃの透明度ならびにサイズの変更キーとして、予め設定されている。具体的には、
▲１▼．「Ａｌｔ」と「↑」が同時入力された場合、ハンドイメージ画像の透明度設定値の増加、
▲２▼．「Ａｌｔ」と「↓」が同時入力された場合、ハンドイメージ画像の透明度設定値の減少、
▲３▼．「Ａｌｔ」と「→」が同時入力された場合、ハンドイメージ画像のサイズ倍率設定値の増加、
▲４▼．「Ａｌｔ」と「←」が同時入力された場合、ハンドイメージ画像のサイズ倍率設定値の減少、
と決められており、これらのキー操作によりハンドイメージ画像２０２Ｂ，２０２Ｃの透明度ならびにサイズの変更（調整）が、任意になされる（ステップＳ３０８）。
【００４５】
操作者の指先の動作がハンドイメージ画像の調整モードへ切り替わるよう予め規定された動作（後述）である場合、これを判定する（ステップＳ３０９）。
【００４６】
本実施形態の場合、ハンドイメージ画像透明度変更モードへのスイッチとして「左手小指・左手親指の接触」が登録されており、
▲１▼．左手小指・左手親指の接触が検出された場合、ハンドイメージ画像透明度変更モードへ切り替わり、
▲２▼．左手の上方向の動きで透明度が数段階にわたって増加、
▲３▼．左手の下方向への動きで透明度が数段階にわたって減少、
▲４▼．左手小指・左手親指の接触により透明度変更モードの終了、
と決められている。半透明であるハンドイメージ画像の透明度を上げると、ハンドイメージ画像２０２Ｂ，２０２Ｃの下にある仮想キーボード２０３が明瞭に現れ、反対に透明度を上げると、仮想キーボード２０３上でのハンドイメージ画像２０２Ｂ，２０２Ｃの形が明瞭に現れる。
【００４７】
またハンドイメージ画像サイズ変更モードへのスイッチとして「右手小指・右手親指の接触」が登録されており、
▲１▼．右手小指・右手親指の接触検出された場合、ハンドイメージ画像サイズ変更モードへ切り替わり、
▲２▼．右手の上方向の動きでハンドイメージ画像が数段階にわたって拡大、
▲３▼．右手の下方向への動きでハンドイメージ画像が数段階にわたって縮小、
▲４▼．右手小指・右手親指の接触によりサイズ変更モードの終了、
と決められている。これらの動作によりモード毎（透明度変更モード，サイズ変更モード）の設定を変更して、ハンドイメージ画像２０２Ｂ，２０２Ｃに反映させる（ステップＳ３１０）。
【００４８】
操作者の指先の動作がハンドイメージ画像２０２Ｂ，２０２Ｃのホームポジションをリセットするよう予め規定された動作（後述）である場合、これを判定する（ステップＳ３１１）。
【００４９】
本実施形態の場合、ハンドイメージホームポジションリセットのスイッチとして「両手五指の同時打鍵」が予め登録されており、両手五指の同時打鍵の検出により操作者の指先の現在位置を基準に、ハンドイメージ画像２０２Ｂ，２０２Ｃが仮想キーボード２０３上のホームポジションに位置するよう設定を行う（ステップＳ３１２）。
【００５０】
操作者の指先の動作がキー入力終了指示として予め規定された動作（後述）である場合、これを判定する（ステップＳ３１３）。
【００５１】
本実施形態の場合、キー入力終了指示として「両手を裏返す動作」が予め登録されており、操作者の両手を裏返す動作が検出された場合には、ハンドイメージ画像２０２Ｂ，２０２Ｃと仮想キーボード２０３を表示画面２０５から消去して、キー入力機能を終了する（ステップＳ３１４）。
【００５２】
指先動作が以上の動作ではなく単なる座標の移動である場合、操作者指先の移動を検出し、ハンドイメージ画像２０２Ｂ，２０２Ｃに反映して、Ｓ３０４に戻り繰り返し指先動作・位置検出を行う（ステップＳ３１５）。
【００５３】
操作者は前述のような動作により表示画面２０５上のハンドイメージ画像２０２Ｂ，２０２Ｃを操作、調整して、表示画面２０５上の仮想キーボード２０３を打鍵して「コマンド」、「文字」および「数値」などの入力を行なうことができる。
【００５４】
【発明の効果】
請求項１ないし３記載の発明によれば、ハンドイメージ画像の調整を行うことで視認性を阻害しない形でハンドイメージ画像による入力が可能となり、また操作者の手のサイズに最も適したキー入力環境をつくることができ、違和感のない入力が可能となる。
【００５５】
請求項４ないし６記載の発明によれば、ハンドイメージ画像の調整を容易に行うことができる。
【００５６】
請求項７記載の発明によれば、作業中であってもハンドイメージ画像のホームポジション調整が簡便に行え、さらに片手をギブスで固定されているような両手が離れた状態であってもキーボード入力が行えるなどの特長を有している。
【図面の簡単な説明】
【図１】本発明の実施形態に係る仮想キーボードシステムの基本構成を示すブロック図である。
【図２】その仮想キーボードシステムの表示画面および操作の状態を示す図である。
【図３】その仮想キーボードシステムの動作を説明するためのフローチャートである。
【符号の説明】
１０１ 指先位置・動き検出部
１０２ ハンドイメージ生成部
１０３ ハンドイメージ調整部
１０４ 仮想キーボード生成部
１０５ 重ね合わせ画像生成部
１０６ 指先キー位置判定部
１０７ キー入力判定部
１０８ 表示装置
１０９ ＣＰＵ
２０１Ａ 操作者の左手の指先
２０１Ｂ 操作者の左手
２０１Ｃ 操作者の右手
２０２Ａ ハンドイメージ画像指先
２０２Ｂ 左手ハンドイメージ画像
２０２Ｃ 右手ハンドイメージ画像
２０３ 仮想キーボード
２０３Ａ 打鍵キー
２０４ 入力表示欄
２０５ 表示画面
【発明の属する技術分野】
本発明は、「コマンド」、「文字」および「数値」の入力をキーボードから行う例えば情報処理機器、金融会計機器、音楽機器、各種制御機器、ゲーム機器等コンピュータ応用機器、インターネットＴＶ等ネットワーク家電機器、デジタル放送チューナー等デジタル情報家電機器などキーボードを使用する各種機器に適用可能な仮想キーボードシステムに関する。
【０００２】
【従来の技術】
現在、例えば情報処理機器、金融会計機器、音楽機器、制御機器、ゲーム機器などの各種機器では「コマンド」、「文字」および「数値」の入力はキーボードを通して行なっている。
【０００３】
また、テレビジョンセンサ等の視覚センサによって入力キーデータを取得する方法等も提案されている。さらに、表示装置にキーボードイメージを表示し、手の形状をもったハンドイメージ画像をこれにオーバーレイ表示して、手指の動きと連動させ、入力相当の作業を行なう仮想キーボードシステムが、例えば下記特許文献１などで提案されている。
【０００４】
【特許文献１】
特開２００２−２７８６７３
【０００５】
【発明が解決しようとする課題】
前記特許文献１に記載されている仮想キーボードシステムは、操作者の手指の動きをフィードバックするハンドイメージ画像が仮想キーボード上にオーバーレイされる構成になっている。しかし、そのまま表示されたのではハンドイメージ画像により仮想キーボードが隠されてしまい、視認性が悪くなり、入力に支障をきたす場合が考えられる。
【０００６】
また、入力者の実際の手指と実際のキーボードの相対的大小関係と仮想キーボードとハンドイメージ画像との相対的大小関係が必ずしも一致するものではないため、操作者は仮想キーボードに対して実際のキーボードイメージより大きいまたは小さい等の違和感を生じ、実際のキータイピングとは異なる感覚での入力を余儀なくされる。
【０００７】
さらに両手が離れた状態での仮想キーボード入力を考える際、ハンドイメージ画像のホームポジションへの位置合わせ手段、及び操作者の左右の手の位置関係とハンドイメージ画像の左右の手の位置関係を調整する手段が必要であるが、これを有していない。
【０００８】
このため例えば操作者がギブスで片手を固定され、同一平面上に両手を置くことができないような場面ではキーボード入力を行うことができないなどの問題点を有している。
【０００９】
本発明の目的は、このような従来技術の欠点を解消し、視認性を阻害しない形でハンドイメージ画像による入力が可能となり、また操作者の手のサイズに最も適したキー入力環境をつくることができ、違和感のない入力が可能な仮想キーボードシステムを提供することにある。
【００１０】
【課題を解決するための手段】
前記目的を達成するため、本発明の第１の手段は、操作者の手の動きと連動する手の形状を模したハンドイメージ画像を生成するハンドイメージ生成部と、
そのハンドイメージ生成部で生成したハンドイメージ画像を表示画面の仮想キーボード上に重ね合わせて表示する表示装置とを備え、
操作者の手の動きに連動して前記仮想キーボード上でハンドイメージ画像を介してキー入力を行なう仮想キーボードシステムにおいて、
前記仮想キーボード上のハンドイメージ画像の透明度を変更するハンドイメージ透明度変更手段が設けられていることを特徴とするものである。
【００１１】
本発明の第２の手段は、操作者の手の動きと連動する手の形状を模したハンドイメージ画像を生成するハンドイメージ生成部と、
そのハンドイメージ生成部で生成したハンドイメージ画像を表示画面上の仮想キーボード上に重ね合わせて表示する表示装置とを備え、
操作者の手の動きに連動して前記仮想キーボード上でハンドイメージ画像を介してキー入力を行なう仮想キーボードシステムにおいて、
前記仮想キーボード上のハンドイメージ画像のサイズを変更するハンドイメージサイズ変更手段が設けられていることを特徴とするものである。
【００１２】
本発明の第３の手段は、操作者の手の動きと連動する手の形状を模したハンドイメージ画像を生成するハンドイメージ生成部と、
そのハンドイメージ生成部で生成したハンドイメージ画像を表示画面上の仮想キーボード上に重ね合わせて表示する表示装置とを備え、
操作者の手の動きに連動して前記仮想キーボード上でハンドイメージ画像を介してキー入力を行なう仮想キーボードシステムにおいて、
前記仮想キーボード上のハンドイメージ画像の透明度を変更するハンドイメージ透明度変更手段と、
前記仮想キーボード上のハンドイメージ画像のサイズを変更するハンドイメージサイズ変更手段と
が設けられていることを特徴とするものである。
【００１３】
本発明の第４の手段は前記第１ないし第３の手段において、前記変更手段によるハンドイメージ画像の変更動作が、前記仮想キーボード上の特定のキー入力による指示でなされるように構成されていることを特徴とするものである。
【００１４】
本発明の第５の手段は前記第１ないし第３の手段において、前記変更手段によるハンドイメージ画像の変更動作が、操作者の手の動作による指示でなされるように構成されていることを特徴とするものである。
【００１５】
本発明の第６の手段は前記第１ないし第３の手段において、前記変更手段によるハンドイメージ画像の変更動作が、前記仮想キーボード上の特定のキー入力による指示ならびに操作者の手の動作による指示でなされるように構成されていることを特徴とするものである。
【００１６】
本発明の第７の手段は前記第１ないし第６の手段において、前記仮想キーボード上におけるハンドイメージ画像の任意の位置から、予め定められた仮想キーボード上におけるハンドイメージ画像のホームポジションに復帰する復帰手段が設けられていることを特徴とするものである。
【００１７】
【発明の実施の形態】
次に本発明の実施形態を図とともに説明する。図１は、本発明の実施形態に係る仮想キーボードシステムの基本構成を示すブロック図である。
【００１８】
同図において１０１は指先位置・動き検出部であり、操作者の指先の位置・動きを検知する。具体的には固定点に設置された基準センサならびに操作者の指に装着された指センサなどで構成され、センサ間相対距離や動きの検出を行う。
【００１９】
この指先位置・動き検出部１０１の具体的手段としては、例えばカメラ画像の動画処理による動きの検出、手指の筋電位の測定、各種データグローブによる入力などの手段がある。
【００２０】
１０２はハンドイメージ生成部であり 指先位置・動き検出部１０１により得られた指位置情報・指センサ間位置情報を基にハンドイメージの形状を決定し、基準センサとの相対位置情報からハンドイメージの位置を決定して、ハンドイメージ画像を生成する。
【００２１】
１０３はハンドイメージ調整部であり、指先位置・動き検出部１０１において検出されたユーザーのハンドイメージ変更指示を受け、ハンドイメージ画像の透明度設定値・倍率設定値の変更を行う。設定された透明度設定値・倍率設定値はハンドイメージ生成部１０２に送られる。
【００２２】
ハンドイメージ生成部１０２は変更された透明度設定値を適用しハンドイメージ画像を任意な透明度の半透明状態とし、キーボードの視認を阻害しないよう変更することができる。同様に変更された倍率を適用して、ハンドイメージ画像のサイズを任意に変更することができる。
【００２３】
１０４は仮想キーボード生成部であり、所定のキー配列を有する仮想キーボード画像を生成する。
【００２４】
１０５は重ね合わせ画像生成部であり、仮想キーボード画像とハンドイメージ画像の座標を重ね合わせた画像（重ね合わせ画像）を生成し、それを表示装置１０８に伝送する。
【００２５】
１０６は指先キー位置判定部であり、ハンドイメージ生成部１０２より得られる指先位置情報と、仮想キーボード生成部１０４より得られる仮想キーボード画像より、ハンドイメージ画像の指先が仮想キーボード画像上のどのキー上に位置するかを判定する。
【００２６】
１０７はキー入力判定部であり、指先位置・動き検出部１０１により検出された指の動き情報を基に、キーボードの打鍵に相当する動作か否かを判定し、打鍵動作と判定した場合、指先キー位置判定部１０６より得られた指先キー位置情報から操作者の意図する打鍵キーを判断し、キーコードを生成して、そのキーコードをＣＰＵ１０９に送信する。
【００２７】
またハンドイメージ調整用に予め設定された特定の打鍵動作が検出された場合は、ハンドイメージ調整部１０３にハンドイメージ画像の透明度・サイズ倍率変更指示情報を出力する。
【００２８】
さらにキー入力判定部１０７で打鍵されたと判定された場合、対応するキーの表示色変更などをＣＰＵ１０９を介して仮想キーボード生成部１０４に指示し、仮想キーボード上において対応するキーの色を変える。
【００２９】
１０８は表示装置であり、具体的にはヘッドマウントディスプレイ、ＣＲＴ、液晶、ＰＤＰ等フラットディスプレイ、ホログラム画像表示装置などがある。
【００３０】
図２は、本発明に係る仮想キーボードシステムの表示画面および操作の状態の一例を示す図である。
【００３１】
同図に示すように前記表示装置１０８の表示画面２０５上に、仮想キーボード２０３が表示され、その近く（本実施形態では仮想キーボード２０３の上側）に入力表示欄２０４が設けられている。
【００３２】
さらに操作者の左手２０１Ｂと右手２０１Ｃの動きに追従するかたちで、仮想キーボード２０３上に半透明なハンドイメージ左手画像２０２Ｂとハンドイメージ右手画像２０２Ｃが重ねて描画されている。
【００３３】
そして操作者の左手の指先２０１Ａが打鍵動作を行なうと、ハンドイメージ指先２０２Ａの下側に位置する仮想キーボード２０３上のキー２０３Ａの表示色が変わり、打鍵されたことを操作者に対して表示する。その打鍵されたと判断されたキー２０３Ａに対応する「文字」や「数値」などが、前記入力表示欄２０４に表示される。
【００３４】
ハンドイメージ画像と操作者の手の位置的対応関係はハンドイメージ画像のホームポジションを決定した際の位置を根拠とする。このため図２に示されたようにハンドイメージ左手画像２０２Ｂとハンドイメージ右手画像２０２Ｃの相対位置関係は操作者の左手２０１Ｂと右手２０１Ｃの相対位置関係と、必ずしも一致しない。
【００３５】
本実施形態の場合、指先位置・動き検出部１０１として操作者の両手２０１Ｂ，２０１Ｃに向けて監視カメラ（図示せず）が設置されており、指先による打鍵動作、後述する指どうしの接触、手の上下動作などが検出されるようになっている。
【００３６】
図３は、本発明に係る仮想キーボードシステムの動作を説明するためのフローチャートである。このシステムの動作を図１ないし図３に基づいて説明する。
【００３７】
操作者のキー入力開始のスイッチとして「操作者の両手五指同時打鍵」が予め登録されている。図１に示す指先位置・動き検出部１０１が操作者の両手五指同時打鍵を検出した場合にキー入力開始とみなし、操作者の指動作によるキー入力の受け付けを開始する（ステップＳ３０１）。
【００３８】
仮想キーボード２０３とハンドイメージ画像２０２Ｂ，２０２Ｃの表示画面２０５上の初期配置は、左手ハンドイメージ画像２０２Ｂの人差し指が「Ｆ」キー上、右手ハンドイメージ画像２０２Ｃの人差し指が「Ｊ」キー上に位置するホームポジションであり、このときの操作者の指先位置がホームポジションに相当する形でハンドイメージ画像と指先位置の初期設定がなされる（ステップＳ３０２）。
【００３９】
ハンドイメージ生成部１０２により生成された両手のハンドイメージ画像２０２Ｂ，２０２Ｃと、仮想キーボード生成部１０４により生成された仮想キーボード２０３の画像が、重ね合わせ画像生成部１０５を経由し表示装置１０８に送られ、仮想キーボード２０３とハンドイメージ画像２０２Ｂ，２０２Ｃが重ね合わさって、表示画面２０５上に表示される（ステップＳ３０３）。
【００４０】
ハンドイメージ画像表示がなされた操作者は、ハンドイメージ画像２０２Ｂ，２０２Ｃを自分の手２０１Ｂ，２０１Ｃの動作によって操作することが可能となる。指先位置・動き検出部１０１は、操作者の指先の位置・動きの検出を行う（ステップＳ３０４）。
【００４１】
指先位置・動き検出部１０１より得られる指先動き情報に基づき、キー入力判定部１０７が操作者の指先動作が打鍵動作であるか判定を行う（ステップＳ３０５）。
【００４２】
検出された操作者の指先の動きが打鍵動作であると判定された場合、打鍵された指に対応するハンドイメージ画像２０２Ｂ，２０２Ｃの指先位置と仮想キーボード２０３上のキー位置から操作者の意図するキーを判定する。そしてキー入力判定部１０７でキーコードを生成してＣＰＵ１０９に送信し、表示画面２０５の入力表示欄２０４に入力文字を表示するとともに、仮想キーボード２０３上において打鍵されたと判断されたキー２０３Ａの色を一定時間変更する（ステップＳ３０６）。
【００４３】
操作者のキー入力動作がハンドイメージ画像２０２Ｂ，２０２Ｃの調整動作として規定された動作（後述）である場合、これを判定する（ステップＳ３０７）。
【００４４】
本実施形態では「Ａｌｔ」と「↑」、「Ａｌ」と「↓」、「Ａｌｔ」と「→」、「Ａｌｔ」と「←」の同時入力がハンドイメージ画像２０２Ｂ，２０２Ｃの透明度ならびにサイズの変更キーとして、予め設定されている。具体的には、
▲１▼．「Ａｌｔ」と「↑」が同時入力された場合、ハンドイメージ画像の透明度設定値の増加、
▲２▼．「Ａｌｔ」と「↓」が同時入力された場合、ハンドイメージ画像の透明度設定値の減少、
▲３▼．「Ａｌｔ」と「→」が同時入力された場合、ハンドイメージ画像のサイズ倍率設定値の増加、
▲４▼．「Ａｌｔ」と「←」が同時入力された場合、ハンドイメージ画像のサイズ倍率設定値の減少、
と決められており、これらのキー操作によりハンドイメージ画像２０２Ｂ，２０２Ｃの透明度ならびにサイズの変更（調整）が、任意になされる（ステップＳ３０８）。
【００４５】
操作者の指先の動作がハンドイメージ画像の調整モードへ切り替わるよう予め規定された動作（後述）である場合、これを判定する（ステップＳ３０９）。
【００４６】
本実施形態の場合、ハンドイメージ画像透明度変更モードへのスイッチとして「左手小指・左手親指の接触」が登録されており、
▲１▼．左手小指・左手親指の接触が検出された場合、ハンドイメージ画像透明度変更モードへ切り替わり、
▲２▼．左手の上方向の動きで透明度が数段階にわたって増加、
▲３▼．左手の下方向への動きで透明度が数段階にわたって減少、
▲４▼．左手小指・左手親指の接触により透明度変更モードの終了、
と決められている。半透明であるハンドイメージ画像の透明度を上げると、ハンドイメージ画像２０２Ｂ，２０２Ｃの下にある仮想キーボード２０３が明瞭に現れ、反対に透明度を上げると、仮想キーボード２０３上でのハンドイメージ画像２０２Ｂ，２０２Ｃの形が明瞭に現れる。
【００４７】
またハンドイメージ画像サイズ変更モードへのスイッチとして「右手小指・右手親指の接触」が登録されており、
▲１▼．右手小指・右手親指の接触検出された場合、ハンドイメージ画像サイズ変更モードへ切り替わり、
▲２▼．右手の上方向の動きでハンドイメージ画像が数段階にわたって拡大、
▲３▼．右手の下方向への動きでハンドイメージ画像が数段階にわたって縮小、
▲４▼．右手小指・右手親指の接触によりサイズ変更モードの終了、
と決められている。これらの動作によりモード毎（透明度変更モード，サイズ変更モード）の設定を変更して、ハンドイメージ画像２０２Ｂ，２０２Ｃに反映させる（ステップＳ３１０）。
【００４８】
操作者の指先の動作がハンドイメージ画像２０２Ｂ，２０２Ｃのホームポジションをリセットするよう予め規定された動作（後述）である場合、これを判定する（ステップＳ３１１）。
【００４９】
本実施形態の場合、ハンドイメージホームポジションリセットのスイッチとして「両手五指の同時打鍵」が予め登録されており、両手五指の同時打鍵の検出により操作者の指先の現在位置を基準に、ハンドイメージ画像２０２Ｂ，２０２Ｃが仮想キーボード２０３上のホームポジションに位置するよう設定を行う（ステップＳ３１２）。
【００５０】
操作者の指先の動作がキー入力終了指示として予め規定された動作（後述）である場合、これを判定する（ステップＳ３１３）。
【００５１】
本実施形態の場合、キー入力終了指示として「両手を裏返す動作」が予め登録されており、操作者の両手を裏返す動作が検出された場合には、ハンドイメージ画像２０２Ｂ，２０２Ｃと仮想キーボード２０３を表示画面２０５から消去して、キー入力機能を終了する（ステップＳ３１４）。
【００５２】
指先動作が以上の動作ではなく単なる座標の移動である場合、操作者指先の移動を検出し、ハンドイメージ画像２０２Ｂ，２０２Ｃに反映して、Ｓ３０４に戻り繰り返し指先動作・位置検出を行う（ステップＳ３１５）。
【００５３】
操作者は前述のような動作により表示画面２０５上のハンドイメージ画像２０２Ｂ，２０２Ｃを操作、調整して、表示画面２０５上の仮想キーボード２０３を打鍵して「コマンド」、「文字」および「数値」などの入力を行なうことができる。
【００５４】
【発明の効果】
請求項１ないし３記載の発明によれば、ハンドイメージ画像の調整を行うことで視認性を阻害しない形でハンドイメージ画像による入力が可能となり、また操作者の手のサイズに最も適したキー入力環境をつくることができ、違和感のない入力が可能となる。
【００５５】
請求項４ないし６記載の発明によれば、ハンドイメージ画像の調整を容易に行うことができる。
【００５６】
請求項７記載の発明によれば、作業中であってもハンドイメージ画像のホームポジション調整が簡便に行え、さらに片手をギブスで固定されているような両手が離れた状態であってもキーボード入力が行えるなどの特長を有している。
【図面の簡単な説明】
【図１】本発明の実施形態に係る仮想キーボードシステムの基本構成を示すブロック図である。
【図２】その仮想キーボードシステムの表示画面および操作の状態を示す図である。
【図３】その仮想キーボードシステムの動作を説明するためのフローチャートである。
【符号の説明】
１０１ 指先位置・動き検出部
１０２ ハンドイメージ生成部
１０３ ハンドイメージ調整部
１０４ 仮想キーボード生成部
１０５ 重ね合わせ画像生成部
１０６ 指先キー位置判定部
１０７ キー入力判定部
１０８ 表示装置
１０９ ＣＰＵ
２０１Ａ 操作者の左手の指先
２０１Ｂ 操作者の左手
２０１Ｃ 操作者の右手
２０２Ａ ハンドイメージ画像指先
２０２Ｂ 左手ハンドイメージ画像
２０２Ｃ 右手ハンドイメージ画像
２０３ 仮想キーボード
２０３Ａ 打鍵キー
２０４ 入力表示欄
２０５ 表示画面
Claims (7)
- 操作者の手の動きと連動する手の形状を模したハンドイメージ画像を生成するハンドイメージ生成部と、
そのハンドイメージ生成部で生成したハンドイメージ画像を表示画面の仮想キーボード上に重ね合わせて表示する表示装置とを備え、
操作者の手の動きに連動して前記仮想キーボード上でハンドイメージ画像を介してキー入力を行なう仮想キーボードシステムにおいて、
前記仮想キーボード上のハンドイメージ画像の透明度を変更するハンドイメージ透明度変更手段が設けられていることを特徴とする仮想キーボードシステム。 - 操作者の手の動きと連動する手の形状を模したハンドイメージ画像を生成するハンドイメージ生成部と、
そのハンドイメージ生成部で生成したハンドイメージ画像を表示画面上の仮想キーボード上に重ね合わせて表示する表示装置とを備え、
操作者の手の動きに連動して前記仮想キーボード上でハンドイメージ画像を介してキー入力を行なう仮想キーボードシステムにおいて、
前記仮想キーボード上のハンドイメージ画像のサイズを変更するハンドイメージサイズ変更手段が設けられていることを特徴とする仮想キーボードシステム。 - 操作者の手の動きと連動する手の形状を模したハンドイメージ画像を生成するハンドイメージ生成部と、
そのハンドイメージ生成部で生成したハンドイメージ画像を表示画面上の仮想キーボード上に重ね合わせて表示する表示装置とを備え、
操作者の手の動きに連動して前記仮想キーボード上でハンドイメージ画像を介してキー入力を行なう仮想キーボードシステムにおいて、
前記仮想キーボード上のハンドイメージ画像の透明度を変更するハンドイメージ透明度変更手段と、
前記仮想キーボード上のハンドイメージ画像のサイズを変更するハンドイメージサイズ変更手段と
が設けられていることを特徴とする仮想キーボードシステム。 - 請求項１ないし３のいずれか１項記載の仮想キーボードシステムにおいて、前記変更手段によるハンドイメージ画像の変更動作が、前記仮想キーボード上の特定のキー入力による指示でなされるように構成されていることを特徴とする仮想キーボードシステム。
- 請求項１ないし３のいずれか１項記載の仮想キーボードシステムにおいて、前記変更手段によるハンドイメージ画像の変更動作が、操作者の手の動作による指示でなされるように構成されていることを特徴とする仮想キーボードシステム。
- 請求項１ないし３のいずれか１項記載の仮想キーボードシステムにおいて、前記変更手段によるハンドイメージ画像の変更動作が、前記仮想キーボード上の特定のキー入力による指示ならびに操作者の手の動作による指示でなされるように構成されていることを特徴とする仮想キーボードシステム。
- 請求項１ないし６のいずれか１項記載の仮想キーボードシステムにおいて、前記仮想キーボード上におけるハンドイメージ画像の任意の位置から、予め定められた仮想キーボード上におけるハンドイメージ画像のホームポジションに復帰する復帰手段が設けられていることを特徴とする仮想キーボードシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003199862A JP4099117B2 (ja) | 2003-07-22 | 2003-07-22 | 仮想キーボードシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003199862A JP4099117B2 (ja) | 2003-07-22 | 2003-07-22 | 仮想キーボードシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005043954A true JP2005043954A (ja) | 2005-02-17 |
| JP4099117B2 JP4099117B2 (ja) | 2008-06-11 |
Family
ID=34260493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003199862A Expired - Lifetime JP4099117B2 (ja) | 2003-07-22 | 2003-07-22 | 仮想キーボードシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4099117B2 (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006340370A (ja) * | 2006-05-05 | 2006-12-14 | Haruyuki Iwata | 指先装着センサによる入力装置 |
| DE102005056458A1 (de) * | 2005-11-26 | 2007-05-31 | Daimlerchrysler Ag | Bedienvorrichtung für ein Fahrzeug |
| JP2008158675A (ja) * | 2006-12-21 | 2008-07-10 | Toyota Motor Corp | 車両用操作装置 |
| JP2009527041A (ja) * | 2006-02-16 | 2009-07-23 | エフティーケー テクノロジーズ エルティーディー． | コンピューティングシステムにデータを入力するシステム及び方法 |
| KR100940597B1 (ko) * | 2007-02-07 | 2010-02-03 | 오종구 | 키보드 시스템 및 그의 동작 방법 |
| JP2010128544A (ja) * | 2008-11-25 | 2010-06-10 | Sony Corp | 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム |
| WO2010113578A1 (ja) * | 2009-03-31 | 2010-10-07 | ブラザー工業株式会社 | 入力補助装置、入力補助装置用プログラム及び入力補助システム |
| JP2012252584A (ja) * | 2011-06-03 | 2012-12-20 | Nakayo Telecommun Inc | 仮想キーボード入力方法 |
| JP2013114647A (ja) * | 2011-12-01 | 2013-06-10 | Exvision Inc | ジェスチャー入力システム |
| JP2014137668A (ja) * | 2013-01-16 | 2014-07-28 | Azbil Corp | 情報表示装置、方法、およびプログラム |
| JP2015111478A (ja) * | 2015-03-23 | 2015-06-18 | 株式会社ナカヨ | 仮想キーボード入力方法 |
| JP2015125781A (ja) * | 2013-12-26 | 2015-07-06 | ビステオン グローバル テクノロジーズ インコーポレイテッド | 手の仮想表現をレンダリングするためのシステム及び方法 |
| JP2016122475A (ja) * | 2016-04-05 | 2016-07-07 | 株式会社ナカヨ | 仮想キーボードを有する情報装置 |
| WO2017085974A1 (ja) * | 2015-11-17 | 2017-05-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
| JP2017534980A (ja) * | 2014-10-16 | 2017-11-24 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | タッチインタラクション処理方法、装置及びシステム |
| WO2018179069A1 (ja) * | 2017-03-27 | 2018-10-04 | サン電子株式会社 | 画像表示システム |
| JP2021033978A (ja) * | 2019-08-14 | 2021-03-01 | 藤沼 伊代子 | 音が出るエア楽器の実現、ゲーム、ラジオ・コントロール・カー、ロボット、建設機械、等々を操作するコントローラーの代わりになるエア・コントローラーの実現をも後押しする、バーチャル・キーボード（ｖｒ・キーボード、仮想キーボード、エア・キーボード、ａｒ・キーボード、エア・キーボード入力方式） |
| KR20220034394A (ko) * | 2020-09-11 | 2022-03-18 | 공준택 | 단말기 키보드 자판을 이용한 광고 시스템 |
-
2003
- 2003-07-22 JP JP2003199862A patent/JP4099117B2/ja not_active Expired - Lifetime
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102005056458A1 (de) * | 2005-11-26 | 2007-05-31 | Daimlerchrysler Ag | Bedienvorrichtung für ein Fahrzeug |
| DE102005056458B4 (de) * | 2005-11-26 | 2016-01-14 | Daimler Ag | Bedienvorrichtung für ein Fahrzeug |
| JP2009527041A (ja) * | 2006-02-16 | 2009-07-23 | エフティーケー テクノロジーズ エルティーディー． | コンピューティングシステムにデータを入力するシステム及び方法 |
| JP2006340370A (ja) * | 2006-05-05 | 2006-12-14 | Haruyuki Iwata | 指先装着センサによる入力装置 |
| WO2007129663A1 (ja) * | 2006-05-05 | 2007-11-15 | Haruyuki Iwata | 指先装着センサによる入力装置 |
| JP2008158675A (ja) * | 2006-12-21 | 2008-07-10 | Toyota Motor Corp | 車両用操作装置 |
| KR100940597B1 (ko) * | 2007-02-07 | 2010-02-03 | 오종구 | 키보드 시스템 및 그의 동작 방법 |
| JP2010128544A (ja) * | 2008-11-25 | 2010-06-10 | Sony Corp | 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム |
| JP4650559B2 (ja) * | 2008-11-25 | 2011-03-16 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム |
| WO2010113578A1 (ja) * | 2009-03-31 | 2010-10-07 | ブラザー工業株式会社 | 入力補助装置、入力補助装置用プログラム及び入力補助システム |
| JP2012252584A (ja) * | 2011-06-03 | 2012-12-20 | Nakayo Telecommun Inc | 仮想キーボード入力方法 |
| JP2013114647A (ja) * | 2011-12-01 | 2013-06-10 | Exvision Inc | ジェスチャー入力システム |
| JP2014137668A (ja) * | 2013-01-16 | 2014-07-28 | Azbil Corp | 情報表示装置、方法、およびプログラム |
| JP2015125781A (ja) * | 2013-12-26 | 2015-07-06 | ビステオン グローバル テクノロジーズ インコーポレイテッド | 手の仮想表現をレンダリングするためのシステム及び方法 |
| JP2017534980A (ja) * | 2014-10-16 | 2017-11-24 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | タッチインタラクション処理方法、装置及びシステム |
| US10372325B2 (en) | 2014-10-16 | 2019-08-06 | Huawei Technologies Co., Ltd. | Electromyographic based touch interaction processing method, device, and system |
| JP2015111478A (ja) * | 2015-03-23 | 2015-06-18 | 株式会社ナカヨ | 仮想キーボード入力方法 |
| WO2017085974A1 (ja) * | 2015-11-17 | 2017-05-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
| JP2016122475A (ja) * | 2016-04-05 | 2016-07-07 | 株式会社ナカヨ | 仮想キーボードを有する情報装置 |
| WO2018179069A1 (ja) * | 2017-03-27 | 2018-10-04 | サン電子株式会社 | 画像表示システム |
| JPWO2018179069A1 (ja) * | 2017-03-27 | 2020-01-30 | サン電子株式会社 | 画像表示システム |
| US11227413B2 (en) | 2017-03-27 | 2022-01-18 | Suncorporation | Image display system |
| JP2021033978A (ja) * | 2019-08-14 | 2021-03-01 | 藤沼 伊代子 | 音が出るエア楽器の実現、ゲーム、ラジオ・コントロール・カー、ロボット、建設機械、等々を操作するコントローラーの代わりになるエア・コントローラーの実現をも後押しする、バーチャル・キーボード（ｖｒ・キーボード、仮想キーボード、エア・キーボード、ａｒ・キーボード、エア・キーボード入力方式） |
| KR20220034394A (ko) * | 2020-09-11 | 2022-03-18 | 공준택 | 단말기 키보드 자판을 이용한 광고 시스템 |
| KR102455517B1 (ko) * | 2020-09-11 | 2022-10-14 | 공준택 | 단말기 키보드 자판을 이용한 광고 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4099117B2 (ja) | 2008-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4099117B2 (ja) | 仮想キーボードシステム | |
| US11112856B2 (en) | Transition between virtual and augmented reality | |
| US9529523B2 (en) | Method using a finger above a touchpad for controlling a computerized system | |
| US9891820B2 (en) | Method for controlling a virtual keyboard from a touchpad of a computerized device | |
| US9891821B2 (en) | Method for controlling a control region of a computerized device from a touchpad | |
| JP4351599B2 (ja) | 入力装置 | |
| US20160364138A1 (en) | Front touchscreen and back touchpad operated user interface employing semi-persistent button groups | |
| US20170017393A1 (en) | Method for controlling interactive objects from a touchpad of a computerized device | |
| US6882337B2 (en) | Virtual keyboard for touch-typing using audio feedback | |
| KR101678880B1 (ko) | 가상 키보드 출력 장치 및 제어 방법 | |
| US9542032B2 (en) | Method using a predicted finger location above a touchpad for controlling a computerized system | |
| US20040104942A1 (en) | Display and operating device, in particular a touch panel | |
| WO2012070682A1 (ja) | 入力装置及び入力装置の制御方法 | |
| US20090002342A1 (en) | Information Processing Device | |
| US20160034738A1 (en) | Method using a touchpad for controlling a computerized system with epidermal print information | |
| US20150363038A1 (en) | Method for orienting a hand on a touchpad of a computerized system | |
| JP2003288156A (ja) | 入力装置 | |
| WO2006013783A1 (ja) | 入力装置 | |
| JP2004318460A (ja) | データ処理装置 | |
| JP2004078977A (ja) | インターフェイス装置 | |
| JP2007172303A (ja) | 情報入力システム | |
| CN115763127A (zh) | 键组件、虚拟现实接口系统和方法 | |
| US20140253486A1 (en) | Method Using a Finger Above a Touchpad During a Time Window for Controlling a Computerized System | |
| EP2544082A1 (en) | Image display system, information processing apparatus, display apparatus, and image display method | |
| US9639195B2 (en) | Method using finger force upon a touchpad for controlling a computerized system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080314 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |