JP2016122475A

JP2016122475A - 仮想キーボードを有する情報装置

Info

Publication number: JP2016122475A
Application number: JP2016076090A
Authority: JP
Inventors: 齋藤　隆; Takashi Saito; 隆齋藤; 前川　雄二; Yuji Maekawa; 雄二前川
Original assignee: Nakayo Inc
Current assignee: Nakayo Inc
Priority date: 2016-04-05
Filing date: 2016-04-05
Publication date: 2016-07-07

Abstract

【課題】隣接するキーを誤って打鍵する等の打鍵ミスを簡単に訂正することが可能な仮想キーボードを有する情報装置を提供する。
【解決手段】指先検出部１１は操作者の指先の動作を映像として撮影する映像カメラ２からの映像データを解析して各指先の位置および動作を検出し、各指先による特定動作１を検出した場合に、打鍵を検出した後に、各指先による特定動作２を検出した場合に、打鍵されたと判定したキーの入力をキャンセルする。
【選択図】図２

Description

本発明は、映像カメラを具備する通信機器や情報機器において、物理的なキーボード無しに、画面に表示した仮想的なキーボードによってキー入力する情報装置に関する。

近年、電子メール機能付き携帯電話機等の文字入力機能を有する携帯機器の普及が進展している。しかし、小型軽量性を優先する携帯機器における文字入力方式は、ダイヤルキー等の少ないキーで多数の文字を指定するので、例えば、「お」を入力する場合、「あ行」が割り振られたダイヤルキーの「１」を５回打鍵しなければならず、面倒であった。これを改善する技術として、仮想キーボードに係る技術がある（例えば、特許文献１）。

特許文献１に記載されている技術は、操作者の指先の位置・動作を検知し、その指の動作情報を基にハンドイメージ画像を生成し、所定のキー配列を有する仮想キーボード画像とハンドイメージ画像の座標を重ね合わせて表示し、ハンドイメージ画像の指先が仮想キーボード画像上のどのキーを打鍵したかを判定している。

なお、特許文献１における、操作者の指先の位置・動作を検知する手段は、固定点に設置された基準センサならびに操作者の指に装着された指センサにより、センサ間の相対距離や動作の検出を行うものであり、具体的手段としては、例えばカメラ画像の動画処理による動作の検出、手指の筋電位の測定、各種データグローブによる入力などの手段による。

しかしながら、この種の仮想キーボードによる文字入力方法は、キー入力する手元を見ずに、表示画面を見たまま打鍵するブラインドタッチが前提なので、隣接するキーを誤って打鍵してしまう打鍵ミスが発生し易く、その打鍵ミスを簡単に訂正できる操作性が望まれる。

特許第４０９９１１７号公報

そこで、本発明の課題は、打鍵すべきキーの近隣のキーを誤って打鍵した場合に、その打鍵ミスを簡単に訂正することが可能な仮想キーボードを有する情報装置を提供することにある。

上記課題を解決するために、本発明は、自装置を操作する者の１以上の指先の動作を映像として撮影する自装置が備える映像カメラにより、実体の無い仮想キーボードのどのキーが打鍵されたかを判定する、仮想キーボードを有する情報装置であって、前記映像カメラからの映像データを解析して、前記１以上の指先の位置および動作を検出する指先検出手段と、前記仮想キーボードに係る情報を記憶する記憶手段と、前記仮想キーボードに係る情報を表示する表示手段と、を有し、前記指先検出手段は、ホームポジションのセットに係る前記指先の予め定められた特定動作を検出した後に、前記指先の各々の略静止状態を検出した場合に、前記略静止状態となった前記指先の各々の位置を前記仮想キーボードの予め定められたホームポジションのキーと対応付けて前記記憶手段に記憶し、以降、前記指先検出手段が前記１以上の指先のいずれかの移動を検出する毎に、前記移動を検出した指先の前記仮想キーボード内の相対的な移動距離および移動方向を演算し、前記指先検出手段が前記仮想キーボードを構成するいずれかのキーを打鍵する指先の動作を検出した場合に、前記動作により打鍵されたキーを判定し当該キーに係る情報を表示し、前記情報を表示した後に、前記指先検出手段がキャンセルに係る前記指先の予め定められた特定動作を検出した場合に、前記打鍵されたと判定したキーの入力をキャンセルすると共に、前記打鍵されたと判定したキーの近傍に配置されたキーを拡大または強調して表示することを特徴とする。

本発明によれば、打鍵すべきキーの近隣のキー等を誤って打鍵した場合に、その打鍵ミスを簡単に訂正できる効果がある。

本発明装置の全体説明図本発明装置のブロック構成図本発明装置の動作フローチャート

以下、本発明の実施形態として、情報装置や通信装置のキー入力部に適用した場合について、図面を用いて説明する。

図１は、本発明の全体説明図であって、１は本発明を適用した情報装置（以下、本装置と略す）、２は本装置１に組み込まれている映像カメラ、３は本装置１に組み込まれている表示部、３１は表示部３に表示された仮想キーボード画像、３２は表示部３に表示された左手画像、３３は表示部３に表示された右手画像、３４は入力された文字列の表示画像、４１は仮想キーボード、４２は操作者の左手、４３は操作者の右手である。

操作者は、表示部３に表示された仮想キーボードの画像３１を見ながら、仮想キーボード４１が机上に存在しているとイメージして、ブラインドタッチにより打鍵操作する。この打鍵操作している操作者の左手４２と右手４３およびそれらの手の指先は、映像カメラ２により撮影され、適宜、位置決め，拡大縮小，回転の処理が施されて、仮想キーボード画像３１と重畳されて、表示部３に表示される。操作者は、表示部３に表示された仮想キーボード画像３１と重畳された自分の手の指先の位置から打鍵すべきキーの位置を知る。

図２は、本装置１のブロック構成図であって、１１は指先検出部、１２は特定動作検出部、１３は映像合成部、１４は仮想キーボード登録部、１５は打鍵キー判定部、１６は情報処理部１７内のキー入力処理部、１７は情報処理部である。

図３は、本装置１の動作フローチャートである。以下、図１および図２を併用して、本装置１の動作フローおよび各機能ブロックの説明をする。尚、本動作フローは本装置１の電源が投入され、情報処理部１７がキー入力待ちの状態でスタートする（Ｓ３００）。なお、このキー入力待ちの状態において、映像合成部１３は、仮想キーボード登録部１４に登録されている仮想キーボードのデータを読込んで、表示部３に仮想キーボード画像３１を表示している。

キー入力待ちの状態において、映像カメラ２は打鍵操作している操作者の左手４２と右手４３を撮影し、打鍵操作する操作者の左手４２と右手４３の映像データを指先検出部１１へ入力する（Ｓ３１０）。

指先検出部１１は、映像カメラ２が撮影した、打鍵操作している操作者の左手４２と右手４３の映像データを解析して、それらの手の指先の位置およびその動作を検出する（Ｓ３１１）。

特定動作検出部１２は、指先検出部１１が検出した各指先の動作を監視し、予め定められた特定動作１，２，３・・・があったか否かを検出する（Ｓ３２０）。特定動作１は、操作者の左手４２と右手４３の各指先が、仮想キーボード４１のホームポジションのキーの位置にセットされたことを示す動作であり、例えば、全指先が前後左右のいずれかの方向に一定時間内で往復動作して静止する動作である。

特定動作検出部１２が特定動作１を検出すると（Ｓ３２０，ＹＥＳ）、特定動作１の後に静止した各指先の位置がホームポジションのキーに構えた各指先の位置であり、指先検出部１１はその各指先の位置を記憶しておく。一般的なキー配列では、左親指＝“スペース”，左人差し指＝“Ｆ”，左中指＝“Ｄ”，左薬指＝“Ｓ”，左小指＝“Ａ”，右親指＝“スペース”，右人差し指＝“Ｊ”，右中指＝“Ｋ”，右薬指＝“Ｌ”，右小指＝“；”となる各指先とキーの位置関係である。

そして、映像合成部１３は、指先検出部１１が検出した各指先の位置が仮想キーボードのホームポジションのキーの位置にセットされた状態で、仮想キーボード画像３１と左手画像３２と右手画像３３または各指先の位置を重畳して表示部３に表示し（Ｓ３２１）、Ｓ３３０へ進む。特定動作１を検出しなければ（Ｓ３２０，ＮＯ）、Ｓ３３０へ進む。

なお、各指先の位置の表示は、撮影した指先の映像データをそのまま活用してもよいし、コンピュータグラフィックス画像を生成して表示してもよい。また、単に指先の位置を示すマーク（例えば“◆”）を表示してもよい。

以降、指先検出部１１は、打鍵操作している操作者の左手４２と右手４３の映像データを継続的に解析して、指先の移動を監視し、移動を検出すると（Ｓ３３０，ＹＥＳ）、それらの指先の移動を追跡し、特定動作１後に記憶しておいた各指先の位置と移動後の指先の位置から、ホームポジションからの相対的な移動距離と移動方向を演算し、更新した各指先の位置データを映像合成部１３に出力し、映像合成部１３は、表示部３に表示している左手画像３２，右手画像３３の各指先の位置を更新して合成した映像を表示させる（Ｓ３３１）。移動を検出しなければ（Ｓ３３０，ＮＯ）、Ｓ３４０へ進む。

打鍵キー判定部１５は、指先検出部１１が検出した各指先の動作を監視し、打鍵動作の有無を検出する（Ｓ３４０）。打鍵動作は打鍵する指の垂直方向の比較的高速な往復移動なので、この比較的高速な往復移動があったことを検出した場合に、その指がその往復移動する直前に位置していた場所に対応するキーが打鍵されたと判定すればよい。

なお、各指のホームポジションからの水平移動は比較的低速な移動であることを前提とする。これにより、映像カメラ２が１つであっても、斜め前方から各指先を撮影すれば、その移動と打鍵の動作を検出でき、その各指先の二次元動画像からはその動作が水平方向なのか垂直方向なのかが判別困難であっても、その移動，打鍵の速度の差異から、各指先の水平方向の移動と打鍵する垂直方向の移動を識別できる。

打鍵キー判定部１５がいずれかのキーの打鍵を検出した場合（Ｓ３４０，ＹＥＳ）、打鍵キー判定部１５は、その打鍵動作をした指先の位置と仮想キーボード登録部１４に登録されている各キーの配置から打鍵したキーを判定し、そのキーのキーコードを情報処理部１７へ伝達する。情報処理部１７はキー入力処理部１６内の一時メモリ（図示せず）にその打鍵キーに対応するキーコードを一時的に記憶すると共に、そのキー情報を表示部３に表示する（Ｓ３４１）。

表示部３に表示される入力中の文字は、打鍵直後のキーまたはキー入力処理部１６が文字変換等の入力処理した結果である。例えば、図１の文字列の最後の下線付きの文字“り”であって、ローマ字入力による日本語入力の場合は、“ｒ”，“ｉ”が入力された時点で“り”が表示される。

これを見た操作者が次の文字入力や入力した文字を確定するキー操作を実行した場合、前記一時メモリに記憶されているその打鍵キーは確定し、そのキーコードまたは入力処理結果は、情報処理部１７に伝達される。情報処理部１７はキー入力を伴う、任意のアプリケーションソフトによる処理を実行する。

一方、表示部３に表示された打鍵キーに対応する入力中の文字を見た操作者が、打鍵ミスまたは打鍵キー判定部１５の判定ミスに気付いた場合、操作者はその打鍵をキャンセルする特定動作２を実行する。

特定動作２を検出すると（Ｓ３５０，ＹＥＳ）、Ｓ３５１へ進み、打鍵キー判定部１５は、前記一時メモリに記憶されているその打鍵キーをキャンセルするキーコード（通常のキーボードにおけるバックスペースキーまたはデリートキーに相当）を情報処理部１７へ出力する。

前記打鍵キーをキャンセルするキーコードを入力した情報処理部１７は、前記一時メモリに記憶されているキーコードをクリアし、表示部３に表示されていた入力処理中の文字（例えば、文字列３４の“り”）を消す。なお、ローマ字入力による日本語入力の場合は、“ｒ”，“ｉ”が入力された時点で“り”が表示されるが、“ｒ”を入力した時点で特定動作２が為された場合は、“ｒ”の打鍵がキャンセルされ、“り”の表示はない。

さらにＳ３５１において、映像合成部１３は、仮想キーボード画像３１の前記キャンセルされたキーの近傍に位置するキーを再押下されるキーの候補として拡大または強調表示する（例えば、“ｒ”が打鍵ミスだった場合、その近傍の、“ｅ”，“ｄ”，“ｆ”，“ｇ”，“ｔ”等）。

これは、仮想キーボード４１の目的とするキーの近隣のキーを打鍵ミスすることが多いので、打鍵キー判定部１５が打鍵を判定したキーの隣接または近傍の再打鍵を容易にするためである。なお、再押下されるキーの候補を拡大または強調表示する具体的な手段は、公知の任意の技術を適用すればよく、ここではその詳細な説明を省く。

なお、図３の動作フローでは詳細に表現していないが、打鍵ミスで再打鍵する際、近傍のキーが拡大または強調表示されている最中にいずれかのキー（近傍のキー以外も含む）が再押下された段階で、その拡大または強調表示は解消される（図示せず）。

この打鍵をキャンセルする特定動作２は、通常のキーボードのバックスペースキーやデリートキーに相当し、例えば、特定操作１と同様に両手を左右に往復運動すればよい。これにより、仮想キーボード４１のバックスペースキー等を正確に打鍵する必要が無く、確実で簡単である。従って、隣接するキーを誤って打鍵する等の打鍵ミスを簡単に訂正することが可能な仮想キーボードによるキー入力機能を有する情報装置が提供可能となる。

なお、図示しないが、特定動作３以降を自由に定義することも可能である。例えば、特定動作３はリターンキー、特定動作４は半角／全角の切替キー等に対応させることが可能である。ただし、特定動作を増やすと、それらの動作を識別するための各指先の動作が複雑になっていく傾向にある。

特定動作２を検出しない場合（Ｓ３５０，ＮＯ）、またはＳ３５１の処理後、Ｓ３６０に進み、打鍵キーの確定を判定する。打鍵キーの確定は、例えば、確定キー（リターンキー等）の打鍵があった場合に確定と判定し、情報処理部１７は前記一時メモリに記憶されているキーコードを確定し（Ｓ３６１）、Ｓ３７０へ進む。一定時間以内に確定と判定されない場合、Ｓ３６１をスキップしてＳ３７０へ進む。そして、キー入力終了でなければ（Ｓ３７０，ＮＯ）、Ｓ３１０に戻り、Ｓ３１０以降を繰り返す。

なお、Ｓ３６１がスキップされた場合（Ｓ３６０，ＮＯ）、Ｓ３４１で打鍵を検出したキーのキーコードは前記一時メモリに記憶されたまま残留するので、以降のサイクルにおけるＳ３４１で、前記一時メモリに残留している未確定のキーコードの確定を情報処理部１７に実行させるようにすれば、通常の日本語文字入力法式と同様に、次のキー入力の打鍵があった場合に、それ以前の入力を確定することが可能である（図示せず）。

以上、操作者の両手，指先を撮影した映像カメラからの映像データを解析して指先の位置および動作を検出する方法について説明した。本方法において、操作者の各指先を検出する具体的な方法については言及しなかったが、例えば、認識処理技術を駆使して、爪の部位を抽出してそのセンタ位置を指先の位置と判定すればよい。

また、指先の位置を簡易な処理で判定する方法として、各爪にネールアートのように特徴点を有する物を付着する、または特徴点を有する絵やマークを描く方法もある。もしくは、指先に特徴点のある手袋やサックを装着する方法もある。

ところで、本発明の実施の形態において、指先の位置および動作を検出する方法として、映像カメラ２からの映像データを画像処理して検出する方法について説明したが、映像データを画像処理する代わりに、直接的なセンサ入力による方法も適用可能である。例えば、各指先の爪または手袋に磁性体や無線タグを装着して、それらの位置や動作を所定のセンサ（例えばホール素子や無線タグリーダ）で検出すればよい。

１・・・本発明を適用した装置
２・・・映像カメラ
３・・・表示部
１１・・・指先検出部
１２・・・特定動作検出部
１３・・・映像合成部
１４・・・仮想キーボード登録部
１５・・・打鍵キー判定部
１６・・・キー入力処理部
１７・・・情報処理部
３１・・・仮想キーボード画像
３２・・・左手画像
３３・・・右手画像
３４・・・入力された文字列
４１・・・仮想キーボード
４２・・・左手
４３・・・右手

Claims

自装置を操作する者の１以上の指先の動作を映像として撮影する自装置が備える映像カメラにより、実体の無い仮想キーボードのどのキーが打鍵されたかを判定する、仮想キーボードを有する情報装置であって、
前記映像カメラからの映像データを解析して、前記１以上の指先の位置および動作を検出する指先検出手段と、前記仮想キーボードに係る情報を記憶する記憶手段と、前記仮想キーボードに係る情報を表示する表示手段と、を有し、
前記指先検出手段は、ホームポジションのセットに係る前記指先の予め定められた特定動作を検出した後に、前記指先の各々の略静止状態を検出した場合に、前記略静止状態となった前記指先の各々の位置を前記仮想キーボードの予め定められたホームポジションのキーと対応付けて前記記憶手段に記憶し、
以降、前記指先検出手段が前記１以上の指先のいずれかの移動を検出する毎に、前記移動を検出した指先の前記仮想キーボード内の相対的な移動距離および移動方向を演算し、前記指先検出手段が前記仮想キーボードを構成するいずれかのキーを打鍵する指先の動作を検出した場合に、前記動作により打鍵されたキーを判定し当該キーに係る情報を表示し、
前記情報を表示した後に、前記指先検出手段がキャンセルに係る前記指先の予め定められた特定動作を検出した場合に、前記打鍵されたと判定したキーの入力をキャンセルすると共に、前記打鍵されたと判定したキーの近傍に配置されたキーを拡大または強調して表示することを特徴とする仮想キーボードを有する情報装置。