JP2008113107A - カメラ機能を利用した入力方法、及び入力方法を用いた情報通信端末。 - Google Patents

Abstract

【課題】情報通信端末の高機能化に伴い、ユーザにとって、情報通信端末で入力動作を行うとき、操作部のボタンを押下する動作によるユーザの指への負担も大きくなってきている。
【解決手段】撮像手段を有する情報通信端末の表示手段に、前記撮像手段で作成した撮像データと複数個の入力用データとを入力用画像として重ねて表示し、指示点を検出すると、指示点と入力用データの重なった部分を入力データとして選択する入力方法、及びこの入力方法を用いることで、指示点であるユーザの指先への負担を軽減する。
【選択図】 図１

Description

本発明は、情報通信端末が有するカメラを用いて、カメラで撮像した指示点を検出して入力を行う、カメラ付き情報通信端末及びカメラによる入力方法に関する。

情報通信端末で行う入力方法は、一般的に情報通信端末が有する操作部を介して行っている。たとえば、文字を入力する場合として、ユーザは、新しいコミュニケーション方法としてメールを積極的に活用するようになり、いつでもどこでも情報通信端末を用いてメールのやり取りを行うようになっている。

しかし、メール作成に伴う文字入力の動作は、ユーザの手指にとって負担を強いる作業であり、メールを頻繁に打つユーザの中には、指の痛みを覚えるユーザもいる。

このキー操作による文字入力の負荷軽減のため、情報通信端末のカメラ機能を用いて、文字入力を行う方法が開示されている。

１つに小型カメラをアームバンドに取り付け、アームバンドをつけた手指の動きを読み取って、文字入力を行うタイピング入力装置がある。この小型カメラは、手指の動きを検出し、この動きがタイピングをしようとしている状態か、また特定のキーをタイプする指の動きかを分析し、この分析結果に応じて決定された文字に相当するデータを入力文字として入力する（特許文献１：特開２００６−３０１５８３号公報参照）。

また、携帯電話機が具備している撮像部で、指の動きを検出して、この動きの変化に応じて、携帯電話機の表示部に表示しているポインタを移動させる構成が開示されている（特許文献２：特開２００６−０９９２２８号公報参照）。

これは、携帯電話機の表示部に表示されているポインタを移動させるために、ユーザは、携帯電話機を把持している手の親指が撮像されるように設けられている撮像部で、撮像している親指を移動する構成を有する。

また、文字をなぞる指に可視光を放射するＬＥＤなどのセンサを設け、この指で文字をなぞると、ＣＣＤカメラで文字の形を読みとって、指でなぞられた動きから、なぞった軌跡や、始点、終点などを検知することにより、入力することが可能となる文字入力方法が開示されている（特許文献３：特開平１０−１５４０３６号公報参照）。

特開２００６−３０１５８３号公報 特開２００６−０９９２２８号公報 特開平１０−１５４０３６号公報

しかしながら、特許文献１に示す、カメラなどを用いた、操作部入力に代わる文字入力を行う方法は、情報通信端末といった小型の装置に対しては困難である。

なぜならば、これらの文字入力方法は、指の動きを検出するカメラと検出結果を文字として表示する表示部とが別個の装置としてなるため、これらの装置を追加すると、携帯に支障の出る情報通信端末になる恐れがあるからである。

また、特許文献２に示す、操作方法とは、撮像した指の移動量変化に応じて、文字入力ではなく、表示部に表示されているポインタを操作するものである。

特許文献３に示す文字入力方法は、長文を入力する場合では、指でなぞる操作による文字入力は非常に時間を要するものであり、この点を考えると、ユーザは、操作部入力の方法を選択してしまう結果になるからである。

本発明は、上記の事情に鑑みてなされたものであり、その目的は、端末のカメラ画像を利用して、文字入力に対するユーザの負担を軽減することが可能な携帯端末を提供することである。

本発明の撮像入力モードを有する情報通信端末は、撮像手段と、前記撮像手段で作成した撮像データと複数個の入力用データとを入力用画像として重ねて表示可能な画像表示領域を含み、前記画像表示領域を、前記入力用データに対応する領域区分ごとに分割して表示する表示手段と、それぞれの領域区分を示す情報と、その領域区分に表示された入力用データとを対応付けて登録する記憶手段と、前記入力用画像に特定の一点を示す指示点が含まれている場合、前記指示点を検出する指示点検出手段と、前記指示点検出手段による前記指示点の検出に応じて、前記指示点が含まれる前記領域区分を示す前記情報を検出し、前記記憶手段から、前記情報に対応する入力用データを選択することを特徴とする。

また、本発明の入力方法は、撮像手段で作成した撮像データと複数の入力用データの一覧とを表示手段に表示し、指示点検出手段が、前記撮像データから特定の一点を示す指示点を検出し、前記指示点で示される入力用データを選択することを特徴とする。

本発明の情報通信端末は、表示部手段で入力用データを表示している状態で、情報通信端末が有する撮像手段であるカメラで撮像を行い、撮像データも併せて表示を行う。

このとき、表示手段を閲覧しながら、指示点を撮像することで、撮像して表示されている指示点と重なる部分に表示された入力用データを、入力データとして選択する。

このため、情報通信端末を操作するためのボタン押下動作を行う際に生じる指への負担を軽減することが可能となる。

本発明の実施の形態の構成について図面を用いて詳細に説明する。

図１は、本発明の実施の形態における撮像手段であるカメラ１１を利用した文字入力機能を搭載した情報通信端末（以下、端末と称する）の構成の例を示すブロック図である。

図１において、端末１の制御部１０は、端末１の有するＣＰＵ１０１と、端末１のネットワークとの通信制御、認証や、端末上のソフト等の実行、制御、及び表示部７の制御、操作部８からの入力制御など、端末１の動作を指示するコンピュータプログラムを記憶するメモリ（ＲＯＭ：Read Only Memory）１０２とを含む。さらに、制御部１０は、本発明の実施の形態の入力方法を実行する撮像入力モードにおいて、カメラ１１を起動して撮像中に、カメラ１１が撮像可能な領域を示す撮像領域の中に特定の一点を示す指示点を検出することが可能な指示点検出手段１０３とタイマ１０４とを含む。

無線通信部５は、端末１と、アンテナ６を介して図示しない基地局と無線通信を行う機能を有し、制御部１０からの信号を変調して無線信号として図示しないネットワークに送出し、ネットワークからの無線信号を復調しディジタル信号として制御部１０に送出する。

また、カメラ１１は、様々な場面を撮像し、撮像データを生成するほかに、本発明の実施の形態に示すように、カメラ１１を用いた入力方法を実行するときにも用いる。

他に、音声通話を行うために、ユーザに対して音声出力を行うスピーカ２と、端末１への音声入力を受け付けるマイク３と、音声信号から無線信号に変換する音声処理部４と、キーパッド等からユーザの入力を受け付け、さらに決定する場合に押下する決定キー８１を含む操作部８と、受信したメール情報や画像などの各種情報、及び本発明の実施の形態に示す入力用データの一覧表示、及び入力用データを入力する時の指示点の移動を表示可能な表示部７とを含む。

メモリ（ＲＡＭ：Random Access Memory）９は、端末１が通常の動作時に利用する電話帳データ、メールデータなどを記憶する。

また、メモリ９は、表示部７において、後述する画像表示領域において分割されたそれぞれの領域区分を示す位置情報と、各領域区分から入力される入力用データとを対応させて記憶した撮像入力モード用データ９１を含む。

次に本発明の実施の形態の文字入力の操作について、図２と図３を用いて説明する。

図２は、本発明の実施の形態の入力方法を利用する端末１を用いて、ユーザが文字入力を行っているときのイメージ図である。

ユーザは、撮像入力モードとなった端末１で、カメラ１１の撮像領域１４に、ユーザの指先をかざすことで指先を端末１で撮像させ、表示部７の画像表示領域で、撮像した画像を視認しつつ文字入力を行う。ここで、撮像領域１４とは、カメラ１１で撮像可能な範囲を、画像表示領域１２（図３）とは、表示部７の中で、特に撮像した画像データなどを表示する領域をそれぞれ示す。

ここで、指先とは、端末１の指示点検出手段１０３が、指示点として検出するものであり、指示点としてどのような形状を検出するかは、ユーザにより設定可能である。このため、たとえば指先ではなく、レーザーポインタで示した発光点も、指示点として検出可能である。さらに、指示点検出手段１０３は、指示点としての『点』のみではなく、棒状の物体を検知した場合、この棒状の部一体の先端部を指示点として検出可能である。これにより、たとえばユーザが、指先の代わりに、ペンなどで特定の領域区分を示したい場合にも、指示点検出手段１０３が、ペンを棒状の物体と捉え、このペン先を指示したい点と検出することで、指示点として検出が可能である。

図３（ａ）は、入力用データ群として複数個存在する入力用データ（入力用データ１〜入力用データ９）を、画像表示領域１２に一覧表示画像として表示した場合のイメージ図であり、図３（ｂ）は、通常の撮像モードにおいて、カメラ１１で撮像したプレビュー画像を、撮像用画像Ａとして画像表示領域１２に表示した場合のイメージ図、図３（ｃ）は、撮像入力モードにおける画像表示領域１２での表示状態を示すイメージ図である。

通常の撮像モードでは、カメラ１１で撮像した撮像用画像Ａをそのまま画像表示領域１２に表示するものであり、図３（ｂ）では、特にユーザが指先をかざしている場面を撮像用画像Ａとして表示している。

ここで、通常のカメラ撮影モードの場合、端末１の画像表示領域１２に表示される撮像用画像を視認しながら、決定ボタン８１などを押下することで、制御部１０は、その時点の撮像用画像を切り出して、写真用の画像データとして作成し、メモリ９に保存する。

それに対して、撮像入力モードでは、図３（ｃ）に示すように、入力用データの一覧表示画像と、撮像モードにおける撮影前のカメラプレビューの撮像用画像Ａとを重ねて表示することで作成した入力用画像（以降、撮像入力モード用画像と称する）を、画像表示領域１２に表示する。また、このとき、制御部１０の指示点検出手段１０３は、制御部１０が画像表示領域１２に表示した撮像入力モード用画像において、指示点の有無を監視する。

図３（ｃ）では、指先は、『入力用データ２』を示す領域区分に存在している。したがって、指示点検出手段１０３で指先の指示点を検出すると、次に、制御部１０は、その指示点が、画像表示領域１２のどの領域区分に位置するかを検出し、『入力用データ２』を選択している状態として検出する。

ここで、入力用データの一覧表示画像とは、図３（ａ）に示すように、表示部７の画像表示領域１２を、入力用データの形式と一覧表示の形態に応じて分割し、分割されたそれぞれの領域区分に、入力用データを割り当てて表示したものである。

入力用データの形式とは、入力用データが、かな文字データか、カタカナ文字データか、ローマ字か、または後述するコマンドを示すデータかを示すものであり、一覧表示の形態とは、入力用データに対応させるために、画像表示領域１２を縦横何分割して、何個の領域区分を生成したかを示すもの、いわばどのような一覧表の型であるかを示すものである。

図３（ａ）は、入力用データ９個分を表示するために、制御部１０が、画像表示領域１２を、縦横それぞれ３分割し、合計９つの領域区分に分割した一覧表示の形態における一覧表示画像のイメージ図を示している。

次に、入力用データの形式がアルファベット形式である場合における画像表示領域１２の一覧表示画像と、撮像入力モード用データ９１の関係について説明する。

図４（ａ）は、アルファベット形式の入力用データの一覧表示画像を含む撮像入力モード用画像を表示部７に表示したイメージ図であり、図４（ｂ）は、メモリ９にアルファベット形式の入力用データとして記憶した撮像入力モード用データ９１のデータマップを示すイメージ図である。

撮像入力モード用データ９１とは、それぞれの領域区分を示す位置情報と、割り当てられた入力用データを関連付けて登録した情報である。

まず、たとえば入力用データの形式が、２６文字のアルファベット形式である場合、制御部１０は、縦５個、横６個の合計３０個分の領域区分に分割された一覧表示の形態の情報に基づいて、３０個分の領域区分の位置を示す位置情報と、それぞれの領域区分ごとに入力用データを割り当てた撮像入力モード用データ９１を発生する。

なお、ここで発生する撮像入力モード用データ９１は、事前に発生しておいたデータを、フォーマットとしてメモリ９に記録しておいても、一覧表示の形態など後から必要に応じてユーザが設定し、この設定した条件に基づいて作成しておいてもかまわない。

次に、制御部１０は、撮像入力モード用データ９１を参照して、アルファベット形式に対応した、図４（ａ）に示すような一覧表示画像を表示部７に表示する。

たとえば上から３番目、左から６番目の領域は、（３．６）とするｘｙ座標で示し、このＸＹ座標を位置情報とする。制御部１０は、撮像入力モード用データ９１を参照し、位置情報に基づいて、位置情報に対応する入力用データ『ｒ』を発生する。

図４（ｂ）では、たとえば上から３番目、左から４番目の領域区分は、位置情報として、（３．４）とするｘｙ座標で表示しているが、前述のｘｙ座標を用いる他に、特定の位置にある領域区分を示せる方法であれば位置情報の表示方法は、特に限定しない。

また、表示については、入力文字を視認容易にするため、図４（ａ）に示すように、撮像入力モードにおいて、表示部７では、撮像入力モード用画像を表示する画像表示領域１２と、撮像入力モードで入力した入力用データを表示する入力データ表示領域１３とに分けて表示を行ってもよい。
［本発明の第１の実施の形態］
次に本発明の第１の実施の形態の入力方法及びこの入力方法を用いる端末１について、図１、図２、図４及び５を用いて説明する。

図５は、本発明の第１の実施の形態の撮像入力モードにおける入力方法を用いるときの処理を示すフロー図である。

まず、制御部１０は、現在起動する機能が、電話帳登録やメール作成など、入力用データとして入力用文字の入力を必要とする機能である場合（以降、入力用データとは入力用文字を示す）、この機能で設定されているモードが、操作部入力モードか、撮像入力モードであるかを確認する。

ここで、操作部入力モードである場合には、制御部１０は、所定の入力用文字の選択及び表示部７へ出力する操作として一般的な、操作部８からの入力を監視する。

それに対し、撮像入力モードである場合には、制御部１０は、まず、入力用文字の形式と、一覧表示の形態に応じて、画像表示領域１２を分割し、それぞれの領域区分に入力用文字を割り当てた撮像入力モード用データ９１を発生し、メモリ９に登録する。このあと、制御部１０は、カメラ１１を起動して、表示部７の画像表示領域１２に、撮像入力モード用データ９１に基づいて作成した一覧表示画像と、撮像用画像とを重ねた撮像入力モード用画像を表示する。制御部１０は、これらの処理に関する情報は、全てメモリ９に一時保存する。

この撮像入力モード用画像を表示している端末１に対して、ユーザは、図２に示すように、指先を撮像領域内にかざし、端末１のカメラ１１で読み取らせている。

ユーザは、ここで、読み取らせた指先を、表示部７の画像表示領域１２を見ながら確認し、画像表示領域１２に、一覧表示画像として表示されている入力用文字群の中から入力したい入力用文字に、自らの指先を重ね合わせる動作を行っていく。

このユーザの操作に応じて、制御部１０は、まず、指示点検出手段１０３で、撮像領域内に、特定の一点を示す指示点（ここでは指先を示す）が存在するか否かを検出する（Ｓ５１）。指示点検出手段１０３が、画像表示領域１２で、指示点として指先を検出した場合には（Ｓ５１のＹＥＳ）、制御部１０は、撮像した指先が、メモリ９に一時記憶した内容にしたがって、いずれの領域区分に存在するかを示す位置情報を検出する（Ｓ５２）。

指先が存在しない場合には（Ｓ５１のＮＯ）、指示点検出手段１０３が指先を検出するまで、検出作業を継続する。

ここで、制御部１０は、検出した位置情報に基づいて、メモリ９を検索し、対応する入力用文字を、メモリ９の撮像入力モード用データ９１から抽出して入力候補データ（以降、入力候補データとは入力候補文字を示す）として選択する（Ｓ５３）。

この選択のあと、制御部１０は、タイマ１０４を用いて入力判定時間の計測を開始する（Ｓ５４）。

判定時間中、指示点検出手段１０３は、指先が、制御部１０が検出した位置情報で示される領域区分から、外に出たか否かを監視する（Ｓ５５）。ここで、出た場合には（Ｓ５５のＹＥＳ）、再び指先の存在している領域区分の検出を行う（Ｓ５１）。

出ていない場合には（Ｓ５５のＮＯ）、制御部１０は、現在計測している入力判定時間が、予め設定された入力判定時間閾値より大きいか否かを比較する（Ｓ５６）。

現在計測している入力判定時間が、予め設定された入力判定時間閾値を越えていない場合には（Ｓ５６のＮｏ）、指示点検出手段１０３で、指先が、制御部１０が検出した位置情報で示される領域区分から、外に出たか否かの監視を続ける。制御部１０は、引き続き入力判定時間の計測も続ける（Ｓ５５）。

それに対し、現在計測している入力判定時間が、入力判定時間閾値を越えた場合とは（Ｓ５６のＹＥＳ）、指先が一定時間、制御部１０が検出した位置情報で示される領域区分を指し続けている状態である。この場合、制御部１０は、ユーザがこの位置情報で示される領域区分に対応する入力用文字を選択しようとしているとみなし、この選択した入力用データ（以降、入力用データとは入力用文字を示す）を入力データ（以降、入力データとは入力文字を示す）として確定する（Ｓ５７）。

この後、制御部１０はこの入力文字を入力データ表示領域１３（図４（ａ））に表示する。

以上、本発明の第１の実施の形態の入力方法及び入力方法を用いた情報通信端末によって、一つのボタンを複数回押下することなどで文字入力を行う必要がなくなり、従って、ユーザに負担をかけないようにして特定の文字を入力することが可能となる。
［本発明の第２の実施の形態］
次に本発明の第２の実施の形態の入力方法及び入力方法を用いた情報通信端末について図１、図２、図４、及び図６を用いて説明する。

本発明の第１の実施の形態の撮像入力モードを実行している端末１では、指先が一定時間、所定の位置情報で示される領域区分内に存在した場合に、この領域区分に対応している入力用文字を、入力文字とみなしていた。

これに対し、第２の実施の形態における撮像入力モードを実行している端末１では、選択した入力用文字に対して、決定キー８１（図１）の押下をすることで入力文字として確定する。

図６は、第２の実施の形態における入力方法を示すフロー図である。

まず、制御部１０は、端末１に対して入力を行うとき、入力方法のモードが撮像入力モードである場合には、入力用データの形式と、一覧表示の形態に応じて、画像表示領域１２を分割し、それぞれの領域区分に入力用データ（以降、入力用データとは入力用文字を示す）を割り当てた撮像入力モード用データ９１を発生し、メモリ９に登録する。このあと、制御部１０は、カメラ１１を起動して、表示部７の画像表示領域１２で、一覧表示画像を含む撮像入力モード用画像の表示を行う。制御部１０は、これらの処理に関する情報は、全てメモリ９に一時保存する。

次に、ユーザは、この撮像入力モード用画像の表示をしている端末１を、図２に示すような持ち方で把持し、指示点として指示点検出手段１０３が検知可能な指先を撮像領域内にかざすことで、文字入力を開始する。

指示点検出手段１０３は、撮像領域内に、指先が存在するか否かを検出し（Ｓ６１）、存在した場合には（Ｓ６１のＹＥＳ）、制御部１０は、メモリ９に一時記憶した情報に基づいて、撮像した指先がいずれの領域区分に存在するかを示す位置情報を検出する（Ｓ６２）。

指先を検出できない場合には（Ｓ６１のＮＯ）、指示点検出手段１０３は検出するまで、監視を継続する。

ここで、制御部１０は、検出した位置情報に基づいて、メモリ９を検索し、対応する文字を抽出して入力候補データ（以降、入力候補データとは入力候補文字を示す）として選択する（Ｓ６３）。

この選択のあと、制御部１０は、決定キー８１の押下を監視し（Ｓ６４）、決定キー８１の押下を検出した場合（Ｓ６４のＹＥＳ）、この選択した入力用文字を入力文字として確定する（Ｓ６５）。決定キーの押下がなければ、監視を継続する（Ｓ６４のＮＯ）。

入力文字として確定したあと（Ｓ６５）、制御部１０はこの入力データ（以降、入力データとは入力文字を示す）を入力データ表示領域１３（図４（ａ））に表示するよう表示部７に出力する（ＥＮＤ）。

以上、本発明の第２の実施の形態の入力方法及び入力方法を用いた情報通信端末では、１つ１つの入力用データごとに、一定期間の入力判定時間を要することなく、決定キー８１の押下で即時に入力候補データを入力データとして決定することが可能となる。

したがって、入力用データの入力に要する時間を容易に短縮可能となる。
［本発明の第３の実施の形態］
次に本発明の第３の実施の形態の入力方法及び入力方法を用いた情報通信端末について図２、図７、図８、図９を用いて説明する。

本発明の第１及び第２の実施の形態では、撮像入力モードで検出する指先は一本であることを前提にして、入力操作を行っていた。

しかし、本発明の第３の実施の形態では、制御部１０’は、指示点検出手段１０３’に加えて、複数種類の指示点を区別する指示点種別判別手段１０５’をさらに有し、それぞれの指示点で入力可能な入力用データの種類（ここでは入力用文字の種類を示す）を異ならせることを特徴とする。

指示点種別判別手段１０５’は、図２の撮像領域１４に表示された指示点の種別を判別するものとして、ここでは、たとえば指が５本のうち、いずれの指であるかを判別するもの、特に以下では、複数種類の指示点として、親指と人差し指の二本の指を用いて撮像入力モードにおける入力方法について説明する。

図７は、本発明の第３の実施の形態における端末１’の構成を示すブロック図である。

本発明の第１の実施の形態、及び第２の実施の形態と異なる部分は、図７に示すように、制御部１０’に指示点種別判別手段１０５’を設けた点である。

なお、指示点の種類の判別としては、ユーザが予め、指示点と認知させたい対象物を、指示点の種別ごとに撮像してメモリ９’に記録し、この記録データと、実際の撮像入力モードにおいて、指示点検出手段１０３’で検出した指示点の撮像データとを、制御部１０’が比較して種別を判別するなど、色々な形態が考えられる。ここでは、指示点の種別とは、指の種別を示すものとする。

図８（ａ）は本発明の第３の実施の形態において、アルファベット形式の入力用データ（以降、入力用データは入力用文字を示す）の一覧表示画像を含む撮像入力モード用画像のイメージ図であり、図８（ｂ）は、メモリ９’に登録されているアルファベット形式の入力用文字に対応する撮像入力モード用データ９１’のデータマップを示すイメージ図である。

図８（ｂ）に示すように、親指（親指の指先）では大文字のアルファベットを、人差し指（人差し指の指先）で小文字のアルファベットを入力するなど、メモリ９’は、位置情報を示すｘｙ座標と、それに対応して指示点種別判別手段１０５’で判別した指の種別に応じた入力候補データ（以降、入力候補データは入力候補文字を示す）を登録している。

なお、図８（ａ）では、大文字小文字のアルファベットを両方表記しているが、制御部１０’が、指示点種別判別手段１０５’で判別した指の種別に応じて、どのように文字入力を行うのかをユーザが理解容易であれば、大文字のみの表示など、表記内容の一部を略して表示してもかまわない。

複数の指を用いた撮像入力モードにおける入力方法について、図９を用いて説明する。

図９は、複数の指を用いた撮像入力モードにおける入力方法を示すフロー図である。

まず、制御部１０’は、端末１に対して文字入力を行うとき、文字入力のモードが撮像入力モードである場合には、入力用文字の形式と、一覧表示の形態に応じて、画像表示領域１２’を分割し、それぞれの領域区分に入力用文字を割り当てた撮像入力モード用データ９１を発生し、メモリ９に登録する。このあと、制御部１０’は、撮像手段であるカメラ１１’を起動して、表示部７’の画像表示領域１２’で、一覧表示画像を含む撮像入力モード用画像の表示を行う。制御部１０’は、これらの処理に関する情報は、全てメモリ９’に一時保存する。

次に、ユーザは、この撮像入力モード用画像を表示している端末１’を、図２に示すような持ち方で把持し、指示点として指示点検出手段１０３’が検知可能な指先を撮像領域内にかざすことで、入力を開始する。

指示点検出手段１０３’は、撮像領域内に、特定の一点を示す指示点（ここでは指先を示す）が存在するか否かを検出し（Ｓ９１）、存在した場合には（Ｓ９１のＹＥＳ）、制御部１０’は、メモリ９’に一時記憶した情報に基づいて、撮像した指先が、画像表示領域１２’のいずれの領域区分に存在するかを示す位置情報を検出する（Ｓ９２）。

このあと、制御部１０’は、指示点種別判別手段１０５’で、検出した指の種別を判別する。

指示点検出手段１０３’が、画像表示領域１２’内で指先を検出できない場合には（Ｓ９１のＮＯ）、検出するまで、検出作業を継続する。

指示点種別判別手段１０５’で、撮像している指の種別を判別した後（Ｓ９３）、制御部１０’は、この画像表示領域１２’から検出した位置情報に基づいて、メモリ９’を検索し、対応する入力用文字を入力候補文字として選択する。さらに制御部１０’は、複数個存在する入力候補文字から指の種別に対応した入力候補文字の選択を行う（Ｓ９４）。

たとえば、指示点検出手段１０３’が、（６．１）の位置情報で示される領域区分で、指先を検出した場合は、制御部１０’は、入力用文字の中から、『Ｆ、ｆ』のデータを入力候補文字として選択する。

ここで、指示点種別判別手段１０５’で、指の種別が親指であると判別した場合、制御部１０’は、図８（ｂ）に示す撮像入力モード用データ９１’に基づいて、入力候補文字『Ｆ、ｆ』の中から親指に対応した『Ｆ』を入力候補文字として選択することになる。

このように、対応する入力候補文字を選択したあと、制御部１０’は、タイマ１０４’をスタートして、入力判定時間の計測を開始する（Ｓ９５）。

判定時間中、制御部１０’の指示点検出手段１０３’で、検出した指先が入力候補文字に対応する座標で示される領域から、外に出たか否かを監視する（Ｓ９６）。ここで、出た場合には（Ｓ９５のＹＥＳ）、再び指先の存在している領域区分を検出する（Ｓ９１）。

指先がこの領域区分から出ていない場合には（Ｓ９６のＮＯ）、制御部１０’は、現在計測している入力判定時間が、予め設定された入力判定時間閾値より大きいか否かを比較する（Ｓ９７）。

現在計測している入力判定時間が、予め設定された入力判定時間閾値を越えていない場合（Ｓ９７のＮＯ）、指示点検出手段１０３’は、再び指先が、選択した入力候補文字に対応する座標で示される領域区分から、外に出たか否かを監視する（Ｓ９６）。

それに対し、入力判定時間が、設定された入力判定時間閾値を越えた場合とは（Ｓ９７のＹＥＳ）、指先が一定時間、選択した入力候補文字に対応する領域区分を指し続けている状態であり、制御部１０’は、ユーザが選択した入力候補文字を選択しようとしているとみなし、この入力候補文字を入力文字として確定する（Ｓ９７）。

この後、制御部１０’はこの入力文字を入力データ表示領域１３’（図８（ａ））に表示する。

以上、本発明の第３の実施の形態の入力方法及び入力方法を用いた情報通信端末によって、複数の指を用いることで、領域の区別による文字の入力だけではなく、複数の指に対応した入力を情報通信端末１’に対して行うことができ、従ってより早く文字入力を行うことが可能となる。

なお、本発明の実施の形態における入力方法、及び入力方法を用いた情報通信端末では、アルファベット文字の入力について説明したが、日本語のひらがな入力、カタカナ入力、またその他の言語も、撮像入力モード用データ９１’に登録することで、アルファベット文字の入力方法と同様に入力可能である。

また、第２の実施の形態に示す、決定キー８１’を用いた入力方法と、第３の実施の形態に示す指示点種別判別手段１０５’を用いた入力方法を組み合わせて入力を行うことも可能である。

たとえば、親指で、画像表示領域１２’の位置情報（４．６）で示される領域区分に、親指による指示を行った場合、制御部１０’は入力候補文字として『Ｘ』を選択する。そのあとに、制御部１０’が、操作部８の決定キー８１’の押下を認めた場合、ただちに『Ｘ』は、入力文字として、入力データ表示領域１３’に出力される。
［本発明の第４の実施の形態］
次に本発明の第４の実施の形態の入力方法及び入力方法を用いた情報通信端末について図１、図１０、図１１を用いて説明する。

本発明の第１乃至第３の形態では、文字を入力する入力方法として説明した。

第４の実施の形態は、データは文字ではなく、コマンドなど特定の情報に置き換えた入力方法及び入力方法を用いた情報通信端末である。すなわち、入力用データ、入力候補データ、入力データは、それぞれ、入力用コマンド、入力候補コマンド、入力コマンドを示す。また、画像表示領域１２に表示される入力用コマンドの一覧表示画像は、メニューアイコンなど、一覧表示の形態に応じた表示形態を取る。

図１０は、本発明の撮像入力モードにおける撮像入力用画面のイメージ図である。画像表示領域１２に示された一覧表示画像は、図１０（ａ）に示すように、入力用コマンドとして、たとえば『入力用データ１』には、『発着信履歴』、『入力用データ２』には、『プレーヤー』を対応させたアイコンマークの表示一覧の画像である。

これにより、所定のアイコンマークを含む領域区分の中で、指示点検出手段１０３が、ユーザの指先を検出すると、制御部１０は、このアイコンマークに示される入力候補メニューコマンドを選択する。

たとえば、図１０（ｃ）では、指示点としての指先が存在する領域区分は、『入力用データ１』となっている。すなわち、画像表示領域１２では、指先と『発着信履歴』を示すアイコンマークが重なっているように表示されている。

このあと、タイマ１０４で測定している入力判定時間が、入力判定時間閾値を越えた場合、制御部１０は、この『発着信履歴』を示す入力用コマンドを入力候補コマンドとして選択している状態であるとみなし、この入力コマンドを出力する。すなわち、ユーザが、通常、『発着信履歴』のメニューを示すボタンを選択して押下することで実行される内容と同様の制御を行う。

図１１は、入力用データの色々な形態に応じて、画像表示領域１２に表示する撮像入力モード用画像のイメージ図である。

図１０では、入力用データとして、入力用コマンドを用いた入力用データの選択について、説明したが、メニュー機能の選択に限らず、たとえば、図１１（ａ）の発着信電話番号履歴の一覧、図１１（ｂ）のカメラで撮った画像データ一覧、図１１（ｃ）に示す、メニューコマンドに続く詳細な設定内容として挙げている音量調整なども、撮像入力モードにより入力を行うことが可能である。

このように、本発明の第４の実施の形態における入力方法、及び入力方法を用いた情報通信端末により、煩雑なボタン押下を行う処理の要る端末１に対して、ボタン押下の操作を減らし、ボタン押下のために強いられる指への負担をより軽減することが可能となる。

本発明の実施の形態における撮像入力モードを有する情報通信端末の構成例を示すブロック図である。 本発明の実施の形態において、ユーザが撮像入力モードにした端末１を用いて、文字入力を行うときのイメージ図である。 本発明の実施の形態の表示動作を説明するための図であり、（ａ）は、入力する文字を一覧表示画像を表示部７に表示した場合のイメージ図であり、（ｂ）は、通常の撮像用画像を示すイメージ図であり、（ｃ）は、撮像入力モード用画像を示すイメージ図である。 本発明の実施の形態において、（ａ）は、撮像入力モードにおいて、アルファベット形式の文字の入力用データの一覧表示画像を表示したときのイメージ図であり、（ｂ）は、メモリ９に登録されている、アルファベット形式の入力用データに対応した撮像入力モード用データのデータマップを示すイメージ図である。 本発明の第1の実施の形態の撮像入力モードの携帯情報通信端末における文字入力を行うときの処理を示すフロー図である。 本発明の第２の実施の形態の撮像入力モードの携帯情報通信端末における文字入力を行うときの処理を示すフロー図である。 本発明の第３の実施の形態における撮像入力モードを有する情報通信端末の構成例を示すブロック図である。 本発明の第３の実施の形態において、（ａ）は、撮像入力モードにおいて、アルファベット形式の入力用データを含む一覧表示画像を表示部に表示したときのイメージ図であり、（ｂ）は、メモリ９に登録されている、アルファベット形式の入力用データに対応した撮像入力モード用データのデータマップを示すイメージ図である。 本発明の第３の実施の形態の撮像入力モードの携帯情報通信端末における文字入力を行うときの処理を示すフロー図である。 本発明の第４の実施の形態の表示動作を説明するための図であり、（ａ）は、入力するコマンドの一覧表示画像を、表示部７に表示した場合のイメージ図であり、（ｂ）は、通常の撮像用画像を示すイメージ図であり、（ｃ）は、撮像入力モード用画像を示すイメージ図である。 本発明の第４の実施の形態において、色々な一覧表示の形態での一覧表示画像を撮像入力モード用画像として表示した場合を示すイメージ図であり、（ａ）は発着信電話番号履歴の一覧、（ｂ）はカメラで撮った画像データ一覧、（ｃ）は音量データの一覧を示すイメージ図である。

符号の説明

１ 情報通信端末
１’ 情報通信端末
２ スピーカ
２’ スピーカ
３ マイク
３’ マイク
４ 音声処理部
４’ 音声処理部
５ 無線通信部
５’ 無線通信部
６ アンテナ
６’ アンテナ
７ 表示部
７’ 表示部
８ 操作部
８’ 操作部
８１ 決定キー
８１’決定キー
９ ＲＡＭ（メモリ）
９’ ＲＡＭ（メモリ）
９１ 撮像入力モード用データ
９１’ 撮像入力モード用データ
１０ 制御部
１０’ 制御部
１０１ ＣＰＵ
１０１’ ＣＰＵ
１０２ ＲＯＭ（メモリ）
１０２’ ＲＯＭ（メモリ）
１０３ 指示点検出手段
１０３’ 指示点検出手段
１０４ タイマ
１０４’ タイマ
１０５’ 指示点種別判別手段
１１ カメラ
１１’ カメラ
１２ 画像表示領域
１３ 入力データ表示領域
１４ 撮像領域

Claims (12)

1. 撮像手段と、
   前記撮像手段で作成した撮像データと複数個の入力用データとを入力用画像として重ねて表示可能な画像表示領域を含み、前記画像表示領域を、前記入力用データに対応する領域区分ごとに分割して表示する表示手段と、
   それぞれの領域区分を示す情報と、その領域区分に表示された入力用データとを対応付けて登録する記憶手段と、
   前記入力用画像に特定の一点を示す指示点が含まれている場合、前記指示点を検出する指示点検出手段と、
   前記指示点検出手段による前記指示点の検出に応じて、前記指示点が含まれる前記領域区分を示す前記情報を検出し、前記記憶手段から、前記情報に対応する入力用データを選択する制御手段とを含む情報通信端末。
2. 前記情報通信端末は、さらに指示点検出手段で検出した指示点の種別を判別する指示点種別判別手段を含み、
   前記制御手段は、前記選択された前記入力用データから、前記指示点種別判別手段で判別した前記指示点の種別に対応した前記入力用データをさらに選択する請求項１に記載の情報通信端末。
3. 一定時間以上、前記制御手段が検出する前記情報に変化がない場合、前記制御手段は、前記選択した前記入力用データを確定して、出力する請求項１乃至２のいずれか１項に記載の情報通信端末。
4. 前記情報通信端末は、さらに決定キーを含み、前記制御手段は、前記入力用データが選択された状態で、前記決定キーを押下することで、前記入力用データを確定して出力する請求項１乃至２のいずれか１項に記載の情報通信端末。
5. 前記指示点検出手段は、前記入力用画像に、棒状の対象物を検知した場合、前記棒状の対象物の先端部分を、前記指示点として検出する請求項１乃至４のいずれか１項に記載の情報通信端末。
6. 前記指示点検出手段は、前記指示点として、ユーザの指先を検出する請求項５に記載の情報通信端末。
7. 前記記憶手段は、前記情報に対応する前記入力用データとして、前記情報通信端末の制御に関する指示を登録し、前記制御部は、前記選択された入力用データに対応する前記指示を出力する前記請求項１乃至６のいずれか１項に記載の情報通信端末。
8. 撮像手段で作成した撮像データと複数の入力用データの一覧とを表示手段に表示し、指示点検出手段が、前記撮像データから特定の一点を示す指示点を検出し、前記指示点で示される入力用データを選択する入力方法。
9. 前記入力方法は、さらに指示点の種別に対応して複数個の入力用データを有し、前記指示点の種別に応じて、前記複数個の入力用データから、指示点の種別に対応した入力用データを選択する請求項８に記載の入力方法。
10. 前記指示点検出手段が検出する前記指示点が、前記特定の入力用データを継続して指示している場合、前記入力用データを確定して出力する請求項８乃至９のいずれか１項に記載の入力方法。
11. 前記入力用データが選択された状態で、情報通信端末が有する決定キーを押下することで、前記入力用データを確定して出力する請求項８乃至９のいずれか１項に記載の入力方法。
12. 前記入力用データは、前記情報通信端末を制御するための指示コマンドであり、前記選択された入力用データを、前記入力データとして、前記情報通信端末への指示コマンドを出力する請求項８乃至１１のいずれか１項に記載の入力方法。

Images