JP2007042020A - 携帯端末及びプログラム - Google Patents

Abstract

【課題】
カメラを利用し、手指の動きによって非接触式の操作を可能とする携帯端末用の入力インタフェースの操作性の向上を図る。
【解決手段】
カメラから入力される判定対象物の移動軌跡と、携帯端末に実行させる特定動作とを関連付けて記憶する移動軌跡記憶部を備えたカメラ付きの携帯端末において、所定の判定エリアにセットされた判定対象物の特徴点と、判定開始後入力される判定対象物の特徴点とに基づいて、前記判定対象物の移動軌跡を算出し、該判定対象物の移動軌跡に応じた特定動作を実行する手段と、少なくとも、前記判定対象物の移動軌跡の判定中であることを、ユーザに対して通知する手段と、を備える。
【選択図】
図１

Description

本発明は、カメラを備えた携帯端末及びプログラムに関し、特に、そのカメラを利用した入力インタフェースを実現する技術に関する。

近年の携帯電話機に代表される携帯端末はメールの作成やＷｅｂ閲覧に利用される機会が増えているが、パーソナルコンピュータに比べると操作性は決して良いとはいえない。また手の不自由な障害者にとっては、操作はより厳しいものとなっている。こうした携帯機器におけるボタンに代る入力インタフェースとして、特開２００２−４９４５５号公報の入力インタフェース装置が知られている。同公報には、撮像装置を用いて操作者の手指の動きの軌跡を抽出する入力インタフェースを備えた携帯情報機器が開示されている。

特開２００２−４９４５５号公報

カメラを用いた入力インタフェースが各種提案されてはいるが、当該入力インタフェース自体の使い勝手に改善の余地が残されている。例えば、上記特許文献１では、当該入力インタフェースを用いて手指等の撮像を開始する際に、空いた方の手で開始ボタン等を押さなければならない構成となっている。

また、上記特許文献１のように、手指等の軌跡自体を入力内容とし、その結果が常に表示手段に反映されるような場合には直ちに表示手段で入力インタフェースの動作状態を確認できるから良いが、入力内容が表示手段に反映されない性質の動作指令であり、当該動作によって動作音が作動しない場合には、ユーザは別途ボタン操作等を行って正しく入力が完了したか否かを確認しなければならないという矛盾が出てきてしまう。このとき、冒頭に述べたとおり携帯端末では細かい操作が煩雑であるという問題点、連続した入力が難しいという問題点も残っている。

本発明は、上記した事情に鑑みてなされたものであって、その目的とするところは、カメラを利用した入力インタフェースであって、少なくとも当該入力インタフェースの入力受付状態を確認しながら入力を行うことのできる入力インタフェースを備えた携帯端末及びそのプログラムを提供することにある。

本発明の第１の視点によれば、カメラから入力される判定対象物の移動軌跡と、携帯端末に実行させる特定の動作とを関連付けて記憶する移動軌跡記憶部を備えて、前記判定対象物の動きに応じて選択される動作を実行可能とするとともに、少なくとも、前記判定対象物の移動軌跡の判定中（判定開始から終了まで）であることをユーザに報知できるようにした携帯端末が提供される。より具体的には、前記携帯端末が、所定の判定開始エリアにセットされた判定対象物の特徴点と、判定開始後入力される判定対象物の特徴点とに基づいて、前記判定対象物の移動軌跡を算出し、該判定対象物の移動軌跡に応じた特定の動作を実行する手段と、ユーザに対して前記判定対象物の移動軌跡の判定中であることを通知する手段と、を備えて構成される。

また、本発明の第２の視点によれば、カメラから入力される判定対象物の動きと、携帯端末に実行させる特定の動作とを関連付けて記憶する特定の動作記憶部を備えた携帯端末に内蔵されたコンピュータに実行させるプログラムであって、所定の判定開始エリアにセットされた判定対象物の特徴点と、判定開始後入力される判定対象物の特徴点とに基づいて、前記判定対象物の移動軌跡を算出し、少なくとも、前記判定対象物の移動軌跡の判定中であることをユーザに対して通知する処理と、を前記コンピュータに実行させる携帯端末用プログラムが提供される。

本発明によれば、入力の受付状態を確認しながら連続入力を行うことが可能となり、カメラを利用した入力インタフェースの適用用途を拡げることが可能となる。

続いて、本発明を実施するための最良の形態について図面を参照して詳細に説明する。図１は、本発明の第１の実施形態に係る携帯電話端末の概略構成を表した図である。図１を参照すると、本実施形態に係る携帯電話端末１００は、上部筐体と下部筐体の２つ折り形式からなり、その上部筐体側のディスプレイ２０の側方に配されたカメラ１０と、下部筐体側に番号ボタンや各種機能ボタンを含んだ入力キー３０とを備えた構成となっている。

そして、開いた状態の携帯電話端末１００を机等に定置した状態で、手指２００の動き（移動軌跡）をカメラ１０に読み取らせることによって、携帯電話端末１００をして、所定宛先への電話発信、オフフック動作、録音メッセージの再生等の電話機能に関連する諸操作、電子メール関連の諸操作、Ｗｅｂ閲覧関連の諸操作、カメラの撮像操作等の動作を行わせることが可能になっている。またこの間、ユーザはディスプレイ２０を見ながら指を動かすことができるので、希望通りの操作（手指の動き）が行えていることをディスプレイで確認することができるようになっている。

図２は、本実施形態に係る携帯電話端末の詳細構成を表した図である。図２を参照すると、本実施形態に係る携帯電話端末１００は、前述したカメラ１０、ディスプレイ２０の他に、カメラＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）４１と、個人色彩情報取得部４２と、特徴点抽出部４３と、指画像情報加工部４４と、個人色彩データ（記憶部）４５と、移動基準点算出部４６と、移動軌跡算出部４７と、移動軌跡データ（記憶部）４８と、移動軌跡比較部４９と、操作コマンド処理部５０と、を備えている。

カメラＤＳＰ４１は、カメラ１０により撮像された指画像カラー画像（ＲＧＢ画像）に変換する手段である。

個人色彩情報取得部４２は、ユーザの指を接写し、携帯使用ユーザの皮膚（指）の色彩情報を取得するための手段である。より具体的には、個人色彩情報取得部４２は、カメラＤＳＰ４１から送られたユーザの指画像カラー画像（ＲＧＢ画像）から個人色彩情報（ユーザ肌色情報）を抽出し、携帯電話端末１００のメモリに構成された個人色彩データ（記憶部）４５に保存する手段である。

指画像情報加工部４４は、カメラＤＳＰ４１から送られた指画像カラー画像（ＲＧＢ画像）と、個人色彩情報取得部４２で予め取得された個人色彩データとを照合し、カメラで取得された指画像カラー画像（ＲＧＢ画像）から、ユーザの個人色彩情報（ユーザ肌色情報）に近い部分を抽出し指部分を得る手段である。

また、本実施形態に係る携帯電話端末１００は、特徴点抽出部４３を備えており、前記個人色彩データが未登録であっても、指部分を抽出できるよう構成されている。特徴点抽出部４３は、ユーザの手指の先端に装着された特徴的な図形をエッジ処理等の画像処理にて抽出する手段である。

移動基準点算出部４６は、前記した指画像情報加工部４４、特徴点抽出部４３のいずれかにより抽出された指部分から手指の中心点等の基準点（座標情報）を算出する手段である。

移動軌跡算出部４７は、移動基準点算出部４６より送られてきた手指の中心点から移動軌跡を算出する手段である。

移動軌跡データ（記憶部）４８は、手指の移動軌跡と、携帯電話端末１００に実行させる特定の動作（以下、特定動作ともいう）とを関連付けたデータを格納する手段である。手指の移動軌跡と、前記特定動作との関連付けは、出荷前に基本的なものを設定しておいてもよいし、携帯電話端末のカスタマイズ機能の一つとして、手指の動きの記録モードを設けて、記録した手指の動き（移動軌跡）と前記特定動作との関連付けを自由に行いうるようにしてもよい。

移動軌跡比較部４９は、移動軌跡算出部４７で算出された手指の移動軌跡と、移動軌跡データ（記憶部）４８の内容とを比較・照合して一定の誤差内にある移動軌跡データを抽出する手段である。

操作コマンド処理部５０は、移動軌跡比較部４９より指定された移動軌跡データに関連付けられた特定動作を実行する手段である。また、操作コマンド処理部５０は、ディスプレイ２０に、特定動作に対応し、例えば、「宛先ｘｘｘへ電話発信中です。」、「通話中です。」といった表示を行う。

以上のカメラＤＳＰ４１、個人色彩情報取得部４２、特徴点抽出部４３、指画像情報加工部４４、移動基準点算出部４６、移動軌跡算出部４７と、移動軌跡比較部４９、操作コマンド処理部５０は、携帯電話端末１００に内蔵されたマイクロコンピュータに実行させるコンピュータプログラム又は専用チップにより構成することができる。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図３は、本実施形態に係る携帯電話端末のカメラ操作モードの動作条件設定の流れを表したフローチャートである。図３を参照すると、まず、ユーザがカメラを起動し（ステップＳ００１）、カメラを利用した遠隔操作モード（カメラ操作モード）への移行操作を実行する（ステップＳ００２）と、携帯電話端末１００は、個人色彩情報を利用した操作を行うか否かの選択を受け付ける（ステップＳ００３）。

ステップＳ００３で個人色彩情報を利用した操作が選択された場合には（ステップＳ００３のＹＥＳ）、携帯電話端末１００は、個人色彩情報が携帯電話端末１００のメモリに登録されているか否かを確認する（ステップＳ００４）。

ステップＳ００４で、個人色彩情報が未登録である場合には、（ステップＳ００４のＮｏ）、携帯電話端末１００は、個人色彩情報取得部４２を起動し、ユーザの手指を接写し、皮膚（指）の個人色彩データ（肌色情報）を取得する（ステップＳ００５）。

図４は、図３の動作条件設定後の携帯電話端末のカメラ操作モードにおける処理の流れを表したフローチャートである。上記のようにして、カメラ操作モードの動作条件が選択されると、携帯電話端末１００は、移動基準点算出部４６を起動して、カメラ１０から入力された画像から手指の基準点を算出し（ステップＳ１０１）、前記基準点がカメラ１０の撮像可能範囲内に設けられた所定の判定（開始）エリア内に入っていれば（ステップＳ１０２のＹｅｓ）、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）の点灯、報知音による判定開始報知動作を実行する（ステップＳ１０３）。

携帯電話端末１００は、移動基準点算出部４６によるカメラ１０から入力された画像から手指の基準点の算出を継続して行う（ステップＳ１０４）。ここで、一定時間手指の移動が全く見られない（前記判定（開始）エリア内にある）場合は、携帯電話端末１００は、カメラ操作モードを終了する（ステップＳ１０５のＹｅｓ）。このほか図示しないが、携帯電話端末の折り畳み動作や、所定のカメラ操作モードの終了操作が行われた場合にもカメラ動作モードの終了が行われる。

そして、手指の基準点が判定（開始）エリアから一度出た後判定（開始）エリアに戻ってくる等して手指の移動の終了が認められると（ステップＳ１０６のＹｅｓ）、携帯電話端末１００は、移動軌跡算出部４７を起動して、手指の移動軌跡を算出し（ステップＳ１０７）、移動軌跡データ（記憶部）４８に一致するデータがあるか否かを確認する（ステップＳ１０８）。一方、手指の移動が終了していない場合（ステップＳ１０６のＮｏ）は、携帯電話端末１００は、ステップＳ１０４に戻って手指の基準点算出を続行する。

ステップＳ１０８で一致するデータがあった場合（ステップＳ１０８のＹｅｓ）、携帯電話端末１００は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）の点灯、報知音による判定終了報知動作を実行する（ステップＳ１０９）。この判定終了報知動作は、ステップＳ１０３の判定開始了報知動作と異なる動作であることが望ましいが、同一であっても差し支えない。

一方、ステップＳ１０８で一致するデータがなかった場合（ステップＳ１０８のＮｏ）は、携帯電話端末１００は、ステップＳ１０１に戻って手指の移動軌跡算出を再試行する。

続いて、携帯電話端末１００は、手指の移動軌跡に対応する移動軌跡データに定められた特定動作を実行し（ステップＳ１１０）、ステップＳ１０１に戻って次の手指による遠隔操作の受付を開始する。

以上にように、手指を自在に移動するだけで、携帯電話端末に所望の動作を行わせることのできるマンマシン・インターフェースが提供される。また、本発明は、携帯電話端末に限ってみても、上記した通話機能、電子メール機能、Ｗｅｂ閲覧機能、カメラ機能の入力インタフェースのほか、ゲーム等のインタフェースとしても利用することができる。

また、上記した実施形態では、個人毎の色彩情報（肌色情報）を利用して手指の基準点（中心点）を算出する方式を採っているため、処理速度の向上が見込まれ、計算リソース等の面で制約の大きい携帯端末に好適なものとなっている。これは、特許文献１のように、輪郭線を探索して手指の輪郭線を抽出し、画像間の比較を行うという負荷の大きい方式に対して大きな利点となっている。また、上記利点は、端的には軌跡抽出処理が終了し操作内容が特定された段階等で行う報知動作の応答性にも貢献している。

また、上記した実施形態では、手指の基準点が判定（開始）エリア内に入っていることを携帯端末のＬＥＤ点灯等により操作者に知らせて軌跡抽出処理を開始し、軌跡抽出処理が終了し操作内容が特定された段階で、操作者に再度通知する構成としているため、カメラ操作モードにおいて確定動作のためのキー操作が不要化されている。もちろん、特許文献１のように、入力された画像と基準点の位置を示す画像を重ねて表示させること、操作者に判定開始時におけるボタン操作を排除するものではないが、例えば、カメラ操作モードの終了コマンドに対応する移動軌跡データを登録しておけば、ユーザはカメラ操作モードの選択後は一切キーに触れること無く携帯端末の操作を完結することができるという画期的な構成が提供される。

更に、上記した実施形態では、軌跡抽出処理が終了し操作内容が特定された段階で通報動作を行うことによって、判定中であることをユーザに通知することとしているが、軌跡抽出中にＬＥＤ等を点灯し、軌跡抽出処理が終了し操作内容が特定された段階で、前記ＬＥＤを消灯する、報知音を出力する等、各種態様にて実現することができる。また、操作内容に応じて定めた報知音や、操作内容を示す音声メッセージを出力するようにしてもよい。

また、上記した実施形態では、手指乃至手指に装着する特徴的な図形を判定対象物としたが、その他携帯端末の用途やユーザの利用状況に応じて、その他の身体部位やマーカー等を判定対象物として用いることが可能であることはいうまでもない。

以上説明した本発明の特徴・利点に照らせば、本発明は各種携帯機器に適用可能であり、上記実施形態で例示した携帯電話端末に限られるものでないことは明らかである。

本発明の第１の実施形態に係る携帯電話端末の概略構成を表した図である。 本発明の第１の実施形態に係る携帯電話端末の詳細構成を表した図である。 本発明の第１の実施形態に係る携帯電話端末のカメラ操作モードの動作条件設定の流れを表したフローチャートである。 本発明の第１の実施形態に係る携帯電話端末のカメラ操作モードにおける処理の流れを表したフローチャートである。

符号の説明

１０ カメラ
２０ ディスプレイ
３０ 入力キー
４１ カメラＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
４２ 個人色彩情報取得部
４３ 特徴点抽出部
４４ 指画像情報加工部
４５ 個人色彩データ（記憶部）
４６ 移動基準点算出部
４７ 移動軌跡算出部
４８ 移動軌跡データ（記憶部）
４９ 移動軌跡比較部
５０ 操作コマンド処理部
１００ 携帯電話端末
２００ 手指

Claims (11)

1. カメラから入力される判定対象物の移動軌跡と、前記携帯端末に実行させる特定の動作とを関連付けて記憶する移動軌跡記憶部を備えた携帯端末であって、
   所定の判定開始エリアにセットされた判定対象物の特徴点と、判定開始後入力される判定対象物の特徴点とに基づいて、前記判定対象物の移動軌跡を算出し、該判定対象物の移動軌跡に応じた特定の動作を実行する手段と、
   少なくとも、前記判定対象物の移動軌跡の判定中であることを、ユーザに対して通知する手段と、
   を備えたこと、を特徴とする携帯端末。
2. 更に、前記判定対象物の移動軌跡に応じて実行された特定の動作に関する情報を出力すること、
   を特徴とする請求項１に記載の携帯端末。
3. 更に、前記判定対象物の移動軌跡と、特定の動作とを関連付けて登録する手段を備えて、前記判定対象物の移動軌跡に応じて実行させる特定の動作を自由に設定できるようにしたこと、
   を特徴とする請求項１又は２に記載の携帯端末。
4. 更に、携帯端末ユーザの身体の特定部位の色彩情報を保持する個人色彩情報記憶部と、
   前記携帯端末ユーザの身体の特定部位の色彩情報に基づいて、前記特定部位を撮像した画像から前記携帯端末ユーザの身体の特定部位の像を抽出する手段と、を備え、
   前記判定対象物とする前記携帯端末ユーザの身体の特定部位の動きによって、特定の動作の実行指示を受付可能としたこと、
   を特徴とする請求項１乃至３いずれか一に記載の携帯端末。
5. 更に、携帯端末ユーザの身体の特定部位の色彩情報を保持する個人色彩情報記憶部と、
   、
   前記携帯端末ユーザの身体の特定部位の色彩情報に基づいて、前記携帯端末ユーザの身体の特定部位の基準点を逐次算出し、前記基準点群によって特定される移動軌跡を算出する手段と、を備え、
   前記判定対象物とする前記携帯端末ユーザの身体の特定部位の動きによって、特定の動作の実行指示を受付可能としたこと、
   を特徴とする請求項１乃至３いずれか一に記載の携帯端末。
6. 前記カメラによる実行指示の受付を終了させるコマンドと、該コマンドに対応する判定対象物の移動軌跡と、が前記移動軌跡記憶部に登録されていること、
   を特徴とする請求項１乃至５いずれか一に記載の携帯端末。
7. カメラから入力される判定対象物の移動軌跡と、前記携帯端末に実行させる特定の動作とを関連付けて記憶する移動軌跡記憶部を備えた携帯端末に内蔵されたコンピュータに実行させるプログラムであって、
   所定の判定開始エリアにセットされた判定対象物の特徴点と、判定開始後入力される判定対象物の特徴点とに基づいて、前記判定対象物の移動軌跡を算出し、該判定対象物の移動軌跡に応じた特定の動作を実行する処理と、
   少なくとも、前記判定対象物の移動軌跡の判定中であることを、ユーザに対して通知する処理と、
   を前記コンピュータに実行させる携帯端末用プログラム。
8. 更に、前記判定対象物の移動軌跡に応じて実行された特定の動作に関する情報を出力する処理を、前記コンピュータに実行させ、
   前記判定対象物の移動軌跡に応じて実行した特定の動作を確認できるようにしたこと、
   を特徴とする請求項７に記載の携帯端末用プログラム。
9. 更に、前記判定対象物の動きに応じて実行させる特定の動作の設定入力を受け付けて前記移動軌跡記憶部に登録する処理を前記コンピュータに実行させ、
   前記判定対象物の移動軌跡に応じて実行させる特定の動作を自由に設定できるようにしたこと、
   を特徴とする請求項７又は８に記載の携帯端末用プログラム。
10. 予め撮像された前記携帯端末ユーザの身体の特定部位の色彩情報に基づいて、前記特定部位を撮像した画像から前記携帯端末ユーザの身体の特定部位の像を抽出する処理を前記コンピュータに実行させ、
    前記判定対象物とする前記携帯端末ユーザの身体の特定部位の動きによって前記特定の動作の実行指示を受付可能としたこと、
    を前記コンピュータに実行させる請求項７乃至９いずれか一に記載の携帯端末用プログラム。
11. 予め撮像された前記携帯端末ユーザの身体の特定部位の色彩情報に基づいて、前記携帯端末ユーザの身体の特定部位の基準点を逐次算出し、前記基準点群によって特定される移動軌跡を算出する処理を前記コンピュータに実行させ、
    前記判定対象物とする前記携帯端末ユーザの身体の特定部位の動きによって前記特定の動作の実行指示を受付可能としたこと、
    を前記コンピュータに実行させる請求項７乃至９いずれか一に記載の携帯端末用プログラム。

Images