JP2009260907A - 携帯端末装置、端末操作方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】ユーザにとって簡易で、端末に接触することなく直感的に素早く操作を行うことが可能な携帯端末装置を提供する。
【解決手段】携帯端末装置は、ユーザが表示画面を閲覧している状態で、端末の非接触操作に用いる対象物の動作を検出する操作動作検出部と、ユーザによる非接触操作の開始及び終了を切り換える入力を受け付けるキー入力部と、操作動作検出部により検出された対象物の動作の内容及びキー入力部による入力内容に基づいて、端末に対する非接触の機能操作を実行する機能操作部と、を有する。
【選択図】図１

Description

本発明は、携帯端末装置、端末操作方法、プログラム、及び記録媒体に関し、特に、画面表示を含む諸機能の操作に好ましく適用される技術に関するものである。

近年、携帯電話機に代表される携帯端末装置は、メールの作成やウェブページ閲覧に利用される機会が増えているが、パーソナルコンピュータと比較してその操作性は決して良いとはいえない。例えば、携帯端末装置の大きさの限られた画面でウェブページやドキュメント、画像等を閲覧する場合、表示内容の全体と細部を把握するために、表示内容を拡大あるいは縮小したりスクロールしたりする機能がある。その操作をキーボードから行う場合、パーソナルコンピュータ用のマウス等に比べると、直感的に素早く操作することが困難であった。さらに、タッチパネルによる入力では、ペンを使用する場合にはペンを取り出す手間がかかるだけでなく、ペンを紛失する可能性がある。また、タッチパネルに直接指を触れると、汚れが付着して画面が見えにくくなり、見た目も悪くなってしまう。

これに対して、例えば特許文献１では、カメラを利用し、手指の動きによって非接触式の操作を可能とする携帯端末用入力インターフェースの操作性の向上を図った技術が開示されている。当該技術は、カメラから入力される判定対象物（手指）の移動軌跡と携帯端末に実行させる特定動作とを関連付けて記憶する移動軌跡記憶部を備えるカメラ付き携帯端末に関するものである。そして、該携帯端末は、所定の判定エリアにセットされた手指の特徴点及び判定開始後に入力される手指の特徴点に基づいて、手指の移動軌跡を算出し、該移動軌跡に応じた特定動作を実行する手段と、少なくとも手指の移動軌跡の判定中であることをユーザに通知する手段と、を備える。
特開２００７−４２０２０号公報

特許文献１で開示された技術では、手指の移動軌跡の算出に際して、移動前後の画像同士を比較して行うのではなく、ユーザ個人ごとの色彩情報（肌色情報）を用いて求めた手指の基準点（中心点）を利用して移動軌跡を算出している。この手法では、画面に対して手指を接近させたり離間させたりする動作を把握することは困難である。携帯端末装置を直感的に操作するためには、同一平面上の上下左右の動作のみならず、前後（手前や奥）の動作についても機能操作と結び付くようにする必要がある。

そこで、本発明は、上述した事情に鑑みて、ユーザにとって簡易で、端末に接触することなく直感的に素早く操作を行うことが可能な携帯端末装置、端末操作方法等を提供することを目的とする。

かかる目的を達成するために、本発明の携帯端末装置は、ユーザが表示画面を閲覧している状態で、端末の非接触操作に用いる対象物の動作を検出する操作動作検出部と、ユーザによる非接触操作の開始及び終了を切り換える入力を受け付けるキー入力部と、操作動作検出部により検出された対象物の動作の内容及びキー入力部による入力内容に基づいて、端末に対する非接触の機能操作を実行する機能操作部と、を有する。

また、本発明の端末操作方法は、ユーザが表示画面を閲覧している状態で、端末の非接触操作に用いる対象物の動作を検出する操作動作検出ステップと、ユーザによる非接触操作の開始及び終了を切り換える入力を受け付けるキー入力ステップと、操作動作検出ステップにより検出された対象物の動作の内容及びキー入力ステップによる入力内容に基づいて、端末に対する非接触の機能操作を実行する機能操作ステップと、を有する。

また、本発明のプログラムは、携帯端末装置に用いられるプログラムであって、コンピュータに、ユーザが表示画面を閲覧している状態で、端末の非接触操作に用いる対象物の動作を検出する操作動作検出機能と、ユーザによる非接触操作の開始及び終了を切り換える入力を受け付けるキー入力機能と、操作動作検出機能により検出された対象物の動作の内容及びキー入力機能による入力内容に基づいて、端末に対する非接触の機能操作を実行する機能操作機能と、を実現させる。

また、本発明の記録媒体は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、ユーザにとって簡易で、端末に接触することなく直感的に素早く操作を行うことが可能となる。

本発明では、携帯端末装置において、カメラあるいはセンサで検出したユーザの指の動作とユーザによるキー操作とを組み合わせて、携帯端末装置の操作を行う機能を提供する。すなわち、本発明が適用される携帯端末装置では、ウェブページやドキュメント、画像等を表示する表示部、開始キーからのキー入力を検出する開始キー入力部、カメラで取得した１つの指の画像を監視する指動作監視部、そして、開始キー入力部で入力されたキー入力情報及び指動作監視部で監視された１つの指の画像に基づいて機能操作を行う機能操作部を備えるように構成することができる。

以下、図面を参照しながら、本発明の実施形態について詳細に説明する。

［実施形態１］
図１は、本発明の第１の実施形態の携帯電話機の外観を示す斜視図である。図１に示すように、携帯電話機１０１は、キーボード１１６、開始キー１１６ａ、表示部１１８、カメラ１２０を備えている。

キーボード１１６は、例えばデータ送受信の対象となる情報の入力や、携帯電話機１０１の操作を行う機能を有する。開始キー１１６ａは、本実施形態における入力処理（非接触操作処理）を開始するためのキーである。

表示部１１８は、白黒若しくはカラーの液晶パネル又は有機ＥＬ（Electro Luminescence：電子蛍光）からなる。

カメラ１２０は、ＣＣＤ（Charge-Coupled Device：電荷結合素子）等のセンサであり、画像の取得を行う機能を有する。また、カメラ１２０は、図１に示すように、ユーザの指を撮像し、後述するように、指の撮像結果に基づいて１つの指を認識し、表示部１１８の画面に対する指の平行な移動（同一平面上の上下左右等の動き）や、接近あるいは離反（ある地点（平面）から手前や奥への動き）を判断するのに使用される。

図２は、本実施形態の携帯電話機１０１の回路構成の要部を表したブロック図である。図２に示すように、携帯電話機１０１の回路１１０は、制御部１１１、ＲＯＭ（Read Only Memory）１１３、ＲＡＭ（Random Access Memory）１１４、キー入力部１１５、表示制御部１１７、カメラ制御部１１９を有し、各部はバス１１２を介して接続される。

キー入力部１１５は、開始キー１１６ａを含むキーボード１１６と接続され、キーボード１１６と開始キー１１６ａからの入力を受け付ける入力回路である。表示制御部１１７は，表示部１１８と接続され、表示部１１８の制御回路である。カメラ制御部１１９は、カメラ１２０と接続され、カメラ１２０の制御回路である。

制御部１１１は、ＣＰＵ（Central Processing Unit：中央処理装置）からなり、バス１１２を介して、回路１１０内の各部と接続され、各部の制御を行う。ＲＯＭ１１３は、制御部１１１が実行するための各種の制御用プログラム、固定的なデータを格納する。ＲＡＭ１１４は作業用メモリであり、ＣＰＵがプログラムを実行する上で一時的に必要とされるデータを格納する。

ユーザが携帯電話機１０１の操作を行う際の処理について説明する。図３は、本実施形態における非接触での端末操作の処理の流れを示したフローチャートである。

まず、制御部１１１は、表示制御部１１７により表示部１１８にウェブページやドキュメント、画像等を表示させる（ステップＳ１）。

次いで、ユーザが開始キー１１６ａを押下する（ステップＳ２／ＹＥＳ）と、制御部１１１は、カメラ制御部１１９によりカメラ１２０にユーザの指の画像を取得させ、該画像を用いて指の動作を監視する（ステップＳ３）。

そして、制御部１１１は、ユーザの１つの指の存在を確認でき（ステップＳ３／ＹＥＳ）、その指の動きを確認できたら（ステップＳ４／ＹＥＳ）、指の移動方向の判定を行う（ステップＳ５）。逆に、１つの指が確認できない場合（ステップＳ３／ＮＯ）やその指の動きを確認できない場合（ステップＳ４／ＮＯ）は、開始キー押下の確認（ステップＳ２）に戻る。

指の移動方向の判定（ステップＳ５）では、制御部１１１は、１つの指の移動方向が表示部１１８の画面と平行か否か、すなわち１つの指の動きが同一平面上を上下、左右、斜め等に移動するものであるかを判断する。移動方向が画面と平行である、つまり同一平面上の上下左右等の移動である場合（ステップＳ５／ＹＥＳ）は、制御部１１１は、表示制御部１１７により表示内容を指の移動方向にスクロールする表示処理を行う（ステップＳ６）。

他方、制御部１１１は、指の移動方向が画面と平行でない場合（ステップＳ５／ＮＯ）は、指が画面に接近したり離間したりする動作と判断する（ステップＳ７）。そして、指の移動方向が表示部１１８の画面に接近するものである判定した場合（ステップＳ７／ＹＥＳ）は、制御部１１１は、表示制御部１１７により画面の表示内容を縮小する表示処理を行う（ステップＳ８）。

指の移動方向が表示部１１８の画面に接近するものでないときは離反するものと判断し（ステップＳ７／ＮＯ）、制御部１１１は、表示制御部１１７により表示部１１８の表示内容を拡大する表示処理を行う（ステップＳ９）。

そして、開始キー１１６ａが押下された状態かどうかを確認し、押下されている場合に（ステップＳ１０／ＹＥＳ）は、１つの指の存在及びその指の動作の確認に移行して上記の処理を繰り返す（ステップＳ３〜ステップＳ９）。開始キー１１６ａが押下されていない場合（ステップＳ１０／ＮＯ）は処理を終了する。

［実施形態２］
次に本発明の第２の実施形態の携帯電話機について説明する。本実施形態は、一定時間内の指の移動量に応じて画面スクロールを行うものである。図３に、本実施形態の携帯電話機の回路構成の要部を表したブロック図を示す。本実施形態の携帯電話機の回路２１０は実施形態１とほぼ同じ構成で、タイマ部１２１を有する点で異なる。タイマ部１２１は、指の位置を監視するタイミングを得るための計時回路である。なお、その他の構成は実施形態１と同様であるため説明を省略する。

続いて、ユーザが本実施形態の携帯電話機の操作を行う際の処理について説明する。図５は、本実施形態における非接触での端末操作の処理の流れを示したフローチャートである。

まず、制御部１１１は、表示制御部１１７により表示部１１８にウェブページやドキュメント、画像等を表示させる（ステップＳ２１）。次いで、制御部１１１は、ユーザによる開始キー１１６ａの押下でカメラ制御部１１９によりユーザの指の画像を取得させて監視を開始する（ステップＳ２２／ＹＥＳ）。そして、ユーザの１つの指の存在を確認できたら（ステップＳ２３／ＹＥＳ）、制御部１１１は、カメラ制御部１１９により指の位置・大きさの情報を取得し、動作基準値としてＲＡＭ１１４に保存する（ステップＳ２４）。

動作基準値は、指が動作する前の初期状態（位置・大きさ）を表すデータであり、一定期間ごとに取得される移動後の指の状態（位置・大きさ）との比較に用いられる基準データである。移動後の指の状態と移動前の指の状態とを比較することで、移動方向や移動量を把握することができる。またここで、指の位置情報とは例えば指の位置の座標値を意味し、指の大きさ情報とは例えば指の幅や長さなどで表される指のサイズを意味する。

フローに戻ると、一定時間が経過したとき（ステップＳ２５／ＹＥＳ）、制御部１１１は、再び指の位置・大きさの情報を取得し、動作基準値と比較して指の移動方向・移動量を算出する（ステップＳ２６）。すなわち、取得した値が動作基準値と同じときは指の位置が移動しなかったとして画面スクロールを行わず（ステップＳ２７／ＮＯ）、２つの値が異なるときは指の位置が移動したものとして指がどのように移動したか判定する（ステップＳ２７／ＹＥＳ）。

指がどのように移動したかの判定は実施形態１と同様に行う。つまり、制御部１１１は、まず１つの指の移動方向が表示部１１８の画面と平行か否かを判断し、移動方向が画面と平行である場合（ステップＳ２８／ＹＥＳ）に、表示制御部１１７により表示内容を指の移動方向にスクロールする表示処理を行う（ステップＳ２９）。このとき、一定時間経過後に求めた移動量に応じた分の画面スクロールを行う。

他方、制御部１１１は、指の移動方向が画面と平行でない場合（ステップＳ２８／ＮＯ）は、指が画面に接近したり離間したりする動作と判断する（ステップＳ３０）。そして、指の移動方向が表示部１１８の画面に接近するものである判定した場合（ステップＳ３０／ＹＥＳ）は、制御部１１１は、表示制御部１１７により画面の表示内容を縮小する表示処理を行う（ステップＳ３１）。このとき、一定時間経過後に求めた移動量に応じた縮小倍率で画面の縮小表示を行う。

指の移動方向が表示部１１８の画面に接近するものでないときは離反するものと判断し（ステップＳ３０／ＮＯ）、制御部１１１は、表示制御部１１７により表示部１１８の表示内容を拡大する表示処理を行う（ステップＳ３２）。このとき、一定時間経過後に求めた移動量に応じた拡大倍率で画面の拡大表示を行う。

そして、開始キー１１６ａの状態を確認して押下されている場合に（ステップＳ３３／ＹＥＳ）は、一定時間ごとの指の位置・大きさの情報の取得及び動作基準値との比較に移行して上記の処理を繰り返す（ステップＳ２６〜ステップＳ３２）。開始キー１１６ａが押下されていない場合（ステップＳ３３／ＮＯ）は処理を終了する。

上述した実施形態１や実施形態２では開始キーを押している間だけ指の動作を監視するようにしたが、他の変形例として、開始キーを押して離した後、指の動作を監視し続けるように構成してもよい。その際、再度開始キーを押下したり、他の任意のキーを押下したり、タイムアウトしたりすることによって、指の動作の監視を終了するように構成することができる。

また、上記実施形態の他の変形例として、消費電力の抑制のために、開始キーを押下したときにカメラの電源をＯＮにし、離すときにＯＦＦとなるように構成してもよい。

上記実施形態では指の画像をカメラで取得したが、他の変形例として、超音波センサや赤外線センサ、その他の入力デバイスによって指の動作を認識するように構成してもよい。また、カメラのレンズとして魚眼レンズを装備し、より広範囲の指の動きを観測できるように構成することもできる。

また、上記実施形態の他の変形例として、開始キーを押下したときに、画面上にアイコンやゲージ等を表示し、画面操作のモードに遷移したことや拡大率・縮小率を示すように構成してもよい。

また、上記実施形態の他の変形例として、開始キーを押下したときに、表示内容全体の縮小画像を、画面の一部分に表示するように構成してもよい。さらに、現在表示している範囲をその画像に枠線等で表示するように構成することもできる。

また、上記実施形態の他の変形例として、非接触の端末操作により表示内容のスクロールを開始後、スクロール中の方向に１つの指を素早く動かすと、スクロール動作が継続するようにして構成してもよい。その後、押下していた開始キーを離したり、指を携帯端末装置に近づける操作をしたりすると、スクロールが停止するように構成してもよい。その際、その操作の速さや、指と携帯端末装置との間の距離によって、スクロール速度の減少率が変わるように構成することもできる。

上記実施形態では指の移動量に応じた値だけ画面のスクロール量、拡大率・縮小率を変化させているが、他の変形例として、指の移動量に関わらず一定の値で画面のスクロール量、拡大率・縮小率を変化させるように構成してもよい。

また、上記実施形態の他の変形例として、指の初期状態からの移動量がある閾値より少なければ、指の位置が変化していないとみなすように構成してもよい。

上記実施形態では指を画面に接近させると表示内容を縮小し、離反させると拡大するようにしているが、他の変形例として、逆に、接近させると拡大し、離反させると縮小するように構成してもよい。

上述した本実施形態によれば、携帯端末装置の限られた画面サイズの中で、ウェブページやドキュメント、画像等の画面表示について、キーを何度も押して操作するのに比べて、直感的に素早く操作でき、より効率的に表示内容を閲覧することが可能となる。

また、上述した本実施形態によれば、タッチパネルでの操作のように、画面上の限られた領域におけるスクロールバーやアイコン等を確認しながらペン等で繊細に操作する必要がなく、指を大まかに動かすことで簡易な端末操作を実現でき、ユーザの目の負担や精神的疲労を軽減することが可能となる。

また、上述した本実施形態によれば、画面に直接指を触れないので、画面を汚したり傷つけたりする恐れがない。また、タッチパネルを指でなぞるときの摩擦抵抗がないため、指に負担をかけることなく円滑な操作が可能となる。

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。すなわち、本発明は、上述した携帯電話機のほか、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistants：個人向け携帯型情報通信機器）等の携帯端末装置であって、ウェブページやドキュメント、画像等を表示する機能を有する端末装置に適用することができる。

また、本実施形態における携帯電話機で実行されるプログラムは、先に述べた各手段（機能操作部、指動作監視部、開始キー入力部等）を含むモジュール構成となっており、実際のハードウェアを用いて具体的手段を実現する。すなわち、コンピュータ（ＣＰＵ）が所定の記録媒体からプログラムを読み出して実行することにより上記各手段が主記憶装置上にロードされ、機能操作部、指動作監視部、開始キー入力部等が主記憶装置上に生成される。

本実施形態における携帯電話機で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供されるように構成してもよい。また、上記プログラムをインターネット等のネットワーク経由で提供あるいは配布するように構成してもよい。

また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、不揮発性のメモリカード等のコンピュータで読み取り可能な記録媒体に記録されて提供されるように構成してもよい。また、上記プログラムは、ＲＯＭ等にあらかじめ組み込んで提供するように構成してもよい。

この場合、上記記録媒体から読み出された又は通信回線を通じてロードし実行されたプログラムコード自体が前述の実施形態の機能を実現することになる。そして、そのプログラムコードを記録した記録媒体は本発明を構成する。

本発明の実施形態に係る携帯電話機の外観を示す斜視図である。 本発明の実施形態に係る携帯電話機の回路構成の要部を表したブロック図である。 本発明の実施形態における非接触での端末操作の処理の流れを示したフローチャートである。 本発明の実施形態に係る携帯電話機の回路構成の要部を表したブロック図である。 本発明の実施形態における非接触での端末操作の処理の流れを示したフローチャートである。

符号の説明

１０１ 携帯電話機
１１０，２１０ 回路
１１１ 制御部
１１２ バス
１１３ ＲＯＭ
１１４ ＲＡＭ
１１５ キー入力部
１１６ キーボード
１１６ａ 開始キー
１１７ 表示制御部
１１８ 表示部
１１９ カメラ制御部
１２０ カメラ
１２１ タイマ部

Claims (14)

1. ユーザが表示画面を閲覧している状態で、端末の非接触操作に用いる対象物の動作を検出する操作動作検出部と、
   ユーザによる前記非接触操作の開始及び終了を切り換える入力を受け付けるキー入力部と、
   前記操作動作検出部により検出された前記対象物の動作の内容及び前記キー入力部による入力内容に基づいて、端末に対する非接触の機能操作を実行する機能操作部と、
   を有することを特徴とする携帯端末装置。
2. 前記操作動作検出部は、装置の非接触操作に用いる対象物の画像を取得する画像取得機能を有することを特徴とする請求項１に記載の携帯端末装置。
3. 前記操作動作検出部は、前記対象物の動きが、該検出部からの距離が略等しい同一平面上での移動か、該検出部へ接近し又は該検出部から離間する移動かを判定して前記対象物の動作を検出することを特徴とする請求項１又は２に記載の携帯端末装置。
4. 前記機能操作部は、前記操作動作検出部により前記対象物の動きが前記同一平面上での移動と判定された場合、前記表示画面の画面内容をスクロールする操作を実行することを特徴とする請求項１から３のいずれか１項に記載の携帯端末装置。
5. 前記機能操作部は、前記操作動作検出部により前記対象物の動きが前記操作動作検出部への接近又は前記操作動作検出部からの離間と判定された場合、前記表示画面の画面内容を縮小又は拡大する操作を実行することを特徴とする請求項１から４のいずれか１項に記載の携帯端末装置。
6. 時間を計測する計時手段を有し、
   前記操作動作検出部は、前記計時手段の計測結果を用いて、一定時間ごとに繰り返し前記対象物の動作を検出することを特徴とする請求項１から５のいずれか１項に記載の携帯端末装置。
7. 前記操作動作検出部は、前記キー入力部により前記非接触操作の開始の入力を受け付けたとき動作基準値として前記対象物の位置情報を取得し、一定時間ごとに動作測定値として前記対象物の位置情報を取得し、前記動作基準値としての位置情報及び前記動作測定値としての位置情報を用いて前記対象物の移動方向及び移動量を算出することを特徴とする請求項６項に記載の携帯端末装置。
8. ユーザが表示画面を閲覧している状態で、端末の非接触操作に用いる対象物の動作を検出する操作動作検出ステップと、
   ユーザによる前記非接触操作の開始及び終了を切り換える入力を受け付けるキー入力ステップと、
   前記操作動作検出ステップにより検出された前記対象物の動作の内容及び前記キー入力ステップによる入力内容に基づいて、端末に対する非接触の機能操作を実行する機能操作ステップと、
   を有することを特徴とする端末操作方法。
9. 前記操作動作検出ステップは、装置の非接触操作に用いる対象物の画像を取得することを特徴とする請求項８に記載の端末操作方法。
10. 前記操作動作検出ステップは、前記対象物の動きが、該検出部からの距離が略等しい同一平面上での移動か、該検出部へ接近し又は該検出部から離間する移動かを判定して前記対象物の動作を検出することを特徴とする請求項８又は９に記載の端末操作方法。
11. 携帯端末装置に用いられるプログラムであって、
    コンピュータに、
    ユーザが表示画面を閲覧している状態で、端末の非接触操作に用いる対象物の動作を検出する操作動作検出機能と、
    ユーザによる前記非接触操作の開始及び終了を切り換える入力を受け付けるキー入力機能と、
    前記操作動作検出機能により検出された前記対象物の動作の内容及び前記キー入力機能による入力内容に基づいて、端末に対する非接触の機能操作を実行する機能操作機能と、
    を実現させることを特徴とするプログラム。
12. 前記操作動作検出機能は、装置の非接触操作に用いる対象物の画像を取得することを特徴とする請求項１１に記載のプログラム。
13. 前記操作動作検出機能は、前記対象物の動きが、該検出部からの距離が略等しい同一平面上での移動か、該検出部へ接近し又は該検出部から離間する移動かを判定して前記対象物の動作を検出することを特徴とする請求項１１又は１２に記載のプログラム。
14. 請求項１１から１３のいずれか１項に記載のプログラムを記録しコンピュータ読み取り可能なことを特徴とする記録媒体。

Images