JP2007123962A - 携帯端末装置、マウスアプリケーションプログラム、及び携帯端末装置をワイヤレスマウス装置として用いる方法 - Google Patents

Abstract

【課題】 携帯電話機にワイヤレスマウス機能を設ける。
【解決手段】 カメラ部により撮像される画像の前後のフレーム間における変位量に基づいて、携帯電話機４０の筐体の移動方向及び移動距離に対応する移動ベクトル情報を算出する。そして、この移動ベクトル情報を近距離無線通信ユニットを介して、パーソナルコンピュータ装置４１側の近距離無線通信ユニット４２に近距離無線送信する。パーソナルコンピュータ装置の制御部は、この携帯電話機から受信された移動ベクトル情報に基づいて、モニタ装置４４上に表示しているポインタＰを移動表示制御する。これにより、携帯電話機をワイヤレスマウス装置として用いて、モニタ装置４４上に表示されているポインタＰを移動操作することができる。
【選択図】 図５

Description

本発明は、例えばブルートゥース（Bluetooth：登録商標）や赤外線通信機能（IrDA：Infrared Data Association）等の近距離無線通信機能や、非接触無線通信機能（RFID：Radio Frequency IDentification）、及びカメラ機能を備えた携帯電話機、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）等の携帯機器に適用して好適な携帯端末装置に関し、特に上記携帯機器に対してワイヤレスマウス機能を持たせることを可能とした携帯端末装置、マウスアプリケーションプログラム、及び携帯端末装置をワイヤレスマウス装置として用いる方法に関する。

特開２００４−１６４５５９号の公開特許公報（特許文献１）に、筐体に設けられたカメラで撮像された画像の変位に基づいて、表示部に表示したポインタを移動操作可能とする携帯端末装置が開示されている。

この携帯端末装置の場合、ポインティングモードが指定されると、カメラにより操作台面を連続的に撮像し、連続する２枚同士を比較して該各画像間の変位を検出する。そして、この各画像間の変位に基づいて当該携帯端末装置の移動方向及び移動量を検出し、この移動方向及び移動量に対応させて、表示部上のポインタを移動制御する。これにより、当該携帯端末装置に設けられた表示部上のポインタを移動操作することができる。

ここで、ノート型のパーソナルコンピュータ装置を携帯する場合、専用のマウス装置も一緒に携帯し、移動先でこのマウス装置をノート型のパーソナルコンピュータ装置に装着して使用するのが一般的である。

特開２００４−１６４５５９号公報（第９頁：図３）

しかし、ノート型のパーソナルコンピュータ装置を携帯する場合、マウス装置も一緒に持ち歩く必要があるため、携帯する荷物が増え、大変不便な問題があった。

なお、上述の特許文献１に開示されている携帯端末装置の場合、当該携帯端末装置の筐体に対して一体的に設けられた表示部上のポインタを移動操作するものである（＝当該携帯端末装置の表示部のポインタを移動操作するものである。）。このため、当該携帯端末装置から離れて載置されている据え置き型のパーソナルコンピュータ装置やノート型のパーソナルコンピュータ装置のモニタ装置に表示されたポインタを移動操作することは困難となる。

本発明は上述の課題に鑑みてなされたものであり、物理的に別体とされた表示装置上に表示されたポインタを移動操作可能とすることで、例えばノート型のパーソナルコンピュータ装置を携帯する場合でも、専用のマウス装置も一緒に携帯することを不要とすることができるような携帯端末装置、マウスアプリケーションプログラム、及び携帯端末装置をワイヤレスマウス装置として用いる方法の提供を目的とする。

本発明に係る携帯端末装置は、被写体の撮像を行うカメラ部を備えた携帯端末装置であって、上述の課題を解決するための手段として、
マウスモード時に上記カメラ部により順次撮像された各画像間の変位量に基づいて、当該携帯端末装置の筐体の移動方向及び移動距離を検出する移動検出手段と、
近距離無線通信手段と、
上記移動検出手段で検出された上記移動方向及び移動距離を示す情報を受信して、表示手段上に表示しているポインタを移動表示制御する被操作装置に対して、該移動検出手段で検出された上記移動方向及び移動距離を示す情報を近距離無線送信するように上記近距離無線通信手段を制御する制御手段と
を有する。

また、本発明に係るマウスアプリケーションプログラムは、上述の課題を解決するために、
カメラ部により順次撮像された各画像間の変位量に基づいて、該カメラ部が設けられた筐体の移動方向及び移動距離を検出するように移動検出手段を制御する移動検出制御手段としてコンピュータを機能させ、
コンピュータを上記移動検出制御手段として機能させることで検出された上記移動方向及び移動距離を示す情報を、この移動方向及び移動距離を示す情報を受信して、表示手段上に表示しているポインタを移動表示制御する被操作装置に対して近距離無線送信するように近距離無線通信手段を制御する近距離無線通信制御手段としてコンピュータを機能させる。

また、本発明に係る携帯端末装置をワイヤレスマウス装置として用いる方法は、上述の課題を解決するための手段として、
移動検出手段が、携帯端末装置に設けられたカメラ部により順次撮像された各画像間の変位量に基づいて、該携帯端末装置の筐体の移動方向及び移動距離を検出するステップと、
上記ステップで上記移動検出手段により検出された上記移動方向及び移動距離を示す情報を、近距離無線通信手段が、この移動方向及び移動距離を示す情報を受信して、表示手段上に表示しているポインタを移動表示制御する被操作装置に対して近距離無線送信するステップと
を有する。

このような本発明は、カメラ部で順次撮像される画像の変位量に基づいて、筐体の移動方向及び移動距離を検出し、この検出した移動方向及び移動距離を示す情報を、該移動方向及び移動距離を示す情報を受信して表示手段上に表示しているポインタを移動表示制御する被操作装置に対して近距離無線送信する。これにより、携帯端末装置をワイヤレスマウス装置として用いることを可能とすることができる。

本発明は、携帯端末装置をワイヤレスマウス装置として用いることを可能とすることができるため、例えばノート型のパーソナルコンピュータ装置を携帯する場合でも、専用のマウス装置も一緒に携帯することを不要とすることができる。

本発明は、カメラ機能、及び無線通信距離が数十ｃｍの非接触通信機能（RFID：Radio Frequency IDentification）、或いは例えばブルートゥース（Bluetooth：登録商標）や赤外線通信機能（IrDA：Infrared Data Association）等の無線通信距離が数十ｍの近距離無線通信機能を備えた携帯電話機に適用することができる。

［携帯電話機の構成］
〔電気構成〕
この本発明の実施の形態となる携帯電話機は、図１に示すように基地局との間で無線通信を行うアンテナ１及び通信回路２と、着信音や受話音声の音響出力を得るためのスピーカ部３と、送話音声等を集音するためのマイクロホン部４と、画像（動画像、静止画像等）や文字等を表示するための表示部５と、所定の入力操作を行うための操作部６とを有している。

また、この携帯電話機は、発着信等を光で知らせるための発光部７（LED：Light Emitting Diode）と、所望の被写体の静止画像或いは動画像を撮像するためのカメラ部８と、当該携帯電話機の筐体を振動させて発着信等をユーザに知らせるためのバイブレーションユニット９と、当該携帯電話機をワイヤレスマウス装置として用いるマウスモード時に、当該携帯電話機の移動操作に応じた移動ベクトル情報を無線送信する、例えば無線通信距離が数十ｍの近距離無線通信アンテナ１０及び近距離無線通信ユニット１１とを有している。

また、この携帯電話機は、上記マウスモード時に当該携帯電話機の移動操作に応じた移動ベクトルを算出して上記移動ベクトル情報を形成する移動ベクトル算出部１２と、通信処理を行うための通信処理プログラム（コミュニケーションプログラム）や各種アプリケーションプログラムの他、当該携帯電話機を音楽プレーヤ装置として使用する際に再生される音楽データ、スケジュール帳、電話帳、発着信した電子メールのデータ、電話や電子メールの発着信履歴等が記憶されたメモリ１３と、当該携帯電話機全体の動作を制御する制御部１６とを有している。

上記メモリ１５に記憶されているアプリケーションプログラムとしては、当該携帯電話機を音楽プレーヤ装置として使用する際に起動される音楽プレーヤプログラムや、カメラ部８で所望の被写体の撮像を行う際に起動されるカメラ制御プログラムの他、当該携帯電話機をワイヤレスマウス装置として用いる際に起動される「マウスアプリケーションプログラム」や、このマウスアプリケーションプログラムを実行することで上記移動ベクトル算出部１２で形成された移動ベクトル情報を近距離無線送信するための近距離無線通信プログラム等が記憶されている。

〔外観構成〕
図２（ａ）に当該実施の形態の携帯電話機の正面図を、図２（ｂ）に当該実施の形態の携帯電話機の背面図を、図２（ｃ）に当該実施の形態の携帯電話機の側面図をそれぞれ示す。この図２（ａ）〜（ｃ）に示すように、当該携帯電話機は、上筐体２０及び下筐体２１を当該各筐体２０、２１の長手方向に沿って相互にスライド操作するスライド型の携帯電話機となっている。

上筐体２０には、表示部５と、この表示部５の下端部に近接して設けられた回転操作部２２と、回転操作部２２を間に挟むかたちで設けられたオンフックキー２３及びオフフックキー２４と、オンフックキー２３の下側（反表示部５側）に設けられた第１のソフトキー２５と、オフフックキー２４の下側（反表示部５側）に設けられた第２のソフトキー２６等が設けられている。なお、下筐体２１側には数字キー等の主操作部が設けられており、この主操作部は、各筐体２０、２１を相互にスライド操作した際に露出するようになっている。

回転操作部２２は、決定キー２７と、この決定キー２７と同軸となり、かつ、決定キー２７の周囲を取り囲むように設けられたジョグダイヤル２８と、さらに決定キー２７と同軸となり、かつ、このジョグダイヤル２８の周囲を取り囲むように設けられた回転操作キー２９とを有している。

決定キー２７は、押圧操作式のキー、回転操作キー２９は、３６０度の回転操作式のキーとなっている。また、ジョグダイヤル２８は、押圧操作式のキーとなっており、上下左右の他、右斜め上、左斜め下等の斜めの方向の押圧操作も可能となっている。

下筐体２１には、図２（ｂ）に示すようにカメラ部８が設けられており、このカメラ部８に隣接して照明用の発光部３０が設けられている。このカメラ部８及び発光部３０は、非撮像時にはカメラカバー３１により被覆されているのであるが、撮像時にカメラカバー３１を下筐体２１の長手方向に沿ってスライド移動させると、該カメラ部８及び発光部３０が露出するようになっている。

このような携帯電話機をワイヤレスマウス装置として用いる場合には、図３に点線で示すように上筐体２０の表示部５上にユーザの掌を位置させ、かつ、中指を第１のソフトキー２５上に乗せ、人差し指を第２のソフトキー２６上に乗せた状態で、当該携帯電話機を手で把持する。

マウスアプリケーションプログラムが起動されると、第１のソフトキー２５は右クリックキーとして機能し、第２のソフトキー２６は左クリックキーとして機能するようになる。また、このマウスアプリケーションには、カメラ部８で撮像された画像に基づいて筐体の移動を検出してポインタを移動操作する「キー＋カメラモード」と、ジョグダイヤル２８を方向指示キーとして用いてポインタを移動操作する「キーモード」とが設けられている。

「キー＋カメラモード」の選択時には、ユーザは、前述のように当該携帯電話機を把持した状態で筐体を移動操作してポインタを移動操作し、中指で第１のソフトキー２５を操作することで右クリック操作を行い、人差し指で第２のソフトキー２６を操作することで左クリック操作を行う。

また、「キーモード」の選択時には、ユーザは、前述のように当該携帯電話機を把持した状態で、人差し指或いは中指等でジョグダイヤル２８を押圧操作してポインタを移動操作し、中指で第１のソフトキー２５を操作することで右クリック操作を行い、人差し指で第２のソフトキー２６を操作することで左クリック操作を行う。

このような「キー＋カメラモード」及び「キーモード」は、図２（ａ）及び図３に示すマウスモード切換キー３３を押圧操作することで切り替え可能となっており、制御部１４は、デフォルトとして「キー＋カメラモード」を設定し、以後、マウスモード切換キー３３が押圧操作される毎に「キー＋カメラモード」←→「キーモード」を切り替えて設定するようになっている。

ここで、上記「キー＋カメラモード」時には、後述するようにカメラ部８で撮像された画像に基づいて当該携帯電話機の移動方向及び移動量を検出するようになっている。このため、普通のマウス装置のように平面に沿って当該携帯電話機を２次元的に移動操作してポインタを移動操作することも可能であり、また、所望の空間内で当該携帯電話機を３次元的に移動操作してポインタを移動操作することも可能となっている。

このうち、普通のマウス装置のように平面に沿って当該携帯電話機を２次元的に移動させてポインタを移動操作する場合には、図２（ｃ）に示すように操作面に対してカメラ部８のカメラカバー３１が当接することで、カメラ部８と操作面との間に、カメラカバー３１の厚み分の適度な間隙が形成され、カメラ部８に操作面が近接した状態でも、該操作面の画像を良好に撮像可能となっている。

なお、この例では、カメラ部８を下筐体２１側に設けることとしたが、カメラ部８は、上筐体２０側や、いずれかの筐体２０、２１の側面部等に設けるようにしてもよい。

［ワイヤレスマウス動作］
次に、このような携帯電話機をワイヤレスマウス装置として用いる場合、操作部６を介して機能選択メニューからマウス機能を選択操作する。制御部１４は、このマウス機能の選択操作を検出すると、メモリ１３に記憶されている「マウスアプリケーションプログラム」を読み出し、図４に示すフローチャートをスタートさせる。

このフローチャートをスタートさせると、制御部１４は、前回のマウスアプリケーションプログラムの実行時にカメラ部８で撮像された画像や各種演算値をクリアする初期化処理を行い、処理をステップＳ２に進める。

上述のように、このマウスアプリケーションプログラムの起動時には、制御部１４は、カメラ部８で撮像された画像に基づいて筐体の移動を検出してポインタを移動操作する「キー＋カメラモード」をデフォルトとして設定するようになっている。また、この「キー＋カメラモード」と、ジョグダイヤル２８を方向指示キーとして用いてポインタを移動操作する「キーモード」とは、マウスモード切換キー３３を押圧操作することで切り替え可能となっている。

このため、制御部１４は、処理をステップＳ２に進めると、マウスモード切換キー３３を押圧操作の有無を判別することで、マウスモードの切り替えが指定されたか否かを判別する。そして、マウスモード切換キー３３の押圧操作を検出しない場合には、ユーザからマウスモードの切り替えが指定されていないことを示すため、上記デフォルトとして設定した「キー＋カメラモード」を実行すべく、処理をステップＳ３に進める。

これに対して、マウスモード切換キー３３の押圧操作を検出した場合には、ユーザからマウスモードの切り替えが指定されたことを示すため、制御部１４は、上記デフォルトとして設定した「キー＋カメラモード」から「キーモード」へマウスモードを変更し、処理をステップＳ９に進める。

次に、「キー＋カメラモード」を実行すべく、処理をステップＳ３に進めた場合、制御部１４は、カメラ部８を起動制御して、処理をステップＳ４に進める。なお、カメラ部８を起動すると、発光部３０の点灯操作も可能となり、ユーザは、周囲の明るさに応じてこの発光部３０を点灯操作してカメラ部８による撮像を補助するようになっている。

ステップＳ４では、制御部１４が、カメラ部８で撮像された画像を連続するフレーム間で比較し、前フレームと現在フレームの各画像の変位量を算出するように移動ベクトル算出部１２を制御する。そして、ステップＳ５において、この各画像間の変位量の有無を判別する。

上述のように、この「キー＋カメラモード」時には、ユーザは、当該携帯電話機の筐体を２次元的或いは３次元的に移動操作する。当該携帯電話機の筐体を２次元的に操作した場合には、カメラ部８により例えばマウスパッドや机の表面等の画像が撮像されることとなる。また、当該携帯電話機の筐体を３次元的に操作した場合には、カメラ部８により例えばオフィスの背景等の画像が撮像されることとなる。制御部１４は、このようにカメラ部８で撮像される画像に基づいて、前フレームと現在フレームの各画像の変位量を検出することとなる。

上記ステップＳ５において、前フレームと現在フレームの各画像の変位量が検出されないということは、当該携帯電話機の筐体が移動操作されていないことを示すため、制御部１４は処理をステップＳ４に戻し、上記各フレーム間の変位量の検出を継続して実行する。

これに対して、上記ステップＳ５において、前フレームと現在フレームの各画像の変位量が検出されたということは、当該携帯電話機の筐体が移動操作されたことを示す。このため、制御部１４は処理をステップＳ６に進め、移動ベクトル算出部１２で算出された上記各画像間の変位量に対応する移動ベクトル情報を送信するように近距離無線通信ユニット１１を制御する。

これにより、例えば図５に示すように当該携帯電話機４０の近距離無線通信ユニット１１及び近距離無線通信アンテナ１０を介して、据え置き型のパーソナルコンピュータ装置４１に外部接続（或いは内蔵）された近距離無線通信ユニット４２及び近距離無線通信アンテナ４３に対して上記移動ベクトル情報が近距離無線送信されることとなる。

パーソナルコンピュータ装置４１は、この近距離無線通信ユニット４２及び近距離無線通信アンテナ４３で受信された上記移動ベクトル情報で示される方向及び移動量となるように、モニタ装置４４に表示しているポインタＰを移動表示制御する。これにより、当該携帯電話機の２次元的或いは３次元的な移動操作に対応させて、モニタ装置４４上のポインタＰを移動操作することができる。

このように移動ベクトル情報を送信すると、制御部１４は、図４のフローチャートのステップＳ７に処理を進め、マウスモード切換キー３３の押圧操作の有無を判別する。マウスモード切換キー３３の押圧操作を検出した場合には、当該「キー＋カメラモード」から「キーモード」への変更がユーザから指定されたことを示すため、処理をステップＳ９に進める。

これに対して、マウスモード切換キー３３の押圧操作を検出しない場合には、処理をステップＳ８に進め、当該マウスモードの終了が指定されたか否かを判別する。当該マウスモードの終了が指定されたものと判別した場合、制御部１４は、そのままこの図４のフローチャートを終了し、当該マウスモードの終了が指定されていないものと判別した場合には、制御部１４は、処理をステップＳ４に戻し、上述の各フレーム間の画像の変位量の検出を継続して実行する。これにより、ユーザからマウスモードの終了が指定されるまでの間（当該携帯電話機をワイヤレスマウス装置として用いている間）、連続する各フレームの画像が順次比較され、この各画像の変位量に基づいて、上記モニタ装置４４上のポインタＰが移動表示制御されることとなる。

なお、この図４のフローチャートには図示していないが、制御部１４は、このような当該携帯電話機の筐体の移動操作の検出と共に、図３に示した第１のソフトキー２５及び第２のソフトキー２６の押圧操作の有無を監視している。そして、第１のソフトキー２５の押圧操作を検出した場合には、右クリック操作を示す操作コマンドを上記パーソナルコンピュータ装置４１側の近距離無線通信ユニット４２に近距離無線送信するように近距離無線通信ユニット１１を制御し、また、第２のソフトキー２６の押圧操作を検出した場合には、左クリック操作を示す操作コマンドを上記パーソナルコンピュータ装置４１側の近距離無線通信ユニット４２に近距離無線送信するように近距離無線通信ユニット１１を制御する。

一方、上記ステップＳ２或いは上記ステップＳ７において、マウスモード切換キー３３の押圧操作を検出することで処理をステップＳ９に進めると、制御部１４は、「キー＋カメラモード」から「キーモード」へマウスモードを変更し、図３に示すジョグダイヤル２８の操作の有無を判別する。

すなわち、上述のように、この「キーモード」時においては、ユーザは、ジョグダイヤル２８を方向指示キーとして用いて上記ポインタＰを移動操作するようになっている。このため、制御部１４は、「キーモード」へマウスモードを変更すると、当該ステップＳ９においてジョグダイヤル２８の操作の有無を判別する。

ジョグダイヤル２８の操作を検出しないということは、ユーザからポインタＰの移動操作が指示されていないことを意味する。このため、制御部１４は、ジョグダイヤル２８の操作が検出されない間は、処理をステップＳ１２及びステップＳ１３に進め、マウスモードの変更指示の有無や、当該マウスモードの終了指示の有無を判別することとなる。

これに対して、ジョグダイヤル２８の操作を検出したということは、ユーザからポインタＰの移動操作が指示されたことを意味する。また、ジョグダイヤル２８の上、下、左、右、右斜め上、左斜め下等の操作は、そのままポインタＰの移動方向を示し、ジョグダイヤル２８の連続操作時間は、ポインタＰの移動量を示す。

このため、制御部１４は、ステップＳ１０において、ジョグダイヤル２８の操作で指定された、例えば上下左右、右斜め上、左斜め下等の移動方向を検出すると共に、該ジョグダイヤル２８の連続操作時間からポインタＰの移動量を算出し、この検出した移動方向及び算出した移動量に対応する移動ベクトル情報を形成するように移動ベクトル算出部１２を制御する。そして、ステップＳ１１において、この移動ベクトル算出部１２で形成された移動ベクトル情報を近距離無線送信するように近距離無線通信ユニット１１を制御する。

これにより、ジョグダイヤル２８の操作で指定された移動方向に、該ジョグダイヤル２８の連続操作時間に対応する移動量だけ、上記モニタ装置４４上のポインタＰが移動制御されることとなる。

このように移動ベクトル情報を送信すると、制御部１４は、ステップＳ１２に処理を進め、マウスモード切換キー３３の押圧操作の有無を判別する。マウスモード切換キー３３の押圧操作を検出した場合には、当該「キーモード」から「キー＋カメラモード」への変更がユーザから指定されたことを示すため、処理を上記ステップＳ３に進める。

これに対して、マウスモード切換キー３３の押圧操作を検出しない場合には、処理をステップＳ１３に進め、当該マウスモードの終了が指定されたか否かを判別する。当該マウスモードの終了が指定されたものと判別した場合、制御部１４は、そのままこの図４のフローチャートを終了し、当該マウスモードの終了が指定されていないものと判別した場合には、制御部１４は、処理をステップＳ９に戻し、上述のジョグダイヤル２８の操作の有無の判別を継続して実行する。これにより、ユーザからマウスモードの終了が指定されるまでの間（当該携帯電話機をワイヤレスマウス装置として用いている間）、ジョグダイヤル２８の操作に対応して、上記モニタ装置４４上のポインタＰが移動表示制御されることとなる。

なお、この「キーモード」時においても、制御部１４は、上記「キー＋カメラモード」時と同様に、図３に示した第１のソフトキー２５及び第２のソフトキー２６の押圧操作の有無を監視している。そして、第１のソフトキー２５の押圧操作を検出した場合には、右クリック操作を示す操作コマンドを上記パーソナルコンピュータ装置４１側の近距離無線通信ユニット４２に近距離無線送信するように近距離無線通信ユニット１１を制御し、また、第２のソフトキー２６の押圧操作を検出した場合には、左クリック操作を示す操作コマンドを上記パーソナルコンピュータ装置４１側の近距離無線通信ユニット４２に近距離無線送信するように近距離無線通信ユニット１１を制御する。

［変位量の検出動作］
次に、上述の図４のフローチャートのステップＳ４における、フレーム間の変位量の検出動作を詳細に説明する。このフレーム間の変位量の検出動作は、図６のフローチャートに示すようになっている。この図６のフローチャートは、当該マウスアプリケーションプログラムの起動時にデフォルトとして「キー＋カメラモード」が設定され、或いはユーザによりマウスモード切換キー３３が押圧操作されることで「キーモード」から「キー＋カメラモード」へマウスモードが変更されたタイミングでスタートとなる。

制御部１４は、この「キー＋カメラモード」をスタートさせると、まず、ステップＳ２１において、移動ベクトル算出部１２の演算結果をクリア処理する等の初期化処理を行い、ステップＳ２２に処理を進める。

ステップＳ２２では、制御部１４が、カメラ部８で撮像された画像の取り込みを開始し、前フレームの画像の例えば中央のブロックを、現在フレームの画像の所定のブロックと比較して、該各ブロックの例えば輝度値等の各画素値の差分を検出するように移動ベクトル算出部１２を制御する。

一例ではあるが、当該携帯電話機の表示部５の有効画像領域の縦×横のサイズは、図７（ａ）に示すように１２０画素×１６０画素の、いわゆるＱＱＶＧＡサイズ（QQVGA：Quarter Quarter Video Graphics Array）となっている。この図７（ａ）（及び図７（ｂ））は、一マスの縦×横のサイズが５画素×５画素（計２５画素）として図示している。

移動ベクトル算出部１２は、前フレームの画像を５画素×５画素の各ブロックに分割し、この各ブロックのうち、当該前フレームの画像の中央に位置するブロックを「比較ブロック」として設定する。これは、カメラ部８で所望の被写体を撮像する場合、該被写体が画像全体の中央に位置するように該被写体の撮像を行うのが一般的であるため、この例においては、上記前フレームの画像の中央に位置するブロックを上記「比較ブロック」として設定するようにしたものである。制御部１４は、この比較ブロックの各画素と、現在フレームの第１番目のブロックの各画素とをそれぞれ比較することで、該各画素値の差分を検出する。

次にステップＳ２３では、制御部１４が移動ベクトル算出部１２の演算状況を監視することで、上記前フレームの「比較ブロック」と、現在フレームの第１番目のブロックの各画素値の差分の検出が終了したか否かを判別する。そして、上記画素値の差分の検出処理が終了していない場合は、処理をステップＳ２２に戻し、該各ブロック間の全ての画素に対する画素値の差分の検出処理が終了するまで該検出処理を継続するように移動ベクトル算出部１２を制御する。

これに対して、上記各ブロック間の全ての画素に対する上記画素値の差分の検出処理が終了したものと判別した場合、制御部１４は処理をステップＳ２４に進め、上記ステップＳ２２で検出した計２５個の各画素値の差分の合計値を算出するように移動ベクトル算出部１２を制御する。

次に、制御部１４は、上記ステップＳ２４で新たに算出した上記差分の合計値と、前回の演算時に算出された上記差分の合計値とを比較するように移動ベクトル算出部１２を制御する。そして、ステップＳ２６において、新たに算出した上記差分の合計値は、前回の演算時に算出された上記差分の合計値よりも小さい値であるか否かを判別する。

なお、上記比較ブロックと現在フレームの画像の第１番目のブロックとの間の上記差分の合計値が算出された直後の場合、前回の演算時に算出された上記差分の合計値は存在しない。この場合、制御部１４は、処理をステップＳ２２に戻し、上記比較ブロックと現在フレームの画像の第２番目のブロックとの間の上記差分の合計値を算出するように移動ベクトル算出部１２を制御する。

そして、この第２番目のブロックに対応する差分の合計値が算出された際に、ステップＳ２６において、この第２番目のブロックに対応する差分の合計値と、上記第１番目のブロックに対応する差分の合計値とを比較することとなる。

制御部１４は、上記ステップＳ２６において、上記現在フレームの画像の第２番目のブロックに対応する上記差分の合計値（＝新たな差分の合計値）が、該現在フレームの画像の第１番目のブロックに対応する上記差分の合計値（＝前回の差分の合計値）よりも小さい値であると判別した場合、処理をステップＳ２７に進め、上記新たに算出した上記差分の合計値が、前回の演算時に算出された上記差分の合計値よりも大きな値であると判別した場合、処理をステップＳ２８に進める。

新たに算出した上記差分の合計値が、前回の演算時に算出された上記差分の合計値よりも小さい値であると判別することで処理をステップＳ２７に進めると、制御部１４は、この第１番目のブロックよりも小さな合計値を有する上記第２番目のブロックの位置情報をメモリに一時的に保持し、処理をステップＳ２８に進める。

ステップＳ２８では、制御部１４が、上記比較ブロックと、ＱＱＶＧＡサイズにおける２４個×３２個の全部のブロックとの間における、上記差分の合計値の比較処理が終了したか否かを判別する。そして、上記全部のブロックに対する比較処理の終了を検出するまでの間は、処理をステップＳ２２に戻し、上記全部のブロックに対する比較処理の終了を検出したタイミングで処理をステップＳ２９に進める。

簡言すると、制御部１４は、前フレームの画像の中央に位置するブロックを「比較ブロック」として設定し、この「比較ブロック」の各画素と、現在フレームの画像の第１番目のブロックの各画素、第２番目のブロックの各画素、第３番目のブロックの各画素・・・・等のように、該「比較ブロック」と現在フレームの画像の各ブロックとを順次比較する。そして、比較ブロックと現在フレームの画像の全てのブロックとを比較した結果、この比較ブロックに対する上記最小の差分の合計値を有するブロック（最小差分ブロック）を、該比較ブロックの画像と同じ画像のブロックとして検出する。

次に、ステップＳ２９に処理を進めると、制御部１４が、図７（ｂ）に示すように前フレームの画像における「比較ブロック」の位置から現在フレームの画像における上記「最小差分ブロック」の位置までの移動方向及び移動距離を示す移動ベクトル情報を算出するように移動ベクトル算出部１２を制御して当該ブロック図６のフローチャートを終了する。この算出された移動ベクトル情報は、図４のステップＳ６において上述のようにパーソナルコンピュータ装置４１の近距離無線通信ユニット４１に近距離無線送信され、モニタ装置４４に表示されたポインタＰが移動表示制御されることとなる。

［マウスモード中における着信時の動作］
次に、当該実施の形態の携帯電話機は、このようにワイヤレスマウス装置として用いている間に、電話着信或いは電子メールの着信があった場合、マウスモードの状態で、この着信をユーザに知らせるためのメッセージ等をモニタ装置４４に表示制御すると共に、所定の操作がなされた際に、ハンズフリー通話、或いは電子メールの表示動作を行うようになっている。

具体的には、ワイヤレスマウス装置として用いている間に、電話着信或いは電子メールの着信があった場合、制御部１４は、マウスモードを維持した状態で、例えば「電話が信しました」、「メールが着信しました」等の着信を示すメッセージを近距離無線送信するように近距離無線通信ユニット１１を制御する。また、制御部１４は、このメッセージと共に、電話着信の場合はハンズフリー通話を指定するためのアイコンを、また、電子メールの着信の場合は、着信した電子メールの表示を指定するためのアイコンを近距離無線送信するように近距離無線通信ユニット１１を制御する。これにより、上記メッセージ及び上記アイコンがモニタ装置４４に表示されることとなる。

ユーザは、このモニタ装置４４に表示されるメッセージにより、電話着信或いは電子メールの着信を認識することができる。ユーザは、この着信した電話に応答する場合、上述の「キー＋カメラモード」或いは「キーモード」においてモニタ装置４４上に表示されているポインタＰを、電話着信の場合はハンズフリー通話を指定するためのアイコンの表示位置に移動操作し、電子メールの着信の場合は、着信した電子メールの表示を指定するためのアイコンをの表示位置に移動操作し、例えば図３に示した第２のソフトキー２６をダブルクリック操作する（＝左キーのダブルクリック操作に相当）。

当該携帯電話機の制御部１４は、パーソナルコンピュータ装置４１側に近距離無線送信する移動ベクトル情報に基づいて、モニタ装置４４上のポインタＰの移動位置を監視すると共に、上記第２のソフトキー２６の操作状態を監視することで、上記ポインタＰがアイコン上に移動操作されたうえで、左キーがダブルクリック操作されたか否かを監視する。

制御部１４は、電話着信時に上記ポインタＰのアイコン上への移動操作及び左キーのダブルクリック操作を検出すると、マウスモードを実行した状態のまま、スピーカ部３及びマイクロホン部４の各アンプ部の利得をハンズフリー通話用に設定制御し、オフフック制御する。これにより、当該携帯電話機をワイヤレスマウス装置として用いた状態のまま、ハンズフリー通話を可能とすることができる。

また、制御部１４は、電子メールの着信時に上記ポインタＰのアイコン上への移動操作及び左キーのダブルクリック操作を検出すると、マウスモードを実行した状態のまま、この着信した電子メールの文章を当該携帯電話機の表示部５に表示制御する。これにより、当該携帯電話機をワイヤレスマウス装置として用いた状態のまま、着信した電子メールを読むことを可能とすることができる。

なお、この例では、着信した電子メールを表示部５に表示することとしたが、これは、制御部１４が、着信した電子メールの文章情報を近距離無線通信によりパーソナルコンピュータ装置４１側に送信してモニタ装置４４に表示するようにしてもよい。

［実施の形態の効果］
以上の説明から明らかなように、本発明の実施の形態となる携帯電話機は、以下の効果を得ることができる。

１．当該携帯電話機でパーソナルコンピュータ装置のポインタを移動操作することができる。

２．ノート型のパーソナルコンピュータ装置を携帯する場合、専用のマウス装置も一緒に携帯する必要がある。しかし、当該携帯電話機をマウス装置として用いることができるため、上記専用のマウス装置を携帯する煩わしさを解消することができる。

３．携帯電話機に対して、電話機能、電子メール機能、音楽プレーヤ機能、放送受信機能、カメラ機能等と共に、マウス機能を追加して設けることができ、携帯電話機のさらなる多機能化を図ることができる。

４．カメラ部８で撮像された画像に基づいて、ポインタＰを移動操作するための位置情報を形成するようになっているため、従来のマウス装置のように当該携帯電話機を２次元的に移動させて上記ポインタＰを移動操作することができるうえ、当該携帯電話機を３次元的に移動させて上記ポインタＰを移動操作することができる（いわゆるエアーマウス装置と同じ使い方をすることができる。）。このため、場所を選ぶことなく、当該携帯電話機をマウス装置として用いることができる。

５．既存のカメラ機能を用いて実現することができるため、特別な部品等を新たに筐体に設ける必要がない。このため、今日における携帯電話機の適度な筐体の大きさを維持したうえでマウス機能を設けることができる。従って、この適度な筐体の大きさの当該携帯電話機を片手で把持して移動させるだけで、当該携帯電話機をマウス装置として用いることができるため、操作性良くポインタＰを操作することができ、また、普段使用しているマウス装置と同じ感覚で操作可能とすることができる。

６．発光部３０によるフラッシュ機能により、暗所での画像の取り込みを補助するようになっているため、暗所でも当該携帯電話機をマウス装置として用いることができる。

７．当該携帯電話機をマウス装置として用いている際に、電話着信や電子メール着信等のイベントが発生した場合、パーソナルコンピュータ装置４１のモニタ装置４４に当該イベント発生を示すメッセージを表示することができる。このため、当該携帯電話機をマウス装置として用いている場合でも、電話着信や電子メール着信等をユーザに対して認識させることができる。

８．パーソナルコンピュータ装置の表示画面に上記イベント発生を示すメッセージと共に、当該イベントの処理を指定するためのアイコンを表示するようになっている。そして、このアイコンにポインタＰが移動操作され、例えばダブルクリック等の所定の操作を検出すると、電話着信の場合はハンズフリー通話モードとなり、電子メール着信の場合は、着信した電子メールを当該携帯電話機の表示部５に表示するようになっている。このため、当該携帯電話機をマウス装置として用いた状態のまま、通話を行い、或いは電子メールを読むことを可能とすることができる。

［変形例］
上述の実施の形態の説明では、本発明を携帯電話機に適用することとしたが、本発明は、この携帯電話機の他、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）等の他の携帯端末装置に適用してもよい。この場合でも、上述と同様の効果を得ることができる。

最後に、上述の実施の形態は、あくまでも本発明の一例として開示したに過ぎないため、本発明は、上述の実施の形態に限定されることはなく、上述の実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。

本発明を適用した実施の形態となる携帯電話機のブロック図である。 実施の形態の携帯電話機の外観を示す図である。 実施の形態の携帯電話機をワイヤレスマウス装置として操作している状態を示す図である。 実施の形態の携帯電話機をワイヤレスマウス装置として用いるマウスモード時の動作の流れを示すフローチャートである。 実施の形態の携帯電話機をワイヤレスマウス装置として用いてパーソナルコンピュータ装置のモニタ装置に表示されたポインタを移動操作している様子を示す図である。 実施の形態の携帯電話機のマウスモード時における移動ベクトル情報の算出動作の流れを示すフローチャートである。 実施の形態の携帯電話機のマウスモード時における移動ベクトル情報の算出動作を説明するための図である。

符号の説明

１ アンテナ、２ 通信回路、３ スピーカ部、４ マイクロホン部、５ 表示部、６ 操作部、７ 発光部（ＬＥＤ）、８ カメラ部、９ バイブレーションユニット、１０ 近距離無線通信アンテナ、１１ 近距離無線通信ユニット、１２ 移動ベクトル算出部、１３ メモリ、１４ 制御部、２０ 上筐体、２１ 下筐体、２２ 回転操作部、２３ オンフックキー、２４ オフフックキー、２５ 第１のソフトキー、２６ 第２のソフトキー、２７ 決定キー、２８ ジョグダイヤル、２９ 回転操作キー、３０ 照明用の発光部、３１ カメラカバー、３３ マウスモード切換キー、４０ 携帯電話機、４１ パーソナルコンピュータ装置、４２ パーソナルコンピュータ装置側の近距離無線通信ユニット、４３ 近距離無線通信アンテナ、４４ モニタ装置、Ｐ ポインタ

Claims (6)

1. 被写体の撮像を行うカメラ部を備えた携帯端末装置であって、
   マウスモード時に上記カメラ部により順次撮像された各画像間の変位量に基づいて、当該携帯端末装置の筐体の移動方向及び移動距離を検出する移動検出手段と、
   近距離無線通信手段と、
   上記移動検出手段で検出された上記移動方向及び移動距離を示す情報を受信して、表示手段上に表示しているポインタを移動表示制御する被操作装置に対して、該移動検出手段で検出された上記移動方向及び移動距離を示す情報を近距離無線送信するように上記近距離無線通信手段を制御する制御手段と
   を有することを特徴とする携帯端末装置。
2. 請求項１に記載の携帯端末装置であって、
   上記カメラ部は、当該カメラ部の非使用時には該カメラ部を被覆し、当該カメラ部の使用時には該カメラ部を露出させる所定の厚みのカメラカバーを有し、
   上記カメラカバーは、上記マウスモード時に当該携帯端末装置を２次元的に移動操作する場合に、該カメラ部で移動操作面が良好に撮像されるように、当該カメラカバーの厚みにより、カメラ部と移動操作面との間に所定の間隙部を形成すること
   を特徴とする携帯端末装置。
3. 請求項１又は請求項２に記載の携帯端末装置であって、
   無線基地局との間で無線通信を行う無線通信手段を有し、
   上記制御手段は、上記無線通信手段により電話着信或いは電子メールの着信が検出された際に、この電話着信或いは電子メールの着信を示す情報を、上記被操作装置に対して近距離無線送信するように上記近距離無線通信手段を制御すること
   を特徴とする携帯端末装置。
4. 請求項３に記載の携帯端末装置であって、
   上記制御手段は、電話着信時に所定の操作を検出した場合、上記マウスモードを実行した状態でハンズフリー通話制御を行い、電子メールの着信時に所定の操作を検出した場合、上記マウスモードを実行した状態で上記着信した電子メールを当該携帯電話機の表示手段に表示制御し、或いは上記着信した電子メールを上記被操作装置に対して近距離無線送信するように上記近距離無線通信手段を制御すること
   を特徴とする携帯端末装置。
5. カメラ部により順次撮像された各画像間の変位量に基づいて、該カメラ部が設けられた筐体の移動方向及び移動距離を検出するように移動検出手段を制御する移動検出制御手段としてコンピュータを機能させ、
   コンピュータを上記移動検出制御手段として機能させることで検出された上記移動方向及び移動距離を示す情報を、この移動方向及び移動距離を示す情報を受信して、表示手段上に表示しているポインタを移動表示制御する被操作装置に対して近距離無線送信するように近距離無線通信手段を制御する近距離無線通信制御手段としてコンピュータを機能させること
   を特徴とするマウスアプリケーションプログラム。
6. 移動検出手段が、携帯端末装置に設けられたカメラ部により順次撮像された各画像間の変位量に基づいて、該携帯端末装置の筐体の移動方向及び移動距離を検出するステップと、
   上記ステップで上記移動検出手段により検出された上記移動方向及び移動距離を示す情報を、近距離無線通信手段が、この移動方向及び移動距離を示す情報を受信して、表示手段上に表示しているポインタを移動表示制御する被操作装置に対して近距離無線送信するステップと
   を有することを特徴とする携帯端末装置をワイヤレスマウス装置として用いる方法。

Images