JP2005258486A - 端末装置及び座標位置特定方法及びプログラム - Google Patents

Abstract

【課題】 ＧＵＩに対応した情報処理装置のマウスとして使用できるカメラ内蔵携帯電話機を提供することを目的とする。
【解決手段】 カメラ内蔵携帯電話機１０１を机やマウスパッドの上で移動させ、デジタルカメラ１０３で机やマウスパッドの撮影を行い、撮影された画像を記憶部２０５が記憶し、ＣＰＵ２０４が記憶部２０５に記憶された画像に基づいてカメラ内蔵携帯電話機１０１の移動方向を解析し、移動方向を示す位置変化情報を生成し、外部Ｉ／Ｆ Ａ２０８が位置変化情報を情報処理装置１０５に送信し、また、機能キー装置１０２からのキークリック情報を情報処理装置１０５に送信し、これにより、通信制御部２０１及び無線部２０２を用いた無線通信を行いながら、情報処理装置１０４のマウスとしての機能を実現する。
【選択図】 図２

Description

この発明は、例えば、パーソナルコンピュータ（以下、ＰＣとも言う）やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）用のマウス機能に関するものである。

従来の電話機内蔵マウスにおいては、電話機が元々持っている回路に加え、マウス機能を実現する位置変化検出装置やクリック装置などの回路を必要とした。

例えば、特開平８−７９３５３号公報では、マウスとして使用時は、マウス／電話切り換え装置が電話回線に接続されたパーソナルコンピュータとマウス機能部とを接続し、相手から電話の呼び出し信号を受信すると、マウス／電話切り換え装置が接続を電話機能部に切り換え、呼び出し装置により電話が掛かったことを知らせ、フックスイッチ部により電話回線を接続して受信部、送信部により通話を行い、終了するとフックスイッチ部により電話回線を切断する。ユーザ側から電話を掛けるには、マウス／電話切り換え装置により電話機能部に切り換え、フックスイッチ部により電話回線に接続を行い、テンキー装置で相手先の電話番号をダイアルし、通話を行い、マウス機能と電話機能を一体化させる。

また、特開平１０−３０１７１１号公報では、コンピュータの座標入力装置であるマウスに、送話器と受話器を内蔵し、マウス一体型電話機としている。
特開平８−７９３５３号公報 特開平１０−３０１７１１号公報

従来のマウス機能付き携帯電話機は電話機内部でマウス機能と電話機能が独立しており、互いの構成部品を実装する必要があったため、携帯電話機の小型化を実現するためには互いの構成部品を小型化、または数量低減することが必要であった。また、電話機能とマウス機能を排他的に使用する必要があるため、携帯電話機でネットワーク接続を行っている時にはマウス機能は使用できないという問題があった。

この発明は上記のような問題点を解消することを主な目的としており、電話機にマウス機能専用の構成部品を加えることなくマウス機能を実現し、かつマウス機能と電話機能を同時に使用することを目的としている。

本発明に係る端末装置は、
ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に対応する情報処理装置に接続された場合に、ＧＵＩにおける座標位置の特定に用いられる移動可能な端末装置であって、
画像の撮影を行う撮像部と、
前記撮像部により画像が撮影される度に、撮影された画像を記憶する画像記憶部と、
前記画像記憶部に記憶された画像のうち少なくとも二つの画像を比較して端末装置の移動状況を解析し、端末装置の移動状況を示す移動状況情報を生成する移動状況情報生成部と、
前記移動状況情報生成部により生成された移動状況情報を前記情報処理装置に送信する移動状況情報送信部とを有することを特徴とする。

この発明によれば、撮影された画像を解析することにより端末装置の移動状況を判定し、端末装置の移動状況を情報処理装置に通知することにより、ＧＵＩにおける座標位置の特定を行うことができる。このため、カメラ機能を有する通信装置を、コストを上げることなく、かつ大型化することなく、情報処理装置のマウスとすることができ、また、マウスとして使用しながら通信機として使用することが可能であり、利便性を向上させることができる。

実施の形態１．
図１は、本実施の形態に係るマウス機能付きカメラ内蔵携帯電話機と情報処理装置および移動通信ネットワークとの接続状態を示す外観図であり、１０１はマウス機能付きカメラ内蔵携帯電話機（以下、カメラ内蔵携帯電話機ともいう）である。カメラ内蔵携帯電話機１０１は、図１及び図６に示すように、機能キー装置１０２、デジタルカメラ１０３（裏面）を有する。カメラ内蔵携帯電話機１０１は、カメラを内蔵した携帯電話機の機能を持つ。カメラ内蔵携帯電話機１は、端末装置の例である。情報処理装置１０４は、例えば、ＰＣやＰＤＡであり、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に対応しており、カメラ内蔵携帯電話機１０１は、ＧＵＩにおける座標位置の特定に用いられるマウスとしての役割を持つ。情報処理装置１０４は、マウスとしての役割を持つカメラ内蔵携帯電話機１０１を接続することができ、また、携帯電話機としての役割を持つカメラ内蔵携帯電話機１０１を用いて移動通信ネットワーク１０７とのデータ通信が可能である。また、カメラ内蔵携帯電話機１０１と情報処理装置１０４とは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル１０５を介して接続する。カメラ内蔵携帯電話機１０１と、移動通信ネットワーク１０７とは電波通信手段１０６を介して接続する。

図２は、本実施の形態に係るカメラ内蔵携帯電話機１０１の構成例を示す回路ブロック図である。カメラ内蔵携帯電話機１０１は、画像撮影を行うデジタルカメラ１０３、音声通話やデータ通信、待ち受け処理を行う通信制御部２０１、無線信号の変復調を行う無線部２０２、無線信号を送受信するアンテナ２０３、カメラ画像処理、無線信号処理をはじめ各部の制御を行う中央演算処理部（ＣＰＵ）２０４、ＣＰＵ２０４で処理するソフトウェアプログラムの格納や撮影された画像データを記憶する記憶部２０５、カメラで撮影した画像などを表示する表示装置２０６、電話番号や文字を入力するためのテンキー装置２０７、テンキー以外の機能を持ち、マウスのボタンとしても使用可能であり、キークリックを入力する機能キー装置１０２、マウスの位置変化情報（移動状況情報）、クリック情報やデータ通信時のデータを送受信することの出来る外部インターフェース（外部Ｉ／Ｆ）Ａ２０８、電池への充電を制御する充電装置２０９、電池２１０から成る。情報処理装置１０４は、外部Ｉ／ＦＡ２０８と接続するための外部インターフェース（外部Ｉ／Ｆ）Ｂ２１１を有する。

外部Ｉ／ＦＡ２０８および外部Ｉ／ＦＢ２１１はＵＳＢであり、ＵＳＢケーブル１０５で接続される。デジタルカメラ１０３で撮影されたデータを元にＣＰＵ２０４で処理された位置変化情報（移動状況情報）および機能キー装置１０２のクリック情報を情報処理装置１０４へ外部Ｉ／ＦＡ２０８および外部Ｉ／ＦＢ２１１経由で送信し、情報処理装置１０４のマウス機能を実現し、かつ、アンテナ２０３で移動通信ネットワーク１０７から受信したデータを無線部２０２で復調し、ＣＰＵ２０４でＰＣ用のデータに変換した後、外部Ｉ／ＦＡ２０８および外部Ｉ／ＦＢ２１１を経由して情報処理装置１０４へ送信し、情報処理装置１０４から外部Ｉ／ＦＡ２０８および外部Ｉ／ＦＢ２１１を経由して受信したデータを無線通信用のデータにＣＰＵ２０４で変換した後、無線部２０２で変調し、アンテナ２０３で移動通信ネットワーク１０７へ送信することで情報処理装置１０４と移動通信ネットワークとの通信を実現する。

また、外部Ｉ／ＦＡ２０８および外部Ｉ／ＦＢ２１１を経由して情報処理装置１０４からカメラ内蔵携帯電話機１０１へ給電することによって、充電装置２０９で電池２１０への充電を実現する。

ここで、機能キー装置１０２はキー入力部に相当し、デジタルカメラ１０３は撮像部に相当し、通信制御部２０１は通信処理部に相当し、ＣＰＵ２０４は移動状況情報生成部に相当し、記憶部２０５は画像記憶部に相当し、外部Ｉ／Ｆ Ａ２０８は、移動状況情報送信部に相当し、充電装置２０９は受電部に相当する。

また、記憶部２０５には、図７に示すように、ＣＰＵ２０４で実行されるプログラムが記憶されている。撮像処理部２０５１は、デジタルカメラ１０３を制御して画像撮影を実行させるためのプログラムである。画像記憶処理部２０５２は、デジタルカメラで画像が撮影される度に撮影された画像を記憶部２０５に記憶させるためのプログラムである。移動状況情報生成処理部２０５３は、記憶部２０５に記憶されている画像データに基づいてカメラ内蔵携帯電話機１０１自身の移動状況を解析し、カメラ内蔵携帯電話機１０１の移動状況を示す位置変化情報（移動状況情報）を生成するためのプログラムである。移動状況情報送信処理部２０５４は、位置変化情報（移動状況情報）を情報処理装置１０４に送信するためのプログラムである。無線通信処理部２０５５は、通信制御部２０１及び無線部２０２を用いて移動通信ネットワーク１０７との無線通信を実現するためのプログラムである。表示制御処理部２０５６は、表示装置２０６における表示制御のためのプログラムである。キー入力受付処理部２０５７は、機能キー装置１０２及びテンキー装置２０７のキー入力の受付処理を行うプログラムである。

図１において、カメラ内蔵携帯電話機１０１を机、マウスパッドなどの上で動かし、裏面に設置されたデジタルカメラ１０３で撮影された動画像をＣＰＵ２０４で解析することによって位置変化検出を行い、また、機能キー装置１０２からのキークリック入力をマウス制御信号として情報処理装置１０４に送信することによってマウス機能を実現する。

図８は、この一連の動作を、より詳しく説明するフローチャート図である。まず、Ｓ８０１において、カメラ内蔵携帯電話機１０１を机、マウスパッドなどの上で動かし、裏面に設置されたデジタルカメラ１０３が画像を撮影する（撮像ステップ）。次に、Ｓ８０２において、撮影された画像を記憶部２０５に記憶する（画像記憶ステップ）。次に、Ｓ８０３において、記憶部２０５に記憶されている最新の画像と当該最新の画像の直前の画像とを比較する（移動状況情報生成ステップ）。次に、Ｓ８０４において、比較結果からカメラ内蔵携帯電話機１０１の移動方向を判定し（移動状況情報生成ステップ）、Ｓ８０５において、判定結果（移動方向）を示す位置変化情報（移動状況情報）を生成する（移動状況情報生成ステップ）。そして、生成した位置変化情報を情報処理装置１０４に送信する（移動状況情報送信ステップ）。

次に、位置変化検出について図３を用いて説明する。３０１は机、あるいはマウスパッド上の模様であり、３０２、３０３がデジタルカメラ１０３の撮影範囲であり、３０２が動画像の前フレーム、３０３が動画像の現在のフレームである。前フレーム３０２と現在のフレーム３０３は記憶部２０５に記憶する。前フレーム３０２をいくつかの矩形画像に分割し、現在のフレーム３０３の画像中でほぼ一致する部分を検索する。図３においては、前フレーム３０２中の矩形画像群３０４と、現在のフレーム３０３の矩形画像群３０５がほぼ一致することがわかり、画像が右上方向へ移動したことがわかる。それによりカメラ内蔵携帯電話機を左下へ移動したことがわかるため、マウスの位置変化検出機構と同等の機能を実現することができる。

また、カメラ内蔵携帯電話機１０１は、マウス機能と移動通信ネットワークとの通信機能とが独立しているため、移動通信ネットワーク１０７との通信を行いながら、マウスとして利用することができる。

また、外部Ｉ／ＦＡ２０８および外部Ｉ／ＦＢ２１１をＵＳＢケーブルで経由して、情報処理装置１０４からカメラ内蔵携帯電話機１０１へ給電し、充電装置２０９で電池２１０への充電を実現することによって、電池２１０の充電量が不足していてもマウス機能、通信ネットワークへの接続機能が使えなくなることがないという効果がある。

このように、本実施の形態に係るマウス機能付きカメラ内蔵携帯電話機は、マウス専用の位置変化検出装置ではなく、内蔵しているカメラで撮影された動画像の前後のフレームを比較することにより位置の変化を検出するものである。さらに本実施の形態に係るマウス機能付きカメラ内蔵携帯電話機は、カメラ撮影、動画像比較処理、通信制御を並列処理することにより、携帯電話機による通信を行いながらマウスを利用することを可能とするものである。

このため、本実施の形態に係るマウス機能付きカメラ内蔵携帯電話機によれば、携帯電話機に内蔵しているカメラをマウスの位置変化検出装置として使用するため、コストを上げることなく、かつ大型化することなく機能を実装でき、また、マウスとして使用しながら携帯電話機として通信が可能であるため、携帯電話機としての機能を損なうことなく利便性を向上させられる。

実施の形態２．
実施の形態１では外部Ｉ／ＦＡ２０８および外部Ｉ／ＦＢ２１１はＵＳＢとして述べたが、これらを、例えば図４に示すＢｌｕｅｔｏｏｔｈ、無線ＬＡＮ（ＩＥＥＥ８０２．１１ｂ，１１ａ，１１ｇ）などのような微弱電波通信手段４０１とすることも可能である。また、この場合は実施の形態１と違い、カメラ内蔵携帯電話機１０１と情報処理装置１０４が無線で接続されるため、接続ケーブルを用意する必要がないといった効果もある。

実施の形態３．
実施の形態１では前フレーム３０２を矩形画像に分割し、現在のフレーム３０３の画像中でほぼ一致する部分を検索するが、現在のフレーム３０３を矩形画像に分割し、前フレーム３０２の画像中でほぼ一致する部分を検索するという手段でも本発明を実現することができ、同様の効果を得られる。

実施の形態４．
実施の形態１ではデジタルカメラ１０３で撮影されたデータを元にＣＰＵ２０４で処理された位置変化情報および機能キー装置１０２のクリック情報を情報処理装置１０４へ外部Ｉ／ＦＡ２０８および外部Ｉ／ＦＢ２１１経由で送信していたが、デジタルカメラ１０３で撮影されたデータを元にＣＰＵ２０４で処理された位置変化情報および機能キー装置１０２のクリック情報を、無線通信用のデータにＣＰＵ２０４で変換した後、無線部２０２で変調し、アンテナ２０３で移動通信ネットワークへ送信し、移動通信ネットワークにより遠隔地にある情報処理装置に位置変化情報およびクリック情報を送信することも可能である。この場合には、遠隔地にあるＰＣ等の情報処理装置のマウス操作を実現できるという効果を得られる。

実施の形態５．
実施の形態１および実施の形態４ではデジタルカメラ１０３で撮影されたデータを元にＣＰＵ２０４で処理された位置変化情報および機能キー装置１０２のクリック情報を、情報処理装置１０４もしくは移動通信ネットワーク１０７へ送信していたが、これらを同時に行うことで、情報処理装置１０４および図５における遠隔地にあるＰＣ等の情報処理装置５０１のマウス操作を、通信手段５０２を経由して同時に実現できるという効果を得られる。

このように、以上の実施の形態に示したカメラ内蔵携帯電話機は、動画像の撮像手段と、動画像のフレームを記憶する手段と、動画像の移動方向を解析する手段と、キー入力機能を有する携帯電話機本体とを有し、同本体で解析した移動方向とキークリック情報を、マウスを接続することができる機器へ送信することを特徴とする。

また、カメラ内蔵携帯電話機本体とマウスを接続することができる機器との間の信号接続手段として、ＵＳＢなど電気的接点を有することを特徴とする。

また、カメラ内蔵携帯電話機本体とマウスを接続することができる機器との間の信号接続手段として、微弱電波通信手段を有することを特徴とする。

また、カメラ内蔵携帯電話機本体と同本体で解析した移動方向とキークリック情報をマウスを接続することができる機器へ送信しながら、携帯電話機本体に有する移動通信ネットワークへ接続する手段を用いて、同機器と移動通信ネットワークとの接続することが可能であることを特徴とする。

また、カメラ内蔵携帯電話機本体への電池充電手段として、マウスを接続することができる機器からＵＳＢなど電気的接点を通してカメラ内蔵携帯電話機に内蔵された電池へ充電することのできることを特徴とする。

実施の形態１に係るマウス機能付きカメラ内蔵携帯電話機と情報処理装置との接続状態を示す外観図。 実施の形態１に係るマウス機能付きカメラ内蔵携帯電話機の回路ブロック図。 実施の形態１に係るマウス機能付きカメラ内蔵携帯電話機の位置変化検出方法を示す概念図。 実施の形態２に係るマウス機能付きカメラ内蔵携帯電話機と情報処理装置との接続状態を示す外観図。 実施の形態５に係るマウス機能付きカメラ内蔵携帯電話機と情報処理装置と遠隔地の情報処理装置との接続状態を示す外観図。 実施の形態１に係るマウス機能付きカメラ内蔵携帯電話機の裏面を示す図。 実施の形態１に係るマウス機能付きカメラ内蔵携帯電話機の機能を実現するためのプログラムの例を示す図。 実施の形態１に係るマウス機能付きカメラ内蔵携帯電話機の動作例を示すフローチャート図。

符号の説明

１０１ マウス機能付きカメラ内蔵携帯電話機、１０２ 機能キー装置、１０３ デジタルカメラ、１０４ 情報処理装置、１０５ ＵＳＢケーブル、１０６ 電波通信手段、１０７ 移動通信ネットワーク、２０１ 通信制御部、２０２ 無線部、２０３ アンテナ、２０４ ＣＰＵ、２０５ 記憶部、２０６ 表示装置、２０７ テンキー装置、２０８ 外部インターフェースＡ、２０９ 充電装置、２１０ 電池、２１１ 外部インターフェースＢ、３０１ 机などの上の模様、３０２ 動画像の前フレーム、３０３ 動画像の現在のフレーム、３０４ 矩形画像群、３０５ 矩形画像群、４０１ 微弱電波通信手段、５０１ 情報処理装置、５０２ 通信手段。

Claims (12)

1. ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に対応する情報処理装置に接続された場合に、ＧＵＩにおける座標位置の特定に用いられる移動可能な端末装置であって、
   画像の撮影を行う撮像部と、
   前記撮像部により画像が撮影される度に、撮影された画像を記憶する画像記憶部と、
   前記画像記憶部に記憶された画像のうち少なくとも二つの画像を比較して端末装置の移動状況を解析し、端末装置の移動状況を示す移動状況情報を生成する移動状況情報生成部と、
   前記移動状況情報生成部により生成された移動状況情報を前記情報処理装置に送信する移動状況情報送信部とを有することを特徴とする端末装置。
2. 前記移動状況情報生成部は、
   前記画像記憶部に記憶されている最新の画像と最新の画像の直前の画像とを比較して端末装置の移動状況を解析することを特徴とする請求項１に記載の端末装置。
3. 前記端末装置は、所定の面上を移動可能であり、
   前記撮像部は、
   端末装置が移動する面の画像を撮影することを特徴とする請求項１に記載の端末装置。
4. 前記端末装置は、
   有線通信路により前記情報処理装置に接続され、
   前記移動状況情報送信部は、
   前記有線通信路により移動状況情報を前記情報処理装置に送信することを特徴とする請求項１に記載の端末装置。
5. 前記端末装置は、
   無線通信路により前記情報処理装置に接続され、
   前記移動状況情報送信部は、
   前記無線通信路により移動状況情報を前記情報処理装置に送信することを特徴とする請求項１に記載の端末装置。
6. 前記端末装置は、更に、
   通信網との通信処理を行う通信処理部を有することを特徴とする請求項１に記載の端末装置。
7. 前記通信処理部は、
   前記移動状況情報送信部により移動状況情報が前記情報処理装置に送信されている際に、前記通信網との通信処理を行うことを特徴とする請求項６に記載の端末装置。
8. 前記通信処理部は、
   前記移動状況情報生成部により生成された移動状況情報を前記通信網に対して送信することを特徴とする請求項６に記載の端末装置。
9. 前記端末装置は、
   キークリックを入力するキー入力部を有し、
   前記移動状況情報送信部は、
   前記キー入力部により入力されたキークリックの情報を前記情報処理装置に送信することを特徴とする請求項１に記載の端末装置。
10. 前記端末装置は、更に、
    前記情報処理装置から供給される電力を受電する受電部を有することを特徴とする請求項１に記載の端末装置。
11. ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に対応する情報処理装置に対して、ＧＵＩにおける座標位置を特定するための情報を送信する情報送信方法であって、
    移動可能な端末装置に画像の撮影を行わせる撮像ステップと、
    前記撮像ステップにより画像が撮影される度に、撮影された画像を記憶する画像記憶ステップと、
    前記画像記憶ステップにより記憶された画像のうち少なくとも二つの画像を比較して端末装置の移動状況を解析し、端末装置の移動状況を示す移動状況情報を生成する移動状況情報生成ステップと、
    前記移動状況情報生成ステップにより生成された移動状況情報を前記情報処理装置に送信する移動状況情報送信ステップとを有することを特徴とする座標位置特定方法。
12. ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に対応する情報処理装置に対してＧＵＩにおける座標位置を特定するための情報を送信する情報送信処理をコンピュータに実行させるプログラムであって、
    移動可能な端末装置に画像の撮影を行わせる撮像処理と、
    前記撮像処理により画像が撮影される度に、撮影された画像を記憶する画像記憶処理と、
    前記画像記憶処理により記憶された画像のうち少なくとも二つの画像を比較して端末装置の移動状況を解析し、端末装置の移動状況を示す移動状況情報を生成する移動状況情報生成処理と、
    前記移動状況情報生成処理により生成された移動状況情報を前記情報処理装置に送信する移動状況情報送信処理とをコンピュータに実行させることを特徴とするプログラム。

Images