JP2008191868A - 位置指定プログラムおよび携帯端末装置 - Google Patents

Abstract

【課題】外部装置のディスプレイを利用する携帯端末装置において、簡易な構成で効率的かつ円滑に画面の操作指示入力を行なうこと。
【解決手段】車両に搭載された車載装置２と、ユーザ（例えば運転者）が所持する携帯端末１とを通信接続し、携帯端末１内部の画面画像生成部１ａが生成した画像を車載装置２のディスプレイ２ａに表示する。そして、携帯端末１のカメラ１ｂでディスプレイ２ａを撮影した場合に、位置判定部１ｄは、撮影された画像と画面画像生成部１ａによって作成した画像とを比較し、カメラが撮影した画像が表示画像のどの部分に対応するかを判定する。この判定結果をディスプレイ２ａ上での入力位置や座標の指定として扱うことで、携帯端末１をディスプレイ２ａに対するポインティングデバイスとして使用する。
【選択図】 図１

Description

この発明は、カメラを備えた携帯端末装置、および携帯端末装置上で動作し、外部装置のディスプレイ上の位置を指定する位置指定プログラムに関し、特に外部装置のディスプレイに対するポインティングデバイスとして機能する携帯端末装置および位置指定プログラムに関する。

現在、携帯端末装置、特に無線で電話回線に接続可能な携帯電話端末が広く利用されている。また、近年携帯電話端末の性能が向上し、カメラ撮影機能、データ通信機能、音楽再生機能、汎用アプリケーションの実行機能など、様々な機能が追加されている。

そこで、携帯端末装置を他の装置と連携して動作させる技術が各種考案されている。例えば、特許文献１は、携帯電話のカメラにより認識したＱＲコードや地名の情報を、携帯電話から車載用ナビゲーション装置へ送信し、車載用ナビゲーション装置で該ＱＲコードや地名に対応する地図を検索し表示する技術を開示している。

特開２００５−３４５１５１号公報

そして近年、携帯端末装置の更なる処理能力の向上に伴って、携帯端末装置に主要な処理を実行させ、連携先の外部装置を表示出力や音声出力などに副次的に使用する構成が検討されている。このように携帯端末装置がメインとして機能することにより、連携先の装置のコスト削減や、性能の陳腐化の抑制を図ることが出来る。

この一例として、携帯電話の処理能力を利用したカーナビゲーションシステムが検討されている。このようなカーナビゲーションシステムにおいては、通信機能や主要な処理を携帯電話が実行し、車載装置で画面出力を行う構成がとられることが考えられる。

ここで、携帯電話で表示すべき画面情報を作成し、車載装置で該画面を出力し、該画面に対してユーザからの入力を受け付ける場合、携帯電話の小さいディスプレイよりも車載装置のディスプレイの方が見易いという利点があるが、車載装置がタッチパネルや画面内容に応じた操作指示入力受付機能を備えていないと、ユーザからの入力指示(例えば地図を表示し該地図をスクロールしたり、選択肢を選択したりするような操作)ができないという問題が発生する。

また、携帯電話から画面を操作する方法として携帯電話のキー入力による方法が考えられるが、キー操作に応じて(たとえばカーソル位置移動等で)画面が更新されるとその度に画面更新が発生し、携帯端末上での車載装置表示用画面作成と車載装置への転送処理が行なわれて応答性能が悪化する。これは、一連の処理に対する携帯電話のＣＰＵ性能不足と無線データ通信の伝送能力不足が原因である。

したがって、携帯端末と外部装置とを連携して動作させ、外部装置のディスプレイを表示手段として利用する場合に、そのディスプレイ上での位置指定入力をどのように実現するかが重要な課題となっていた。

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、外部装置のディスプレイを利用する携帯端末装置において、簡易な構成で効率的かつ円滑に画面の操作指示入力を行なうことのできる位置指定プログラムおよび携帯端末装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかる位置指定プログラムおよび携帯端末装置は、カメラによって外部装置のディスプレイ上の任意の位置を撮影し、撮影によって得られた撮影画像と外部装置のディスプレイに表示中の表示画像とを比較し、比較結果に基づいて撮影画像が前記表示画像上のどの位置を撮影したものであるかを判定し、当該判定結果を指定位置として出力する。

本発明によれば、カメラによって外部装置のディスプレイ上の任意の位置を撮影し、撮影によって得られた撮影画像と外部装置のディスプレイに表示中の表示画像とを比較し、比較結果に基づいて撮影画像が前記表示画像上のどの位置を撮影したものであるかを判定し、当該判定結果を指定位置として出力するので、簡易な構成で効率的かつ円滑に画面の操作指示入力を行なうことのできる位置指定プログラムおよび携帯端末装置を得ることができるという効果を奏する。

本発明を利用することで、ユーザは携帯端末装置のカメラで外部ディスプレイ上の指定したい部分を写すだけでその位置を指定することが出来、複数回のキー操作を行うよりも操作性を向上させることが出来る。

また、外部ディスプレイに表示する表示画像を作成して携帯端末側で作成する構成では、携帯端末装置のカメラで取得する画像は、もともと携帯端末装置側が生成した画像の一部であるので、カメラ画像の部分特定処理(元画像との比較)の負荷が軽くて済む。さらにカメラによる画像上の部分特定であるので、選択操作途中での画像更新が発生しない。

また、携帯端末装置に設けられた携帯ディスプレイに対し、位置指定に関連する情報を撮影画像に基づいて作成し、表示するように構成すれば、位置指定の際に使用される各種情報の提供を携帯ディスプレイの再描画のみで実現し、外部ディスプレイの再描画が不要であるので、処理負荷を軽減しつつユーザに詳細な情報提供を行なうことができる。

ここで、携帯ディスプレイに表示する画像を、外部ディスプレイ用に作成した画像から切り出して作成すれば、携帯ディスプレイ用の画像作成にかかる処理負荷をさらに軽減することが可能である。

ここで、外部ディスプレイ用画像の描画と前記携帯ディスプレイ用画像の描画で、描画手段（グラフィックアクセラレータ）を共用すれば、構成を簡易にし、コストを削減することが可能である。この場合、外部ディスプレイ用画像の更新の必要性を検知した場合には一時的に携帯ディスプレイ用画像描画から外部ディスプレイ用画像描画へと描画手段の処理を切り替え、外部ディスプレイ用画像の送信完了を検知した場合に携帯ディスプレイ用画像描画に復帰すればよい。

また、撮影画像と表示画像との比較を補助する補助情報を表示画像に重畳することも好適である。例えば、表示画像上を格子状に分割するグリッド線を表示し、格子毎に比較を行なったり、類似した格子間を識別するマーカーを表示したりすることで、比較処理を補助し、処理負荷を軽減しつつ判別精度を向上することができる。

さらに、指定位置判定の判定結果を記憶しておき、撮影画像を表示画像と比較する際に前回の指定位置近傍を優先して判定すれば、比較処理を効率化することが可能である。

以下に添付図面を参照して、この発明に係る位置指定プログラムおよび携帯端末装置
の好適な実施の形態を詳細に説明する。

１．発明の概要
まず、図１を参照し、本発明の概要について説明する。本発明においては、車両に搭載された車載装置２と、ユーザ（例えば運転者）が所持する携帯端末１とを通信接続し、携帯端末１内部の画面画像生成部１ａが生成した画像を車載装置２のディスプレイ２ａに表示する。

そして、携帯端末１のカメラ１ｂでディスプレイ２ａを撮影した場合に、位置判定部１ｄは、撮影された画像と画面画像生成部１ａによって作成した画像とを比較し、カメラが撮影した画像が表示画像のどの部分に対応するかを判定する。なお、画像の比較方法については、従来技術を用いる。この判定結果をディスプレイ２ａ上での入力位置や座標の指定として扱うことで、携帯端末１をディスプレイ２ａに対するポインティングデバイスとして使用することが出来る。

このように、携帯端末のカメラによって撮影されたディスプレイ上の画面の一部と画面とを比較することで、携帯端末をポインティングデバイスとして使用する点に、本発明の主たる特徴がある。

２．本発明の構成例
つづいて、図２および図３を参照し、本発明の具体的な構成例について説明する。ここでは、車両に画像表示装置２０を搭載して携帯端末である携帯電話１０と接続し、携帯電話上でカーナビゲーションを行なうアプリケーションを動作させて画像表示装置２０を表示出力に使用する場合を例に説明を行なう。なお、下記実施例では無線により携帯電話１０と画像表示装置２０とを接続する例を述べているが、本願はこれに限るものではなく、携帯電話１０と画像表示装置２０とを通信可能に接続できる手段であれば、有線による接続であっても構わない。

まず、図２に示したハードウェア構成図では、携帯電話１０はその内部にディスプレイ１１、ビデオコントローラ１２、ＶＲＡＭ１３、Bluetoothチップ１４、ユーザ入力キー１５、カメラ１６、ＣＰＵ１７、ＲＡＭ１８、および記憶媒体１９を有する。

同様に、画像表示装置２０は、その内部にディスプレイ４１、ビデオコントローラ４２、ＶＲＡＭ４３、Bluetoothチップ４４、リアカメラ４５、サイドカメラ４６およびノーズカメラ４７を有する。

ＣＰＵ１７およびＲＡＭ１８は、プログラムの実行、実行結果に基づくレンダリングなどの演算処理を行なうためのプロセッサ（演算手段）とメモリ（作業領域）である。ここでは、ＣＰＵおよびＲＡＭを携帯電話１０のみに持たせ、画像表示装置２０には持たせていない。画像表示装置２０に表示する画像は、携帯電話１０で作成し、画面データをBluetoothチップ１４，４４によって画像表示装置２０に送信するようにしている。

Bluetoothチップ１４，４４は、Bluetoothによる近距離無線通信を行なうためのファームウェアと、ベースバンド、ＲＦなどの回路から構成されるチップである。

ＶＲＡＭ１３，４３は、ＣＰＵ１７が作成した画像データを格納するビデオメモリである。ＣＰＵ１７が作成した画像データは、一旦ＶＲＡＭ１３に格納された後、Bluetooth経由でＶＲＡＭ４３にコピーされる。

ビデオコントローラ１２は、ＶＲＡＭ１３に格納された画面データをビデオ信号にデジタル／アナログ変換し、ディスプレイ１１に表示する。同様に、ビデオコントローラ４２は、ＶＲＡＭ４３に格納された画面データをビデオ信号にデジタル／アナログ変換し、ディスプレイ４１に表示する。

カメラ１６は、携帯電話１０に内蔵された撮影手段であり、本発明では画像表示装置２０に設けたディスプレイ４１の任意の位置を撮影するために使用する。

記憶媒体１９は、プログラムなどを記憶するＲＯＭや、地図データを記憶するＳＤカードなどの外部記憶媒体であり、ユーザ入力キー１５は、ユーザからの操作入力を受け付ける入力手段である。

リアカメラ４５、サイドカメラ４６、ノーズカメラ４７は、車両周辺（それぞれ後方、側方、前方）を撮影する手段であり、画像表示装置２０は、携帯電話１０との接続の有無に関わらず、これらのカメラの撮影結果を画像表示装置２０に表示することができる。

つづいて、図２に示したハードウェア構成によって実現される、携帯電話１０と画像表示装置２０の機能構成を図３に示す。同図に示したように、携帯電話１０は、その内部にカメラ１６、キー操作検出部２１、地図情報データベース２２、地図操作検出部２３、画面切替制御部２４、地図画面作成部２５、画面描画部２６、携帯ディスプレイ２７、画面画像生成部２８、画像転送部２９地図映像認識部３０および操作画面作成部３１を有する。

また、画像表示装置２０は、その内部に画像受信部３２およびディスプレイ４１を有する。

キー操作検出部２１は、ユーザの携帯電話１０に対するキー入力を検出する。地図操作検出部２３は、カメラ１６による撮影結果やキー入力検出部２１による検出結果から、地図操作を検出する。また、地図情報データベース２２は、地図座標（緯度経度）、道路形状、観光地や各種施設などのＰＯＩ（Point of Interest）情報、説明情報、背景情報など、地図を構成する各種データを格納している。

地図画面作成部２５は、ユーザ操作に応じて地図情報データベース２２から地図情報を検索し、得られた情報から更新する地図画面を作成するレンダリング処理を行なう。

画面描画部２６は、作成した画面をＶＲＡＭに格納する機能部であり、携帯ディスプレイ２７は携帯電話１０に内蔵された表示手段である。そして、画面画像生成部２８は、ＶＲＡＭ上の画面データをキャプチャする機能部である。画像転送部２９は、キャプチャされた画像データをBluetoothによって画像表示装置２０に送信する処理を行なう。

画像表示装置２０内の画像受信部３２は、Bluetoothによって画像データを受信し、携帯電話１０にとっての外部ディスプレイであるディスプレイ４１に表示する。

地図映像認識部３０は、カメラ１６が撮影した映像から地図を認識する機能部である。また、操作画面作成部３１は、地図操作用の情報を携帯ディスプレイ２７上で提供する操作画面を作成する機能部である。

ここで携帯電話の画面描画２６を複数設けると、装置コストが上昇する。そこで、本構成例では単一の画面描画部２６を自動的に切り替えて使用することで、携帯電話と画像表示装置の二画面を個別に利用可能としている。この画像表示装置用の地図画面作成と携帯電話用の操作画面作成の処理との自動的な切替は、画面切替制御部２４によって行なわれる。

画像内の位置を指定する場合に、携帯電話１０のキー操作によって表示画面（例えば地図画面）上の任意の点指定も可能だが、何度もキー押下が必要で煩雑なだけでなく、キー押下の度に地図画面作成・画面画像生成・画像転送が発生して図４に示す様に地図表示の応答性能が悪化する。これは、一連の処理に対する携帯電話のＣＰＵ性能不足と無線データ通信の伝送能力不足が原因である。

これに対し、本発明では、携帯電話内蔵のカメラで地図上の任意の点をとらえることで、携帯電話を利用した直感的な地図操作を可能である。すなわち図５に示すように画像表示装置で地図表示し、背面カメラで撮影した地図映像をもとに該地図の操作を携帯電話の画面で行う。

この構成では、表示装置側の画面に操作対象点を示すカーソルなどの位置指定のための表示が不要であり、画面書き換えが発生する頻度を大きく低下させることが出来る。そのため、画面作成に要する負荷および画像データ転送に要する負荷を大きく低減することが可能である。

また、カーソルが付加情報など、地図操作を行なう上で有用な情報は携帯ディスプレイ２７にのみ表示することとすれば、負荷を抑制しつつユーザに提供する情報を増加させることが出来る。例えば、図５においては操作対象点を示す記号を携帯ディスプレイ２７にのみ表示すると共に、操作対象点によって指定された位置に存在する店舗の情報を付加情報として表示している。

つづいて、画面切替制御部２４による処理の具体例について、図６のフローチャートを参照して説明する。画面切替制御部２４は、通常状態で操作画面作成を繰り返し実行しており、ユーザ操作から地図画面の更新が必要と判断すると、そのときだけ操作画面作成から地図画面作成へ切り替える。そして、画像転送完了を検出すると、もとの操作画面作成へ復帰する。

具体的には、操作画面作成処理として、カメラで地図画像を認識し（ステップＳ１０１）、地図操作検出部２３が地図操作を検出したか否かを判定する（ステップＳ０１２）。その結果、地図操作を検出していない場合には（ステップＳ１０２，Ｎｏ）、地図映像認識部２０によって認識した地図映像をもとに操作画面作成部３１が操作用の画面を作成する（ステップＳ１０３）。そして、画面描画部２６に操作画面を描画させ（ステップＳ１０４）、携帯ディスプレイ２７の画面を更新して（ステップＳ１０５）、再びステップＳ１０１に戻る。

なお、本実施例では、携帯電話１０は記憶領域１９または地図情報ＤＢ２２上に、図１４に例示するような表示画像座標に関する情報を格納するテンポラリなテーブル領域と図１５に例示するような地図座標に関する情報を格納するテーブル領域とを備えている。

表示画像座標に関するテーブル（図１４参照）に示される情報は、カメラが認識する座標、すなわち、画像表示装置２０のディスプレイ４１に表示される表示画像上における座標と、地図情報内の緯度経度の情報とを対応付けるためのデータであって、後段で述べるステップＳ１０７で画面データが作成されると更新されるデータである。

地図座標に関するテーブル（図１５参照）に示される情報は、地図が示す内容に関するデータであって、地図上にアイコン等で示されるランドマークのそれぞれについて、緯度経度などの情報と名称と操作画面に表示するための説明情報等の情報を対応付けて保持している。

操作画面作成部３１がステップＳ１０３で行う処理においては、まず、ステップＳ１０１で認識したカメラにより取得した地図画像の表示画像座標に基づいて、表示画像座標に関するテーブル（図１４参照）を参照することで、地図座標を取得する。例えば、表示画像座標としてｘ座標が３００、ｙ座標が２００という座標を得ると、該表示画像座標をもとにテーブルを参照し、緯度経度として１３９．３９．３２と３５．３４．２３を得る。

続いて、該取得した地図座標に基づいて、地図座標に関するテーブル（図１５参照）を参照することで、操作画面上に表示すべきランドマークの名称や説明情報を取得する。例えば、緯度経度として取得した１３９．３９．３２と３５．３４．２３と一致するレコートとして、名称「ドラッグストアＡＢＣ」、説明情報「営業：１０時〜２１時 酒・タバコあり」という情報を取得する。

そして、該取得した名称や説明情報を画面内の対応するランドマークの近傍に重畳表示することで、図５の携帯ディスプレイ２７の表示画面例に示すような操作用画面を作成する。

一方、地図操作を検出した場合（ステップＳ１０２，Ｙｅｓ）、さらに地図画面の更新が必要であるか否かを判定し（ステップＳ１０６）、地図画面の更新が不要であれば（ステップＳ１０６，Ｎｏ）、ステップＳ１０３に移行するが、地図画面の更新が必要であれば（ステップＳ１０６，Ｙｅｓ）、ステップＳ１０７に移行して地図画面の作成を開始する。

地図画面の作成では、まず地図画面作成部２５によって画面データを作成し（ステップＳ１０７）、画面描画部２６に地図画面を描画させる（ステップＳ１０８）。その後、携帯ディスプレイ２７の画面を更新する（ステップＳ１０９）とともに、画面画像生成部２８がＶＲＡＭ上の画面データをキャプチャする（ステップＳ１１０）。

そして、キャプチャしたデータを画像転送部２９が画像表示装置２０に転送（ステップＳ１１１）し、画像の転送が完了した場合（ステップＳ１１２，Ｙｅｓ）に、ステップＳ１０１に戻ることで、地図画面作成から操作画面作成に移行する。

かかる処理によって一つの画面描画機能で、地図画面とその地図の操作画面を別々に表示することができる。また地図画面更新が必要なときだけ、画像転送が発生するため、処理・伝送負荷を軽減することができる。

図７に地図スクロール時の画面遷移例を示す。ユーザのスクロール操作による地図更新を検出すると地図画面作成により、一旦、携帯電話は地図画面に切り替わる。ここで画面切替制御は画像転送完了を確認すると携帯電話をもとの操作画面に直ちに戻すため、ユーザは地図画面の更新を意識することなく、継続して地図操作を行える。

ところで、カメラでとらえた映像上にそのまま操作情報を重ね合わせて操作画面を作成すると、画質が劣化し地図上の文字などが見づらくなる。一方、映像認識結果にもとづいて新たに操作画面用に地図画面を作成すると応答性能が悪化する。特に操作画面では携帯電話の傾きに応じて地図画面の回転などが必要であり、更に悪化する。

そこで本発明では画像表示装置用に作成した地図画面の画像データを利用し、カメラでとらえた映像に応じて、当該画像データから地図を切り出し、該地図上に操作情報を重ね合わせることで、画質と応答性能を低下することなく、操作画面を作成することが望ましい。

この場合、図６に示した処理フローは、図８に示す様に変更すればよい。同図に示す処理では、ステップＳ１０２の後、地図映像認識部３０が認識した地図映像に対応した地図を画像表示装置に表示中の画像から切り出し（ステップＳ２０１）、切り出した地図画像上に操作情報を重畳させて操作用の画面を作成し（ステップＳ２０２）、ステップＳ１０４に移行する。その他の処理は図６に示した処理動作と同様である。

ところで、地図画像上には類似の領域が存在する場合がある。例えば地図の背景として無地の領域が広く存在している場合、その中のどの位置を撮影しているかを特定することは困難である。

この点を鑑みると、撮影画像と表示画像との比較を補助する補助情報を表示画像に重畳することが好適である。例えば、表示画像上を格子状に分割するグリッド線を表示し、格子毎に比較を行なったり、類似した格子間を識別するマーカーを表示したりすることで、比較処理を補助し、処理負荷を軽減しつつ判別精度を向上することができる。

図９では、ディスプレイの画面にグリッド線を表示する場合の動作例を示している。グリッド線は撮影画像と表示画像との比較には有効であるが、場合によってはユーザによる地図の視認性を低下させる可能性がある。そこで、図９ではユーザの地図操作開始を検出した場合、すなわち撮影画像と地図画像との比較が必要となった場合に自働的にクリッド線を表示するようにしている。

このようにグリッド線を表示する場合の処理動作を図１０に示す。同図に示す処理動作では、地図画面を格子状にＮ個の領域に分割し、撮影画像として得られる地図映像に対し、各格子状領域とのパターンマッチングを行なう。そして、一致した地図映像上の位置から、操作対象点の座標を求める。

具体的には、まず、画像表示装置２０へ地図画像を転送（ステップＳ３０１）、地図操作開始を検出する（ステップＳ３０２）。そして、映像認識に使用する地図画像（画像表示装置２０に表示する地図画像）を更新し（ステップＳ３０３）、該地図画像をＮ個の格子領域に分割する（ステップＳ３０４）。そして、グリッド線を引いた地図画像を生成し（ステップＳ３０５）、画像表示装置２０へ地図画像を転送する（ステップＳ３０６）。

その後、カメラ１６から映像を読み出し（ステップＳ３０７）、ノイズ処理などの前処理を行なった（ステップＳ３０８）あと、グリッド線を利用してカメラ映像から矩形画像を切り出す（ステップＳ３０９）。

この矩形画像に対して縮小、拡大、回転などの正規化処理を行なって（ステップＳ３１０）、１〜Ｎ番目の格子領域とパターンマッチングする（ステップＳ３１１）。そして、特定した格子領域の地図上の位置から操作対象点の座標を求める（ステップＳ３１２）。

さらに、画像表示装置２０の地図画面を更新する必要があるならば（ステップＳ３１３，Ｙｅｓ）、地図画面を作成し（ステップＳ３１４）、画像表示装置へ地図画像を転送して（ステップＳ３１５）、ステップＳ３０３に移行する。一方、画像表示装置２０の地図画面を更新する必要が無ければ（ステップＳ３１３，Ｎｏ）、ステップＳ３０７に移行する。

この処理では、高々Ｎ個の領域とのマッチング処理であるため、操作対象点の位置を高速に特定することができる。しかしながら、画像が同一の格子領域が複数存在することがありえるので、そのような識別不可の領域には図１１に示す様に、各々を識別するマーカーをさらに重畳表示すればよい。

識別不可領域に対してマーカーを重畳する場合、図１０に示した処理動作の一部を図１２に示す様に変更すればよい。同図に示す処理では、地図画像をＮ個の格子領域に分割した（ステップＳ３０４）後、各格子領域から無地領域および複数同一領域を抽出し、これらを識別不可領域とする（ステップＳ４０１）。

そして、識別不可領域が存在する場合には（ステップＳ４０２，Ｙｅｓ）、識別不可領域に対してマーカーを配置した（ステップＳ４０３）うえで、ステップＳ３０５に移行する。その他の処理は図１０に示した処理動作と同様である。

このように、識別不可領域に対してマーカーを重畳することで、判別精度を向上することができる。なお、ユーザによる視認性を低下させないように、マーカーの配置は最小限とすることが望ましい。

また、カメラ映像が移動した場合、現在位置近傍の地図画像データと優先的にマッチングすることで、ユーザ操作により携帯電話が移動しても、移動後の位置を高速に特定することができる。

この場合、図１０に示した処理動作の一部を図１３に示す様に変更すればよい。同図に示す処理では、正規化処理（ステップＳ３１０）を行なった後、前回の認識位置を記憶しているかを判定し（ステップＳ５０１）、記憶しているならば（ステップＳ５０１，Ｙｅｓ）、前回の認識位置に隣接する格子領域を優先的にパターンマッチングし（ステップＳ５０２）、ステップＳ３１２に移行する。

これに加え、特定した格子領域の地図上の位置から操作対象点の座標を求めた（ステップＳ３１２）後、今回求めた認識位置を記憶して（ステップＳ５０３）からステップＳ３１３に移行する。その他の処理は図１０に示した処理動作と同様である。

このように、認識位置を記憶し、次回のパターンマッチング時に認識位置近傍の格子領域と優先的にマッチングすることで、ユーザ操作により携帯電話が移動しても、移動後の位置を高速に特定できる。

また、地図画面が更新されると認識済みの地図画像がリセットされ、はじめから映像認識を行う必要があるが、ここでも画像表示装置上での携帯電話の位置は地図更新の前後で大きく変化しないため、ディスプレイに対する位置をもとに更新後の地図画面上の認識位置を予測し、該予測位置周辺の地図画像を優先的にマッチングすることで地図更新後の地図画像の認識を高速化できる。

以上説明してきたように、本実施例にかかる携帯端末（携帯電話）および車載装置（画像表示装置）は、携帯端末のカメラによって撮影されたディスプレイ上の画面の一部と画面とを比較することで、ディスプレイ上の位置を指定する位置指定（ポインティング）機能を実現することができる。

また、携帯端末が作成した地図画面を携帯端末自身のカメラで認識する、すなわち画像表示装置用に作成した地図画像データを流用し、該データとカメラ映像のマッチングを行うことで、ユーザの指定した地図上の任意の位置を高速に特定可能である。

なお、本実施例に示した構成および動作はあくまで一例であり、本発明を限定するものではない。例えば、本実施例では、車載装置と携帯電話とを接続し、ナビゲーション用の地図画面上で位置指定を行なう場合を例に説明を行なったが、本発明は表示出力可能な外部装置とカメラ機能を有する携帯端末とを連携させ、外部装置のディスプレイ上で位置指定を行なう場合に広く適用可能である。

（付記１）カメラを備えた携帯端末装置上で動作し、外部装置のディスプレイ上の位置を指定する位置指定プログラムであって、
前記カメラによる撮影を行なう撮影ステップと、
前記撮影によって得られた撮影画像と前記外部装置のディスプレイに表示中の表示画像とを比較する比較ステップと、
前記比較結果に基づいて前記撮影画像が前記表示画像上のどの位置を撮影したものであるかを判定し、当該判定結果を指定位置として出力する指定位置判定ステップと、
を含んだことを特徴とする位置指定プログラム。

（付記２）前記表示画像を作成して前記外部装置に提供する表示画像作成ステップをさらに含んだことを特徴とする付記１に記載の位置指定プログラム。

（付記３）前記携帯端末装置に設けられた携帯ディスプレイに対し、位置指定に関連する情報を表示する操作画面表示ステップをさらに含み、前記操作画面表示ステップが表示する操作画面は、前記撮影画像に基づいて作成された画像であることを特徴する付記１または２に記載の位置指定プログラム。

（付記４）前記操作画面は、前記表示画像作成ステップによって作成された表示画像を切り出して作成された画像であることを特徴とする付記３に記載の位置指定プログラム。

（付記５）前記携帯端末装置は前記表示画像の描画と前記操作画面の描画に共用される描画手段を備え、表示画像の更新の必要性を検知した場合には一時的に操作画像描画から表示画像描画へと前記描画手段の処理を切り替え、当該描画された表示画像の前記外部装置への送信完了を検知した場合に前記操作画面描画に復帰させる画面切替ステップをさらに含んだことを特徴とする付記３または４に記載の位置指定プログラム。

（付記６）前記表示画像作成ステップは、前記比較ステップにおける比較を補助する補助情報を前記表示画像に重畳することを特徴とする付記２〜５のいずれか一つに記載の位置指定プログラム。

（付記７）前記指定位置判定ステップによる判定結果を記憶する指定位置記憶ステップをさらに含み、前記比較ステップは前回の指定位置記憶ステップで記憶された指定位置近傍を優先して判定することを特徴とする付記１〜６のいずれか一つに記載の位置指定プログラム。

（付記８）外部装置のディスプレイ上の任意の位置を撮影可能なカメラと、
前記カメラによる撮影画像と前記外部装置のディスプレイに表示中の表示画像とを比較する比較手段と、
前記比較結果に基づいて前記撮影画像が前記表示画像上のどの位置を撮影したものであるかを判定し、当該判定結果を指定位置として出力する指定位置判定手段と、
を備えたことを特徴とする携帯端末装置。

（付記９）前記表示画像を作成して前記外部装置に提供する表示画像作成手段をさらに備えたことを特徴とする付記８に記載の携帯端末装置。

（付記１０）自端末に設けられた携帯ディスプレイと、前記携帯ディスプレイ上に位置指定に関連する情報を表示する操作画面表示手段と、をさらに含み、前記操作画面表示手段が表示する操作画面は、前記撮影画像に基づいて作成された画像であることを特徴する付記８または９に記載の携帯端末装置。

（付記１１）前記操作画面は、前記表示画像作成手段によって作成された表示画像を切り出して作成された画像であることを特徴とする付記１０に記載の携帯端末装置。

（付記１２）前記表示画像の描画と前記操作画面の描画に共用される描画手段と、地図情報の更新の必要性を検知した場合には一時的に操作画像描画から表示画像描画へと前記描画手段の処理を切り替え、当該描画された表示画像の前記外部装置への送信完了を検知した場合に前記操作画面描画に復帰させる画面切替手段と、をさらに備えたことを特徴とする付記１０または１１に記載の携帯端末装置。

（付記１３）前記表示画像作成手段は、前記比較手段における比較を補助する補助情報を前記表示画像に重畳することを特徴とする付記９〜１２のいずれか一つに記載の携帯端末装置。

（付記１４）前記比較手段は前回の指定位置記憶手段による判定結果として得られた指定位置近傍を優先して判定することを特徴とする付記８〜１３のいずれか一つに記載の携帯端末装置。

以上のように、本発明にかかる位置指定プログラムおよび携帯端末装置は、外部ディスプレイと連携した場合における位置指定であり、特に低処理負荷かつ低コストでの位置指定機能実現に適している。

本発明の概要について説明する概要説明図である。 本発明にかかる携帯電話および画像表示装置のハードウェア構成を説明する説明図である。 本発明にかかる携帯電話および画像表示装置の機能構成を説明する説明図である。 キー操作による位置指定について説明する説明図である。 画像認識による位置指定について説明する説明図である。 画面切替制御処理について説明するフローチャートである。 地図スクロール時の画面遷移例を説明する説明図である。 表示画像を流用する際の処理動作について説明するフローチャートである。 ディスプレイの画面にグリッド線を表示する場合の動作例を説明する説明図である。 グリッド線を表示する場合の処理動作について説明するフローチャートである。 識別不可領域に対するマーカー重畳について説明する説明図である。 識別不可領域に対するマーカー重畳処理について説明するフローチャートである。 マッチングに優先順序をつける場合の処理動作について説明するフローチャートである。 操作対象点のデータ構造の一例を示す図である。 地図情報ＤＢのデータ構造の一例を示す図である。

符号の説明

１ 携帯端末
１ａ 画面画像生成部
１ｂ 位置判定部
１ｃ カメラ
２ 車載装置
２ａ ディスプレイ
１０ 携帯電話
１１，４１ ディスプレイ
１２，４２ ビデオコントローラ
１３，４３ ＶＲＡＭ
１４，４４ Bluetoothチップ
１５ ユーザ入力キー
１６ カメラ
１７ ＣＰＵ
１８ ＲＡＭ
１９ 記憶媒体
２０ 画像表示装置
２１ キー操作検出部
２２ 地図情報データベース
２３ 地図操作検出部
２４ 画面切替制御部
２５ 地図画面作成部
２６ 画面描画部
２７ 携帯ディスプレイ
２８ 画面画像生成部
２９ 画像転送部
３０ 地図映像認識部
３１ 操作画面作成部
３２ 画像受信部
４５ リアカメラ
４６ サイドカメラ
４７ ノーズカメラ

Claims (6)

1. カメラを備えた携帯端末装置上で動作し、外部装置のディスプレイ上の位置を指定する位置指定プログラムであって、
   前記カメラによる撮影を行なう撮影ステップと、
   前記撮影によって得られた撮影画像と前記外部装置のディスプレイに表示中の表示画像とを比較する比較ステップと、
   前記比較結果に基づいて前記撮影画像が前記表示画像上のどの位置を撮影したものであるかを判定し、当該判定結果を指定位置として出力する指定位置判定ステップと、
   を含んだことを特徴とする位置指定プログラム。
2. 前記表示画像を作成して前記外部装置に提供する表示画像作成ステップをさらに含んだことを特徴とする請求項１に記載の位置指定プログラム。
3. 前記携帯端末装置に設けられた携帯ディスプレイに対し、位置指定に関連する情報を表示する操作画面表示ステップをさらに含み、前記操作画面表示ステップが表示する操作画面は、前記撮影画像に基づいて作成された画像であることを特徴する請求項１または２に記載の位置指定プログラム。
4. 前記操作画面は、前記表示画像作成ステップによって作成された表示画像を切り出して作成された画像であることを特徴とする請求項３に記載の位置指定プログラム。
5. 前記表示画像作成ステップは、前記比較ステップにおける比較を補助する補助情報を前記表示画像に重畳することを特徴とする請求項２〜４のいずれか一つに記載の位置指定プログラム。
6. 外部装置のディスプレイ上の任意の位置を撮影可能なカメラと、
   前記カメラによる撮影画像と前記外部装置のディスプレイに表示中の表示画像とを比較する比較手段と、
   前記比較結果に基づいて前記撮影画像が前記表示画像上のどの位置を撮影したものであるかを判定し、当該判定結果を指定位置として出力する指定位置判定手段と、
   を備えたことを特徴とする携帯端末装置。

Images