JP2013211736A - 車載装置 - Google Patents

Abstract

【課題】携帯端末で実行されているプログラムによらず、携帯端末が表示する画像を取得して所定の処理を行うことができる車載装置を提供する。
【解決手段】車載装置は、携帯端末が表示している表示画像を取得する画像取得手段と、基準画像を記憶する記憶手段と、前記画像取得手段が取得した前記表示画像に、前記記憶手段が記憶する前記基準画像と同じ画像又は前記記憶手段が記憶する前記基準画像との類似度が予め設定された閾値よりも高い画像が、含まれるか否かに応じて、予め設定された特定の処理を実行する処理実行手段と、を備える。
【選択図】図７

Description

本発明は、車載装置に関する。

例えば、特許文献１には、特に乗用車や二輪車等の自動車両内の少なくとも一つのモバイル端末を利用するシステムであって、前記少なくとも一つのモバイル端末と、車内に配置される表示装置と、車内に備えられる操作装置と、前記自動車両と前記モバイル端末間の通信用インタフェースとを有している、システムにおいて、前記モバイル端末および／または車内に備えられる端末統合装置に、端末シーケンス制御が備えられ、当該端末シーケンス制御は、前記モバイル端末の各種機能および／またはソフトウェア・アプリケーションを操作するための操作および／または表示表面を車両表示装置に呼び出すようになっていて、車両操作装置を介して操作されることを特徴とする、システムが開示されている。

特表２００８−５２３７４５号公報

上記システムでは、携帯電話機などの携帯端末（モバイル端末）が表示する画像を取得して所定の処理を行う場合には、取得される画像を携帯端末に表示させる当該携帯端末で実行されているプログラム（例えば、アプリケーションソフト）が、このような処理が行われることを前提として作成される必要があるが、携帯端末のプログラムは、多様であり、前記の前提が必ずしも成り立つとは限らない。

本発明は、上記実情に鑑みてなされたものであり、携帯端末で実行されているプログラムによらず、携帯端末が表示する画像を取得して所定の処理を行うことができる車載装置を提供することを目的とする。

上記目的を達成するため、本発明に係る車載装置は、
携帯端末が表示している表示画像を取得する画像取得手段と、
基準画像を記憶する記憶手段と、
前記画像取得手段が取得した前記表示画像に、前記記憶手段が記憶する前記基準画像と同じ画像又は前記記憶手段が記憶する前記基準画像との類似度が予め設定された閾値よりも高い画像が、含まれるか否かに応じて、予め設定された特定の処理を実行する処理実行手段と、
を備えることを特徴とする。

本発明によれば、携帯端末で実行されているプログラムによらず、携帯端末が表示する画像を取得して所定の処理を行うことができる。

本発明の一実施の形態に係る車載装置、携帯端末、音響装置などの構成を説明する図である。 図１に示す車載装置の構成図である。 図１に示す携帯端末の構成図である。 トリプレットの内容の一例を示すである。 携帯端末の表示画面（ランチャソフト実行時）である。 検索領域を説明するための図である。 携帯端末の表示画面と車載装置の表示部に表示される画面とを示す一例図である。 携帯端末の表示画面と車載装置の表示部に表示される画面とを示す一例図である。 携帯端末の表示画面と車載装置の表示部に表示される画面とを示す一例図である。 携帯端末の表示画面と車載装置の表示部に表示される画面とを示す一例図である。 携帯端末の表示画面と車載装置の表示部に表示される画面とを示す一例図である。 画像解析処理の一例を示すフローチャートである。 携帯端末のログの一例を示す図である。 携帯端末のログに基づいて現在実行中のアプリケーションソフトの種別を推定するためのプログラムの一部を示す図である。

本発明の一実施の形態に係る車載装置を説明する。

図１のように、本実施形態に係る車載装置１００は、携帯端末３００と通信可能に接続されている。車載装置１００は、自動車などの車両に搭載された車両用計器などである。携帯端末３００は、車両の運転手、同乗者などのユーザによって車両内に持ち込まれ、車載装置１００にＵＳＢ（Universal Serial Bus）接続などで接続される。携帯端末３００には、車両内に設けられた音響装置４００と接続される。車載装置１００、携帯端末３００、及び、音響装置４００は、同じ車両内にある。

（車載装置１００）
車載装置１００は、第１指針式計器１０３、第２指針式計器１０７を備える。第１指針式計器１０３は、例えば、車両の車速を報知するスピードメータである。第２指針式計器１０７は、例えば、車両のエンジンの回転数を報知するタコメータである。また、車載装置１００は、携帯端末３００が表示する表示画像などを表示する表示部１４０も備える。

車載装置１００は、図２のように、第１指針駆動部１０５と、第２指針駆動部１０９と、制御部１１０と、記憶部１２０と、表示部１４０と、通信部１５０と、音声出力部１６０と、を備える。第１指針駆動部１０５と、第２指針駆動部１０９と、記憶部１２０と、表示部１４０と、通信部１５０と、音出力部１６０と、は、それぞれが制御部１１０に接続されている。

第１指針駆動部１０５は、第１指針式計器１０３の指針を回転させるものであり、例えば、ステッピングモータなどによって構成される。

第２指針駆動部１０９は、第２指針式計器１０７の指針を回転させるものであり、例えば、ステッピングモータなどによって構成される。

制御部１１０は、例えば、制御部１１０が実行する処理（車載装置１００全体の制御など）を実際に行うＣＰＵ（Central Processing Unit）と、ＣＰＵのメインメモリとして機能するＲＡＭ（Random Access Memory）と、制御部１１０に入出力される情報（信号）をＣＰＵ用にデジタルに変換したり出力用にアナログに変換したりする各種変換器と、を備える。制御部１１０は、ＣＰＵに加えて、制御部１１０が行う処理の一部をＣＰＵの代わりに実行するための各種専用回路（例えば、画像処理回路など）を備えても良い。

制御部１１０は、画像取得部１１０ａと、処理実行部１１０ｂと、を備え、これらは、特に制御部１１０によって実行される後述の処理を行う。本実施形態では、画像取得部１１０ａと、処理実行部１１０ｂと、は、制御部１１０を構成するＣＰＵなどが後述の処理を行うことによって実現されることになる。

記憶部１２０は、制御部１１０のＣＰＵに後述の処理などを実行させる各種プログラム、制御部１１０が処理を実行する際に使用するデータなどを記憶する（詳しくは後述する。）。記憶部１２０は、フラッシュメモリなどのデータを書き換え可能な不揮発性記憶装置などを含んで構成される。記憶部１２０は、ＲＯＭ（Read Only Memory）などを含んでも良い。

制御部１１０の少なくとも一部（例えば、ＣＰＵとＲＡＭ）と記憶部１２０の少なくとも一部（例えば、ＲＯＭ）とは、例えば、ワンチップのマイクロコンピュータなどによって構成されるようにしてもよい。

表示部１４０は、画像を表示するものであり、液晶ディスプレイなどを含んで構成される。制御部１１０は、表示部１４０に画像信号を供給するなどして表示部１４０を制御し、表示部１４０に画像（画像信号などによって表される画像）を表示させる。

通信部１５０は、携帯端末３００に接続されるものであり、例えば、ＵＳＢコネクタなどから構成される。制御部１１０は、通信部１５０を介して、携帯端末３００と情報を送受信し、後述の処理を実行する。

音出力部１６０は、音（効果音、警告音、音楽など）を出力するものであり、とスピーカー及びスピーカーを駆動する駆動回路などを備え、制御部１１０の制御のもとで、所定の音を出力する。

制御部１１０にはＥＣＵ（Electric Control Unit）５０が接続され、制御部１１０は、ＥＣＵ５０と情報の送受信を行う。制御部１１０には第１指針駆動部１０５及び第２指針駆動部１０９が接続される。制御部１１０は、第１指針駆動部１０５及び第２指針駆動部１０９それぞれに各指針を回転させる駆動信号を供給することで、第１指針駆動部１０５及び第２指針駆動部１０９それぞれを駆動する。

例えば、ＥＣＵ５０は、車両の各センサによって車両の状態を検出し、車両の状態を表す各種情報を制御部１１０に供給する。例えば、ＥＣＵ５０は、車両の車速を表す車速情報を制御部１１０に供給する。制御部１１０は、ＥＣＵ５０から供給された車速情報に基づき、第１指針駆動部１０５を駆動し、第１指針式計器１０３の指針を回転させ、第１指針式計器１０３に車速を表示させる。例えば、ＥＣＵ５０は、車両のエンジン回転数を表す回転数情報を制御部１１０に供給する。制御部１１０は、ＥＣＵ５０から供給された回転数情報に基づき、第２指針駆動部１０９を駆動し、第２指針式計器１０７の指針を回転させ、第２指針式計器１０７にエンジン回転数を表示させる。

なお、第１指針式計器１０５や第２指針式計器１０７は、計器画像として表示部１４０に表示されるものであってもよい。また、表示部１４０は、ヘッドアップディスプレイなどであってもよい。

（携帯端末３００）
携帯端末３００は、スマートフォン（多機能携帯電話など）、タブレット型コンピューターなどであればよい。携帯端末３００の構成は、適宜の構成であればよい。

例えば、携帯端末３００は、図３のように、制御部３１０と、記憶部３２０、操作部３３０と、表示操作部３４０と、通信部３５０と、アンテナ３５１と、外部接続部３６０と、外部接続部３７０と、を備える。記憶部３２０、操作部３３０と、表示操作部３４０と、通信部３５０と、外部接続部３６０と、外部接続部３７０と、は、それぞれが制御部３１０に接続されている。

制御部３１０は、例えば、制御部３１０が実行する処理（携帯端末３００全体の制御など）を実際に行うＣＰＵと、ＣＰＵのメインメモリとして機能するＲＡＭと、制御部３１０に入出力される情報（信号）をＣＰＵ用にデジタルに変換したり出力用にアナログに変換したりする各種変換器と、を備える。制御部３１０は、ＣＰＵに加えて、制御部３１０が行う処理の一部をＣＰＵの代わりに実行するための各種専用回路（例えば、画像処理回路など）を備えても良い。

記憶部３２０は、制御部３１０に後述の処理などを実行させる各種プログラム、制御部３１０が処理を実行する際に使用するデータなどを記憶する（詳しくは後述する。）。記憶部３２０は、フラッシュメモリなどのデータを書き換え可能な不揮発性記憶装置などを含んで構成される。記憶部３２０は、ＲＯＭ（Read Only Memory）などを含んでも良い。

操作部３３０は、携帯端末３００の前面に設けられたホームボタン３３０ａと、携帯端末３００の側面に設けられたＵＰボタン３３０ｂ、ＤＯＷＮボタン３３０ｃと、各ボタン３３０ａから３３０ｃそれぞれに対応した検出スイッチなどを備え、ボタン３３０ａから３３０ｃが押下（操作）されたことに応答して、どの操作ボタンが操作されたかを特定可能な操作情報（操作内容を表す操作情報）を制御部３１０に供給する。制御部３１０は、操作部３３０から供給された操作情報に基づいて、処理を実行する（詳しくは後述する）。操作部３３０の具体的構成は、上記に限らず、適宜の構成であればよい。操作部３３０は、他の操作ボタンなどを供えてもよい。例えば、操作部３３０は、上下左右の方向を入力するための十字キー（例えば、表示操作部３４０に表示されたカーソルを移動させるカーソル移動キーなど）、エンターキーなどを含むものであってもよい。操作部３３０は、ユーザからの操作があった場合に、その操作内容を表す操作情報を制御部３１０に供給できればよい。

表示操作部３４０は、例えば、各種タッチパネルによって構成されている。タッチパネルは、例えば、液晶ディスプレイや有機ＥＬディスプレイなどの各種表示装置と、静電容量式、感圧式などの各種方式の位置入力装置と、を備える。制御部３１０は、表示操作部３４０（表示装置）に画像信号を供給するなどして表示操作部３４０を制御し、表示操作部３４０に画像（例えば、画像信号によって表される画像）を表示させる。また、表示操作部３４０（位置入力装置）は、タッチパネルにおけるユーザの指の接触位置などを検出し、検出した前記接触位置などを特定可能な操作情報（操作内容を表す操作情報）を制御部３１０に供給する。制御部３１０は、表示操作部３４０から供給された操作情報に基づいて、処理を実行する。

この実施の形態では、操作部３３０と、表示操作部３４０の操作を受け付ける部分（位置入力装置など）と、によって、携帯端末３００におけるユーザからの操作を受け付ける操作部が構成されている。

通信部３５０は、各種復調器及び変調器を含み、例えば、アンテナ３５１を介してインターネットなどのネットワークに接続され、他の装置（例えば、ＷＥＢサーバ）からネットワークを介して供給された情報（プログラムも含む。）を受信して、制御部３１０に供給したり、制御部３１０が送信する情報を、ネットワークを介して他の装置に供給したりする。

外部接続部３６０は、車両内に設けられた後述の音響装置４００と接続されるものであり、ステレオピンジャック端子などから構成される。制御部３１０は、後述の音楽再生ソフトの実行時に、例えば、記憶部３２０に格納されている音楽データに基づいて音楽信号を生成して出力し、音楽信号を順次外部接続部３６０を介して音響装置４００に供給する。

外部接続部３７０は、車載装置１００と接続されるものであり、例えば、ＵＳＢコネクタなどから構成される。制御部３１０は、外部接続部３７０を介して、車載装置１００と情報を送受信する。

（音響装置４００）
音響装置４００は、車両内に設けられたカーオーディオなどであり、携帯端末３００と接続されるＡＵＸ端子などを備える。音響装置４００は、携帯端末３００（制御部３１０）からからＡＵＸ端子などを介して供給される音楽信号をスピーカーに供給し、音楽信号が表す音楽を再生出力する。このようにして、携帯端末３００の記憶部３２０に記憶された音楽データが表す音楽は、音響装置４００を介して再生出力され、ユーザに聴取される。音響装置４００と携帯端末３００とは無線で通信、携帯端末３００の記憶部３２０に記憶された音楽データが表す音楽が無線通信によって音響装置４００を介して再生出力されるようにしてもよい。

（携帯端末３００、車載装置１００の動作など）
携帯端末３００は、記憶部３２０に、携帯端末３００のプラットフォームを構成するＯＳ（Operating System）及びプログラムと、上記プラットフォームのＯＳ上で実行されるアプリケーションソフトと呼ばれるソフトウェア（プログラム）と、を記憶し、制御部３１０（ＣＰＵ）は、これらを実行して処理を行う。

アプリケーションソフトは、上記プラットフォームの一部などとして記憶部３２０に最初から記憶されているものの他、ユーザの選択によって、アンテナ３５１を介してインターネットなどのネットワークからダウンロードされ、記憶部３２０に格納される。

アプリケーションソフトは、例えば、音楽再生ソフトであったり、地図を表示し、ナビゲーションを行うナビソフトであったり、実行可能なアプリケーションソフト（携帯端末３００にインストールされているアプリケーションソフト）をアイコンで一覧表示するランチャーソフトであったりする。

プラットフォームは、例えば、「Android」（登録商標）であり、この実施の形態では、携帯端末３００は、所謂「アンドロイド携帯」である。なお、アンドロイド携帯では、デバックモードが用意されている。このデバックモードでは、アンドロイド携帯を外部（車載装置１００）から制御できる（例えば、プログラム「Monkey」を介して制御できる）、表示操作部３４０に表示している画像の画像データなどの各種情報を外部（車載装置１００）に供給することができる。以下では、携帯端末３００がデバックモードになっており、かつ、携帯端末３００と車載装置１００とがＵＳＢ接続されていることを前提として説明を行う。携帯端末３００は、ユーザの設定によっては、ＵＳＢ接続されたときに自動でデバックモードになることも出来る。

制御部１１０は、以下の処理を、例えば、携帯端末３００が車載装置１００にＵＳＢ接続したことを契機として開始する。

上述のように、携帯端末３００（制御部３１０）は、携帯端末制御装置１００（制御部１１０）に対して、所定情報を出力可能である。特に、携帯端末３００（制御部３１０）は、表示操作部３４０が表示している表示画像を表す画像データを車載装置１００（制御部１１０）に供給することができる。画像データは、所定間隔で順次供給される。制御部１１０の画像取得部１１０ａは、順次供給される画像データを順次取得する。

制御部１１０の処理実行部１１０ｂは、携帯端末３００から出力（供給）される所定情報（出力情報）に基づいて、前記出力情報が供給されるたびに、現在実行中のアプリケーションソフトを推定する処理を行う。アプリケーションソフトの推定方法は複数種ある。以下にその方法を例示する。下記の方法は組み合わせて使用してもよい。なお、処理実行部１１０ｂは、アプリケーションソフトの推定値を取得することによって、現在実行中のアプリケーションを推定する。推定値は、現在実行しているアプリケーションソフトを特定可能な情報であればよい。

（方法１）
携帯端末３００の制御部３１０が、現在実行しているアプリケーションソフトを特定可能な情報（例えば、アプリケーションソフト名の情報などであり、以下ではアプリケーションソフト特定情報という。）を出力情報として処理実行部１１０ｂに供給可能であれば、処理実行部１１０ｂは、この出力情報を取得することで、実行中のアプリケーションソフトを推定できる。例えば、処理実行部１１０ｂは、制御部３１０に対して、現在実行しているアプリケーションソフトのアプリケーションソフト特定情報を要求し、処理実行部１１０ｂは、この要求に応じて、現在実行しているアプリケーションソフトのアプリケーションソフト特定情報を出力する。処理実行部１１０ｂは、このアプリケーションソフト特定情報を取得し、取得したアプリケーションソフト特定情報をもって推定値とする。

（方法２）
携帯端末３００によってはランチャーソフトが用意されているものがある。ランチャーソフトが起動されると（つまり、制御部３１０がランチャーソフトの実行を開始すると）、制御部３１０は、例えば、表示操作部３４０に図５の画像を表示するものとする。ユーザは、表示された画像を見て、実行するアプリケーションのアイコンをタッチすることで実行するアプリケーションソフトを選択する。ここで、ランチャーソフト実行時に表示されるアイコンの位置は固定である。このため、ユーザが画面上のどの位置をタッチしたかが分かれば、ユーザが選択したアイコン、つまり、起動されたアプリケーションソフト（現在実行中のアプリケーションソフト）を特定できる。

例えば、携帯端末３００は、表示操作部３４０の操作状態（タッチ位置）を表す出力情報（例えば、表示操作部３４０への操作を表す操作イベントを表す情報など）を車載装置１００に出力する。処理実行部１１０ｂは、ランチャーソフトのアイコンの配置を表すアイコン配置情報を作成しておき、携帯端末３００から出力された出力情報を取得し、取得した出力情報が表す操作状態に対応するアイコン（タッチ位置に表示されているアイコン）をアイコン配置情報から特定し、特定したアイコンが表すアプリケーションソフトの推定値を記憶部１２０から取得する。

例えば、処理実行部１１０ｂは、取得した出力情報が、図５における領域Ｍをタッチしたことを示すものであれば、ナビソフトが選択されたこと、つまり、起動したアプリケーションがナビソフトであることを推定できる（ナビソフトの推定値を取得できる）。例えば、処理実行部１１０ｂは、取得した出力情報が、図５における領域Ｎをタッチしたことを示すものであれば、音楽再生ソフトが選択されたこと、つまり、起動したアプリケーションが音楽再生ソフトであることを推定できる（音楽再生ソフトの推定値を取得できる）。

なお、携帯端末３００がカーソル移動キーなどを操作部の一部として有する場合には、このカーソル移動キーの操作状態に対応する推定値（カーソル移動キーの操作状態によって特定される、ユーザが選択するアプリケーションソフトの推定値）を記憶部１２０から取得する。

（方法３）
上記のように、制御部１１０には、携帯端末３００が現在表示している画像の画像データが出力情報として供給されるので、処理実行部１１０ｂは、この画像データを用いても現在実行されているアプリケーションソフトを推定できる。実行されるアプリケーションソフトによって、携帯端末３００に表示される表示画像は異なる。このため、処理実行部１１０ｂは、供給された画像データが表す画像（表示画像）に、どのような画像が含まれるかなどを特定することによって、現在実行中のアプリケーションソフトを推定する。例えば、処理実行部１１０ｂは、表示画像とアプリケーションソフト毎に用意されたテンプレート画像（そのアプリケーションソフトを実行した場合に表示される画像）とにおける特徴量の比較、表示画像とテンプレート画像とのパターンマッチングなどの処理を実行することによって、現在実行中のアプリケーションソフトを推定する。

特徴量の比較では、例えば、記憶部１２０には、アプリケーションソフトの推定値と、このアプリケーションの表示画像全体又は一部（表示画像の特徴的な部分の画像）からなるテンプレート画像の特徴量と、を対応付けたテーブルが記憶されており、処理実行部１１０ｂは、携帯端末３００から供給される画像データに基づいて、この画像データが表す表示画像の特徴量を抽出するとともに、抽出した特徴量に基づいて、前記テーブルを参照し、抽出した特徴量とテーブルにおける各特徴量とを比較し、両者の差が所定の閾値未満となる特徴量（複数ある場合には、両者の差が最も小さい特徴量）があれば（言い換えると、両者の類似度が予め設定された閾値以上であれば）、この特徴量に対応付けられた推定値を取得する。これによって、携帯端末３００の表示画像が、どのアプリケーションソフトを実行したときに表示される画像（又は当該画像に類似する画像）を含むかによって、現在実行中のアプリケーションソフトを推定できる。

パターンマッチングでは、例えば、記憶部１２０には、アプリケーションソフトの推定値と、このアプリケーションソフトの表示画像全体又は一部（表示画像の特徴的な部分の画像）の画像データとを対応付けたテーブルが記憶されており、処理実行部１１０ｂは、記憶部１２０に記憶された前記テーブルを参照し、当該テーブルにおける各画像データと、携帯端末３００から供給された画像データと、に基づいて、両画像のパターンマッチングを行う。記憶部１２０の画像データが表示画像の一部を表すものであれば、処理実行部１１０ｂは、表示画像の一部同士のパターンマッチングを行う。処理実行部１１０ｂは、パターンマッチングによって得られる、比較対象の両画像の類似度（同一度）が予め設定された閾値以上であるか判別し、閾値以上であると判別した画像データがあれば、この画像データに対応する推定値を取得する。これによって、携帯端末３００の表示画像が、どのアプリケーションソフトを実行したときに表示される画像（又は当該画像に類似する画像）を含むかによって、現在実行中のアプリケーションソフトを推定できる。

（方法４）
アンドロイド携帯では、アプリケーション起動時など、その動作ごとにインテントと呼ばれるものが発行される。携帯端末３００は、このインテントも車載装置１００に出力情報として供給可能である。インテントには、起動又は終了されるアプリケーションソフトが何であるかを特定できる情報が含まれているので、処理実行部１１０ｂは、インテントを取得し、取得したインテントを解析することで、現在実行中のアプリケーションソフトを推定できる。

具体的には、携帯端末３００は、プラットフォームを構成するプログラムとして、インテントを取得し、取得したインテントを車載装置１００に供給するプログラムを記憶部３２０に記憶している。このようなプログラムとしては、インテントを含むログを供給するプログラムである「logcat」がある。このプログラムは、車載装置１００から起動を指示できる。

処理実行部１１０ｂは、ＵＳＢ接続時に、前記プログラムの実行指示を携帯端末３００に供給し、制御部３１０は、この実行指示の供給によって、前記プログラムの実行を開始する。これによって、ＵＳＢ接続後、処理実行部１１０ｂには、順次発行されたログ（インテント含む。）が順次供給されることになる。処理実行部１１０ｂは、供給された（取得した）ログ（ログ中のインテント）を解析し、現在実行中のアプリケーションソフトを推定する。

図１３に「logcat」で供給されるログ（ログ中のインテント）の一部を示す（なお、図１１において、「I/ActivityManager( 2477)〜Launcher }」、「I/ActivityManager( 2477)〜 bnds=[581,368][710,478] }」、「I/ActivityManager( 2477)〜bnds=[410,368][539,478] }」、「I/ActivityManager( 2477)〜app.NavigationActivity）」は、一行の記述である。）。ログはインテント一つにつき一行出力される。新たに供給されるログの文字列を解析することで、特定のアプリケーションソフトの起動を推定する。例えば、「Starting activity」、または「Displayed activity」がログ中に現れ、且つ、「Navi」がログに含まれていることでナビソフトの起動が推定できる。新たに供給されるログの中に「Starting activity」または「Displayed activity」が現れ、且つ、「Navi」も現れなければ、ナビソフトが起動していない、ことが推定できる。このような推定を行うプログラムの記述を図１４に示す。図１４の「setZoomable」が推定値（ここでは、ナビソフトを特定するデータ）になる。判定の方法はアプリケーションソフトによって変わる。記憶部１２０には、インテントに含まれる文字列と、この文字列が表すアプリケーションソフトの推定値と、を対応付けたテーブルが記憶され、処理実行部１１０ｂは、テーブルにおける文字列が、新たに発行されたインテントに含まれるかを判定し、含まれる場合には、その文字列に対応する推定値を取得する。

（方法５）
アンドロイド携帯では、アプリケーションは仮想マシン「Dalvik VM」上で動いており、処理実行部１１０ｂは、「Dalvik VM」に問い合わせを行い、現在実行中のアプリケーションを特定できる動作情報を携帯端末からの出力情報として、ＪＤＷＰ（Java（登録商標） Debug Wire Protocol）で取得できる。推定部１１０ａは、この動作情報を推定値として取得する。

方法１から方法５で推定できるアプリケーションソフトは、予め定められた特定のアプリケーションソフトのうちの１つである。処理実行部１１０ｂは、前記出力情報が供給されるたびに、当該推定する処理を、下記の画像解析処理とは別プロセスあるいは別スレッドとして所定間隔で実行し、最新で取得した推定値をＲＡＭなどに保持する。

また、処理実行部１１０ｂは、図１２に示す画像解析処理を実行する。この処理は、車載装置１００の電源投入時から実行開始される。

まず、処理実行部１１０ｂは、ＲＡＭなど保持している推定値に対応したトリプレット群を記憶部１２０から取得する（ステップＳ２）。トリプレット群は、推定値ごとに記憶部１２０に複数記憶されている。トリプレット群は、１以上のトリプレットを含む。トリプレットは、図４に示すように、後述のパターンマッチング処理などによる検索に使用される基準画像の画像データと、携帯端末３００の表示操作部３４０に表示される表示画像において基準画像に基づく検索を行う対象領域である検索領域のデータと、当該検索の結果に応じて実行する処理内容（特定の処理の内容）を示すデータと、を一組とするものである。また、トリプレットには、検索結果が検索成功（検索領域に基準画像と同じ又は類似する画像があった場合）か検索失敗（検索領域に基準画像と同じ及び類似する画像がなかった場合）かのどちらかであるときに前記処理内容の処理を実行するかを特定する実行条件データも含まれる。この実施の形態では、基準画像の画像データとともに、このデータが格納される。

図４にトリプレットの内容の一例を示す。なお、トリプレットには、アプリケーションソフトに対応付けられたもの（そのアプリケーションに特有のもの）と、アプリケーションに対応付けられていないもの（電池残量、着信、圏外など、アプリケーションに依存しないもの）がある。

アプリケーションに対応付けられていないトリプレットは、実行中のアプリケーションに依存せずに必要なものとなるので、取得される各トリプレット群には、アプリケーションに対応付けられていないトリプレットが含まれるものとする。

また、トリプレットのトリプレット群における使用順序は予め決められているものとする。なお、アプリケーションに対応付けられていないトリプレットが最初の順序（１番目）から並ぶようにするとよい。これらのトリプレットの方が、使用の優先度が高いからである。トリプレットに含まれる基準画像が、複数のアプリケーションにおいて共通である場合（例えば、音楽再生ソフトにおける再生マークや停止マークなど）、トリプレットは、複数のアプリケーションを一グループとしたものに対応付けられてもよい。この場合には、推定値は、一グループを特定可能なものになる。

処理実行部１１０ｂは、トリプレットのカウント値ｉ＝０を設定し、今回取得したトリプレット群を構成するトリプレットの数を最大値Ｎとして設定する（ステップＳ３）。

処理実行部１１０ｂは、トリプレットのカウント値ｉ＝０を設定し、今回取得したトリプレット群を構成するトリプレットの数を最大値Ｎとして設定する（ステップＳ３）。処理実行部１１０ｂは、ｉ＝ｉ＋１とし（ステップＳ４）、ｉ番目のトリプレットに含まれる基準画像の画像データ（画像パターン）及び検索領域のデータと、画像取得部１１０ａが取得した最新の画像データと、に基づいて、携帯端末３００の表示画像における、検索領域が示す領域内に基準画像と同じ画像（サイズは異なっても良い。）又は基準画像との類似度が予め設定された閾値よりも高い画像が含まれるかの検索をパターンマッチング、特徴量の比較などによって行う（ステップＳ５）。例えば、基準画像を検索領域上で１画素ずつ移動させ、基準画像と検索領域における基準画像が重なる領域の画像とで、パターンマッチング、特徴量の比較（方法についての説明は上記（方法３）に準じる。）などを行って、前記検索を行う。基準画像は、拡大、縮小等されて移動してもよい。

その後、処理実行部１１０ｂは、検索（パターンマッチングや特徴量の比較）の結果と、当該トリプレットに含まれる実行条件データと、に基づいて処理内容の処理を実行するかを判定し（ステップＳ６）、検索結果が検索成功であり（検索領域が示す領域内に基準画像と同じ画像又は基準画像との類似度が予め設定された閾値よりも高い画像が含まれ）、かつ、実行条件データが、検索結果が検索成功のときに処理を実行することを特定する場合、又は、検索結果が検索失敗であり（検索領域が示す領域内に基準画像と同じ画像及び基準画像との類似度が予め設定された閾値よりも高い画像が含まれない場合）、かつ、実行条件データが、検索結果が検索失敗のときに処理を実行することを特定する場合（ステップＳ６；Ｙｅｓ）、当該トリプレットに含まれる処理内容に従った処理を実行し（ステップＳ７）、ステップＳ１の処理に戻る。上記以外の場合（ステップＳ６；Ｎｏ）、処理実行部１１０ｂは、ｉ＝Ｎであるかを判定し（ステップＳ８）、ｉ＝Ｎでない場合には（ステップＳ８；Ｎｏ）、まだ、上記検索をしていないトリプレットがトリプレット群に存在するので、ステップＳ４の処理に戻る。一方、ｉ＝Ｎである場合には（ステップＳ８；Ｙｅｓ）、処理実行部１１０ｂは、基準画像の検索をしていないトリプレットがトリプレット群に存在しないので、ステップＳ１の処理に戻る。

上述の一連の処理によって、例えば、携帯端末３００において音楽再生ソフトであるアプリケーションＡが実行されているときには、アプリケーションＡを特定する推定値が処理実行部１１０ｂに供給されるとともに、アプリケーションＡを実行しているときの携帯端末３００の表示画像の画像データを画像取得部１１０ａが取得する。

処理実行部１１０ｂは、例えば、図４において、「アプリケーションＡ」に対応したトリプレットと「指定無し」に対応したトリプレットとからなるトリプレット群を取得する。

処理実行部１１０ｂは、取得したトリプレット群のトリプレットのうち、まず、１番目として規定されているトリプレット、例えば、アンテナ画像１を含むトリプレットについて、ステップＳ５の処理などを行う。アンテナ画像１を含むトリプレットでは、携帯端末３００の表示画像における検索領域Ａ（図６参照）に、アンテナ画像１と同じ画像又はアンテナ画像１に類似する画像が含まれるかの検索を行うこと、検索領域Ａにアンテナ画像１と同じ画像などが含まれない場合（表示されていない場合）、所定の処理を実行すること、が規定されている。検索領域Ａにアンテナ画像１と同じ画像などが含まれない場合（ステップＳ６；Ｙｅｓ）、この携帯端末３００が圏外である旨が携帯端末３００に表示されていることになるので（画像３４０ｅ参照）、処理実行部１１０ｂは、前記所定の処理として、その旨の画像１４０ｅを表示部１４０に表示する処理を実行する（図９参照）。

検索領域Ａにアンテナ画像１と同じ画像などが含まれている場合（ステップＳ６；Ｎｏ）、アンテナ画像１に対応する画像が携帯端末３００に表示されているので（つまり、圏外でないので）、前記の所定の処理を実行する必要はなく、処理実行部１１０ｂは、取得したトリプレット群のトリプレットのうち、２番目として規定されているトリプレット、例えば、バッテリ残量少を示す画像２を含むトリプレットについて、ステップＳ５の処理などを行う。このトリプレットでは、携帯端末３００の表示画像における検索領域Ａ（図６参照）に、画像２と同じ画像又は画像２に類似する画像が含まれるかの検索を行うこと、検索領域Ａに画像２と同じ画像などが含まれている場合（表示されている場合）、所定の処理を実行すること、が規定されている。画像２と同じ画像など」含まれる場合（ステップＳ６；Ｙｅｓ）、画像２と同じ画像又は類似する画像３４０ｆが携帯端末３００に表示されていることになるので、処理実行部１１０ｂは、前記所定の処理としてバッテリの残量少の旨の画像１４０ｆを表示部１４０に表示する（図１０参照）。なお、処理実行部１１０ｂは、携帯端末３００の表示画像の画像データに基づいて、画像３４０ｆを表示画像から切り出して表示部１４０に表示し、バッテリの残量少の旨の画像１４０ｆの画像として表示してもよい。なお、このとき、処理実行部１１０ｂは、画像表示に加え、又は、画像表示に代え、音出力部１６０を介して警告音などを出力することによって、バッテリの残量少の旨を報知してもよい。

検索領域Ａに画像２と同じ画像などが含まれていない場合（ステップＳ６；Ｎｏ）、バッテリの残量が少ないわけではないので、前記の所定の処理を実行する必要はなく、処理実行部１１０ｂは、取得したトリプレット群のトリプレットのうち、３番目として規定されているトリプレット、例えば、着信画像３を含むトリプレットについて、ステップＳ５の処理などを行う。このトリプレットでは、携帯端末３００の表示画像における全体領域に、着信画像３と同じ画像又は着信画像３に類似する画像が含まれるかの検索を行うこと、着信画像３などが含まれている場合（表示されている場合）、所定の処理を実行すること、が規定されている。着信画像３と同じ画像などが含まれる場合（ステップＳ６；Ｙｅｓ）、着信画像３と同じ又は類似する画像の画像３４０ｇが携帯端末３００に表示されていることになるので、処理実行部１１０ｂは、携帯端末３００の表示画像の画像データに基づいて、画像３４０ｇを表示画像から切り出して表示部１４０に着信画像１４０ｆとして表示する（図１１参照）。なお、このとき、処理実行部１１０ｂは、画像表示に加え、又は、画像表示に代え、音出力部１６０を介して着信音などを出力することによって、バッテリの残量少の旨を報知してもよい。また、処理実行部１１０ｂは、前記所定の処理として、上記処理に加え、着信相手を示す画像３４０ｈを表示画像から切り出して（画像３４０ｈの位置は固定であるので、切り出す領域も予め設定されているものとする。）、表示部１４０に着信画像１４０ｈとともに着信相手を示す画像として表示してもよい。

着信画像３と同じ画像などが含まれていない場合（ステップＳ６；Ｎｏ）、着信があるわけではないので、前記の所定の処理を実行する必要はなく、処理実行部１１０ｂは、取得したトリプレット群のトリプレットのうち、４番目として規定されているトリプレット、例えば、停止記号（停止マーク）画像４を含むトリプレットについて、ステップＳ５の処理などを行う。このトリプレットでは、携帯端末３００の表示画像における検索領域Ｃ（図６参照）に、停止記号画像４と同じ画像又は停止記号画像４に類似する画像が含まれるかの検索を行うこと、停止記号画像４と同じ画像などが含まれている場合（表示されている場合）、所定の処理を実行すること、が規定されている。停止記号画像４と同じ画像などが含まれる場合（ステップＳ６；Ｙｅｓ）、携帯端末３００において音楽が再生されているので、処理実行部１１０ｂは、前記所定の処理として、再生記号画像１４０ａを表示部１４０に表示する（図７参照）。なお、このとき、処理実行部１１０ｂは、前記所定の処理として、上記処理に加え、曲名を表す画像３４０ｃや、再生時間を表す画像３４０ｂを表示画像から切り出して（これらの位置は固定であるので、切り出す領域も予め設定されているものとする。）、表示部１４０に曲名を表す画像１４０ｃや、再生時間を表す画像１４０ｂとして表示してもよい。

検索領域Ｃに停止記号画像４などが含まれていない場合（ステップＳ６；Ｎｏ）、停止記号（再生マーク）画像４と同様に、再生記号画像５と同じ画像又は類似する画像が検索領域Ｃに表示されているかを判別し、表示されている場合には、音楽が停止しているので、停止記号画像が表示部１４０に表示される。

上述の一連の処理によって、例えば、携帯端末３００においてナビソフトであるアプリケーションＢが実行されているときには、アプリケーションＢを特定する推定値が処理実行部１１０ｂに供給されるとともに、アプリケーションＢを実行しているときの携帯端末３００の表示画像の画像データを画像取得部１１０ａが取得する。この場合には、上記と同様、画像１〜３についての１〜３番目のトリプレットについてステップＳ５の処理が実行されるが、いずれのトリプレットに含まれる処理も実行されなかった場合、処理実行部１１０ｂは、取得したトリプレット群のトリプレットのうち、４番目として規定されているトリプレット、例えば、右折指示画像６を含むトリプレットについて、ステップＳ５の処理などを行う。このトリプレットでは、携帯端末３００の表示画像におけるパターン検索領域Ｂ（図６参照）に、右折指示画像６と同じ画像又は類似する画像が含まれるかをパターンマッチングによって行い、右折指示画像６と同じ画像などが含まれている場合（表示されている場合）、所定の処理を実行することが規定されている。右折指示画像６と同じ画像などが含まれる場合（ステップＳ６；Ｙｅｓ）、携帯端末３００のナビソフトにおいて右折が案内されているので、処理実行部１１０ｂは、前記所定の処理として、右折指示画像１４０ｄを表示部１４０に表示する（図８参照）。なお、このとき、処理実行部１１０ｂは、画像表示に加え、又は、画像表示に代え、音出力部１６０を介して右折の音声案内などを出力してもよい。また、処理実行部１１０ｂは、前記所定の処理として、上記処理に加え、「２０ｍ先右折」などの案内メッセージを表す画像３４０ｂを表示画像から切り出して（これらの位置は固定であるので、切り出す領域も予め設定されているものとする。）、表示部１４０に表示してもよい。検索領域Ｂに右折指示画像６と同じ画像などが含まれていない場合（ステップＳ６；Ｎｏ）、右折指示画像６のときと同様に、左折指示画像７と同じ画像などが検索領域Ｂに表示されているかを判別し、表示されている場合には、携帯端末３００のナビソフトにおいて左折が案内されているので、処理実行部１１０ｂは、前記所定の処理として、左折指示画像を表示部１４０に表示する。

トリプレットは、後から作成されたアプリケーションソフトにも対応できるように、塚変更可能とするとよい。この場合、トリプレットをプログラムで記述するとよい。特に、処理内容を指定する部分は、スクリプト言語で記述し、速度が要求される部分はコンパイラ言語とするとよい。これによって、内容変更が容易になる。

例として、トリプレットを、Ｃ／Ｃ＋＋にスクリプト言語Ｌｕａを組み合わせたものとした場合について説明する。メインルーチンはＣ／Ｃ＋＋で記述し、処理内容の定義を関数の一例としてＬｕａで記述する。メインルーチンの初期化部分でＬｕａエンジンをオープンし、Ｌｕａで記述されたコマンドの定義を読み込む。コマンドの定義の読み込み先をＳＤカードやＵＳＢメモリ等のリムーバブルメディアの公開されたファイルフォーマットとすることもでき、これによって、ユーザ自身が書き換えることができる。更に、リムーバブルメディアから車載装置１００の記憶部１２０に読み込んでおくことによって、メディアが挿入されていなくても実行できるようになる。

本実施形態では、上記の構成によって、車載装置１００は、携帯端末３００が表示している表示画像を取得する画像取得部１１０ａと、基準画像（表示画像に所定の画像が含まれるかの判定の基準となる画像）を記憶する記憶部１２０と、画像取得部１１０ａが取得した表示画像に、記憶手段が記憶する基準画像（サイズが変更されたものも含む）と同じ画像又は前記記憶手段が記憶する前記基準画像との類似度が予め設定された閾値よりも高い画像が、含まれるか否かに応じて、予め設定された特定の処理を実行する処理実行部１１０ｂと、を備えることになる。これによって、基準画像を用いて、予め設定された特定の処理を行うことができるので、プログラムが特定の処理が行われることを前提としていなくても、携帯端末で実行されているプログラムによらず、携帯端末が表示する画像を取得して所定の処理を行うことができる。なお、表示画像に、記憶手段が記憶する基準画像（サイズが変更されたものも含む）と同じ画像又は前記記憶手段が記憶する前記基準画像との類似度が予め設定された閾値よりも高い画像が、含まれるか否かは、適宜の方法で分かればよい。なお、特定の処理としては、表示画像に含まれる基準画像と同じ又は類似する画像を切り出して（サイズは異なっても良い。）、表示部１４０に表示するほか、基準画像とは異なるが対応する画像（例えば、再生マーク（記号）と停止マーク（記号）のように、基準画像（マーク（記号））が表す意味と反対の意味を表すマークなどの画像）を表示部１４０に表示することで、特定の処理が適切な処理になる。また、特定の処理が、基準画像と同じ又は類似する画像が表示画像に含まれなくなったときに行われるようにすることによって、携帯端末３００が圏外なった状態などに応じて、特定の処理が適切な処理になる。

本実施形態では、上記の構成によって、記憶部１２０は、プログラム毎又はプログラムのグループ毎に、基準画像と、基準画像と同じ画像又は基準画像との類似度が予め設定された閾値よりも高い画像が表示画像に含まれること又は含まれないことに対応して実行される特定の処理と、を対応付けて記憶し、処理実行部１１０ｂは、携帯端末３００で現在実行されているプログラム又はプログラムのグループを推定し、推定したプログラム又はプログラムのグループに対応した基準画像を記憶部１２０から取得し、取得した基準画像と同じ画像又は当該基準画像との類似度が予め設定された閾値よりも高い画像が前記表示画像に含まれるか否かに応じて、記憶部１２０が基準画像に対応付けて記憶する特定の処理を実行する。これによって、携帯端末３００で実行されるプログラムに応じて適切な基準画像を選択することができ、適切な特定の処理を実行できる。

また、上記で例示したように、携帯端末３００に実行される複数のプログラムに共通した、基準画像と、基準画像と同じ画像又は基準画像との類似度が予め設定された閾値よりも高い画像が表示画像に含まれること又は含まれないことに対応して実行される特定の処理とが記憶部１２０に記憶されて用意され、処理実行部１１０ｂは、推定したプログラムに対応した基準画像よりも前記共通の基準画像を優先して用い、当該用いられる基準画像と同じ画像又は基準画像との類似度が予め設定された閾値よりも高い画像が表示画像に含まれること又は含まれないことに応じて、記憶部１２０が当該基準画像に対応付けて記憶する特定の処理を実行するようにするとよい。複数のプログラムに共通して表示される又は表示されなくなる検出対象の画像（基準画像又は基準画像に類似する画像）は、表示される又は表示されなくなることで、着信、圏外、電池の残量が少ないなどの携帯端末３００自身の状態の情報を報知するためのものが多く、これらの情報は重要なものである場合が多い。前記のように、特定の処理を行うことについて優劣を付けておくこと（複数のプログラムに共通した基準画像について優先的に処理を行うこと）によって、重要な情報を報知する検出対象の画像の表示又は非表示に対応した特定の処理を優先的に行いやすくなり、特定の処理を適切な優先順位で実行できる。

また、記憶部１２０は、表示画像における領域（検索領域）を基準画像に対応付けて記憶し、処理実行部１１０ｂは、表示画像における、記憶部１２０が記憶する領域に基準画像と同じ画像又は前記基準画像との類似度が予め設定された閾値よりも高い画像が含まれるか否かを判定し、判定結果に応じて前記特定の処理を実行すればよく、処理負担の軽減に繋がる。

本発明は、上記の実施の形態に限られず、上記の実施の形態について適宜の変形が可能である。例えば、上記対応情報やテーブル、プログラム（プラットフォーム、ＯＳ、アプリケーションソフトを含む。）、各種のデータ構造の具体的内容は上記実施形態で説明したものには限られない。

特にプログラムなどは、「Android」に限らず、上記と同様の必要な機能を実現する他のプログラムなどで構成されてもよい。

車載装置１００は、車両に搭載される計器装置の他、車両に搭載される他の装置（例えば、カーオーディオなど）であってもよい。携帯端末３００と携帯端末制御装置１００とは、有線又は無線で、情報の送受信が可能なように接続されていればよい。

１００ 車載装置
１１０ 制御部
１１０ａ 画像取得部
１１０ｂ 処理実行部
３００ 携帯端末
３１０ 制御部
３３０ 操作部
３４０ 表示操作部

Claims (5)

1. 携帯端末が表示している表示画像を取得する画像取得手段と、
   基準画像を記憶する記憶手段と、
   前記画像取得手段が取得した前記表示画像に、前記記憶手段が記憶する前記基準画像と同じ画像又は前記記憶手段が記憶する前記基準画像との類似度が予め設定された閾値よりも高い画像が、含まれるか否かに応じて、予め設定された特定の処理を実行する処理実行手段と、
   を備えることを特徴とする車載装置。
2. 前記処理実行手段は、前記表示画像に前記画像が含まれる場合又は含まれない場合に、前記画像が含まれること又は含まれないことに対応して前記特定の処理を実行する、
   ことを特徴とする請求項１に記載の車載装置。
3. 前記記憶手段は、プログラム毎又はプログラムのグループ毎に、基準画像と、前記基準画像と同じ画像又は前記基準画像との類似度が予め設定された閾値よりも高い画像が前記表示画像に含まれること又は含まれないことに対応して実行される特定の処理と、を対応付けて記憶し、
   前記処理実行手段は、前記携帯端末で現在実行されているプログラム又はプログラムのグループを推定し、推定したプログラム又はプログラムのグループに対応した前記基準画像を前記記憶手段から取得し、取得した当該基準画像と同じ画像又は当該基準画像との類似度が予め設定された閾値よりも高い画像が前記表示画像に含まれるか否かに応じて、前記記憶手段が当該基準画像に対応付けて記憶する前記特定の処理を実行する、
   ことを特徴とする請求項１から２のいずれか１項に記載の車載装置。
4. 前記記憶手段は、前記表示画像における領域を前記基準画像に対応付けて記憶し、
   前記処理実行手段は、前記表示画像における、前記記憶手段が記憶する前記領域に前記基準画像と同じ画像又は前記基準画像との類似度が予め設定された閾値よりも高い画像が含まれるか否かを判定し、判定結果に応じて前記特定の処理を実行する、
   ことを特徴とする請求項１から３のいずれか１項に記載の車載装置。
5. 前記記憶手段が記憶する、前記基準画像を追加又は変更可能である、
   ことを特徴とする請求項１から４のいずれか１項に記載の車載装置。