JP2013083607A - 電子装置、出力制御方法および出力制御プログラム - Google Patents

Abstract

【課題】 携帯型情報端末の割り込み事象の発生に対応して出力を制御する「電子装置、出力制御方法および出力制御プログラム」を提供する。
【解決手段】 本発明の電子装置１３０は、情報端末１１０と接続されたとき、情報端末１１０において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能である。電子装置１３０は、情報端末から受信された音声データに付与された識別情報を検出する識別情報検出部４１０と、検出された識別情報に基づき情報端末側の割り込み事象の有無を判定する割り込み判定部４２０と、割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を情報端末１１０に送信する出力制御部４３０とを有する。
【選択図】 図７

Description

本発明は、携帯型情報端末から転送される画像情報や音声情報を出力可能な電子装置に関し、特に、携帯型情報端末において発生された割り込みに対応した表示画面の制御に関する。

近年、スマートフォンなどに代表される多機能型のポータブル装置の利用が増加している。このようなポータブル装置が車内に持ち込まれたとき、ポータブル装置を、車両に搭載された電子機器（以下、車載器という）に接続し、車載器においてポータブル装置に搭載された機能を利用することが可能になっている。例えば、ポータブル装置と車載器とがＵＳＢケーブル等の接続手段により接続されると、ポータブル装置のディスプレイに表示されているアプリケーションの画像データおよび音声データが車載器へ転送され、転送された音声および画像が車載器側から出力される（特許文献１）。

ポータブル装置から転送される音声データや画像データを車載器側で出力させているとき、ポータブル装置で生じた割り込み発生要因を車載器側で検出しなければならない場合がある。例えば、ポータブル装置がナビゲーション機能を実行しているとき、交差点案内などの事象を割り込み通知しなければならない。また、電話着信や電子メールの受信があった場合にも同様である。ポータブル装置に電話着信や電子メール受信などの割り込み事象が発生した場合に、ユーザの意向に添った報知態様を得ることが特許文献２に開示されている。

従来の割り込み事象の検出方法として、図１（Ａ）、（Ｂ）に示す技術が存在する。図１（Ａ）は、割り込み信号専用線を用いたハードウェアによる割り込み検出の方法である。同図に示すように、ポータブル装置１０と車載器２０は、音声および画像信号の通信を行うための音声／画像信号線３０と、割り込み信号を通信するための割り込み信号線３２とによって接続される。割り込み要因が発生すると、ポータブル装置１０が割り込み信号線３２の電圧レベルをハイまたはローレベルに変化させることにより、車載器２０において割り込みの開始および終了を検出する。

図１（Ｂ）は、割り込み用通信プロトコルを用いたソフトウェアによる割り込み検出の方法である。ポータブル装置１０と車載器２０とは、音声／画像信号線３０により接続され、当該音声／画像信号線３０を介して音声転送プロトコル、画像転送プロトコル、割り込みプロトコルに従う信号を通信する。割り込み要因が発生すると、ポータブル装置１０が割り込みプロトコルに従い割り込み信号を車載器２０へ転送することにより、車載器２０において割り込みの開始および終了を検出する。

特開２００９−２８１１９９１号公報 特開２００３−３１９０２０号公報

スマートフォンのような多機能型情報端末であるポータブル装置が車載器に接続されたとき、ポータブル装置で起動されたアプリケーションに関する画面データおよび音声データを車載器へ転送させ、当該画面データおよび音声データを車載器から出力させる、いわゆるターミナルモードがある。

多機能型情報端末であるポータブル装置は、複数のアプリケーションを同時に起動することができ、例えば、音楽再生のアプリケーションとナビゲーションのアプリケーションを同時に実行させることができる。この場合、ポータブル装置は、一方のアプリケーションの画面を前面（フォアグランド画面）、他方のアプリケーションの画面を背面（バックグランド画面）で処理する。ターミナルモードでは、ポータブル装置の前面の画面情報が車載器に転送される仕様になっているため、仮に、ポータブル装置において、音楽再生画面が前面であり、ナビゲーション画面が背面であれば、車載器には、音楽再生画面が表示される。また、ポータブル装置からは、音楽再生による音声データが転送され、車載器のスピーカから音楽が出力される。図２（Ａ）は、車載器２０のディスプレイ２２に音楽再生画面が表示されている例を示している。

もし、ポータブル装置１０で実行しているナビゲーションにおいて、交差点案内等の割り込みが発生すると、ポータブル装置は、音楽再生のための音声データの出力を中断し、交差点案内の音声データに出力を切り替えるため、車載器側も音楽再生の音声出力から交差点案内の音声出力に切り替えられる。しかし、ポータブル装置の音楽再生画面は前面のままであり、従って、車載器には音楽再生画面が表示され、交差点案内画面を表示することができないという不具合が生じる。図２（Ｂ）は、このような交差点案内の割り込みが発生したときの車載器のディスプレイ２２の表示画面と出力音声の関係を示している。

また、図１（Ａ）に示す割り込み検出を用いる場合には、ポータブル装置１０と車載器２０の双方にハードウェア資源が必要であるため、コスト増の問題がある。図１（Ｂ）に示す割り込み検出を用いる場合には、割り込み用に特別なプロトコルを実装する必要があり、ソフトウェア開発のコストが増加する問題がある。さらに、図１（Ａ）および図１（Ｂ）に共通の課題として、音声データ／画像データと割り込み情報が異なる信号線や独立した通信プロトコルで伝送するため、音声や画像と完全に同期した割り込みの実現が困難である。さらに、ポータブル装置から車載器へ一方的に割り込み要求を行うため、車載器側で必要に応じた音声／画像を出力することが困難である。

本発明は、上記のような従来の課題を解決するものであり、携帯型情報端末の割り込み事象の発生に対応して画像データおよび／または音声データの出力を制御する電子装置、出力制御方法および出力制御プログラムを提供することを目的とする。

本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能なものであって、携帯型情報端末から転送された画像データおよび音声データを受け取る受信手段と、前記受信手段により受信された画像データおよび音声データを出力する出力手段と、前記受信手段により受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、前記判定手段により割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信する制御手段とを有する。

好ましくは前記判定手段は、音声データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第１の識別情報から第２の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第２の識別情報から第１の識別情報に変化したとき、割り込み事象が終了したと判定する。好ましくは前記制御手段は、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第１の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第２の制御信号を送信する。好ましくは前記出力手段は、前記第１の制御信号の送信から前記第２の制御信号の送信までの期間に応答して、割り込み事象が生じたアプリケーションに関する画像データを出力する。好ましくは前記制御手段はさらに、割り込み事象が競合したときの優先順位を決定する優先順位決定手段を含み、前記制御手段は、前記優先順位決定手段の優先順位に従い、前記受信手段から受信された画像データおよび音声データのうち優先順位が高いとされた画像データおよび音声データを前記出力手段から出力させる。好ましくは前記識別情報は、アプリケーションに含まれる割り込み事象を識別する。好ましくは前記制御信号、前記第１および第２の制御信号は、携帯型情報端末に対してアプリケーションの起動を要求する信号である。

本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能なものであって、携帯型情報端末から転送された画像データを受け取る受信手段と、アプリケーションを実行する実行手段と、前記受信手段により受信された画像データおよび前記実行手段により実行されたアプリケーションに関する画像データの一方を選択的に出力可能な出力手段と、前記受信手段により受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、前記判定手段により割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データが出力されるように前記出力手段を制御する制御手段とを有する。

好ましくは前記判定手段は、画像データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第１の識別情報から第２の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第２の識別情報から第１の識別情報に変化したとき、割り込み事象が終了したと判定する。好ましくは前記制御手段は、割り込み事象が発生したと判定されたとき、バックグランドで処理されている画像データがフォアグランドで処理されるように、また、割り込み事象が終了したと判定されたとき、フォアグランドで処理されている画像データがバックグランドで処理されるように、前記出力手段による画像データの選択を制御する。好ましくは前記出力手段が、前記受信手段により受信した画像データをバックグラウンドで処理し、前記実行手段により実行されたアプリケーションに関連する画像データをフォアグランドで処理しているとき、前記制御手段は、割り込み事象が発生したと判定されたとき、前記受信手段により受信した画像データをフォアグランドで処理させ、前記実行手段により実行されたアプリケーションに関連する画像データをバックグラウンドで処理させる。

本発明に係る電子システムは、上記特徴を備えた電子装置と、当該電子装置に接続された携帯型情報端末とを有し、携帯型情報端末は、複数のアプリケーションを実行しているとき、選択されたアプリケーションに関する画像データおよび音声データをフォアグランドで処理し、他のアプリケーションに関する画像データおよび音声データをバックグランドで処理する処理手段と、フォアグランドで処理されている画像データおよび音声データを電子装置に出力する出力手段と、前記出力手段から出力された少なくとも音声データに識別情報を付与する付与手段とを有し、前記出力手段は、前記他のアプリケーションにおいて割り込み事象が生じたとき、割り込み事象を識別可能な識別情報が付与された音声データを電子装置に出力する。好ましくは前記出力手段は、電子装置から前記制御信号を受信したとき、前記他のアプリケーションに関する画像データをフォアグランドで処理する。

さらに本発明に係る電子システムは、上記特徴を備えた電子装置と、当該電子装置に接続された携帯型情報端末とを有し、携帯型情報端末は、実行されたアプリケーションに関する画像データおよび音声データを電子装置に出力する出力手段と、前記出力手段から出力される画像データに少なくとも割り込み事象を識別可能な識別情報を付与する付与手段とを有する。

本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置の出力制御方法は、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび音声データを出力するステップと、前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップとを有する。

さらに本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置の出力制御方法は、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップとを有する。

本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置が実行する出力制御プログラムは、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび音声データを出力するステップと、前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップとを有する。

さらに本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置が実行する出力制御プログラムは、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップとを有する。

本発明によれば、音声データおよび／または画像データに付与された識別情報に基づき割り込み事象を判定するようにしたので、割り込み事象に関連した画像データを適切に表示させることができる。また、従来の割り込み検出に比べて、ハードウェアやソフトウェア開発によるコストを低減することができる。

図１（Ａ）は、従来の割り込み信号線を用いたハードウェアによる割り込み検出の方法を示し、図１（Ｂ）は、従来の割り込み用通信プロトコルを用いたソフトウェアによる割り込み検出を示す。 従来のポータブル装置に割り込みが発生したときの車載器の表示画面の例を示す図である。 本発明の実施例に係る電子システムの構成を示す図である。 本発明の実施例に係る画像データおよび音声データに付与される識別情報の一例を示す図である。 図３に示す情報端末の典型的な構成を示すブロック図である。 図３に示す電子装置の典型的な構成を示すブロック図である。 本発明の実施例による電子装置の出力制御プログラムの機能ブロック図である。 本発明の実施例の電子システムにおいてターミナルモードへの移行を説明するフローチャートである。 本発明の第１の実施例において情報端末側に割り込み事象が発生したときの電子装置の出力制御動作のシーケンスを示す図である。 本発明の第１の実施例における割り込み事象が発生したときの電子装置の表示画面の遷移例を示す図である。 本発明の第２の実施例において割り込みが事象発生したときの電子装置の出力制御動作のシーケンスを示す図である。 本発明の第３の実施例における割り込み事象が競合したときの電子装置の出力動作を説明する図である。 第３の実施例の変形例に係る電子装置の出力例を示す図である。

次に、本発明の実施の形態について図面を参照して説明する。本発明の好ましい実施の形態は、移動体としての自動車に搭載された電子装置に携帯型情報端末（以下、情報端末という）が接続された電子システムを例示する。情報端末は、情報を処理することができるポータブルな装置であり、好ましくは、通信機能を備えた多機能型の端末であり、例えば、携帯電話機、スマートフォン、パームトップ型パーソナルコンピュータ、ラップトップ型コンピュータ、ノート型コンピュータなどである。情報端末は、外部ネットワーク接続したり、音声通話をしたり、オーディオデータやビデオデータを記憶したり、搭載したアプリケーションにより種々の機能を実行することができる。

一方、車両に搭載された電子装置は、オーディオ／ビデオ再生機能、テレビ／ラジオ放送受信機能、ナビゲーション機能などを含むことができる。電子装置は、有線または無線によるデータ通信手段によって情報端末に接続され、両装置間において必要なデータが送受される。データ通信手段は、特に制限されるものではないが、例えばＵＳＢケーブルによる接続、ブルートゥース（登録商標）等の近距離無線接続、無線ＬＡＮ、ＷｉＦｉなどを用いることができる。

好ましい態様では、電子装置は、情報端末と接続されたとき、情報端末を遠隔操作することができる動作モードを有する。情報端末は、遠隔操作により起動されたアプリケーションに関するオーディオ信号やビデオ信号を電子装置へ送信し、電子装置は、受信したオーディオ信号を音声出力し、ビデオ信号を画面に表示する。

図３は、本発明の実施例に係る電子システムの構成を示す図である。本実施例の電子システム１００は、情報端末１１０と、情報端末１１０に接続手段１２０を介して接続された電子装置１３０とを含んで構成される。好ましくは、情報端末１１０として、通信機能を備えた多機能型のスマートフォンが用いられる。電子装置１３０は、例えば、テレビ受信機能、ＣＤやＤＶＤ等のメディア再生機能を備え、さらに車内空間にディスプレイやスピーカを備える。

本実施例では、接続手段１２０は、ＵＳＢ(Universal Serial Bus)ケーブルを用いるが、これに加えてまたはこれに代えて、ブルーツース(登録商標)等の他の無線通信を用いてもよい。接続手段１２０は、情報端末１１０から電子装置１３０へ画像データを送信する信号線と、音声データを送信する信号線と、情報端末１１０と電子装置１３０間で制御データを送受する信号線とを含んでいる。情報端末１１０および電子装置１３０の各々は、画像データ、音声データおよび制御データをターミナルモードの仕様で通信制御するための通信プロトコルをサポートし、電子装置１３０が情報端末１１０を遠隔操作することができるターミナルモードで動作することを可能にする。

好ましくは、音声データは、ＲＴＰ（Real Time Protocol）により通信制御され、画像データは、ＲＦＢ（Remote Transport Protocol）を用いて通信制御される。これらの通信制御は、プロトコルの拡張が可能であり、音声データおよび画像データに拡張情報を付加することが可能である。本実施例のターミナルモードでは、音声データおよび画像データの拡張情報として、情報端末１１０が実行するアプリケーションを識別するためのアプリケーション識別情報やそこに含まれる動作態様を識別する識別情報、および全般的な動作のカテゴリーを識別する識別情報が付与されている。こうした音声データおよび画像データの全般的なまたは詳細な種別／意味を表す識別情報は、音声転送プロトコルおよび画像転送プロトコルに含められる。

図４（Ａ）は、音声データおよび画像データに付加される識別情報の例を示している。ここでは、音声データおよび画像データには、同じ識別情報が付加されている。図に示すように、音声データおよび画像データには、メニュー、ナビゲーション（通常）、交差点案内、電話着信、電話発信、メディア再生などをそれぞれ識別するための識別情報０００１、０００２、０００３、０００４、０００５、０００６が割り当てられる。情報端末１１０は、ターミナルモードにおいて、音声データおよび画像データを電子装置１３０へ転送するとき、音声/画像プロトコルに識別情報を含める。図４（Ｂ）は、音声データおよび画像データに識別情報が付加された態様を示している。電子装置１３０は、情報端末１１０から受信した音声/画像プロトコルに含まれた識別情報を検出し、識別情報に基づき音声データや画面データの出力制御を行う。

図５は、情報端末の典型的な構成を示すブロック図である。情報端末１１０は、ユーザからの入力を受け取る入力部２００、接続手段１２０により電子装置１３０との接続を可能にする通信接続部２１０、ディスプレイに種々の画像を表示する表示部２２０、音声を出力する音声出力部２３０、外部のネットワークとのデータ通信、および公衆無線回線網を介しての電話機との通話等を可能にする通信部２４０、制御部２５０、情報端末１１０が保有するアプリケーション、プログラム等を格納するプログラムメモリ２６０、音声データ、画像データ、道路地図データなど種々のデータを記憶するデータメモリ２７０、各部を接続するバス２８０とを備えている。

プログラムメモリ２６０には、種々のアプリケーションソフトウエアやプログラムが格納され、制御部２５０は、プログラムメモリ２６０に格納されたアプリケーションやプログラムを実行する。プログラムメモリ２６０には、例えば、データメモリ２７０に格納された音声データや画像データを再生するアプリケーション、ゲームを実行するアプリケーション、ナビゲーションを実行するアプリケーション、音声通話を可能にするアプリケーション、通信部２４０を介してインターネット上の情報をブラウズするためのアプリケーションなどが格納される。

さらにプログラムメモリ２６０には、情報端末１１０が接続手段１２０を介して電子装置１３０に接続されたとき、ターミナルモードを制御する拡張プログラムが格納される。拡張プログラムは、電子装置１３０からユーザ操作による入力操作情報やその他のコマンド情報を受け取り、それに応答して情報端末側のアプリケーションを起動させたり、あるいはアプリケーションを終了させる。さらに拡張プログラムは、起動されたアプリケーションに関する画像データおよび音声データに上記の識別情報を、上記の音声転送プロトコルおよび画像転送プロトコルに従い電子装置１３０に転送し、その際、転送される画像データおよび音声データに、図４（Ａ）に示すようなアプリケーションの識別情報および／またはアプリケーションの詳細な種別や意味を表す識別情報を付加する。

また、制御部２５０は、情報端末において複数のアプリケーションが実行されているとき、例えば、音楽再生のアプリケーションとナビゲーションのアプリケーションが実行されているとき、一方のアプリケーションに関する画像データをフォアグランド処理して表示部２２０に表示させ、他方のアプリケーションに関する画像データをバックグランド処理して非表示にする。例えば、表示部２２０には、音楽再生画面が表示され、自車位置周辺の道路地図等を表したナビゲーション画面がバックグランド処理により非表示にされる。音声出力部２３０からは、音楽再生された楽曲が出力される。ターミナルモードでは、フォアグランドの画像データおよび音声データが電子装置１３０へ転送される。また、制御部２５０は、電子装置１３０から通信接続部２１０を介してアプリケーションの起動を要求する信号を受信すると、当該アプリケーションをフォアグランド処理し、その画像データを表示させることができる。アプリケーションの起動を要求は、例えば、ユーザが電子装置のディスプレイに表示されたアイコンを選択することによって行うことができ、さらに本実施例では、後述するように、情報端末側の割り込み事象が発生したと判定されたとき、電子装置側が自動的にアプリケーションの起動を要求する信号が出力される。

図６は、電子装置の典型的な構成を示すブロック図である。同図に示すように、電子装置１３０は、ユーザからの入力を受け取る入力部３００、接続手段１２０により情報端末１１０との接続を可能にする通信接続部３１０、ディスプレイに画像データを表示させる表示制御部３２０、スピーカから音声を出力させる音声出力部３３０、種々のメディアの再生等を実行するマルチメディア部３４０、制御部３５０、アプリケーション等を実行するための種々のプログラムを格納するプログラムメモリ３６０、オーディオデータ、ビデオデータ、地図データなどのデータを記憶するデータメモリ３７０、各部を接続するバス３８０とを備えている。

マルチメディア部２４０は、ＣＤ、ＤＶＤ、ブルーレイディスク、メモリ媒体、データメモリ２７０などに記録された音声データや画像データを再生する機能、テレビ放送やラジオ放送を受信・再生する機能などを有する。プログラムメモリ３６０には、ナビゲーションに関するアプリケーションやマルチメディア部２４０を制御するプログラムに加え、情報端末１１０が接続されたときのターミナルモードを制御するプログラムなどが記憶される。プログラムメモリ３６０のプログラムやアプリケーションは制御部３５０によって実行される。なお、電子装置１３０は、ナビゲーション動作に必要なＧＰＳ測位情報、車速情報、方位情報などを受け取ることができる。

さらにプログラムメモリ３６０は、ターミナルモードにおいて、情報端末１１０から転送される音声データおよび／または画像データの出力を制御する出力制御プログラムを備える。図７は、出力制御プログラムの機能ブロック図である。出力制御プログラム４００は、通信接続部３１０を介して情報端末１１０から受信された音声データおよび画像データに付与された識別情報を検出する識別情報検出部４１０と、識別情報検出部４１０で検出された識別情報に基づき情報端末側に割り込み事象が発生したか否かを判定する割り込み判定部４２０と、割り込み判定部４２０の判定結果に基づき情報端末１１０に対しアプリケーションの起動を要求する信号を出力する出力制御部４３０とを有する。また、ある実施例では、出力制御部４３０は、電子装置側の表示制御部３２０の表示画面の制御および音声出力部３３０の音声出力の制御を行う。

次に、電子装置１３０のターミナルモードへの移行を図８のフローチャートを参照して説明する。ターミナルモードは、電子装置１３０が情報端末１１０を遠隔操作し、かつ情報端末１１０から転送される音声データおよび映像データを出力することができる動作モードである。情報端末１１０が、例えばＵＳＢケーブルを介して電子装置１３０に接続されると（Ｓ１０１）、ＵＳＢプラグ・アンド・プレイにより相互に機器認識が行われる。次いで、電子装置１３０は、情報端末１１０に対し当該情報端末がターミナルモードをサポートしているか否かを問い合わせる（Ｓ１０２）。電子装置１３０は、情報端末１１０からターミナルモードに対応している旨の返信を受けると（Ｓ１０３）、ターミナルモードで動作を開始する（Ｓ１０４）。同時に、情報端末１１０もターミナルモードでの動作が可能になる。なお、ＵＳＢ接続が有効であるとき、情報端末１１０は、電子装置１３０からの電力供給を受けることができ、バッテリーの充電が可能となる。

ターミナルモードに移行されると、情報端末１１０のディスプレイの表示画面である画像データが電子装置１３０へ転送され、それと同じ表示画面が電子装置１３０のディスプレイに出力される。ディスプレイには、電子装置１３０から遠隔操作が可能な情報端末１１０のアプリケーションのアイコンやメニューなどが表示される。ディスプレイがタッチパネル入力に対応している場合には、タッチパネルを介してユーザの入力操作（座標情報）が情報端末１１０へ伝えられ、入力操作に応じた処理が情報端末１１０において実行される。マウスやリモコンなどの他の入力インターフェースからの入力操作も同様である。

次に、ターミナルモード時における電子装置の割り込み発生時の画像データの出力制御について説明する。図９は、情報端末１１０が同時に複数のアプリケーション、ここでは２つのアプリケーションを実行しているときに情報端末側に割り込み事象が発生したときの動作シーケンスを示している。

情報端末１１０において、ナビゲーションのアプリケーションと音楽再生のアプリケーションが同時に実行され、音楽再生のアプリケーションに関する音楽再生画面がフォアグランド画面として表示され、ナビゲーション画面がバックグランド画面として非表示であるとする（Ｓ２０１）。情報端末１１０は、例えば、ユーザによって最後に起動されたアプリケーションをフォアグランド処理する。ターミナルモードでは、情報端末１１０は、フォアグランド画面である音楽再生画面の画像データと、音楽再生された音声データとを電子装置１３０へ転送する。また、画像データおよび音声データには、メディア再生のアプリケーションであることを示す識別情報（０００６：メディア再生）が付加される。一方、電子装置１３０において、情報端末１１０から転送された音楽再生画面がディスプレイに表示され、スピーカからは音楽再生された音声データが出力される（Ｓ３０１）。図１０（Ａ）は、電子装置１３０のディスプレイ３２２において音楽再生画面が表示された例を示している。

ナビゲーションにおいて、目的地までのルート設定がされているとき、自車または情報端末１１０の移動に伴い、あるタイミングで交差点案内の割り込み事象が発生する。このとき、情報端末１１０は、交差点案内の音声出力の割り込みを行う（Ｓ２０２）。これにより、情報端末１１０からの音楽再生の音声データの転送が中止され、割り込み処理された交差点案内の音声データが電子装置１３０へ転送される。この際、交差点案内の音声データには、それを識別するための識別情報（０００３：交差点案内）が付与される。

電子装置側の識別情報検出部４１０（図７）は、音声データに付与された識別情報を検出し、これを割り込み判定部４２０へ提供する。割り込み判定部４２０は、識別情報に変化があったこと、すなわち、識別情報が「０００６」から「０００３」に変化があったことから情報端末側に割り込み事象が発生したと判定する。この判定結果は出力制御部４３０へ伝えられ、出力制御部４３０は、情報端末１１０に対し、ナビゲーションの起動を要求する信号を出力する。こうして、電子装置側は、割り込みモードに突入される（Ｓ３０２）。

情報端末１１０は、通信接続部２１０を介してナビゲーションの起動信号を受信すると、この起動信号に応答して、フォアグランド画面とバックグランド画面の切換えを行いナビゲーション画面がフォアグランドとなり、音楽再生画面がバックグランドになる（Ｓ２０３）。これにより、情報端末１１０からは、フォアグランドのナビゲーション画面が電子装置１３０へ転送される。このとき、フォアグランド画面として転送される画像データには、交差点案内を示す識別情報が付加される。

電子装置１３０は、情報端末１１０から転送されたナビゲーション画面を受信し、これをディスプレイに表示させる（Ｓ３０３）。こうして、交差点案内の音声データの検出に応答して、電子装置側の表示画面を交差点案内を含むナビゲーション画面に変更させることができる。図１０（Ｂ）は、電子装置のディスプレイ３２２の表示画面が、音楽再生画面からナビゲーション画面に遷移した例を示している。

その後、交差点案内の割り込み事象が終了すると（Ｓ２０４）、情報端末１１０は、再び、音楽再生による音声データを電子装置１３０に出力する。音声データには、メディア再生である識別情報「０００６」が付加される。

電子装置側の識別情報検出部４１０は、音声データに付加されたメディア再生である識別情報を検出し、割り込み判定部４２０は、識別情報が「０００３」から「０００６」に変化したことにより、割り込み事象が終了したと判定する。この判定結果に基づき、出力制御部４３０は、割り込みモードを解除するため、情報端末１１０に対し、音楽再生のアプリケーションを起動する信号を出力する（Ｓ３０４）。

情報端末１１０は、音楽再生のアプリケーションの起動信号を受信すると、音楽再生画面をフォアグランドに、ナビゲーションをバックグラウンドに変更する（Ｓ２０５）。これにより、情報端末１１０からは、音楽再生画面の画像データ、および音楽再生された音声データが電子装置１３０へ出力され、電子装置１３０のディスプレイの表示画面は、音楽再生画面に遷移される（Ｓ３０５）。

上記実施例では、電子装置側の出力制御部４３０は、情報端末１１０から転送される音声データの識別情報が変化されたことをトリガーに、情報端末側の表示画面の切換えを要求する信号を出力するようにしたが、画像データに付加される識別情報に基づき割り込みを判定するようにしてもよい。但し、画像データの識別情報を検出するには、当該画像データが情報端末においてフォアグランド処理されている必要があるため、必ずしも、確実に割り込み事象の発生を判定することができない点に留意すべきである。

さらに、上記実施例では、ナビゲーションの１つの動作態様である交差点案内に識別情報を付与することによって、割り込み事象の発生を判定したが、これ以外にも、アプリケーションに付与された識別情報の変化によって割り込み事象の発生を判定してもよい。例えば、音楽再生のアプリケーションの識別情報からナビゲーションのアプリケーションの識別情報に変更されたとき、メニューのアプリケーションの識別情報からナビゲーションのアプリケーションの識別情報に変更されたとき、ナビゲーションのアプリケーションの識別情報から電話着信や発信の通話を行うためのアプリケーションの識別情報に変更されたときのように、音声データに付与された識別情報がアプリケーション単位で変化されたときに、携帯端末側に割り込み事象が発生したと判定することも可能である。

さらに、割り込み事象が発生したと判定したとき、電子装置側から情報端末に対してアプリケーションの起動を要求する信号を出力するようにしたが、これは一例であり、情報端末側の仕様に応じた信号とすることができる。要は、割り込み事象が発生したと判定されたアプリケーションに関する画像データが情報端末側でフォアグランド処理されて電子装置に転送されるような制御信号または選択信号であればよい。

次に、本発明の第２の実施例について図１１を参照して説明する。図１１は、情報端末１１０からの画像データの識別情報をトリガーにして電子装置側のフォアグランド画面とバックグランド画面の切換えを行うものである。ここでは、ターミナルモードにおいて、情報端末１１０がナビゲーションのアプリケーションを実行しているものとする。情報端末１１０は、車内に持ち込まれ、自車位置を検出し、自車位置周辺の道路地図を含むナビゲーション画面を表示する（Ｓ４０１）。そして、ナビゲーションに関する画像データおよび音声データは、情報端末１１０から電子装置１３０へ転送される。

一方、電子装置１３０において、マルチメディア部２４０が動作され、例えば、ＣＤ、ＤＶＤ等のメディアが再生され、電子装置１３０のディスプレイには、フォアグランド画面として音楽再生画面が表示され、情報端末１１０からのナビゲーション画面がバックグランド処理により非表示にされる（Ｓ５０１）。

情報端末１１０において、交差点案内の割り込みが発生すると（Ｓ４０２）、交差点案内の画像データおよびその音声データが電子装置１３０へ転送される。この画像データには、交差点案内を示す識別情報（図４の「０００３」）が付加される。電子装置側の識別情報検出部４１０は、画像データに含まれる交差点案内の識別情報を検出し、割り込み判定部４２０は、画像データの識別情報が変化したことにより（「０００２」から「０００３」）、割り込み事象が発生したと判定し、割り込みモードに突入する（Ｓ５０２）。

出力制御部４３０は、情報端末１１０に対してアプリケーションの起動を要求する信号を出力するのではなく、電子装置側の表示制御部３２０の表示画面の切換えを制御する。すなわち、ナビゲーション画面がフォアグランド画面として表示され、音楽再生画面がバックグランド画面として非表示となるように制御する（Ｓ５０３）。その後、情報端末側の交差点案内が終了し、通常のナビゲーション画面に切り替わると（Ｓ４０３）、画像データに付加された識別情報が通常のナビゲーション「０００２」に変更される。電子装置側において、通常のナビゲーションの識別情報「０００２」が検出され、割り込み判定部４２０は、割り込み事象が終了したと判定し、割り込みモードを解除する（Ｓ５０４）。これにより、出力制御部４３０は、音楽再生画面をフォアグランド画面にし、ナビゲーション画面をバックグランド画面に切替える（Ｓ５０５）。

このように、第２の実施例によれば、画像データの識別情報が変化したことに応答して電子装置側の表示画面の切換えを行うことで、遅滞なく割り込み画像を表示させることができ、割り込み画像と割り込み音声とを同期させることができる。なお、第２の実施例においても、第１の実施例と同様に、情報端末１１０からの音声データの識別情報の変化をトリガーにして、電子装置側の表示画面の切換えを行うことも可能である。

さらに第１および第２の実施例では、音声データおよび／または画像データの識別情報の変化が生じたときに割り込み事象の発生および終了を判定したが、識別情報が割り込み事象であることを認識することができる場合には、必ずしも識別情報の変化により割り込み事象の発生を判定することを要しない。例えば、電子装置側において、識別情報と割り込み事象との関係を規定した判定テーブルなどをメモリ等に用意しておき、識別情報「０００３」が検出された場合には、判定テーブルを参照し、判定テーブルに識別情報「０００３」が含まれていれば、割り込み事象が発生したと判定するようにしてもよい。

次に、本発明の第３の実施例について説明する。第３の実施例では、割り込み事象が競合したときの音声および画像データの出力制御に関する。好ましくは、出力制御部４３０は、割り込み事象が競合したとき、優先的に出力させるアプリケーションを予め規定した優先順位情報をメモリ等に格納する。この優先順位情報は、ユーザによって変更することが可能である。図１２は、割り込みモード時に、電子装置側で交差点案内による交差点拡大図を表示中に、情報端末から他の割り込みとしての着信を受信したときの出力例を示している。

図１２（Ａ）は、画像が電話優先、音声が電話優先とされている例である。図１２（Ａ）の左図に示すように、電子装置１３０のディスプレイには、自車位置周辺の道路地図画像５００上に交差点案内画像５１０が割り込み表示されている。これらの画像データは、情報端末１１０から転送されるものであって、割り込み判定部４２０により割り込み事象が発生したと判定されたことに応答して表示される。ここで、情報端末１１０に電話の着信があると、情報端末１１０は、着信の割り込み処理を行い、着信画面および着信音を割り込み出力する。これにより、情報端末１１０から転送される音声データおよび画像データには、電話着信の識別情報「０００４」が付加され、この識別情報が電子装置１３０において検出される。

電子装置側の割り込み判定部４２０は、検出した識別情報に基づき割り込み事象が発生したと判定し、その判定結果を出力制御部４３０へ提供する。出力制御部４３０は、優先順位情報に従い電子装置側の音声出力および画像出力を制御する。図１２（Ａ）の例は、音声および画像ともに電話着信を優先されるため、交差点案内画像５１０もしくは道路地図画像５００上に、着信があったことを示す着信画像５２０が割り込み表示される。着信画像５２０は、発信者の電話番号等の表示を含む。また、情報端末１１０からの着信音５３０が電子装置側のスピーカから出力され、交差点案内の音声データは音声出力部３３０によりフィルタリングされ出力されない。

図１２（Ｂ）は、画像が着信を優先させ、音声がナビゲーションを優先させる例である。この場合には、着信画面５２０は割り込み表示されるが、着信音の音声データは音声出力部３３によりフィルタリングされ出力されず、交差点案内音声５４０が電子装置側のスピーカから出力される。

図１２（Ｃ）は、画像が電話着信を優先し、音声がナビゲーションを優先させる例である。この場合には、情報端末１１０から転送された着信画像の画像データは、表示制御部３２０によりフィルタリング処理され非表示となる。一方、着信音５３０が音声出力され、交差点案内の音声データがフィルタリングされ、出力されない。

図１２（Ｄ）は、画像および音声ともにナビゲーションを優先する例である。この場合には、電話着信の割り込み事象が発生すると判定されても、着信画面の画像データおよび着信音の音声データは、それぞれフィルタリング処理され、電子装置側から出力されない。この場合、着信画像を保存しておき、ナビゲーションの交差点拡大図表示が終了した時点で、保存しておいた着信画像や、着信があったことを伝える独自に生成された画像を表示することも可能である。図１３（Ａ）は、交差点案内画像５１０および交差点案内音声５４０を出力した状態を示し、図１３（Ｂ）は、交差点の割り込み終了後に、電子装置側で用意された独自の「着信あり」の着信画面５２２を、音声再生画面５５０上に表示している例である。

第３の実施例によれば、画像データおよび音声データに付与された識別情報に基づき、画像および音声の割り込み出力をそれぞれ制御することができる。

このように本実施例によれば、従来の割り込み処理と比較して、ソフトウェア／ハードウェアの開発工期、コストの削減をすることが可能になる。また、電子装置側で、必要に応じて自由に音声再生や画面切り替えを行うことが可能となり、製品仕様の自由度が向上されるため、ユーザにとってより魅力的な製品を提供することができる。さらに、電子装置において音声および画像に同期した割り込みの実現が可能となる。さらに、走行制限時などに、識別情報から音声データおよび画像データを識別することで、ユーザに見せたくない画面、聞かせたくない音声を電子装置側で遮断することが可能になる。

なお、上記実施例では、主に、アプリケーションとして、音声再生、ナビゲーション、電話着信などが実行される例を示したが、これらは一例であって、他のアプリケーションにも適用することができる。さらに、音声転送プロトコルと画像転送プロトコル両方に識別情報を付加する必要はなく、どちらかに一方に識別情報を入れて対応することも可能である。例えば、ナビゲーションの割り込み音声は、割り込み画像とほぼ同期しているため、音声転送プロトコルの識別情報だけでも従来の精度と同等の割り込みを実現することができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００：電子システム １１０：携帯型情報端末
１２０：接続手段 １３０：電子装置
４１０：識別情報検出部 ４２０：割り込み判定部
４３０：出力制御部 ５００：道路地図画像
５１０：交差点案内画像 ５２０、５２２：着信画像
５３０：着信音 ５４０：交差点案内音声
５５０：音声再生画面

Claims (21)

1. 携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置であって、
   携帯型情報端末から転送された画像データおよび音声データを受け取る受信手段と、
   前記受信手段により受信された画像データおよび音声データを出力する出力手段と、
   前記受信手段により受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、
   前記判定手段により割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信する制御手段と、
   を有する電子装置。
2. 前記判定手段は、音声データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第１の識別情報から第２の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第２の識別情報から第１の識別情報に変化したとき、割り込み事象が終了したと判定する、請求項１に記載の電子装置。
3. 前記制御手段は、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第１の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第２の制御信号を送信する、請求項１または２に記載の電子装置。
4. 前記出力手段は、前記第１の制御信号の送信から前記第２の制御信号の送信までの期間に応答して、割り込み事象が生じたアプリケーションに関する画像データを出力する、請求項３に記載の電子装置。
5. 前記制御手段はさらに、割り込み事象が競合したときの優先順位を決定する優先順位決定手段を含み、
   前記制御手段は、前記優先順位決定手段の優先順位に従い、前記受信手段から受信された画像データおよび音声データのうち優先順位が高いとされた画像データおよび音声データを前記出力手段から出力させる、請求項１ないし４いずれか１つに記載の電子装置。
6. 前記識別情報は、アプリケーションに含まれる割り込み事象を識別する、請求項１ないし５いずれか１つに記載の電子装置。
7. 前記制御信号、前記第１および第２の制御信号は、携帯型情報端末に対してアプリケーションの起動を要求する信号である、請求項１ないし６いずれか１つに記載の電子装置。
8. 携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置であって、
   携帯型情報端末から転送された画像データを受け取る受信手段と、
   アプリケーションを実行する実行手段と、
   前記受信手段により受信された画像データおよび前記実行手段により実行されたアプリケーションに関する画像データの一方を選択的に出力可能な出力手段と、
   前記受信手段により受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、
   前記判定手段により割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データが出力されるように前記出力手段を制御する制御手段と、
   を有する電子装置。
9. 前記判定手段は、画像データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第１の識別情報から第２の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第２の識別情報から第１の識別情報に変化したとき、割り込み事象が終了したと判定する、請求項８に記載の電子装置。
10. 前記制御手段は、割り込み事象が発生したと判定されたとき、バックグランドで処理されている画像データがフォアグランドで処理されるように、また、割り込み事象が終了したと判定されたとき、フォアグランドで処理されている画像データがバックグランドで処理されるように、前記出力手段による画像データの選択を制御する、請求項８または９に記載の電子装置。
11. 前記出力手段が、前記受信手段により受信した画像データをバックグラウンドで処理し、前記実行手段により実行されたアプリケーションに関連する画像データをフォアグランドで処理しているとき、前記制御手段は、割り込み事象が発生したと判定されたとき、前記受信手段により受信した画像データをフォアグランドで処理させ、前記実行手段により実行されたアプリケーションに関連する画像データをバックグラウンドで処理させる、請求項１０に記載の電子装置。
12. 請求項１ないし７いずれか１つに記載の電子装置と、当該電子装置に接続された携帯型情報端末とを有する電子システム。
13. 携帯型情報端末は、
    複数のアプリケーションを実行しているとき、選択されたアプリケーションに関する画像データおよび音声データをフォアグランドで処理し、他のアプリケーションに関する画像データおよび音声データをバックグランドで処理する処理手段と、
    フォアグランドで処理されている画像データおよび音声データを電子装置に出力する出力手段と、
    前記出力手段から出力された少なくとも音声データに識別情報を付与する付与手段とを有し、
    前記出力手段は、前記他のアプリケーションにおいて割り込み事象が生じたとき、割り込み事象を識別可能な識別情報が付与された音声データを電子装置に出力する、請求項１２に記載の電子システム。
14. 前記出力手段は、電子装置から前記制御信号を受信したとき、前記他のアプリケーションに関する画像データをフォアグランドで処理する、請求項１３に記載の電子システム。
15. 請求項８ないし１１いずれか１つに記載の電子装置と、当該電子装置に接続された携帯型情報端末とを有する電子システムであって、
    携帯型情報端末は、
    実行されたアプリケーションに関する画像データおよび音声データを電子装置に出力する出力手段と、
    前記出力手段から出力される画像データに少なくとも割り込み事象を識別可能な識別情報を付与する付与手段と、
    を有する電子システム。
16. 携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置の出力制御方法であって、
    携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
    前記受信された画像データおよび音声データを出力するステップと、
    前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
    割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップと、
    を有する出力制御方法。
17. 前記判定するステップは、音声データに付与された識別情報が第１の識別情報から第２の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第２の識別情報から第１の識別情報に変化したとき、割り込み事象が終了したと判定し、
    前記送信するステップは、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第１の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第２の制御信号を送信する、請求項１６に記載の出力制御方法。
18. 携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置の出力制御方法であって、
    携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
    前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、
    前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
    割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップと、
    を有する出力制御方法。
19. 携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置が実行する出力制御プログラムであって、
    携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
    前記受信された画像データおよび音声データを出力するステップと、
    前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
    割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップと、
    を有する出力制御プログラム。
20. 前記判定するステップは、音声データに付与された識別情報が第１の識別情報から第２の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第２の識別情報から第１の識別情報に変化したとき、割り込み事象が終了したと判定し、
    前記送信するステップは、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第１の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第２の制御信号を送信する、請求項１９に記載の出力制御プログラム。
21. 携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置が実行する出力制御プログラムであって、
    携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
    前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、
    前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
    割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップと、
    を有する出力制御プログラム。

Images