以下、本発明の一実施形態に係る表示装置、表示連携システム、表示装置の制御方法、プログラムについて、添付図面を参照しながら詳細に説明する。本実施形態では、本発明の表示装置を車載機器に適用し、車載機器と携帯端末の間で表示画面を遷移させる場合について例示する。特に本実施形態では、携帯端末を車載機器の補助表示装置として用いるものとする。なお、車載機器とは、車両出荷後に取り付けられたもの(例えば、市販されているカーナビゲーション装置など)であっても良いし、車両出荷段階で既に車両に組み込まれたものであっても良い。
図1は、本発明の一実施形態に係る表示連携システムSYのシステム構成図である。表示連携システムSYは、車両に搭載された車載機器1と、車両搭乗者が所持する携帯端末2と、これら車載機器1および携帯端末2を接続するドックコネクタ3と、を備えている。
ドックコネクタ3は、車載機器1から引き出されるケーブルと、コネクタハウジングから成り(図示省略)、当該コネクタハウジングに携帯端末2が装着される。コネクタハウジングは、携帯端末2のタッチパネル22が、車載機器1のタッチパネル14に近接して配置されるように、車載機器1の本体近傍に設けられる。また、コネクタハウジングには、信号入出力端子が備えられ、携帯端末2への給電機能も有している。
車載機器1は、主なハードウェア構成として、メモリー11、ナビユニット12、AVユニット13、タッチパネル14、スピーカー15、無線通信インターフェース16、ドックインターフェース17および制御ユニット18を備えている。
メモリー11は、各種制御プログラムや制御データの他、AVユニット13で再生するためのAVコンテンツを不揮発に記憶する。ナビユニット12は、ナビゲーション機能を実現するためのプログラムおよびセンサー(GPSを含む)を含む。AVユニット13は、映像再生機能および音楽再生機能を実現するためのプログラムおよびプレーヤーを含む。タッチパネル14は、各種情報の表示および操作に用いられる。スピーカー15は、ナビユニット12やAVユニット13で再生された音声を出力する。無線通信インターフェース16は、ブルートゥース(登録商標)等の無線通信を介して、携帯端末2との通信を行う。ドックインターフェース17は、ケーブルを介してドックコネクタ3と接続される。また、制御ユニット18は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を含み、上記の各部を統括制御する。
一方、携帯端末2は、主なハードウェア構成として、メモリー21、タッチパネル22、スピーカー23、無線通信インターフェース24、ドックインターフェース25および制御ユニット26を備えている。携帯端末2としては、スマートフォン等のタブレット端末、携帯電話、PDAなどを採用可能である。
メモリー21は、各種制御プログラムおよび各種アプリケーションを不揮発に記憶する。なお、アプリケーションとして、ナビユニット12やAVユニット13とリンクして動作可能なナビアプリケーションやAVアプリケーションを備えても良い。但し、本実施形態では、これらを用いないものとする。タッチパネル22は、各種情報の表示および操作に用いられる。スピーカー23は、AVアプリケーションで再生された音声の出力や、不図示の電話機能による相手音声の出力を行う。無線通信インターフェース24は、車載機器1との無線通信を行う。ドックインターフェース25は、ドックコネクタ3と接続される。また、制御ユニット26は、CPU、ROM、RAM等を含み、上記の各部を統括制御する。
次に、図2を参照し、車載機器1および携帯端末2の機能構成について説明する。図2(a)は、車載機器1の機能ブロック図である。車載機器1は、主な機能構成として、表示部41、検知部42、表示制御部43、送信部44、受信部45、モード切替操作部46、画面指定部47および情報操作部48を備えている。
表示部41は、タッチパネル14により実現され、第1の情報および第2の情報を表示する。本実施形態において、第1の情報,第2の情報とは、いずれも画面を指す。例えば、地図画面D1(ナビゲーション画面)、ガイド画面D2(ナビゲーション画面)、ランチャー画面D3、映像表示画面D4、オーディオ操作画面D5,D6などである(図3〜図6参照)。
検知部42は、ドックインターフェース17により実現され、携帯端末2(他の電子機器)の位置を検知する。本実施形態では、携帯端末2がドックコネクタ3に装着されているか否かを検知する。但し、携帯端末2がドックコネクタ3に装着された場合でも通信不可能である場合(携帯端末2が電源OFF状態、ブルートゥース通信OFF状態の場合など)、検知部42は、携帯端末2を検知したと判定しないものとする。
表示制御部43は、制御ユニット18により実現され、第1の情報および第2の情報を表示する第1の表示モードと、第1の情報および第2の情報のいずれか一方を表示する第2の表示モードと、を切り替えて表示部41に表示する。以下、第1の表示モードを「2画面モード」、第2の表示モードを「1画面モード」と称する。なお、車載機器1では、表示モードに関わらず、2つの画面(2つの情報)の処理が行われる。つまり、1画面モードの場合、表示されていない画面の処理は、バックグラウンドで行う。
表示制御部43は、例えば検知部42により、携帯端末2がドックコネクタ3に装着されていることが検知された場合には1画面モードで表示し、携帯端末2がドックコネクタ3に装着されていることが検知されない場合には2画面モードで表示する。つまり、携帯端末2がドックコネクタ3に装着されている場合は、携帯端末2を補助表示装置として利用し、できるだけ大きな画面でメインの情報を表示すると共に、サブの情報を携帯端末2に表示させる。以下、メインの情報を「メイン画面」、サブの情報を「サブ画面」と称する。
送信部44および受信部45は、無線通信インターフェース16またはドックインターフェース17により実現される。送信部44は、2画面モードから1画面モードに切り替えられたとき、表示部41に表示されていないサブ画面を携帯端末2に送信する。また、携帯端末2にサブ画面を送信した後、後述する情報操作部48による操作が行われた場合、その操作信号を携帯端末2に送信する。携帯端末2は、送信された操作信号を表示されている情報に反映、若しくは操作信号に基づいてオーディオ制御/映像表示制御を行う。例えば、車載機器1に地図画面D1、携帯端末2にガイド画面D2が表示されている状態で(図4参照)、車載機器1側で目的地設定操作が行われた場合などは、その目的地設定に関連する情報をガイド画面D2上にも表示する。
受信部45は、携帯端末2において、送信部44により送信された情報に対する操作が行われた場合、その操作信号を携帯端末2から受信する。受信部45で受信した操作信号は、情報操作部48による操作信号と同等に扱う。つまり、車載機器1で操作された場合と同様に、携帯端末2から受信した操作信号を表示されている情報に反映、若しくは操作信号に基づいてオーディオ制御/映像表示制御を行う。
モード切替操作部46、画面指定部47および情報操作部48は、タッチパネル14により実現される。モード切替操作部46は、1画面モードと2画面モードを切り替えるための操作を行う。操作方法については、図7にて後述する。表示制御部43は、携帯端末2とペアリングされた状態(無線通信インターフェース16,24間の通信が確立した状態)で、モード切替操作部46の操作が行われた場合、携帯端末2がドックコネクタ3に装着されているか否かに関わらず、表示モードの切り替えを行う。つまり、携帯端末2がドックコネクタ3に装着されていない場合でも、通信圏内で表示モード切替操作が行われた場合は2画面表示から1画面表示に切り替え、携帯端末2がドックコネクタ3に装着されている場合でも、表示モード切替操作が行われた場合は1画面から2画面に戻すことができる。
画面指定部47は、第1の情報および第2の情報のいずれをメイン画面とするかを指定する。本実施形態では、ガイド画面D2とランチャー画面D3は、サブ画面として機能することが予め設定されているが、それ以外の地図画面D1、映像表示画面D4、オーディオ操作画面D5については、2画面表示されている場合、いずれをメイン画面とするかを指定可能である。指定方法としては、携帯端末2がドックコネクタ3に装着されたとき、または表示モード切替操作により2画面モードから1画面モードに切り替えられたときに、メイン画面を指定するためのポップ画面を表示部41に表示することが考えられる。また、初期設定画面において、予め画面の優先順位を指定しておき、優先順位が高い方をメイン画面として扱う構成でも良い。また、メイン画面の指定に代えて、サブ画面を指定しても良い。
情報操作部48は、第1の情報または第2の情報に対する操作を行う。つまり、1画面モードの場合(車載機器1にメイン画面が表示され、携帯端末2にサブ画面が表示されている場合)、メイン画面に対する操作だけでなく、サブ画面に対する操作を行うことができる。また、情報操作部48は、タッチパネル14による操作だけでなく、車載機器1に設けられた他の操作子(AV操作を行うための物理操作子など)による操作も可能である。
一方、図2(b)は、携帯端末2の機能ブロック図である。携帯端末2は、主な機能構成として、表示部51、表示制御部52、送信部53、受信部54および情報操作部55を備えている。
表示部51は、タッチパネル22により実現され、車載機器1から送信されたサブ画面を表示する。表示制御部52は、制御ユニット26により実現され、情報操作部55の操作にしたがって、表示部51の表示制御を行う。また、車載機器1から、メイン画面またはサブ画面に対する操作信号が送信された場合、その操作信号を表示部51に表示されている情報に反映する。例えば、携帯端末2にオーディオ操作画面が表示されている状態で、車載機器1側で再生操作が行われた場合は、その再生操作結果をオーディオ操作画面に反映する。
送信部53および受信部54は、無線通信インターフェース24またはドックインターフェース25により実現される。送信部53は、情報操作部55によりサブ画面に対する操作が行われた場合、その操作信号を車載機器1に送信する。また、受信部54は、車載機器1からメイン画面またはサブ画面に対する操作信号が送信された場合、その操作信号を受信する。情報操作部55は、タッチパネル22により実現され、サブ画面に対する操作を行う。なお、情報操作部55も、車載機器1の情報操作部48と同様に、タッチパネル22による操作だけでなく、携帯端末2に設けられた他の操作子による操作を可能としても良い。また、携帯端末2にインストールされたアプリケーションの機能により、サブ画面に対する操作だけでなく、メイン画面に対する操作を行い得る構成としても良い。例えば、AVアプリケーションを起動し、AVに関する画面が表示されていない状態でも、車載機器1のAV操作を行い得る構成としても良い。
次に、図3〜図6を参照し、具体的な画面表示例を挙げて車載機器1と携帯端末2間の画面遷移について説明する。図3は、車載機器1のタッチパネル14に、地図画面D1とガイド画面D2の2画面表示が行われ、携帯端末2のタッチパネル22にホーム画面D0が表示されている場合を例示している。つまり、同図は携帯端末2がドックコネクタ3に装着されていない状態を示している。同図において、地図画面D1がメイン画面であり、ガイド画面D2がサブ画面である。このように、メイン画面とサブ画面は重畳表示されていても良い。また、メイン画面に対しサブ画面が必ずしも小さい画面である必要はなく、メイン画面よりサブ画面が大きくても良い。また、タッチパネル22上におけるメイン画面とサブ画面の配置も問わない。なお、ナビゲーション用の画面を表示する場合、図示したような地図画面D1とガイド画面D2に限らず、視点やスケール(縮尺)が異なる2種類の画面を表示しても良い。
図3に示したように、車載機器1が2画面表示されている状態で、携帯端末2がドックコネクタ3に装着されると、図4に示す表示となる。つまり、車載機器1は、メイン画面である地図画面D1のみの1画面表示となり、携帯端末2は、サブ画面であるガイド画面D2を表示する。この場合、ガイド画面D2の縦横比や表示サイズを、携帯端末2の画面サイズや端末の向きに応じて可変することが好ましい。
続いて、図5(a)は、車載機器1のタッチパネル14に、地図画面D1とランチャー画面D3の2画面表示が行われている場合を例示している。この場合、地図画面D1がメイン画面であり、ランチャー画面D3がサブ画面である。したがって、携帯端末2がドックコネクタ3に装着されると、携帯端末2のタッチパネル22にランチャー画面D3が表示される(図示省略)。ここで、ランチャー画面D3とは、車載機器1に組み込まれたウィジェット(同図、W1〜W5)を選択するための画面を指す。
携帯端末2において、タッチパネル22に表示されたランチャー画面D3を左右にスライドさせると、その操作信号が車載機器1に送信され、それに合わせて変化したランチャー画面D3(車載機器1側で生成された画面データ)が、携帯端末2のタッチパネル22に反映される。また、携帯端末2で、ウィジェットが選択されると、その選択結果がリアルタイムに車載機器1に反映される。このとき、車載機器1に送信される操作信号は、タッチパネル22の向きとタッチパネル22への操作位置を表す信号を含む(他の画面が表示された場合も同様)。つまり、車載機器1側では、各ウィジェット(W1〜W5)の表示位置と、タッチパネル22の向きと操作位置を表す信号とを照合して、選択されたウィジェットを判定し、そのウィジェットを起動するなどの処理を行う。なお、携帯端末2において、タッチパネル22以外の操作子により選択操作が行われる場合は、その操作子の操作結果が、操作信号として車載機器1に送信される。
図5(b)は、車載機器1のタッチパネル14に、映像表示画面D4と地図画面D1の2画面表示が行われている場合を例示している。この場合、メイン画面とサブ画面は、画面指定部47の指定に基づく。なお、映像表示画面D4と地図画面D1のいずれかが携帯端末2に送信された場合でも、各画面に関連する音声出力は、車載機器1側で行われる(オーディオ操作画面についても同様)。また、同図のように2画面表示を行っている場合で、映像再生が終了した場合または映像再生の停止操作が行われた場合、携帯端末2の検知結果に関わらず、1画面表示に戻す構成としても良い。
図6(a)は、車載機器1のタッチパネル14に、映像表示画面D4とオーディオ操作画面D5の2画面表示が行われている場合を例示している。この場合も、メイン画面とサブ画面は、画面指定部47の指定に基づく。例えば、オーディオ操作画面D5がメイン画面として指定された場合、2画面モードから1画面モードに切り替わると、図6(b)に示す表示となる。つまり、オーディオ操作画面D6のみの1画面表示となる。但し、図6(b)に示すオーディオ操作画面D6は、図6(a)に示すオーディオ操作画面D5に、楽曲選択アイコン(画面左側)が追加された表示となっている。このように、1画面表示の場合と2画面表示の場合で、表示内容が異なっていても良い。
次に、図7を参照し、モード切替操作部46による表示モード切替操作について説明する。本実施形態では、同図(a)〜(c)に示す3種類の操作が可能となっている。例えば、同図(a)に示すように、2本の指を平行に移動させるフリック操作によって、表示モードを切替可能としても良い。この場合、平行に移動させる本数を、2本に限らず、3本、4本と規定しても良い。また、同図(b)に示すように、タッチパネル14の所定領域E1内を起点としたフリック操作によって、表示モードを切替可能としても良い。この場合、所定領域E1は複数あっても良いし、タッチパネル14の外周領域(枠付近)全てを所定領域E1としても良い。
さらに、同図(c)に示すように、Uの字型に指を移動させるフリック操作によって、表示モードを切替可能としても良い。また、U字型に限らず、O字型やS字型など、曲線移動を伴うフリック操作であっても良い。このように、同図(a)〜(c)に示すようなフリック操作によって表示モードの切替を可能とすることで、表示モードを切替えるための専用操作子を備えたり、ポップアップ画面として表示モード切替画面を表示させたり、表示モード切替専用画面に画面遷移させたりする必要がないため、車載機器1の構成を簡素化することができると共に、迅速に表示モードの切替を行うことができる。
なお、「フリック操作」とは、画面を素早く払うようにタッチする操作を指す。このフリック操作に代えて、同図(a)〜(c)に示す軌跡のドラッグ操作で、表示モードを切替可能としても良い。また、フリック操作とドラッグ操作のいずれを採用するか、また同図(a)〜(c)のいずれを採用するかについて、ユーザーが設定可能としても良い。
次に、図8のフローチャートを参照し、車載機器1を2画面モードから1画面モードへ切り替える表示モード切替処理について説明する。まず、車載機器1においてメイン画面とサブ画面の2画面表示が行われている状態(2画面モードの状態)では(S01)、携帯端末2がドックコネクタ3に装着されたか否かを検知し(S02)、装着されていない場合は(S02:No)、表示モードの切り替え操作が行われたか否かを判別する(S03)。表示モードの切り替え操作が行われていない場合は(S03:No)、S01に戻る。また、携帯端末2がドックコネクタ3に装着されたことを検知した場合(S02:Yes)、または表示モードの切り替え操作が行われた場合は(S03:Yes)、携帯端末2にサブ画面を送信し(S04)、メイン画面のみの1画面表示(1画面モード)に切り替える(S05)。携帯端末2は、サブ画面を受信し(S06)、これをタッチパネル22上に表示する(S07)。
なお、特に図示しないが、車載機器1が1画面表示の状態で携帯端末2がドックコネクタ3に装着されたことを検知しても、表示モードの切替は行わない。また、携帯端末2への画面送信も行わない。また、地図画面D1にガイド画面D2を重畳表示する場合など(図3参照)、一時的に2画面表示になる場合は、2画面表示になったときだけ、サブ画面(ガイド画面D2)を携帯端末2に表示させる。この場合、携帯端末2は、サブ画面を表示しているとき以外は、非表示状態であっても良いし、ホーム画面D0など元画面(ドックコネクタ3装着前に表示されていた画面)を表示しても良い。また、携帯端末2にサブ画面が表示されている場合でも、電話がかかってきた場合などは、サブ画面上に電話着信表示を重畳表示することが好ましい。
次に、図9のフローチャートを参照し、車載機器1を1画面モードから2画面モードへ切り替える表示モード切替処理について説明する。まず、車載機器1においてメイン画面のみの1画面表示が行われており(1画面モードの状態、但しバックグラウンドでサブ画面の処理が行われている,S11)、携帯端末2でサブ画面が表示されている状態(S16)を想定する。車載機器1は、携帯端末2がドックコネクタ3から非装着となったか(取り外されたか)否かを検知し(S12)、非装着となっていない場合は(S12:No)、表示モードの切り替え操作が行われたか否かを判別する(S13)。表示モードの切り替え操作が行われていない場合は(S13:No)、S11に戻る。また、携帯端末2が非装着となったことを検知した場合(S12:Yes)、または表示モードの切り替え操作が行われた場合は(S13:Yes)、携帯端末2にサブ画面消去指令を送信し(S14)、メイン画面とサブ画面の2画面表示(2画面モード)に切り替える(S15)。一方、携帯端末2は、送信されたサブ画面消去指令に基づいて、サブ画面を消去する(S17)。
なお、図9のフローチャートにおいて、S14を省略しても良い。この場合、携帯端末2は、ドックコネクタ3から非装着となったことをトリガーとして、サブ画面を消去しても良い。若しくは、携帯端末2でサブ画面の消去操作が行われるまで、サブ画面の表示を継続しても良い。この場合、車載機器1と携帯端末2が無線通信可能状態である限り、操作信号の授受を可能とすることが好ましい。
以上説明したとおり、本実施形態によれば、車載機器1で2画面表示されている状態において、携帯端末2がドックコネクタ3に装着されたことを検知した場合に、携帯端末2に対してサブ画面を送信する構成であるため、ユーザーが意図していないにも関わらず、携帯端末2側にサブ画面が表示されてしまうなどの不具合がない。つまり、ユーザーが意図的にドックコネクタ3に携帯端末2を装着しない限り、不意に車載機器1側の画面が移動されることはない。また、車載機器1と携帯端末2が通信可能であれば、携帯端末2がドックコネクタ3に装着されているか否かに関わらず、モード切替操作が可能であるため、助手席や後部座席など、車載機器1から離れた場所で、車載機器1の操作を行うことが可能となる。
なお、上記の実施形態では、車載機器1のナビユニット12やAVユニット13で再生された音声の出力を、車載機器1のスピーカー15で行うものとしたが、携帯端末2への画面の移動に伴って、携帯端末2のスピーカー23でこれらの音声出力を行っても良い。また、画面移動の際に、出力対象を、スピーカー15、スピーカー23、スピーカー15およびスピーカー23の中から選択可能としても良い。
また、上記の実施形態において、車載機器1は、携帯端末2が通信可能な状態でドックコネクタ3に装着されたことを検知したとき、2画面モードから1画面モードへの切り替えを行ったが、携帯端末2が通信可能か否かに関わらず、ドックコネクタ3に物理的に装着されたことを検知して表示モードの切り替えを行っても良い。つまり、車載機器1が2画面表示を行っているとき、携帯端末2が電源OFF状態、またはブルートゥース通信OFF状態でドックコネクタ3に装着された場合でも、1画面モードへの切り替えを行う構成としても良い。
また、携帯端末2がドックコネクタ3に装着されたか否か(所定の位置に存在するか否か)ではなく、所定の距離以内に存在するか否かを検知しても良い。この場合、所定の距離は、無線通信手段の通信範囲として規定しても良いし、通信強度が所定の閾値を超える範囲として規定しても良い。
また、上記の実施形態では、第1の情報,第2の情報として、メイン画面とサブ画面を例示したが、各情報は画面単位でなくても良い。例えば、オーディオ操作画面D6(図6(b)参照)の左側半分を第1の情報とし、右側半分を第2の情報としても良い。
また、携帯端末2は必ずしも1台でなくても良く、複数台存在しても良い。この場合、同じサブ画面を複数の携帯端末2に表示させても良い。また、車載機器1で第1の情報,第2の情報,第3の情報を表示可能である場合は、車載機器1で第1の情報を表示すると共に、第1の携帯端末2に第2の情報を表示させ、第2の携帯端末2に第3の情報を表示させても良い。
また、上記の実施形態では、1画面モードの車載機器1において、サブ画面の表示処理をバックグランドで行うものとしたが、サブ画面の表示処理を携帯端末2側で行っても良い。この場合、車載機器1は、携帯端末2にサブ画面を送信する際に、サブ画面の処理を行うためのアプリケーションの起動要求を同時に行う。また、携帯端末2は、起動したアプリケーションに基づき、送信されたサブ画面を初期画面として、表示・処理を行う。
また、上記の実施形態において、車載機器1は、携帯端末2を検知したが、それ以外の電子機器を検知しても良い。また、その電子機器自体に表示手段がない場合、当該電子機器と通信可能な他の表示装置を補助表示装置として用いても良い。
また、上記の実施形態では、請求項における表示装置を車載機器1に適用したが、携帯端末2に適用しても良い。つまり、図2に示した車載機器1の各機能を、携帯端末2に搭載しても良い。
また、上記に示した表示連携システムSYの各構成要素をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体(CD−ROM、フラッシュメモリー等)に格納して提供することも可能である。すなわち、コンピューターを表示連携システムSYの各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれる。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。