JP2014229304A - 表示装置、表示装置の操作方法、情報表示システム及び表示装置の操作プログラム - Google Patents

Abstract

【課題】ユーザの操作性と利便性を向上させることができる表示装置、表示装置の操作方法、情報表示システム、表示装置の操作プログラムを提供する。【解決手段】タッチパネルを有する携帯端末と通信する通信部と、前記携帯端末の画面を表示可能で且つ前記携帯端末を操作可能なタッチパネルと、前記携帯端末の画面の表示方式を検知する表示方式検知部と、前記表示方式検知部により検知された表示方式に応じて表示装置のタッチパネルへの操作位置情報から携帯端末のタッチパネルでの操作位置情報を特定する情報を切替える位置情報切替部とを備えている。携帯端末が表示装置に接続された場合、携帯端末の画像が表示装置の画面に表示される。その状態でユーザが表示装置のタッチパネルを操作すると、その操作位置情報から、携帯端末の表示方式に応じて該携帯端末のタッチパネルでの操作位置情報が特定され、この操作位置情報が携帯端末に送信される。【選択図】図７

Description

本発明は、表示装置、表示装置の操作方法、情報表示システム及び表示装置の操作プログラムに関し、特に接続した携帯端末の画像を表示可能な表示装置、表示装置の操作方法、情報表示システム及び表示装置の操作プログラムに関する。

近年、スマートフォンやタブレットパソコン等の携帯型の電子製品が非常に流行っている。これらの電子製品は、そのディスプレイにより各種の情報を表示する。例えば、電話帳のデータ、ウェブの情報、あるいはビデオの映像や写真の画像等である。そして、これらの電子製品は大量の電子情報データを保存できるので、ユーザにとって便利且つ有用な製品である。

また、ユーザは自動車を運転する際にも上記の電子製品を利用するために、タッチパネルを有する車載用表示装置にスマートフォンやタブレットパソコン等（以下、携帯端末と称す）を接続し、車載用表示装置側で携帯端末の表示画像を表示可能とし、携帯端末の機能を車載用表示装置側で利用可能とするシステムも存在している。車載用表示装置側で携帯端末の機能を利用するための技術としては、ターミナルモード（Ｔｅｒｍｉｎａｌ Ｍｏｄｅ）と呼ばれる技術が知られている。ターミナルモードでは、車載用表示装置のタッチパネル（以下、車載用タッチパネル）に携帯端末のタッチパネル（以下、携帯端末タッチパネル）に表示される表示画像を表示させるとともに、車載用タッチパネルに対するタッチ操作によって、携帯端末タッチパネルをタッチ操作したのと同様の処理を携帯端末で行わせることが可能となる。

特開２０１２−２５３７３６号公報

上記システムでは、携帯端末タッチパネルに表示される表示画像をそのまま車載用タッチパネルに表示させるため、図８（ａ），（ｂ）に示すように、携帯端末側の表示画面の表示方式の違いにより車載用表示装置側の表示方式が変わる。車載用表示装置２のタッチパネル（表示画面）１０は横長の矩形状で固定されているものであるため、図８（ａ）のように、携帯端末１の表示方式が横画面表示方式であった場合、つまり、携帯端末１の表示画像の横幅が縦幅より長い状態となっている場合には、携帯端末１の表示画像の横縦比率を維持しつつ、この携帯端末１の表示画像が、車載用表示装置２の表示領域に収まる適当な倍数で拡大され車載用表示装置２のタッチパネル１０に表示される。一方、図８（ｂ）のように、携帯端末１の表示方式が縦画面表示方式となった場合、つまり、携帯端末１の表示画像の横幅が縦幅より短い場合は、携帯端末１の表示画像の横縦比率を維持しつつ車載用表示装置２の表示領域に収まるように、車載用表示装置２のタッチパネル１０の左右方向略中央領域に携帯端末１の表示画像が表示され、この表示画像以外の領域はブランクまたは黒色の表示がなされる。

携帯端末１では横画面表示方式と縦画面表示方式とでは表示される情報の量や大きさが異なるので、ユーザは個人の嗜好により表示方式を切替えることができる。また、携帯端末１のアプリケーションにより上記表示方式が規定される場合もあるので、車載用表示装置２には携帯端末１のアプリケーションで規定される表示方式にしたがって横長の画像または縦長の画像が表示される。あるいは、携帯端末１の姿勢（縦置状態か横置状態か）に応じて、表示方式が縦画面表示方式と横画面表示方式とに自動的に切替えられる。

上記システムでは、車載用表示装置２のタッチパネル１０が横長であるため、該タッチパネル１０上の座標（タッチ位置の検知座標）が、横置状態の携帯端末１のタッチパネル３上の座標と予め対応付けられており、車載用表示装置２のタッチパネル１０にタッチ操作したときの検知座標を携帯端末１側の対応する座標に変換して車載用表示装置２から携帯端末１へ送信するようになっている。ここで、従来のターミナルモード技術では、携帯端末１が図８（ａ）に示す横画面表示方式となっているか図８（ｂ）に示す縦画面表示方式となっているかは車載用表示装置２では検出出来ず、また、車載用表示装置２のタッチパネル１０上の座標と携帯端末１側のタッチパネル３上の座標との対応関係は不変である。よって、携帯端末１が縦画面表示方式となっている状態で、例えば、図８（ｂ）に示すように車載用表示装置２のタッチパネル１０にて矢印方向（図中の左から右）へスクロール操作した場合、携帯端末１側ではタッチパネル３が図中の上から下へスクロール操作されたという操作信号を受信する。そして、この操作信号に基づき携帯端末１では図８（ｂ）に示す表示画像を上から下へスクロールする動作を行い、そのスクロール画像が携帯端末１から車載用表示装置２に送信される。結果、ユーザが右方向へのスクロールを指示したにも関わらず車載用表示装置２では上から下へ画像がスクロールされることとなり、ユーザの所望する動作が実行できないことになる。

本発明は、上記従来の問題点に鑑みなされたものであり、携帯端末と表示装置とを接続して、表示装置側で携帯端末の画像を表示し、且つ携帯端末の機能を利用可能とする場合のユーザの使い勝手をより向上させることを可能にする表示装置、表示装置の操作方法、情報表示システム及び表示装置の操作プログラムを提供することを目的とする。

本発明の表示装置は、第１表示部と第１操作部とからなる第１タッチパネルと第１通信部とを有する携帯端末と通信可能な第２通信部と、前記第１表示部の表示画像を表示可能な第２表示部と前記携帯端末を操作可能な第２操作部とからなる第２タッチパネルとを備え、前記第２通信部は前記携帯端末より前記第１表示部に表示された画像データを受信し、前記第２操作部へのタッチ操作位置情報から前記第１操作部での操作位置を特定する情報を前記携帯端末に送信する表示装置において、前記第１表示部に表示された画像の表示方式を検知する表示方式検知部と、前記第２操作部へのタッチ操作位置情報から前記第１操作部での操作位置情報を特定する情報を前記検知された表示方式に対応した情報に切替える位置情報切替部とを備えている。

前記表示方式検知部により携帯端末の表示方式が検知された後、表示装置側の第２タッチパネルへのタッチ操作位置情報から携帯端末側の操作位置を特定する情報を携帯端末の表示方式に対応する情報に切替えて携帯端末側へ送信するため、携帯端末がどんな表示方式であっても、ユーザが所望する携帯端末側の機能を実行することができる。

上記表示装置において、前記表示方式検知部は、前記第２表示部に表示された表示画像の横縦の長さの比較によって前記第１表示部に表示された画像の表示方式を検知しても良い。

表示装置に表示された画像の横幅と縦幅との長さを比較することにより、表示装置側で携帯端末の表示方式が検知できる。例えば、表示画像の横幅の長さが縦幅の長さよりも長い場合、携帯端末は横画面表示方式で画像表示していることが検知でき、表示画像の縦幅の長さが横幅の長さよりも長い場合、携帯端末は縦画面表示方式で画像表示していることが検知できる。

上記表示装置において、表示方式検知部は、リアルタイムに前記表示方式を検知することが好ましい。携帯端末の表示方式がリアルタイムに検知できると、その表示方式が変更されたときに、位置情報切替部は第２操作部へのタッチ操作位置情報から前記第１操作部での操作位置情報を特定する情報を表示方式の変更に合わせてすぐに切替えでき、表示装置側へのタッチ操作によってユーザが所望する携帯端末側の機能を常に正確に実行させることができる。

上記表示装置において、携帯端末の表示方式は、横画面表示方式と縦画面表示方式である。表示方式検知部が、携帯端末の表示方式が横画面表示方式か縦画面表示方式かを検知した後、検知された表示方式に応じて位置情報切替部が第２操作部へのタッチ操作位置情報から第１操作部での操作位置情報を特定する情報を切替える。

本発明の表示装置の操作方法は、第１表示部と第１操作部とから成る第１タッチパネルを有する携帯端末より第１表示部に表示された画像データを受信する受信ステップと、第１表示部に表示された画像の表示方式を検知する表示方式検知ステップと、前記表示方式検知ステップにより検知された表示方式に応じて、第２表示部と第２操作部から成る第２タッチパネルへのタッチ操作位置から前記第１操作部の操作位置を特定する情報を前記検知された表示方式に対応する情報に切替える位置情報切替ステップと、前記位置情報切替ステップにより前記表示方式に対応する情報に切替えられた前記第１操作部の操作位置を特定する情報を前記携帯端末へ送信する送信ステップとを有する。

上記方法によれば、前記表示方式検知ステップにより携帯端末の表示方式が検知された後、表示装置側の第２タッチパネルへのタッチ操作位置情報から携帯端末側の操作位置を特定する情報を携帯端末の表示方式に対応する情報に切替えて携帯端末側へ送信するため、携帯端末がどんな表示方式であっても、ユーザが所望する携帯端末側の機能を実行することができる。

上記表示装置の操作方法において、表示方式検知ステップは、前記第２表示部に表示された表示画像の横縦の長さの比較によって第１表示部の表示方式を検知しても良い。表示装置に表示された画像の横幅と縦幅との長さを比較することにより、表示装置側で携帯端末の表示方式が検知できる。例えば、表示画像の横幅の長さが縦幅の長さよりも長い場合、携帯端末は横画面表示方式で画像表示していることが検知でき、縦幅の長さが横幅の長さよりも長い場合、携帯端末は縦画面表示方式で画像表示していることが検知できる。

上記表示装置の操作方法において、表示方式検知ステップは、リアルタイムに前記表示方式を検知することが好ましい。携帯端末の表示方式がリアルタイムに検知できると、その表示方式が変更されたときに、位置情報切替部は第２操作部へのタッチ操作位置情報から前記第１操作部での操作位置情報を特定する情報を表示方式の変更に合わせてすぐに切替えでき、表示装置側へのタッチ操作によってユーザが所望する携帯端末側の機能を常に正確に実行させることができる。

上記表示装置の操作方法において、携帯端末の表示方式は、横画面表示方式と縦画面表示方式である。表示方式検知部が、携帯端末の表示方式が横画面表示方式か縦画面表示方式かを検知した後、検知された表示方式に応じて位置情報切替部が第２操作部へのタッチ操作位置情報から第１操作部での操作位置情報を特定する情報を切替える。

本発明の情報表示システムは、第１表示部と第１操作部とから成る第１タッチパネルと第１通信部と第１制御部とを有する携帯端末と、前記第１表示部の表示画像を表示可能な第２表示部と前記携帯端末を操作可能な第２操作部とからなる第２タッチパネルとを備え、前記第２通信部は前記携帯端末より前記第１表示部に表示された画像データを受信し、前記第２操作部へのタッチ操作位置情報から前記第１操作部での操作位置を特定する情報を前記携帯端末に送信する表示装置とを含み、前記第１通信部は、前記携帯端末から前記表示装置へ前記第１表示部に表示された画像データを送信し、前記表示装置から前記表示方式に対応した前記第１操作部の操作位置を特定する情報を受信し、前記第１制御部は、前記表示方式に対応した前記操作位置を特定する情報に基づき前記携帯端末の制御を行うようにしたものである。

上記情報表示システムによれば、携帯端末側の表示方式が変更されたとしても、表示装置側の第２タッチパネルの操作により、携帯端末の第１タッチパネルを操作したのと同様な動作を携帯端末に対して確実に実行させることができる。

上記本発明によれば、表示装置と接続した携帯端末の表示方式が変わっても、表示装置のタッチパネルへのタッチ操作により携帯端末を適正に操作でき、ユーザの所望する携帯端末側の機能を確実に実行することができる。

本発明に係る車載用表示装置と携帯端末とを示す概略図である。 本発明に係る携帯端末の構成を示すブロック図である。 本発明に係る車載用表示装置の構成を示すブロック図である。 本発明に係る車載用表示装置の携帯端末画像表示エリアと携帯端末自身の画像表示エリアとの比率を説明するための模式図である。 本発明の実施形態に係る車載用表示装置のタッチパネルの位置座標と横置状態の携帯端末のタッチパネルの位置座標との対応関係を説明するための模式図である。 本発明の実施形態に係る車載用表示装置のタッチパネルの位置座標と縦置状態の携帯端末のタッチパネルの位置座標との対応関係を説明するための模式図である。 本発明に係る車載用表示装置の各処理を示すフローチャートである。 従来の表示装置と携帯端末とを接続した状態の表示画面を示す模式図である。

以下、図面を用いて本発明の実施形態を詳しく説明する。

図１に、本発明に係る表示装置の一例としての車載用表示装置２と、携帯端末の一例としてのスマートフォン（以下、スマホ）１とを示す。図２はスマホ１の構成を示すブロック図であり、図３は車載用表示装置２の構成を示すブロック図である。

本発明の実施形態において、車載用タッチパネル１０を有する車載用表示装置２は、例えば車載用ディスプレイ装置、車載用ナビゲーション装置、車載用オーディオ装置等の何れか単体あるいはその複合装置であり、携帯端末（スマホ１）との通信機能を有する。携帯端末は、通話機能やメール機能、音楽再生機能や地図表示・案内機能等のほか、上記車載用表示装置２との通信機能を有する。

本発明を適用した車載用表示装置２は、スマホ１と接続可能であり、スマホ１の第１表示部４に表示される画像データを第１通信部７および第２通信部１１を介して受信してその画像データを第２表示部８で表示したり、車載用表示装置２の車載用タッチパネル１０への操作入力によりスマホ１を操作したりすることができる。

図２に示すように、スマホ１は画像を表示可能な第１表示部４とタッチ操作可能な第１操作部５とを有する携帯端末タッチパネル３と、第１通信部７と、携帯端末タッチパネル３と第１通信部７および図示しないアプリケーションプログラム実行部や音声再生部、さらに情報記憶部等を制御する第１制御部６とを備えている。

携帯端末タッチパネル３の第１表示部４は、スマホ１の各種アプリケーションプログラムにより生成される画像や情報記憶部に記憶された動画映像や静止画像等を表示するものであって、液晶ディスプレイ、有機ＥＬ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プラズマディスプレイ等の表示素子を用いて構成されている。

携帯端末タッチパネル３の第１操作部５は、第１表示部４の表示素子と重ね合されて一体化された静電容量式タッチセンサや抵抗膜式タッチセンサ等で構成され、第１表示部４の画面上のどの位置に対してタッチ操作やなぞり操作が行われたかをこの第１操作部５が検知し、その操作位置の座標を第１制御部６に送信する。

スマホ１の第１通信部７は、車載用表示装置２との間で例えばＢｌｕｅｔｏｏｔｈ（登録商標）規格に従った無線通信（以下、ＢＴ通信）を行う。スマホ１と車載用表示装置２との間の通信は、ＢＴ通信の他にも、ＺｉｇＢｅｅ（登録商標）等の近距離無線通信規格やＷｉ−Ｆｉ（ｗｉｒｅｌｅｓｓ―ｆｉｄｅｌｉｔｙ）等の無線ＬＡＮ規格などに従って行う構成としてもよい。また、スマホ１と車載用表示装置２との間の通信は無線通信で行う構成に限らず、ＵＳＢ接続やＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、登録商標）接続等による有線通信によって行う構成としてもよい。

スマホ１の第１制御部６は、主にマイコンで構成されており、例えば周知のＣＰＵ、ＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらの構成を接続するバスライン（図示せず）等が備えられている。第１制御部６は、第１通信部７、第１タッチパネル３から入力された各種操作情報等に基づき、各種処理を実行する。

ここで、携帯端末タッチパネル３への操作はタッチ操作に限らず、スクロール（スワイプ）操作やフリック操作、画面の拡大、縮小等のために複数位置で同時にタッチするマルチタッチ操作やピンチ操作等もある。

なお、本実施形態では、携帯端末としてスマホ１を用いる場合を例に挙げて説明を行うが、車載用表示装置２との通信機能を有するとともにタッチパネルを備えたものであれば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）やタブレットパソコン等を用いる構成としてもよい。

図３に示すように、車載用表示装置２は、車載用タッチパネル１０と第２通信部１１と第２制御部１２と表示方式検知部１３と位置情報切替部１４とを主に備えている。

車載用表示装置２の第２通信部１１は、スマホ１との間で例えばＢＴ通信を行う。なお、車載用表示装置２とスマホ１との間での通信は、前述したようにＢＴ通信以外の無線通信によるものであってもよいし、有線通信によるものであってもよい。第２通信部１１は、スマホ１の第１通信部７から送信されたスマホ１の第１表示部４の解像度情報や第１表示部４で表示される画像データを受信して第２制御部１２に送信する。

また、第２通信部１１は、第２制御部１２からの指示に従って、後述する車載用タッチパネル１０で検出され第２制御部１２に送られた操作位置の座標をスマホ１の第１通信部７に送信する。

第２表示部８と第２操作部９を有する車載用タッチパネル１０は、携帯端末タッチパネル３とほぼ同様に構成されているため、ここでは詳しい説明は省略する。車載用タッチパネル１０は、車載用表示装置２に搭載された図示しない記録媒体再生装置で再生される動画や静止画の画像データを表示するだけでなく、接続されたスマホ１の第１表示部４に表示される画像も表示することができる。また、車載用タッチパネル１０にユーザがタッチ操作やスクロール操作等を行ったときに、この操作位置の座標を第２制御部１２および第２通信部１１を介してスマホ１の第１通信部７に送信することにより、スマホ１の機能を操作することができる。

車載用表示装置２の第２制御部１２は、スマホ１の第１制御部６とほぼ同様の構成であるため、詳しい説明は省略する。第２制御部１２は、第２通信部１１を介してスマホ１から送信された画像データ（以下、携帯端末由来画像データ）を受信した場合に、その携帯端末由来画像データに従って車載用表示装置２で生成された画像（以下、車載側生成画像）を第２表示部８で表示させる。第２制御部１２は、例えばスマホ１から送信された解像度情報をもとに、携帯端末由来画像データのサイズや解像度を、第２表示部８の画面のサイズや解像度に応じて変換した車載側生成画像を生成する。

車載用タッチパネル１０の第２表示部８における上記車載側生成画像の表示エリアと、携帯端末タッチパネル３の第１表示部４の表示エリアとのアスペクト比が同一である場合、図４に示すように、車載用タッチパネル１０の矩形の表示エリア（図中の破線の四角形）の縦幅ａｙは、携帯端末タッチパネル３の矩形の表示エリアの縦幅ｙのａ倍となり、車載用タッチパネル１０の矩形の表示エリアの横幅ａｘも、携帯端末タッチパネル３の矩形の表示エリアの横幅ｘのａ倍となる。ａは、携帯端末タッチパネル３の表示エリアの縦幅および横幅に対する車載用タッチパネル１０の車載側生成画像の表示エリアの縦幅および横幅の比率（倍率）である。

上記のとおり、第２制御部１２は、スマホ１から受信した携帯端末由来画像データのサイズや解像度を、スマホ１の解像度、第２表示部８の画面サイズや解像度に基づいて変換し車載側生成画像を生成するが、車載側生成画像の生成方法は必ずしもこれに限らない。例えば、携帯端末由来画像データのサイズや解像度の変換の比率を固定値として予め第２制御部１２のＲＯＭ等の不揮発性メモリで保持しておき、この固定値に従って車載側生成画像を生成する構成としてもよい。この場合には、スマホ１からこのスマホ１の解像度情報を受信する必要がない。

次に、車載用タッチパネル１０の第２操作部９上の操作位置の座標と携帯端末タッチパネル３の第１操作部５の座標との対応関係について図５を用いて説明する。

図５に示すように、便宜上、矩形の車載用タッチパネル１０（第２操作部９）の左下隅の座標を（０，０）、左上隅の座標を（０，ｐ２）、右上隅の座標を（ｐ１，ｐ２）、右下隅の座標を（ｐ１，０）とする。また、車載用タッチパネル１０（第２表示部８）における上記車載側生成画像の表示エリア（図中の破線の四角形）の左下隅の座標を（ｅ，ｆ）とする。ｅは、車載側生成画像の表示エリアの左端の、車載用タッチパネル１０（第２操作部９）の左端からのオフセット値であり、ｆは、車載側生成画像の表示エリアの下端の、車載用タッチパネル１０（第２操作部９）の下端からのオフセット値である。また、携帯端末タッチパネル３（第１表示部４）の表示エリアの左下隅の座標を（０，０）、左上隅の座標を（０，ｑ２）、右上隅の座標を（ｑ１，ｑ２）、右下隅の座標を（ｑ１，０）とする。なお、説明の都合上、携帯端末タッチパネル３（第１表示部４）の表示エリアと第１操作部５との座標はオフセットしていないものとする。

ここで、車載タッチパネル１０の第２表示部８の車載側生成画像の表示エリアに、スマホ１から受信した携帯端末由来画像データに基づいて車載側生成画像を生成し表示しているときに、車載用タッチパネル１０の車載側生成画像の表示エリア上の任意の点（ｐｃ，ｐｄ）がタッチ操作されたことを第２操作部９が検知した場合には、第２制御部１２は、第２操作部９へのタッチ操作位置情報から、第１操作部５での操作位置の座標を（（ｐｃ−ｅ）／ａ，（ｐｄ−ｆ）／ａ）と特定する。つまり、第２制御部１２は、第２操作部９で検出された操作位置の座標を、車載側生成画像の表示エリアとのオフセット値分だけずらし、さらに第２表示部８における車載側生成画像の表示エリアと携帯端末タッチパネル３の第１表示部４の表示エリアとの大きさの比率分だけ縮小したときの座標を、第１操作部５での操作位置として特定する。

図３に戻り、車載用表示装置２は表示方式検知部１３を備えている。本実施形態では、表示方式検知部１３は、車載用表示装置２の第２表示部８に表示された画像の横幅と縦幅との長さを比較してスマホ１の表示方式を検知する。

例えば、図８（ａ）では、車載用表示装置２の第２表示部８に表示された車載側生成画像の横幅Ｌと縦幅Ｈとを比較し、図示のように車載側生成画像の横幅Ｌが縦幅Ｈより長い場合、スマホ１は横画面表示方式となっていることが検知される。

一方、図８（ｂ）に示すように、第２表示部８に表示された車載側生成画像の横幅Ｌ’が縦幅Ｈ’より短い場合、スマホ１は縦画面表示方式となっていることが検知される。

または、表示方式検知部１３は、ブランクエリアまたは黒色エリアが第２表示部８の全表示面積に占める割合によりスマホ１の表示方式を検知してもよい。例えば、その比率が３０％以上となった場合、スマホ１の表示方式は縦画面表示方式であり、３０％未満の場合は、横画面表示方式であると検知する。

さらにまた、表示方式検知部１３は、車載用表示装置２の第２表示部８に表示された車載側生成画像の横幅と縦幅との長さの比較と、ブランクエリアまたは黒色エリアの面積の比率を両方加味してスマホ１の表示方式を検知してもよい。

図３に示すように、車載用表示装置２はさらに位置情報切替部１４を備えている。位置情報切替部１４は、第２操作部９で検出された操作位置の座標を第１操作部５での操作位置として特定する情報（座標）を、表示方式検知部１３で検知されたスマホ１の表示方式に基づいて切替える。

図６に示すように、スマホ１が縦画面表示方式となっている場合、携帯端末１の表示画像の横縦比率を維持しつつ車載用表示装置２の第２表示部８の表示領域に収まるように、この第２表示部８の左右方向略中央領域に車載側生成画像が表示され、この車載側生成画像以外の領域はブランクまたは黒色の表示がなされる。この状態で、スマホ１が縦画面表示方式となっていることが上記表示方式検知部１３で検知される。

図６に示すように、便宜上携帯端末タッチパネル３（第１表示部４）の表示エリアの左上隅の座標を（０，０）、左下隅の座標を（ｑ１，０）、右上隅の座標を（０，ｑ２）、右下隅の座標を（ｑ１，ｑ２）とする。

また、図５の場合と同様に、矩形の車載用タッチパネル１０（第２操作部９）の左下隅の座標を（０，０）、左上隅の座標を（０，ｐ２）、右上隅の座標を（ｐ１，ｐ２）、右下隅の座標を（ｐ１，０）とする。さらに、車載用タッチパネル１０（第２表示部８）における上記車載側生成画像の表示エリアの左上隅の座標を（ｇ，ｈ）とする。ｇは、車載側生成画像の表示エリアの左端の、車載用タッチパネル１０（第２操作部９）の左端からのオフセット値であり、ｈは、車載側生成画像の表示エリアの上端の、車載用タッチパネル１０（第２操作部９）の下端からのオフセット値である。

図６に示す状態で、車載用タッチパネル１０の車載側生成画像の表示エリア上の任意の点（ｐｍ，ｐｎ）がタッチ操作されたことを第２操作部９が検知した場合には、第２制御部１２は、第２操作部９へのタッチ操作位置情報から、第１操作部５での操作位置の座標を（（ｈ−ｐｎ）／ｂ，（ｐｍ−ｇ）／ｂ）と特定する。ここで、ｂは、携帯端末タッチパネル３の表示エリアの縦幅および横幅に対する車載用タッチパネル１０の車載側生成画像の表示エリアの縦幅および横幅の比率（倍率）である。

つまり、第２制御部１２は、第２操作部９で検出された操作位置の座標を、車載側生成画像の表示エリアとのオフセット値分だけずらし、さらに、第２表示部８における車載側生成画像の表示エリアと携帯端末タッチパネル３の第１表示部４の表示エリアとの大きさの比率分だけ縮小したときの座標を、第１操作部５での操作位置として特定する。

車載用タッチパネル１０（第２操作部９）にタッチ操作する場合だけでなく、スクロール操作やフリック操作、あるいは複数の指でピンチ操作をする場合も、第２操作部９へのタッチ操作位置を連続的に検知してこの連続する操作位置情報をそれぞれ上記と同様に第１操作部５での操作位置の座標として特定することができる。なお、縦画面表示方式の場合でも横画面表示方式の場合でも、スマホ１側で表示する画像が拡大/縮小されても、車載用タッチパネル１０側に表示される車載側生成画像の表示エリアの大きさは変化しないので、上述のような座標変換方法は有効である。

図６に示す状態で、車載用タッチパネル１０の車載側生成画像の表示エリア外のブランクエリアや黒色エリアにユーザがタッチ操作した場合、その操作は第２制御部１２により無効化処理される。また、スマホ１が車載用表示装置２に接続されている状態では、スマホ１から携帯端末由来画像データを車載用表示装置２に送信して第２表示部８で車載側生成画像を表示することができ、且つ第２操作部９によりタッチ操作位置を検知して第１操作部５での操作位置の座標として特定しスマホ１に送信することができるので、スマホ１の第１表示部４の表示は行わなくても良い。

以上の構成によれば、スマホ１がどのような表示方式となっていても、ユーザは車載用表示装置２側で正確にスマホ１の機能を操作できる。

次に、図７を用いて本実施形態の車載用表示装置２の動作の流れについて説明する。

まず、ステップＳ１０１では、車載用表示装置２の第２制御部１２が、車載用表示装置２にスマホ１が接続されたか否かを検知する。そして、スマホ１が接続されたことを検知した場合（ステップＳ１０１のＹＥＳ）には、ステップＳ１０２に進む。一方、スマホ１が未接続と検知した場合（ステップＳ１０１のＮＯ）には、ステップＳ１０１に戻って処理を繰り返す。

ステップＳ１０２では、車載用タッチパネル１０の第２表示部８が、スマホ１の第１通信部７から送信される携帯端末由来画像データから生成された車載側生成画像を表示する。例えば、図８（ａ）のようにスマホ１が横画面表示方式となっている場合、車載用表示装置２では車載側生成画像を第２表示部８のほぼ全画面で横画面表示する。また、図８（ｂ）のようにスマホ１が縦画面表示方式となっている場合、車載用表示装置２は第２表示部８の画面中央に車載側生成画像を縦画面表示する。この縦画面表示の場合には、第２表示部８の車載側生成画像の左右部分は何も表示せずに黒色エリアまたはブランクエリアとなる。

ステップＳ１０３では、表示方式検知部１３が、上述のように第２表示部８に表示される車載側生成画像の表示領域の縦横の長さ等を検出することによってスマホ１の表示方式を検知する。

スマホ１の表示方式が横画面表示方式であった場合（ステップＳ１０３のＹＥＳ）には、ステップＳ１０５に進む。一方、スマホ１の表示方式は縦画面表示方式であった場合（ステップＳ１０３のＮＯ）には、ステップＳ１０４に進む。

ステップＳ１０４では、位置情報切替部１４が、初期設定として設定されている横画面表示方式と対応する座標への座標変換方法から縦画面表示方式と対応する座標への座標変換方法に切替える。本実施形態では、縦画面表示方式の場合に、上述のように、ｘ＝（ｈ−ｐｎ）／ｂ、ｙ＝（ｐｍ−ｇ）／ｂという計算式に基づいて操作位置座標の変換を行うよう切替えられる。

ステップＳ１０５では、ユーザによる車載用タッチパネル１０（第２操作部９）に対するタッチ操作（なぞり操作を含む）があったか否かを検出し、操作があった場合（Ｓ１０５のＹＥＳ）ステップＳ１０６に進む。操作がなかった場合（Ｓ１０５のＮＯ）ステップＳ１０３に戻り処理を繰り返す。

ステップＳ１０６では、車載用タッチパネル１０（第２操作部９）の操作位置の座標と対応するスマホ１の携帯端末タッチパネル３（第１操作部５）の操作位置座標を特定し、この座標情報をスマホ１へ送信する。例えば、スマホ１の表示方式が横画面表示方式の場合、図５に示すように、車載用タッチパネル１０の点（ｐｃ，ｐｄ）の座標位置をタッチ操作すると、スマホ１へ（ｐｃ，ｐｄ）と対応する（（ｐｃ−ｅ）／ａ，（ｐｄ−ｆ）／ａ）の座標を送信し、また、スマホ１の表示方式が縦画面表示方式の場合、図６に示すように、車載用タッチパネル１０の点（ｐｍ，ｐｎ）の座標位置をタッチ操作すると、スマホ１へ（ｐｍ，ｐｎ）と対応する（（ｈ−ｐｎ）／ｂ、ｙ＝（ｐｍ−ｇ）／ｂ）の座標を送信して、その後、ステップＳ１０３に戻る。

ステップＳ１０３では、所定時間（例えば、５００ｍｓ）おきに繰り返してスマホ１の表示方式を検知する。これにより車載用表示装置２がスマホ１と接続されている間に、例えば、スマホ１が横置き状態から縦置き状態に変更される等して、スマホ１から送信される携帯端末由来画像データから生成された車載側生成画像が横画面表示の画像から縦画面表示の画像に変わったときに、直ちにそれを検知して、ステップＳ１０４により横画面表示方式と対応する座標への座標変換方法から縦画面表示方式と対応する座標への座標変換方法に切替える。

ステップＳ１０６により、スマホ１へ操作位置座標が送信されると、スマホ１では第１操作部５の上記操作位置座標が操作されたと認識し、この操作に対応する動作が実行される。

上記実施形態では、スマホ１の携帯端末タッチパネル３の大きさや解像度が一つの場合について説明したが、実際には、スマホ１の機種に応じて携帯端末タッチパネル３の大きさや解像度（タッチパネルの解像度）が違う場合が多い。

そこで、車載用表示装置２とスマホ１とを接続した時に、車載用表示装置２はスマホ１から携帯端末タッチパネルの解像度データを取得し、取得したデータに応じて車載用表示装置２とスマホ１とのタッチパネル座標の対応付けを変更することが好ましい。車載用タッチパネル１０と携帯端末タッチパネル３の解像度が同じであれば上記実施形態で説明したように両者の座標間を１対１に対応付け、車載用タッチパネル１０より携帯端末タッチパネル３の解像度の方が大きい場合は、その解像度の違いに応じて車載用タッチパネル１０の１つの座標と携帯端末タッチパネル３の複数座標（所定のエリア）を対応付け、あるいは携帯端末タッチパネル３の複数座標（所定のエリア）のいずれかを対応付けすれば良い。なお、スマホ１の携帯端末タッチパネル３の大きさは解像度により特定できるので、車載用表示装置２は、スマホ１の第１通信部７により取得した解像度データのみを通じてスマホ１の携帯端末タッチパネル３の大きさを特定できる。

本発明は、本実施形態の車載用表示装置に限定されるものではなく、家庭用のテレビ、産業用のディスプレイ等、車載用以外に利用される他の表示装置にも適用することができる。

上述したように、本発明によれば、表示方式検知部により携帯端末の表示方式が検知された後、表示装置側の第２タッチパネルへのタッチ操作位置情報から携帯端末側の操作位置を特定する情報を携帯端末の表示方式に対応する情報に切替えて携帯端末側へ送信するため、携帯端末がどんな表示方式であっても、ユーザが所望する携帯端末側の機能を実行することができる。

１ スマートフォン
２ 車載用表示装置
３ 第１タッチパネル（携帯端末タッチパネル）
４ 第１表示部
５ 第１操作部
６ 第１制御部
７ 第１通信部
８ 第２表示部
９ 第２操作部
１０ 第２タッチパネル（車載用タッチパネル）
１１ 第２通信部
１２ 第２制御部
１３ 表示方式検知部
１４ 位置情報切替部

Claims (10)

1. 第１表示部と第１操作部とから成る第１タッチパネルと第１通信部とを有する携帯端末と通信可能な第２通信部と、
   前記第１表示部の表示画像を表示可能な第２表示部と前記携帯端末を操作可能な第２操作部とから成る第２タッチパネルとを備え、
   前記第２通信部は、前記携帯端末より前記第１表示部に表示された画像データを受信し、前記第２操作部へのタッチ操作位置情報から前記第１操作部での操作位置を特定する情報を前記携帯端末に送信する表示装置において、
   前記第１表示部に表示された画像の表示方式を検知する表示方式検知部と、
   前記表示方式検知部により検知された画像の表示方式に応じて、前記第２操作部へのタッチ操作位置情報から前記第１操作部での操作位置情報を特定する情報を前記検知された表示方式に対応した情報に切替える位置情報切替部と、
   を備えることを特徴とする表示装置。
2. 前記表示方式検知部は、前記第２表示部に表示された表示画像の横縦の長さの比較によって前記第１表示部の表示方式を検知することを特徴とする請求項１に記載の表示装置。
3. 前記表示方式検知部は、リアルタイムに前記表示方式を検知することを特徴とする請求項１に記載の表示装置。
4. 前記表示方式は、横画面表示方式と縦画面表示方式を有することを特徴とする請求項１〜３のいずれか一項に記載の表示装置。
5. 第１表示部と第１操作部とから成る第１タッチパネルを有する携帯端末より前記第１表示部に表示された画像データを第２通信部によって受信する受信ステップと、
   前記第１表示部に表示された画像の表示方式を表示方式検知部によって検知する表示方式検知ステップと、
   前記表示方式検知ステップにより検知された表示方式に応じて、第２表示部と第２操作部から成る第２タッチパネルへのタッチ操作位置から前記第１操作部の操作位置を特定する情報を前記検知された表示方式に対応する情報に位置情報切替部によって切替える位置情報切替ステップと、
   前記位置情報切替ステップにより前記表示方式に対応する情報に切替えられた前記第１操作部の操作位置を特定する情報を前記携帯端末へ前記第２通信部によって送信する送信ステップと
   を備えることを特徴とする表示装置の操作方法。
6. 前記表示方式検知ステップにて、前記第２表示部に表示された表示画像の横縦の長さの比較によって前記第１表示部の表示方式を検知することを特徴とする請求項５に記載の表示装置の操作方法。
7. 前記表示方式検知ステップにて、リアルタイムに前記表示方式を検知することを特徴とする請求項５に記載の表示装置の操作方法。
8. 前記表示方式検知ステップにて検知する表示方式は、横画面表示方式と縦画面表示方式を有することを特徴とする請求項５〜７のいずれか一項に記載の表示装置の操作方法。
9. 第１表示部と第１操作部とから成る第１タッチパネルと、第１通信部と、第１制御部とを有する携帯端末と、
   請求項１〜３のいずれか一項に記載の表示装置とを含み、
   前記第１通信部は、前記携帯端末から前記表示装置へ前記第１表示部に表示された画像データを送信すると共に前記表示装置から前記表示方式に対応した前記第１操作部の操作位置を特定する情報を受信し、前記第１制御部は、前記表示方式に対応した前記操作位置を特定する情報に基づき前記携帯端末の制御を行うことを特徴とする情報表示システム。
10. コンピュータに、
    第１表示部と第１操作部とから成る第１タッチパネルを有する携帯端末より前記第１表示部に表示された画像データを第２通信部によって受信する受信ステップと、
    前記第１表示部に表示された画像の表示方式を表示方式検知部によって検知する表示方式検知ステップと、
    前記表示方式検知ステップにより検知された表示方式に応じて、第２表示部と第２操作部から成る第２タッチパネルへのタッチ操作位置から前記第１操作部の操作位置を特定する情報を前記検知された表示方式に対応する情報に位置情報切替部によって切替える位置情報切替ステップと、
    前記位置情報切替ステップにより前記表示方式に対応する情報に切替えられた前記第１操作部の操作位置を特定する情報を前記携帯端末へ前記第２通信部によって送信する送信ステップと
    を実行させるための表示装置の操作プログラム。

Images