JP2017120664A - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP2017120664A
JP2017120664A JP2017059336A JP2017059336A JP2017120664A JP 2017120664 A JP2017120664 A JP 2017120664A JP 2017059336 A JP2017059336 A JP 2017059336A JP 2017059336 A JP2017059336 A JP 2017059336A JP 2017120664 A JP2017120664 A JP 2017120664A
Authority
JP
Japan
Prior art keywords
movement amount
touch
display
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017059336A
Other languages
English (en)
Other versions
JP6397530B2 (ja
JP2017120664A5 (ja
Inventor
憲和 奈良
Norikazu Nara
憲和 奈良
克哉 松雪
Katsuya Matsuyuki
克哉 松雪
阿部 憲幸
Noriyuki Abe
憲幸 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2017059336A priority Critical patent/JP6397530B2/ja
Publication of JP2017120664A publication Critical patent/JP2017120664A/ja
Publication of JP2017120664A5 publication Critical patent/JP2017120664A5/ja
Application granted granted Critical
Publication of JP6397530B2 publication Critical patent/JP6397530B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】タッチパネル操作を適用した情報端末の表示画面を表示装置で表示したときに、表示装置から情報端末を操作する。
【解決手段】車載装置1は、映像・音声信号入力部16により、携帯端末2からカーソルを含む画面の画像情報を受信し、その画像情報に基づいて当該画面をタッチパネルである表示部11に表示する。そして、表示部11と共にタッチパネルを構成している操作部12により、ユーザからのタッチ操作により指定されたタッチ位置を検出する。このとき、制御部10の処理により、近距離無線通信インタフェース部15を用いて、カーソルの表示位置からタッチ位置までの移動量に応じた移動量情報を携帯端末2へ送信する。
【選択図】図2

Description

本発明は、表示装置に関する。
従来、携帯電話の表示画面と共に、携帯電話の各操作キーに対応する複数のタッチスイッチを車載装置のディスプレイに表示し、いずれかのタッチスイッチが操作されると、そのタッチスイッチに対応する操作キーの操作コマンドを車載装置から携帯電話に供給することで携帯電話を操作可能とした技術が知られている(特許文献1参照)。
特開2003−244343号公報
近年、操作キーを用いて操作を行う従来の携帯電話の他に、タッチパネルを用いることで直感的な操作を可能としたスマートフォンも広く利用されている。こうしたスマートフォンの場合、特許文献1の従来技術を利用して車載装置からの操作を実現することはできない。このように従来では、スマートフォンのようなタッチパネル操作を適用した情報端末の表示画面を表示装置で表示したときに、表示装置から情報端末を操作するための技術は提案されていなかった。
本発明の一態様による表示装置は、情報端末と接続されるものであって、情報端末からカーソルを含む画面の画像情報を受信する画像受信手段と、画像受信手段により受信された画像情報に基づいて画面を表示し、タッチ操作により指定されたタッチ位置を検出するタッチパネルと、カーソルの表示位置からタッチ位置までの移動量に応じた移動量情報を情報端末へ送信する送信手段とを備える。
本発明によれば、タッチパネル操作を適用した情報端末の表示画面を表示装置で表示したときに、表示装置から情報端末を操作することができる。
本発明の一実施の形態による車載情報システムの構成を示す図である。 車載装置および携帯端末の構成を示すブロック図である。 携帯端末におけるソフトウェアの概略構成を示す図である。 車載装置においてタッチ操作が行われたときの車載装置と携帯端末の動作を説明する図である。 タッチ操作が行われたときに車載装置において実行される処理のフローチャートである。
図1は、本発明の一実施の形態による車載情報システムの構成を示す図である。図1に示す車載情報システムは、車両に搭載されて使用されるものであり、車載装置1と携帯端末2が近距離無線通信および映像・音声ケーブル3を介した有線通信で互いに接続されることによって実現される。車載装置1は、車両内に固定されており、たとえば車両のインストルメントパネル内などに設置されている。携帯端末2は、ユーザが持ち運び可能な携帯型の情報端末であり、たとえば携帯電話やスマートフォンなどである。なお、車載装置1と携帯端末2の間で行われる近距離無線通信には、たとえばBluetooth(ブルートゥース)(登録商標)などを用いることができる。また、映像・音声ケーブル3を介した有線通信には、たとえばHDMI(登録商標)などを用いることができる。
車載装置1には、表示部11が設けられている。表示部11は、各種の画像や映像を表示可能なタッチパネルであり、たとえば抵抗膜方式のタッチパネルスイッチと液晶ディスプレイとを組み合わせて構成される。ユーザは、表示部11において任意の位置を指等でタッチ操作してその位置に表示されたアイコンや操作ボタン等を指定することで、所望の機能を携帯端末2に実行させることができる。なお、表示部11に加えて、さらに所定の操作に対応する操作スイッチを車載装置1に設けてもよい。
携帯端末2には、表示部21が設けられている。表示部21は、各種の画像や映像を表示可能なタッチパネルであり、たとえば静電容量方式のタッチパネルスイッチと液晶ディスプレイとを組み合わせて構成される。ユーザは、表示部21に表示される画像や映像の内容に応じて、表示部21上で任意の位置を指等でタッチすることで、所望の機能を携帯端末2に実行させることができる。なお、ここでは表示部21をタッチパネルとした例を説明したが、タッチパネルではない通常の表示モニタとしてもよい。その場合、携帯端末2が実行する処理の内容に応じた各種の操作スイッチを携帯端末2に設けることが好ましい。あるいは、表示部21をタッチパネル式の表示モニタとし、さらに所定の操作に対応する操作スイッチを携帯端末2に設けてもよい。
図2は、車載装置1および携帯端末2の構成を示すブロック図である。図2に示すように車載装置1は、制御部10、表示部11、操作部12、音声出力部13、メモリ部14、近距離無線通信インタフェース部15および映像・音声信号入力部16を有する。一方、携帯端末2は、制御部20、表示部21、操作部22、音声出力部23、メモリ部24、近距離無線通信インタフェース部25、映像・音声信号出力部26、無線通信部27およびGPS(Global Positioning System)受信部28を有する。
車載装置1において、制御部10は、マイクロプロセッサや各種周辺回路、RAM、ROM等によって構成されており、メモリ部14に記録されている制御プログラムに基づいて各種の処理を実行する。この制御部10が行う処理により、各種の画像表示処理や音声出力処理などが実行される。
さらに制御部10は、車両から出力される車速信号およびパーキング信号を取得する。この車速信号およびパーキング信号に基づいて、制御部10は、車両の走行状態が走行中または停車中のいずれであるかを判断する。なお、車両から制御部10への車速信号およびパーキング信号の出力は、たとえば、車両内に設けられた通信ネットワークである不図示のCAN(Controller Area Network)を経由して、車両に搭載された車速センサから車速パルスが出力されることにより行われる。
表示部11は、図1を用いて前述したように、液晶ディスプレイ等によって構成される表示モニタである。操作部12は、表示部11に対するユーザのタッチ操作を検出するための部分であり、前述のタッチパネルスイッチに相当する。なお、図2では表示部11と操作部12を別々に示しているが、実際にはこれらが一体化されて一つのタッチパネルを構成している。また、前述のようにタッチパネル以外の操作スイッチを車載装置1に設けた場合は、その操作スイッチも操作部12に含まれる。操作部12に対して行われたユーザの入力操作内容は制御部10へ出力され、制御部10が行う処理に反映される。
音声出力部13は、アンプ、スピーカ等を有しており、制御部10の制御によって各種の音声を出力することができる。たとえば、携帯端末2または不図示の記録媒体から読み出された音楽データを再生した音楽や、車両を目的地まで誘導するための誘導音声などが音声出力部13から出力される。
メモリ部14は、不揮発性のデータ格納装置であり、たとえばHDD(ハードディスクドライブ)やフラッシュメモリ等によって実現される。メモリ部14には、たとえば制御部10において用いられる前述の制御プログラムなど、各種のデータが記憶されている。メモリ部14におけるデータの読み出しおよび書き込みは、制御部10の制御により必要に応じて行われる。
近距離無線通信インタフェース部15は、制御部10の制御により、携帯端末2との間で近距離無線通信を行う際に必要な無線インタフェース処理を行う。たとえば、制御部10から出力された情報を所定の無線信号形式に変換して携帯端末2へ送信したり、携帯端末2から所定の無線信号形式で出力された情報を受信して制御部10へ出力したりする。近距離無線通信インタフェース部15によるインタフェース処理は、Bluetooth等の所定の通信規格に従って行われる。
映像・音声信号入力部16は、映像・音声ケーブル3を介して携帯端末2から入力される映像信号と音声信号を受け、これらの信号を画面表示用の画像(映像)データと音声出力用の音声データにそれぞれ変換して制御部10へ出力する。映像・音声信号入力部16から制御部10へ画像データと音声データが出力されると、制御部10は、表示部11を制御してその画像データに基づく画像を表示部11に画面表示させると共に、音声出力部13を制御してその音声データに基づく音声を音声出力部13に出力させる。
一方、携帯端末2において、制御部20は、車載装置1の制御部10と同様にマイクロプロセッサや各種周辺回路、RAM、ROM等によって構成されており、メモリ部24に記録されている制御プログラムに基づいて各種の処理を実行する。
表示部21は、前述したようなタッチパネル式の表示モニタである。操作部22は、ユーザの入力操作を検出するための部分である。なお、図2では表示部21と操作部22を別々の構成として示しているが、実際には前述の表示部11と同様に、表示部21と操作部22が一体化されて一つのタッチパネルを構成している。また、前述のようにタッチパネル以外の操作スイッチを携帯端末2に設けた場合は、その操作スイッチも操作部22に含まれる。操作部22に対して行われたユーザの入力操作内容は制御部20へ出力され、制御部20が行う処理に反映される。
音声出力部23は、アンプ、スピーカ等を有しており、制御部20の制御によって各種の音声を出力することができる。たとえば、携帯端末2を用いて通話を行ったときには、通話相手の音声が音声出力部23から出力される。
メモリ部24は、車載装置1のメモリ部14と同様の不揮発性のデータ格納装置であり、制御部20の処理において利用するための各種のデータが記憶されている。このメモリ部24には、ユーザが予め入手した様々なアプリケーションプログラム(以下、単にアプリケーションと称する)が記憶されている。ユーザは、メモリ部24に記憶された各種アプリケーションの中からいずれかを選択して制御部20に実行させることにより、様々な機能を携帯端末2において実現することができる。
近距離無線通信インタフェース部25は、車載装置1の近距離無線通信インタフェース部15と同様に、所定の通信規格に基づいた無線インタフェース処理を行う。すなわち、車載装置1と携帯端末2との間の情報通信は、近距離無線通信インタフェース部15と近距離無線通信インタフェース部25とが互いに無線通信で情報を授受することにより実現される。
映像・音声信号出力部26は、制御部20により生成された画像(映像)と音声を、たとえばHDMI等の所定の通信規格に応じた映像信号と音声信号にそれぞれ変換し、映像・音声ケーブル3を介して車載装置1へ出力する。この映像信号と音声信号が車載装置1において映像・音声信号入力部16に入力されると、携帯端末2において表示部21に表示されるのと同一の画像(画面)が車載装置1の表示部11にも表示される。また、携帯端末2において音声出力部23から出力されるのと同一の音声が車載装置1の音声出力部13からも出力される。こうした機能はビデオミラーリングと呼ばれている。
無線通信部27は、不図示の無線通信回線網を介して携帯端末2を他の携帯端末やサーバに接続するための無線通信を行う。携帯端末2は、無線通信部27が行う無線通信により、他の携帯端末との間で通話を行ったり、サーバから任意のアプリケーションをダウンロードしたりすることができる。なお、無線通信部27が行う無線通信では、たとえば携帯電話回線網や、無線LANを介したインターネット回線網などを無線通信回線網として利用することができる。
GPS受信部28は、GPS衛星から送信されるGPS信号を受信して制御部20へ出力する。GPS信号には、携帯端末2の現在位置と現在時刻を求めるための情報として、そのGPS信号を送信したGPS衛星の位置と送信時刻に関する情報が含まれている。したがって、所定数以上のGPS衛星からGPS信号を受信することにより、これらの情報に基づいて現在位置と現在時刻を制御部20において算出することができる。
次に、本車載情報システムにおける車載装置1と携帯端末2との連携機能について説明する。本車載情報システムは、車載装置1と携帯端末2との連携機能を有している。この連携機能を用いることで、車載装置1と携帯端末2とが互いに接続された状態で携帯端末2において様々なアプリケーションを実行すると、車載装置1において当該アプリケーションに応じた画像表示や音声出力を行うことができる。また、車載装置1に対して行われたユーザの操作内容を、携帯端末2において実行されているアプリケーションの動作に反映させることができる。
たとえば、携帯端末2においてナビゲーション用のアプリケーションを実行することにより、車両を目的地まで誘導するためのナビゲーション処理を行うことができる。このナビゲーション処理では、携帯端末2において現在位置付近の地図を描画した地図画面を作成し、その地図画面を表す画像情報を、前述の映像信号により、映像・音声信号出力部26から映像・音声ケーブル3を介して映像・音声信号入力部16へ出力する。これにより、携帯端末2から車載装置1へ地図画面を送信し、車載装置1の表示部11において現在位置付近の地図画面を表示できるようにする。また、車載装置1の操作部12または携帯端末2の操作部22を操作してユーザが目的地を設定すると、車両の現在位置を出発地として、そこから設定された目的地までの推奨経路を携帯端末2において探索する。そして、推奨経路上の誘導地点に車両が近づくと、その誘導地点における車両の進行方向に応じた誘導音声を携帯端末2から車載装置1へ送信する。これにより、車載装置1の音声出力部13から誘導音声を出力できるようにする。なお、このとき携帯端末2から車載装置1に対して、誘導音声出力の開始と終了のタイミングに応じてそれぞれ所定の信号を出力してもよい。このようにすれば、車載装置1においてラジオ放送や再生中のCD等による音声が出力されている場合であっても、その音声のボリュームを誘導音声の出力中には低下させ、ユーザが誘導音声を聞き取りやすくすることができる。以上説明したように、表示部11に地図画像を表示したり、音声出力部13から誘導音声を出力したりすることで、車載装置1は、ユーザが迷わずに車両を目的地まで運転できるようにするための報知をユーザに対して行う。
なお、携帯端末2がナビゲーション用のアプリケーションを実行するために必要な地図データ等の各種データは、携帯端末2のメモリ部24において予め記憶されたものを使用してもよい。あるいは、メモリ部24には必要最小限のデータのみを記憶しておき、携帯端末2がナビゲーション用のアプリケーションを実行したときには、無線通信部27を用いて所定のサーバに接続し、必要なデータをその都度取得するようにしてもよい。
携帯端末2では、上記のようなナビゲーション用のアプリケーションを含む複数のアプリケーションのうち、ユーザに選択されたアプリケーションを実行する。ユーザは、携帯端末2の表示部21に表示されるメニュー画面において、操作部22を操作して所望のアプリケーションを選択することにより、携帯端末2に実行させるアプリケーションの選択を行うことができる。このメニュー画面には、たとえば、連携機能を利用可能な各アプリケーションのアイコンが並べて表示されている。ユーザがメニュー画面上でいずれかのアイコンをタッチパネル操作等により選択すると、そのアイコンに対応するアプリケーションが携帯端末2において実行される。
さらに携帯端末2は、映像・音声信号出力部26からの映像信号によりメニュー画面を車載装置1へ送信する。車載装置1は、携帯端末2から送信された映像信号に基づいて、表示部11にメニュー画面を表示する。このメニュー画面において、ユーザがタッチパネルの一部である操作部12のタッチ操作により所望のアプリケーションを選択すると、そのタッチ操作に応じた操作情報が近距離無線通信インタフェース部15により車載装置1から携帯端末2へ送信される。
車載装置1から送信された操作情報は、携帯端末2において近距離無線通信インタフェース部25により受信され、制御部20へ出力される。こうして受信された操作情報に基づいて、制御部20は、車載装置1においてどのアプリケーションがユーザに選択されたかを認識し、当該アプリケーションを実行する。これによりユーザは、携帯端末2の表示部21に表示されるメニュー画面を用いた場合と同様に、所望のアプリケーションを車載装置1において選択し、携帯端末2に実行させることができる。
なお、制御部20は、各アプリケーションをフォアグランドまたはバックグランドで実行することができる。フォアグランドで実行した場合、そのアプリケーションは車載装置1および携帯端末2において画像表示や操作入力の対象とされる。一方、バックグランドで実行した場合、そのアプリケーションに応じた処理が制御部20により実行されるが、そのアプリケーションは車載装置1および携帯端末2において画像表示や操作入力の対象とはされない。ただし、音声についてはバックグランド実行中のアプリケーションから出力してもよい。
車載装置1と携帯端末2とを互いに接続して前述のような連携機能を実現するために、携帯端末2には、アプリケーションマネージャと呼ばれるアプリケーションが予めインストールされてメモリ部24に記憶されている。すなわち、メモリ部24には、アプリケーションマネージャを含む複数のアプリケーションが記憶されている。車載装置1に携帯端末2が接続されると、このアプリケーションマネージャがメモリ部24から読み出され、制御部20において実行される。
図3は、携帯端末2におけるソフトウェアの概略構成を示す図である。図3において、アプリケーションマネージャ201は、サブアプリケーションMaと、サブアプリケーションMsとを有している。
サブアプリケーションMaは、アプリケーションマネージャ201以外のアプリケーションを起動するためのランチャ機能と、各アプリケーションの規制情報を取得するための規制情報取得機能とを有している。制御部20は、サブアプリケーションMaをフォアグランドで実行することにより、これらの機能を利用することができる。たとえば、ランチャ機能を用いて、他のアプリケーションを呼び出し、サブアプリケーションMaに代えてそのアプリケーションを制御部20にフォアグランドで実行させることができる。また、規制情報取得機能を用いて、メモリ部24に記憶されている各アプリケーションに対する車両走行中の動作規制の内容を示す規制情報を、メモリ部24や外部のサーバ等から取得することができる。
サブアプリケーションMsは、携帯端末2を車載装置1に接続するための通信機能と、車両走行中の動作規制を行うための動作規制機能とを有している。制御部20は、サブアプリケーションMsをバックグランドで実行することにより、これらの機能を利用することができる。たとえば、通信機能を用いて、携帯端末2と車載装置1との間で連携時に必要な情報を送受信するための通信処理を実行することができる。また、動作規制機能を用いて、上記のサブアプリケーションMaにより規制情報取得機能を用いて取得された規制情報を参照して、フォアグランドで実行中のアプリケーションに対する車両走行中の動作規制の内容を判断することができる。この判断結果を示した制限情報は、上記の通信機能により携帯端末2から車載装置1へ送信され、車載装置1において車両走行中の動作制限を行う際に利用される。
以上説明したように、アプリケーションマネージャ201は、制御部20においてフォアグランドで実行されるサブアプリケーションMaと、制御部20においてバックグランドで実行されるサブアプリケーションMsとに分けて構成されている。このようにすることで、アプリケーションマネージャ201の機能分担を最適化し、フォアグランドとバックグランドでそれぞれ実行するのに適した機能分担とすることができる。
アプリケーションマネージャ201は、サブアプリケーションMaのランチャ機能により、アプリケーション202に含まれる各アプリケーションのいずれかを呼び出す。すると、制御部20により、このアプリケーションがサブアプリケーションMaに代えてフォアグランドで実行される。なお、図3に対する以下の説明では、アプリケーションAが実行されているものとして説明する。
OS(オペレーティングシステム)203は、携帯端末2の全体的な動作を管理するためのソフトウェアである。携帯端末2を車載装置1に接続した場合、OS203は、制御部20においてバックグランドで実行されるサブアプリケーションMsと、SPPプロファイル204およびHIDプロファイル205との間で入出力される情報の仲介を行う。SPPプロファイル204およびHIDプロファイル205は、車載装置1と携帯端末2の間で行われる近距離無線通信において利用されるドライバであり、Bluetoothで用いられる規格の一部として標準化されている。
SPPプロファイル204は、サブアプリケーションMsの動作規制機能による動作規制内容の判断結果を示した前述の制限情報を送信するための処理や、車両の走行状態に応じて車載装置1から送信される走行情報を受信するための処理を行う。一方、HIDプロファイル205は、車載装置1におけるユーザの操作内容に応じて出力される操作情報を受信するための処理を行う。SPPプロファイル204およびHIDプロファイル205により受信された各情報の内容は、OS203を介してサブアプリケーションMsに出力され、サブアプリケーションMsの通信機能により実行中のアプリケーションへと受け渡される。なお、これらの各情報の送受信は、車載装置1の近距離無線通信インタフェース部15と携帯端末2の近距離無線通信インタフェース部25との間で無線通信により行われる。
制御部20においてサブアプリケーションMaをフォアグランドで実行中の場合、サブアプリケーションMaは、前述のランチャ機能により、ユーザに実行するアプリケーションを選択させるためのメニュー画面の画像を生成する。また、制御部20においてアプリケーションAをフォアグランドで実行中の場合、アプリケーションAは、サブアプリケーションMsから受け渡された走行情報や操作情報を必要に応じて利用し、所定の画像や音声を生成する。これらの画像や音声は、音声・画像メモリ206に一時的に記憶された後、HDMIドライバ207へ出力される。
HDMIドライバ207は、HDMIで定められた方式に従って、サブアプリケーションMaやアプリケーションAにより生成された画像や音声を映像信号や音声信号に変換する処理を行う。この映像信号や音声信号は、映像・音声信号出力部26により、映像・音声ケーブル3を介して車載装置1へ出力される。
携帯端末2は、以上説明したようなソフトウェア構成を有している。なお、こうしたソフトウェア構成は、たとえばAndroid(登録商標)を用いて実現することができる。この場合、たとえばサブアプリケーションMaを「Activity」と呼ばれるスレッドで実行し、サブアプリケーションMaを「Service」と呼ばれるスレッドで実行することにより、制御部20においてサブアプリケーションMaをフォアグランドで実行しつつ、サブアプリケーションMsをバックグランドで実行することができる。
次に、ユーザが車載装置1においてタッチ操作を行った場合の動作について詳しく説明する。前述のように、車載装置1の表示部11に表示された画面上でユーザがタッチ操作を行うと、そのタッチ操作で指定されたタッチ位置に応じた操作情報が車載装置1から携帯端末2へ送信される。このとき車載装置1は、HIDパケットと呼ばれるマウス用の通信フォーマットを利用して、携帯端末2へ操作情報を送信する。
なお、Bluetoothにおけるマウス用の通信フォーマットであるHIDパケットは、一般的には、携帯端末2の入力デバイスとしてマウスを使用したときに利用される。マウスを使用した場合、HIDパケットでは、所定のデータフォーマットにより、マウスの動きに応じた移動量情報と、クリック操作等の各種ボタン操作に応じたボタン操作情報とを、所定時間ごとにマウスから携帯端末2へ送信することができる。HIDパケットによりマウスから送信されたこれらの情報を受信すると、携帯端末2は、図3に示したHIDプロファイル205により受信処理を行った後、OS203により解読することでマウスの動きを検出し、その動きに応じて画面上のカーソルを移動させる。さらに、クリック操作等のボタン操作が行われると、そのときのカーソル位置に対応する画面内容とボタン操作の内容から、ユーザが画面上で行った操作内容を解読する。制御部20では、このようにしてOS203により解読されたマウスの操作内容に応じて、メニュー画面上で指定されたアイコンに対応するアプリケーションを起動したり、実行中のアプリケーション画面で指定された操作に応じた処理を実行したりする。
本実施形態による車載情報システムでは、上記のようなHIDパケットを利用して、車載装置1でのタッチ操作に応じた操作情報を車載装置1から携帯端末2へ送信する。これにより、携帯端末2において、マウス使用時と同様にOS203によりタッチ操作内容を認識できるようにしている。
図4は、車載装置1においてタッチ操作が行われたときの車載装置1と携帯端末2の動作を説明する図である。図4(a)は、タッチ操作前の様子を示している。図4(a)において、表示部11と表示部21の外周部分のうち右下端にそれぞれ表示されている矢印形状のカーソル40は、その矢印の先端部分に当たるカーソル40の左上端を指示点としている。すなわち、タッチ操作前において画面上のカーソル40は、車載装置1では表示部11の右下端に当たる基準位置41を指示しており、携帯端末2では表示部21の右下端に当たる基準位置42を指示している。なお、このときカーソル40の大部分は、表示部11、21の各画面表示の範囲外に位置しており、実際には表示されない。そのため、図4(a)ではカーソル40の表示位置を破線で示している。
タッチ操作前において、携帯端末2は、基準位置42に表示されたカーソル40を含む画面を表示部21に表示すると共に、この画面の画像情報を、前述の映像信号を用いて、映像・音声ケーブル3を介して車載装置1へ出力する。携帯端末2から画像情報を受信すると、車載装置1は、その画像情報に基づいて、携帯端末2の表示部21に表示されているのと同じ画面を表示部11に表示する。これにより、図4(a)に示すように、基準位置41に表示されたカーソル40を含む画面が表示部11において表示される。
ここで図4(a)に示すように、表示部11のX方向(横方向)に対する解像度をXv、Y方向(縦方向)に対する解像度をYvとそれぞれ表す。また、表示部21のX方向(横方向)に対する解像度をXs、Y方向(縦方向)に対する解像度をYsとそれぞれ表す。これらの解像度の情報は、車載装置1と携帯端末2において、メモリ部14、24にそれぞれ予め記憶されている。
図4(b)は、タッチ操作が行われたときの様子を示している。図4(b)に示すように、ユーザが車載装置1に対してタッチ操作を行い、タッチ位置43を指定したとする。このタッチ操作を検出すると、車載装置1は、タッチ操作前にカーソル40が指示していた右下端の基準位置41からタッチ位置43までの移動量として、X方向の移動量PxおよびY方向の移動量Pyを算出する。この移動量Px、Pyは、たとえば、基準位置41からタッチ位置43までの間にある画素数をX方向とY方向についてそれぞれ求めることにより算出される。ここで、図中に示すように表示部11の左上端を起点とし、右方向をXの正方向、下方向をYの正方向と定めた場合、基準位置41からタッチ位置43までの移動量Px、Pyはいずれも負の値として求められる。
上記のようにしてX方向の移動量PxおよびY方向の移動量Pyを算出したら、続いて車載装置1は、この移動量Px、Pyを携帯端末2の表示部21上の移動量Qx、Qyに変換する。この移動量の変換は、前述の解像度Xv、YvおよびXs、Ysを基に、下記の式(1)を用いて行われる。
Qx=Px×(Xs/Xv)、Qy=Py×(Ys/Yv) ・・・(1)
上記の式(1)において、Xs/XvおよびYs/Yvは、移動量Px、Pyを移動量Qx、Qyにそれぞれ変換する際の変換係数である。車載装置1は、表示部21の解像度Xs、Ysを携帯端末2から事前に取得することで、これらの変換係数を求めることができる。
変換後の移動量Qx、Qyを算出したら、車載装置1は、これらの移動量Qx、Qyを示す移動量情報をHIDパケットにより携帯端末2へ送信する。
車載装置1から移動量Qx、Qyを示す移動量情報を受信すると、携帯端末2は、これらの移動量Qx、QyをOS203により解読する。そして、図4(b)に示すように、カーソル40を右下端の基準位置42から移動量Qx、Qyだけ移動させて表示部21に表示すると共に、この移動後のカーソル40を含む画面の画像情報を、前述の映像信号を用いて、映像・音声ケーブル3を介して車載装置1へ出力する。
携帯端末2から移動後のカーソル40を含む画面の画像情報を受信すると、車載装置1は、その画像情報に基づいて、携帯端末2の表示部21に表示されているのと同じ画面を表示部11に表示する。これにより、図4(b)に示すように、カーソル40がタッチ位置43を指示している画面が表示部11において表示される。
移動量Qx、Qyを示す移動量情報を送信した後、車載装置1は、移動量が0であることを示す移動量情報をHIDパケットにより携帯端末2へ送信する。このときさらに、所定のボタン操作、たとえば左クリック操作が行われたことを示すボタン操作情報を合わせて送信する。
車載装置1から上記の移動量情報およびボタン操作情報を受信すると、携帯端末2は、そのボタン操作情報が示すボタン操作の内容をOS203により解読する。そして、移動後のカーソル40の表示位置、すなわちタッチ位置43に表示されている画面内容と、ボタン操作内容とに応じて、たとえば、タッチ位置43のアイコンに対応するアプリケーションの起動などを行う。以上説明したようにして、車載装置1に対してユーザが行ったタッチ操作に応じた処理を携帯端末2において実行することができる。
なお、以上説明したタッチ操作時の動作は、ユーザがタッチパネル上の特定のタッチ位置を一回叩くように指定するシングルタップ操作の場合の例である。この場合、車載装置1は、マウスでクリック操作が行われた場合と同様の操作情報を携帯端末2へ送信する。ユーザはこれ以外にも、たとえば、同じタッチ位置を二回叩くように指定するダブルタップ操作、タッチ操作しながらタッチ位置を所定方向に移動させるフリック操作、同じタッチ位置を所定時間以上タッチし続ける長押し操作などを、車載装置1に対して行うことができる。車載装置1は、これらのタッチ操作の種類をそれぞれ識別し、携帯端末2へ送信する操作情報をタッチ操作の種類ごとに変化させる。
具体的には、ダブルタップ操作が行われた場合、車載装置1は、移動量Px、Pyに応じて変換後の移動量Qx、Qyを示す移動量情報を送信した後に、移動量が0であることを示す移動量情報と合わせて、所定のボタン操作を示すボタン操作情報を二回送信する。すなわち、マウスでダブルクリック操作が行われた場合と同様の操作情報を携帯端末2へ送信する。
一方、フリック操作が行われた場合、車載装置1は、移動量Px、Pyに応じて変換後の移動量Qx、Qyを示す移動量情報を送信した後に、フリック操作中のタッチ位置の移動量を所定時間ごとに算出する。そして、前述の式(1)により、フリック操作中のタッチ位置の移動量を携帯端末2の表示部21上の移動量に変換し、その変換後の移動量を示す移動量情報を、所定のボタン操作を示すボタン操作情報と合わせて送信する。フリック操作が終了したら、最後に移動量が0であることを示す移動量情報を送信する。すなわち、マウスでドラッグアンドドロップ操作が行われた場合と同様の操作情報を携帯端末2へ送信する。
また、長押し操作が行われた場合、車載装置1は、移動量Px、Pyに応じて変換後の移動量Qx、Qyを示す移動量情報を送信した後に、長押し操作の間、移動量が0であることを示す移動量情報と合わせて、所定のボタン操作を示すボタン操作情報を続けて送信する。すなわち、マウスを動かさずに長押しクリック操作が行われた場合と同様の操作情報を携帯端末2へ送信する。
携帯端末2は、以上説明したようなタッチ操作の種類に応じた操作情報を車載装置1から受信することで、ユーザが車載装置1に対して行ったタッチ操作の種類を識別し、そのタッチ操作に応じた処理を実行することができる。
図5は、タッチ操作が行われたときに車載装置1において実行される処理のフローチャートである。このフローチャートに示す処理は、車載装置1と携帯端末2の間で通信が確立されると、制御部10により実行されるものである。
ステップS10において、制御部10は、近距離無線通信インタフェース部15を用いて、携帯端末2から送信される表示部21の解像度情報を受信する。ここでは前述のように、表示部21のX方向に対する解像度Xsと、Y方向に対する解像度Ysとを、携帯端末2から受信する。
ステップS20において、制御部10は、ステップS10で携帯端末2から受信した表示部21の解像度情報と、メモリ部14に予め記憶されている表示部11の解像度とに基づいて、表示部11に対する表示部21の解像度比に応じた変換係数を算出する。ここでは前述の式(1)に示したように、ステップS10で受信した解像度情報が表す表示部21の解像度Xs、Ysを、表示部11のX方向に対する解像度XvとY方向に対する解像度Yvでそれぞれ割ることで、X方向に対する変換係数Xs/Xvと、Y方向に対する変換係数Ys/Yvとを算出する。
ステップS30において、制御部10は、表示部11と一体的に構成されたタッチパネルスイッチである操作部12に対してユーザからタッチ操作が行われたか否かを判定する。タッチ操作が行われた場合は、そのタッチ操作を検出してステップS40へ進む。
ステップS40において、制御部10は、ステップS30でタッチ操作を検出したときのカーソルの表示位置から、そのタッチ操作で指定されたタッチ位置までの移動量を算出する。ここでは前述のように、右下端の基準位置41からタッチ位置43までの移動量として、X方向の移動量PxおよびY方向の移動量Pyを算出する。
ステップS50において、制御部10は、ステップS40で算出した移動量を携帯端末2の表示部21上の移動量に変換する。ここでは、ステップS20で算出したX方向の変換係数Xs/XvおよびY方向の変換係数Ys/Yvを用いて、前述の式(1)により、表示部11に対して算出されたX方向の移動量PxおよびY方向の移動量Pyを、表示部21上のX方向の移動量QxおよびY方向の移動量Qyにそれぞれ変換する。
ステップS60において、制御部10は、近距離無線通信インタフェース部15を用いて、ステップS50で変換した移動量を示す移動量情報を携帯端末2へ送信する。これにより、タッチ操作時のカーソルの表示位置から検出されたタッチ位置までの移動量に応じた移動量情報が、車載装置1から携帯端末2へ送信される。この移動量情報の送信は、前述のように、マウス用の通信フォーマットであるHIDパケットを利用して行われる。こうして車載装置1から送信された移動量情報は、携帯端末2において近距離無線通信インタフェース部25により受信され、OS203により解読される。その結果、携帯端末2において画面上のカーソル位置が移動され、移動後のカーソルを含む画像情報が携帯端末2から車載装置1へと送信されて表示部11に表示される。
ステップS70において、制御部10は、ステップS30で検出したタッチ操作が継続中であるか否かを判定する。タッチ操作が所定時間以内に終了した場合は、タッチ操作が継続中ではないと判定してステップS80へ進み、継続中である場合はステップS130へ進む。
ステップS70からS80へ進んだ場合、ステップS80において制御部10は、移動量情報における移動量を0に設定する。ここでは、X方向、Y方向のいずれについても移動量を0とする。続くステップS90において、制御部10は、近距離無線通信インタフェース部15を用いて、ステップS80で設定した移動量が0であることを示す移動量情報と、左クリック操作等の所定のボタン操作が行われたことを示すボタン操作情報とを、携帯端末2へ送信する。
ステップS100において、制御部10は、表示部11と一体的に構成されたタッチパネルスイッチである操作部12に対して、ステップS30で検出したタッチ操作に続けてさらにタッチ操作が行われたか否かを判定する。連続してタッチ操作が行われていない場合、すなわちシングルタップ操作の場合は、ステップS110へ進む。これにより、シングルタップ操作が行われた場合は、ステップS60で移動量情報を送信した後にステップS90を一回だけ実行し、移動量が0であることを示す移動量情報と共にボタン操作情報を車載装置1から携帯端末2へ送信する。
一方、ステップS100で連続してタッチ操作が行われたと判定した場合は、ステップS90へ戻り、そのタッチ操作の回数分だけステップS90を繰り返し実行する。これにより、ダブルタップ操作が行われた場合は、ステップS60で移動量情報を送信した後にステップS90を二回実行し、移動量が0であることを示す移動量情報と共にボタン操作情報を車載装置1から携帯端末2へ二回送信する。なお、三回以上のタッチ操作が続けて行われた場合は、三回目以降のタッチ操作を無効とすることでダブルタップ操作として処理してもよい。あるいは、タッチ操作の回数分だけステップS90を繰り返し実行することで、移動量情報とボタン操作情報を三回以上続けて送信するようにしてもよい。
ステップS110において、制御部10は、移動量情報における移動量を所定の最大値に設定する。ここでは、X方向、Y方向のいずれについても、予め設定された最大移動量を設定する。続くステップS120において、制御部10は、近距離無線通信インタフェース部15を用いて、ステップS110で設定した最大移動量を示す移動量情報を携帯端末2へ送信する。ステップS120を実行したらステップS30へ戻り、前述のような処理を繰り返す。
ステップS120で送信された最大移動量を示す移動量情報は、携帯端末2において近距離無線通信インタフェース部25により受信され、OS203により解読される。すると、表示部21の画面上におけるカーソルの表示位置は、車載装置1に対する直前のタッチ操作で指定されたタッチ位置に関わらず、X方向およびY方向の最大位置、すなわち図4(a)、(b)に示した右下端の基準位置42まで移動される。このカーソル移動後の画面に応じた画像情報が携帯端末2から車載装置1へと送信されて表示部11に表示されることにより、車載装置1では、表示部11の画面上におけるカーソルの表示位置が元の基準位置41に戻される。
一方、ステップS70からS130へ進んだ場合、ステップS130において制御部10は、ステップS30で検出したタッチ操作によるタッチ位置が変化したか否かを判定する。タッチ位置が変化した場合はステップS140へ進み、変化していない場合はステップS200へ進む。
ステップS130からS140へ進んだ場合、ステップS140において制御部10は、直前のタッチ位置から現在のタッチ位置までの移動量を算出する。続くステップS150において、制御部10は、前述のステップS50と同様に式(1)を用いて、ステップS140で算出した移動量を携帯端末2の表示部21上の移動量に変換する。
ステップS160において、制御部10は、近距離無線通信インタフェース部15を用いて、ステップS150で変換した移動量を示す移動量情報と、左クリック操作等の所定のボタン操作が行われたことを示すボタン操作情報とを、携帯端末2へ送信する。これにより、タッチ位置が変化しながらタッチ操作が継続中のときには、そのタッチ位置の変化に応じた移動量を示す移動量情報と、ボタン操作情報とが、車載装置1から携帯端末2へ送信される。ここで送信された移動量情報は、携帯端末2において近距離無線通信インタフェース部25により受信され、OS203により解読される。その結果、車載装置1におけるタッチ位置の変化に応じて、携帯端末2において画面上のカーソル位置が移動され、移動後のカーソルを含む画像情報が携帯端末2から車載装置1へと送信されて表示部11に表示される。
ステップS170において、制御部10は、タッチ操作が終了したか否かを判定する。タッチ操作が継続中であればステップS140へ戻り、ステップS140〜S160の処理を繰り返す。これにより、タッチ操作の継続中にタッチ位置が変化するフリック操作が行われた場合において、ステップS60で移動量情報を送信した後にタッチ操作が継続中のときには、タッチ位置の変化に応じた移動量を示す移動量情報と共にボタン操作情報を送信し続ける。タッチ操作が終了したら、ステップS180へ進む。
ステップS180において制御部10は、前述のステップS80と同様に、移動量情報における移動量を0に設定する。続くステップS190において、制御部10は、近距離無線通信インタフェース部15を用いて、ステップS180で設定した移動量が0であることを示す移動量情報を携帯端末2へ送信する。これにより、フリック操作が行われた場合において、タッチ操作の終了後には、移動量が0であることを示す移動量情報を車載装置1から携帯端末2へ送信する。
ステップS190を実行したら、制御部10は、前述のステップS110、S120の各処理を実行することにより、表示部11の画面上におけるカーソルの表示位置を元の基準位置41に戻す。その後はステップS30へ戻り、前述のような処理を繰り返す。
一方、ステップS130からS200へ進んだ場合、ステップS200において制御部10は、前述のステップS80、S180と同様に、移動量情報における移動量を0に設定する。続くステップS210において、制御部10は、近距離無線通信インタフェース部15を用いて、ステップS200で設定した移動量が0であることを示す移動量情報と、左クリック操作等の所定のボタン操作が行われたことを示すボタン操作情報とを、携帯端末2へ送信する。
ステップS220において、制御部10は、タッチ操作が終了したか否かを判定する。タッチ操作が継続中であればステップS210へ戻り、ステップS210の処理を繰り返す。これにより、タッチ位置が変化せずにタッチ操作が所定時間以上継続される長押し操作が行われた場合において、ステップS60で移動量情報を送信した後にタッチ操作が継続中のときには、移動量が0であることを示す移動量情報と共にボタン操作情報を送信し続ける。タッチ操作が終了したら、制御部10は、前述のステップS110、S120の各処理を実行することにより、表示部11の画面上におけるカーソルの表示位置を元の基準位置41に戻す。その後はステップS30へ戻り、前述のような処理を繰り返す。
以上説明した本発明の一実施の形態によれば、次の(1)〜(13)のような作用効果を奏する。
(1)車載装置1は、映像・音声信号入力部16により、携帯端末2からカーソル40を含む画面の画像情報を受信し、その画像情報に基づいて当該画面をタッチパネルである表示部11に表示する。そして、表示部11と共にタッチパネルを構成している操作部12により、ユーザからのタッチ操作により指定されたタッチ位置を検出する。このとき、制御部10の処理により、近距離無線通信インタフェース部15を用いて、カーソル40の表示位置からタッチ位置までの移動量に応じた移動量情報を携帯端末2へ送信する(ステップS60)。このようにしたので、タッチパネル操作を適用した携帯端末2の表示画面を車載装置1で表示したときに、車載装置1から携帯端末2を操作することができる。
(2)制御部10は、近距離無線通信インタフェース部15を用いて、所定のボタン操作が行われたことを示すボタン操作情報を携帯端末2へさらに送信する(ステップS90、S160、S210)。このようにしたので、携帯端末2において、マウス使用時と同様の処理でタッチ操作内容を認識することができる。
(3)タッチ位置が変化せずにタッチ操作が所定時間以内に終了した場合、制御部10は、ステップS60でカーソル40の表示位置からタッチ位置までの移動量に応じた移動量情報を送信した後に、移動量が0であることを示す移動量情報と共にボタン操作情報を送信する(ステップS90)。このようにして、シングルタップ操作が行われた場合には、マウスでクリック操作が行われた場合と同様の操作情報を車載装置1から携帯端末2へ送信するようにした。したがって、携帯端末2において、クリック操作としてシングルタップ操作を認識することができる。
(4)また、タッチ位置が変化せずにタッチ操作が複数回連続して行われた場合、制御部10は、ステップS60でカーソル40の表示位置からタッチ位置までの移動量に応じた移動量情報を送信した後に、ステップS90を複数回実行することで、移動量が0であることを示す移動量情報と共にボタン操作情報を複数回送信する。このようにして、ダブルタップ操作が行われた場合には、マウスでダブルクリック操作が行われた場合と同様の操作情報を車載装置1から携帯端末2へ送信するようにした。したがって、携帯端末2において、ダブルクリック操作としてダブルタップ操作を認識することができる。
(5)タッチ操作の継続中にタッチ位置が変化した場合、制御部10は、ステップS60でカーソル40の表示位置からタッチ位置までの移動量に応じた移動量情報を送信した後に、タッチ操作が継続中のときには、タッチ位置の変化に応じた移動量を示す移動量情報と共にボタン操作情報を送信する(ステップS160)。また、タッチ操作の終了後には、移動量が0であることを示す移動量情報を送信する(ステップS190)。このようにして、フリック操作が行われた場合には、マウスでドラッグアンドドロップ操作が行われた場合と同様の操作情報を車載装置1から携帯端末2へ送信するようにした。したがって、携帯端末2において、ドラッグアンドドロップ操作としてフリック操作を認識することができる。
(6)タッチ位置が変化せずにタッチ操作が所定時間以上継続された場合、制御部10は、ステップS60でカーソル40の表示位置からタッチ位置までの移動量に応じた移動量情報を送信した後に、タッチ操作が継続中のときには、移動量が0であることを示す移動量情報と共にボタン操作情報を送信する(ステップS210)。このようにして、長押し操作が行われた場合には、マウスを動かさずに長押しクリック操作が行われた場合と同様の操作情報を車載装置1から携帯端末2へ送信するようにした。したがって、携帯端末2において、長押しクリック操作として長押し操作を認識することができる。
(7)制御部10は、ステップS60、S90、S120、S160、S190およびS210において、近距離無線通信インタフェース部15により、ブルートゥースにおけるマウス用の通信フォーマットであるHIDパケットを利用して移動量情報を送信するようにした。このようにしたので、既存の通信フォーマットを利用して、移動量情報の送信を容易かつ確実に実現することができる
(8)車載装置1は、映像・音声信号入力部16により、携帯端末2からカーソル40を含む画面の画像情報を受信し、その画像情報に基づいて当該画面をタッチパネルである表示部11に表示する。そして、表示部11と共にタッチパネルを構成している操作部12により、ユーザからのタッチ操作により指定されたタッチ位置を検出する。また、制御部10の処理により、近距離無線通信インタフェース部15を用いて携帯端末2から表示部21の解像度情報を受信し(ステップS10)、この解像度情報と、メモリ部14に予め記憶された表示部11の解像度とに基づいて、表示部11に対する表示部21の解像度比に応じた変換係数Xs/Xv、Ys/Yvを算出する(ステップS20)。そして、カーソル40の表示位置からタッチ位置までの移動量Px、Pyを算出し(ステップS40)、ステップS20で算出した変換係数Xs/Xv、Ys/Yvに基づいて、算出した移動量Px、Pyを表示部21上の移動量Qx、Qyに変換する(ステップS50)。こうして変換された移動量Qx、Qyを示す移動量情報を携帯端末2へ送信する(ステップS60)。このようにしたので、タッチパネル操作を適用した携帯端末2の表示画面を車載装置1で表示したときに、車載装置1の表示部11と携帯端末2の表示部21との間で解像度が異なる場合であっても、車載装置1から携帯端末2を適切に操作することができる。
(9)制御部10は、ステップS20において、表示部11の横方向(X方向)と縦方向(Y方向)に対して、変換係数Xs/Xv、Ys/Yvをそれぞれ算出する。また、ステップS40において、表示部11の横方向(X方向)と縦方向(Y方向)に対して、カーソル40の表示位置からタッチ位置までの移動量Px、Pyをそれぞれ算出する。ステップS50では、横方向の変換係数Xs/Xvを用いて、表示部11の横方向に対する移動量Pxを表示部21上の横方向の移動量Qxに変換すると共に、縦方向の変換係数Ys/Yvを用いて、表示部11の縦方向に対する移動量Pyを表示部21上の縦方向の移動量Qyに変換する。このようにしたので、表示部11および表示部21の横方向と縦方向それぞれの解像度に応じて、変換後の移動量Qx、Qyを正確に求めることができる。
(10)車載装置1は、映像・音声信号入力部16により、携帯端末2から所定の基準位置42に表示されたカーソル40を含む画面の画像情報を受信し、その画像情報に基づいて、当該画面と同じ画面であり、所定の基準位置41にカーソル40が表示されている画面をタッチパネルである表示部11に表示する。そして、表示部11と共にタッチパネルを構成している操作部12により、ユーザからのタッチ操作により指定されたタッチ位置を検出する。このとき、制御部10の処理により、近距離無線通信インタフェース部15を用いて、カーソル40の表示位置からタッチ位置までの移動量に応じた移動量情報を携帯端末2へ送信する(ステップS60)。これにより、カーソル40がタッチ位置に移動された画面の画像情報を携帯端末2から受信し、表示部11において表示されるようにする。また、タッチ操作の終了後に、最大移動量を示す移動量情報を携帯端末2へ送信することで(ステップS120)、カーソル40の表示位置を元の基準位置41に戻す。このようにしたので、タッチパネル操作を適用した携帯端末2の表示画面を車載装置1で表示したときに、車載装置1の表示部11と携帯端末2の表示部21との間で解像度が異なることで移動後のカーソル位置に誤差が生じるような場合であっても、その誤差を累積させずに、車載装置1から携帯端末2を適切に操作することができる。
(11)制御部10は、ステップS120において、タッチ操作の終了後に、表示部11の横方向(X方向)と縦方向(Y方向)に対して所定の最大移動量をそれぞれ示す移動量情報を携帯端末2へ送信することにより、カーソル40の表示位置を元の基準位置41に戻すようにした。これにより、直前のタッチ操作で指定されたタッチ位置に関わらず、カーソル40の表示位置を確実に基準位置41に戻すことができる。
(12)カーソル40の指示点はカーソル40の左上端に位置しており、基準位置41は表示部11の右下端に位置するようにしたので、タッチ操作を行っていないときにはカーソル40の大部分を表示部11の画面表示の範囲外として、ユーザの目障りとならないようにすることができる。
(13)車載装置1は、映像・音声信号入力部16により、携帯端末2から画像を受信し、その画像をタッチパネルである表示部11に表示する。そして、表示部11と共にタッチパネルを構成している操作部12により、ユーザからのタッチ操作により指定されたタッチ位置を検出する。このとき、制御部10の処理により、近距離無線通信インタフェース部15を用いて、カーソル40の表示位置からタッチ位置までの移動量に応じた移動量情報を携帯端末2へ送信し(ステップS60)、これに応じて携帯端末2から送信される画像情報を受信して表示部11に表示する。これにより、タッチ操作に応じて、図4(a)のように表示部11の外周部分にある基準位置41に表示されているカーソル40を、図4(b)のようにタッチ位置43に移動させる。また、タッチ操作の終了後に、最大移動量を示す移動量情報を携帯端末2へ送信することで(ステップS120)、カーソル40を元の基準位置41に戻す。このようにしたので、タッチパネル操作を適用した携帯端末2の表示画面を車載装置1で表示したときに、タッチ操作が行われていないときにはカーソル40がユーザの目障りとならないようにして、車載装置1から携帯端末2を操作することができる。
なお、以上説明した実施の形態では、タッチ操作が行われていないときに、表示部11、12の右下端にそれぞれ位置する基準位置41、42にカーソル40を表示する例を説明した。しかし、これ以外の位置にカーソル40を表示してもよい。表示部11、12の外周部分であれば、タッチ操作が行われていないときにどの位置にカーソル40を表示しても、上記実施の形態と同様に、カーソル40がユーザの目障りとならないようにすることができる。このとき、カーソル40をなるべく目立たないようにするため、表示部11においてカーソル40の中心点から指示点へ向かう方向とは反対方向の端にある位置を基準位置として、この基準位置にカーソル40を表示することが好ましい。図4(a)、(b)の例では、カーソル40の指示点が左上端にあるため、このカーソル40の中心点から指示点へ向かう左上方向とは反対方向の右下端に基準位置41を設定している。
また、以上説明した実施の形態では、図5のステップS120において、タッチ操作の終了後に、表示部11の横方向(X方向)と縦方向(Y方向)に対して所定の最大移動量をそれぞれ示す移動量情報を携帯端末2へ送信することで、カーソル40の表示位置を元の基準位置41に戻す例を説明した。これは、表示部11の左上端を起点とし、右方向をXの正方向、下方向をYの正方向と定義した場合に、カーソル40を右下端の基準位置41に戻すために有効である。しかし、起点の位置やX、Yの正方向の定義を変更した場合はこの限りではない。たとえば、表示部11の右下端を起点とし、左方向をXの正方向、上方向をYの正方向と定義した場合、カーソル40を右下端の基準位置41に戻すためには、表示部11のX方向とY方向に対して、所定の最小移動量をそれぞれ示す移動量情報を送信する必要がある。すなわち、ステップS120では、タッチ操作の終了後に、表示部11の横方向(X方向)と縦方向(Y方向)に対して、起点の位置やX、Yの正方向の定義に応じて、所定の最大移動量または最小移動量をそれぞれ示す移動量情報を携帯端末2へ送信することにより、カーソル40の表示位置を基準位置41に戻すことができる。なお、基準位置を右下端以外とした場合についても同様である。
以上説明した実施の形態では、映像・音声ケーブル3を介して車載装置1と携帯端末2を互いに接続することで、携帯端末2から車載装置1へ映像信号と音声信号を送信する例を説明した。また、Bluetooth等の所定の通信規格に従って行われる近距離無線通信により、車載装置1と携帯端末2との間で通信を行う例を説明した。しかし、他の通信方式や信号伝送方式を用いても本発明は実現可能である。たとえば、携帯端末2から車載装置1への映像信号や音声信号を無線通信で送信してもよい。また、車載装置1と携帯端末2との間の通信をUSB等の有線通信を用いて行うこともできる。この場合、図5のステップS60、S90、S120、S160、S190およびS210では、前述のHIDパケットの代わりに、USBにおけるマウス用の通信フォーマット等を利用して、車載装置1から携帯端末2へ移動量情報やボタン操作情報を送信することができる。車載装置1と携帯端末2との間で必要な信号や情報を送受信可能なものである限り、どのような通信方式を採用してもよい。
以上説明した実施の形態において、車速信号やパーキング信号以外にも、車両から出力される様々な車両情報を車載装置1において取得するようにしてもよい。このとき取得された車両情報は、車載装置1が実行する処理において利用してもよいし、あるいは、車載装置1から携帯端末2へ出力し、携帯端末2が実行する処理において利用してもよい。一例として、車両情報に応じた起動条件をアプリケーションごとに予め設定しておき、その起動条件を満たす車両情報が車両から出力されたときに、当該アプリケーションを携帯端末2において自動的に起動するようにすることができる。この場合、各アプリケーションの起動条件を示す情報を携帯端末2から車載装置1へ送信し、車載装置1において起動条件を満たすか否かを車両情報に基づいて判定してもよい。あるいは、車載装置1から携帯端末2へ車両情報を送信し、その車両情報に基づいて起動条件を満たすか否かを携帯端末2において判定してもよい。これにより、たとえば、燃料残量が所定値未満まで減ってきたという車両情報が車両から出力されたときに、現在位置周辺のガソリンスタンドを検索するためのアプリケーションを携帯端末2において自動的に起動することができる。
以上説明した実施の形態では、車載装置1の表示部11をタッチパネルとし、この表示部11に携帯端末2から受信した画像を表示する場合の例を説明した。しかし、本発明の適用範囲はこれに限定されるものではない。情報端末と接続され、その情報端末から受信した画像をタッチパネルに表示するものである限り、どのような表示装置においても本発明を適用することができる。
以上説明した実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記実施の形態と変形例とを任意に組み合わせて用いてもよい。
本発明には以下の態様も含まれる。
第1の態様による表示装置は、情報端末と接続される表示装置であって、前記情報端末からカーソルを含む画面の画像情報を受信する画像受信手段と、前記画像受信手段により受信された画像情報に基づいて前記画面を表示し、タッチ操作により指定されたタッチ位置を検出するタッチパネルと、前記カーソルの表示位置から前記タッチ位置までの移動量に応じた移動量情報を前記情報端末へ送信する送信手段とを備える。
第2の態様による表示装置は、第1の態様の表示装置において、前記送信手段は、所定のボタン操作が行われたことを示すボタン操作情報を前記情報端末へさらに送信する。
第3の態様による表示装置は、第2の態様の表示装置において、前記タッチ位置が変化せずに前記タッチ操作が所定時間以内に終了した場合、前記送信手段は、前記カーソルの表示位置から前記タッチ位置までの移動量に応じた移動量情報を送信した後に、移動量が0であることを示す移動量情報と共に前記ボタン操作情報を送信する。
第4の態様による表示装置は、第2または第3の態様の表示装置において、前記タッチ位置が変化せずに前記タッチ操作が複数回連続して行われた場合、前記送信手段は、前記カーソルの表示位置から前記タッチ位置までの移動量に応じた移動量情報を送信した後に、移動量が0であることを示す移動量情報と共に前記ボタン操作情報を複数回送信する。
第5の態様による表示装置は、第2乃至第4のいずれかの態様の表示装置において、前記タッチ操作の継続中に前記タッチ位置が変化した場合、前記送信手段は、前記カーソルの表示位置から前記タッチ位置までの移動量に応じた移動量情報を送信した後に、
前記タッチ操作が継続中のときには、前記タッチ位置の変化に応じた移動量を示す移動量情報と共に前記ボタン操作情報を送信し、前記タッチ操作の終了後には、移動量が0であることを示す移動量情報を送信する。
第6の態様による表示装置は、第2乃至第5のいずれかの態様の表示装置において、前記タッチ位置が変化せずに前記タッチ操作が所定時間以上継続された場合、前記送信手段は、前記カーソルの表示位置から前記タッチ位置までの移動量に応じた移動量情報を送信した後に、前記タッチ操作が継続中のときには、移動量が0であることを示す移動量情報と共に前記ボタン操作情報を送信する。
第7の態様による表示装置は、第1乃至第6のいずれかの態様の表示装置において、前記送信手段は、ブルートゥースまたはUSBにおけるマウス用の通信フォーマットを利用して、前記移動量情報を送信する。
第8の態様による表示装置は、表示モニタを有する情報端末と接続される表示装置であって、前記情報端末からカーソルを含む画面の画像情報を受信する画像受信手段と、前記画像受信手段により受信された画像情報に基づいて前記画面を表示し、タッチ操作により指定されたタッチ位置を検出するタッチパネルと、前記情報端末から前記表示モニタの解像度情報を受信する解像度情報受信手段と、前記解像度情報受信手段により受信された解像度情報と、予め記憶された前記タッチパネルの解像度とに基づいて、前記タッチパネルに対する前記表示モニタの解像度比に応じた変換係数を算出する変換係数算出手段と、前記カーソルの表示位置から前記タッチ位置までの移動量を算出する移動量算出手段と、前記変換係数算出手段により算出された変換係数に基づいて、前記移動量算出手段により算出された移動量を前記表示モニタ上の移動量に変換する変換手段と、前記変換手段により変換された移動量を示す移動量情報を前記情報端末へ送信する送信手段とを備える。
第9の態様による表示装置は、第8の態様の表示装置において、前記変換係数算出手段は、前記タッチパネルの横方向と縦方向に対して、前記変換係数をそれぞれ算出し、前記移動量算出手段は、前記タッチパネルの横方向と縦方向に対して、前記カーソルの表示位置から前記タッチ位置までの移動量をそれぞれ算出し、前記変換手段は、前記横方向の変換係数を用いて、前記タッチパネルの横方向に対する移動量を前記表示モニタ上の横方向の移動量に変換すると共に、前記縦方向の変換係数を用いて、前記タッチパネルの縦方向に対する移動量を前記表示モニタ上の縦方向の移動量に変換する。
第10の態様による表示装置は、情報端末と接続される表示装置であって、前記情報端末から所定の基準位置に表示されたカーソルを含む画面の画像情報を受信する画像受信手段と、前記画像受信手段により受信された画像情報に基づいて前記画面を表示し、タッチ操作により指定されたタッチ位置を検出するタッチパネルと、前記カーソルの表示位置から前記タッチ位置までの移動量に応じた移動量情報を前記情報端末へ送信する送信手段とを備え、前記タッチ操作の終了後に、前記カーソルの表示位置を前記基準位置に戻す。
第11の態様による表示装置は、第10の態様の表示装置において、前記送信手段は、前記タッチ操作の終了後に、前記タッチパネルの横方向と縦方向に対して所定の最大移動量または最小移動量をそれぞれ示す移動量情報を前記情報端末へ送信することにより、前記カーソルの表示位置を前記基準位置に戻す。
第12の態様による表示装置は、第10または第11の態様の表示装置において、前記カーソルの指示点は、前記カーソルの端に位置しており、前記基準位置は、前記タッチパネルにおいて、前記カーソルの中心から指示点へ向かう方向とは反対方向の端に位置する。
第13の態様による表示装置は、第12の態様の表示装置において、前記カーソルの指示点は、前記カーソルの左上端に位置しており、前記基準位置は、前記タッチパネルの右下端に位置する。
第14の態様による表示装置は、情報端末と接続される表示装置であって、前記情報端末から画像を受信する画像受信手段と、前記画像受信手段により受信された画像を表示し、タッチ操作により指定されたタッチ位置を検出するタッチパネルとを備え、前記タッチ操作に応じて、前記タッチパネルの外周部分に表示されているカーソルを前記タッチ位置に移動させ、前記タッチ操作の終了後に、前記カーソルを元の位置に戻す。
第15の態様による表示装置は、第14の態様の表示装置において、前記タッチ操作の終了後に、前記タッチパネルの横方向と縦方向に対して所定の最大移動量または最小移動量をそれぞれ示す移動量情報を前記情報端末へ送信することにより、前記カーソルの表示位置を前記基準位置に戻す。
第16の態様による表示装置は、第14または第15の態様の表示装置において、前記カーソルの指示点は、前記カーソルの左上端に位置しており、前記カーソルは、前記タッチ操作の開始前および終了後に、前記タッチパネルの右下端に表示される。
1:車載装置、2:携帯端末、3:映像・音声ケーブル、10:制御部、11:表示部、12:操作部、13:音声出力部、14:メモリ部、15:近距離無線通信インタフェース部、16:映像・音声信号入力部、20:制御部、21:表示部、22:操作部、23:音声出力部、24:メモリ部、25:近距離無線通信インタフェース部、26:映像・音声信号出力部、27:無線通信部、28:GPS受信部

Claims (1)

  1. 情報端末と接続される表示装置であって、
    前記情報端末からカーソルを含む画面の画像情報を受信する画像受信手段と、
    前記画像受信手段により受信された画像情報に基づいて前記画面を表示し、タッチ操作により指定されたタッチ位置を検出するタッチパネルと、
    前記カーソルの表示位置から前記タッチ位置までの移動量に応じた移動量情報を前記情報端末へ送信する送信手段とを備えることを特徴とする表示装置。
JP2017059336A 2017-03-24 2017-03-24 表示装置 Active JP6397530B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017059336A JP6397530B2 (ja) 2017-03-24 2017-03-24 表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017059336A JP6397530B2 (ja) 2017-03-24 2017-03-24 表示装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012130929A Division JP6124169B2 (ja) 2012-06-08 2012-06-08 表示装置

Publications (3)

Publication Number Publication Date
JP2017120664A true JP2017120664A (ja) 2017-07-06
JP2017120664A5 JP2017120664A5 (ja) 2017-08-17
JP6397530B2 JP6397530B2 (ja) 2018-09-26

Family

ID=59272284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017059336A Active JP6397530B2 (ja) 2017-03-24 2017-03-24 表示装置

Country Status (1)

Country Link
JP (1) JP6397530B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021006979A (ja) * 2019-06-27 2021-01-21 深▲せん▼市▲潁▼▲創▼科技有限公司Shenzhen Yingchuang Technology Co., Ltd. 制御方法、表示装置及び記憶媒体

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244809A (ja) * 1996-03-06 1997-09-19 Nec Eng Ltd マウス透過式タッチパネル装置
US20030025678A1 (en) * 2001-08-04 2003-02-06 Samsung Electronics Co., Ltd. Apparatus with touch screen and method for displaying information through external display device connected thereto
JP2005056088A (ja) * 2003-08-01 2005-03-03 Ricoh Co Ltd タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法およびその方法をコンピュータに実行させるためのプログラム
WO2010120878A2 (en) * 2009-04-14 2010-10-21 Qualcomm Incorporated System and method for controlling mobile devices
US7970436B1 (en) * 2006-09-22 2011-06-28 Sprint Communications Company L.P. Wireless interface extension for mobile devices
JP2011259259A (ja) * 2010-06-10 2011-12-22 Alpine Electronics Inc 電子機器および操作キーの割当方法
JP2012018587A (ja) * 2010-07-09 2012-01-26 Toyota Motor Corp 画像表示システム
JP2012093940A (ja) * 2010-10-27 2012-05-17 Kddi Corp 遠隔操作システム、遠隔操作方法およびプログラム
JP2013033303A (ja) * 2011-05-27 2013-02-14 Toshiba Corp 電子機器、操作支援方法及びプログラム
JP2013254435A (ja) * 2012-06-08 2013-12-19 Clarion Co Ltd 表示装置
WO2014034193A1 (ja) * 2012-08-27 2014-03-06 日本電気株式会社 車載機、携帯端末制御方法および記録媒体

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244809A (ja) * 1996-03-06 1997-09-19 Nec Eng Ltd マウス透過式タッチパネル装置
US20030025678A1 (en) * 2001-08-04 2003-02-06 Samsung Electronics Co., Ltd. Apparatus with touch screen and method for displaying information through external display device connected thereto
JP2005056088A (ja) * 2003-08-01 2005-03-03 Ricoh Co Ltd タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法およびその方法をコンピュータに実行させるためのプログラム
US7970436B1 (en) * 2006-09-22 2011-06-28 Sprint Communications Company L.P. Wireless interface extension for mobile devices
WO2010120878A2 (en) * 2009-04-14 2010-10-21 Qualcomm Incorporated System and method for controlling mobile devices
JP2011259259A (ja) * 2010-06-10 2011-12-22 Alpine Electronics Inc 電子機器および操作キーの割当方法
JP2012018587A (ja) * 2010-07-09 2012-01-26 Toyota Motor Corp 画像表示システム
JP2012093940A (ja) * 2010-10-27 2012-05-17 Kddi Corp 遠隔操作システム、遠隔操作方法およびプログラム
JP2013033303A (ja) * 2011-05-27 2013-02-14 Toshiba Corp 電子機器、操作支援方法及びプログラム
JP2013254435A (ja) * 2012-06-08 2013-12-19 Clarion Co Ltd 表示装置
WO2014034193A1 (ja) * 2012-08-27 2014-03-06 日本電気株式会社 車載機、携帯端末制御方法および記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021006979A (ja) * 2019-06-27 2021-01-21 深▲せん▼市▲潁▼▲創▼科技有限公司Shenzhen Yingchuang Technology Co., Ltd. 制御方法、表示装置及び記憶媒体

Also Published As

Publication number Publication date
JP6397530B2 (ja) 2018-09-26

Similar Documents

Publication Publication Date Title
JP6124169B2 (ja) 表示装置
JP6559825B2 (ja) 表示装置、情報端末操作方法
JP6218201B2 (ja) メニュー画面表示方法、車載装置
JP6103620B2 (ja) 車載情報システム、情報端末、アプリケーション実行方法、プログラム
JP5906347B2 (ja) 車載情報システム、車載装置
JP6074150B2 (ja) 車載情報システム、情報端末、アプリケーション実行方法、プログラム
JP6058654B2 (ja) 車載情報システム、情報端末、アプリケーション実行方法
KR101495190B1 (ko) 영상표시장치 및 그 영상표시장치의 동작 방법
JP6397530B2 (ja) 表示装置
WO2013180279A1 (ja) 車載情報システム、情報端末、アプリケーション実行方法、プログラム
JP2012063249A (ja) 車載情報システム、車載装置、情報端末
JP2013250132A (ja) 車載装置、車載情報システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180831

R150 Certificate of patent or registration of utility model

Ref document number: 6397530

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250