JP2010130552A - 遠隔操作システム及び遠隔操作方法 - Google Patents

Abstract

【課題】車載装置を介する携帯端末の遠隔操作を向上させることを課題とする。
【解決手段】遠隔操作システム１では、携帯端末５０の機種に対応する操作キーであって他の機種との間で共通化されていない非共通操作キーの情報を含む操作キー情報を取得し、取得した操作キー情報に基づいてＤＡ３０のタッチパネルに操作キーを表示させ、タッチパネルに表示させた操作キーに対する操作を当該操作に対応するコマンドに変換することとした。
【選択図】 図２

Description

本発明は、携帯端末と連携する車載装置の表示入力部に携帯端末を遠隔操作する操作キーを表示させる遠隔操作システム及び遠隔操作方法に関する。

近年、乗用車には、画像または音声によって経路誘導を行うナビゲーション機能、ラジオ受信機能やオーディオ機能などを有する車載装置が広く搭載されている。

かかる車載装置は、車両内において多種多様な機能を提供することができる反面、その機能を実現する高い性能が求められるので、イニシャルコストが高くなりがちであり、コスト低減のニーズが高まっている。

このことから、最近では、携帯電話やＰＨＳなどの携帯端末と車両に搭載される車載装置とを連携させた車載システムが考案されつつある。

この車載システムは、第３世代携帯電話などに代表される携帯端末にプリインストールされているナビゲーション機能、オーディオ機能や動画再生機能などの各種機能を流用して車載装置のスピーカやディスプレイから音声出力又は表示出力させるものである。

つまり、かかる車載システムにおいては、車載装置を音声及び画像の出力に特化することで、ハード構成及びソフト構成の両面において車載装置の構成を簡素化し、廉価な価格で製品提供することができるようにしている。

例えば、特許文献１には、携帯端末と車載装置を相互に通信可能に構成し、携帯端末の画面に表示されている表示データを車載装置に供給し、この表示データを車載装置の画面の一部に表示させるとともに、当該表示データに占有されないブランク領域には、携帯端末の英数字キーなどのタッチスイッチを表示し、車載装置から携帯端末を操作可能にする情報表示システムが開示されている。

特開２００３−２４４３４３号公報

しかしながら、上記の情報表示システム（特許文献１）においては、車載装置に表示される操作キーを通じて携帯端末に遠隔操作を行う場合に、複数のキャリアやメーカの間で携帯端末に共通して設けられている十字キーや英数字キーなどの共通操作キーだけしか車載装置に表示されないので、携帯端末に対する操作の幅が狭められる結果、携帯端末を直接操作する場合よりも操作性が悪くなるという問題があった。

すなわち、携帯端末に設けられる操作キーは、十字キーや英数字キーなどの基本操作を担うものについては統一されているものの、特定のコマンドにショートカットしたり、或いは画面上でアクティブに動作させるアプリを切り替えたりする機能など、一部の操作に特化した応用操作を担うものについては、キャリアやメーカの違い、さらにはキャリアやメーカが同じであっても製造時期の違いによって多種多様であり、一様に統一されてはいない。

そして、上記の情報表示システムでは、このように携帯端末の機種によって統一されていない非共通操作キーを車載装置で表示させることはできず、十字キーや英数字キーなどの共通操作キーしか車載装置に表示されない。

かかる共通操作キーだけでは、乗車者に基本操作を行わせるのが限界であり、より利便性を追求した応用操作を車載装置から行わせることはできず、たとえば目的のコマンドまで達するまでの操作が煩雑になったり、また、車載装置の画面上では１つずつアプリを終了しないと他のアプリを使用できなかったりというような不便が生じる。

このことから、車載装置に表示される操作キーを通じて携帯端末に遠隔操作を行う場合に、キャリア、メーカ或いは製造時期によって多極化されている非共通操作キーをいかにして車載装置で再現するかが重要な課題となっている。

なお、この課題は、車載装置と携帯端末が連携する車載システムに限定して生ずるものではなく、情報処理装置と携帯端末が連携する場合でも同様に生じる課題である。

そこで、本発明は、上述した従来技術による課題（問題点）を解消するためになされたものであり、車載装置を介する携帯端末の遠隔操作を向上させることができる遠隔操作システム及び遠隔操作方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る遠隔操作システムは、携帯端末と連携する車載装置の表示入力部に前記携帯端末を遠隔操作する操作キーを表示させる遠隔操作システムであって、前記携帯端末の機種に対応する操作キーであって他の機種との間で共通化されていない非共通操作キーの情報を含む操作キー情報を取得する取得手段と、前記取得手段によって取得された操作キー情報に基づいて前記車載装置の表示入力部に操作キーを表示させる表示制御手段と、前記表示制御手段によって前記表示入力部に表示された操作キーに対する操作を当該操作に対応するコマンドに変換する変換手段とを備えたことを特徴とする。

本発明によれば、携帯端末の機種に対応する操作キーであって他の機種との間で共通化されていない非共通操作キーの情報を含む操作キー情報を取得し、取得した操作キー情報に基づいて車載装置の表示入力部に操作キーを表示させ、表示入力部に表示された操作キーに対する操作を当該操作に対応するコマンドに変換するように構成したので、車載装置を介する携帯端末の遠隔操作を向上させることが可能になるという効果を奏する。

以下に添付図面を参照して、本発明に係る遠隔操作システム及びその遠隔操作方法の好適な実施例を詳細に説明する。

まず、本実施例に係る遠隔操作システムの概要を説明する。この遠隔操作システムは、車両に搭載されるシステムの中でも、とりわけ車載装置に基礎的な機能だけを実装しながらも携帯端末と連携することで多機能化を実現し、併せて車載装置から携帯端末を遠隔操作させるものである。

図１は、実施例１に係る遠隔操作システムの概要を示す図である。同図に示すように、この遠隔操作システム１は、携帯端末を製造するメーカまたは通信事業者であるキャリアが提供するサーバ装置１０と、車両に搭載されるＤＡ３０と、車両の乗車者が保有する携帯電話やＰＨＳなどの携帯端末５０とを含んで構成される。

ここで言うＤＡ（Display Audio）３０は、携帯端末５０が有する各種アプリの機能を流用して画像または音声のコンテンツを出力する車載装置であり、表示機能やオーディオ再生機能、携帯端末５０との通信機能といった基礎的な機能のみを実装し、携帯端末５０と連携することで多機能化する。なお、以下では、以前の多機能搭載型の車載装置と区別する観点から「ＤＡ」と呼称することとし、特に区別する必要がない場合には単に「車載装置」と呼称することとする。

この遠隔操作システム１では、携帯端末５０に搭載される各種アプリの出力をＤＡ３０側で呼び出すために、ＤＡ３０及び携帯端末５０の両者を連携させる連携用アプリが携帯端末５０にインストールされており、この連携用アプリによって、ＤＡ３０のタッチパネルをあたかも携帯端末３０の画面であるかのように機能させる。

さらに、遠隔操作システム１は、ＤＡ３０のタッチパネル上で携帯端末５０に設けられている操作キーを表示するとともに該操作キーの押下を検出してコマンドを実行することで、携帯端末５０に付設された操作キーをＤＡ３０上で仮想的に再現し、ＤＡ３０から携帯端末５０の遠隔操作を受け付ける。

ここで、本実施例では、ＤＡ３０に表示される操作キーを通じて携帯端末５０に遠隔操作を行う場合に、キャリア、メーカ或いは製造時期によって多極化している非共通操作キーをＤＡ３０で再現する仕組みにその特徴がある。

すなわち、本実施例では、携帯端末５０の機種に対応する操作キーであって他の機種との間で共通化されていない非共通操作キーの情報を含む操作キー情報を取得し、取得した操作キー情報に基づいてＤＡ３０のタッチパネルに操作キーを表示させ、タッチパネルに表示させた操作キーに対する操作を当該操作に対応するコマンドに変換することとした。

これを具体的に説明すると、携帯端末５０を単独で使用する場合には、非共通操作キーを直接操作できるので操作上の問題は発生せず、携帯端末５０では操作キーの画像は本来的に必要ない情報である。その一方で、ＤＡ３０から携帯端末５０を遠隔操作するという特殊な状況では、他装置であるＤＡ３０に対して操作入力を行わせる必要があり、携帯端末５０上に形成されている非共通操作キーに対応するものをＤＡ３０で再現するには、非共通操作キーを含む操作キーの画像が必要となってくる。

このことから、サーバ装置１０では、携帯端末の機種ごとに非共通操作キーを含む操作キーの画像（図４参照）をあらかじめ格納しており、携帯端末５０からのアクセスを公衆回線を介して受け付けると、携帯端末５０の機種の指定を受け付けた上でその機種に対応する操作キーの画像を携帯端末５０に送信し、携帯端末５０に操作キーの画像をダウンロードさせる（０）。

その上で、携帯端末５０は、ＤＡ３０との通信コネクションを確立すると（１）、予めＤＡ３０との間で連携を定めたナビアプリ等のアプリを起動し、アプリ画像を生成してそのアプリ画像をＤＡ３０に送信するとともに（２）、ダウンロードした操作キーの画像をＤＡ３０に送信する（３）。

一方、ＤＡ３０では、携帯端末５０から受信したアプリ画像と共通操作キー及び非共通操作キーの画像とを重畳してタッチパネルに表示し（４）、これらのうちいずれかの操作キーが押下されると（５）、押下を検出したディスプレイ上の座標などのタッチ位置を携帯端末５０に送信する（６）。

そして、携帯端末５０は、あらかじめ規定された座標とコマンドの対応関係に基づき、ＤＡ３０から受信したタッチ位置に対応するコマンドを操作コマンドとして解釈し（７）、当該操作コマンドを実行する。

このように、異なる機種の携帯端末５０に対応する共通操作キー及び非共通操作キーをＤＡ３０のタッチパネルに表示させ、これらの操作キーに対する操作をコマンドに変換するので、キャリア、メーカ或いは製造時期によって多極化している非共通操作キーをＤＡ３０で再現することができる。

したがって、本実施例では、非共通操作キーに対応するコマンドをＤＡ３０のタッチパネルを介して遠隔操作で受け付けることができ、車載装置を介する携帯端末の遠隔操作を向上させることが可能になる。

また、本実施例では、移動体である車両内で非共通操作キーに対応するコマンドを遠隔操作させるので、乗車者、特に運転者が携帯端末５０を取り出して携帯端末５０に直接操作を行わずともよくなる。さらには、携帯端末５０よりも大きい画面を介して遠隔操作できるので、運転操作以外の操作が制約される運転者であっても携帯端末の全機能を安全かつ簡易に使用することも可能になる。

続いて、本実施例に係る遠隔操作システムを構成する各装置の構成について説明する。なお、以下では、ＤＡ３０の構成を説明してから携帯端末５０の構成を説明することとする。

図２は、実施例１に係る遠隔操作システムを構成する各装置の構成を示す機能ブロック図である。なお、実際のＤＡ３０では、図示した機能部以外の機能部（例えば、マイク等の音声入力手段、音声認識部や記憶部など）を有するが、図２では、実施例１に係るＤＡ３０の特徴を説明するために必要な構成要素のみを抜粋している。

同図に示すように、ＤＡ３０は、ハードスイッチ３１と、スピーカ３２、タッチパネル３３と、近距離通信部３４と、制御部３５とを有する。

ハードスイッチ３１は、ＤＡ３０の外面に設けられた各種メカスイッチである。例えば、押下式、スライド式やダイヤル式などの機械的なスイッチがこれにあたる。なお、ハードスイッチ３１やその近辺には、各ハードスイッチ３１の役割を示す文字列が付されることが通常である。たとえば、ボリューム調整用のダイヤルには「ＶＯＬ」、音量を無音にするためのボタンには「ＭＵＴＥ」といった文字列が付される。

スピーカ３２は、制御部３６から出力される音声信号を音声出力するオーディオデバイスである。なお、スピーカ３２は、車両につき１つ設けてもよいし、或いは複数設けるようにしてもかまわない。

タッチパネル３３は、液晶パネルやディスプレイなどの表示デバイス上で操作入力を受け付けることができる表示可能かつ入力可能なデバイスである。例えば、ＤＡ３０独自の画面の他、携帯端末５０の各種アプリによって生成されるアプリ画像（例えば、ナビ画像や動画など）や共通操作キーや非共通操作キーなどの操作キーの画像を表示したり、また、操作者によって押下されたディスプレイ上の座標を検出したりする。

ここで、ＤＡ３０および携帯端末５０に設けられる操作スイッチについて図３を用いて説明しておく。図３は、ＤＡ３０および携帯端末５０の各種操作スイッチを示す図である。なお、同図の（Ａ）には、ＤＡ３０の各種操作スイッチについて、同図の（Ｂ）には、携帯端末５０の各種操作スイッチについて、それぞれ示している。

図３の（Ａ）に示すように、ＤＡ３０の前面には、タッチパネル３３が配置されるとともに、タッチパネル３３の周辺にはハードスイッチ３１が配置されている。

ハードスイッチ３１には、ダイヤルやボタン等の種類があり、同図に示した場合には、タッチパネルディスプレイ３３の左側には、ダイヤルＬ１、ボタンＬ２、ボタンＬ３、ボタンＬ４およびボタンＬ５が、同じく右側には、ダイヤルＲ１、ボタンＲ２、ボタンＲ３、ボタンＲ４およびボタンＲ５が、それぞれ配置されている。

また、同図の（Ｂ）に示すように、携帯端末５０の操作面には、上下左右方向への移動指示などを行う十字キー５２０と、テンキー５３０とが配置されている。また、操作面の左側面には、側面キー５４０が、同じく右側面には、側面キー５５０および側面キー５６０が、操作面の下部には、ＭＵＬＴＩキー５７０が、それぞれ配置されている。

なお、携帯端末５０は、ディスプレイ５１０を有しているが、ＤＡ３０との連携中には、アプリによる出力画面の表示はなされず、表示休止状態となるか、「連携中」といったＤＡ３０と連携中である旨の表示がなされる。

ここで、十字キー５２０やテンキー５３０に含まれる入力キーの配置や種類、各種側面キーの有無等は、携帯端末５０の機種ごとに異なることが通常である。なお、テンキー５３０に含まれる「０」〜「９」までの数字キー、「＊」キー、「♯」キーのように、配置や種類がすべての携帯端末５０間で共通して用いられる「共通操作キー」も存在する一方、側面キー５４０、側面キー５５０、側面キー５６０及びＭＵＬＴＩキー５７０のように、携帯端末５０の機種ごとに共通化されていない「非共通操作キー」も存在する。

図２に戻り、ＤＡ３０の構成についての説明をつづける。近距離通信部３４は、ブルートゥース（登録商標）などの近距離無線通信を用いて携帯端末５０との通信リンクを確立するとともに、確立した通信リンクを用いてＤＡ３０／携帯端末５０間の通信処理を行う。ここで、ブルートゥース（Bluetooth：登録商標）とは、２．４ＧＨｚの周波数帯を用いて半径数１０ｍ程度の無線通信を行う近距離無線通信規格であり、近年では、携帯電話やパーソナルコンピュータなどの電子機器に広く適用されている。

なお、本実施例では、ブルートゥース（登録商標）を用いてＤＡ３０／携帯端末５０間の通信を行う場合について説明するが、Ｗｉ−Ｆｉ（ワイファイ：登録商標）、ＺｉｇＢｅｅ（ジグビー：登録商標）といった他の無線通信規格を用いることとしてもよい。また、ＤＡ３０／携帯端末５０間の通信を有線通信で行うこととしてもよい。

制御部３５は、ＤＡ３０を全体制御する制御部であり、対携帯端末連携部３６を有する。実際には、かかる機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行し、対携帯端末連携部３６に対応するプロセスを実行させることになる。

対携帯端末連携部３６は、携帯端末５０と連携して各種の処理を行う機能部である。具体的には、携帯端末５０の各種アプリ５５によって生成された表示データや音声データをスピーカ３２及び／又はタッチパネル３３に出力させるＤＡ３０としての基本機能を有する他、本実施例に特有の機能部として、合成表示部３６ａと、出力信号送信部３６ｂとを内在する。

合成表示部３６ａは、携帯端末５０から近距離通信部３４経由で受け取ったアプリ画面と、操作キー画像とを合成してタッチパネル３３へ出力する処理を行う処理部である。例えば、アプリ画像の全体もしくは一部のエリアに操作キー画像を重畳して表示する際には、アプリ画像を下位層、操作キー画像を上位層と定めておき、アプリ画像の全体もしくは一部のエリアを覆う操作キー画像の透明度をアプリ画像よりも高くする画像処理を施し、両画像を重畳表示する（図７参照）。

さらに、合成表示部３６ａは、アプリ画面に対する操作キー画面の大きさは、アプリが提供するコンテンツの内容がどの程度画面表示に依存するかを表す依存度を設定し、その依存度に応じて変更することもできる。例えば、チューナーソフトやオーディオソフトなどのように音声が主、画面が副の関係あるものについてはアプリ画面に過度に大きなサイズを必要としないので操作キー画面を大きくする一方で、メールソフトなどのように、情報伝達を画面表示だけに依存するものについては操作キー画面を小さくするか、或いはタッチパネル３３に接触されなければ表示しないという制御を行ってもよい。

このような重畳表示を行えば、携帯端末５０を直接操作する場合よりも操作性を高めながらも、アプリ画像の視認性を担保することができる。また、タッチパネル３３上に接触操作が行われた場合など所定の操作がなされた場合にのみ、操作キー画面を表示することとしてもよい。

出力信号送信部３６ｂは、タッチパネル３３上で操作キーが操作された場合の出力信号を近距離通信部３４経由で携帯端末５０に送信する処理を行う処理部である。具体的には、合成表示部３６ａによって表示された操作キー画面上の共通操作キーまたは非共通操作キーが押下されると、当該押下がなされたディスプレイ上の座標（タッチ位置）を携帯端末５０に通知する。

次に、本実施例に係る携帯端末の構成について説明する。図２に示したように、この携帯端末５０は、近距離通信部５１と、キャリア通信部５２と、記憶部５３と、制御部５４とを有する。

なお、実際の携帯端末５０では、図示した機能部以外の機能部（例えば、操作部、表示部、スピーカ、マイク等の音声入力手段や音声認識部など）を有するが、図２では、実施例１に係る携帯端末５０の特徴を説明するために必要な構成要素のみを抜粋している。

近距離通信部５１は、ＤＡ３０の近距離通信部３４と同様に、ブルートゥース（登録商標）などの近距離無線通信を用いてＤＡ３０との通信リンクを確立するとともに、確立した通信リンクを用いて携帯端末５０／ＤＡ３０間の通信処理を行う。

キャリア通信部５２は、キャリアの基地局及びセンターを介して目的の装置との間で電波通信を行う処理部である。このキャリア通信部５２では、制御部５４内で動作するＷｅｂブラウザと協働してＷｅｂアクセスを行うこともできる。

記憶部５３は、制御部５４による各種処理に必要なデータおよびプログラムを記憶する不揮発性メモリ等の記憶デバイスであり、たとえば携帯端末５０の操作キー画像を操作キー画像５３ａとして記憶する。

この操作キー画像５３ａは、図４に示す操作キー画像のうち携帯端末５０に対応する機種の操作キー画像が後述する操作キー画像取得部５６ａによってダウンロードされる。これらの操作キー画像において、十字キー５２０やテンキー５３０などの共通操作キーについては、各キャリアやメーカの間で共通化されているものの、図中に太枠で示した非共通操作キーについては、配置個数、配置箇所或いはその機能が異なる。

例えば、図４の（Ａ）及び（Ｂ）の操作キー画像では、携帯端末５０内蔵のカメラ起動ボタン５４０の配置が異なり、また、図４の（Ａ）のものにはＭＵＬＴＩボタン５７０が設けられている一方で図４の（Ｂ）には設けられておらず、さらには、図４の（Ｂ）のものにはメール起動ボタン５８０が設けられている一方で図４の（Ａ）のものには設けられていないなど、そのほか様々な点（メモ再生キー５５０及び５６０とメモ再生キー５９５の配置の違いや録音ボタン５９０の有無など）において非共通操作キーの位置付けが各キャリアやメーカの間で異なる。

このため、本実施例では、後述する操作キー画像取得部５６ａによって携帯端末５０の機種に対応した操作キー画像をサーバ装置１０からダウンロードさせることとしている。

制御部５４は、携帯端末５０を全体制御する制御部であり、各種アプリ５５と、対ＤＡ連携部５６とを有する。実際には、かかる機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行し、各種アプリ５５及び対ＤＡ連携部５６に対応するプロセスを実行させることになる。

各種アプリ５５は、ナビソフト、メールソフト、チューナーソフトやオーディオソフトなどの各種アプリケーションである。具体的には、ＤＡ３０とのコネクションが確立して連携中である場合には、後述する対ＤＡ連携部５６の要請に応答して記憶部５３からロードされて起動し、ＤＡ３０のタッチパネル３３を介して遠隔操作されたコマンドに対応する処理を行う。

対ＤＡ連携部５６は、ＤＡ３０と連携して各種の処理を行う機能部である。具体的には、ＤＡ３０から受け取ったタッチ位置からコマンドを解釈したり、記憶部５３から各種アプリ５５をロードして起動したりするなどのＤＡ３０との連携に関する基本機能を有するとともに、その他、本実施例の固有の機能として、操作キー画像取得部５６ａと、表示制御部５６ｂと、遠隔入力処理部５６ｃとをさらに内在する。

操作キー画像取得部５６ａは、外部装置または外部記録媒体から操作キー画像を取得する処理部である。詳細は図５を用いて後述するが、概要としては、サーバ装置１０が取得しているＵＲＬにＷｅｂアクセスし、携帯端末５０の機種を指定した上で当該機種に対応する操作キー画像、たとえば図４の（Ａ）の画像を取得し、この画像を記憶部５３に格納する。

表示制御部５６ｂは、記憶部５３に記憶された操作キー画像５３ａを用いて、ＤＡ３０のタッチパネル３３に共通操作キー及び非共通操作キーを表示させる処理部である。具体的には、ＤＡ３０との通信リンク確立時には、予めＤＡ３０との間で連携を定めたナビアプリ等のアプリを起動し、当該ナビアプリにアプリ画像を生成させてそのアプリ画像をＤＡ３０に送信するとともに、記憶部５３に記憶された操作キー画像５３ａをＤＡ３０に送信する。なお、本実施例では、アプリ画像と操作キー画像の重畳表示をＤＡ３０で行わせることとしたが、表示制御部５６ｂで先に説明した画像処理を施して表示データをＤＡ３０に送信することとしてもよい。

遠隔入力処理部５６ｃは、近距離通信部５１経由でＤＡ３０から受け取ったタッチ位置からコマンドを解釈してそのコマンドの実行制御を行う処理部である。具体的には、あらかじめ規定された座標とコマンドの対応関係に基づき、タッチ位置からコマンドを解釈してそのコマンド（操作キーに対応する出力信号または出力信号列）を、アプリに対する入力信号としてその指令に対応する各アプリに振り分ける。このようにすることで、各アプリは、携帯端末５０の入力キーが直接操作された場合と同様に動作することができる。

次に、本実施例に係る遠隔操作システムの処理の流れについて説明する。なお、ここでは、ＤＡ３０のタッチパネル３３に操作キーを表示させるに先立って行われる（１）操作キー画像取得処理を説明した後に、（２）遠隔操作処理を説明する。

（１）操作キー画像取得処理
前述したように、ここでは、本実施例に係る操作キー画像取得処理について説明する。なお、この処理は、携帯端末５０の電源がＯＮ状態であり、かつ携帯端末５０が基地局との通信圏内に所在する場合に行われる処理である。

図５は、実施例１に係る操作キー画像取得処理の操作シーケンスを示す図である。同図に示すように、操作キー画像取得部５６ａは、キャリアまたはメーカが提供するサーバ装置１０のＵＲＬの入力を受け付け（ステップＳ１０１）、Ｗｅｂブラウザを用いてサーバ装置１０にアクセスする（ステップＳ１０２）。

この携帯端末５０からのアクセスを受け付けたサーバ装置１０では、ダウンロードさせる操作キー画像の機種を特定すべく、機種情報入力画面を携帯端末５０に送信する（ステップＳ１０３）。

そして、操作キー画像取得部５６ａは、機種情報入力画面に規定されたフォームにしたがって携帯端末５０の機種情報の入力を受け付け（ステップＳ１０４）、該受け付けた機種情報をサーバ装置１０に返信する（ステップＳ１０５）。図５の例では、キャリア名を選択させて機種の範囲を絞った上で機種名を選択させることとしているが、入力フォームを自由入力にして機種名を直接入力させるようにしてもよい。

続いて、サーバ装置１０から受信したダウンロード実行の確認画面で操作キー画像のダウンロードの実行操作を受け付けると（ステップＳ１０６）、操作キー画像取得部５６ａは、操作キー画像のダウンロード要求をサーバ装置１０に行い（ステップＳ１０７）、ダウンロードを開始し（ステップＳ１０８）、ダウンロードした操作キー画像を記憶部５３に格納して処理を終了する。

このようにして、携帯端末５０の機種それぞれで異なる操作キー画像が取得されることになり、かかる操作キー画像を用いて、非共通操作キーを含む操作キー画面をＤＡ３０のタッチパネル３３に表示させることが可能になる。

ここで、本実施例では、サーバ装置１０から操作キー画像だけをダウンロードすることとしたが、表示制御部５６ｂ及び遠隔入力処理部５６ｃの機能を発揮する遠隔操作アプリを併せてダウンロードすることもできる。

この遠隔操作アプリは、あくまで携帯端末５０単独で機能する際には必須のものではないため、必ずしも携帯端末５０にプリインストールされているとは限らないが、操作キー画像及び遠隔操作アプリを併せてダウンロードすれば、たとえ遠隔操作アプリがプリインストールされていなくとも、１度の手間を経るだけで携帯端末５０を遠隔操作する車載サービスを享受させることができる。

なお、本実施例では、キャリアやメーカが運営するサーバ装置１０から操作キー画像をダウンロードすることとしたが、ＳＤメモリカードなどの携帯端末用のフラッシュメモリや他の携帯端末から取得するようにしてもよい。

（２）遠隔操作処理
次に、本実施例に係る遠隔操作処理について説明する。この遠隔操作処理は、ＤＡ３０及び携帯端末５０の両者が通信圏内に所在する場合に行われる処理である。

図６は、実施例１に係るＤＡ及び携帯端末間の制御シーケンスを示す図である。同図に示すように、ＤＡ３０及び携帯端末５０の間で接続処理を行い（ステップＳ２０１）、ＤＡ３０及び携帯端末５０の間で通信リンクを確立する。なお、通信リンクを確立する際には、お互いが能動的に接続要求を行ってもよいし、一方の装置が他方の装置に接続要求を行うようにしてもよい。

このようにして通信リンクが確立すると、携帯端末５０の表示制御部５６ｂは、予めＤＡ３０との間で連携を定めたナビアプリ等のアプリを起動し、当該ナビアプリにアプリ画像を生成させてそのアプリ画像をＤＡ３０に送信するとともに（ステップＳ２０２及びＳ２０３）、記憶部５３に記憶された操作キー画像５３ａを読み出してＤＡ３０に送信する（ステップＳ２０４及びＳ２０５）。

一方、ＤＡ３０の合成表示部３６ａは、携帯端末５０から受信したアプリ画像と操作キー画像とを重畳してタッチパネル３３に表示させ（ステップＳ２０６）、操作キー画面上の共通操作キーまたは非共通操作キーが押下されると（ステップＳ２０７）、出力信号送信部３６ｂは、当該押下がなされたディスプレイ上の座標（タッチ位置）を携帯端末５０に送信する（ステップＳ２０８）。

そして、携帯端末５０の遠隔入力処理部５６ｃは、あらかじめ規定された座標とコマンドの対応関係に基づき、タッチ位置に対応するコマンドを操作コマンドとして解釈し（ステップＳ２０９）、該解釈したコマンド（操作キーに対応する出力信号または出力信号列）をアプリに対する入力信号としてその指令に対応する各アプリに振り分け、処理を終了する。

このように、はじめて通信リンクを確立した時または通信リンクを確立する都度に操作キー画像をＤＡ３０に送信しておけば、ＤＡ３０側で操作キー画像が消去されるまでは操作キー画像を送る必要がなくなる。

例えば、携帯端末５０の機種が図４の（Ａ）に示した操作キー画像であるとした時に、ＤＡ３０のタッチパネル３３に操作キー画面として表示されたＭＵＬＴＩボタン５７０が押下されると、ＭＵＬＴＩボタン５７０に対応するコマンドとして、携帯端末５０にてバックグラウンドで動作している複数のアプリケーションのうち、画面上にアクティブに表示させるアプリ画像を切り替える処理を行う。

かかるＭＵＬＴＩボタン５７０の利用態様の一例としては、図７に示すように、ＭＵＬＴＩボタン５７０が押下されるまではナビアプリの画像を表示していたのに対し、ＭＵＬＴＩボタン５７０が押下された後にはオーディオアプリの画像をタッチパネル３３上に表示させることができる。

このＭＵＬＴＩボタン５７０のような非共通操作キーの遠隔操作を実現することにより、共通操作キーしか使用できない制約下でナビアプリを終了してからオーディオアプリを起動するという煩雑な操作手順を踏まずとも、それよりも少ない操作手順でタッチパネル３３上に表示させるアプリを切り替えることができ、携帯端末５０の遠隔操作の操作性を高めることができる。

上述してきたように、本実施例では、携帯端末５０の機種に対応する操作キーであって他の機種との間で共通化されていない非共通操作キーの情報を含む操作キー情報を取得し、取得した操作キー情報に基づいてＤＡ３０のタッチパネルに操作キーを表示させ、タッチパネルに表示させた操作キーに対する操作を当該操作に対応するコマンドに変換するように構成したので、キャリア、メーカ或いは製造時期によって多極化している非共通操作キーをＤＡ３０で再現することができ、非共通操作キーに対応するコマンドをＤＡ３０のタッチパネルを介して遠隔操作で受け付けることができる結果、車載装置を介する携帯端末の遠隔操作を向上させることが可能である。

また、本実施例では、携帯端末５０の機種に対応する操作キーの画像を取得し、操作キーの画像をＤＡ３０のタッチパネル３３に表示させるように構成したので、操作キー画面を構成するボタンアイコンなどの画面部品の描画処理を不要化することができ、ＤＡ３０側の連携アプリを簡素化することが可能である。さらに、ＤＡ３０に操作キー画像を送信した際にその操作キー画像を記憶させておけば、データサイズの大きい操作キー画像を授受する回数を低減させることもできる。

さて、上記の実施例１では、ＤＡ３０のタッチパネル３３に操作キーを表示させるに際して操作キーの画像をＤＡ３０に送信することとしたが、必ずしも操作キーの画像を送信する必要はない。そこで、実施例２では、他の情報を送ってタッチパネル３３に操作キーを表示させる場合について説明する。

すなわち、実施例２に係る遠隔操作システム３では、サーバ装置１０から取得した非共通操作キーの情報を用いて、タッチパネル３３に表示させる操作キーを描画させる指令である描画コマンドを携帯端末９０に生成させ、携帯端末９０によって生成された描画コマンドにしたがってタッチパネル３３に表示する操作キーをＤＡ７０に描画させることとした。

これを図８を用いて説明すると、サーバ装置１０では、携帯端末の機種ごとに非共通操作キー情報、たとえば非共通操作キーの画像やコマンドの内容などをあらかじめ格納しており、携帯端末９０からのアクセスを公衆回線を介して受け付けると、携帯端末９０の機種の指定を受け付けた上でその機種に対応する非共通操作キー情報を携帯端末９０に送信し、携帯端末９０に操作キーの画像をダウンロードさせる（０）。

その上で、携帯端末９０は、ＤＡ７０との通信コネクションを確立すると（１）、ダウンロードした非共通操作キー情報をＤＡ７０に送信するとともに（２）、非共通操作キー、たとえば描画座標の範囲指定などを生成してその描画コマンドをＤＡ７０に送信する（３）。

一方、ＤＡ７０では、携帯端末９０から受信した描画コマンドにしたがって非共通操作キーを描画し（４）、たとえば非共通操作キーが所在する座標に押下操作を受け付けると（５）、該受け付けた非共通操作キーに対応するコマンドの実行指示と解釈し（６）、該解釈したコマンドの実行を携帯端末９０に指示することによって当該コマンドを実行させる（７）。

このように、本実施例では、非共通操作キーを含む操作キー画像に代えて、描画コマンドをＤＡ７０に送信するようにしたので、ＤＡ７０及び携帯端末９０間で授受を行うデータ量を削減することができ、乗車者からの操作に迅速に応答することが可能になる。

また、本実施例では、携帯端末９０に付設されている操作キーのうちアプリの操作に関係する非共通操作キーだけを描画させることとしたので、操作キー画面によってアプリ画面が圧迫される度合いを低減し、もってアプリ画像の視認性を高めることができる。

さらに、本実施例では、ＤＡ７０のタッチパネル３３上に非共通操作キーが表示される前に非共通操作キーのコマンド内容をあらかじめ送信しておくこととしたので、ＤＡ７０側で操作を受け付けた座標等からコマンドを解釈することができる。

次に、本実施例に係る遠隔操作システムを構成する各装置の構成について説明する。なお、以下では、上記の実施例１に係る遠隔操作システム１と対比しながら説明を進めることとし、同様の機能を発揮するものについては実施例１と同一の符号を付してその説明を省略する。

図９は、実施例２に係る遠隔操作システムを構成する各装置の構成を示す機能ブロック図である。同図に示すように、ＤＡ７０は、図２に示したＤＡ３０と比較して、合成表示部３６ａの代わりに、描画処理部７２ａと、コマンド解釈部７２ｂと、出力信号送信部７２ｃとを有する点、そして出力信号送信部７２ｃの処理内容の一部が出力信号送信部３６ｂと異なる点が相違する。

描画処理部７２ａは、携帯端末９０から受信した描画コマンドにしたがってタッチパネル３３に表示する操作キーを描画する処理部である。具体的には、あらかじめ後述する非共通操作キー情報通知部９３ｂから受け取っておいた非共通操作キー情報、たとえば非共通操作キーの画像を用いて、後述する描画コマンド生成部９３ｃによって生成された描画コマンド、たとえば非共通操作キーを描画する座標範囲の指定などの指令（図１０（Ｂ）参照）にしたがってタッチパネル３３に表示する非共通操作キーを描画する。

コマンド解釈部７２ｂは、タッチパネル３３上に表示された操作に対応するコマンドを解釈する処理部である。具体的には、タッチパネル３３上で押下操作を受け付けたタッチ位置が、非共通操作キーを描画した座標範囲、たとえば図１０（Ｂ）に示す（３８０,２２０）から（３９０,２３０）に該当する場合に、後述する非共通操作キー情報通知部９３ｂから先に受け付けて記憶部等に保持しておいた非共通操作キーのコマンドのうち当該座標範囲に対応する非共通操作キーのコマンド「ＭＵＬＴＩ」（図１０（Ａ）参照）の実行指示と解釈し、非共通操作キーのコマンドの実行指示（図１０（Ｃ）参照）を出力信号送信部７２ｃを介して携帯端末９０に送信する。

次に、携帯端末９０は、図２に示した携帯端末５０と比較して、記憶部９１に非共通操作キー情報９１ａを記憶する点、操作キー画像取得部５６ａの代わりに非共通操作キー情報取得部９３ａを有し、表示制御部５６ｂの代わりに非共通操作キー情報通知部９３ｂと描画コマンド生成部９３ｃを有するとともに、遠隔入力処理部９３ｄの処理内容の一部が遠隔入力処理部５６ｃと異なる点が相違する。

非共通操作キー情報取得部９３ａでは、図２に示した操作キー画像取得部５６ａがサーバ装置１０から操作キー画像を取得していたところを、非共通操作キーの画像やコマンドの内容などを含む非共通操作キー情報を取得するように構成した点が異なる。なお、取得要領については図５に示した操作シーケンスと略同一であるのでその説明は省略する。

非共通操作キー情報通知部９３ｂは、サーバ装置１０からダウンロードされて記憶部９１に記憶された非共通操作キー情報９１ａをＤＡ７０に通知する処理部である。

描画コマンド生成部９３ｃは、非共通操作キーの描画コマンドを生成する処理部である。具体的には、ＤＡ７０のタッチパネル３３上に非共通操作キーを描画させる座標範囲などを指定した描画コマンドを生成し、該生成した描画コマンドをＤＡ７０に送信する。

遠隔入力処理部９３ｄは、図２に示した遠隔入力処理部５６ｃがタッチパネル３３のタッチ位置を受けとってコマンドを解釈するのに対し、ＤＡ７０側でコマンドが解釈される構成の変化に伴って非共通操作キーのコマンドそのものを受け取る点が異なる。

次に、本実施例に係る遠隔操作処理について説明する。この遠隔操作処理は、ＤＡ７０及び携帯端末９０の両者が通信圏内に所在する場合に行われる処理である。

図１１は、実施例２に係るＤＡ及び携帯端末間の制御シーケンスを示す図である。同図に示すように、ＤＡ７０及び携帯端末９０の間で接続処理を行い（ステップＳ３０１）、ＤＡ７０及び携帯端末９０の間で通信リンクを確立する。

このようにして通信リンクが確立すると、携帯端末９０の非共通操作キー情報通知部９３ｂは、サーバ装置１０からダウンロードされて記憶部９１に記憶された非共通操作キー情報９１ａをＤＡ７０に通知する（ステップＳ３０２）。

そして、携帯端末９０の描画コマンド生成部９３ｃは、ＤＡ７０のタッチパネル３３上に非共通操作キーを描画させる座標範囲などを指定した描画コマンドを生成し（ステップＳ３０３）、該生成した描画コマンドをＤＡ７０に送信する（ステップＳ３０４）。

一方、ＤＡ７０の描画処理部７２ａは、非共通操作キー情報通知部９３ｂから受け取っておいた非共通操作キー情報、たとえば非共通操作キーの画像を用いて、描画コマンド、たとえば非共通操作キーを描画する座標範囲の指定などの指令（図１０（Ｂ）参照）にしたがってタッチパネル３３に表示する非共通操作キーを描画する（ステップＳ３０５）。

そして、タッチパネル３３上で非共通操作キーが所在する座標に押下操作を受け付けると（ステップＳ３０６）、コマンド解釈部７２ｂは、当該座標範囲に対応する非共通操作キーのコマンド「ＭＵＬＴＩ」（図１０（Ａ）参照）の実行指示と解釈し（ステップＳ３０７）、非共通操作キーのコマンドの実行指示（図１０（Ｃ）参照）を出力信号送信部７２ｃを介して携帯端末９０に送信する（ステップＳ３０８）。

このようにして携帯端末９０に通知されたコマンドは、遠隔入力処理部９３ｄによって各種アプリ５５に振り分けられてコマンドが実行される。

なお、非共通操作キーの描画位置は、アプリ画像の変遷に伴ってステップＳ３０３〜Ｓ３０８までの一連のプロセスを含んだステップＳ３０９の処理を繰り返すことにより変更することができる。

例えば、図１２に示すように、タッチパネル３３上でナビアプリの画面を表示している状態で、そのナビアプリの画面上に描画されたＭＵＬＴＩボタン５７０が押下された場合には、実施例１と同様に、ＭＵＬＴＩボタン５７０が押下されるまではナビアプリの画像を表示していたのに対し、ＭＵＬＴＩボタン５７０が押下された後にはオーディオアプリの画像をタッチパネル３３上に表示させるという切替えを行うことができる。

上述してきたように、本実施例では、サーバ装置１０から取得した非共通操作キーの情報を用いて、タッチパネル３３に表示させる操作キーを描画させる指令である描画コマンドを携帯端末９０に生成させ、携帯端末９０によって生成された描画コマンドにしたがってタッチパネル３３に表示する操作キーをＤＡ７０に描画させるように構成したので、ＤＡ７０及び携帯端末９０間で授受を行うデータ量を削減することができ、乗車者からの操作に迅速に応答することが可能になる。

また、上記の実施例２では、アプリの操作に関係する非共通操作キーだけを描画させることとしたが、本発明はこれに限定されるものではなく、実施例１と同様に、共通操作キーを含む操作キー全体を描画させることとしてもよい。

なお、本発明では、上記の実施例１及び２の内容に加えて、車両に搭載されたＥＣＵ（Electronic Control Unit：エレクトロニック・コントロール・ユニット）から走行速度を取得し、取得した車両の走行速度に応じてタッチパネルでの操作キーの表示制御またはコマンドの解釈を制限するようにしてもよい。

例えば、車両が停車中である場合には、タッチパネル３３上で携帯端末の遠隔操作を行わせるべく、非共通操作キーをはじめとした操作キーを画面上に表示させる一方で、車両が走行中である場合には、運転操作を妨げることを予防すべく、タッチパネル３３上で一部または全部の非共通操作キーの表示を禁止することで、安全運転を順守させながらも停車時には非共通操作キーを遠隔操作させることが可能になる。また、微速である場合には、一部の共通操作キーだけを表示させてもよいが、その場合には目的のコマンドまでの操作手順が所定のステップ数よりも少ないものだけを許容するのが好ましい。

また、上記の実施例１及び２では、携帯端末を遠隔操作対象装置とした場合について説明したが、本発明の適用範囲は携帯端末に限定されるものではなく、入力インタフェースを有する各種装置を遠隔操作対象装置とするができる。

なお、上記の実施例１及び２では、ＤＡと携帯電話が１対１であるケースについて説明したが、必ずしも両者が１対１である必要はなく、ＤＡと携帯電話が１対Ｎである場合にも本発明を同様に適用することができる。

以上のように、本発明に係る遠隔操作システム及び遠隔操作方法は、車載装置を介する携帯端末の遠隔操作を向上させる場合に適している。

実施例１に係る遠隔操作システムの概要を示す図である。 実施例１に係る遠隔操作システムを構成する各装置の構成を示す機能ブロック図である。 ＤＡおよび携帯端末の各種操作スイッチを示す図である。 非共通操作キーを含む操作キー画像の一例を示す図である。 実施例１に係る操作キー画像取得処理の操作シーケンスを示す図である。 実施例１に係るＤＡ及び携帯端末間の制御シーケンスを示す図である。 ＭＵＬＴＩボタンの利用態様の一例を示す図である。 実施例２に係る遠隔操作システムの概要を示す図である。 実施例２に係る遠隔操作システムを構成する各装置の構成を示す機能ブロック図である。 非共通操作キー情報を説明するための説明図である。 実施例２に係るＤＡ及び携帯端末間の制御シーケンスを示す図である。 ＭＵＬＴＩボタンの利用態様の一例を示す図である。

符号の説明

１ 遠隔操作システム
１０ サーバ装置
３０ ＤＡ
３１ ハードスイッチ
３２ スピーカ
３３ タッチパネル
３４ 近距離通信部
３５ 制御部
３６ 対携帯端末連携部
３６ａ 合成表示部
３６ｂ 出力信号送信部
５０ 携帯端末
５１ 近距離通信部
５２ キャリア通信部
５３ 記憶部
５３ａ 操作キー画像
５４ 制御部
５５ 各種アプリ
５６ 対ＤＡ連携部
５６ａ 操作キー画像取得部
５６ｂ 表示制御部
５６ｃ 遠隔入力処理部

Claims (8)

1. 携帯端末と連携する車載装置の表示入力部に前記携帯端末を遠隔操作する操作キーを表示させる遠隔操作システムであって、
   前記携帯端末の機種に対応する操作キーであって他の機種との間で共通化されていない非共通操作キーの情報を含む操作キー情報を取得する取得手段と、
   前記取得手段によって取得された操作キー情報に基づいて前記車載装置の表示入力部に操作キーを表示させる表示制御手段と、
   前記表示制御手段によって前記表示入力部に表示された操作キーに対する操作を当該操作に対応するコマンドに変換する変換手段と
   を備えたことを特徴とする遠隔操作システム。
2. 前記取得手段は、
   当該携帯端末の機種に対応する操作キーの画像を取得し、
   前記表示制御手段は、
   前記取得手段によって取得された操作キーの画像を前記表示入力部に表示させることを特徴とする請求項１に記載の遠隔操作システム。
3. 前記表示制御手段は、
   前記取得手段によって取得された操作キー情報を用いて、前記表示入力部に表示させる操作キーを描画させる指令である描画コマンドを生成する描画コマンド生成手段と、
   前記描画コマンド生成手段によって生成された描画コマンドにしたがって前記表示入力部に表示する操作キーを描画する描画手段とをさらに備え、
   前記描画コマンド生成手段を前記携帯端末に所在させるとともに、前記描画手段を前記車載装置に所在させることを特徴とする請求項１に記載の遠隔操作システム。
4. 前記表示制御手段は、
   前記取得手段によって取得された操作キー情報から生成した操作キー画面と、前記携帯端末によって生成される操作キー以外の表示画面とを重畳して前記表示入力部に表示させる合成表示手段をさらに備えたことを特徴とする請求項１、２または３に記載の遠隔操作システム。
5. 前記表示制御手段は、
   前記操作キーのうち前記非共通操作キーを前記表示入力部に表示させることを特徴とする請求項１〜４のいずれか一つに記載の遠隔操作システム。
6. 前記取得手段は、
   前記操作キー情報とともに、前記表示制御手段および前記変換手段による機能を実現するアプリケーションを取得することを特徴とする請求項１〜５のいずれか一つに記載の遠隔操作システム。
7. 車両の走行速度を取得する走行速度取得手段と、
   前記走行速度取得手段によって取得された車両の走行速度に応じて、前記表示制御手段による操作キーの表示制御または前記変換手段によるコマンド変換を制限する処理制限手段をさらに備えたことを特徴とする請求項１〜６のいずれか一つに記載の遠隔操作システム。
8. 携帯端末と連携する車載装置の表示入力部に前記携帯端末を遠隔操作する操作キーを表示させる遠隔操作システムに適用する携帯端末の遠隔操作方法であって、
   前記携帯端末の機種に対応する操作キーであって他の機種との間で共通化されていない非共通操作キーの情報を含む操作キー情報を取得する取得工程と、
   前記取得工程によって取得された操作キー情報に基づいて前記車載装置の表示入力部に操作キーを表示させる表示制御工程と、
   前記表示制御工程によって前記表示入力部に表示された操作キーに対する操作を当該操作に対応するコマンドに変換する変換工程と
   を含んだことを特徴とする遠隔操作方法。

Images