JP2012008968A - 携帯機器と連携し、該携帯機器に対して可能な入力操作を実現する車載機器 - Google Patents

Abstract

【課題】携帯機器に対しては受け付けられるが車載機器に対しては受け付けられない入力操作についても、該車載機器に対して実現可能なようにする。
【解決手段】車両に搭載され、表示装置に接続されると共に、情報処理機能を備える携帯機器と通信する通信手段を有する車載機器を備えるシステムは、該車載機器に接続され、ユーザによる入力操作を受け付ける入力装置と、携帯機器上に備えられた入力部を介して実現される該携帯機器が認識可能な入力操作のうち、車載機器の入力装置を介して実現される該車載機器が認識可能な入力操作とは異なる入力操作が存在する。該異なる入力操作については、車載機器の入力装置に対して所定の入力操作が行われたことに応じて、該行われた入力操作に対応する前記携帯機器が認識可能な入力操作を識別し、該識別した入力操作を表す信号を、前記携帯機器に送る手段と、を備える。
【選択図】図５

Description

この発明は、携帯機器と連携して動作可能な車載機器に関し、より具体的には、該車載機器上で、該携帯機器に対して可能な入力操作を実現することのできる車載機器に関する。

従来より、情報処理装置のユーザ・インターフェースについて、ユーザの利便性をさらに向上するため、様々な手法が提案されている。下記の特許文献１には、ユーザの手元にタッチパッドが設置され、ユーザが、ＧＵＩ部品を選択するためにタッチパッド上に手を載せると、タッチパッドから出力された接触位置データから手形状モデルの画像が作成されてディスプレイ上に表示される入力装置が記載されている。これにより、機器に対する命令や情報の入力を、遠方の画面を見ながら手元で簡便に誤操作なく行えるようにしている。

また、下記の特許文献２には、メニューの選択により表示を切り換える構成において、タッチパネルを用いた指によるジェスチャーにより表示の切り替えを受け付ける車載装置が記載されている。これにより、ナビゲーション機能、コンテンツの再生機能を有する車載装置に対するユーザの使い勝手を向上する。

特開２００６−７２８５４号公報 特開２００５−３３９４２０号公報

最近における、携帯機器における高機能化や低価格な車載機器のニーズの高まりを受け、携帯機器を車載機器と連携させて利用するシステムが検討されている。このようなシステムによれば、各種情報処理に必要な機能は携帯機器が提供するため、携帯機器側のアプリケーションを追加ないし更新することで、システム全体の機能を向上させていくことができる。一方、車載機器側では、比較的大型で扱いやすい表示装置や入力装置を備えることで、携帯機器をそのまま用いた場合の、見えにくさや操作しにくさといった課題を解決しつつ、携帯機器側の処理機能によって実現されるサービスを、車両内のユーザに安価に提供することができる。

しかしながら、携帯機器上のアプリケーションは、一般に、その携帯機器が備える操作機構および表示機構を用いて動作するよう開発されており、その汎用性が確保されていないことがある。たとえば、最近の高機能の携帯機器は、高性能のタッチパネルと組み合わされ、複数の指で操作可能なマルチタッチ式のユーザ・インターフェースを備えるものがあり、車載機器側の操作および表示機構では、そのようなユーザインターフェースと同等の機能を実現できない場合がある。

上記の従来技術は、このような高性能のユーザ・インタフェースに対応するものではなく、また、２つの操作機器の上記のような操作ないし表示機構の仕様差を考慮するものとはなっていない。

したがって、携帯機器と連携して動作する車載機器において、該携帯機器に対して可能な入力操作を実現することができるユーザ・インターフェースを提供することが望まれている。

この発明の一つの側面によると、車両に搭載され、表示装置に接続されると共に、情報処理機能を備える携帯機器と通信する通信手段を有する車載機器を備えるシステムは、前記車載機器に接続され、ユーザによる入力操作を受け付ける入力装置と、前記携帯機器上に備えられた入力部を介して実現される該携帯機器が認識可能な入力操作のうち、前記車載機器の入力装置を介して実現される該車載機器が認識可能な入力操作とは異なる入力操作が存在する場合、該異なる入力操作については、前記車載機器の入力装置に対して所定の入力操作が行われたことに応じて、該行われた入力操作に対応する前記携帯機器が認識可能な入力操作を識別し、該識別した入力操作を表す信号を、前記携帯機器に送る手段と、を備える。

この発明によれば、携帯機器に対しては受け付けられるが車載機器に対しては受け付けられない入力操作が、車載機器に対して行われた場合には、該行われた入力操作を、携帯機器が認識可能な入力操作に修正した上で、その信号を携帯機器に送信する。たとえば、フリックというような入力操作が、携帯機器では受け付けられるが車載機器では受け付けられない場合、車載機器上で所定の入力操作を行えば、それが、フリック操作と識別されて、該フリック操作を表す信号が携帯機器に送られる。したがって、携帯機器に対する入力操作と同等の効果が実現されるよう、車載機器に対して入力操作を行うことができる。よって、ユーザは、携帯機器と連携する車載機器上で、該携帯機器を操作するのと同様の感覚で、該車載機器を操作することができる。これにより、携帯機器を車載機器に連携して、たとえば携帯機器の様々なアプリケーションを、車両内で操作することができる。

この発明の一実施形態によると、上記の異なる入力操作について、前記入力装置上に、該異なる入力操作に対応付けられた入力操作項目を表示する表示手段を備える。該入力操作項目がユーザによって選択されたことに応じて、該選択された入力操作項目に対応する前記携帯機器が認識可能な入力操作を識別する。

この発明によれば、携帯機器に対しては受け付けられるが車載機器に対しては受け付けられない入力操作については、入力操作項目として表示されるので、該入力操作項目を選択することにより、携帯機器が認識可能な入力操作を、車載機器上で実現することができる。

この発明の一実施形態によると、前記携帯機器の前記入力部は、該携帯機器のディスプレイに構成されたタッチパネルを含み、該タッチパネルは、複数の位置における同時のタッチ操作を検知可能なよう構成されており、前記異なる入力操作には、前記携帯機器のタッチパネル上で実現可能なマルチタッチ入力操作が含まれる。また、この発明の一実施形態によると、該異なる入力操作には、前記携帯機器のタッチパネル上で実現可能な、該携帯機器のディスプレイに表示された対象物の動きを特定するジェスチャ入力操作が含まれる。こうして、これらの実施形態によれば、携帯機器のタッチパネルに対して可能なマルチタッチ操作やジェスチャ操作を、車載機器に対して実現することができる。

この発明の一実施形態によると、前記入力装置は、前記車載機器の表示装置のディスプレイに構成されたタッチパネルを含み、前記表示手段は、さらに、前記入力操作項目が選択されると共に、前記車載機器の表示装置のタッチパネル上で位置がユーザによって選択されることに応じて、該選択された位置に、該選択された入力操作項目に対応する図形を表示する。該表示された図形に対し、ユーザによって所定の操作が行われることに応じて、前記ジェスチャ入力操作の操作方向および操作量を識別する。こうして、ユーザは、表示された該図形に対して、たとえばドラッグ操作等を行うことにより、対象物を動かす方向および大きさを入力することができる。

この発明の一実施形態によると、前記入力装置に対して行われた前記入力操作の操作量を、前記携帯機器の入力部に対して該入力操作を行った場合の操作量に修正する手段を備え、前記入力操作を表す信号に、該修正した操作量を示すデータを含めて、前記携帯機器に送る。

携帯機器によっては、入力操作の操作量を、該携帯機器の画面サイズに対する相対量として捉え、該相対量に応じて、画面内の対象物を移動させることがある。このような場合、車載機器の表示画面の画面サイズは、携帯機器の画面サイズとは異なるため、携帯機器に対して操作する感覚で車載機器側を操作すると、ユーザは、意図した情報を入力することができないおそれがある。この発明によれば、携帯機器と同等の操作量で車載機器を操作すれば、意図する情報を入力することができる。したがって、携帯機器を扱うのと同様の感覚で、車載機器を操作することができる。

この発明の一実施形態によると、前記異なる入力操作が存在する場合には、ユーザに、入力操作に制限が生じることを、車載機器を介して通知する。

携帯機器と車載機器に表示される内容は、実質的に同一であり、両者の表示画面が共にタッチパネルで構成されることも多い。そのため、ユーザは、携帯機器と同様に車載機器も操作できると考えるおそれがある。そこで、上記のような異なる入力操作が存在する場合にはユーザに警告することで、意図した通りに操作できないわずらわしさをユーザが感じるのを回避することができる。

この発明の一実施形態によると、前記異なる入力操作が所定の条件を満たさないときには、該車載機器は、該入力操作を受け付けないことを判定する。

入力操作の種類によっては、車載機器上で再現が困難な場合や、車両内では行わないようにするのが望ましいと判断するものがある。したがって、このような入力操作については、車載機器が受け付けないようにすることができる。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、携帯機器と車載機器とが接続された車載処理システムの一形態を示す図。 この発明の一実施例に従う、車両内における表示装置と携帯機器の設置の一形態を示す図。 この発明の一実施例に従う、携帯機器および車載機器を連携して動作させ、該携帯機器からの情報処理の結果を車載機器上に出力する形態における、携帯機器および車載機器の機能ブロック図。 この発明の一実施例に従う、タッチパネルに対する入力操作の一例を示す図。 この発明の一実施例に従う、携帯機器および車載機器を連携して動作させ、車載機器に対する入力操作を携帯機器に送る形態における、携帯機器および車載機器の機能ブロック図。 この発明の一実施例に従う、（ａ１）携帯機器のタッチパネルの画面、（ａ２）携帯機器のタッチパネルに対する入力操作、（ｂ１）車載機器の表示装置のタッチパネルの画面、および（ｂ２）車載機器のタッチパネルに対する、（ａ２）に対応する入力操作、の一例を示す図。 この発明の一実施例に従う、入力操作項目表示プロセスのフローチャート。 この発明の一実施例に従う、入力操作再現プロセスのフローチャート。

次に図面を参照してこの発明の実施の形態を説明する。図１は、本発明の一実施形態に従う、携帯機器と連携可能なように動作する車載機器を備えた車載処理システムを概略的に示す。

携帯機器１０は、携帯電話、携帯情報端末（ＰＤＡ）、およびスマートフォンのような、携帯可能であり、かつ情報処理機能および通信機能を備えた端末である。当然ながら、さらに音声通話機能を備えたものでもよい。

携帯機器１０は、データを表示するディスプレイ（表示画面）１１、音および音声（以下、単に音声と呼ぶ）を出力するスピーカ１２、および、携帯機器１０に備えられたキー（ボタン）のように、ユーザが携帯機器１０に何らかのデータ（信号）を入力するための入力操作部１３を備えている。

また、この実施形態では、ディスプレイ１１は、タッチパネルディスプレイを構成しており、該タッチパネルに対して所定のタッチ操作を行うことにより、携帯機器１０にデータ（信号）を入力可能なようになっている。入力操作部１３には、該タッチパネルも含まれるものとする。

携帯機器１０は、中央処理装置（ＣＰＵ）とメモリを有するコンピュータとしての情報処理機能を備えており、図には、それぞれ処理部１４および記憶部１５として示されている。たとえば、入力操作部１３によって入力されたデータに応じて、記憶部１５に記憶されたプログラムが処理部１４によって実行され、その情報処理の結果が、ディスプレイ１１上に表示され、および（または）スピーカ１２を介して音声出力される。

また、携帯機器１０は、通信機能を備えており、図には、通信部１６および車内通信部１７として示されている。通信部１６は、アンテナを介して外部のネットワーク３１に接続し、音声通話またはデータ通信のための信号を送受信する機能を備えている。図には、外部のネットワーク３１としてインターネットが示されており、通信部１６は、該インターネットを経由して外部のサーバ３２に接続し、外部のサーバ３２とデータ通信を行うことができる。

また、車内通信部１７は、車両に搭載される車載機器２０の車内通信部２７と、外部接続端子１８を介して接続し、該車載機器２０とデータ通信のための信号を送受信する機能を備えている。

携帯機器１０には、種々のアプリケーション（適用業務）が実装されており、各アプリケーションは、記憶部１５に記憶された１または複数のプログラムを実行することによって実現される。この実施形態では、該アプリケーションの一つとして、ナビゲーションが実装されている。したがって、通信部１６には、アンテナを介して、ＧＰＳ（Global Positioning System）衛星から送信される信号（ＧＰＳ信号）を受信する機能も備えられている。

ここで、外部のサーバ３２を、ナビゲーションのサービスを提供するサーバ（ナビサーバ）とすると、処理部１４は、該ナビゲーションのプログラムの実行を介して、受信したＧＰＳ信号から現在位置を検出すると共に、該現在位置を示すデータを、通信部１６を介してサーバ３２に送信することができる。これに応じて、該サーバ３２は、該現在位置周辺の地図データを携帯機器１０に送信する。処理部１４は、通信部１６を介して該地図データを受信し、該地図データ上に該現在位置を重畳して、ディスプレイ１１上に表示することができる。また、入力操作部１３を介して目的地を示すデータが入力されたことに応じて、処理部１４は、該目的地を通信部１６を介して該サーバ３２に送信することができる。これに応じて、該サーバ３２は、該現在位置から目的地までの最適な経路（ルート）を検索して携帯機器１０に送信する。処理部１４は、通信部１６を介して受信した該最適な経路を、地図データ上に重畳してディスプレイ１１上に表示することができる。なお、最近のナビゲーション機能には、交通情報の提供や近傍の施設検索等の様々な機能が付加されており、この実施形態においても、所望のものを含めることができる。

車載機器２０は、データを表示する表示画面を有する表示装置２１、音および音声を出力するスピーカ２２、および、ユーザが該車載機器に何らかのデータ（信号）を入力するための入力装置２３を備えている。ここで、入力装置２３には、表示装置２１の表示画面上に構成されるタッチパネル（タッチパネルディスプレイ）および該車載機器２０に備えられた所定のボタンやキーなどが含まれる。表示装置２１は、図２に示すように、運転者が視認しかつ操作可能なように、たとえば車両のダッシュボード３６に該タッチパネルディスプレイ３７とボタンやキー等の操作部３８が組み込まれるように設置されることができる。なお、入力装置２３には、マイクロホン（図示せず）を含めることができ、音声データを該マイクロホンを介して入力できるようにしてもよい。

車載機器２０は、中央処理装置（ＣＰＵ）とメモリを有するコンピュータである電子制御装置（ＥＣＵ）を備えており、これらが、図には、それぞれ処理部２４および記憶部２５として示されている。たとえば、入力装置２３によって入力されたデータに応じて、記憶部２５に記憶されたプログラムが処理部２４によって実行され、その情報処理の結果が、表示装置２１上に表示され、および（または）スピーカ２２を介して音声出力される。

携帯機器１０に設けられた前述の車内通信部１７および外部接続端子１８に対応して、車載機器２０には、車内通信部２７および外部接続端子２８が設けられている。外部接続端子１８と外部接続端子２８が互いに接続されることにより、携帯機器１０の車内通信部１７と車載機器２０の車内通信部２７は、互いに、所定のプロトコルに従って通信可能なように接続される。

たとえば、携帯機器１０の外部接続端子１８と、車載機器２０の外部接続端子２８とを、ＵＳＢ(Universal Serial Bus)接続によって接続することにより、車内通信部１７および２７は互いに通信可能となる。たとえば、図２に示すように、車両のダッシュボード３６に所定の挿入口３９を設け、該挿入口３９の底部に外部接続端子２８を設ける。携帯機器１０を該挿入口３９に設置することにより、外部接続端子１８と２８とが互いに接続され、これにより、携帯機器１０と車載機器２０とは通信可能な状態となる。こうして、携帯機器１０を、車載機器２０と連携して動作可能なように、車載処理システムに一体的に組み込むことができる。

代替的に、携帯機器１０と車載機器２０とを、ブルートゥース(Bluetooth)のような所定の無線通信を介して接続するようにしてもよい。

車載機器２０には、車両の走行状態を検出するためのセンサ２９が接続されている。この実施形態では、該センサ２９は、車速を検出するためのセンサであり、たとえば、車速センサ、加速度センサ、車輪速センサ等によって実現されることができる。センサ２９によって検出された車速は、処理部２４に渡される。なお、車両が停止しているか否かを検出するときには、上記の車速を検出するセンサに代えて、パーキングブレーキが作動しているか否かを検出するパーキングブレーキセンサを、センサ２９として用いてもよい。

図３は、図１に示す、携帯機器１０と連携した車載機器２０を備えるシステムによって実現される基本的な通信形態を説明するために、携帯機器１０の処理部１４および車載機器１０の処理部２４を機能ブロックで表したものである。これらの機能は、ＣＰＵによって実行される。また、データ処理に用いるメモリ１１５、２１１が示されており、これらは、記憶部１５および２５にそれぞれ実現される。なお、外部接続端子１８、２８は省略されている。

携帯機器１０には、種々のアプリケーション（適用業務）が実装されている。アプリケーション実行部１１１は、たとえばユーザによる何らかの入力操作に応じて所望のアプリケーションを実行する際、対応するプログラムを、たとえば記憶部１５の不揮発性メモリ（図示せず）から読み出したり、外部のネットワークから取得することにより、実行する。該プログラムによって処理された結果、出力されるべき表示画面のデータおよび（または）音声のデータが生成される。

表示画面は、典型的には、テキスト（文字）および画像などのコンテンツと、ウィンドウ、ダイアログボックス、タスクバー、ボタン、チェックボックス、テキストフィールド等のＧＵＩ（グラフィカル・ユーザ・インターフェース）部品とから構成される。プログラム内で、所望のテキストデータを指定する（テキストデータ自体を記述してもよいし、該テキストデータのファイルを記述してもよい）ことにより、該テキストデータを描画することができる。画像データ（たとえば、ＪＰＥＧのような画像データ）についても同様である。また、各種のＧＵＩ部品は、たとえば該携帯機器１０に搭載されるＯＳ（オペレーティング・システム）によって予めライブラリとして提供されて記憶部１５に記憶されており、プログラム内で所望のＧＵＩ部品を指定することによって、該ＧＵＩ部品を描画することができる。たとえば、Ｊａｖａのプログラムにおいては、Ｂｕｔｔｏｎクラスをプログラムで定義することにより、ボタンというＧＵＩ部品を描画することができる。さらに、プログラム内で音声データのファイルを指定することにより、該音声データの再生を実行することができる。

アプリケーション実行部１１１は、プログラムを実行したとき、該プログラム内で、指定されたテキストおよび画像のデータを描画する命令があれば、それらの描画命令を表示制御部１１３に出力する。この命令に応じて、表示制御部１１３は、該指定されたテキストおよび画像のデータを、たとえば記憶部１５や外部のネットワークを介して取得し、これを、ＶＲＡＭのような表示画面用のメモリ１１５に出力（描画）する。また、アプリケーション実行部１１１は、プログラムを実行したとき、該プログラム内に指定されたＧＵＩ部品があれば、その描画命令を表示制御部１１３に出力する。これに応じて、表示制御部１１３は、指定されたＧＵＩ部品を記憶部１５から読み込み、これを、メモリ１１５に出力（描画）する。さらに、アプリケーション実行部１１１は、プログラムを実行したとき、該プログラム内で指定された音声データがあれば、該音声データの再生命令を音声制御部１１４に出力する。音声制御部１１４は、指定された音声データのファイルを、たとえば記憶部１５や外部のネットワークを介して取得する。

送受信制御部１１７は、携帯機器１０のアプリケーションに対し、車載機器２０というデバイスのドライバとしての役割を果たすように設けられており、その機能はソフトウェアプログラムによって実現されることができる。より具体的には、送受信制御部１１７は、メモリ１１５に格納された一画面分のデータから、車載機器２０の表示装置２１の画面解像度と同じ解像度を有するビットマップデータ（画面データと呼ぶ）を該メモリ１１５から切り出すと共に、音声制御部１１４によって取得された音声データのファイルを受け取り、該画面データおよび音声データのファイルを、車内通信部１７を介して車載機器２０に送信する。

好ましくは、送受信制御部１１７は、画面データ（表示画面）に関する属性情報を表示制御部１１３から取得し、これを、該画面データと共に、車内通信部１７を介して車載機器２０に送信する。属性情報は、車載機器２０の表示装置２１に画面データを出力するに際して、後述する出力制御部２１３によって使用される情報である。属性情報には、たとえば、アプリケーション（プログラム）の種類、要求される入力操作の数および種類、表示項目の数、表示項目の色、表示される文字数等を含めることができる。表示制御部１１３は、前述したように、プログラムを実行することにより出力される描画命令に従って、表示画面を構成するコンテンツやＧＵＩ部品をメモリ１１５に出力するので、送受信制御部１１７は、表示画面の該属性情報を、表示制御部１１３からの情報に基づいて取得することができる。

こうして、画面データとその属性情報、および音声データが、送受信制御部１１７から、車内通信部１７を介して車載機器２０に送信される。車載機器２０の車内通信部２７は、これらを受け取り、画面データおよび音声データを、一時的にメモリ２１１に記憶すると共に、属性情報を、出力制御部２１３に渡す。

出力制御部２１３は、受け取った属性情報と、センサ２９により検出された車両の走行状態とに基づいて、受け取った画面データおよび音声データの表示装置２１およびスピーカ２２への出力形態を制御する。この制御は、たとえば、安全性の観点から行われることができる。たとえば、出力制御部２１３は、属性情報に基づいて、受け取った画面データが、安全性の観点から決められた所定の条件を満たすかどうかを判断する。該所定の条件を満たすならば、該受け取った画面データを、メモリ２１１から読み出して、加工することなく、そのまま表示装置２１上に出力する。該所定の条件を満たさなければ、該受け取った画面データを、メモリ２１１から読み出して、該所定の条件を満たす程度にまで加工処理を施し、該加工処理が施された画面データを、表示装置２１上に出力する。該所定の条件を満たす程度にまで加工処理を施すことができないと判断した場合には、該画面データの表示装置２１上への出力を禁止する。

また、出力制御部２１３は、音声出力が、該所定の条件を満たすかどうかを判断する。該所定の条件を満たすならば、受け取った音声データを、メモリ２１１から読み出し、そのまま再生して、スピーカ２２を介して出力する。該所定の条件を満たさなければ、該所定の条件を満たす時点まで該出力を時間的に遅延させる。該所定の条件を満たすのが困難と判断した場合には、該音声データのスピーカ２２を介しての出力を禁止する。

該所定の条件には、たとえば、（１）車両の走行状態（センサ２９から得られた車速等）に基づく条件、（２）アプリケーション（プログラム）の処理内容（アプリケーションの種類等）に基づく条件、（３）表示内容（項目数、色等）に基づく条件、（４）音声に基づく条件（音声出力のタイミング等）、を含めることができる。このように、出力制御部２１３を設けることにより、携帯機器のアプリケーションによって提供されるサービスを、車内のユーザはより安心して享受することができる。

たとえば、携帯機器１０でナビゲーションのアプリケーションを実行すると、前述したように、携帯機器１０は、現在の位置を検出して、該現在位置周辺の地図データを取得する。該地図データに現在位置が重畳された画面データは、メモリ１１５に格納される。ここで、該メモリ１１５に記憶される画面データの解像度は十分に大きい。送受信制御部１１７によって、該メモリから、車載機器２１の表示装置２１と同じ解像度の画面データが切り出され、その属性情報と共に車載機器２０に送られる。こうして、車載機器２０の表示装置２１上に、自車両周辺の地図データを表示することができる。同様に、携帯機器１０のナビゲーションの機能によって目的地までの経路が算出されたならば、車載機器２０の表示装置２１上に、該目的地までの経路が重畳された地図データを表示させることができる。これらの表示は、出力制御部２１３によって、たとえば車両の安全性を確保するための所定の条件を満たした状態で行われるため、車両の運転者は、安心して、該ナビゲーションの機能によって提供される表示画面を表示装置２１上で視認することができる。このように、専用のナビゲーション装置を車両に設置していない場合でも、携帯機器のナビゲーション機能を、車両用のナビゲーションとして利用することができる。

車載機器２０の表示装置２１に上記のようにして表示された画面データには、たとえばキー入力やボタン選択などの入力操作を受け付ける部分が含まれていることがある。この場合、表示装置２１のタッチパネルや所定のキー等の入力装置２３を介して、ユーザは、入力操作を行うことができる。該入力操作に応じた信号は、車内通信部２７を介して携帯機器１０に送信される。携帯機器１０の送受信制御部１１７は、車内通信部１７を介して該信号（データ）を受け取り、必要であればアプリケーション実行部１１１が解釈可能な形態の信号に変換して、該アプリケーション実行部１１１に渡す。アプリケーション実行部１１１は、現在実行中のプログラムに従って、該受け取った信号に応じた処理を行う。その結果、新たな表示画面を出力する場合には、前述したような処理を経て、画面データが、その属性情報と共に、再び送受信制御部１１７から車載機器２０へと送信される。

このように、アプリケーションのプログラム実行は、携帯機器１０で行われるが、その結果として生成される表示画面および音声のデータは、車載機器２０の表示装置２１およびスピーカ２２を介して出力される。このとき、携帯機器１０のディスプレイ１１およびスピーカ１２に対する該表示画面および音声の出力については、禁止するようにしてもよい。たとえば、携帯機器１０の処理部１４は、車載機器２０が接続されたことを検知することにより、表示制御部１１３および音声制御部１１４に対し、ディスプレイ１１およびスピーカ１２への出力を禁止する信号を出力することができる。

上記では、携帯機器１０と車載機器２０の間のデータ通信に関して説明したが、携帯機器１０の音声通話機能にも、車載機器２０を利用することができる。たとえば、携帯機器１０は、車載機器２０と接続されたことを検知して、音声通話を行うための音声データの入出力先を、車載機器２０に切り換える。そして、携帯機器１０によって外部と音声通話の接続がなされたとき、携帯機器１０が受信した音声データは、車載機器２０に伝えられてスピーカ２２を介して出力され、車載機器２０の入力装置２３に備えられたマイクロホンを介して入力された音声データは、携帯機器１０に伝えられて外部に送信される。こうして、車両の乗員は、ハンズフリーで音声通話を行うことができる。なお、音声通話についても、出力制御部２１３による制御を介してもよい。

以上のように、この実施形態では、携帯機器と車載機器が一体的なシステムを構成し、互いに通信可能なようになっているが、携帯機器の入力に関するユーザ・インターフェースと、車載機器の入力に関するユーザ・インターフェースとが異なる場合がある。

典型的な例として、携帯機器のディスプレイ上に構成されるタッチパネルについては、静電容量方式が多く用いられ、車載の表示装置の表示画面上に構成されるタッチパネルについては、抵抗膜方式が多く用いられている。

静電容量方式は、タッチパネルの表面全体に電界を形成し、タッチした部分の表面電荷の変化を捉えることにより位置の検出を行う。押さえるものは、指や指と同等の静電的な導電性のものが必要とされる。静電容量方式のうち、特に投影型と呼ばれるものでは、多点検出が可能なことが特徴となっている。静電容量方式は、検出精度は高いが、大型化が困難という面もある。

他方、抵抗膜方式は、ガラスやフィルム面に電圧を加え、タッチ部が押圧されたことによる導通位置で、操作された位置の検出を行う。静電容量方式より価格が安く、大型化しやすい。手袋等をしていても操作が可能であり、車載の表示装置に利用されている実績が長い。

上記に示したように、たとえば携帯機器が静電容量方式（投影型）のタッチパネルを採用しており、車載機器の表示装置が抵抗膜方式のタッチパネルを採用している場合、前者では、多点検出すなわち複数の位置に対する同時のタッチ操作の検出が可能であるが、後者では、該多点検出は、基本的に困難である。多点検出が可能なことにより、静電容量方式のタッチパネルを採用している携帯機器では、いわゆるマルチタッチ入力やジェスチャ入力と呼ばれる入力を受け付けるよう構成されていることが多い。マルチタッチ入力は、複数の位置に同時に触れることにより、対象物（オブジェクト）を操作する入力方式である。ジェスチャ入力は、単に位置を特定するだけでなく、方向および（または）大きさ（量）を含めて、対象物の動きを操作する入力方式である。マルチタッチ入力が可能となることで、シングルタッチ入力に比べて、様々なジェスチャ入力が可能となっている。

たとえば、図４の（ａ）には、たとえば静電容量方式のような多点検出が可能なタッチパネルに対して操作可能となっているマルチタッチ操作の一例として、フリック操作、２本の指でタップする操作、つまむ操作、ひろげる操作が示されている。

フリック操作は、文字入力やスクロールにおいて画面を指先ではじく（はらう）操作であり、指先ではじいた方向に、はじいた量に応じて、画面内の対象物をスクロールするため、ジェスチャ操作ともいえる。２本の指でタップする操作は、２本の指を同時にタップ（１回押し）する操作であり、たとえば、タップした位置を中心として、所定の操作（たとえば、再表示等）を指示することができる。つまむ操作は、２本の指で画面をつまむ操作であり、２本の指で触れた所の間の対象物を、つまんだ方向に、つまんだ量に応じて縮小するジェスチャ操作である。ひろげる操作は、２本の指で画面を広げる操作であり、２本の指で触れた所の間の対象物を、広げた方向に、広げた量に応じて拡大するジェスチャ操作である。

他方、図４の（ｂ）に示されるように、タップ（１回押し）操作、ダブルタップ（２回押し）操作、ドラッグ（画面上で指をずらす）操作は、基本的に、静電容量方式および抵抗膜方式の両方で操作可能な入力操作である。

このように、入力に関するユーザ・インターフェースが、携帯機器と車載機器との間で異なると、携帯機器を車載機器に接続したユーザは、携帯機器で操作可能であったものが、車載機器で操作可能とはならず、よって、携帯機器のアプリケーションを起動させても、車載機器の入力装置を介して該アプリケーションを十分に操作することができない、ということが生じうる。

そこで、本願発明は、携帯機器と車載機器の間のユーザ・インターフェースの違いを補償すべく、携帯機器に対して可能な入力操作を、車載機器に対しても実現可能なようにする手法を提案するものである。この具体的な手法を、以下、説明する。

図５は、この発明の一実施形態に従う、図１〜図３を参照して説明した構成を利用して、上記のユーザ・インターフェースの違いを補償するためのシステムについて、携帯機器１０の処理部１４、および車載機器２０の処理部２４を、機能ブロックで表したものである。図１および図３と同じブロックには、同じ符号が付されている。なお、図３を参照して説明した、ドライバとしての役割を果たす送受信制御部１１７は、ここでは、携帯機器１０と車載機器２０との間でデータ（信号）を通信する際に、必要なデータ形式の変換等を行う。

たとえば携帯機器１０が車載機器２０に接続されたことに応じて、もしくは携帯機器１０でアプリケーションが起動したことに応じて、入力操作相違抽出部５１は、携帯機器１０が認識可能な入力操作（の種類）と、車載機器２０が認識可能な入力操作（の種類）との相違（差）を抽出する。この実施形態では、相違として抽出される入力操作として、少なくとも、タッチパネルに対する入力操作が含まれる。したがって、入力操作相違抽出部５１は、少なくとも、携帯機器１０のタッチパネルディスプレイ１１が認識可能な入力操作の種類と、車載機器２０の表示装置２１のタッチパネルディスプレイ３７が認識可能な入力操作の種類との差を見極める。なお、相違として抽出される入力操作として、該タッチパネルに対する入力操作以外の操作（たとえば、キーボードやボタン等に対する操作や、携帯機器自体を傾けたり、振らしたりする動作）を含めてもよい。

この差の抽出は、任意の適切な手法で行うことができる。一実施形態では、接続された携帯機器１０の機種を検知する。この検知は、たとえば、携帯機器１０が該機種を示す信号を車載機器２０に送信することにより、実現されることができる。

通常、携帯機器の機種によって、該携帯機器が受付可能な入力操作は決まっているので、該機種を検知することにより、該携帯機器が認識可能な入力操作を判断することができる。代替的に、このような判断を行うことが可能であれば、製品名や製品番号等を、機種に代えて、もしくは機種に追加して用いてもよい。

車載機器２０の記憶部２５（図５には図示せず）には、携帯機器の機種毎に、該携帯機器が認識可能な入力操作を予め規定して記憶しておくことができる。相違抽出部５１は、該検知した携帯機器の機種に基づいて該記憶部２５を参照し、対応する入力操作を取得する。

他方、車載機器２０の表示装置２１のタッチパネルディスプレイ３７が認識可能な入力操作は、予め決まっている。したがって、相違抽出部５１は、該取得した携帯機器１０の入力操作と、該車載機器２０の入力操作とを比較し、両者の差（相違）、より具体的には、携帯機器１０の入力操作のうち、車載機器２０の入力操作に含まれない入力操作を抽出する。

たとえば、図４に示すように、携帯機器１０が、（ａ）および（ｂ）に示される入力操作を認識可能であり、車載機器２０が、（ｂ）に示される入力操作を認識可能な場合、相違抽出部５１によって、（ａ）に示される入力操作が、該差として求められることとなる。

代替的に、タッチパネル方式（静電容量方式の投影型か、それとも抵抗膜方式か、等）の相違から、上記入力操作の相違を抽出してもよい。たとえば、相違抽出部５１は、該携帯機器１０から、該携帯機器１０のディスプレイ１１のタッチパネル方式を示すデータを取得する。あるいは、携帯機器の機種毎に、タッチパネルの方式を予め記憶部２５に記憶し、上記のように取得した該携帯機器１０の機種から、対応するタッチパネル方式を求めてもよい。相違抽出部５１は、該携帯機器１０のタッチパネル方式と、車載機器２０のタッチパネル方式とが異なる場合、携帯機器１０のタッチパネル方式に関連づけて予め決められた入力操作のうち、車載機器２０のタッチパネル方式に関連づけて予め決められた入力操作に含まれない入力操作を抽出することができる。

好ましくは、再現判定部５２が設けられる。再現判定部５２は、上記相違として抽出された入力操作のうち、車載機器２０上では再現が困難なものがあるかどうかを判断し、困難と判断した入力操作については再現を禁止し、困難と判断されなかった入力操作については、再現を許可する。

所定の基準に従って、該再現性の判断を行うことができる。たとえば、前述したように、携帯機器自体を、左右に振らすことで画面をスクロールしたり、傾けたりすることで画面内の映像を様々な角度から見たりするという入力操作を採用している携帯機器もある。このような、携帯機器自体を空間的に動かす入力操作（とりわけ、該携帯機器を空間的に動かす量に応じて画面内の対象物を動かす入力操作）は、車載機器２０上で再現するのが困難なことが多い。したがって、再現判定部５２は、上記相違として抽出された入力操作のうち、このような入力操作が存在すれば、これらについて、再現を禁止することができる。

また、たとえば、該相違として抽出された入力操作が所定数以上ある場合には、車載機器２０で再現する入力操作数が多すぎるため、該所定数以下になるよう、再現する入力操作数を制限するようにしてもよい。たとえば、所定の基準に従って、ユーザが利用する頻度が高いと想定される入力操作を所定数選択し、これらについては再現を許可し、他の入力操作については再現を禁止することができる。

再現判定部５２によって、再現が許可された入力操作があれば、入力操作項目表示部５３は、該許可された入力操作のそれぞれに対応する入力操作項目を、表示装置２１の表示画面上に表示する。ここで、前述したように、携帯機器の機種によって該携帯機器が認識可能な入力操作は予め決まっており、また、再現禁止とすべき入力操作も予め所定の基準に従って決めることができるので、再現許可となる入力操作を予め想定することができる。したがって、該再現許可となりうる入力操作のそれぞれに対応して、入力操作項目のＧＵＩ部品を予め用意して記憶部２５に記憶することができる。入力操作項目表示部５３は、今回の判定で再現を許可された入力操作に対応する入力操作項目のＧＵＩ部品を記憶部２５から読み出し、表示画面上に表示する。

ここで、図６を参照して、入力操作項目のＧＵＩ部品の一例について説明する。（ａ１）は、車載機器２０に接続された携帯機器１０のディスプレイ１１を示し、この例では、携帯機器１０のナビゲーションのアプリケーションを起動することによって取得された地図データが表示されている（前述したように、車載機器２０に接続された時点で、ディスプレイ１１の出力を禁止してもよい）。この携帯機器のディスプレイ１１のタッチパネルは、多点検出が可能な静電容量方式を採用している。よって、図４の（ａ）に示すようなマルチタッチ操作およびジェスチャ操作が可能となっており、これらが、（ａ２）にそれぞれ示されている。フリック操作は、１本の指で画面上の所望の位置をタップした後、該位置をはじく操作である。これにより、指ではじかれた位置の画像は、該指ではじいた方向に、はじいた量（強さ）に応じたスクロール量だけ移動する。つまむ操作は、２本の指で画面上の所望の位置をタップした後、該２本の指の間の間隔をつまむ（狭める）ように指を動かす操作である。これにより、２本の指の間の画像は、該つまんだ方向に、つまんだ量に応じて縮小される。広げる操作は、２本の指で画面上の所望の位置をタップした後、該２本の指の間の間隔を広げるように指を動かす操作である。これにより、２本の指の間の画像は、該広げた方向に、広げた量に応じて拡大される。２本の指でタップする操作は、２本の指を同時にタップ（１回押し）する操作であり、ここでは、タップした位置を中心として、地図データを再表示する。

（ｂ１）は、車載機器２０の表示装置２１のタッチパネルディスプレイ３７を示し、これは、多点検出が不可能な抵抗膜方式を採用している。この例では、該ディスプレイ３７に、（ａ１）と同様の地図データが表示されている。図３を参照して説明したように、該表示されている地図データは、携帯機器１０のナビゲーションのアプリケーションを起動することによって車載機器２０に送信された地図データ（画面データ）である。（ｂ２）は、（ａ２）に示すそれぞれの入力操作に対応して、車載機器２０上でどのようにこれらの入力操作を再現するかについて示している。

この例においては、携帯機器１０のアプリケーションから出力されたデータを表示することに応じて、車載機器２０は、タッチパネルディスプレイ３７の所定の領域７１に、該携帯機器のアプリケーションからのデータであることをユーザに通知するため、符号７２に示すように、「ケータイアプリ」という表示を行っている。その後、相違抽出部５１により抽出されて、再現判定部５２により再現許可と判定された入力操作が、（ａ２）に示す、フリック操作、つまむ操作、ひろげる操作、２本の指でタップする操作であるとする。該再現許可の判定に応じて、入力操作項目表示部５３は、これらの操作のそれぞれに対応するＧＵＩ部品を抽出して、図の符号７３〜７６にそれぞれ示すように、該所定の領域７１に、「はじく」、「つまむ」、「ひろげる」「２本指」というＧＵＩ部品すなわち入力操作項目を表示する。これらの入力操作項目は、いずれも、１本の指によるタップ操作によって選択可能なように構成されている。

図５の入力操作識別部５４は、これらの入力操作項目のいずれかが選択されて、該選択された入力操作項目に沿った操作がユーザによって車載機器２０のタッチパネル３７上で行われたならば、該操作の種別、該操作の位置、および、ジェスチャ操作の場合には該操作の方向および量（大きさ）を識別する。

この点について、図６の例を参照して具体的に説明すると、ユーザは、画面に表示されている画像（地図データ）を、左方向に画面幅の半分程度をスクロールすることを所望すると仮定する。携帯機器１０では、このような操作は、ユーザは、たとえば画面上の任意の位置を起点として、左方向へ、該半分程度のスクロール量に応じた強さで指ではじく、というフリック操作を行うことにより実現されることができる。しかしながら、車載機器上のタッチパネル３７では、フリック操作自体が認識されない。

そのため、ユーザは、まず、「はじく」という入力操作項目７３を選択（タップ）してから、はじく起点とする位置を画面上でタップする。入力操作識別部５４は、このユーザ操作に応じて、操作の種類として、「はじく」という入力操作項目に対応するフリック操作を識別し、かつ「はじく」操作の位置を識別する。入力操作識別部５４は、図６の（ｂ２）の上段に示されるように、「はじく」操作に対応して予め用意された十字型の矢印８１を、該画面上でタップされた位置に表示する。

これに応じて、ユーザは、はじこうとする方向の矢印を選択し、該選択した矢印上において、十字の中心から、はじこうとする量に応じた距離だけドラッグする（代替的に、該距離の所をタップするのでもよい）。このユーザ操作に応じて、入力操作識別部５４は、「はじく」操作の方向と量（大きさ）を識別する。この例では、ユーザは、左方向の矢印８２を選択し、十字の中心から、該矢印８２の中点あたりまでをドラッグ操作する様子が示されている。そのため、入力操作識別部５４により、はじく操作の方向は左と識別され、また、十字の中心から、ドラッグないしタップされた位置までの距離ｘが、はじく操作の量として識別される。

他の操作についても、同様の識別処理が行われる。たとえば、ユーザが、画面に表示されている画像（地図データ）の或る領域を、上下方向に縮小することを所望すると仮定する。携帯機器１０では、このような操作は、ユーザが、画面上の該領域を２本の指でつまみ、上下方向へ、縮小したいと望む大きさに応じた量だけ指の間の間隔をせばめる、という「つまむ操作」を行うことにより実現されることができる。しかしながら、車載機器２０上のタッチパネル３７では、このようなつまむ操作自体が認識されない。

そのため、ユーザは、「つまむ」という入力操作項目７４を選択（タップ）してから、縮小したいと望む領域の一端を起点として選択（タップ）し、該起点から、縮小したいと望む方向へ、該縮小したいと望む領域の他端まで、指をドラッグさせる。ここで、図６の（ｂ）の中段に示されるように、入力操作識別部５４は、起点をタップしたことに応じて、符号８５に示すような丸印を表示し、ドラッグされるにつれて、その方向に矢印８６を表示する。この例では、ユーザは、起点８５から、距離ｘだけ、下方向にドラッグしている。入力操作識別部５４は、このユーザ操作に応じて、操作の種類として、「つまむ」という入力操作項目に対応するつまむ操作を識別し、かつ、タップされた起点、ドラッグした方向、およびドラッグした距離ｘを、それぞれ、つまむ操作の位置、方向および量として識別する。

ひろげる操作についても同様のことが行われ、ユーザは、「ひろげる」という入力操作項目７５を選択（タップ）してから、拡大したいと望む領域の一端を起点として選択し、該起点から、拡大したいと望む方向へ、該拡大したいと望む領域の他端まで、指をドラッグさせる。ここで、入力操作識別部５４は、起点をタップしたことに応じて、符号８５に示すような丸印を表示し、ドラッグされるにつれて、その方向に矢印８６を表示する。入力操作識別部５４は、このユーザ操作に応じて、操作の種類として、「ひろげる」という入力操作項目に対応するひろげる操作を識別し、かつ、タップされた起点、ドラッグした方向、およびドラッグした距離ｘを、それぞれ、ひろげる操作の位置、方向および量として識別する。

また、たとえば、ユーザが、画面に表示されている画像（地図データ）の或る地点を中心に、地図データを再表示することを所望すると仮定する。携帯機器１０では、このような操作は、ユーザが、画面上の該地点を２本の指でタップすることにより実現されることができる。しかしながら、車載機器上のタッチパネルでは、２本の指でタップする操作自体が認識されない。

そのため、ユーザは、まず、「２本指」という入力操作項目を選択（タップ）してから、タッチパネル３７上の該地点をタップする。入力操作識別５４は、図６の（ｂ２）の下段に示されるように、「２本指」操作に対応して予め用意された２本指マーク８８を、所定時間の間、該タッチパネル３７上でタップされた位置に表示する。この表示は、ユーザに、２本指タップと認識されたことを知らせるためのものである。入力操作識別部５４は、操作の種類として、「２本指」という入力操作項目に対応する２本指でタップする操作を識別し、かつ２本指でタップする操作の位置を識別する（この操作は、ジェスチャ操作ではないので、操作量と操作方向は識別されない）。

こうして、携帯機器に対して認識可能な入力操作を擬似的に模すことにより、ユーザは、車載機器に対しても、該携帯機器に対する入力操作と同様の感覚で操作することができる。また、各入力操作項目に応じて、符号８１〜８８に示すような図形が表示されるので、ユーザは、自身が意図する操作が車載機器２０によって認識されていることを確認することができる。

図５に戻り、操作量修正部５５が、必要に応じて設けられ、これは、携帯機器１０が、ディスプレイ１１に対する入力操作の操作量を、ディスプレイ１１の大きさに対して相対量として処理する場合に、識別部５４によって識別された操作量を、該相対量に修正するよう動作する。

具体的に説明すると、フリック操作のようなジェスチャ操作では、指を動かした量（指の操作量）に応じて、画面内の対象物の移動量が決められる。たとえば、フリック操作でスクロールを行う場合、指ではじいた量（はじいた速度）に応じて、対象物のスクロール量が決められる。

対象物の移動量の決め方には、大別して二通りある。ディスプレイの大きさに依存せずに、指の操作量（絶対量）に応じて対象物の移動量が決められる場合と、指の操作量のディスプレイの大きさに対する相対量（割合）に応じて対象物の移動量が決められる場合とである。

前者の場合には、車載機器２０のタッチパネル３７上での操作量は、携帯機器１０のタッチパネル１１上での操作量の絶対量を表すものとして用いることができる。したがって、上記のような操作量修正部５５は必要とされず、識別部５４」によって求められた操作量を、そのまま携帯機器１０に送信することができる。

後者の場合、識別部５４によって算出された操作量（絶対量を示す）を、該車載機器２０のタッチパネル３７の大きさ（左右方向への操作ならば、タッチパネルの該左右方向の長さ）に対する相対量に換算して携帯機器１０に送信すると、ユーザが所望する量だけ対象物を移動できないおそれがある。すなわち、この実施形態にあるように、車載機器２０のタッチパネル３７の大きさが、携帯機器１０のタッチパネル１１の大きさより大きい場合に、携帯機器１０のタッチパネル１１を操作する感覚で車載機器２０のタッチパネル３７を操作すると、相対量としての操作量は小さいものとなってしまう。結果として、携帯機器１０では、一画面分をスクロールできた操作の感覚で車載機器２０のタッチパネル３７を操作すると、半画面分しかスクロールできないという現象が生じうる。

携帯機器１０を操作する感覚となるべく同じような感覚で車載機器２０を操作できるようにするため、操作量修正部５５は、上記の後者の場合には、識別部５４によって算出された絶対量としての操作量を、携帯機器１０のタッチパネル１１の大きさに対する相対量に換算する。たとえば、図６の（ｂ２）のフリック操作に示されるように、識別部５４によって、左方向に、距離ｘだけ操作されたと判別されたならば、該ｘの、携帯機器１０のタッチパネル１１の左右方向（図では、横方向）の長さに対する割合を、携帯機器１０に送るべき操作量として算出する。

絶対量として操作量を捉える前者の場合と、相対量として操作量を捉える後者の場合と、どちらが適用されるかについての判断については、たとえば、携帯機器の機種毎に予め決まっていれば、前述したように入力操作相違抽出部５１によって該機種を検知する際に、該判断を行うことができる。あるいは、相違抽出部５１によって両者の入力操作の相違を抽出する際に、該抽出した入力操作毎に、携帯機器１０から、操作量が絶対量なのか相対量なのかに関する情報を取得してもよい。

伝達部５６は、識別部５４によって識別された、操作の種類、操作の位置、操作の方向、および操作の量から成るデータを、入力操作データとして生成し、該入力操作データを、携帯機器１０に送信する。なお、ジェスチャ操作でない場合には、操作の方向および量は識別されず、よって、入力操作データに含めなくてよい。

たとえば、上記の図６の「はじく」という入力操作項目が選択された例では、操作の種類としてフリック操作が識別され、操作の位置として、タッチパネル３７でタップされた位置が識別され、操作の方向および量として、左方向、および十字の中心からドラッグした距離の値ｘが識別されたので、これらが、入力操作データとして携帯機器１０に送信される。前述したように、操作量修正部５５によって操作量の絶対量が相対量に換算された場合には、該相対量が、代わりに入力操作データに含められて送信される。

携帯機器１０で受信された該入力操作データは、送受信制御部１１７によってアプリケーション実行部１１１に渡される。アプリケーション実行部１１１は、プログラムを介して、受信した入力操作データの内容に従って、画面内の対象物を操作する。たとえば、上記の「はじく」という入力操作項目が選択された例では、入力操作データに含まれる「操作の位置」から、左方向に、「操作の量」に応じた量だけ、現在の表示画面（地図データ）をスクロールした画面を生成し、前述したように、表示制御部１１３を介してメモリ１１５に記憶し、これが、送受信制御部１１７によって切り出されて、車載機器２０に送られ、表示装置２１上に表示される。

こうして、携帯機器１０は認識可能であるが車載機器２０は認識できない入力操作についても、該車載機器２０上で実現することができる。したがって、両者のユーザ・インターフェースに違いがあっても、携帯機器１０のアプリケーションを、車両内で操作することができる。当然ながら、携帯機器１０および車載機器２０の両方で認識可能な入力操作（たとえば、図４の（ｂ）に示されるような入力操作）については、前述したように、車載機器２０の表示装置２１のタッチパネル３７により認識されて、その内容が携帯機器１０に渡されるため、図６に示すような入力操作項目を選択する等の操作は必要とされない。

好ましくは、警告部５７が設けられる。警告部５７は、再現判定部５２によって再現が許可された入力操作がある場合には、ユーザ（乗員）に、操作に制限が生じることを知らせる。携帯機器および車載機器の両方とも、見た目が似ているタッチパネルディスプレイを備えているため、ユーザによっては、携帯機器と全く同じように車載機器を操作できると誤って認識するおそれがある。このような警告を与えることで、ユーザに、入力操作によっては、携帯機器と同じようには操作できないことを知らせることができる。

該警告は、任意の形態で行うことができ、表示装置２１への表示を介して、および（または）スピーカ２２への音声出力を介して知らせることができる。たとえば、図６の（ｂ１）の符号７８に示すように、「操作制限中」という趣旨の表示を行うことにより、ユーザに警告することができる。また、再現判定部５２によって再現が禁止された入力操作があれば、該禁止された入力操作についての情報を、ユーザに知らせるようにしてもよい。

なお、図６の（ｂ１）の符号７９は、「表示回転」という、タップ操作によって選択可能な項目である。携帯機器１０によっては、ディスプレイに表示すべき内容を、縦方向に表示するのか、それとも横方向に表示するのかを、所定の入力操作（たとえば、携帯機器自体を傾ける操作）によって指定することができるものがある。このような携帯機器１０では、表示する内容の方向を自在に変更することができる。これを、車載機器２０でも使用可能なように、「表示回転」という選択項目を表示している。「表示回転」項目を選択するたびに、縦方向の表示と横方向の表示とを切り換えることができる。なお、上記のように、入力操作相違抽出部５１によって、このような表示切り替えの入力操作が相違として抽出された場合に、入力操作項目表示部５３によって「表示回転」項目を表示するようにしてもよい。

代替の実施形態では、操作量修正部５５を、携帯機器１０に設けるようにしてもよく、たとえば、送受信制御部１１７が、該操作量修正部５５の処理を実現してもよい。たとえば、送受信制御部１１７は、携帯機器１０が、操作量を絶対量として認識する場合には、識別部５４によって識別されて車載機器２０から送られてきた操作量（絶対量）を、そのままアプリケーション実行部１１１に渡し、携帯機器１０が、操作量を相対量として認識する場合には、該送られてきた操作量を該相対量に換算した上でアプリケーション実行部１１１に渡す。このような構成を取ることにより、車載機器２０側で、携帯機器１０が、操作量を絶対量として認識するか相対量として認識するかを識別する必要がなくなる。また、入力操作の種類に応じて、絶対量を用いるか相対量を用いるかが異なる場合でも、携帯機器１０側で判断することにより、対応が容易になる。

さらなる代替の形態では、図５に示すような、入力操作相違抽出部５１〜操作量修正部５５および警告部５７を、携帯機器１０側に設けてもよい。この場合、相違抽出部５１は、車載機器２０から、車載機器２０のタッチパネル３７が認識可能な入力操作を取得し、これと、携帯機器１０のタッチパネル１１が認識可能な入力操作とを比較して、相違を抽出すればよい。再現判定部５２によって、前述したように、該抽出された入力操作のうち、所定の条件を満たすものは再現許可と判定され、該条件を満たさないものは再現禁止と判定される。再現許可と判定された入力操作があれば、該入力操作に対応する入力操作項目のＧＵＩ部品を、車載機器２０に送信する。代替的に、該入力操作に対応する入力操作項目の情報を車載機器２０に送信し、車載機器２０が、記憶部２５から対応するＧＵＩ部品を読み出して、図６の（ｂ１）に示すように表示してもよい。また、警告部５７は、操作が制限される趣旨の表示を行うよう車載機器２０に指示することができ、これに応じて、車載機器２０が、符号７８で示すような表示を表示装置２１上に行うことができる。

いずれかの入力操作項目が選択されて、タッチパネル３７上で位置が選択されたならば、該選択された入力操作項目と選択された位置を示す信号が携帯機器１０に送信される。入力操作識別部５４は、この信号に応じて、前述したように、対応する図形を表示するよう車載機器２０に指示する。たとえば、「はじく」という項目が選択されたならば、十字型の矢印８１を表示するよう車載機器２０に指示し、これに応じて、車載機器２０は、該十字型の矢印８１を表示する。

ジェスチャ操作の場合には、こうして表示された図形に対し、さらに、ユーザ操作が行われ、たとえば、前述したようなドラッグ操作が行われる。ドラッグ操作が行われた方向および距離を示すデータが、携帯機器１０に送信され、これに応じて、識別部５４は、操作方向および操作量を識別する。前述したように、必要に応じて、該識別された操作量（絶対量）は、相対量に換算される。こうして、車載機器２０のタッチパネル３７上で行われた操作の種類、操作の位置、操作の方向および量が、携帯機器１０側で判断され、これらがアプリケーション実行部１１１に渡される。

上記に述べた入力操作の種類は、限定されるものではなく、様々な入力操作に、本願発明を適用することができる。

また、上記では、相違として抽出した入力操作のそれぞれについて、対応する入力操作項目を表示し、該項目が選択されたことに応じて、携帯機器の対応する入力操作の種類を識別した。代替的に、該入力操作の種類の識別を、自動的に行うようにしてもよい。該相違として抽出された入力操作については、車載機器のタッチパネルは基本的に認識不可能であるが、ユーザの操作の仕方によっては、該認識不可能な入力操作のいずれかを行っていることを推定することができる。

たとえば、この実施形態では、フリック操作は、車載機器２０のタッチパネル３７では認識することができない。しかしながら、ユーザが、タッチパネル３７に対して、はじくような動作をしていると推定されるとき、操作の種類をフリック操作と判断し、該判断に応じて、前述したような十字型の矢印８１を表示して、はじく方向および量を入力させるようにしてもよい。たとえば、所定回数以上、短時間のタップ操作が、ほぼ同じ位置に対して行われたとき、フリック操作と推定することができる。

代替的に、車載機器２０のタッチパネル３７で認識不可能な入力操作をしていると推定される場合に、上記のような入力操作項目を表示するようにしてもよい。たとえば、上で述べたように、所定回数以上、短時間のタップ操作が、ほぼ同じ位置に対して行われたとき、フリック操作をしていると推定されるため、「はじく」という入力操作項目を表示して、改めて、ユーザに、フリック操作に相当する入力操作（前述したように、はじくという項目を選択し、画面上の位置を選択し、はじく方向および量を選択する）を行うよう促してもよい。

図７は、図５の実施形態に従う、入力操作項目の表示プロセスのフローチャートを示す。該プロセスは、たとえば所定の時間間隔で、たとえば車載機器２０のＣＰＵによって、より具体的には、入力操作相違抽出部５１、再現判定部５２、入力操作項目表示部５３および警告部５７によって実行されることができる。

ステップＳ１１において、携帯機器１０のアプリケーションが起動されたかどうかを判断する。アプリケーションが起動されていなければ、車載機器２０の表示装置２１上に、該アプリケーションからの出力は表示されないため、当該プロセスを抜ける。アプリケーションが起動されたならば、ステップＳ１２において、前述したように、携帯機器１０の機種を検知する。ステップＳ１３において、該機種に基づいて、携帯機器１０が認識可能な入力操作を判定し、該入力操作と、車載機器２０が認識可能な入力操作との差を抽出する。ここでの差は、携帯機器１０では認識可能であるが、車載機器２０では認識可能でない入力操作を示している。

ステップＳ１４において、差として抽出された入力操作のそれぞれについて、前述したように、所定の条件を用い、車載機器２０上で再現を許可するか否かを判定する。ステップＳ１５において、再現を許可する入力操作がなければ、車載機器２０上で擬似的に模する入力操作は存在しないため、ステップＳ１８において操作再現フラグにゼロを設定してから、当該プロセスを抜ける。

再現を許可する入力操作があれば、図６の（ｂ１）の所定領域７１に示すように、ステップＳ１６において、操作が制限されることに関する警告を、表示装置２１および（または）スピーカ２２を介してユーザに出力すると共に、該入力操作のそれぞれに対応する入力操作項目を表示装置２１上に表示する。ステップＳ１７において、操作再現フラグに値１を設定する。

図８は、図５の実施形態に従う、入力操作を再現するプロセスのフローチャートを示す。該プロセスは、たとえば車載機器２０のＣＰＵによって、より具体的には、入力操作識別部５４、操作量修正部５５および伝達部５６によって、繰り返し実行されることができる。

ステップＳ２１において、操作再現フラグの値が１かどうかを判断する。この判断がＮｏであれば、図７に示すような、車載機器２０で操作を再現するための事前処理が行われていないため、当該プロセスを抜ける。該フラグの値が１ならば、ステップＳ２２において、いずれかの入力操作項目が選択されるのを待つ。選択されたならば、ステップＳ２３において、車載機器２０の表示装置２１のタッチパネル３７上でユーザによって位置が選択（タップ）されるのを待つ。位置が選択されたならば、ステップＳ２４において、該選択された位置に、ステップＳ２２で選択された入力操作項目に対応する図形を表示する。こうして、操作の種類および操作の位置が、識別される。たとえば、前述したように、図６の（ｂ１）の「はじく」という入力操作項目が選択された例では、タッチパネル３７上で位置が選択されたならば、該選択された位置に、図６の（ｂ２）に示すような十字型の図形８１が表示される。

ステップＳ２５は、ジェスチャ操作の場合に実行され、ステップＳ２４で表示された図形に対して、ドラッグ操作等の所定の操作が行われるのを待つ。前述したように、図６の（ｂ１）の「はじく」という入力操作項目が選択された例では、前述したように、ユーザは、図６の（ｂ２）に示すように、図形８１の中心からドラッグ操作を行うことにより該操作の方向と量を入力する。これにより、操作の方向および量が識別される。なお、選択された入力操作項目に対応する入力操作がジェスチャ操作でない場合には、ステップＳ２５はスキップされる。

ステップＳ２６において、タッチパネル３７に対して行われた操作の種類、操作の位置、およびジェスチャ操作の場合にはさらに操作の方向および操作の量を示すデータから成る入力操作データを生成する。この時、前述したように、必要に応じて、操作の量（絶対量）は、相対量に換算されて、入力操作データに含められる。ステップＳ２７において、該生成した入力操作データを、携帯機器１０に送信する。

なお、図７のプロセスは、車載機器２０に接続された携帯機器１０でアプリケーションが起動されるたびに１回実行されるようにしてもよく、あるいは、携帯機器１０が車載機器２０に接続されたときに１回実行されるようにしてもよい。この場合、操作再現フラグは、携帯機器１０でアプリケーションが終了した場合、もしくは携帯機器１０が車載機器２０に対して接続解除された場合には、ゼロにリセットされる。

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

１０ 携帯機器
１１ ディスプレイ（タッチパネル）
１３ 入力操作部
２０ 車載機器
２１ 表示装置
２２ スピーカ
２３ 入力装置
３７ タッチパネルディスプレイ

Claims (8)

1. 車両に搭載され、表示装置に接続されると共に、情報処理機能を備える携帯機器と通信する通信手段を有する車載機器を備えるシステムであって、
   前記車載機器に接続され、ユーザによる入力操作を受け付ける入力装置と、
   前記携帯機器上に備えられた入力部を介して実現される該携帯機器が認識可能な入力操作のうち、前記車載機器の入力装置を介して実現される該車載機器が認識可能な入力操作とは異なる入力操作が存在する場合、該異なる入力操作については、前記車載機器の入力装置に対して所定の入力操作が行われたことに応じて、該行われた入力操作に対応する前記携帯機器が認識可能な入力操作を識別し、該識別した入力操作を表す信号を、前記携帯機器に送る操作識別送信手段と、
   を備える、システム。
2. 前記異なる入力操作について、前記入力装置上に、該異なる入力操作に対応付けられた入力操作項目を表示する表示手段を備え、
   前記操作識別送信手段は、該入力操作項目がユーザによって選択されたことに応じて、該選択された入力操作項目に対応する前記携帯機器が認識可能な入力操作を識別する、
   請求項１に記載のシステム。
3. 前記携帯機器の前記入力部は、該携帯機器のディスプレイに構成されたタッチパネルを含み、該タッチパネルは、複数の位置における同時のタッチ操作を検知可能なよう構成されており、
   前記異なる入力操作には、前記携帯機器のタッチパネル上で実現可能なマルチタッチ入力操作が含まれる、
   請求項１または２に記載のシステム。
4. 前記異なる入力操作には、前記携帯機器のタッチパネル上で実現可能な、該携帯機器のディスプレイに表示された対象物の動きを特定するジェスチャ入力操作が含まれる、
   請求項３に記載のシステム。
5. 前記入力装置は、前記車載機器の前記表示装置のディスプレイに構成されたタッチパネルを含み、
   前記表示手段は、さらに、前記入力操作項目が選択されると共に、前記車載機器の表示装置のタッチパネル上で位置がユーザによって選択されることに応じて、該選択された位置に、該選択された入力操作項目に対応する図形を表示し、
   前記操作識別送信手段は、該表示された図形に対し、ユーザによって所定の操作が行われることに応じて、前記ジェスチャ入力操作の操作方向および操作量を識別する、
   請求項４に記載のシステム。
6. 前記入力装置に対して行われた前記入力操作の操作量を、前記携帯機器の入力部に対して該入力操作を行った場合の操作量に修正する手段を備え、
   前記操作識別送信手段は、前記入力操作を表す信号に、該修正した操作量を示すデータを含めて、前記携帯機器に送る、
   請求項１から５のいずれかに記載のシステム。
7. 前記異なる入力操作が存在する場合には、ユーザに、入力操作に制限が生じることを、前記車載機器を介して通知する、
   請求項１から６のいずれかに記載のシステム。
8. 前記異なる入力操作が所定の条件を満たさないときには、該車載機器は、該入力操作を受け付けないことを判定する、
   請求項１から７のいずれかに記載システム。

Images