JP2018169757A - タッチ式操作装置、その作動方法及び作動プログラム、並びにタッチ式操作装置を用いた情報処理システム - Google Patents

Abstract

【課題】三次元の立体形状を有するタッチ式操作装置において、複数のアプリケーションプログラムとの適応を容易にすることで、汎用性を確保することができるタッチ式操作装置、方法およびプログラム、並びにタッチ式操作装置を用いた情報処理システムを提供する。
【解決手段】タッチパネル制御部３２は、立体領域２２を有するタッチパネル２１を制御する。ジェスチャ判定部３２Ａは、立体形状情報テーブル７１から立体形状情報を取得して、立体形状情報に基づいてタッチパネル２１に対するジェスチャ操作の内容を特定し、ジェスチャ特定情報を生成する。ＡＰインタフェース部３３は、ジェスチャ特定情報をＡＰ実行部４１に送信し、ＡＰ実行部４１からの応答情報を受信する。表示制御部３２Ｂは、受信した応答情報に基づいてタッチパネル２１の表示を制御する。
【選択図】図１５

Description

本発明は、タッチ式操作装置、その作動方法及び作動プログラム、並びにタッチ式操作装置を用いた情報処理システムに関するものである。

タッチパネルディスプレイなど、タッチセンサを備え、ディスプレイに表示される操作画面を操作するタッチ式操作装置が知られている（特許文献１参照）。

タッチパネルディスプレイの表示パネルやタッチセンサの形状は、平面パネルが一般的であるが、特許文献１に記載されているように、可撓性を有する平面パネルを使用して、一部を湾曲させた形状のものが開発されている。また、特許文献１のように平面を湾曲させるだけでなく、タッチセンサや表示パネルの形状を円筒形などの三次元の立体形状にしたタッチパネルディスプレイも提案されている（特許文献２）。

特表２０１４−５３５０８６号公報 特開２０１５−２２８１１８号公報

特許文献１や特許文献２のような様々な形状のタッチ式操作装置を考えた場合、形状そのものを人間工学に基づき設計することで、ユーザに快適な操作感を与えたり、作業効率を向上することも可能となる。特に、タッチセンサや表示パネルの形状が、特許文献１のような単純に平面を湾曲させただけの形状に比べ、特許文献２のように形状が複雑になるほど、立体形状の特性を活かした操作感を付与することが可能となったり、立体形状の特性を活かした活用法も考えられるようになる。

このような立体形状のタッチ式操作装置の開発に当たっては、平面パネルと異なる新たな問題が生じる。平面パネルに対して操作入力を行うジェスチャ操作の種類としては、操作画面のアイコンをタップするタップ操作、画面やページを切り替えるためのスワイプ操作、拡大縮小を行うピンチ操作などがある。平面パネルにおいて一般的なこうしたジェスチャ操作の種類を特定するには、タッチセンサや表示パネルの形状が２次元平面であるため、平面内の座標情報があれば十分であった。

ところが、特許文献２に記載されているような三次元の立体形状となると、外周面が複数の面で構成されることになるため、単純に各平面内の座標情報のみでは、ジェスチャ操作の種類を特定できず、ジェスチャ操作の種類に対応した操作コマンドの判定もできない。このように三次元の立体形状を有するタッチ式操作装置は、ジェスチャ操作の特定方法が複雑になる。そのため、三次元の立体形状を有するタッチ式操作装置と、このタッチ式操作装置に適応するアプリケーションプログラムの開発は、両者の一体開発が進み、汎用性が犠牲になりがちになる。ここで汎用性とは、１つのタッチ式操作装置を複数のアプリケーションプログラムで使用したり、反対に、１つのアプリケーションプログラムを複数のタッチ式操作装置で使用することを意味する。

今後、インターネットと接続可能なコネクテッドカーやＩＯＴ（Internet of Things）の開発の進展により、様々なものがインターネットに接続され、用途が異なる多種多様なアプリケーションプログラムが１つのタッチ式操作装置を用いて使用されることになると予想される。また、多様化はアプリケーションプログラムだけでなく、タッチ式操作装置の立体形状も多種多様化すると予想され、ひとつのアプリケーションプログラムが多種多様なタッチ式操作装置で使用されることが予想される。こうした多種多様なアプリケーションプログラムやタッチ式操作装置を組み合わせて有効に活用するためには、汎用性を確保する仕組みが重要である。

本発明は、三次元の立体形状を有するタッチ式操作装置において、複数のアプリケーションプログラムとの適応を容易にすることで、汎用性を確保することができるタッチ式操作装置、その作動方法および作動プログラム、並びにタッチ式操作装置を用いた情報処理システムを提供することを目的とする。

上記課題を解決するために、本発明のタッチ式操作装置は、タッチセンサと、立体形状情報取得部と、ジェスチャ特定情報生成部と、アプリケーションプログラムインタフェース部と、表示制御部とを備える。タッチセンサは、三次元の立体形状を有する。立体形状情報取得部は、タッチセンサの立体形状に関する立体形状情報が格納される記憶部にアクセスして立体形状情報を取得する。ジェスチャ特定情報生成部は、立体形状情報に基づいて、タッチセンサに対して行われたジェスチャ操作の内容を特定し、特定したジェスチャ操作の内容を表すジェスチャ特定情報を生成する。アプリケーションプログラムインタフェース部は、ジェスチャ特定情報に基づいて、タッチセンサを入力装置として使用するアプリケーションプログラムを実行するアプリケーション実行部と通信し、アプリケーション実行部からの応答情報を受信する。表示制御部は、受信した応答情報に基づいて、ディスプレイの表示を制御する。

アプリケーション実行部は、外部と通信して取得したアプリケーションプログラムを実行するか、あるいはサーバからアプリケーションサービスとして提供されるアプリケーションプログラムを実行することが好ましい。

アプリケーションプログラムインタフェース部は、ジェスチャ特定情報をアプリケーション実行部に送信することが好ましい。

ディスプレイは、タッチセンサと一体化され、タッチセンサと同じ立体形状を備えており、表示制御部は、アプリケーション実行部から受信した応答情報を、ディスプレイの立体形状に応じた変換処理を行って、表示制御を行うことが好ましい。

立体形状情報は、立体形状を識別する形状ＩＤ、立体形状を構成する複数の外周面を識別する面ＩＤ、立体形状を平面に展開した際の平面座標情報、および立体形状の三次元座標情報の少なくとも１つを含み、応答情報は、アプリケーション実行部がジェスチャ特定情報に基づいて実行する処理の処理結果として表示される応答画面の情報と、応答画面の表示位置に関する表示位置情報とを含むことが好ましい。

立体形状情報には、さらに、外周面が平面であるか湾曲であるかを表す外周面属性情報が含まれることが好ましい。

アプリケーションプログラムインタフェース部は、ジェスチャ特定情報と立体形状情報に基づいて、アプリケーションプログラムに対する操作コマンドを判定し、操作コマンドをアプリケーション実行部に送信することが好ましい。

ディスプレイは、タッチセンサと一体化され、タッチセンサと同じ立体形状を備えており、表示制御部は、アプリケーション実行部から受信した応答情報を、ディスプレイの立体形状に応じた変換処理を行って、表示制御を行うことが好ましい。

立体形状情報は、立体形状を識別する形状ＩＤ、立体形状を構成する複数の外周面を識別する面ＩＤ、立体形状を平面に展開した際の平面座標情報、および立体形状の三次元座標情報の少なくとも１つを含み、応答情報は、アプリケーション実行部が操作コマンドに基づいて実行する処理の処理結果として表示される応答画面の情報と、応答画面の表示位置に関する表示位置情報とを含むことが好ましい。

立体形状情報には、さらに、外周面が平面であるか湾曲面であるかを表す外周面属性情報が含まれることが好ましい。

本発明のタッチ式操作装置を用いた情報処理システムは、タッチ式操作装置と、タッチ式操作装置を入力装置として使用するアプリケーションプログラムを実行するアプリケーションプログラム実行部とを備えた情報処理システムにおいて、タッチ式操作装置は、タッチセンサと、立体形状情報取得部と、ジェスチャ特定情報生成部と、アプリケーションプログラムインタフェース部と、表示制御部とを備える。タッチセンサは、三次元の立体形状を有する。立体形状情報取得部は、タッチセンサの立体形状に関する立体形状情報が格納される記憶部にアクセスして立体形状情報を取得する。ジェスチャ特定情報生成部は、立体形状情報に基づいて、タッチセンサに対して行われたジェスチャ操作の内容を特定し、特定したジェスチャ操作の内容を表すジェスチャ特定情報を生成する。アプリケーションプログラムインタフェース部は、ジェスチャ特定情報に基づいて、タッチセンサを入力装置として使用するアプリケーションプログラムを実行するアプリケーション実行部と通信し、アプリケーション実行部からの応答情報を受信する。表示制御部は、受信した応答情報に基づいて、ディスプレイの表示を制御する。

アプリケーションプログラムを配信するサーバ、またはアプリケーションプログラムをアプリケーションサービスとして提供するサーバにアクセスして、アプリケーションプログラムまたはアプリケーションプログラムに関する情報を取得するアプリケーション情報取得部を備えていることが好ましい。

立体形状情報は、立体形状を識別する形状ＩＤ、立体形状を構成する複数の外周面を識別する面ＩＤ、立体形状を平面に展開した際の平面座標情報、および立体形状の三次元座標情報の少なくとも１つを含み、応答情報は、アプリケーション実行部が操作コマンドに基づいて実行する処理の処理結果として表示される応答画面の情報と、応答画面の表示位置に関する表示位置情報とを含むことが好ましい。

アプリケーションプログラムを開発する開発者向けのアプリケーションプログラムインタフェース情報を公開するＡＰＩ公開サーバに対して、立体形状情報を提供するＡＰＩ情報提供部を備えていることが好ましい。

本発明のタッチ式操作装置の作動方法は、三次元の立体形状を有するタッチセンサを備えたタッチ式操作装置の作動方法において、タッチセンサの立体形状に関する立体形状情報が格納される記憶部にアクセスして立体形状情報を取得する立体形状情報取得ステップと、立体形状情報に基づいて、タッチセンサに対して行われたジェスチャ操作の内容を特定し、特定したジェスチャ操作の内容を表すジェスチャ特定情報を生成するジェスチャ特定情報生成ステップと、ジェスチャ特定情報に基づいて、タッチセンサを入力装置として使用するアプリケーションプログラムを実行するアプリケーション実行部と通信し、アプリケーション実行部からの応答情報を受信する通信ステップと、受信した応答情報に基づいて、ディスプレイの表示を制御する表示制御ステップとを、備えている。

本発明のタッチ式操作装置の作動プログラムは、三次元の立体形状を有するタッチセンサを備えたタッチ式操作装置の作動プログラムにおいて、タッチセンサの立体形状に関する立体形状情報が格納される記憶部にアクセスして立体形状情報を取得する立体形状情報取得ステップと、立体形状情報に基づいて、タッチセンサに対して行われた操作ジェスチャの内容を特定し、特定したジェスチャ特定情報を生成するジェスチャ特定情報生成ステップと、ジェスチャ特定情報に基づいて、タッチセンサを入力装置として使用するアプリケーションプログラムを実行するアプリケーション実行部と通信し、アプリケーション実行部からの応答情報を受信する通信ステップと、受信した応答情報に基づいて、ディスプレイの表示を制御する表示制御ステップとを、備えている。

本発明によれば、タッチ式操作装置において、立体形状に応じたジェスチャ特定情報に基づいて、アプリケーション実行部と通信するアプリケーションプログラムインタフェース部を備えたため、１つのタッチ式操作装置を複数のアプリケーションプログラムに適応させたり、反対に、１つのアプリケーションプログラムを複数のタッチ式操作装置に適応させることが容易になり、汎用性を確保することができる。

タッチ式操作装置を備えたコンソールシステムの全体構成を示す概略図である。 タッチパネルに表示される地図表示画面の説明図である。 地図表示画面に表示されるメニュー画面の説明図である。 地図表示画面において音量調節が行われている状態の説明図である。 地図表示画面における現在地表示機能の説明図である。 第１実施形態の立体領域の外観斜視図である。 凹凸立体形状領域の段差の説明図である。 立体領域の平面図である。 立体領域の製造方法の説明図である。 立体形状のタッチセンサとディスプレイを組み合わせる説明図である。 立体領域に対するタップ操作の説明図である。 立体領域に対する回転操作の説明図である。 立体領域に対する横ストローク操作の説明図である。 立体領域に対する縦ピンチ操作の説明図である。 タッチパネル制御部の概略構成を示すブロック図である。 シングルタップのジェスチャ特定情報の例を示す説明図である。 回転操作のジェスチャ特定情報の例を示す説明図である。 角錐台のジェスチャ特定情報の例を示す説明図である。 角錐台に対するスライドのジェスチャ特定情報の例を示す説明図である。 平面パネルに円環の画像を表示した状態の説明図である。 図２０と同じ画像を立体領域２２に表示した状態の説明図である。 タッチパネル制御部のフローチャートである。 ＡＰ実行部のフローチャートである。 第２実施形態のタッチ式操作装置の概略構成図である。 第２実施形態のタッチパッド制御部等の概略構成を示すブロック図である。 第３実施形態のタッチパネル制御部等の概略構成を示すブロック図である。 第３実施形態のタッチパネル制御部のフローチャートである。 第３実施形態のＡＰ実行部のフローチャートである。 第４実施形態のタッチパッド制御部等の概略構成を示すブロック図である。 第５実施形態の情報処理システムの説明図である。 第６実施形態の情報処理システムの説明図である。 複数の凹部を有するタッチパネルの説明図である。 図３２のタッチパネルの平面図である。 メニュー項目に関するＡＰＩ情報の説明図である。

「第１実施形態」
図１において、コンソールシステム１０には、本発明に係るタッチ式操作装置が用いられる。コンソールシステム１０は、自動車のインストルメントパネル１１に用いられる。コンソールシステム１０は、走行経路を案内するナビゲーションシステム、音楽や映像を再生するＡＶ（Audio-Visual）システム、車内の空調機器２５を制御する空調システムなどの各種の車載のアプリケーションプログラム（ＡＰ：Application Program）を制御するシステムである。

インストルメントパネル１１は、例えば、ハンドル１３が配置される運転席１４側から助手席１５側に略水平方向に延びるダッシュボード１６と、運転席１４と助手席１５の間に配置されるセンターコンソール１７とが含まれる。

センターコンソール１７は、運転席１４と助手席１５のそれぞれの座面の間に配置される下方部分１７Ｂと、下方部分から上方に向けて立ち上がる上方部分１７Ａとを備えている。上方部分１７Ａは、上端部においてダッシュボード１６と接続される。センターコンソール１７の上方部分１７Ａと下方部分１７Ｂには、例えば、両部分１７Ａ、１７Ｂを滑らかに接続する化粧板が設けられており、各部分１７Ａ、１７Ｂの表面１７Ｃは段差の無い連続した面である。

コンソールシステム１０は、タッチパネルディスプレイ（以下、単にタッチパネルと呼ぶ）２１、スピーカ２３、コンソールデバイス制御部２４、及び主制御装置２６で構成される。コンソールシステム１０には、これらの他、メカニカルスイッチで構成される操作部（図示しない）も接続される。タッチパネル２１とコンソールデバイス制御部２４は、本発明に係るタッチ式操作装置を構成する。

タッチパネル２１は、周知のように、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどの薄型のディスプレイとディスプレイの画面上に配置されるタッチセンサとで構成され、ディスプレイに表示される操作画面を通じてタッチ操作で操作指示の入力が可能なデバイスである。タッチパネル２１は、表示領域がセンターコンソール１７の全面に及んでおり、センターコンソール１７の上方部分１７Ａから下方部分１７Ｂに至る大きさおよび形状を有している。つまり、センターコンソール１７の表面１７Ｃはすべて、タッチセンサとしても、ディスプレイとしても機能する。

タッチパネル２１は、図１に示すように、三次元の立体形状をしており、表面１７Ｃは、平面、緩やかに湾曲した段差の無い湾曲面、段差の有る凸部領域や凹部領域などで構成される。タッチパネル２１は、凸部領域として、下方部分１７Ｂに円錐台型の立体領域２２を備えている。立体領域２２もディスプレイとタッチセンサを備えており、タッチパネルとして機能する。

タッチパネル２１には、例えば、ナビゲーションシステムの地図を表示する地図表示画面の他、ＡＶシステムなど各種のＡＰを操作するための操作画面が表示される。また、タッチパネル２１には、テレビや映画などのコンテンツ映像が再生表示されたり、装飾的な演出効果のある映像なども表示される。地図表示画面や主要な操作画面は、上方部分１７Ａに設けられたメイン表示領域２１Ａに表示される。

スピーカ２３は、ナビゲーションシステムのガイダンス、ＡＶシステムが再生する音楽、各ＡＰの操作案内などの各種の音声を出力する。操作案内には、操作を受け付けたことを表す効果音、選択されたメニュー項目の名称を読み上げる音声などが含まれる。

コンソールデバイス制御部２４は、タッチパネル制御部３２、ＡＰインタフェース部３３、メモリ３４を備えている。

タッチパネル制御部３２は、タッチパネル２１の表示を制御し、かつ、タッチパネル２１に対するタッチ操作を通じた操作指示の入力を受け付ける。タッチパネル制御部３２は、受け付けた操作指示を表す操作信号を、ＡＰインタフェース部３３に入力する。また、タッチパネル制御部３２は、ＡＰインタフェース部３３から操作指示に応じた処理結果などの応答情報を受け取り、応答情報に応じてタッチパネル２１の表示を制御する。このように、ＡＰは、タッチパネル２１を操作信号の入力装置として使用する。

ＡＰインタフェース部３３は、タッチパネル制御部３２から入力される操作信号に基づいて、主制御装置２６のＡＰ実行部４１と通信し、ＡＰ実行部４１からの応答情報を受信する。ＡＰインタフェース部３３は、受信した応答情報を、タッチパネル制御部３２やスピーカ２３に送信する。ＡＰインタフェース部３３は、ＡＰ実行部４１から受信した応答情報が画面情報であればタッチパネル制御部３２に送信し、音声情報であればスピーカ２３に送信する。つまり、ＡＰインタフェース部３３は、タッチパネル制御部３２とＡＰ実行部４１との間で、ＡＰの処理に必要な情報を受け渡すインタフェースである。

メモリ３４には、タッチパネル制御部３２およびＡＰインタフェース部３３がアクセス可能に接続されている。メモリ３４は、後述するように、各部３２、３３が処理を実行するに当たって参照する情報を格納する。

主制御装置２６は、コンソールシステム１０を含めて、自動車の各部を統括的に制御する。主制御装置２６は、ＡＰ実行部４１、メモリ４２、ＡＰ情報取得部４３を備えている。ＡＰ実行部４１は、ＣＰＵ（Central Processing Unit）４５を用いて実現される。ＣＰＵ４５は、ナビゲーションシステム、ＡＶシステム、空調システムなどの各種のＡＰをロードして実行することで各ＡＰの実行部４１として機能する。また、タッチパネル２１とコンソールデバイス制御部２４で構成されるタッチ式操作装置と、ＡＰ実行部４１を含む主制御装置２６は、本発明に係る情報処理システムを構成する。

ＡＰ実行部４１は、ＡＰインタフェース部３３とコネクタを介して通信可能に接続されている。ＡＰ実行部４１は、各ＡＰを操作するための操作画面をタッチパネル２１に表示するために、ＡＰインタフェース部３３に送信する。ＡＰ実行部４１は、タッチパネル２１や立体領域２２を用いた操作画面の操作を通じて入力される操作信号を、ＡＰインタフェース部３３から受信して、受信した操作信号に応じた処理を実行する。

各ＡＰの処理の内容は、例えば次のとおりである。ＡＰ実行部４１は、ナビゲーションシステムが起動されると、次のようなナビゲーション処理を実行する。ナビゲーション処理としては、まず、自動車の現在地を表示する現在地表示処理を実行する。現在地表示処理において、ＡＰ実行部４１は、図示しないＧＰＳ（Global Positioning System）装置が取得するＧＰＳ信号に基づいて自動車の現在地を判定し、現在地に応じた地図表示画面をＡＰインタフェース部３３に送信する。

また、ＡＰ実行部４１は、ナビゲーション処理としては、目的地設定機能を実現する目的地設定処理を行う。目的地設定処理において、ＡＰ実行部４１は、ＡＰインタフェース部３３から、ナビゲーションシステムの操作信号として、現在地から目的地までの経路探索処理の実行要求を受信した場合は、地図データベースなどを参照して経路探索処理を実行する。探索結果は、応答情報としてＡＰインタフェース部３３に送信される。ＡＰ実行部４１は、経路が選択されて目的地が設定された場合は、自動車を経路に従って誘導する案内処理を開始する。案内処理においては、ＡＰ実行部４１は、ＡＰインタフェース部３３に対して、自動車の現在地に応じた案内表示画面や音声ガイダンスなどの案内情報を随時送信する。

また、ＡＰ実行部４１は、ナビゲーションシステムの処理として施設検索機能を実現する施設検索処理を実行する。ＡＰ実行部４１は、操作信号として、現在地付近の施設（例えばガソリンスタンド、コンビニエンスストア、ホテルなど）の検索要求を受信した場合には、施設情報データベースなどを参照して施設検索処理を実行し、検索結果を応答情報としてＡＰインタフェース部３３に送信する。

また、ＡＰ実行部４１は、ＡＶシステムを起動して、次のようなＡＶ処理を実行する。ＡＶ処理としては、テレビ放送やラジオ放送を受信して、受信した放送を再生する再生処理や、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの記録メディアに収録された音楽や映像を再生する再生処理がある。また、コンソールシステム１０は、ポータブル音楽プレーヤーなどの外部機器を接続する端子であるＡＵＸ（Auxiliary）端子を備えており、外部機器で再生される音楽をスピーカ２３から出力する処理を行うことも可能である。

ＡＰ実行部４１は、テレビ放送やラジオ放送の映像や音声、記録メディアや外部機器の映像や音声などを、タッチパネル２１やスピーカ２３から出力するための再生情報として、ＡＰインタフェース部３３に送信する。ＡＰ実行部４１は、ＡＰインタフェース部３３から、テレビ放送やラジオ放送のチャンネルの選局要求を受信した場合には、要求されたチャンネルに切り替える。また、ＡＰ実行部４１は、ＡＰインタフェース部３３から音量の変更要求を受信した場合には、ＡＰインタフェース部３３を通じて、スピーカ２３の音量を指定された音量に調節する。

ＡＰ実行部４１は、空調システムを起動して、車内の空調機器２５を制御する空調処理を実行する。ＡＰ実行部４１は、ＡＰインタフェース部３３から風量や温度を調節する調節要求を受信した場合には、空調機器２５に対して制御信号を送信して風量や温度を調節する処理を実行する。

また、ＡＰ実行部４１は、ＡＶ処理における選局や音量調節、空調処理における風量調節や温度調節の操作が行われた場合に、タッチパネル２１の画面を切り替えたり、表示内容を変更する処理を行う。具体的には、ＡＰ実行部４１は、表示する画面情報を、ＡＰインタフェース部３３に対して応答情報として送信する。

ＡＰ実行部４１は、マルチタスクに対応しており、複数のＡＰを同時並行で実行することが可能である。例えば、自動車のイグニッションスイッチなどのメインスイッチがオンされて主制御装置２６が起動すると、ナビゲーションシステムが起動する。そして、操作指示に基づいてＡＶシステムおよび空調システムが起動されて、各ＡＰは同時並行で実行される。主制御装置２６のメモリ４２には、ＡＰ実行部４１にロードされるＡＰのプログラムデータや、ＡＰ実行部４１がＡＰ実行に際して参照する参照情報などが格納されている。

また、ＡＰ実行部４１は、予めインストールされたＡＰ以外にも、外部から取得したＡＰを実行することが可能である。主制御装置２６は、インターネット４６に接続する通信機能を備えており、インターネット４６に接続されたＡＰ配信サーバ４７から、種々のＡＰをダウンロードすることが可能である。

ＡＰのダウンロードに際しては、ＡＰ実行部４１は、ＡＰインタフェース部３３を通じて、タッチパネル２１に対して操作画面としてＡＰ選択画面を表示し、ダウンロードするＡＰのユーザからの選択要求を受信する。ＡＰ実行部４１は、受信した選択要求をＡＰ情報取得部４３に送信する。ＡＰ情報取得部４３は、アンテナや伝送制御回路などで構成される無線通信部４４を介してインターネット４６に接続し、ＡＰ配信サーバ４７にアクセスしてＡＰ配信サーバ４７からＡＰを取得する。ＡＰ情報取得部４３も、ＣＰＵ４５が主制御装置２６として機能する作動プログラムをロードして実行することで実現される。

図２〜図５は、タッチパネル２１に表示される各ＡＰの操作画面の例を示す。これらの画面は、主としてメイン表示領域２１Ａに表示される。図２において、ナビゲーションシステムの地図を表示する地図表示画面５１は、操作画面の初期画面であり、例えば自動車のメインスイッチがオンされると表示される。地図表示画面５１は、自動車の現在地に応じてその周辺の地図を表示する。地図表示画面５１は、標準の状態では、現在地が画面のほぼ中心に位置するように表示される。

地図表示画面５１においては、自動車の現在地を表示する現在地マーク５１Ａ、設定した目的地までの経路５１Ｂ、目的地までの距離５１Ｃ、目的地設定ボタン５１Ｄなどが表示される。

タッチパネル２１において、目的地設定ボタン５１Ｄをタップするタッチ操作が行われると、地図表示画面５１から目的地設定画面（図示せず）に画面が遷移する。目的設定画面においては、目的地の入力ボックスや、目的地を、電話番号、住所、施設名称などから設定するためのキーボードなどが表示される。目的地が設定されると、ナビゲーションシステムが経路探索を行って、探索した経路５１Ｂが地図表示画面５１に表示される。

図３は、地図表示画面５１に表示されるメニュー画面５２を示す。メニュー画面５２は、図２に示す状態でタッチパネル２１の画面がタップされると、地図表示画面５１の上部に挿入表示される。メニュー画面５２は、例えば、横方向に細長いストライプ状をしている。メニュー画面５２内には、ナビゲーションシステム、ＡＶシステム、および空調システムなどの各ＡＰにおいて操作が可能な各種の機能に応じたメニュー項目が表示される。メニュー項目は操作ボタンとして表示される。

ＡＶメニューボタン５２Ａは、ＡＶシステムの全機能を操作可能なメインメニューを呼び出す操作ボタンである。音量調節ボタン５２Ｂは、スピーカ２３の音量を調節するための操作ボタンであり、選曲ボタン５２Ｃは、ＡＶシステムにおいて、再生中の曲を前後に切り替えるなど、再生する曲を選択する選曲を行うための操作ボタンである。音量調節や選曲は、ＡＶシステムの機能のうち、使用される頻度が高い機能である。音量調節や選曲は、メインメニューからでも操作可能であるが、音量調節ボタン５２Ｂおよび選曲ボタン５２Ｃは、使用頻度が高い機能の操作を簡便化するために設けられた専用ボタンである。

また、Ａ／Ｃ（Air Conditioner）メニューボタン５２Ｄは、空調システムの全機能を操作可能なメインメニューを呼び出す操作ボタンである。温度調節ボタン５２Ｅは、目標温度を調節するための操作ボタンである。温度調節ボタン５２Ｅは、ＡＶシステムの音量調節ボタン５２Ｂ等と同様に、使用頻度が高い機能であるために設けられた専用ボタンである。なお、図示しないが、空調システムの専用ボタンには、風量を調節する風量調節ボタンなどがある。

また、図示しないが、メニュー画面５２には、メインメニューボタンがあり、メインメニューボタンを操作すると、ナビゲーションシステム、ＡＶシステム、空調システムの全機能の設定や操作を行うためのメインメニュー（図示せず）が表示される。メインメニューが表示される場合には、例えば、地図表示画面５１から画面が遷移する。

図４に示すように、メニュー画面５２において、例えば、音量調節ボタン５２Ｂがタップされると、音量調節ボタン５２Ｂの下方に音量調節バー５３がプルダウン表示される。音量調節バー５３をタッチ操作してカーソルを所望の音量位置にスライドさせると、音量が調節される。他の操作ボタンの操作も基本的に同様である。

また、図５に示すように、地図表示画面５１において、現在地が中心に位置する標準状態の表示から、場所を移動して表示した場合、画面の右下には復帰ボタン５１Ｅが表示される。復帰ボタン５１Ｅには、機能を表す「現在地に戻る」といった文字が表示されている。復帰ボタン５１Ｅがタップされると、現在地が画面の中心に位置する標準状態の現在地表示（図２参照）に復帰する。

このように、コンソールシステム１０の操作画面は、操作画面が表示されるタッチパネル２１に対するタッチ操作を通じて操作が行われる。上述のとおり、こうした操作画面は、主としてメイン表示領域２１Ａに表示されるが、コンソールシステム１０においては、メイン表示領域２１Ａに対するタッチ操作に加えて、上述した立体領域２２に対するタッチ操作を通じて操作を行うことができる。

図６に示すように、立体領域２２は、円錐台部２２Ａとその周囲の平面部２２Ｂとを備えている。図６に示す立体領域２２は、タッチパネル２１から円錐台部２２Ａとその周囲の平面部２２Ｂを切り取って示したものであり、実際には、平面部２２Ｂは、タッチパネル２１の他の領域と連続している。

円錐台部２２Ａは、上述したとおり、凸部領域であり、凹凸型立体形状領域に含まれる。ここで、凹凸型立体形状領域とは、隣接する領域との境界の少なくとも一部が段差で画定される凸部領域または凹部領域をいう。段差は、手で触れることで境界を知覚できる（触知できる）程度の段差をいい、具体的には指の厚み（約１０ｍｍ）以上の高さを有することが好ましい。

図７および図８に示すように、円錐台部２２Ａは、その全周が隣接する領域である平面部２２Ｂの平面領域との境界であり、この境界は、円錐台部２２Ａと平面部２２Ｂとの間に生じる段差６１で画定されている。円錐台部２２Ａは、隣接する領域に対して凸形状となる凸部領域であり、段差６１は手ＨＤの指の厚み以上の高さＴＨを有している。凹凸型立体形状領域は、段差の無い湾曲面領域と区別される。湾曲面領域は、平面パネルを湾曲させた程度の曲面で形成される領域である。

円錐台部２２Ａのような凹凸型立体形状領域を備えた立体領域２２の場合、操作者は、視覚を用いずに手ＨＤの触覚を通じて円錐台部２２Ａの場所を認識したり、円錐台部２２Ａのどの部分に触れているかを認識することができる。この立体領域２２は、後述するように様々なジェスチャ操作を通じて操作指示の入力を受け付けることが可能となっている。そのため、立体領域２２を用いることで、例えば、運転席１４に座るドライバが運転中に、視覚を用いずにＡＰを操作することも可能となっている。

立体領域２２を含めてタッチパネル２１は、例えば、操作領域における複数のタッチ位置を同時に検出する多点検出が可能な静電容量方式のタッチセンサを備えている。立体領域２２のような凹凸型立体形状領域を有する三次元の立体形状のタッチセンサは、例えば、特開２０１６−２１３４３５号公報に記載された製造方法を使用して製造することができる。材料や製造方法の詳細は、上記公報に記載されているとおりであるが、簡単に概略を図９に示す。

図９Ａに示すように、まず、表面と裏面の２つの主面を持つ平板な基板６６上に、被めっき層６７が形成される。被めっき層６７は、透明電極を構成する金属めっきの下地として形成される。金属めっきは、タッチ位置を検出するための信号線を形成する金属層を構成する。被めっき層６７は、基板６６の表面にストライプ状に形成される。図示しないが、被めっき層６７は、基板６６の裏面にも、表面と直交する方向にストライプ状に形成される。これにより、被めっき層６７は、表面と裏面を合わせてマトリックス状に形成される。

被めっき層６７は、めっき触媒等と相互作用する官能基等を有する化合物であり、例えば、カルボン酸基、シアノ基などである。基板６６は、三次元形状に成形可能な基板であり、例えば、ＰＥＴ（ポリエチレンテレフタレート）などの透明な樹脂製である。被めっき層６７は、基板６６に、例えばスクリーン印刷などの印刷方法で形成される。

図９Ｂに示すように、被めっき層６７が形成された後、基板６６が、三次元の立体形状に成形される。成形方法は、例えば、真空成形、ブロー成形などの公知の加熱加工方法が用いられる。

図９Ｃに示すように、基板６６が三次元の立体形状に変形された後、金属めっき処理が施される。金属めっき処理では、変形後の基板６６がめっき液に浸漬される。めっき液で被めっき層６７上に金属層が形成されて、これが透明電極を構成する信号線６８となる。金属めっき処理が施されると、三次元の立体形状を備えたタッチセンサ６９が完成する。このタッチセンサ６９に対して、表面保護層の形成などの種々の加工が施されることに加えて、信号処理ＩＣ（Integrated Circuit）などの部品が取り付けられる。

図９に示す製造方法の特徴は、被めっき層６７を形成した基板６６を所望の三次元の立体形状に変形させた後、金属めっき処理を施してパターン状の金属層を形成している点である。一般的に、金属層は破断伸度が小さく、基板６６に金属層を設けた後に三次元の立体形状に基板６６を変形させると、基板６６の伸びに金属層が追従できずに破断する場合が多い。より具体的には、金属層が形成された状態の平面シートを緩く湾曲させる程度であれば、金属層の破断は問題にならないが、凹凸型立体形状領域のような段差を含む立体形状を形成するために、金属層を形成後の平面シートを屈曲させると、金属層の変形量が大きくなるため、金属層が破断する場合が多い。

図９に示す製造方法は、被めっき層６７が形成された基板６６を変形させた後に、金属めっき処理で金属層を形成するため、金属層の破断が防止される。そのため、図９に示す製造方法は、凹凸型立体形状領域を有する三次元の立体形状のタッチセンサを形成する場合に有効である。

周知のとおり、静電容量式のタッチセンサでは、初期状態において、マトリックス状に形成された信号線６８に微小な電圧が印加される。手ＨＤの指がタッチセンサに接触すると、タッチ位置において静電容量が変化し、この静電容量変化に応じた電圧変化が検知されて、電圧変化を生じた信号線６８が特定される。信号線６８は、マトリックス状に配置されているため、タッチ位置において交差するＸ方向の信号線６８とＹ方向の信号線６８が特定されて、タッチ位置が検出される。

また、図９において説明したとおり、基板６６には透明な樹脂が用いられ信号線６８も透明電極として形成される。そのため、図１０に示すように、タッチセンサ６９と、タッチセンサ６９と同形状に成形されたＬＣＤや有機ＥＬディスプレイなどのディスプレイ７０とを組み合わせて、一体化することで、三次元の立体形状を備えたタッチパネルとして機能する立体領域２２が完成する。

なお、図９および図１０においては、説明を簡略化するために、立体領域２２の部分のみで説明したが、センターコンソール１７の全面に及ぶタッチパネル２１を一体的に製造してもよい。もちろん、タッチパネル２１を複数の部分に分割して製造してもよい。また、図９において、説明の便宜上、信号線６８の幅を比較的太く示したが、信号線６８の幅は、実際には非常に細い。例えば、基板６６を、表示機能を備えたタッチパネルとして利用する場合を考えると、信号線６８は、タッチパネルの表示画素の開口率が９０％程度になるような微細な配線である。

図１１〜図１４は、立体領域２２に対するジェスチャ操作の例を示す。図１１は、立体領域２２の円錐台部２２Ａの表面を、手ＨＤでたたくジェスチャ操作であるタップ操作を示す。タップ操作としては、例えば、１回たたくシングルタップと、２回連続してたたくダブルタップがある。

ダブルタップは、例えば、メニュー画面５２を呼び出す操作や現在地表示の操作に割り当てられる。例えば、図２に示すように地図表示画面５１が表示されている状態で、立体領域２２に対してダブルタップが行われると、メニュー画面５２が表示される。また、図５に示すように、地図表示画面５１の表示が標準状態から変更されている場合にダブルタップが行われると、現在地表示に復帰する。

シングルタップは、例えば、メニュー項目の選択を確定する機能に割り当てられる。メニュー画面５２において、いずれかの機能のメニュー項目が選択された状態でシングルタップが行われると、メニュー項目の選択が確定する。

図１２は、円錐台部２２Ａを上方から手ＨＤの人差し指と親指を含む２本以上の指で掴むようにタッチし、その状態で円錐台部２２Ａの外周に沿って手ＨＤを左右に回転させるジェスチャ操作である。図１２に示すジェスチャ操作を、ここでは回転操作と呼ぶ。

回転操作は、例えば、メニュー画面５２において、メニュー項目の選択操作に割り当てられる。メニュー画面５２が表示されると、いずれかのメニュー項目の位置にカーソルが表示される。回転操作を行うとカーソルが順次移動してメニュー項目の選択が行われる。

図１３は、円錐台部２２Ａの外周面を人差し指を含む１本以上の指でタッチして、その状態で、手ＨＤを左右に振るようにして円錐台部２２Ａの外周面を撫でるジェスチャ操作を示す。このジェスチャ操作は、手ＨＤを、図１２Ａに示す状態と図１２Ｂに示す状態との間で横方向に往復させるジェスチャであるので、ここでは、横ストロークと呼ぶ。

横ストロークは、例えば、空調システムの風量調節や温度調節の操作、ＡＶシステムの音量調節や選曲の操作に割り当てられる。メニュー画面５２において、温度調節や音量調節などのメニュー項目の選択が確定された後、横ストロークが行われると、温度や音量が変更される。

図１４は、図１４Ａに示すように、手ＨＤの人差し指と親指を含む２本以上の指で円錐台部２２Ａを掴むようにタッチした状態から、図１４Ｂに示すように、円錐台部２２Ａの外周面を手ＨＤで摘み上げるようにして手ＨＤを縦方向にスライドさせるジェスチャ操作を示す。図１４に示すジェスチャ操作を、ここでは、縦ピンチと呼ぶ。

縦ピンチは、例えば、メニュー画面５２を閉じる操作に割り当てられる。地図表示画面５１にメニュー画面５２が表示された状態で、縦ピンチが行われると、メニュー画面５２の表示が終了してメニュー画面５２が閉じられる。

本例における、立体領域２２に対するジェスチャ操作の種類や、各ジェスチャ操作に対する機能の割り当ては、一例であり、もちろん、上述した以外の種類や割り当てが考えられる。例えば、円錐台部２２Ａではなく、平面部２２Ｂに対するタップ操作、スライド操作などを、円錐台部２２Ａに対するジェスチャ操作と区別して設定してもよい。

図１５は、タッチパネル制御部３２の概略構成を示すブロック図である。タッチパネル制御部３２は、ジェスチャ判定部３２Ａ、表示制御部３２Ｂを備えている。ジェスチャ判定部３２Ａは、立体領域２２に対してタッチ操作であるジェスチャ操作が行われた場合に、そのジェスチャ操作がどのようなジェスチャであるかを判定する。

図１６において、説明を簡略化するために、タッチパネル２１のうち、本発明の特徴部分である、立体領域２２を通じて受け付けるタッチ操作の処理を例に説明する。実際には、タッチパネル制御部３２は、立体領域２２を含めてタッチパネル２１全体を制御するが、タッチパネル２１のうち、立体領域２２以外の平面領域や湾曲面領域を通じて受け付けるタッチ操作の処理は、通常の平面パネルのタッチパネルの処理と同様であるため、説明を省略する。

ジェスチャ判定部３２Ａには、立体領域２２に対してタッチ操作がされた場合に、タッチされたタッチ位置に対応する検知信号が入力される。検知信号は、立体領域２２の操作領域に張り巡らされた、Ｘ方向およびＹ方向の各信号線６８で構成されるマトリックス配線からの出力である。検知信号は、タッチ位置に対応する、Ｘ方向およびＹ方向の各信号線６８の交点の座標を表す。そのため、ジェスチャ判定部３２Ａは、検知信号から、立体領域２２内におけるタッチ位置がどこかを特定することができる。

記憶部であるメモリ３４には、立体形状情報テーブル７１が格納されている。立体形状情報テーブル７１には、立体領域２２の立体形状に応じて、タッチ位置と立体形状の各部との対応関係が記録されている。ジェスチャ判定部３２Ａは、メモリ３４にアクセスして立体形状情報テーブル７１を参照して、立体形状情報を読み出す。ジェスチャ判定部３２Ａは、記憶部であるメモリ３４にアクセスして、タッチセンサの立体形状に関する立体形状情報を取得する立体形状情報取得部として機能する。

ジェスチャ判定部３２Ａは、検知信号に基づいて、立体形状情報テーブル７１を参照して、ジェスチャ操作の内容を特定し、特定したジェスチャ操作の内容を表すジェスチャ特定情報を生成するジェスチャ特定情報生成部として機能する。

立体形状情報には、まず、形状ＩＤ（ＩＤ：Identification Data）が含まれる。形状ＩＤは、立体領域２２に含まれる立体形状を識別する情報である。立体領域２２の立体形状は円錐台であり、円錐台を表す形状ＩＤとして「０１」が割り当てられている。

また、立体形状情報テーブル７１には、タッチ位置として、検知信号に基づいて特定される、立体領域２２のマトリックス配線における座標が記録される。なお、図１５においては、簡略化のために、タッチ位置を「１〜１００」といった識別番号で表しているが、実際のデータは、Ｘ方向とＹ方向の各信号線６８が接続される信号処理ＩＣの端子番号などに基づいて特定される座標情報である。立体形状情報テーブル７１には、このタッチ位置の識別番号と、立体形状の面ＩＤとが関連付けて記憶されている。

面ＩＤは、例えば、立体形状の外周面が複数の面で構成される場合において、各面を識別する情報である。立体領域２２は、円錐台部２２Ａの外周面には上面と側面、および平面部２２Ｂに対応する面の３つの面を有する。本例では、円錐台部２２Ａの上面の面ＩＤには「００１」が、側面の面ＩＤには「００２」が、平面部２２Ｂの面ＩＤには「００３」がそれぞれ割り当てられている。

また、立体形状情報テーブル７１には、面ＩＤに加えて、外周面属性情報（以下、単に面属性情報と呼ぶ）が記録されている。面属性情報は、外周面を構成する各面が、例えば、円錐台の上面か側面かといった情報である。また、面属性情報には、各面が、平面であるか曲面であるかを表す情報も含まれる。また、円錐台の側面のように加工によって曲率が大きな曲面もあれば、平面部２２Ｂを緩やかに湾曲させることで曲率が小さな湾曲面が形成される場合もある。面属性情報には、各面が、平面であるか、平面を緩やかに湾曲させた湾曲面であるかといった情報も含まれる。曲面や湾曲面といった情報を使用する場合には、曲率の情報を付加することが好ましい。画像を曲面や湾曲面に適切に表示するためには、曲率に応じた座標変換などの画像補正処理を施した方がよい場合もある。そのため、面属性情報として、曲面を表す情報を使用する場合は曲率を含めることが好ましい。

ジェスチャ判定部３２Ａは、タッチ位置の識別番号（座標情報）、形状ＩＤ、面ＩＤおよび面属性情報に基づいて、どのような立体形状のどの面に対してタッチ操作が行われたかを特定することができる。なお、本例では、１つの面に対しては１つのＩＤを割り当てているが、１つの面内を複数のブロックに分割して、各ブロックにＩＤを付与してもよい。こうすれば、タッチ位置が１つの面内のどのブロックに属するかを特定することも可能である。

図１２に示す回転操作や、図１３に示す横ストロークなどのジェスチャ操作が行われると、複数の位置が連続的にタッチされる。この場合、タッチ位置を表す検知信号は、ジェスチャ判定部３２Ａに対して連続的に入力される。ジェスチャ判定部３２Ａは、連続的に入力される検知信号に基づいて、タッチ位置の軌跡を記録し、記録した軌跡から、回転操作であるか横ストロークであるかといったジェスチャ操作の内容を特定する。

また、図１１に示すようなタップ操作の場合は、１箇所の局所的な検知信号が入力される。所定時間内に２回同じ場所からの検知信号が入力された場合には、ダブルタップと判定される。

ジェスチャ判定部３２Ａは、上述のとおり、特定したジェスチャ操作の内容を表すジェスチャ特定情報を生成する。ジェスチャ特定情報には、立体領域２２の形状ＩＤ、面ＩＤ、面属性情報、ジェスチャ操作の種類、タッチ位置の座標などが含まれる。

図１６〜図１９は、ジェスチャ特定情報の例を示す。図１６に示すように、立体領域２２が円錐台部２２Ａで、ジェスチャ操作が、上面に対するシングルタップの場合は、形状ＩＤは、円錐台部２２Ａを表す「０１」、面ＩＤは上面を表す「００１」、面属性情報は「上面」でかつ「平面」ジェスチャ操作の種類はシングルタップ、タッチ位置の座標は、上面のタッチ位置に対応する座標の値、例えば「（２００、３００）」といった内容になる。

タッチ位置については、図１６〜図１９においては、図１５において簡略的に示した識別番号ではなく、具体的な座標の値で表されている。ここで、タッチ位置の座標は、各種の定義の仕方が考えられるが、どのような定義の座標を使用してもよい。例えば、図１５に識別番号で示した座標は、信号線６８の交点に対応する座標である。この座標とは別に、立体形状においてタッチ位置の座標の表し方としては、例えば、立体形状を平面に展開した場合の２次元座標を表す平面座標情報がある。あるいは、タッチ位置を、立体形状を三次元空間に配置した場合の三次元座標情報で表す方法も考えられる。さらに、立体形状の各面に対してそれぞれ座標系を定義して、各面の面内座標情報で表す方法も考えられる。面内座標情報は、例えば、円錐台であれば、上面の面内座標情報と側面の面内座標情報が含まれる。タッチ位置の座標としては、こうした座標のいずれを使用してもよい。

図１７に示すように、立体領域２２が円錐台部２２Ａで、ジェスチャ操作が側面に対する回転操作の場合は、形状ＩＤが「０１」、面ＩＤは側面を表す「００２」、面属性は「側面」でかつ「曲面」、ジェスチャ操作の種類は回転操作、タッチ位置の座標はタッチ位置に対応する座標の値となる。回転操作の場合は、タッチ位置の座標は、タッチ位置の軌跡を表す座標となる。

また、図１８および図１９は、立体領域が、本例の円錐台部２２Ａではなく、角錐台部８１Ａと平面部８１Ｂを有する立体領域８１である場合のジェスチャ特定情報の例である。図１８は、角錐台部８１Ａに対するシングルタップがされた場合のジェスチャ特定情報を示す。この場合、形状ＩＤは、角錐台を表す「０２」、面属性情報は「上面」でかつ「平面」、ジャスチャの種類はシングルタップ、タッチ位置の座標は、タッチ位置に対応する座標となる。

図１９は、角錐台部８１Ａに対して上面を撫でるようなスライド操作がされた場合のジェスチャ特定情報を示す。この場合、形状ＩＤは、角錐台を表す「０２」、面属性情報は「上面」でかつ「平面」、ジャスチャの種類はスライド、タッチ位置の座標は、スライドに応じたタッチ位置の軌跡を表す座標の値となる。

ジェスチャ判定部３２Ａは、このようなジェスチャ特定情報を、ＡＰインタフェース部３３に送信する。

図１５において、ＡＰインタフェース部３３は、ジェスチャ特定情報に基づいて、ＡＰ実行部４１と通信し、アプリケーション実行部４１からの応答情報を受信する。本例においては、ＡＰインタフェース部３３は、ジェスチャ判定部３２Ａから受信したジェスチャ特定情報をそのまま、ＡＰ実行部４１に対して送信する。また、ＡＰインタフェース部３３は、ＡＰ実行部４１からの応答情報を表示制御部３２Ｂに送信する。応答情報には、タッチパネル２１に表示する応答画面の情報が含まれる。

表示制御部３２Ｂは、ＡＰインタフェース部３３から受信した応答情報に基づいて、立体領域２２を含むタッチパネル２１の表示を制御する。

ＡＰ実行部４１は、コマンド判定部４１Ａと応答部４１Ａとを備えている。コマンド判定部４１Ａは、ＡＰインタフェース部３３から受信したジェスチャ特定情報に基づいて、操作コマンドを判定する。操作コマンドは、ジェスチャ操作の内容に基づいて、各種のジェスチャ操作に割り当てられた、ＡＰに対する操作信号である。

主制御装置２６のメモリ４２には、コマンド判定テーブル７２（７２Ａ、７２Ｂ、７２Ｃ・・・）が格納されている。コマンド判定テーブル７２は、「シングルタップ」、「ダブルタップ」、「回転操作」といったジェスチャ操作と、操作コマンドとの対応関係を記録したテーブルデータである。操作コマンドとしては、「メニュー呼び出し／現在地表示」、「メニュー選択」、ＡＶシステムに対する「選曲」や「音量」の調節、空調システムに対する「風量」や「温度」等の調節といった操作コマンドがある。

例えば、「ダブルタップ」のジェスチャ操作には、ＡＰ実行部４１に対して「メニュー呼び出し」や「現在地表示」を指令する操作コマンドが割り当てられている。また、「回転操作」のジェスチャ操作には、「メニュー選択」の操作コマンドが割り当てられており、「横ストローク」のジェスチャ操作には、メニュー項目の選択状態に応じて、「選曲」、「音量」、「風量」、「温度」の調節を指令する操作コマンドが割り当てられている。

本例では、ダブルタップや回転操作といったジェスチャ操作の種類毎に操作コマンドが割り当てられているが、同じ種類のジェスチャ操作であっても、タッチ操作が行われる面毎に異なる操作コマンドを割り当ててもよい。この場合、例えば、上面に対するタップ操作と側面に対するタップ操作のそれぞれに対して異なる操作コマンドが割り当てられる。

また、図１５において示すように、コマンド判定テーブル７２には、立体領域２２の形状毎に複数のコマンド判定テーブル７２Ａ、７２Ｂ、７２Ｃが含まれる。コマンド判定テーブル７２Ａは、タッチパネル２１が、形状ＩＤが「０１」の円錐台部２２Ａを含む立体領域２２を有する場合に用いられるテーブルである。コマンド判定テーブル７２Ｂは、図１８および図１９に例示した角錐台部８１Ａを有する立体領域８１の場合に用いられるテーブルであり、コマンド判定テーブル７２Ｃは、図示しない半球部を有する立体領域の場合に用いられるテーブルである。

タッチパネル２１の形状が三次元の立体形状の場合、平面パネルに対するジェスチャ操作と異なり、タッチ位置やジェスチャ操作の種類を含むジェスチャ操作の内容が複雑化し、また、立体形状が異なるとジェスチャ操作の内容も変化する。そのため、タッチパネル２１の立体形状に応じてコマンド判定テーブル７２が複数用意される。このように、立体形状に応じた各コマンド判定テーブル７２Ａ、７２Ｂ、７２Ｃは、立体形状毎に異なる情報であるため、立体形状情報に含まれる。

メモリ４２には、タッチパネル２１の立体形状を表す形状ＩＤがプリセット情報７６として記録されている。プリセット情報７６は、例えば、自動車の製造時において、タッチパネル２１を主制御装置２６に装着する際にセットされる。ＡＰ実行部４１は、プリセット情報７６を参照して、タッチパネル２１の立体形状を認識する。

コマンド判定部４１Ａは、ジェスチャ判定部３２Ａから入力されたジェスチャ操作の内容に基づいて、コマンド判定テーブル７２を参照して、操作コマンドを判定する。ＡＰ実行部４１は、コマンド判定部４１Ａが判定した操作コマンドに応じて、ナビゲーションシステム、ＡＶシステム、空調システムの各ＡＰにおける各処理を実行する。

応答部４１Ａは、コマンド判定テーブル７２を参照して、操作コマンドに対する応答情報を生成する。コマンド判定テーブル７２には、操作コマンドに対する応答情報として、応答画面の情報が含まれている。コマンド判定テーブル７２に格納される応答情報は、例えば、応答画面の画像データの格納先へのリンク情報である。応答情報は、タッチパネル２１の立体形状に応じて用意されている。

コマンド判定テーブル７２Ａには、円錐台部２２Ａに対応した円錐台用の応答画面の情報が記録されており、コマンド判定テーブル７２Ｂには、角錐台部８１Ａに対応した角錐台用の応答画面の情報が記録されており、コマンド判定テーブル７２Ｃには、半球部に対応した半球用の応答画面の情報が記録されている。

平面パネルの場合は、タッチパネルが違っても表示する画面サイズが異なる程度であるため、同じ画像データを使用して拡大や縮小処理を施して各タッチパネルの画面サイズに合わせるといった処理が可能である。そのため、応答画面のデータも１つで済む場合が多い。

しかし、例えば、図２０および図２１に示すように、立体形状が異なると、同じ内容の応答画面を表示する場合でも、拡大や縮小といったサイズ変更だけでは、適切に表示されない場合がある。図２０に示すように、平面パネル８５に表示された円環８６を、図２１に示す立体領域２２に表示する場合は、例えば、円環８６を複数の領域に分割して、一部を円錐台部２２Ａの上面に表示し、一部を平面部２２Ｂに表示する処理が必要になる場合がある。このような場合は、単に画像の拡大や縮小をしただけでは適切に表示することができない。

そこで、コンソールシステム１０においては、立体形状に応じた応答画面が用意されている。応答情報には、立体形状毎の応答画面の情報に加えて、例えば、立体形状に応じて、応答画面の画像をどのように分割し、立体形状のどの面に応答画面のどの部分を表示するかといった応答画面の表示位置に関する表示位置情報が含まれている。

図１５において、応答部４１Ａは、プリセット情報７６に基づいて、タッチパネル２１の立体形状に応じたコマンド判定テーブル７２を選択する。本例において、プリセット情報７６は、円錐台部２２Ａを表す形状ＩＤ「０１」であるため、応答部４１Ａは、コマンド判定テーブル７２Ａを選択する。そして、選択したテーブル７２Ａを参照して、操作コマンドに応じた応答情報であって、円錐台用の応答情報を、ＡＰインタフェース部３３に送信する。コンソールデバイス制御部２４は、受信した応答情報に基づいて各部を制御する。表示制御部３２Ｂは、応答情報に含まれる円錐台用の応答画面に基づいて、立体領域２２の表示内容を変更する。

また、表示制御部３２Ｂは、立体領域２２の平面部２２Ｂを構成する面が、平面であるか緩やかに湾曲した湾曲面であるかといった面属性情報に基づいて、応答画面の表示位置などを微調整する。これにより面の属性に応じた適切な表示が可能となる。

また、コンソールデバイス制御部２４は、応答情報に含まれる音声情報に基づいてスピーカ２３から音声を出力させるといった制御を行う。

メモリ４２には、ＡＰ実行部４１が実行可能なＡＰが複数格納されている。各ＡＰのデータには、立体形状に応じたコマンド判定テーブル７２の内容、具体的には、ジェスチャ操作と操作コマンドとの対応関係や、操作コマンドに対する応答画面を含むユーザインタフェース（ＵＩ：User Interface）の情報が含まれている。ＵＩの情報は、例えば、通常の平面パネルの場合のＵＩ１、円錐台用のＵＩ２、角錐台用のＵＩ３、半球用のＵＩ４などである。

立体形状に応じたコマンド判定テーブル７２の情報は、例えば、予めインストールされるＡＰに予め組み込まれる。ＡＰの開発者は、各メーカーが製造するタッチパネルの立体領域の立体形状の仕様に基づいて、それぞれに適合したＵＩ等を開発する。そのＵＩ等のデータが予めＡＰに組み込まれる。そして、各コマンド判定テーブル７２Ａ、７２Ｂ、７２Ｃ・・・は、ＡＰが主制御装置２６にインストールされる際にメモリ４２上に展開される。これにより、１つのＡＰを複数の立体形状のタッチパネル２１に適応させることが可能となる。

なお、メモリ４２には、複数のＡＰ１、ＡＰ２・・・が格納されている。図示は省略するが、いずれのＡＰも複数の立体形状に応じたコマンド判定テーブル７２を備えている。

以下、上記構成の作用について、図２２および図２３に示すフローチャートを参照しながら説明する。

コンソールシステム１０が搭載される自動車において、イグニッションスイッチなどのメインスイッチが操作されると、コンソールシステム１０の電源がオンされる。電源がオンされると、図２３に示すように、ＡＰ実行部４１を含む主制御装置２６の電源がオン（ステップ（Ｓ）２００）して、図２２に示すようにタッチパネル制御部３２の電源もオンする（Ｓ１００）。

図２３に示すように、電源がオンされると、ＡＰ実行部４１は、ＡＰを起動する（Ｓ２１０）。ＡＰ実行部４１は、プリセットされた形状ＩＤを読み込む（Ｓ２２０）。そして、形状ＩＤに応じてＡＰのＵＩを設定する（Ｓ２３０）。本例では、円錐台部２２Ａに対応する形状ＩＤ「０１」が読み込まれて、円錐台用のＵＩを含むコマンド判定テーブル７２Ａがメモリ４２に展開される。この後、ＡＰの起動が完了された旨を表すＡＰ起動完了信号がタッチパネル制御部３２に送信される（Ｓ２４０）。送信後、ＡＰ実行部４１は、タッチパネル制御部３２からの操作信号を待機する（Ｓ２５０）。

図２２に示すように、タッチパネル制御部３２は、電源がオンされた後、ＡＰ起動完了信号を待機する（Ｓ１１０）。タッチパネル制御部３２は、ＡＰ起動完了信号を受信すると（Ｓ１１０でＹ）、Ｓ１２０に進み、タッチ操作の受け付けを開始する。立体領域２２に対してタッチ操作がされると（Ｓ１３０でＹ）、タッチパネル制御部３２のジェスチャ判定部３２Ａは、立体形状情報テーブル７１を参照して、参照した立体形状情報に基づいて、ジェスチャ操作の内容を特定する（Ｓ１４０）。そして、ジェスチャ判定部３２Ａは、図１６および図１７に示すようなジェスチャ特定情報を生成する（Ｓ１５０）。ＡＰインタフェース部３３は、ジェスチャ判定部３２Ａから受信したジェスチャ特定情報を、ＡＰ実行部４１に送信する（Ｓ１６０）。

図２３において、ＡＰ実行部４１では、ジェスチャ特定情報が操作信号として受信されると（Ｓ２５０でＹ）、Ｓ２６０に進む。Ｓ２６０において、コマンド判定部４１Ａは、形状ＩＤに応じて選択したコマンド判定テーブル７２を参照して、受信したジェスチャ特定情報に基づいて操作コマンドを判定する。

ＡＰ実行部４１は、判定された操作コマンドに応じた処理を実行する（Ｓ２７０）。応答部４１Ａは、コマンド判定テーブル７２を参照して、立体形状に応じた応答画面であって、かつ、操作コマンドに応じた応答画面をＡＰインタフェース部３３に送信する（Ｓ２８０）。本例では、応答部４１Ａは、円錐台用の応答画面を送信する。

図２２において、タッチパネル制御部３２が応答画面を受信すると（Ｓ１７０でＹ）、表示制御部３２Ｂは、立体領域２２に応答画面を表示する制御を行う（Ｓ１８０）。こうした処理が、電源がオフ（Ｓ２９０、Ｓ１９０でＹ）されるまで繰り返される。

このように、タッチパネル制御部３２は、タッチパネル２１の立体形状情報に基づいて、ジェスチャ操作の内容を特定し、その内容を表すジェスチャ特定情報を生成し、生成したジェスチャ特定情報に基づいて、ＡＰ実行部４１と通信する。そして、ＡＰ実行部４１からの応答情報に基づいてタッチパネル２１の表示を制御する。タッチパネル制御部３２は、ＡＰ実行部４１に対して、立体形状に応じて生成されたジェスチャ特定情報を送信するＡＰインタフェース部３３を備えているため、ＡＰ実行部４１は、立体形状に応じて適切な処理を行うことができる。そのため、ＡＰ実行部４１が実行する複数のＡＰとの適応が容易になる。

また、タッチパネル制御部３２が立体形状に応じたジェスチャ特定情報を出力するＡＰインタフェース部３３を備えていれば、タッチパネル制御部３２などのデバイス側と、ＡＰ実行部４１との間で通信される情報が明確になる。そのため、ＡＰを開発する開発者にとっても、各種のタッチパネルの立体形状に合わせたＡＰの開発がしやすい。

このように、タッチ式操作装置がＡＰインタフェース部３３を備えることで、１つのタッチ式操作装置を複数のＡＰに適応させたり、反対に、１つのＡＰを複数のタッチ式操作装置に適応させることが容易になり、汎用性を確保することができる。

上述のとおり、本例のＡＰ実行部４１は、予めインストールされたＡＰ以外にも、外部と通信して取得したＡＰを実行することが可能である。この場合、多種多様なＡＰと、多種多様な立体形状のタッチパネルとが組み合わされて使用されることになる。本例のようなタッチ式操作装置は、このような場合に、特に有効である。

なお、本例において、ＡＰ実行部４１は、ＡＰ情報取得部４３を通じてＡＰ配信サーバ４７からダウンロードしたＡＰを実行することができる。こうした形態以外でも、例えば、ＡＰ配信サーバ４７として、インターネット４６経由でアプリケーションサービスを提供するＡＳＰ（Application Service Provider）サーバを使用し、ＡＰ情報取得部４３がＡＳＰサーバにアクセスして、アプリケーションサービスとして提供されるＡＰをＡＰ実行部４１が実行してもよい。つまり、ＡＰ情報取得部４３およびＡＰ実行部４１は、いわゆるクラウド型のサービスを利用できるようにしてもよい。

この場合は、ＡＰ情報取得部４３は、ＡＰのデータすべてをダウンロードして、主制御装置２６にインストールするのではなく、ＡＰ実行部４１の処理に際して、リアルタイムでＡＳＰサーバと通信して、必要なＡＰに関するデータを逐次取得する。ＡＰ実行部４１は、逐次取得されたＡＰに関するデータに基づいて処理を実行する。この場合、ＡＰ情報取得部４３およびＡＰ実行部４１は、ＡＰを実行するためのプラットホームとして、例えば、ＷＥＢブラウザを使用して、ＷＥＢブラウザを使用してＡＳＰサーバのアプリケーションサービスの提供を受ける。

また、ＡＰ情報取得部４３は、立体形状に応じてＡＰを取得してもよい。この場合、ＡＰ情報取得部４３は、プリセットされた形状ＩＤをＡＰ配信サーバ４７に送信する。ＡＰ配信サーバ４７は、形状ＩＤに基づいてＡＰを抽出してＡＰ情報取得部４３に配信する。これによれば、ＡＰ情報取得部４３は、タッチパネル２１の立体形状に応じたＡＰをダウンロードすることができる。また、ＡＳＰサーバからアプリケーションサービスの提供を受ける場合も同様に、ＡＰ情報取得部４３が立体形状をＡＳＰサーバに送信することで、主制御装置２６は、立体形状に応じたアプリケーションサービスの提供を受けることができる。

また、ＡＰのインストールはインターネット４６経由ではなく、例えば、ＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアを通じて主制御装置２６にインストールしたり、スマートフォンと近距離無線通信を行ってインストールできるようにしてもよい。こうしたＵＳＢメモリや近距離無線通信も外部との通信に含まれる。

また、本例では、立体形状情報として、立体形状を識別する形状ＩＤ、立体形状を構成する外周面を識別する面ＩＤ、外周面の属性を表す面属性情報、マトリックス状の信号線６８の配線に基づくタッチ位置の座標などを例に説明している。しかし、立体形状情報としては、これ以外でもよく、立体形状を有するタッチセンサに対するジェスチャ操作の内容を特定できる情報であれば、どのようなものでもよい。例えば、立体形状を平面に展開した際の平面座標情報、および立体形状の三次元座標情報などを使用してもよい。また、ジェスチャ操作の内容を特定できる情報であれば、これらの立体形状情報のすべてを有している必要はなく、少なくとも１つが含まれていればよい。

「第２実施形態」
図２４および図２５に示す第２実施形態のコンソールシステム９０は、三次元の立体形状を有するタッチセンサとは別に、ディスプレイとしてタッチパネル９１が設けられる形態である。図２４に示すように、第２実施形態のコンソールシステム９０においては、タッチセンサを備えたタッチパッド９２には、表示機能はなく、表示は平面型のタッチパネル９１で行われる。その他の点は、第１実施形態と同様であるので、以下においては相違点を中心に説明し、同一部分には同一符号を示し説明を適宜省略する。

図２５に示すように、コンソールデバイス制御部２４には、第１実施形態のタッチパネル制御部３２の代わりに、タッチパッド制御部９４が設けられている。また、タッチパッド制御部９４とは別に、タッチパネル９１を制御するタッチパネル制御部９３を備えている。タッチパネル９１は平面パネルであるため、タッチパネル制御部９３は従来のタッチパネル制御部と同様である。タッチパネル制御部９３は、表示制御部に相当する。

図２５において、タッチパッド制御部９４は、第１実施形態と同様に、ジェスチャ判定部３２Ａを備えている。立体形状情報テーブル７１についても第１実施形態と同様である。また、主制御装置２６は、第１実施形態とほぼ同様である。相違点としては、タッチパネル９１が立体形状ではなく、平面となるため、プリセット情報７６としては、ディスプレイが平面であることを表す情報が追加される。また、コマンド判定テーブル７２Ａは、第１実施形態においては応答情報が円錐台用であったが、本例においては、応答情報が平面用に変更されている。その他の構成は第１実施形態と同様である。

ジェスチャ判定部３２Ａは、円錐台形の立体形状を有するタッチパッド９２から検知信号を受信すると、立体形状情報テーブル７１を参照して、ジェスチャ操作の内容を特定する。そして、ジェスチャ特定情報を生成する。ジェスチャ特定情報は、ＡＰインタフェース部３３からＡＰ実行部４１に送信される。ＡＰ実行部４１は、ジェスチャ特定情報を操作信号として受信すると、コマンド判定テーブル７２を参照して、操作コマンドを判定する。そして、ＡＰ実行部４１は、操作コマンドに応じた応答情報をＡＰインタフェース部３３に送信する。この応答情報には、タッチパネル９１が平面パネルであるため、平面用の応答画面の情報が含まれる。タッチパネル制御部９３は、受信した応答情報に基づいてタッチパネル９１の表示を制御する。

なお、タッチパネル９１として平面パネルを使用する場合でも、平面パネルを湾曲させて画面が湾曲面になっている場合もある。その場合には、上述したように、湾曲面で適切な表示が行われるように、平面用の応答画面の情報を微調整することが好ましい。

「第３実施形態」
図２６〜図２８に示す第３実施形態は、第１実施形態の変形例である。第１実施形態においては、ＡＰインタフェース部３３から受信したジェスチャ特定情報に基づいて、ＡＰ実行部４１が操作コマンドを判定している。これに対して、第３実施形態においては、操作コマンドの判定は、ＡＰ実行部４１ではなく、ＡＰインタフェース部３３が行う。以下、相違点を中心に説明する。

ＡＰインタフェース部３３には、コマンド判定部３３Ａが設けられる。そして、コマンド判定テーブル７２は、主制御装置２６のメモリ４２ではなく、立体領域２２を含むデバイス側のメモリ３４に格納される。コマンド判定テーブル７２としては、立体領域２２の形状に対応した円錐台型のコマンド判定テーブル７２Ａのみが格納される。

主制御装置２６には、平面用のＵＩ０のみを有するＡＰがインストールされる。メモリ４２には、操作コマンドと応答情報との対応関係を記憶したコマンド／応答情報対応テーブル９６が格納される。テーブル９６には、平面用の応答情報が記録されている。第３実施形態においては、ＡＰ実行部４１は、立体領域２２の形状を認識せず、立体領域２２の形状に関わらず、立体領域２２が通常の平面パネルのタッチパネルであるものとして処理を実行する。

図２７および図２８に示す第３実施形態のフローチャートにおいて、図２８のＳ２００、Ｓ２１０、Ｓ２４０、Ｓ２５０は、第１実施形態の図２３のステップと同じである。第３実施形態においては、ＡＰは平面用の応答情報のみを有するため、図２８において、第１実施形態のＳ２２０およびＳ２３０に相当するステップは無い。また、図２７のＳ１００〜Ｓ１５０は、第１実施形態の図２２のステップと同じである。

図２７のＳ１５１において、ＡＰインタフェース部３３は、ジェスチャ判定部３２Ａからジェスチャ特定情報を受信する。そして、コマンド判定部３３Ａは、受信したジェスチャ特定情報に基づいて、コマンド判定テーブル７２Ａを参照して、操作コマンドを判定する。コマンド判定テーブル７２Ａは立体形状情報に相当するので、ＡＰインタフェース部３３のコマンド判定部３３Ａは、ジェスチャ特定情報と立体形状情報とに基づいて、ＡＰに対する操作コマンドを判定している。ＡＰインタフェース部３３は、判定した操作コマンドを、ＡＰ実行部４１に送信する（Ｓ１５２）。このように、第３実施形態では、ＡＰインタフェース部３３は、第１実施形態のようにジェスチャ特定情報を送信するのではなく、コマンド判定部３３Ａでコマンド判定を行って、判定した操作コマンドをＡＰ実行部４１に送信する。

図２８のＳ２５０において、ＡＰ実行部４１は、操作信号として操作コマンドを受信する（Ｓ２５０でＹ）。ＡＰ実行部４１は、第１実施形態のようにコマンド判定を行うことなく、操作コマンドに応じた処理を実行する（Ｓ２７０）。応答部４１Ａは、操作コマンドに応じた応答情報として、平面用の応答画面をＡＰインタフェース部３３に送信する（Ｓ２８１）。

図２７のＳ１７０において、タッチパネル制御部３２が平面用の応答画面を受信すると（Ｓ１７０でＹ）、表示制御部３２Ｂは、平面用の応答画面を立体領域２２の立体形状に応じた応答画面に変換する画面変換処理を実行する（Ｓ１７１）。表示制御部３２Ｂは、コマンド判定テーブル７２Ａを参照して、操作コマンドに対応する円錐台用の応答画面の情報を読み出す。読み出した円錐台用の応答画面に基づいて、立体領域２２の表示を制御する（Ｓ１８０）。電源がオフ（Ｓ２９０、Ｓ１９０でＹ）されるまで上記の処理が繰り返される。

立体形状に応じた応答画面は、立体形状情報の１つである。上述したとおり、タッチパネル２１の立体領域２２は、タッチセンサ６９と一体化され、タッチセンサ６９の立体形状と同じ立体形状のディスプレイ７０を備えている。そのため、第３実施形態においては、表示制御部３２Ｂは、タッチセンサ６９と一体化されたディスプレイ７０の立体形状に応じた画面変換処理を行って、表示制御を行う。画面変換処理は、例えば、図２０および図２１で示したように、平面パネルで表示される画像を、立体形状の表示領域に適切に表示するための変換処理である。

このように、第３実施形態においては、タッチパネル２１およびタッチパネル制御部３２を備えるデバイス側で、タッチパネル２１の立体形状に応じたコマンド判定と画面変換を行っている。ＡＰ実行部４１は、タッチパネル２１の立体形状を認識せずに済む。そのため、ＡＰの開発をタッチパネル２１の立体形状を考慮せずに行うことができる。また、タッチパネル２１がどのような立体形状を有していても、既存のＡＰをそのまま使用することが可能である。第１実施形態と同様に、第３実施形態においても、１つのタッチ式操作装置を複数のＡＰに適応させたり、反対に、１つのＡＰを複数のタッチ式操作装置に適応させることが容易になり、汎用性を確保することができる。

「第４実施形態」
図２９に示す第４実施形態は、第２実施形態に第３実施形態の構成を適用した形態である。つまり、第３実施形態との相違点は、立体領域２２の代わりに、タッチセンサを備えたタッチパッド９２を備えており、タッチパッド９２とは別に平面型のタッチパネル９１を有している点である。第４実施形態では、第３実施形態と異なり、平面型のタッチパネル９１であるので、タッチパネル９１において画面変換処理は行われない。そのため、コマンド判定テーブル７２Ａには、立体形状に応じた応答情報も不要である。第４実施形態のその他の構成は、第３実施形態と同様である。

「第５実施形態」
図３０示す第５実施形態は、上述の各実施形態のタッチ式操作装置と主制御装置２６で構成される情報処理システムの変形例であり、情報処理システムが搭載された自動車がカーシェアリングに利用される場合の応用例である。

カーシェアリングを利用するユーザ１０１は、ユーザ１０１が日常的に使用するスマートフォン１０２のＡＰを、カーシェアリングで使用する自動車で使用できれば便利である。第５実施形態のＡＰ情報取得部４３は、自動車においてユーザ認証が行われた場合に、ユーザ１０１のスマートフォン１０２と通信して、スマートフォン１０２で使用されているＡＰをダウンロードする機能を備えている。

カーシェアリングを利用するユーザ１０１は、カーシェア管理サーバ１０４が提供する予約サイトにおいて、スマートフォン１０２を通じてカーシェアリングの予約をし、認証情報を取得する。ユーザ１０１は、取得した認証情報を使用して自動車のロックを解除して自動車に乗車する。この際にＡＰ情報取得部４３は、ユーザ１０１の同意の下、スマートフォン１０２にアクセスして認証情報を参照して、ユーザ１０１がカーシェアリングの予約をしたユーザ１０１であると確認する。そして、ＡＰ情報取得部４３は、スマートフォン１０２の端末ＩＤを取得して、スマートフォン１０２にインストールされたＡＰの情報を管理する端末管理サーバ１０３にアクセスして、インストールされた登録ＡＰ情報を取得する。ＡＰ情報取得部４３は、ＡＰ配信サーバ４７にアクセスして、取得した登録ＡＰ情報と同じＡＰをダウンロードする。

こうすれば、ユーザ１０１は、日常的に使用しているＡＰをカーシェアリングで使用する自動車でも使用することが可能となる。なお、スマートフォン１０２で使用しているすべてのＡＰを自動車で使用できるとは限らない。そのため、プリセット情報７６に基づいて、立体形状情報をＡＰ情報取得部４３からＡＰ配信サーバ４７に送信して、ＡＰ配信サーバ４７において、立体形状情報で使用可能なＡＰを抽出できるようにするとよい。

「第６実施形態」
図３１に示す第６実施形態の情報処理システムは、ＡＰ開発者がコンソールシステム１０で使用できるＡＰを開発しやすいようにするための構成として、主制御装置２６にＡＰＩ（Application Programming Interface）情報提供部１０５を設けた形態である。ＡＰＩ情報提供部１０５は、立体領域２２の立体形状に応じた立体形状情報をＡＰＩ公開サーバ１０６にインターネット４６を通じてアップロードする。ＡＰＩ公開サーバ１０６は、アップロードされた立体形状情報をＡＰＩ情報としてＡＰ開発者に公開する。こうした仕組みを用いると、ＡＰ開発者は、各種のタッチパネル２１の立体形状に応じたＡＰの開発がしやすい。もちろん、ＡＰＩ公開サーバ１０６は、タッチ式操作装置を製造するメーカーや自動車メーカーなどのデバイスメーカからＡＰＩ情報の提供を受けられるようにしてもよい。

（立体形状情報に含める仕様情報）
ＡＰＩ情報として立体形状情報を提供する場合には、立体形状情報に、図３２〜図３４において説明する仕様情報を含めることが好ましい。

図３２および図３３に示すように、タッチパネル２１に立体領域１１０がある場合を考える。立体領域１１０は、円錐台部１１０Ａ、平面部１１０Ｂ、および複数の凹部１１０Ｃを備えている。凹部１１０Ｃのように、タッチセンサの凹凸型立体形状領域としては、凸部領域だけでなく、凹部領域も含まれる。凹部１１０Ｃに対するタッチ操作としては、操作者の手ＨＤの指を各凹部１１０Ｃに押し込むようなタッチ操作が考えられる。

図３４に示すように、各凹部１１０Ｃには、例えば、ＡＶシステムのメニュー項目である、音量調節機能、選曲機能、プレイリスト変更機構が割り当てられる。このような立体領域１１０の場合において、メニュー項目を割り当てる操作領域が３つあるという仕様情報を、ＡＰＩ情報として提供することが好ましい。ＡＰ開発者としては、タッチセンサの立体形状がどのような形状か不明である場合でも、メニュー項目を割り当てる操作領域の数だけでも把握できれば、それに合わせてＡＰを作り込むことができ便利である。例えば、メニュー項目を割り当てる操作領域の数を把握できれば、頻繁に使用するメニュー項目の操作領域として使用するなど、使いやすいＡＰの開発に資する情報となるからである。

こうした仕様情報は、第３実施形態や第４実施形態のように、タッチセンサの立体形状をＡＰが認識しない場合においても有効である。円錐台や角錐台や半球というように立体形状が異なっても、メニュー項目を割り当てる操作領域の数が同じであれば、それらに適したＡＰを開発することも可能となるためである。

上記例において、タッチ式操作装置を自動車に搭載した例で説明したが、タッチ式操作装置が搭載される機器は自動車でなくてもよい。例えば、冷蔵庫などの家電製品に適用してもよい。冷蔵庫の操作パネルに三次元の立体形状を有するタッチセンサやタッチパネルを使用する場合も考えられる。

冷蔵庫などの家電製品において、ＡＰをＡＰ配信サーバ４７からダウンロードする場合は、次のようにしてもよい。例えば、ＡＰ配信サーバ４７において、冷蔵庫の型番とＡＰとの対応関係を記憶してＡＰが登録されている。冷蔵庫に搭載されるＡＰ情報取得部４３は、ＡＰをダウンロードする際に冷蔵庫の型番をＡＰ配信サーバ４７に送信する。ＡＰ配信サーバ４７は、受信した型番に基づいて冷蔵庫で使用可能なＡＰを抽出して、ＡＰ情報取得部４３に配信する。こうすれば冷蔵庫の操作パネルの立体形状に応じたＡＰをダウンロードすることができる。また、スマートフォンの近距離無線通信機能を使用して冷蔵庫の型番を読み取り、スマートフォンから冷蔵庫の型番をＡＰ配信サーバ４７に送信して、ＡＰをダウンロードし、このＡＰをスマートフォンから冷蔵庫に転送してもよい。

上記各実施形態において、例えば、コンソールデバイス制御部２４、タッチパネル制御部３２、ジェスチャ判定部３２Ａ、コマンド判定部４１Ａ、表示制御部３２Ｂ、ＡＰインタフェース部３３といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。

各種のプロセッサには、ＣＰＵ（Central Processing Unit)、プログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、専用電気回路などが含まれる。ＣＰＵは、周知のとおりソフトウエア（作動プログラム）を実行して各種の処理部として機能する汎用的なプロセッサである。ＰＬＤは、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上記記載から、以下の付記項に記載のタッチ式操作装置を把握することができる。
「付記項１」
三次元の立体形状を有するタッチセンサと、
前記タッチセンサの立体形状に関する立体形状情報が格納される記憶部にアクセスして前記立体形状情報を取得する立体形状情報取得プロセッサと、
前記立体形状情報に基づいて、前記タッチセンサに対して行われたジェスチャ操作の内容を特定し、特定したジェスチャ操作の内容を表すジェスチャ特定情報を生成するジェスチャ特定情報生成プロセッサと、
前記ジェスチャ特定情報に基づいて、前記タッチセンサを入力装置として使用するアプリケーションプログラムを実行するアプリケーション実行部と通信し、前記アプリケーション実行部からの応答情報を受信するアプリケーションプログラムインタフェースプロセッサと、
前記受信した前記応答情報に基づいて、ディスプレイの表示を制御する表示制御プロセッサとを備えた、タッチ式操作装置。

「付記項２」
タッチ式操作装置と、前記タッチ式操作装置を入力装置として使用するアプリケーションプログラムを実行するアプリケーションプログラム実行プロセッサとを備えた情報処理システムにおいて、
前記タッチ式操作装置は、
三次元の立体形状を有するタッチセンサと、
前記タッチセンサの立体形状に関する立体形状情報が格納される記憶部にアクセスして前記立体形状情報を取得する立体形状情報取得プロセッサと、
前記立体形状情報に基づいて、前記タッチセンサに対して行われたジェスチャ操作の内容を特定し、特定したジェスチャ操作の内容を表すジェスチャ特定情報を生成するジェスチャ特定情報生成プロセッサと、
前記ジェスチャ特定情報に基づいて、前記タッチセンサを入力装置として使用するアプリケーションプログラムを実行するアプリケーション実行部と通信し、前記アプリケーション実行部からの応答情報を受信するアプリケーションプログラムインタフェースプロセッサと、
前記受信した前記応答情報に基づいて、ディスプレイの表示を制御する表示制御プロセッサとを、備えている、タッチ式操作装置を用いた情報処理システム。

本発明は、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採り得ることはもちろんである。また、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。

１０ コンソールシステム
１１ インストルメントパネル
１３ ハンドル
１４ 運転席
１５ 助手席
１６ ダッシュボード
１７ センターコンソール
１７Ａ 上方部分
１７Ｂ 下方部分
１７Ｃ 表面
２１ タッチパネルディスプレイ
２２ 立体領域
２２Ａ 円錐台部
２２Ｂ 平面部
２３ スピーカ
２４ コンソールデバイス制御部
２５ 空調機器
２６ 主制御装置
３２ タッチパネル制御部
３２Ａ ジェスチャ判定部（立体形状情報取得部、ジェスチャ特定情報生成部）
３２Ｂ 表示制御部
３３ ＡＰインタフェース部
３３Ａ、４１Ａ コマンド判定部
３４ メモリ
４１ ＡＰ実行部
４１Ｂ 応答部
４２ メモリ
４３ ＡＰ情報取得部
４４ 無線通信部
４５ ＣＰＵ
４６ インターネット
４７ ＡＰ配信サーバ
５１ 地図表示画面
５１Ａ 現在地マーク
５１Ｂ 経路
５１Ｃ 距離
５１Ｄ 目的地設定ボタン
５１Ｅ 復帰ボタン
５２ メニュー画面
５２Ａ メニューボタン
５２Ｂ 音量調節ボタン
５２Ｃ 選曲ボタン
５２Ｅ 温度調節ボタン
５３ 音量調節バー
６１ 段差
６６ 基板
６７ 被めっき層
６８ 信号線
６９ タッチセンサ
７０ ディスプレイ
７１ 立体形状情報テーブル
７２、７２Ａ、７２Ｂ、７２Ｃ コマンド判定テーブル
７６ プリセット情報
８１ 立体領域
８１Ａ 角錐台部
８１Ｂ 平面部
８５ 平面パネル
８６ 円環
９１ タッチパネル
９２ タッチパッド
９３ タッチパネル制御部
９４ タッチパッド制御部
９６ テーブル
１０１ ユーザ
１０２ スマートフォン
１０３ 端末管理サーバ
１０４ カーシェア管理サーバ
１０５ ＡＰＩ情報提供部
１０６ ＡＰＩ公開サーバ
１１０ 立体領域
１１０Ａ 円錐台部
１１０Ｂ 平面部
１１０Ｃ 凹部

Claims (16)

1. 三次元の立体形状を有するタッチセンサと、
   前記タッチセンサの立体形状に関する立体形状情報が格納される記憶部にアクセスして前記立体形状情報を取得する立体形状情報取得部と、
   前記立体形状情報に基づいて、前記タッチセンサに対して行われたジェスチャ操作の内容を特定し、特定したジェスチャ操作の内容を表すジェスチャ特定情報を生成するジェスチャ特定情報生成部と、
   前記ジェスチャ特定情報に基づいて、前記タッチセンサを入力装置として使用するアプリケーションプログラムを実行するアプリケーション実行部と通信し、前記アプリケーション実行部からの応答情報を受信するアプリケーションプログラムインタフェース部と、
   前記受信した前記応答情報に基づいて、ディスプレイの表示を制御する表示制御部とを備えたタッチ式操作装置。
2. 前記アプリケーション実行部は、外部と通信して取得したアプリケーションプログラムを実行するか、あるいはサーバからアプリケーションサービスとして提供されるアプリケーションプログラムを実行する請求項１に記載のタッチ式操作装置。
3. 前記アプリケーションプログラムインタフェース部は、前記ジェスチャ特定情報を前記アプリケーション実行部に送信する請求項１または２に記載のタッチ式操作装置。
4. 前記ディスプレイは、前記タッチセンサと一体化され、前記タッチセンサと同じ立体形状を備えており、
   前記表示制御部は、前記アプリケーション実行部から受信した前記応答情報を、前記ディスプレイの前記立体形状に応じた変換処理を行って、表示制御を行う請求項３に記載のタッチ式操作装置。
5. 前記立体形状情報は、前記立体形状を識別する形状ＩＤ、前記立体形状を構成する複数の外周面を識別する面ＩＤ、前記立体形状を平面に展開した際の平面座標情報、および前記立体形状の三次元座標情報の少なくとも１つを含み、
   前記応答情報は、前記アプリケーション実行部が前記ジェスチャ特定情報に基づいて実行する処理の処理結果として表示される応答画面の情報と、前記応答画面の表示位置に関する表示位置情報とを含む請求項３または４に記載のタッチ式操作装置。
6. 前記立体形状情報には、さらに、前記外周面が平面であるか湾曲面であるかを表す外周面属性情報が含まれる請求項５に記載のタッチ式操作装置。
7. 前記アプリケーションプログラムインタフェース部は、前記ジェスチャ特定情報と前記立体形状情報に基づいて、前記アプリケーションプログラムに対する操作コマンドを判定し、前記操作コマンドを前記アプリケーション実行部に送信する請求項１または２に記載のタッチ式操作装置。
8. 前記ディスプレイは、前記タッチセンサと一体化され、前記タッチセンサと同じ立体形状を備えており、
   前記表示制御部は、前記アプリケーション実行部から受信した前記応答情報を、前記ディスプレイの前記立体形状に応じた変換処理を行って、表示制御を行う請求項７に記載のタッチ式操作装置。
9. 前記立体形状情報は、前記立体形状を識別する形状ＩＤ、前記立体形状を構成する複数の外周面を識別する面ＩＤ、前記立体形状を平面に展開した際の平面座標情報、および前記立体形状の三次元座標情報の少なくとも１つを含み、
   前記応答情報は、前記アプリケーション実行部が前記操作コマンドに基づいて実行する処理の処理結果として表示される応答画面の情報と、前記応答画面の表示位置に関する表示位置情報とを含む請求項７または８に記載のタッチ式操作装置。
10. 前記立体形状情報には、さらに、前記外周面が平面であるか湾曲面であるかを表す外周面属性情報が含まれる請求項９に記載のタッチ式操作装置。
11. タッチ式操作装置と、前記タッチ式操作装置を入力装置として使用するアプリケーションプログラムを実行するアプリケーションプログラム実行部とを備えた情報処理システムにおいて、
    前記タッチ式操作装置は、
    三次元の立体形状を有するタッチセンサと、
    前記タッチセンサの立体形状に関する立体形状情報が格納される記憶部にアクセスして前記立体形状情報を取得する立体形状情報取得部と、
    前記立体形状情報に基づいて、前記タッチセンサに対して行われたジェスチャ操作の内容を特定し、特定したジェスチャ操作の内容を表すジェスチャ特定情報を生成するジェスチャ特定情報生成部と、
    前記ジェスチャ特定情報に基づいて、前記タッチセンサを入力装置として使用するアプリケーションプログラムを実行するアプリケーション実行部と通信し、前記アプリケーション実行部からの応答情報を受信するアプリケーションプログラムインタフェース部と、
    前記受信した前記応答情報に基づいて、ディスプレイの表示を制御する表示制御部とを、備えている、タッチ式操作装置を用いた情報処理システム。
12. 前記アプリケーションプログラムを配信するサーバ、または前記アプリケーションプログラムをアプリケーションサービスとして提供するサーバにアクセスして、前記アプリケーションプログラムまたは前記アプリケーションプログラムに関する情報を取得するアプリケーション情報取得部を備えている、請求項１１に記載のタッチ式操作装置を用いた情報処理システム。
13. 前記立体形状情報は、前記立体形状を識別する形状ＩＤ、前記立体形状を構成する複数の外周面を識別する面ＩＤ、前記立体形状を平面に展開した際の平面座標情報、および前記立体形状の三次元座標情報の少なくとも１つを含み、
    前記応答情報は、前記アプリケーション実行部が操作コマンドに基づいて実行する処理の処理結果として表示される応答画面の情報と、前記応答画面の表示位置に関する表示位置情報とを含む請求項１１または１２に記載のタッチ式操作装置を用いた情報処理システム。
14. アプリケーションプログラムを開発する開発者向けのアプリケーションプログラムインタフェース情報を公開するＡＰＩ公開サーバに対して、
    前記立体形状情報を提供するＡＰＩ情報提供部を備えている請求項１３に記載のタッチ式操作装置を用いた情報処理システム。
15. 三次元の立体形状を有するタッチセンサを備えたタッチ式操作装置の作動方法において、
    前記タッチセンサの立体形状に関する立体形状情報が格納される記憶部にアクセスして前記立体形状情報を取得する立体形状情報取得ステップと、
    前記立体形状情報に基づいて、前記タッチセンサに対して行われたジェスチャ操作の内容を特定し、特定したジェスチャ操作の内容を表すジェスチャ特定情報を生成するジェスチャ特定情報生成ステップと、
    前記ジェスチャ特定情報に基づいて、前記タッチセンサを入力装置として使用するアプリケーションプログラムを実行するアプリケーション実行部と通信し、前記アプリケーション実行部からの応答情報を受信する通信ステップと、
    前記受信した前記応答情報に基づいて、ディスプレイの表示を制御する表示制御ステップとを、備えたタッチ式操作装置の作動方法。
16. 三次元の立体形状を有するタッチセンサを備えたタッチ式操作装置の作動プログラムにおいて、
    前記タッチセンサの立体形状に関する立体形状情報が格納される記憶部にアクセスして前記立体形状情報を取得する立体形状情報取得ステップと、
    前記立体形状情報に基づいて、前記タッチセンサに対して行われた操作ジェスチャの内容を特定し、特定したジェスチャ特定情報を生成するジェスチャ特定情報生成ステップと、
    前記ジェスチャ特定情報に基づいて、前記タッチセンサを入力装置として使用するアプリケーションプログラムを実行するアプリケーション実行部と通信し、前記アプリケーション実行部からの応答情報を受信する通信ステップと、
    前記受信した前記応答情報に基づいて、ディスプレイの表示を制御する表示制御ステップとを、備えたタッチ式操作装置の作動プログラム。

Images