JP2014174598A - 車両入力装置 - Google Patents

Abstract

【課題】運転者の視線方向に基づいて選んだ車載機の機能を運転者の入力操作に割り当てる技術において、割り当て方法を工夫することで、運転者の利便性を従来よりも高める。
【解決手段】複数個の機能を１つのグループにまとめた機能パレットを複数個記憶するメモリから、運転者の視線方向に基づいて、１つの機能を選択して読み出し（ステップ１２０）、各種情報を取得し（ステップ１３０）、取得した情報に基づいて、上記機能パレットに属する複数個の機能のうち１つを現在候補とし（ステップ１４０、１５０）、運転者によるジェスチャー等の入力操作を受け付け（ステップ１５５）、現在候補の機能を入力操作の内容に応じた方法で実行する（ステップ１７０、１７５）。
【選択図】図２

Description

本発明は、車両入力装置に関するものである。

従来、車両の運転中にオーディオ装置等の車載機を操作する場合、運転者は一旦視線をオーディオ装置に移して操作したいスイッチを確認し、そのスイッチを操作する。この場合、短い時間ではあるが運転者の運転への意識はオーディオ装置に移ってしまう。

このような問題に対処するために、特許文献１の技術では、運転者が複数の車載機のうち特定の１つの車載機を見ると、車載機器操作装置が、当該１つの車載機に運転者の視線が向いていると判定し、視線が向いていると判定した車載機の操作を、ステアリングに取り付けられた十字キーで受け付けるようになっている。

特開２０１２−６５５２号公報

しかし、視線が向いていると判定された車載機の操作といっても、例えばオーディオ装置なら、モード選択、音量調整、交通情報の報知有無の切り替え等、種々の機能がある。
これらすべての機能の操作のすべてを単一の十字キーの操作に１対１で割り当てることは困難である。

しかしながら、特許文献１のような方法では、視線が向いていると判定された車載機のどの機能の操作を十字キーに割り当てるかについて、全く記載がない。

本発明は上記点に鑑み、運転者の視線方向に基づいて選んだ車載機の機能を運転者の入力操作（例えば十字キー操作）に割り当てる技術において、割り当て方法を工夫することで、運転者の利便性を従来よりも高めることを目的とする。

上記目的を達成するための請求項１に記載の発明は、複数個の機能を１つのグループにまとめた機能パレットを複数個記憶するメモリ（１ｂ）から、運転者の視線方向に基づいて、前記複数個の機能パレットのうち１つを選択して読み出す選択手段（１２０）と、
情報を取得する情報取得手段（１３０）と、前記情報取得手段が取得した前記情報に基づいて、前記選択手段が選択して読み出した前記１つの機能パレットに属する複数個の機能のうち１つを現在候補とする順位付け手段（１４０、１５０）と、運転者による入力操作を受け付ける操作受付手段（１５５）と、前記現在候補の機能を前記入力操作の内容に応じて実行する機能実行手段（１７０、１７５）と、を備えた車両入力装置である。

このように、運転者の視線方向に基づいて選んだ機能パレットから１つの機能を現在候補として選ぶ際に、情報取得手段が取得した情報を用いる。そして、選んだ機能を、運転者の入力操作の内容に応じて実行する。このようになっていることで、取得した情報から運転者が操作したいであろう機能を予測して選択することができるので、運転者の利便性が向上する。

また、請求項４に記載の発明は、複数個の機能を１つのグループにまとめた機能パレットを複数個記憶するメモリ（１ｂ）から、運転者の視線方向に基づいて、前記複数個の機能パレットのうち１つを選択して読み出す選択手段（１２０）と、前記選択手段が選択して読み出した前記１つの機能パレットに属する複数個の機能を順位付け、第１位に順位付けされた機能を現在候補とすると共に現在候補とした機能を前記運転者に報知する順位付け手段（１４０、１５０）と、運転者による入力操作を受け付ける操作受付手段（１５５）と、前記操作受付手段が受け付けた入力操作が所定の次候補選択操作であることに基づいて、前記順位付け手段によって現在候補の次に順位付けられた機能を新たな現在候補とすると共に現在候補とした機能を前記運転者に報知する切替手段（１６０、１６５）と、前記操作受付手段が受け付けた入力操作が所定の機能実行操作であることに基づいて、現在候補の機能を前記入力操作の内容に応じて実行する機能実行手段（１７０、１７５）と、を備えた車両入力装置である。

このように、次候補選択操作であることに基づいて、現在候補の次に順位付けられた機能を新たな現在候補とするようになっているので、運転者は、操作したい機能が報知されていなければ別の候補を選ぶことができるようになっている。したがって、運転者の利便性が向上する。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

本発明の実施形態に係る車載システムの構成図である。 車両入力装置が実行する処理のフローチャートである。 複数の機能パレットを示す図である。 順位付け方法の例を模式的に示す図である。 順位付け方法の例を模式的に示す図である。

以下、本発明の一実施形態について説明する。図１に示す通り、本実施形態に係る車載システムは、車両に搭載され、車両入力装置１、カメラ２、ヘッドアップディスプレイ（以下、ＨＵＤという）３、ナビゲーション装置１１、オーディオ装置１２、空調装置１３、車両ＥＣＵ１４、ディスプレイ４１、オーディオ操作パネル４２、エアコン操作パネル４３等を備えている。これら装置１、３、１１〜１４、４１〜４３は、車内ＬＡＮ１０を介して各種情報の送受信を行うことができる。

車両入力装置１は、車両の運転者の入力操作（本実施形態では視線移動および指先のジェスチャー）を受け付ける装置であり、制御部１ａと、メモリ１ｂとを備えている。カメラ２は、運転席に座った運転者の顔（目３１、３２を含む）および指先３３を撮影可能なように車室内に取り付けられており、所定の周期（例えば、１／３０秒周期）で撮影結果の画像を車両入力装置１に入力する。

ＨＵＤ３は、車両のウインドシールドの一部（例えば、運転席の正面から少し下がった位置）に、光を投影することで、運転席から見てウインドシールドより前方側に虚像を結像させる周知の装置である。ナビゲーション装置１１は、ＧＰＳ受信器（図示せず）等を用いた現在位置座標特定、ディスプレイ４１を用いた地図表示、目的地設定、目的地までのルート案内等を行う周知の装置である。オーディオ装置１２は、ＨＤＤ、フラッシュメモリ等の記憶媒体（図示せず）に記録された楽曲の再生、ラジオ放送の受信および出力等を行う周知の装置である。空調装置１３は、車室内の温度等を調整する周知の装置である。車両ＥＣＵ１４は、各種情報、車速、車両の現在位置、現在時刻等の情報を車両入力装置１に繰り返し送信するようになっている。

ディスプレイ４１、オーディオ操作パネル４２、エアコン操作パネル４３は、車両のセンターコンソール４３に取り付けられている。これら装置４１、４２、４３は、それぞれ、ナビゲーション装置１１、オーディオ装置１２、空調装置１３に属する入力機器として用いられる。

具体的には、ディスプレイ４１は、タッチパネルおよびメカニカルボタンを備えており、それらタッチパネルおよびメカニカルボタンに対する操作の内容は、車内ＬＡＮ１００を介してディスプレイ４１からナビゲーション装置１１に送信され、ナビゲーション装置１１は、受信した操作の内容に応じた作動を実行する。

また、オーディオ操作パネル４２は、メカニカルボタンを備えており、それらメカニカルボタンに対する操作の内容は、車内ＬＡＮ１００を介してオーディオ操作パネル４２からオーディオ操作パネル４２に送信され、オーディオ装置１２は、受信した操作の内容に応じた作動を実行する。

また、エアコン操作パネル４３は、メカニカルボタンを備えており、それらメカニカルボタンに対する操作の内容は、車内ＬＡＮ１００を介してエアコン操作パネル４３から空調装置１３に送信され、空調装置１３は、受信した操作の内容に応じた作動を実行する。

以上のような構成の車両入力装置１の作動について、以下説明する。車両入力装置１の制御部１ａは、メモリ１ｂにあらかじめ記録された所定のプログラムを実行することで、図２に示すような処理を実行するようになっている。なお、制御部１ａは、例えば車両の主電源（例えばＩＧ）がオンになったときに、図２の処理を開始する。

制御部１ａは、図２の処理において、まずステップ１１０で、視線検出を行う。具体的には、カメラ２から周期的に入力される撮影画像（運転者の顔および目３１、３２の画像が含まれている）に基づいて、運転者の視線方向を検出する。運転者の顔の画像から運転者の視線方向を検出するアルゴリズムは周知であるので、その詳細については説明を省略する。

この視線方向の検出においては、運転者の視線方向が、ディスプレイ４１を向いているか否か、オーディオ操作パネル４２を向いているか否か、およびエアコン操作パネル４３を向いているか否か、を判別するようになっている。したがって、視線方向の検出精度は、ディスプレイ４１、オーディオ操作パネル４２、エアコン操作パネル４３のそれぞれに含まれるメカニカルボタンのうちどのボタンに視線が向いているかが判別できる程の高い精度でなくてもよい。

ステップ１１０では、制御部１ａは、視線がディスプレイ４１、オーディオ操作パネル４２、エアコン操作パネル４３のうちいずれか１つを向いていると判定するまで、視線検出を繰り返す。そして、ステップ１１０を開始してから初めて入力機器４１〜４３のうちいずれか１つに視線が向いた段階で、部材４１〜４３のうち、視線が向いている対象の入力機器を、運転者が見た入力機器（運転者の視線方向の先にある入力機器）として特定し、ステップ１２０に進む。

あるいは、ステップ１１０では、制御部１ａは、車両のステアリングハンドルに取り付けられた視線検出ボタン（図示せず）が押されるまで待ち、押されたタイミングで、視線検出を行うようになっていてもよい。この場合、運転者は、入力機器４１〜４３のうち操作したい入力機器を見ると同時に、当該視線検出ボタンを押す。すると制御部１ａは、視線検出ボタンが押された時点における視線方向を検出し、検出結果に基づいて、部材４１〜４３のうち、視線が向いている対象の入力機器を、運転者が見た入力機器（運転者の視線方向の先にある入力機器）として特定し、ステップ１２０に進む。

ステップ１２０では、ステップ１１０で特定した入力機器（運転者の視線方向の先にある入力機器）に基づいて、複数個の機能パレットのうち１つを選択して読み出す。

ここで、複数個の機能パレットの各々は、複数個の機能を１つのグループにまとめたデータであり、メモリ１ｂにあらかじめ記録されている。より詳しくは、図３に例示するように、メモリ１ｂには、ナビ機能パレット５１、オーディオ機能パレット５２、エアコン機能パレット５３という、３個の機能パレットが記録されている。

ナビ機能パレット５１は、ナビゲーション装置１１が実現する機能を１つのグループにまとめた機能パレットである。オーディオ機能パレット５２は、オーディオ装置１２が実現する機能を１つのグループにまとめた機能パレットである。エアコン機能パレット５３は、空調装置１３が実現する機能を１つのグループにまとめた機能パレットである。

例えば、オーディオ機能パレット５２は、音量を変化させる機能５２ａ、交通情報のラジオ放送の受信および出力のオン、オフを切り替える機能５２ｂ、モードを切り替える機能５２ｃ等の複数の機能５２ａ〜５２ｅを１つのグループにまとめている。なお、モードとしては、ＡＭラジオ受信モード、ＦＭラジオ受信モード、記憶媒体内の楽曲を再生する音楽再生モード等がある。

なお、各機能パレット内の複数の機能の各々は、当該機能の使用時に、どのようなジェスチャー（入力操作の一例に相当する）をすれば当該機能をどのように実現するか（例えば、後述する音量変更機能におけるアップ操作は、音量レベルを１レベル増加させる）を規定した操作対応情報も含んでいる。この操作対応情報は、後述するステップ１７５で、機能実行操作に応じた機能実行方法の決定に用いられる。

ステップ１１０で特定した入力機器に基づいて、複数個の機能パレットのうち１つを選択する方法としては、特定した入力機器によって操作される装置が実現する機能をまとめた機能パレットを選択する、という方法を採用する。

つまり、ディスプレイ４１が運転者の視線方向の先にある入力機器として特定された場合は、ナビ機能パレット５１が選択される。また、オーディオ操作パネル４２が運転者の視線方向の先にある入力機器として特定された場合は、オーディオ機能パレット５２が選択される。また、エアコン操作パネル４３が運転者の視線方向の先にある入力機器として特定された場合は、エアコン機能パレット５３が選択される。

本例では、ステップ１１０では、運転者の視線方向の先にある機器として、オーディオ操作パネル４２が特定され、その結果、ステップ１２０ではオーディオ機能パレット５２が選択されたとする。

続くステップ１３０では、情報を取得する。ここで取得する情報としては、位置情報、時間情報、車速情報である。時間情報は、現在時刻の情報であり、制御部１ａが車両入力装置１内の時計（図示せず）に基づいて特定する。車速情報は、車速センサ（図示せず）を用いて車両ＥＣＵ１４によって特定され、車両ＥＣＵ１４によって車内ＬＡＮ１０を介して車両入力装置１に送信される。

位置情報は、例えば、現在位置が自宅付近（自宅から所定距離以内）であるか否か、現在位置が高速道路上であるか否か、現在位置がトンネルの手前の所定距離以内であるか否か、現在位置が渋滞区間の手間の所定距離以内であるか否か、等の情報である。これらの情報は、ナビゲーション装置１１で作成され、ナビゲーション装置１１から車両入力装置１へ車内ＬＡＮ１０を介して送信される。

なお、ナビゲーション装置１１は、上述の通りＧＰＳ受信器等を用いて車両の現在位置座標（緯度、経度）を特定できる。またナビゲーション装置１１は、自宅位置座標を記憶しているので、現在位置が自宅付近であるか否かを判定できる。またナビゲーション装置１１は、道路の種別（高速道路、一般道路の別）および位置座標のデータを含む地図データを記憶しているので、現在位置が高速道路上であるか否かも特定可能である。またナビゲーション装置１１は、上記地図データにトンネルの位置座標のデータも含まれているので、現在位置がトンネルの手前の所定距離以内であるか否かも特定可能である。またナビゲーション装置１１は、ＶＩＣＳ（登録商標）受信器（図示せず）等の渋滞情報を受信する通信器を有しているので、現在位置が渋滞区間の手間の所定距離以内であるか否かも特定可能である。

続いてステップ１４０では、ステップ１３０で取得した情報に基づいて、順位付けを行う。順位付けとは、直前のステップ１２０で選択した機能パレットに属する複数個の機能に対する順位付けをいう。本例では、ステップ１２０で選択したオーディオ機能パレット５２中の複数の機能５２ａ〜５２ｅに対して順位付けを行う。

図４、図５に、順位付け方法の例を模式的に示す。

これらの図に示すように、順位付けは、順位付けの対象となる機能５２ａ〜５２ｅのそれぞれに総合点を付与し、付与した総合点の高い順に、第１位から最下位（図４、図５の例では第５位）まで順位（ＨＵＤ表示候補順位）を付ける。

各機能５２ａ〜５２ｅの総合点ｆは、各機能に割り当てられた初期値ｐ、位置情報点ｑ、時間情報点ｒ、車速情報点ｓ、行動パターン点ｔに基づいて、ｆ＝ｐ＋（ｑ×ｒ×ｓ）＋ｔという計算式に従って付与される。

初期値ｐは、あらかじめ固定的に各機能に配点された点数であり、図４、図５の例では、機能５２ａ、５２ｂ、５２ｃ、５２ｄ、５２ｅに、それぞれ１０点、８点、６点、５点、２点が与えられている。

位置情報点ｑは、ステップ１３０で取得した位置情報に応じて、配点が変化する。例えば、現在位置が自宅付近であるという位置情報のみをステップ１３０で取得している場合は、図４に示すように、モード切り替え機能５２ｃに最も高い２点を配点する。このようにするのは、自宅を出発した直後は、モードがまだ運転者の好みになっていない可能性が高いからである。またこの場合は、交通情報オン、オフ機能５２ｂに最も低い点数０を配点する。このようにするのは、運転者が自宅周辺では交通情報を知りたいと思う可能性が低いからである。

また例えば、現在位置が高速道路上であるという位置情報のみをステップ１３０で取得している場合は、図５に示すように、交通情報オン、オフ機能５２ｂに最も高い点数５を配点する。

時間情報点ｒは、ステップ１３０で取得した時間情報に応じて、より詳しくは、図４、図５に示すように、現在時刻が属する時間帯に応じて、配点が変化する。車速情報点ｓは、ステップ１３０で取得した車速情報に応じて、配点が変化する。

行動パターン点ｔは、現在の行動パターンに応じて、配点が変化する。行動パターンは、ステップ１３０で取得した位置情報、時間情報、および車速情報の組み合わせに応じて、１つ選択される。どの組み合わせがどの行動パターンに対応しているかの対応情報は、あらかじめ固定的に設定され、メモリ１ｂに記憶されており、制御部１ａは、この対応情報を用いて、行動パターンを選択する。

例えば、図４に示すように、ステップ１３０で取得した位置情報、時間情報、および車速情報によれば、現在位置が自宅付近であり、現在時刻がＡＭ８：００に代表される時間帯（例えば、ＡＭ８：００からＡＭ８：５９まで）に入っており、車速が４０ｋｍ／ｈ以下である場合は、「いつもと同じ」という行動パターンを選択する。そして、選択した行動パターンに対応する各機能５２ａ〜５２ｅの配点を、行動パターン点ｔとする。

また例えば、図５に示すように、ステップ１３０で取得した位置情報が「現在位置が高速道路上である」という情報であり、かつ、車速情報が、「８０ｋｍ／ｈ以上」という情報である場合、時間情報にかかわらず、「高速」という行動パターンを選択する。そして、選択した行動パターンに対応する各機能５２ａ〜５２ｅの配点を、行動パターン点ｔとする。

なお、各行動パターンにおける行動パターン点ｔの配点は、固定的ではなく、後述する通り、実際の運転者の機能利用実績をフィードバックする学習によって、変化していく。したがって、車両入力装置１の使用を重ねる毎に、運転者の意図通りの機能が第１位に順位付けられるようになっていく。

図４の例では、運転者はいつも朝にラジオを聞くためにモード切り替え機能５２ｃをよく使用しているので、「いつもと同じ」という行動パターンにおいては、モード切り替え機能５２ｃの配点が高い。図５の例では、運転者は高速道路で交通情報を聞くために交通情報オン、オフ機能５２ｂをよく使用しているので、「高速」という行動パターンにおいては、交通情報オン、オフ機能５２ｂの配点が高い。

ステップ１４０では、このようにして各機能５２ａ〜５２ｅに割り当てられた点ｐ、ｑ、ｒ、ｓ、ｔに基づいて、ｆ＝ｐ＋（ｑ×ｒ×ｓ）＋ｔという計算式で、各機能５２ａ〜５２ｅに総合点ｆを付与する。

この結果、図４の例では、モード切り替え機能５２ｃが第１位に、音量変更機能５２ａが第２位に、順位付けされる。また、図５の例では、交通情報オン、オフ機能５２ｂが第１位に、音量変更機能５２ａが第２位に、順位付けされる。

続いてステップ１５０では、機能５２ａ〜５２ｅのうち、直前のステップ１４０で第１位に順位付けされた機能を現在候補とする。そして、その現在候補に対応したアイコン（図４の例ではモード切り替え機能５２ｃ用のアイコン、図５の例では交通情報オン、オフ機能５２ｂ）を表示させる命令を、車内ＬＡＮ１０を介して、ＨＵＤ３に送信する。するとＨＵＤ３は、受信した命令に従って、現在候補のアイコンを表示する。このようにすることで、現在候補として選択された機能に対応したアイコンが、運転者にとって見やすい位置に表示される。したがって、現在候補として選択された機能を、運転者に効果的に報知できる。

続いてステップ１５５では、ジェスチャー認識を行う。具体的には、カメラ２から周期的に入力される撮影画像に基づいて、運転者の指のジェスチャーを認識する。認識対象のジェスチャーとしては、アップ（例えば指を上に弾くジェスチャー）、ダウン（例えば指を下に弾くジェスチャー）、送り（例えば指を右に弾くジェスチャー）、戻り（例えば指を左に弾くジェスチャー）、決定（例えば指で丸を描くジェスチャー）がある。

ジェスチャーの認識に成功すると、ステップ１６０に進み、認識したジェスチャーが所定の次候補選択操作であるか否か、すなわち、認識したジェスチャーが「送り」および「戻り」のいずれかのジェスチャーであるか否かを判定する。

認識したジェスチャーが「送り」および「戻り」のいずれかであった場合は、所定の次候補選択操作であると判定してステップ１６５に進むが、認識したジェスチャーが「アップ」、「ダウン」、「決定」のいずれかであった場合は、所定の次候補選択操作でないと判定してステップ１７０に進む。なお、「送り」のジェスチャーが、次候補選択操作の一例に相当する。

ステップ１６５では、ステップ１４０で行われた順位付けに基づいて、認識したジェスチャーが「送り」なら現在候補の次に順位付けられた機能を特定し、認識したジェスチャーが「戻り」なら現在候補の前に順位付けられた機能を特定する。そして、特定した機能を新たな現在候補とする。

具体的には、認識したジェスチャーが「送り」の場合、現在候補が第１位の機能なら、第２位の機能を新たな現在候補とする。また、現在候補が第２位の機能なら、第３位の機能を新たな現在候補とする。また、現在候補が最下位の機能なら、第１位の機能を新たな現在候補とする。

また、認識したジェスチャーが「戻り」の場合、現在候補が第３位の機能なら、第２位の機能を新たな現在候補とする。また、現在候補が第２位の機能なら、第１位の機能を新たな現在候補とする。また、現在候補が第１位の機能なら、最下位の機能を新たな現在候補とする。ステップ１６５に続いては、ステップ１５５に戻ってジェスチャーを認識する。

ステップ１５５で認識したジェスチャーが所定の次候補選択操作でなかった場合のステップ１７０では、認識したジェスチャーが所定の機能実行操作であるか否か、すなわち、認識したジェスチャーが「アップ」および「ダウン」のいずれかであるか否かを判定する。

認識したジェスチャーが「アップ」および「ダウン」のいずれかであった場合は、所定の機能実行操作であると判定してステップ１７５に進むが、認識したジェスチャーが「決定」であった場合は、所定の機能実行操作でないと判定してステップ１８０に進む。

ステップ１７５では、認識したジェスチャーの内容（アップかダウンか）に応じた方法で、現在候補の機能を実行する。なお、このときの現在候補の機能は、ステップ１５０からステップ１５５に至って以降、ステップ１７５に至るまでの、「送り」、「戻り」のジェスチャーの有無および回数によって、第１位の機能の場合もあれば、第２位以降の機能の場合もある。

例えば、現在候補が音量変更機能５２ａであった場合は、認識したジェスチャーが「アップ」なら、音量のレベルを１段階上昇させ、認識したジェスチャーが「ダウン」なら、音量のレベルを１段階下降させる。音量のレベルの上昇、下降は、車内ＬＡＮ１０を介して、オーディオ装置１２に対し、音量のレベルの上昇、下降の命令を送信することで、実現する。

また例えば、現在候補が交通情報オン、オフ機能５２ｂであった場合は、認識したジェスチャーが「アップ」なら、交通情報のラジオ放送の受信および出力を開始し、認識したジェスチャーが「ダウン」なら、交通情報のラジオ放送の受信および出力を終了する。交通情報のラジオ放送の受信および出力の開始、終了は、車内ＬＡＮ１０を介して、オーディオ装置１２に対し、交通情報のラジオ放送の受信および出力の開始、終了の命令を送信することで、実現する。

また例えば、現在候補がモード切り替え機能５２ｃであった場合は、認識したジェスチャーが「アップ」なら、モードをＡＭラジオ受信モード、ＦＭラジオ受信モード等から構成されるモード群のうち、所定の巡回順序にしたがって、現在のモードの次のモードに切り替える。また、認識したジェスチャーが「ダウン」なら、現在のモードの前のモードに切り替える。なお、次のモードへの切り替え、前のモードへの切り替えは、車内ＬＡＮ１０を介して、オーディオ装置１２に対し、次のモードへの切り替えの命令、前のモードへの切り替えの命令を送信することで、実現する。ステップ１７５に続いては、ステップ１５５に戻り、再度ジェスチャー認識を行う。

ステップ１５５で認識したジェスチャーが「決定」であった場合、既に説明した通り、ステップ１６０、１７０を経てステップ１８０に進み、学習処理を実行する。乗員が決定のジェスチャーを行ったということは、現在候補の機能を用いた設定が確定し（例えば、音量のレベル設定が確定し）、当該機能の使用が終了したことである。したがって、この場合は、学習処理において、現在候補の機能が使用されたことに基づいて、直前のステップ１４０で選択された行動パターンの配点を、変更する。例えば、当該行動パターンの配点のうち、現在候補の機能の配点を、１点上昇させ、他の機能の配点を、そのままに維持する。ステップ１８０の後は、ステップ１１０に戻る。

以上説明した通り、本実施形態の車両入力装置１は、運転者の視線をカメラ３を用いて常に監視しており（ステップ１１０）、運転者の視線でどの機器を操作したいかを検出し、検出した機器に対応した機能パレットを選択する（ステップ１２０）。

そして、位置情報、時間情報、車速情報、行動パターンに基づいて、選択された機能パレット（機能スイッチ）中の複数の機能に対して、運転者が使用したい順に順位付けし（ステップ１３０、１４０）。第１位の機能を、運転者の視線移動の少ない場所（ＨＵＤ３）に表示させる。

そして、運転者はその候補の中から簡単な入力操作（ジェスチャー）でその機能を使用することができるので（ステップ１５５、１７０、１７５）、安全に機器操作をすることができる。つまり、運転者は、車両運転中にオーディオ等の機器を操作する際、極力運転者の視線を外さず、簡単な操作で所望の機能を操作できるので、運転に集中できるようになる。

従来の入力装置では、運転中にオーディオ等の機器を操作する場合、運転者の意識がオーディオを操作することになり短い時間ではあるが運転に集中できないことがある。また、この操作を機器を見なくても操作できるようにステアリンクスイッチ等が設けられている場合もあるが、運転者が簡単な手順で操作できるようにするため、ステアリンクスイッチを操作して使用できる機能が限られてしまう。

これに対し、本実施形態の車両入力装置１は、上記のように、運転者の運転の集中を極力途切れさせずに多様な操作が可能となっている。

また、視線検知はどの機器を操作したいかを判断するだけでよく、視線検出する精度が要求されない。したがって、短い時間で検出可能となり、その結果、運転者の視線を移す時間も最小にとどめることができる。また、視線検出の精度が必要でないので、車両入力装置１を安価に構成することが可能である。また、運転者も、ある車載機を操作するのに、操作したいボタンを見るのではなく、当該車載機を見るだけでよいので、運転者の負担も減る。

また、選択した機器のどの機能を使用するかは、あらかじめ機能パレット内に設けられた機能から、位置情報、時間情報、車速情報、行動パターンから、乗員が使用したいであろう機能を順位付きで予測し（ステップ１４０）、第１位に予測した機能を選択して運転者に示す（ステップ１５０）。したがって、運転者は簡単な手順で機能を選択操作できるようになる。したがって、運転者の利便性が向上する。

また、第１位とした機能が運転者の意図とは違う機能であった場合は、乗員が「送り」または「戻り」のジェスチャーをすることで、簡単な手順で別に機能の候補に切替選択できる（ステップ１５５、１６０、１６５）。したがって、多様な機能に対応が可能となり、運転者の利便性が向上する。

なお、上記実施形態では、車両入力装置１の制御部１ａが、ステップ１２０を実行することで、選択手段の一例として機能し、ステップ１３０を実行することで、情報取得手段の一例として機能し、ステップ１４０、１５０を実行することで、順位付け手段の一例として機能し、ステップ１５５を実行することで、操作受付手段の一例として機能し、ステップ１６０、１６５を実行することで、切替手段の一例として機能し、ステップ１７０、１７５を実行することで、機能実行手段の一例として機能する。

（他の実施形態）
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、上記各実施形態は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。』
（変形例１）
上記実施形態では、現在候補として選択された機能を、ＨＵＤ３を用いて報知するようになっている（１５０、１６５）。しかし、現在候補として選択された機能を、運転者に報知する方法は、このようなものに限らない。例えば、現在候補として選択された機能を、ＨＵＤ３ではなくメータを用いてアイコンで表示するようになっていてもよい。あるいは、現在候補として選択された機能を、音声で報知してもよい。

（変形例２）
上記実施形態では、現在候補の機能の切り替え（ステップ１６０、１６５）のための入力操作として、「戻り」、「送り」のジェスチャーを採用し、機能実行操作として「アップ」、「ダウン」のジェスチャーを採用し、終了操作として「決定」のジェスチャーを採用している。

しかし、これらのような現在候補の機能の切り替えのための入力操作、機能実行操作、終了操作としては、ジェスチャー以外のものを採用してもよい。例えば、ステアリングに設けられた十字スイッチまたは静電パッド等の操作を採用してもよい。

（変形例３）
上記実施形態では、ステップ１３０で取得してステップ１４０の順位付けに利用する情報は、位置情報、時間情報、車速情報のみであった。しかし、ステップ１３０で取得してステップ１４０の順位付けに利用する情報は、これらのものに限らない。

例えば、空調装置１３が外気導入モードか内気循環モードか、ナビゲーション装置１１がディスプレイ４１に表示させている地図の縮尺、燃料の残量（または走行用モータのバッテリの残量）を、ステップ１３０で取得してステップ１４０で順位付けに利用してもよい。

なお、空調装置１３が外気導入モードか内気循環モードかの情報は、車内ＬＡＮ１０を介して空調装置１３から受信する。また、ナビゲーション装置１１がディスプレイ４１に表示させている地図の縮尺の情報は、車内ＬＡＮ１０を介してナビゲーション装置１１から受信する。また、燃料の残量（またはバッテリの残量）の情報は、車内ＬＡＮ１０を介して車両ＥＣＵ１５等から受信する。

（変形例４）
以下、他の事例における図２の処理について説明する。

（事例１）
まず、高速道路を走行中に車両がトンネルに入り、その結果車室内の騒音が大きくなり、運転者がオーディオ装置１２の音量のレベルを少し上げたいとオーディオ操作パネル４２に視線を移した場合について説明する。

この場合、車両入力装置１の制御部１ａは、図２のステップ１１０で、オーディオ操作パネル４２に視線を移した運転者の視線方向を検出し、ステップ１２０で、オーディオ操作パネル４２に対応するオーディオ機能パレット５２を、メモリ１ｂから読み出す。

そしてステップ１３０では、ナビゲーション装置１１から、位置情報として、現在位置が高速道路上であるという情報および現在位置がトンネル内であるという情報を、車内ＬＡＮ１０を介して受信する。

続いてステップ１４０では、位置情報として、現在位置が高速道路上であるという情報および現在位置がトンネル内であるという情報に基づいて、オーディオ機能パレット５２中の機能５２ａ〜５２ｅのうち、音量変更機能５２ａを第１位とする。他の機能５２ｂ〜５２ｅの順位は、ランダムに決めてもよいし、その他の方法で決めてもよい。

続いてステップ１５０では、第１位の音量変更機能５２ａを現在候補とし、その現在候補に対応するアイコンをＨＵＤ１３に表示させる。続いてステップ１５５で、ジェスチャー認識を行うが、運転者は、この時点で音量のレベルを上げるため、「アップ」のジェスチャーを指で行う。すると、制御部１ａは、ステップ１５５で当該ジェスチャーを認識した後、ステップ１６０に進み、認識したジェスチャーが所定の次候補選択操作でないと判定して、ステップ１７０に進む。

そしてステップ１７０では、認識したジェスチャーが「アップ」（所定の機能実行操作の１つ）であると判定し、ステップ１７５に進む。ステップ１７５では、現在候補である音量変更機能５２ａを、音量のレベルを１段階上昇させるという方法で、実行させる。

その後、ステップ１５５に戻り、再度ジェスチャー認識を行うが、運転者は、この時点で「決定」のジェスチャーを指で行う。すると、制御部１ａは、ステップ１５５で当該ジェスチャーを認識した後、ステップ１６０に進み、認識したジェスチャーが所定の次候補選択操作でないと判定して、ステップ１７０に進む。そして、ステップ１７０では、認識したジェスチャーが所定の機能実行操作ないと判定し、ステップ１８０に進むが、本事例では、学習を行わず、すぐにステップ１１０に戻る。

このように、高速道路上で車両がトンネルに入ったとき、運転者がオーディオ操作パネル４２を見て「アップ」のジェスチャーを行っただけで、音量のレベルが１段階上昇する。

（事例２）
次に、車両が高速道路を走行中にトンネルが近づいてきたところ、運転者は空調装置１３のモードを外気導入モードから循環モードに切り替えたいと思い、チラッとエアコン操作パネル４３に視線を移した場合について説明する。

この場合、車両入力装置１の制御部１ａは、図２のステップ１１０で、エアコン操作パネル４３に視線を移した運転者の視線方向を検出し、ステップ１２０で、エアコン操作パネル４３に対応するエアコン機能パレット５３を、メモリ１ｂから読み出す。

そしてステップ１３０では、ナビゲーション装置１１から、位置情報として、現在位置が高速道路上であるという情報および現在位置がトンネルの手前の所定距離以内であるという情報を、車内ＬＡＮ１０を介して受信する。またステップ１３０では、空調装置１３から、現在の内外気モードが外気導入モードであるという情報を、車内ＬＡＮ１０を介して受信する。

続いてステップ１４０では、現在位置が高速道路上であるという情報、現在位置がトンネルの手前の所定距離以内であるという情報、および、空調装置１３の内外気モードが外気導入モードであるという情報に基づいて、エアコン機能パレット５３中の複数の機能のうち、内外気モード切り替え機能を第１位とする。エアコン機能パレット５３中の他の機能の順位は、ランダムに決めてもよいし、その他の方法で決めてもよい。

なお、内外気モード切り替え機能は、空調装置１３の外気導入モードと内気循環モードとを切り替える機能である。また、エアコン機能パレット５３に含まれる他の機能としては、例えば、目標温度の変更機能、デフロスタモードのオン、オフ切り替え機能等がある。

続いてステップ１５０では、第１位の内外気モード切り替え機能を現在候補とし、その現在候補に対応するアイコンをＨＵＤ１３に表示させる。続いてステップ１５５で、ジェスチャー認識を行うが、運転者は、この時点で内気循環モードに切り替えるため、「ダウン」のジェスチャーを指で行う。すると、制御部１ａは、ステップ１５５で当該ジェスチャーを認識した後、ステップ１６０に進み、認識したジェスチャーが所定の次候補選択操作でないと判定して、ステップ１７０に進む。

そしてステップ１７０では、認識したジェスチャーが「ダウン」（所定の機能実行操作の１つ）であると判定し、ステップ１７５に進む。ステップ１７５では、現在候補である内外気モード切り替え機能を、内循環モードに切り替えるという方法で、実行する。具体的には、内循環モードに切り替える命令を、車内ＬＡＮ１０を介して、空調装置１３に送信する。

その後、ステップ１５５に戻り、再度ジェスチャー認識を行うが、運転者は、この時点で「決定」のジェスチャーを指で行う。すると、制御部１ａは、ステップ１５５で当該ジェスチャーを認識した後、ステップ１６０に進み、認識したジェスチャーが所定の次候補選択操作でないと判定して、ステップ１７０に進む。そして、ステップ１７０では、認識したジェスチャーが所定の機能実行操作ないと判定し、ステップ１８０に進むが、本事例では、学習を行わず、すぐにステップ１１０に戻る。

このように、車両が高速道路を走行中にトンネルが近づいてきたとき、内外気モードが外気導入モードなら、運転者は空調装置１３を見て「ダウン」のジェスチャーを行っただけで、外気導入モードから内気循環モードに切り替えることができる。

（事例３）
事例２の後、前方に渋滞が近づいてきており、車両が交通情報の発信されている区間に入ったので、運転者は交通情報を知りたいと思い、オーディオ操作パネル４２に視線を移した場合について説明する。

この場合、車両入力装置１の制御部１ａは、図２のステップ１１０で、オーディオ操作パネル４２に視線を移した運転者の視線方向を検出し、ステップ１２０で、オーディオ操作パネル４２に対応するオーディオ機能パレット５２を、メモリ１ｂから読み出す。

そしてステップ１３０では、ナビゲーション装置１１から、位置情報として、現在位置が渋滞区間の手前所定距離以内であるという情報と、現在位置が交通情報を受信可能な区間内であるという情報を、車内ＬＡＮ１０を介して受信する。

続いてステップ１４０では、位置情報として、現在位置が渋滞区間の手前所定距離以内であるという情報と、現在位置が交通情報を受信可能な区間内であるという情報に基づいて、オーディオ機能パレット５２中の機能５２ａ〜５２ｅのうち、交通情報オン、オフ機能５２ｂを第１位とする。他の機能５２ａ、５２ｃ〜５２ｅの順位は、ランダムに決めてもよいし、その他の方法で決めてもよい。

続いてステップ１５０では、第１位の交通情報オン、オフ機能５２ｂを現在候補とし、その現在候補に対応するアイコンをＨＵＤ１３に表示させる。続いてステップ１５５で、ジェスチャー認識を行うが、運転者は、この時点で音量のレベルを上げるため、「アップ」のジェスチャーを指で行う。すると、制御部１ａは、ステップ１５５で当該ジェスチャーを認識した後、ステップ１６０に進み、認識したジェスチャーが所定の次候補選択操作でないと判定して、ステップ１７０に進む。

そしてステップ１７０では、認識したジェスチャーが「アップ」（所定の機能実行操作の１つ）であると判定し、ステップ１７５に進む。ステップ１７５では、現在候補である交通情報オン、オフ機能５２ｂを、交通情報の受信および出力を開始するという方法で、実行させる。具体的には、交通情報の受信および出力を開始させる命令を、車内ＬＡＮ１０を介して、オーディオ装置１２に送信する。

その後、ステップ１５５に戻り、再度ジェスチャー認識を行うが、運転者は、この時点で「決定」のジェスチャーを指で行う。すると、制御部１ａは、ステップ１５５で当該ジェスチャーを認識した後、ステップ１６０に進み、認識したジェスチャーが所定の次候補選択操作でないと判定して、ステップ１７０に進む。そして、ステップ１７０では、認識したジェスチャーが所定の機能実行操作ないと判定し、ステップ１８０に進むが、本事例では、学習を行わず、すぐにステップ１１０に戻る。

このように、前方に渋滞区間が近づいてきて、車両が交通情報の放送区間内いるとき、運転者がオーディオ操作パネル４２を見て「アップ」のジェスチャーを行っただけで、ＡＭ交通情報（１６２０ｋＨｚ）を聴くことができる。

（事例４）
事例３の後、車両が高速道路を降りて一般道に出て、市街地を走行している際に運転者の視線がディスプレイ４１へ移ったとする。この場合、車両入力装置１の制御部１ａは、図２のステップ１１０で、ディスプレイ４１に視線を移した運転者の視線方向を検出し、ステップ１２０で、ディスプレイ４１に対応するナビ機能パレット５１を、メモリ１ｂから読み出す。

そしてステップ１３０では、ナビゲーション装置１１から、位置情報として、現在位置は、高速道路を降りてから所定距離以内の一般道路であるという情報を、車内ＬＡＮ１０を介して受信する。また、エンジンの燃料残量（または走行用モータのバッテリ残量）が基準値以下であるという情報を、車内ＬＡＮ１０を介して、車載ＥＣＵ１４から受信する。

続いてステップ１４０では、現在位置は、高速道路を降りてから所定距離以内の一般道路であるという情報に基づいて、ナビ機能パレット５１中の複数の機能のうち、地図縮尺変更機能を第１位とする。また、エンジンの燃料残量（または走行用モータのバッテリ残量）が基準値以下であるという情報に基づいて、ナビ機能パレット５１中の複数の機能のうち、ＧＳ案内機能を第２位とする。ナビ機能パレット５１中の他の機能の順位は、ランダムに決めてもよいし、その他の方法で決めてもよい。

なお、地図縮尺変更機能は、ディスプレイ４１に表示する地図の縮尺を変更する機能である。また、ＧＳ案内機能は、現在位置から最も近いガソリンスタンド（または充電スタンド）へのルートを算出して案内する機能である。また、ナビ機能パレット５１に含まれる他の機能としては、例えば、目的地消去機能、ルート変更機能、メニュー表示機能等がある。

続いてステップ１５０では、第１位の地図縮尺変更機能を現在候補とし、その現在候補に対応するアイコンをＨＵＤ１３に表示させる。続いてステップ１５５で、ジェスチャー認識を行うが、運転者は、実はガソリンスタンド（または充電スタンド）に向かいたいので、地図縮尺変更機能のアイコンを見た上で、「送り」のジェスチャーを指で行う。すると、制御部１ａは、ステップ１５５で当該ジェスチャーを認識した後、ステップ１６０に進み、認識したジェスチャーが所定の次候補選択操作であると判定して、ステップ１６５に進む。ステップ１６５では、次の順位のＧＳ案内機能を現在候補としてＨＵＤ１３に表示させ、ステップ１５５に戻る。

この時点で運転者は、ＨＵＤ１３を見てＧＳ案内機能のアイコンが出たことを確認した上で、地図縮尺を変更するため、「アップ」のジェスチャーを指で行う。すると、制御部１ａは、ステップ１５５で当該ジェスチャーを認識した後、ステップ１６０に進み、認識したジェスチャーが所定の次候補選択操作でないと判定して、ステップ１７０に進む。

そしてステップ１７０では、認識したジェスチャーが「アップ」（所定の機能実行操作の１つ）であると判定し、ステップ１７５に進む。ステップ１７５では、現在候補であるＧＳ案内機能を、現在位置から最も近いガソリンスタンド（または充電スタンド）へのルートを算出して案内させるという方法で、実行する。具体的には、現在位置から最も近いガソリンスタンド（または充電スタンド）へのルートを算出して案内する命令を、車内ＬＡＮ１０を介して、ナビゲーション装置１１に送信する。

その後、ステップ１５５に戻り、再度ジェスチャー認識を行うが、運転者は、この時点で「決定」のジェスチャーを指で行う。すると、制御部１ａは、ステップ１５５で当該ジェスチャーを認識した後、ステップ１６０に進み、認識したジェスチャーが所定の次候補選択操作でないと判定して、ステップ１７０に進む。そして、ステップ１７０では、認識したジェスチャーが所定の機能実行操作ないと判定し、ステップ１８０に進むが、本事例では、学習を行わず、すぐにステップ１１０に戻る。

このようにすることで、ナビゲーション装置１１は、最寄りのガソリンスタンド（または充電スタンド）へのルート案内を実行することができる。

（変形例５）
また、上記実施形態の図２の処理において、制御部１ａは、ステップ１３０では情報を取得せず、ステップ１４０ではあらかじめ定められた順位で各機能に固定的に順位付けを行うようになっていてもよい。

（変形例６）
また、上記実施形態の図２の処理において、制御部１ａは、ステップ１４０で、選択された機能パレット中のすべての機能に対して順位付けするのではなく、機能を１個のみ選択し、ステップ１５０では、その選択した機能を現在候補としてもよい。この場合、ステップ１６５では現在候補を変更しないようになっていてもよい。

１ 車両入力装置
１ｂ メモリ

Claims (4)

1. 複数個の機能を１つのグループにまとめた機能パレットを複数個記憶するメモリ（１ｂ）から、運転者の視線方向に基づいて、前記複数個の機能パレットのうち１つを選択して読み出す選択手段（１２０）と、
   情報を取得する情報取得手段（１３０）と、
   前記情報取得手段が取得した前記情報に基づいて、前記選択手段が選択して読み出した前記１つの機能パレットに属する複数個の機能のうち１つを現在候補とする順位付け手段（１４０、１５０）と、
   運転者による入力操作を受け付ける操作受付手段（１５５）と、
   前記現在候補の機能を前記入力操作の内容に応じて実行する機能実行手段（１７０、１７５）と、を備えた車両入力装置。
2. 前記順位付け手段は、前記選択手段が選択して読み出した前記１つの機能パレットに属する複数個の機能を、前記情報取得手段が取得した前記情報に基づいて順位付け、第１位に順位付けされた機能を現在候補とすると共に現在候補とした機能を前記運転者に報知し、
   当該車両入力装置は更に、前記操作受付手段が受け付けた入力操作が所定の次候補選択操作であることに基づいて、前記順位付け手段によって現在候補の次に順位付けられた機能を新たな現在候補とすると共に現在候補とした機能を前記運転者に報知する切替手段（１６０、１６５）を備え、
   前記機能実行手段は、前記操作受付手段が受け付けた入力操作が所定の機能実行操作であることに基づいて、現在候補の機能を前記入力操作の内容に応じて実行することを特徴とする請求項１に記載の車両入力装置。
3. 前記情報は、前記車両の位置情報、時間情報、前記車両の車速情報、エンジンの燃料残量の情報、走行用モータのバッテリ残量のうち少なくとも１つを含むことを特徴とする請求項１または２に記載の車両入力装置。
4. 複数個の機能を１つのグループにまとめた機能パレットを複数個記憶するメモリ（１ｂ）から、運転者の視線方向に基づいて、前記複数個の機能パレットのうち１つを選択して読み出す選択手段（１２０）と、
   前記選択手段が選択して読み出した前記１つの機能パレットに属する複数個の機能を順位付け、第１位に順位付けされた機能を現在候補とすると共に現在候補とした機能を前記運転者に報知する順位付け手段（１４０、１５０）と、
   運転者による入力操作を受け付ける操作受付手段（１５５）と、
   前記操作受付手段が受け付けた入力操作が所定の次候補選択操作であることに基づいて、前記順位付け手段によって現在候補の次に順位付けられた機能を新たな現在候補とすると共に現在候補とした機能を前記運転者に報知する切替手段（１６０、１６５）と、
   前記操作受付手段が受け付けた入力操作が所定の機能実行操作であることに基づいて、現在候補の機能を前記入力操作の内容に応じて実行する機能実行手段（１７０、１７５）と、を備えた車両入力装置。

Images