JP2009113599A - 車載用入力装置 - Google Patents

Abstract

【課題】各キーに個別にセンサを備える必要がなく、また、タッチパネルにも適用でき、キーを視認することなく操作が可能な車載用入力装置の提供。
【解決手段】複数のキー（１１）を備え、キーによる入力に応じて、車両に搭載された機器（図示せず）を操作するように構成された車載用入力装置。複数のキー（１１）を含む画像を時系列的に撮像するカメラ１０と、撮像した画像上のキーの位置を記憶している位置記憶手段１５と、画像上の人の指先の位置を検出する位置検出手段１３と、その検出した位置に、指先が静止したか否かを判定する判定手段１４と、判定手段１４が静止したと判定したときに、位置記憶手段１５の記憶内容に基づきその位置に対応するキー（１１）を特定する手段１４と、特定したキーに関する情報を音声により出力する音声出力手段１６，１７，１８とを備えている。
【選択図】図１

Description

本発明は、複数のキー（スイッチボタン）を備え、キーによる入力に応じて、車両に搭載された機器を操作するように構成された車載用入力装置に関するものである。

車両に搭載される機器は、エアーコンディショナ、ナビゲーション装置、ＡＶ（Audio Visual）機器等、増加する一方であり、それらを操作する為のスイッチ（スイッチボタン）類も、運転者の手が届く範囲にあるセンタクラスタパネル等の操作パネルに増設されている。

特許文献１には、キーへの接触を検知するタッチセンサ又は感圧センサである接触検知部を備え、接触検知部がキーへの接触を検知してから一定時間が経過しても、キー入力が無い場合に、そのキーに対応した音声ガイダンスを送出するキー入力装置が開示されている。
特許文献２には、タッチセンサが、車内に配置された操作スイッチへの接触を検出したとき、その操作スイッチ及びその関連するスイッチのみの表示画像を、操作スイッチが強調されるように、フロントガラスの外側前方に結像させるヘッドアップディスプレイ装置が開示されている。

特許文献３には、手が存在しない状態で撮像した初期画像データと、手が存在する状態で撮像した原画像データとの差分画像データを得、差分画像データのその手元近傍の平均輝度に基づく閾値で、原画像データを２値化処理して、手の動きを画像認識するハンドパターンスイッチ装置が開示されている。
特許第３４６５０６２号公報 特許第３６２４４６５号公報 特開２００５−２４２６９４号公報

車両に搭載された機器を操作する為のスイッチ（スイッチボタン、キー）類が、運転者の手が届く範囲にある操作パネルに配設されているとはいえ、スイッチ類が多ければ、操作する際には、そのスイッチを視認せざるを得ず、その際、前方から目を離さざるを得ないという問題がある。また、スイッチ類が多ければ、そのスイッチを視認できたとしても、その機能が分からないことがあるという問題もある。

特許文献１、２に開示されたキー入力装置及びヘッドアップディスプレイ装置では、タッチセンサ又は感圧センサが使用されているが、各スイッチ（キー）が個別にセンサを備える必要があり、また、ハードスイッチのみに適用でき、タッチパネルに表示されたキー（マトリックス・スイッチ）には適用できないという問題がある。
特許文献３に開示されたハンドパターンスイッチ装置では、スイッチを探す必要が無いという利点がある反面、空中で手を動かすことへの違和感があり、また、手の動かし方を覚える煩わしさがあるという問題がある。

本発明は、上述したような事情に鑑みてなされたものであり、各キーに個別にセンサを備える必要がなく、また、タッチパネルにも適用でき、キーの機能を認識でき、キーを視認することなく操作が可能な車載用入力装置を提供することを目的とする。

第１発明に係る車載用入力装置は、複数のキーを備え、該キーによる入力に応じて、車両に搭載された機器を操作するように構成された車載用入力装置において、前記複数のキーを含む画像を時系列的に撮像するカメラと、該カメラが撮像した画像上の前記キーの位置を記憶している位置記憶手段と、前記画像上の人の指先の位置を検出する位置検出手段と、該位置検出手段が検出した位置に、前記指先が静止したか否かを判定する判定手段と、該判定手段が静止したと判定したときに、前記位置記憶手段の記憶内容に基づき前記位置に対応するキーを特定する手段と、該手段が特定したキーに関する情報を音声により出力する音声出力手段とを備えることを特徴とする。

この車載用入力装置では、複数のキーを備え、キーによる入力に応じて、車両に搭載された機器を操作する。カメラが、複数のキーを含む画像を時系列的に撮像し、位置記憶手段が、カメラが撮像した画像上のキーの位置を記憶している。画像上の人の指先の位置を検出し、検出した位置に指先が静止したか否かを判定する。指先が静止したと判定したときに、位置記憶手段の記憶内容に基づき、指先が静止した位置に対応するキーを特定し、特定したキーに関する情報を音声により出力する。

第２発明に係る車載用入力装置は、前記判定手段が静止したと判定する前に、キーによる入力が有ったときは、前記音声出力手段の動作を禁止するように構成してあることを特徴とする。

この車載用入力装置では、指先が静止したと判定する前に、キーによる入力が有ったときは、特定したキーに関する情報を音声により出力する動作を禁止する。

第３発明に係る車載用入力装置は、前記カメラを複数備え、該複数のカメラは魚眼レンズをそれぞれ有し、前記位置検出手段は、前記複数のカメラが撮像した各画像上の中心から指先への各方向に基づき位置を検出するように構成してあることを特徴とする。

この車載用入力装置では、魚眼レンズを有するカメラを複数備え、複数のカメラが撮像した各画像上の中心から指先への各方向に基づき、指先の位置を検出する。

第１発明に係る車載用入力装置によれば、各キーに個別にセンサを備える必要がなく、また、タッチパネルにも適用でき、キーの機能を認識でき、キーを視認することなく操作が可能な車載用入力装置を実現することができる。また、キーの配置又は形状が変更された場合でも、テーブル（位置記憶手段）の記憶内容を変更するのみで対応可能であり、更に、指先の動きを検出することで、運転席及び助手席の何れから操作されたかを判定することも可能となる。

第２発明に係る車載用入力装置によれば、各キーに個別にセンサを備える必要がなく、また、タッチパネルにも適用でき、キーの機能を認識でき、不要な音声に煩わされることもなく、キーを視認することなく操作が可能な車載用入力装置を実現することができる。

第３発明に係る車載用入力装置によれば、カメラを天井等の車体側に設ける必要がなく、カメラの撮像位置の調整が不要であり、各キーに個別にセンサを備える必要がなく、また、タッチパネルにも適用でき、キーの機能を認識でき、キーを視認することなく操作が可能な車載用入力装置を実現することができる。

以下に、本発明をその実施の形態を示す図面に基づき説明する。
図１は、本発明に係る車載用入力装置の実施の形態の概略構成を示すブロック図である。
この車載用入力装置は、センタクラスタパネル等の操作パネル１１に設けられた複数のスイッチ（スイッチボタン、キー）類への各操作入力を、入力検知部１２が検知し、その検知結果を制御部１４へ与える。制御部１４は、与えられた検知結果に応じて、車両に搭載された機器を操作する為の制御信号を出力する。

車室内の天井等に設けられたカメラ１０が、操作パネル１１のスイッチ類が設けられた面を含む画像を撮像し、撮像された画像のデータ信号は、画像処理部１３に与えられ処理される。画像処理部１３の処理結果は、制御部１４に与えられる。
スイッチ配置テーブル１５は、カメラ１０が撮像した、例えば図２（ａ）に示すような画像上のスイッチ１・・・ｎのＩＤ番号と高さ及び幅を含む位置データ（座標データ）とを対応させて、図２（ｂ）に示すようなテーブルのイメージで記憶している。制御部１４から位置データを与えられたときは、その位置データに該当するスイッチのＩＤ番号を特定し、制御部１４に与える。

音声データ記憶部１６は、スイッチのＩＤ番号毎の音声案内情報（名称又は機能説明等）を記憶しており、制御部１４からスイッチのＩＤ番号を与えられたときは、そのＩＤ番号の音声案内情報を制御部１４に与える。制御部１４は、与えられた音声案内情報を、音声送出部１７及びスピーカ１８を通じて音声出力する。
画像処理部１３は、カメラ１０が時系列的に撮像した画像の差に基づき、画像が静止しているか否かを常時判定し、画像が例えば５秒間変化が無いときは、その画像を、図７（ａ）に示すような背景画像として更新して行く。また、カメラ１０が時系列的に撮像した、図７（ｂ）に示すような画像と背景画像とを比較して、人の指先を抽出し、抽出した指先の画像上の位置を検出して、検出した位置データを制御部１４に与える。

以下に、このような構成の車載用入力装置の動作の例を、それを示す図３，４のタイミングチャートに基づき説明する。
制御部１４は、時系列的に与えられた位置データにより、指先が所定時間Ｔ１静止したか否かを判定し（図３（ｅ）、図４（ｅ））、指先が所定時間Ｔ１静止したと判定したときは、静止フラグＦｓを１にする（図３（ｃ）、図４（ｃ））。また、入力検知部１２がスイッチによる入力を検知したか否かを判定し（図３（ｂ）、図４（ｂ））、入力を検知したと判定したときは、案内不要フラグＦｇを１にする（図３（ｄ）、図４（ｄ））。

制御部１４は、静止フラグＦｓを１にしたとき（図３（ｃ）、図４（ｃ））、案内不要フラグＦｇが０であれば（図３（ｄ））、指先が所定時間Ｔ１静止した位置にスイッチ（又はタッチパネルに表示されたスイッチ）が配置されているか否かを、スイッチ配置テーブル１５で判定する。指先が所定時間Ｔ１静止した位置に、スイッチが配置されていれば、音声データ記憶部１６に記憶されているそのスイッチに関する音声データを出力させる（図３（ａ））。スイッチが配置されていなければ、音声データは出力させない。

制御部１４は、静止フラグＦｓを１にしたとき（図３（ｃ）、図４（ｃ））、案内不要フラグＦｇが１であれば（図４（ｄ））、既にスイッチによる入力が済んでおり、音声による案内は不要であるので、音声案内の為の処理は行わない（図４（ａ））。
制御部１４は、指先が静止している状態から動いたときは（図３（ｅ）、図４（ｅ））、静止フラグＦｓを０にし（図３（ｃ）、図４（ｃ））、また、案内不要フラグＦｇを０にする（図３（ｄ）、図４（ｄ））。

以下に、このような車載用入力装置の動作を、それを示す図５，６のフローチャートを参照しながら更に詳細に説明する。
制御部１４は、スタート時に、パラメータ及びフラグをリセット（＝０）するものとする。次いで、画像処理部１３で、カメラ１０が時系列的に撮像した画像から指先を抽出し、抽出した指先の位置検出処理を行う（Ｓ１）。

その際、画像処理部１３は、背景画像（例えば図７（ａ））に無いエッジを抽出し（図６Ｓ３１）、抽出したエッジを直線と曲線とに分類し、曲線部でサイズ及び曲率が所定範囲のものを指先候補として抽出する（Ｓ３３）。
画像処理部１３は、次に、抽出した指先候補の中から、画像の中で最上部に有るものを、スイッチ押下に使用される指先として選択し（Ｓ３５）、次いで、選択した指先の画像上の位置（座標）を検出して、その位置データを制御部１４に与える（Ｓ３７）。

制御部１４は、与えられた指先の位置データを記憶し（図５Ｓ３）、その位置データと前回記憶した指先の位置データとを比較して（Ｓ５）、指先が静止しているか否かを判定する（Ｓ７）。その結果、位置データの差が所定値を超えず、指先は静止していると判定したときは、入力検知部１２がスイッチによる入力を検知したか否かを判定し（Ｓ９）、スイッチによる入力を検知していなければ、静止フラグＦｓが１であるか否かを判定する（Ｓ１０）。
制御部１４は、静止フラグＦｓが１でなければ（Ｓ１０）、パラメータＴに１を加算する（Ｓ１１）。次いで、パラメータＴが所定値Ｎ（所定時間Ｔ１に相当）以上であるか否かを判定し（Ｓ１３）、所定値Ｎ以上であれば、パラメータＴをリセット（＝０）した後（Ｓ１５）、静止フラグＦｓを１にする（Ｓ１６）。

制御部１４は、次に、案内不要フラグＦｇが１であるか否かを判定する（Ｓ１７）。案内不要フラグＦｇが１でなければ、指先が所定時間Ｔ１静止した位置にスイッチが配置されている否かを、スイッチ配置テーブル１５で判定し、スイッチが配置されていれば、音声データ記憶部１６が記憶しているそのスイッチに関する音声データを出力させ、スピーカ１８による音声案内を開始する（Ｓ１９）。スイッチが配置されていなければ、音声データは出力させない。次いで、画像処理部１３で、カメラ１０が撮像した画像から指先を抽出し、抽出した指先の位置検出処理を行う（Ｓ１）。

制御部１４は、指先が静止していないと判定したとき（Ｓ７）、案内不要フラグＦｇを０にし（Ｓ２３）、静止フラグＦｓを０にした後（Ｓ２５）、画像処理部１３で、カメラ１０が撮像した画像から指先を抽出し、抽出した指先の位置検出処理を行う（Ｓ１）。
制御部１４は、入力検知部１２がスイッチによる入力を検知していれば（Ｓ９）、案内不要フラグＦｇを１にした後（Ｓ２１）、画像処理部１３で、カメラ１０が撮像した画像から指先を抽出し、抽出した指先の位置検出処理を行う（Ｓ１）。
制御部１４は、静止フラグＦｓが１であるとき（Ｓ１０）、パラメータＴが所定値Ｎ以上でないとき（Ｓ１３）、又は案内不要フラグＦｇが１であるとき（Ｓ１７）、画像処理部１３で、カメラ１０が撮像した画像から指先を抽出し、抽出した指先の位置検出処理を行う（Ｓ１）。

尚、上述した実施の形態では、車室内の天井等に設けられたカメラ１０が、操作パネル１１のスイッチ類を含む画像を撮像しているが、図８に示すように、魚眼レンズを備える２つのカメラ１０ａ，１０ｂを、離隔させて操作パネルに設け、カメラ１０ａ，１０ｂで操作パネルのスイッチ類を撮像するようにすることも可能である。
カメラ１０ａ，１０ｂが撮像した各画像上の中心から指先１９への各方向の角度に基づき、例えば、図２（ａ）に示すように配置されたスイッチの位置を検出することが可能であり、この場合、図２（ｂ）に示すようなテーブルは、カメラ１０ａ，１０ｂが撮像した各画像上の中心における角度を記憶することになる。

また、図９（ａ）に示すように、狭角レンズを備えるカメラ１０ｃを、フロントガラスとの境界付近の天井に設けて、センタクラスタパネルの表面を撮像させ、センタクラスタパネルに設けられたスイッチの操作専用カメラとすることも可能である。
また、図９（ｂ）に示すように、広角レンズを備えるカメラ１０ｄを、フロントガラスとの境界付近の天井に設けて、車室内の大部分を撮像させ、センタクラスタパネル、ステアリング及びコンソール等に設けられたスイッチの操作用カメラとする他、全席乗員検知及び侵入者検知（セキュリティ）等に共用することも可能である。

本発明に係る車載用入力装置の実施の形態の概略構成を示すブロック図である。 スイッチ配置テーブルを説明する為の説明図である。 本発明に係る車載用入力装置の動作の例を示すタイミングチャートである。 本発明に係る車載用入力装置の動作の例を示すタイミングチャートである。 本発明に係る車載用入力装置の動作の例を示すフローチャートである。 本発明に係る車載用入力装置の動作の例を示すフローチャートである。 画像処理部の動作を説明する為の説明図である。 本発明に係る車載用入力装置のカメラの配置例を示す説明図である。 本発明に係る車載用入力装置のカメラの配置例を示す説明図である。

符号の説明

１０，１０ａ，１０ｂ，１０ｃ，１０ｄ カメラ
１１ 操作パネル
１２ 入力検知部
１３ 画像処理部（位置検出手段、）
１４ 制御部（判定手段、特定する手段）
１５ スイッチ配置テーブル（位置記憶手段）
１６ 音声データ記憶部（音声出力手段）
１７ 音声送出部（音声出力手段）
１８ スピーカ（音声出力手段）
１９ 指先

Claims (3)

1. 複数のキーを備え、該キーによる入力に応じて、車両に搭載された機器を操作するように構成された車載用入力装置において、
   前記複数のキーを含む画像を時系列的に撮像するカメラと、該カメラが撮像した画像上の前記キーの位置を記憶している位置記憶手段と、前記画像上の人の指先の位置を検出する位置検出手段と、該位置検出手段が検出した位置に、前記指先が静止したか否かを判定する判定手段と、該判定手段が静止したと判定したときに、前記位置記憶手段の記憶内容に基づき前記位置に対応するキーを特定する手段と、該手段が特定したキーに関する情報を音声により出力する音声出力手段とを備えることを特徴とする車載用入力装置。
2. 前記判定手段が静止したと判定する前に、キーによる入力が有ったときは、前記音声出力手段の動作を禁止するように構成してある請求項１記載の車載用入力装置。
3. 前記カメラを複数備え、該複数のカメラは魚眼レンズをそれぞれ有し、前記位置検出手段は、前記複数のカメラが撮像した各画像上の中心から指先への各方向に基づき位置を検出するように構成してある請求項１又は２記載の車載用入力装置。

Images