JP2007237919A

JP2007237919A - 車両用入力操作装置

Info

Publication number: JP2007237919A
Application number: JP2006062899A
Authority: JP
Inventors: Takashi Inoue; 貴司井上; Kunihiko Iijima; 邦彦飯島
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2006-03-08
Filing date: 2006-03-08
Publication date: 2007-09-20

Abstract

【課題】運転者がジェスチャにより円滑に入力操作を行なうことが可能な車両用入力操作装置を提供すること。
【解決手段】運転者のジェスチャを検出して車両内の機器に対する入力操作を行なう車両用入力操作装置１であって、運転者のジェスチャを検出するジェスチャ検出手段１０と、ジェスチャ検出手段１０の検出結果に基づいて入力操作内容を決定する入力操作内容決定手段３０と、を備え、入力操作内容決定手段３０は、運転者から見た特定の車載機器の位置を基準に設定された領域における運転者のジェスチャに基づいて、入力操作内容を決定することを特徴とする。
【選択図】図１

Description

本発明は、運転者のジェスチャを検出して車両内の機器に対する入力操作を行なう車両用入力操作装置に関する。

近年、車両に搭載される機器の多様化に伴って、これらの機器の制御に係る入力操作を集約する結果、入力操作自体が煩雑なものとなる問題が生じている。例えば、ナビゲーション装置が有するタッチパネル式の入力部に複数の機器に対する入力操作を集約すると、運転者周辺のスペースや車室内の美観の確保という実益がある反面、入力操作において対象機器の選択から開始しなければない等の煩雑さが生じる。この問題は、煩雑な入力操作により運転者の注意力が低下するという問題を更に生じせしめるため、安全運転の観点から、代替手段が望まれる。この一例として、例えば、運転者の手の形状や動き（ジェスチャ）をカメラセンサーや赤外線センサーにより検出して、これを入力操作とすることについての研究がなされている。

運転者のジェスチャによる入力操作を可能にした装置の一例として、特許文献１に記載のものが知られている。この装置では、ＩＧキーの鍵体に赤外線センサーを取り付けてジェスチャを検出している。

また、他の例として、特許文献２に記載のものが知られている。この装置では、物体に照射した赤外光の反射光によりジェスチャを検出している。
特開２００５−４７４１２号公報特開２００５−１３５４３９号公報

しかしながら、上記従来の特許文献１に記載の装置においては、運転者の側から見てジェスチャの基準となる検出領域が不明確であるため、運転者が円滑に入力操作をすることが困難である。

また、上記従来の特許文献２に記載の装置においては、運転者の上下左右方向の手の動きに対応付けて入力操作を行なうことを可能にしているが、やはり、運転者の側から見てジェスチャの基準となる検出領域が不明確であるため、運転者が円滑に入力操作をすることが困難である。

本発明はこのような課題を解決するためのものであり、運転者がジェスチャにより円滑に入力操作を行なうことが可能な車両用入力操作装置を提供することを、主たる目的とする。

上記目的を達成するための本発明の第１の態様は、運転者のジェスチャを検出して車両内の機器に対する入力操作を行なう車両用入力操作装置であって、運転者のジェスチャを検出するジェスチャ検出手段と、ジェスチャ検出手段の検出結果に基づいて入力操作内容を決定する入力操作内容決定手段と、を備え、入力操作内容決定手段は、運転者から見た特定の車載機器の位置を基準に設定された領域における運転者のジェスチャに基づいて、入力操作内容を決定することを特徴とするものである。ここで、「ジェスチャ」とは、運転者の手や腕の、形状及び動きをいう。

この本発明の第１の態様によれば、運転者から見た特定の車載機器の位置を基準に設定された領域における運転者のジェスチャに基づいて入力操作内容を決定するから、運転者がジェスチャにより円滑に入力操作を行なうことができる。

また、本発明の第１の態様において、特定の車載機器は、好ましくは、ステアリングホイールである。この場合、入力操作内容決定手段は、更に好ましくは、運転者から見たステアリングホイールの手前における所定領域に仮想十字キーを設定し、運転者が設定された仮想十字キーに対して行なったジェスチャを検出して、運転者の入力操作内容を決定する手段である。更にこの場合、入力操作内容決定手段は、例えば、仮想十字キーによりスクロール操作が入力される際には、ステアリングホイールの中心部から径方向外側に向けて運転者の手が動かされるのに応じてスクロール量が大きくなるように、入力操作内容を決定する手段である。

また、本発明の第１の態様において、入力操作内容決定手段は、例えば、択一的な入力操作が行なわれる場面では、運転者から見たステアリングホイール手前の所定領域を分割し、分割されたいずれの領域で運転者のジェスチャが検出されたかに基づいて、入力操作内容を決定する手段である。

また、本発明の第１の態様において、ジェスチャ検出手段は、例えば、運転者の手の形状をジェスチャとして検出する手段であり、入力操作内容決定手段は、ジェスチャ検出手段により検出された運転者の手の形状と、予め登録された手の形状と、のパターンマッチング処理を行なって入力操作内容を決定する手段であり、好ましくは、所定の操作により、任意の手の形状を入力操作内容と対応付けて登録可能な手段である。

本発明の第２の態様は、運転者の手の形状を検出して車両内の機器に対する入力操作を行なう車両用入力操作装置であって、運転者の手の形状を検出する形状検出手段と、形状検出手段により検出された運転者の手の形状と、予め登録された手の形状と、のパターンマッチング処理を行なって入力内容を決定するパターンマッチング処理手段と、所定の操作により、任意の手の形状を入力操作内容と対応付けて登録する登録手段と、を備えることを特徴とするものである。

本発明によれば、運転者がジェスチャにより円滑に入力操作を行なうことが可能な車両用入力操作装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

以下、図１〜３を用いて、本発明に係る車両用入力操作装置の一実施例について説明する。図１は、本発明の一実施例に係る車両用入力操作装置１の全体構成の一例を示す図である。車両用入力操作装置１は、主要な構成として、ジェスチャ検出装置１０と、ナビゲーション装置２０と、入力操作装置用電子制御ユニット（以下、入力操作装置用ＥＣＵと称する）３０と、を備える。また、入力操作の対象機器の一例として、空調装置４０と、カーオーディオ５０と、を図示する。なお、以下の説明における車両内の機器間の通信は、ＡＶＣ−ＬＡＮや、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）等の適切な通信プロトコルを用いて行なわれる。

ジェスチャ検出装置１０は、例えば、運転席の上方（車室の天井）に取り付けられ、ステアリングホイール付近を撮像する、ＣＣＤやＣＭＯＳ等の撮像素子を利用したカメラ１２を備える。カメラ１２は、従って、運転者がステアリングホイール手前で行なったジェスチャを撮像することができる。なお、カメラ１２の配設位置は、その撮像画像が、運転者からステアリングホイールを見た視界に近いものとなるように、運転者の頭部付近であることが好ましい。カメラ１２が撮像した画像は、入力操作装置用ＥＣＵ３０に送信される。

ナビゲーション装置２０は、自車両の現在位置を検出するためのＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）受信機や、地図データベース、電子制御ユニットを備え、液晶ディスプレイ等の表示部２２により地図表示や経路案内表示を出力すると共に、スピーカー２４を用いて音声により経路案内等を行なう。なお、表示部２２は、タッチパネルセンサーとして構成され、乗員が触れることにより入力操作を行なうことが可能である。

入力操作装置用ＥＣＵ３０は、例えば、ＣＰＵを中心とするコンピューターユニットであり、ハードディスクやＲＡＭ、ＣＤ−ＲＯＭ、ＤＶＤ等の読書き可能なメモリ３２や、通信ポート、タイマー、カウンター等を備える。また、入力操作装置用ＥＣＵ３０は、上記のハードウエアを用いて実現される主要な機能ブロックとして、仮想十字キー設定部３４と、モーション・トラッキング処理部３５と、パターンマッチング処理部３６と、メタデータ作成部３７と、入力操作内容決定部３８と、を備える。

仮想十字キー設定部３４は、ジェスチャ検出装置１０から入力された画像において、運転者の入力操作を認識する際の基準となる仮想十字キーを設定する。この仮想十字キーは、例えば、図２に示す如く画像においてステアリングホイールを基準に設定され、ジェスチャ入力が可能な領域Ａ、Ｂ、Ｃ、Ｄ、Ｅからなる。この仮想十字キーにおける特定の領域で運転者が手の形状を特定の形状にしたり（以下、静的ジェスチャと称する）、ある領域から他の領域に手を移動させたり（以下、動的ジェスチャと称する）することにより、運転者が種々の入力操作をすることができる。

モーション・トラッキング処理部３５は、画像中の特定の箇所（例えば、手の中心など）をターゲットとして、手全体の動きを解析する。従って、モーション・トラッキング処理部３５は、上記の動的ジェスチャを検出する。なお、このモーション・トラッキング処理の具体的手法については、当業者には周知であるため、説明を省略する。

パターンマッチング処理部３６は、予め入力操作内容と対応付けてメモリ３２に登録された基準となる手の形状と、カメラ１２が撮像した画像における手の形状を比較し、十分に近い場合は、基準となる手の形状がなされたと判定する。この形状の比較手法については、既に種々のものが知られているが、例えば、登録された形状との重なりの程度を計算し、これを閾値と比較することにより行なうことができる。

このように、本実施例では、画像においてステアリングホイールを基準に設定された仮想十字キーに対するジェスチャを検出している。ステアリングホイールは運転者にとって最も視認し易い車載機器の一つであるため、運転者にとってジェスチャを行なうべき手の位置が明確となる。また、仮想十字キーにおいて複数の領域を設定し、動的ジェスチャを検出可能にしているため、例えば、カーオーディオ５０の音量調整場面等の量的な入力操作が必要な場面でも、動的ジェスチャの大きさ（手の移動量）を変化させることにより、感覚的な入力操作を行なうことができる。従って、ジェスチャによる円滑な入力操作が実現できる。

メタデータ作成部３７は、基準となる手の形状と入力操作内容が対応付けられたメタデータを作成する。以下、メタデータ作成の具体的な流れについて説明する。入力装置としてのナビゲーション装置２０の表示部２２に所定の操作を行なうと、メタデータ作成メニューが表示される。これが実行されると、手の形状が撮像されると共に対応付けられるべき入力操作内容を選択するよう指示するメニューが表示部２２に表示され、メニューに従って入力操作内容を選択すると、手の形状と入力操作内容が対応付けられたメタデータが作成され、メモリ３２に登録される。なお、メタデータとは、一般的にはデータについての情報を記述したデータを意味する概念である。こうして作成されたメタデータは、上記の如くパターンマッチング処理部３６において、予め入力操作内容と対応付けて登録された基準となる手の形状として用いられる。図３に、作成されたメタデータの一例を示す。図示する如く、撮像された手の形状と入力操作内容が１対１の対応で記憶されている。

メタデータ作成部３７の機能により、静的ジェスチャの基準となる手の形状を、運転者の好みに応じてカスタマイズすることができる。これにより、運転者の癖等を反映させたジェスチャを入力することも可能となり、円滑な入力操作を実現することができる。

入力操作内容決定部３８は、上記の如く認識される静的ジェスチャや動的ジェスチャに基づいて、入力操作内容を決定する。仮想十字キーにおける各領域になされたジェスチャに対応付ける入力操作については、如何なる制限も存在せず、任意に定めることができる。以下、その対応付けの一例を示す。

仮想十字キーにおける領域Ｅにおいて特定の静的ジェスチャがなされると、入力操作対象機器の選択画面がナビゲーション装置２０の表示部２２に表示される。具体的には、例えば表示部２２において、入力操作対象機器の一覧が、横方向に延在する帯状の領域として縦に並べて表示される。これに対して運転者が領域Ｅから領域Ａ又は領域Ｄに手を移動させる動的ジェスチャを行なうと、仮選択された入力操作対象機器が上下方向に（領域Ｅから領域Ａに移動させると上に、領域Ｅから領域Ｄに移動させると下に）移動し（以下、このような操作をスクロール操作と称する）、次いで、領域Ｅにおいて特定の静的ジェスチャがなされることにより、選択が確定する。この際に、領域Ｅから領域Ａ又は領域Ｄに手を移動させる動きの大きさに応じて、縦方向へのスクロール量やスクロール速度が変化されてよい。また、仮選択された入力操作対象機器がハイライト表示されると共に、ナビゲーション装置２０のスピーカー２４から仮選択された入力操作対象機器がアナウンスされるとより好適である。

ここで、スクロール操作は、上下方向のものに限られず、左右方向であってもよいことは言うまでもない。また、上下左右に（マトリクス状に）選択項目が並べられている場合、領域Ｅからその他の領域に手を移動させることにより、仮選択される選択項目が上下左右に一つずつ移動するように対応付けすることも可能である。

更に、仮に上記の入力操作により空調装置４０が選択された場合、例えば室温設定場面においては、スクロール操作に応じて設定温度が仮選択され、領域Ｅにおいて静的ジェスチャをすることにより選択が確定する。こうして設定温度が確定すると、入力操作用ＥＣＵ２０から空調装置４０に指示信号が送信され、空調装置４０において指示信号に応じた機器の制御が行なわれる。また、例えば、カーオーディオ５０の音量調節場面等においても同様の入力操作が行なわれてよい。

一方、択一的な入力操作（例えば、カーオーディオ５０の電源をオフにする際に、表示部２２やナビゲーション装置２０のスピーカー等から発せられる、「本当に電源を切りますか？」等の質問に「はい」又は「いいえ」で返答するような入力操作）の場合、例えば、領域Ｅから領域Ｂや領域Ｃに手が移動されることにより、「はい」又は「いいえ」が選択されてよい。この場合も、上記動的ジェスチャにより仮選択の状態とし、更に領域Ｅへの静的ジェスチャにより選択が確定されてよい。

なお、以上のジェスチャと入力操作の対応付けは、あくまで一例であり、その他如何なる対応付けも可能であることは前述した通りである。

このように、本発明の一実施例に係る車両用入力操作装置１では、ステアリングホイールを基準に設定された仮想十字キーに対するジェスチャを検出するから、運転者にとってジェスチャを行なうべき手の位置が明確となる。また、動的ジェスチャを検出可能にしているため、スクロール操作等の量的な入力操作が可能となり、感覚的な入力操作を行なうことができる。

また、メタデータ作成部３７の機能により、静的ジェスチャの基準となる手の形状を、運転者の好みに応じてカスタマイズすることができる。これにより、運転者の癖等を反映させたジェスチャを入力することが可能となる。

これらにより、ジェスチャによる円滑な入力操作が実現できる。

以上、本発明を実施するための最良の形態について一実施例を用いて説明したが、本発明はこうした一実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上述した一実施例に種々の変形及び置換を加えることができる。

例えば、５つのジェスチャ検出領域からなる仮想十字キーを設定してジェスチャを検出することを例示したが、ジェスチャ検出領域の設定態様は、ステアリングホイール等の視認容易な車載機器を基準に設定されていれば、如何なる態様でも構わない。例えば、手の位置の、ステアリングホイール中心部回りの方位角を検出して、この角度に応じた入力操作を行なってもよい。これにより、例えば、カーオーディオ５０の音量調整を手の回転運動により行なうことができ、実施例と同様に感覚的な入力操作が可能となる。

また、実施例における択一的な入力操作を行なう際には、一時的に画像中のステアリングホイールを縦又は横、或いは斜めに２分割して、それぞれをジェスチャ検出領域としてもよい。

また、ジェスチャ検出領域の基準となるのは、ステアリングホイールに限られず、ウインドシールドの運転者側の部分や、ルームミラー等であってもよい。

また、ジェスチャ検出装置１０は、運転席上部のカメラ１２を備えるものとして例示したが、ステアリングホイールの位置に対する手の位置を認識することができれば、如何なるものでもよい。例えば、ステアリングホイールのボス部にカメラを配設してもよい。また、カメラに限らず、赤外線センサーや熱センサーでもよい。

また、メタデータ作成部３７の処理における入力装置として、及び補助表示装置として、ナビゲーション装置２０の表示部２２を用いることを例示したが、専用の入力機器や表示機器を備えてもよい。

本発明は、少なくとも、運転者のジェスチャを検出して車両内の機器に対する入力操作を行なう装置に利用できる。搭載される車両の外観、重量、サイズ、走行性能等は問わない。

本発明の一実施例に係る車両用入力操作装置１の全体構成の一例を示す図である。仮想十字キーがステアリングホイールを基準に設定される様子を示す図である。作成されたメタデータの一例を示す図である。

符号の説明

１車両用入力操作装置
１０ジェスチャ検出装置
１２カメラ
２０ナビゲーション装置
２２表示部
２４スピーカー
３０入力操作装置用電子制御ユニット
３２メモリ
３４仮想十字キー設定部
３５モーション・トラッキング処理部
３６パターンマッチング処理部
３７メタデータ作成部
３８入力操作内容決定部
４０空調装置
５０カーオーディオ

Claims

運転者のジェスチャを検出して車両内の機器に対する入力操作を行なう車両用入力操作装置であって、
前記運転者のジェスチャを検出するジェスチャ検出手段と、
該ジェスチャ検出手段の検出結果に基づいて入力操作内容を決定する入力操作内容決定手段と、を備え、
該入力操作内容決定手段は、前記運転者から見た特定の車載機器の位置を基準に設定された領域における運転者のジェスチャに基づいて、入力操作内容を決定する、
ことを特徴とする、車両用入力操作装置。
請求項１に記載の車両用入力操作装置であって、
前記特定の車載機器は、ステアリングホイールである、
車両用入力操作装置。
請求項２に記載の車両用入力操作装置であって、
前記入力操作内容決定手段は、前記運転者から見たステアリングホイールの手前における所定領域に仮想十字キーを設定し、前記運転者が該設定された仮想十字キーに対して行なったジェスチャを検出して、入力操作内容を決定する手段である、
車両用入力操作装置。
請求項３に記載の車両用入力操作装置であって、
前記入力操作内容決定手段は、前記仮想十字キーによりスクロール操作が入力される際には、前記ステアリングホイールの中心部から径方向外側に向けて前記運転者の手が動かされるのに応じてスクロール量が大きくなるように、入力操作内容を決定する手段である、
車両用入力操作装置。
請求項２ないし４のいずれかに記載の車両用入力操作装置であって、
前記入力操作内容決定手段は、択一的な入力操作が行なわれる場面では、前記運転者から見たステアリングホイールの手前における所定領域を分割し、該分割されたいずれの領域で運転者のジェスチャが検出されたかに基づいて、入力操作内容を決定する手段である、
車両用入力操作装置。
請求項１ないし５のいずれかに記載の車両用入力操作装置であって、
前記ジェスチャ検出手段は、運転者の手の形状をジェスチャとして検出する手段であり、
前記入力操作内容決定手段は、
該ジェスチャ検出手段により検出された運転者の手の形状と、予め登録された手の形状と、のパターンマッチング処理を行なって入力操作内容を決定する手段であり、
所定の操作により、任意の手の形状を入力操作内容と対応付けて登録可能な手段である、
車両用入力操作装置。
運転者の手の形状を検出して車両内の機器に対する入力操作を行なう車両用入力操作装置であって、
運転者の手の形状を検出する形状検出手段と、
該形状検出手段により検出された運転者の手の形状と、予め登録された手の形状と、のパターンマッチング処理を行なって入力内容を決定するパターンマッチング処理手段と、
所定の操作により、任意の手の形状を入力操作内容と対応付けて登録可能な登録手段と、
を備えることを特徴とする、車両用入力操作装置。