JP2006298003A

JP2006298003A - コマンド入力装置

Info

Publication number: JP2006298003A
Application number: JP2005118555A
Authority: JP
Inventors: Yoshimi Ota; 最実太田; Masaki Hirota; 正樹廣田; Makoto Iwashima; 誠岩島; Yasuhiro Fukuyama; 康弘福山
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2005-04-15
Filing date: 2005-04-15
Publication date: 2006-11-02

Abstract

【課題】ハンドコマンドの認識率を向上させる。
【解決手段】車両を操舵するステアリングに連なるスポークの少なくとも一部を含む所定の検出領域を撮像するカメラ１０と、カメラ１０の撮像データに基づいて運転者の手の形状および／または手の動きを抽出する抽出手段２１と、抽出された手の形状および／または手の動きに対応するハンドコマンドを判定する判定手段２２と、判定されたハンドコマンドを実行させる実行手段２３とを設けた。
【選択図】図１

Description

本発明は、車両の運転者により表現されるハンドコマンドの入力を受け付けるコマンド入力装置に関し、特に、カメラを用いたコマンド入力装置に関する。

車両に搭載される車載機器の多様化に伴い、運転者が行う入力操作は複雑化している。運転中の運転者の負担を軽減するため、運転者がステアリングを握りながら差し出した指の形状や動きをイメージセンサで認識し、指の形状や動きに応じたハンドコマンドを受け付ける入力装置が提案されている（特許文献１、特許文献２参照）。

しかしながら、操舵時にステアリングを握りながら手や指を動かした場合、その手の形状、指の形状が誤ってハンドコマンドとして認識されてしまい、運転者が意図しない動作が実行されてしまうという問題があった。

従来の技術

特開２００１−２１６０６９号公報特開２００３−１３１７８５号公報

本発明は、運転者が示した手の形状等によるハンドコマンドの認識率を向上させることを目的とする。
この発明によれば、車両を操舵するステアリングに連なるスポークの少なくとも一部を含む所定の検出領域を撮像するカメラと、カメラの撮像データに基づいて運転者の手の形状および／または手の動きを抽出する抽出手段と、抽出手段により抽出された手の形状および／または手の動きに対応するハンドコマンドを判定する判定手段と、判定手段により判定されたハンドコマンドを実行させる実行手段と、を有するコマンド入力装置が提供される。

本発明では操舵時には握らないスポークにハンドコマンドの入力位置、すなわち検出領域を設定することにより、コマンド入力とステアリング操舵とを確実に区別することができる。つまり、ステアリング操舵時の手の形状を誤ってハンドコマンドとして判断することがなく、ハンドコマンドを正確に認識することができる。

以下、本発明の実施形態を図面に基づいて説明する。
本実施形態のコマンド入力装置１００は車両に搭載され、運転者が車両のステアリングに連なるスポーク３を握りながら手若しくは指の形態（差し出した指・差し出した指の本数など）又は手若しくは指の動作により表現したハンドコマンドの入力を受け付ける。図１（Ａ）は運転者の手７がスポーク３を握った状態を運転者側から示す。

図１（Ｂ）は、運転者の手７がスポーク３を握りながらハンドコマンドを示した状態を上方側から見た図である。また図１（Ｂ）には本実施形態のカメラ１０の配置例と検出領域６を示す。カメラ１０の検出領域６はスポーク３の少なくとも一部を含む。検出領域６には、スポーク３に設けられた入力位置誘導部３１が含まれることが好ましい。図１（Ｂ）に示すように、本実施形態のカメラ１０は、スポーク３の下側に取り付けられており、スポーク３の下側から「スポーク３を握る運転者の手７と背景面となる車両室内の天井面」とを含む所定の検出領域を撮像し、検出領域内の背景面（天井）と運転者の手に関する撮像データを取得する。本実施形態において、スポーク３の一部を含む検出領域を設定したのは、操舵時には運転者がスポーク３を握ることは稀であるため、入力位置を操舵時と異なる位置にすることにより操舵時の手の動きとハンドコマンド入力時の手の動きとを区別し、操舵時の手の動きを誤ってコマンドとして認識することを防ぐためである。また、スポーク３の一部と車両の天井の一部とを含むように検出領域を設定することにより、背景に運転者の手以外の身体の一部が写りこまないようにすることができる。これにより、運転者が示す手の形態等を正確に抽出することができる。なお、図１（Ａ）（Ｂ）では右側ステアリング車両における各構成の配置を示したが、左側ステアリング車両では左右が反対の位置関係となる。

本実施形態のコマンド入力装置１００は、運転者によって示されたハンドコマンドをカメラ１０で撮像し、その撮像データに基づいてハンドコマンドの抽出・判定を行う。図２には、本実施形態のコマンド入力装置１００のブロック構成を示した。図２に示すように、コマンド入力装置１００は、カメラ１０と、入力制御装置２０とを備えている。本実施形態のハンドコマンドは、車両搭載のオーディオ装置、エアコン、ナビゲーション装置等の車載装置に対する制御命令である。コマンド入力装置１００は、外部の車載装置２００と車載ＬＡＮにより情報授受が可能なように接続されている。コマンド入力装置１００は、車載ＬＡＮを介して受け付けたハンドコマンドを車載装置２００に向けて送出する。

「入力制御装置２０」は、抽出手段２１と、判定手段２２と、実行手段２３とを備え、カメラ１０により撮像された画像に基づいて運転者が示したハンドコマンドを実行させる。カメラ１０は限定されず、運転者によりコマンドが示された手を撮像し、ハンドコマンドの抽出・判定処理ができる画像データを取得できればよい。本例では夜間や暗い場所でも撮像データを取得し、コマンドの抽出・判定を行う観点から、カメラ１０として赤外線カメラを採用するが、ＣＣＤカメラ、その他のデジタルカメラであってもよい。

本例の抽出手段２１は、カメラ１０（赤外線カメラ）により撮像された撮像データから、手の形状および／または手の動きを抽出する。抽出手法は特に限定されないが、人間の手の表皮温度（２４〜３４℃）を基準とした温度帯域に含まれる温点の分布を抽出し、この分布から人間の手の形状および／または人間の手の動きを抽出する。

判定手段２２は、抽出手段２１により抽出された手の形状および／または手の動きに基づいてハンドコマンドの内容を判定する。判定の手法は特に限定されず、抽出された手の形状および／または手の動きを、その特徴点（指先など）に基づいて認識してもよいし、パターンマッチング手法により判定してもよい。本実施形態では、抽出された手の形状および／または手の動きと、予めハンドコマンドにそれぞれ割り振られた手の形状および／または手の動きとを対比して、抽出された手の形状および／または手の動きのハンドコマンドを判定する。判定手段２２は、ハンドコマンドの内容と手の形状および／または手の動きとを予め対応づけた対応情報を、読み込み可能な記憶手段（ＲＡＭまたはＲＯＭ）から取得する。対応情報においては、手の形状および／または手の動きから予め対応づけられた所定のハンドコマンドが特定される。所定の手の形状（例えば指の本数）等と所定のハンドコマンド（例えば機器のＯＮ／ＯＦＦ）とを対応づけてもよいし、ハンドコマンドの階層構造に応じて、所定の手の形状（例えば指の本数）等の組み合わせと、所定のハンドコマンド（例えばオーディオ選択後の音量ＵＰ／ＤＯＷＮ）とを対応づけてもよい。

実行手段２３は、判定手段２２により判定されたハンドコマンドを実行させる。実行手段２３は、判定されたハンドコマンドが制御する装置へ向けて、そのハンドコマンドを送出する。ハンドコマンドを取得した各車載装置２００は、取得したハンドコマンドを実行する。

本発明では、スポーク３を含むように検出領域を設定したため、運転者はスポーク３近傍で示した手の形状等に基づいてハンドコマンドの入力処理を行う。通常、操舵中には握らないスポーク３近傍で示された手の形状に基づいてハンドコマンドの入力処理を実行するため、操舵時の手の形状等を誤ってハンドコマンドと判断することがない。

本実施形態では、スポーク３にハンドコマンドの入力基準位置を運転者に示唆するとともに、運転者の触覚により認識可能な入力位置誘導部３１を設けた。これにより、運転者の視線を誘導することなく、運転者がハンドコマンドを示すべき「入力基準位置」を運転者に認識させることができる。本実施形態では、運転者が触覚により認識できるようにするため、入力位置誘導部３１の太さおよび／または長さを他のスポーク３のそれと異なるようにした。

また、特に限定されないが、入力位置誘導部３１には運転者が握るためのグリップ部３１Ａを設けることが好ましい。入力位置誘導部３１に運転者が握れるグリップ部３１Ａを設けることにより、運転者はスポーク３を握りながら指を伸ばす／動かすことが容易になるため、各種のハンドコマンドを正確に示すことができる。また、スポーク３を握りながら指を伸ばす／動かすことができるため、ハンドコマンドを示す位置が限定され、運転者の手を必ず撮像データに含めることができる。

図３に本実施形態の入力位置誘導部３１の一具体例を示した。入力位置誘導部３１は、その太さ及び長さが他のスポークとは異なり、その中央部分には運転者が握るためのグリップ部３１Ａが形成されている。本例では、運転者が人差し指、中指及び薬指でハンドコマンドを示しながら親指と小指でグリップ部３１Ａを握れるようにするという観点から、グリップ部３１Ａの太さを３ｃｍ以下とした。また、特に限定されないが、本例では、入力位置誘導部３１の幅を平均的な手の幅（例えば１０ｃｍ）以上とした。

特に限定されないが、入力位置誘導部３１には、運転手の指を掛けるための凹部３０を設けることが好ましい。特に限定されないが、本例ではスポーク３の下側（車室床側）に凹部３０を設けた。凹部３０を設けることにより、運転者は視線を動かさずに確実にハンドコマンドの入力基準位置を認識することができる。また、この凹部３０にはハンドコマンドの入力開始タイミングを示す入力情報を受け付ける入力開始ボタン５を設けることが好ましい。

図４に、図３に示した入力誘導部３１を拡大して示した。図４に示すように、入力位置誘導部３１には運転者の指を掛けるための凹部３０が形成されている。この凹部３０の窪みの内側には、運転者がコマンドの入力開始タイミングを入力するための入力開始ボタン５が設けられている。

入力開始ボタン５への入力情報は、入力制御装置２０の抽出手段２１（又は、判定手段２２、実行手段２３）へ送出される。抽出手段２１（又は、判定手段２２、実行手段２３）は入力開始ボタン５への入力情報に呼応して処理を開始する。運転者は、入力開始ボタンを入力した後にハンドコマンドを示すため、ハンドコマンドではない手の動きを誤ってハンドコマンドと認識することがなく、ハンドコマンドの抽出・判定を正確に行うことができる。また運転者がハンドコマンドとして示したものではない手の形状等を、ハンドコマンドとして誤って認識することがない。これによりハンドコマンドの認識率を向上させることができる。

また、本実施形態において、カメラ１０の配置は特に限定されないが、既存設備の利用及び省スペース化の観点から、カメラ１０をウィンカレバー又はワイパーレバー４、またはステアリング２に設けることが好ましい。カメラ１０をウィンカレバー（又はワイパーレバー）４に設けた例を図５（Ａ）に示した。ウィンカレバー４に設けられたカメラ１０は、図５（Ｂ）に示すようにスポーク３を握る運転者の手７を下方から天井に向かって撮像する。このカメラ１０の撮像データには、運転者の手、スポーク３およびステアリング２の裏側、及び天井の像が含まれ、運転者の手以外の身体は含まれない。

カメラ１０はステアリング２に設けてもよい。カメラ１０をステアリング２に設けた例を図６（Ａ）に示した。これにより省スペースをさらに図ることができる。ステアリング２に設けられたカメラ１０は、図６（Ｂ）に示すようにスポーク３を握る運転者の手７を下方から天井に向かって撮像する。このカメラ１０の撮像データには、運転者の手、スポーク３およびステアリング２の裏側、及び天井の像が含まれ、運転者の足などの他の身体部分は含まれない。

このように、入力位置誘導部３１をステアリング２から離れたスポーク３に設けることにより、運転者の手の形状等が操舵に伴うものであるのか又はハンドコマンドを示すものなのかを明確に区別することができる。また、スポーク３に入力誘導部３１を設けたことにより、運転者の視線を誘導することなく、運転者の手を所定の入力基準位置に導くことができる。これにより、運転者が示したハンドコマンドは正確に認識され、コマンド入力装置１００の精度を向上させることができる。また、本実施形態のコマンド入力装置１０は、ハンドコマンドを示す運転者の手を所定の入力基準位置に誘導することができることから、カメラによる撮像領域を必要最小限範囲に限定することができる。このため、撮像範囲が比較的狭い（画角が狭い、解像度が低い）安価なカメラでも高い認識率を維持することができる。つまり、コマンド入力装置１００のコストを低く抑えることができる。

次に本実施形態のコマンド入力装置１００の制御手順を図７のフローチャートに基づいて説明する。図７に示すように、起動後(Ｓ１０１)、カメラ１０は、スポーク３の一部と運転者の手を含む所定の検出領域を撮像する（Ｓ１０２）。入力開始ボタン５は運転者からの入力開始タイミングの入力があるまで待機する（Ｓ１０３）。運転者から入力開始タイミングを取得した場合、入力開始タイミング情報は入力制御装置２０へ送出される。入力開始タイミング情報を取得した入力制御装置２０の抽出手段２１は、カメラ１０が取得した撮像データに基づいて運転者の手の形状および／または運転者の手の動きを抽出する(Ｓ１０４)。判定手段２２は、抽出手段２１により抽出された運転者の手の形状および／又は手の動きに対応するコマンドを判定する（Ｓ１０５）。実行手段２３は判定手段２２により判定されたコマンドを車載装置２００の制御手段に向けて出力する（Ｓ１０６）。車載装置２００は、受け付けたコマンドに基づいて車載装置２００を制御し(Ｓ１０７)、終了する
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

(Ａ)(Ｂ)は本実施形態のコマンド入力装置の使用例を示す図である。コマンド入力装置のブロック構成図である。スポークに設けられた入力位置誘導手段を説明するための図である。入力位置誘導手段に設けられた凹部を説明するための図である。（Ａ）（Ｂ）はカメラをウィンカレバーに設けた場合を説明するための図である。（Ａ）（Ｂ）はカメラをステアリングに設けた場合を説明するための図である。本実施形態のコマンド入力装置の制御手順を示すフローチャート図である。

符号の説明

１００…コマンド入力装置
１０…カメラ（赤外線カメラ）
２０…入力制御装置
２１…抽出手段
２２…判定手段
２３…実行手段
１…ステアリング
２…ステアリングコラム
３…スポーク
３１…入力位置誘導手段
４…ウィンカレバー、ワイパーレバー
５…入力開始ボタン
６…検出領域
７…運転者の手
２００・・・車載装置

Claims

車両を操舵するためのステアリングに連なるスポークの少なくとも一部を含む所定の検出領域を撮像するカメラと、
前記カメラの撮像データに基づいて運転者の手の形状および／または手の動きを抽出する抽出手段と、
前記抽出手段により抽出された手の形状および／または手の動きに対応するハンドコマンドを判定する判定手段と、
前記判定手段により判定されたハンドコマンドを実行させる実行手段と、を有するコマンド入力装置。
前記ステアリングに連なるスポークに、ハンドコマンドの入力基準位置を運転者に示唆するとともに、運転者の触覚により認識可能な入力位置誘導部を設けたことを特徴とするコマンド入力装置。
前記スポークに設けられた入力位置誘導部は、その太さおよび／または長さが他のスポークとは異なることを特徴とする請求項２に記載のコマンド入力装置。
前記入力位置誘導部は、運転者が握るためのグリップ部を有する請求項２または３に記載のコマンド入力装置。
前記カメラは、前記入力位置誘導部周辺と前記車両室内の天井の少なくとも一部を含む所定の検出領域を撮像することを特徴とする請求項１〜４のいずれかに記載のコマンド入力装置。
前記カメラは、ウィンカレバー又はワイパーレバーに設けられたことを特徴とする請求項５に記載のコマンド入力装置。
前記カメラは、前記ステアリングに設けられたことを特徴とする請求項５に記載のコマンド入力装置。
前記ハンドコマンドの入力位置誘導部に、運転者の指を掛けるための凹部を設けたことを特徴とする請求項２〜７のいずれかに記載のコマンド入力装置。
前記凹部には、ハンドコマンドの入力開始タイミングを示す入力情報を受け付ける入力開始ボタンが設けられ、
前記抽出手段、前記判定手段、または前記実行手段は、当該入力開始ボタンへの入力情報に呼応して処理を開始することを特徴とする請求項８に記載のコマンド入力装置。
前記カメラは赤外線カメラであることを特徴とする請求項１〜９のいずれかに記載のコマンド入力装置。