JP2004142656A - ハンドパターンスイッチ装置 - Google Patents

Abstract

【課題】車両搭載機器の動作を制御する為の操作情報を簡易に、しかも適切に入力することのできる操作性の良いハンドパターンスイッチ装置を提供する。
【解決手段】カメラにて手指を撮像する撮像領域を、ステアリングホイールの側方の該ステアリングホイールを操舵する運転員がその運転姿勢を維持したまま腕を伸ばし得る領域とする。特に撮像領域をステアリングホイールの外周部から少なくとも５０ｍｍ離れた位置として設定し、上記ステアリングホイールを操舵する運転員がその運転姿勢を維持したまま伸ばした手の指先方向に略６００ｍｍの長さを有し、また手の幅方向に略３５０ｍｍの大きさを有する略長方形状の領域として設定する
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく、また車両の運転を妨げることなしに簡易に操作するに好適なハンドパターンスイッチ装置に関する。
【０００２】
【関連する背景技術】
空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく操作する技術として、カメラを用いて運転者の身体の一部（例えば左手）を撮像し、その画像パターンを認識して上記車両搭載機器に対する操作情報を得ることが提唱されている（例えば特許文献１参照）。また運転者の手指の形状や動きとして示されるジェスチァを検出して車両搭載機器に対する操作情報を得ることも提唱されている（例えば特許文献２参照）。
【０００３】
この種の技術は、例えば手指を撮像した画像から手指の形状を認識するパターン認識処理や、認識した手の位置変化を追跡することでその動きを検出する動き検出処理等によって実現されるもので、ハンドパターンスイッチ等と称される。
【０００４】
【特許文献１】
特開平１１−１３４０９０号公報
【特許文献２】
特開２００１−２１６０６９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら上述したハンドパターンスイッチ装置を用いて車両搭載機器の動作を操作する場合、車両の運転操作に伴う運転員の手指の動きを誤って検出しないように配慮することが必要である。またハンドパターンスイッチ装置を介して操作情報を入力する運転員に、運転操作を阻害するような余分な負担を与えないことが重要である。また当然のことながら、操作対象とする車両搭載機器に応じて、その操作情報を簡易に、しかも適切に入力し得ることが好ましい。
【０００６】
本発明はこのような事情を考慮してなされたもので、その目的は、車両の運転員に余分な負担を掛けることなく、各種車両搭載機器の動作を制御する為の操作情報を簡易にして適切に入力することのできる操作性（取扱い性）の良いハンドパターンスイッチ装置を提供することにある。
【０００７】
【課題を解決するための手段】
上述した目的を達成するべく本発明に係るハンドパターンスイッチ装置は、所定の撮像領域におかれた手指をカメラを用いて撮像し、その入力画像から手指形状を認識すると共に上記撮像領域内における手の動きを検出して所定のスイッチ操作情報を得るものであって、
特に前記撮像領域を、ステアリングホイールの側方の該ステアリングホイールを操舵する運転員がその運転姿勢を維持したまま腕を伸ばし得る領域としたことを特徴としている。
【０００８】
即ち、本発明に係るハンドパターンスイッチ装置は、運転員の手指の形状や動きを検出して所定のスイッチ操作情報を得るための撮像領域を、運転員によるステアリングホイールの操舵やコンビネーションスイッチの操作等からなる運転操作に伴う手指（腕）の移動領域を避け、その運転姿勢を維持したまま腕を伸ばし得る領域として設定することで、運転操作とは切り離して簡易にして確実にスイッチ操作情報を得るようにしたことを特徴としている。
【０００９】
具体的には前記撮像領域をステアリングホイールの外周部から少なくとも５０ｍｍ離れた位置として設定し、上記ステアリングホイールを操舵する運転員がその運転姿勢を維持したまま伸ばした手の指先方向に略６００ｍｍの長さを有し、また手の幅方向に略３５０ｍｍの大きさを有する略長方形状の領域として設定することが好ましい。そして前記撮像領域内における手の動きの検出については、前記入力画像から求められる手の重心位置の指先方向への１０〜７０ｍｍの変位を、そのスイッチ操作および／またはスイッチ操作量として検出することが好ましい。
【００１０】
換言すれば種々の振動や揺れを伴う車室内（運転席）において、例えば肘掛けに腕を乗せた運転者が仮想的にスイッチ操作する際の手指の動きが１ステップ動作当たり概ね１０〜７０ｍｍの変位であり、また同一方向に連続操作する場合には数ステップ程度であることを鑑み、このような手指の動きを簡易に、しかも明確に検出するべく上述した如く撮像領域を設定したことを特徴としている。そして手指を撮像した入力画像に対する画像処理を簡素化しながら、その形状や動きを確実に検出して運転者が意図する手指の動き、ひいてはそのスイッチ操作の情報を確実に検出するようにしたことを特徴としている。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態に係るハンドパターンスイッチ装置について説明する。
図１は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現される装置の機能を示している。運転席には運転員（ドライバ）によって操舵されるステアリングホイール１やコンビネーションスイッチ（図示せず）等が設けられ、またそのコンソールパネルにはオーディオ機器や空調機器等の操作部２が設けられている。このような運転席上方の天井には、ステアリングホイール１の側方を撮像領域とし、該撮像領域に向けて腕を伸ばした運転員の手指を撮像するビデオカメラ３が設けられている。このカメラ３は、ＣＣＤカメラ等の小型のものからなる。
【００１２】
ハンドパターンスイッチ装置は、基本的には上記カメラ３によって撮像される運転員の手指の形状や動きをその入力画像から認識処理し、その認識結果に基づいて所定のスイッチ操作情報を得るものであり、上記操作部２に代わって前述したオーディオ機器や空調機器等に対してスイッチ操作情報を与える役割を担う。具体的にはハンドパターンスイッチ装置は、カメラ３によって撮像された入力画像を２値化処理してその背景画像成分を除去し、手指の画像だけを抽出する２値化処理部１１と、２値化処理によって抽出された画像から手指の形状を認識する形状認識部１２、および認識した手指の形状からその重心位置を求める重心検出部１３を備える。
【００１３】
更にハンドパターンスイッチ装置は、上記形状認識部１２による認識結果、および重心検出部１３により検出された手指の重心位置に従って運転員の手指の形状やその動きにより示されるスイッチ操作を認識する操作指示認識部１４を備える。この操作指示認識部１４は、概略的にはメモリ１５に予め登録された手指形状パターンを参照しながらその手指形状を判定（識別）する形状判定部１６、手指の重心位置の移動を追跡して手指の変位を検出する変位量検出部１７、および手指の動きを時間経過として監視するタイマ１８を備える。そして操作指示認識部１４は、これらの判定・監視結果に基づいて、運転員の手指の形状とその動きとによって特定される所定のスイッチ操作情報を求め、このスイッチ操作情報を前記オーディオ機器や空調機器等に対して出力するように構成される。
【００１４】
尚、操作指示認識部１４には、上述した判定結果等に従って運転員に対して所定のガイダンスを行うガイド部１９が設けられている。このガイダンスは、例えばオーディオ機器や空調機器（操作対象機器）、更には音量・チャネル設定、或いは風量・温度等（操作対象機能）を特定する音声メッセージや、そのスイッチ操作を示す「ピッ」や「ピー」等の確認音としてスピーカ２０を介して運転員に報知される。
【００１５】
さて前記カメラ３による撮像領域Ａは、図２に示すようにステアリングホイール１の側方の、該ステアリングホイール１の外周部から少なくとも５０ｍｍ離れた位置、好ましくは１００ｍｍ程度離れた位置として設定される。特に運転員が運転席の側部に設けられた腕掛け（アームレスト）５に腕を乗せたまま、その運転姿勢を崩すことなく腕を伸ばし得る位置であって、オーディオ機器等の操作部２に手指が触れることのない位置として設定されている。ちなみにこの撮像領域Ａは、ステアリングホイール１の側方に腕を伸ばした運転員の手の指先方向に略６００ｍｍ、また手の幅方向に略３５０ｍｍの大きさを有する略長方形状の領域として設定されている。
【００１６】
即ち、この撮像領域Ａは、ステアリングホイール１を把持する、或いはそのコラムシャフトに設けられたコンビネーションスイッチ（図示せず）を操作する運転員の手指を撮像することがない領域であって、しかも運転員が大きく腕を動かすことなく手指を移動させ得る領域として設定されている。これにより運転操作に伴う手指の動きを、誤ってスイッチ操作情報として検出することが防止されている。またオーディオ機器等の操作部２を直接操作する手指についても、これを検出することがないように設定されている。
【００１７】
尚、このように設定された撮像領域Ａにギヤシフトレバー（図示せず）が配置されているような場合には、例えばギヤシフトレバーに設けた感圧センサを介して運転員によるギヤシフトレバーの把持を検出するようにしておけば良い。このような工夫を講じておけば、撮像領域Ａに延ばされた手指が、ギヤシフトレバーを操作しているか、或いはハンドパターンスイッチ装置を操作している状態であるかを容易に判別することが可能となり、運転操作をスイッチ操作情報として誤って検出することを確実に防ぐことができる。またカメラ３としてステレオ（立体視）カメラを用いて手指の高さ位置（カメラ３からの距離）を検出し、これによって撮像領域Ａに延ばされた手指がギヤシフトレバーを操作しているか、或いはギヤシフトレバーの上方空間に位置付けられているかを判別するようにしても良い。
【００１８】
ちなみに上述した如く設定される撮像領域Ａは、運転員が腕掛け（アームレスト）５に腕を乗せたまま、その運転姿勢を崩すことなく自然に腕を伸ばすことができ、しかも仮想的にスイッチ操作する際に運転員が実感し得る手指の動き（変位）を基準として設定される。即ち、オーディオ機器等に組み込まれた各種スイッチを実際に押圧操作するような場合には、その反力としてスイッチ操作を実感することができる。しかし所定の空間において仮想的にスイッチ操作する場合には、手指の移動に伴う反力がないことから、スイッチ操作を直接的に体感することがなく、むしろスイッチ操作を行う自らの手指や腕の動きの感覚として感じることになる。
【００１９】
そこで本発明者等は、押しボタンスイッチを１回ずつ押圧操作する際、またシフトレバーを多段階に亘ってシフト操作することを想定して、どの程度の動きを以てスイッチ操作を行ったとして感じるかを実験してみた。またスイッチ操作した後にその手指を停止させる動作を想定し、どの程度の時間に亘って手指（腕）を停止させていれば、その操作を完了したとして感じるかを実験してみた。尚、この実験は大型自動車免許を所有する複数の運転経験者を対象として上述した操作を繰り返し行い、その変位量と停止時間をそれぞれ実測して行った。
【００２０】
図３（ａ）〜（ｃ）はその実験結果をそれぞれ示している。具体的には図３（ａ）は押しボタンスイッチを１回ずつ押圧操作する際の手指の動き量（変位量）をパラメータとしてその操作頻度をグラフ化したものである。この実験結果によれば、押しボタンスイッチを１回ずつ押圧操作する際の手指の動き量（変位量）については３０〜７０ｍｍのバラツキがあるものの、５０ｍｍの変位をスイッチ操作として感じる頻度が最も高く、平均的には４５ｍｍであることが確認できた。
【００２１】
またシフトレバーを多段階に亘って前後にシフト操作する場合、図３（ｂ）に示すように１段当たりの操作として実感しながら動かす手指（腕）の動き量（変位量）は１０〜４０ｍｍであり、３０ｍｍの変位を１段の操作として感じる頻度が最も高く、また平均的には２３ｍｍであった。更に手指を所定量だけ変位させた後、その動きを停止させて１つの動作を完了するような場合、その停止時間としては図３（ｃ）に示すように３２０ｍ秒が最も頻度が高かった。尚、この停止時間計測は、８０ｍ秒を１単位として行った。
【００２２】
これらの実験結果に示されるように、運転員がその腕を腕掛けに乗せたまま自然な状態で仮想的にスイッチ操作する場合、スイッチを操作したときに実感し得る（節度感のある）手指・腕の動き量（変位量）は、１回のスイッチ押圧操作の場合には５０ｍｍ程度であり、また多段階にレバー操作するような場合には１段当たりの変位量が３０ｍｍ程度であることが確認できた。また停止動作を伴う場合には、その動作停止期間が３００ｍ秒程度であることが確認できた。
【００２３】
前述したカメラ３による撮像領域Ａの位置とその大きさは、上述した実験結果を踏まえ、例えば後述するように多段階のスイッチ操作（シフト操作）を前後方向に５段階に亘って行うことを想定し、また運転員の体形や運転姿勢等によってステアリングホイール１の側方に延ばされる手指の基準位置が変化することを考慮して定められている。また手の大きさが一般的に手首から指先までの長さが２００ｍｍ程度、手の幅が１２０ｍｍ程度で或ることを考慮し、前述したように例えば長さ６００ｍｍ、幅３５０ｍｍの略矩形領域として定められている。
【００２４】
このように設定された撮像領域Ａによれば、運転操作に伴う手指・腕の動きを検出することなく、ステアリングホイール１から離れた手指の違和感のない自然な動きの下で、その手指を確実に撮像することができる。しかもスイッチ操作に伴って手指の位置が動いても、その動きを上記撮像領域Ａ内に確実に捉えることができるので、手指の形状認識やその移動量（変位量）の検出を比較的簡易な画像処理の下で容易に行うことができる。
【００２５】
また逆に運転員からすれば、その運転姿勢を崩すことなくステアリングホイール１の側方に腕を伸ばすだけで良く、オーディオ機器等の操作部２に直接触れることなく、予め設定された手指形状を形作って手指を動かすだけで所望とするスイッチ操作を行い得る。従って運転員の操作負担を軽くすることができる。また運転操作に伴う手指や腕の動きがスイッチ操作指示として検出されることがないので、ハンドパターンスイッチ装置を意識することなく運転操作に集中することができ、必要に応じて手指を撮像領域Ａに移動させるだけで、簡易にスイッチ操作指示を与えることが可能となる等の利点がある。
【００２６】
ここで上記ハンドパターンスイッチ装置における操作形態の一例について簡単に説明する。このハンドパターンスイッチ装置においては、スイッチ操作を指定する手指形状として、例えば図４（ａ）〜（ｃ）に示すような手指パターンが用いられる。具体的には図４（ａ）に示すように人差し指を立てた指差し形状の手指パターン、図４（ｂ）に示すような親指を立てた手指形状のパターン、そして図４（ｃ）に示すような握り拳形状の手指パターンが用いられる。
【００２７】
ちなみに指差し形状の手指パターンは、スイッチを押圧操作するイメージを表現している。また握り拳形状の手指パターンは、レバー状のスイッチを把持して前後にシフト操作するイメージを表しており、更に親指を立てた手指形状は、待機指示を表すイメージを表している。このような手指形状のパターンは、その形状的な特徴を示すデータとして前述したメモリ１５に予め登録されている。そして入力画像から認識される手指の形状と上記メモリ１５に登録されたパターンとの一致度（類似度）を計算することにより、手指形状の判別に用いられる。
【００２８】
さて上述した手指形状の下で指示入力されるスイッチ情報は、概略的には図５に示す手順に従って認識される。即ち、運転員がステアリングホイール１を握って車両を操舵している場合には、ステップＳ１に示すように運転員の手指は撮像領域Ａから外れており、そのときの入力画像は車室内の背景として排除処理される画像成分だけであるのでハンドパターンスイッチ装置が作動することはない。これに対して運転員の手指がステアリングホイール１を外れてステップＳ２に示すように撮像領域Ａ内に入り込むと、これによって手指に対する認識処理が開始される。この場合、例えば手指を握り拳形状にすることで、スイッチ操作情報の入力開始を指示することが望ましい。
【００２９】
しかる後、手指の形状がスイッチを押圧操作する指差し形状のパターンに変更されたか否かを判定する。そして指差し形状のパターンが検出された場合には、ステップＳ３に示すように選択スイッチを繰り返し押圧操作（プッシュ）して所定の機能・機器を選択指定するものとして、その動きの検出が行われる。具体的には指差し形状の手指が前後に動く（変位する）ことを掌の重心位置の変化（移動）から検出し、そのプッシュ操作を検出する。この場合、１回のプッシュ動作が検出される都度、例えば図６に示すようにその制御対象を「音量」，「チャネル（ｃｈ）」，「温度」，「風量」等として巡回的に選択指定するようにその制御アルゴリズムを設定しておけば良い。特にこの際、１回のプッシュ動作が検出される都度、「ピッ」等の操作確認音を出力するようにしたり、選択された制御対象を音声メッセージとして報知することも有用である。このようなガイダンスにより運転員は、その操作状態を目で確認することなく認識することが可能となるので運転操作に専念することが可能となる。
【００３０】
そして所望とする制御対象が選択されたならば今までとは異なる手指パターンとして、ステップＳ４に示すように手指形状を親指を立てたパターンに変更し、機能選択操作の完了とスイッチ操作量の入力開始を指示する。この場合、その確認音として前述した確認音とは異なる「ピー」等の音を発することことが好ましい。
【００３１】
その後、ステップＳ５に示すように手指形状を握り拳形状に変更し、手指の前後移動によってスイッチ操作情報を入力する。そして握り拳形状の手指の動きを掌の重心位置の変位量等から検出し、その動きに対応したスイッチ操作情報を出力する。具体的にはこのスイッチ操作情報の入力においては、前述したプッシュ操作により選択指定された制御対象に応じて検出すべき情報内容を変更する。即ち、制御対象によってはその制御内容を多段階（ステップ的）に変更したいものと、連続的に変更したいものとがある。従って選択した操作対象に応じて、例えば手指の動き量（変位量）をスイッチ操作情報とする距離モード（ステップＳ６ａ）、所定距離だけ変位した手指の停止時間からそのスイッチ操作情報を求める時間モード（ステップＳ６ｂ）、またはこれらのモードを併用した距離・時間モード（ステップＳ６ｃ）を選択的に設定する。
【００３２】
ちなみに上記距離モードについては、ラジオ放送のチャネル選択や空調設備における風量・風向を選択設定する場合に好適である。また時間モードについてオーディオ機器の音量や空調機器における温度等を調節する場合等に好適である。更に前記距離・時間モードについては、上述した如く設定される各種操作情報を微調整する場合等に好適である。そして設定されたモードに応じて、入力画像内における手指の重心位置の変位量や停止時間を検出し、これらの検出結果に応じて所定のスイッチ操作情報を出力するようにすれば良い。
【００３３】
かくして上述した如く構成されたハンドパターンスイッチ装置によれば、簡易にして効果的に、しかも運転操作に伴う手指や腕の動きの影響を受けることなしに、手指の形状とその動きによるスイッチ操作指示を的確に検出することができる。そしてその検出結果に応じて、所定の車両搭載機器に対して適切にスイッチ操作情報を与えることが可能となる。特にスイッチ操作を指示する手指を撮像する領域（撮像領域Ａ）が、ステアリングホイール１の側方の位置であって、運転員がその運転姿勢を崩すことなく自然に腕を伸ばし得る範囲に設定されているので、運転員に操作負担を掛けることがない。従ってオーディオ機器等の操作部２を直接操作する感覚を維持しながら、容易にハンドパターンスイッチ装置を介してスイッチ操作情報を指示入力することが可能となる等の実用上多大なる効果が奏せられる。
【００３４】
尚、本発明は上述した実施形態に限定されるものではない。実施形態においては右ハンドル車を前提として説明したが、左ハンドル車の場合にも同様に適用可能なことは言うまでもなく、またトラック等の大型車に限らず普通乗用車等にも同様に適用可能である。また撮像領域Ａの大きさについては、例えばカメラ３のズーミング機能を利用して可変設定可能にしておくことも可能であり、また撮像領域Ａの位置についても運転員の癖等を考慮して微調整可能にしておくことも可能である。この場合にはカメラ３の取り付け角度を調整可能としておけば良い。
【００３５】
更にその制御対象についても、例えばワイパのオン・オフやその作動間隔の調整、サイドミラーの開閉等に拡張することも勿論可能である。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。
【００３６】
【発明の効果】
以上説明したように本発明によれば、運転員の運転操作に伴う手指や腕の動きの影響を受けることなしに、手指の形状とその動きによるスイッチ操作指示を的確に検出することができる。そしてその検出結果に応じて、所定の車両搭載機器に対して適切にスイッチ操作情報を与えることが可能となる等の実用上多大なる効果が奏せられる。
【００３７】
特に肘掛けに腕を乗せた運転者が仮想的にスイッチ操作する際に実感し得る手指の動きを確実に検出することができ、ひいては運転移転のスイッチ操作負担を軽減することができる等の効果が奏せられる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るハンドパターンスイッチ装置の概略構成を示す図。
【図２】図１に示すハンドパターンスイッチ装置における手指の撮像領域を示す図。
【図３】仮想的にスイッチ操作する際に実感し得る手指の動き量および動き停止時間の頻度分布を示す図。
【図４】ハンドパターンスイッチ装置に対してスイッチ操作指示を与えるための手指形状の例を示す図。
【図５】ハンドパターンスイッチ装置におけるスイッチ操作情報の指示入力手順を示す図。
【図６】手指によるプッシュ操作に伴う制御対象の選択例を示す図。
【符号の説明】
１　ステアリングホイール
２　オーディオ機器等の操作部
３　カメラ
１１　２値化処理部
１２　形状認識部
１３　重心位置検出部
１４　操作指示認識部
１５　メモリ
１６　形状判定部
１７　変位量検出部
１８　タイマ
１９　ガイド部

Claims (3)

1. 所定の撮像領域におかれた手指を撮像し、その入力画像から手指形状を認識すると共に上記撮像領域内における手の動きを検出して所定のスイッチ操作情報を得るハンドパターンスイッチ装置であって、
   前記撮像領域を、ステアリングホイールの側方の該ステアリングホイールを操舵する運転員がその運転姿勢を維持したまま腕を伸ばし得る領域としたことを特徴とするハンドパターンスイッチ装置。
2. 前記撮像領域は、ステアリングホイールの外周部から少なくとも５０ｍｍ離れた位置に設定され、且つ運転員が伸ばした手の指先方向に略６００ｍｍ、手の幅方向に略３５０ｍｍの大きさを有する略長方形状の領域として設定されるものである請求項１に記載のハンドパターンスイッチ装置。
3. 前記撮像領域内における手の動きの検出は、前記入力画像から求められる手の重心位置の指先方向への１０〜７０ｍｍの変位を、そのスイッチ操作および／またはスイッチ操作量として検出するものである請求項１に記載のハンドパターンスイッチ装置。

Images