JP2004145723A

JP2004145723A - Hand pattern switching device

Info

Publication number: JP2004145723A
Application number: JP2002311291A
Authority: JP
Inventors: Keiichi Yamamoto; 山本　恵一; Hiromitsu Sato; 佐藤　広充; Hideo Saito; 斎藤　英雄; Shinji Ozawa; 小澤　愼治; Hiroya Igarashi; 五十嵐　弘也
Original assignee: Mitsubishi Fuso Truck and Bus Corp; Keio University
Current assignee: Mitsubishi Fuso Truck and Bus Corp; Keio University
Priority date: 2002-10-25
Filing date: 2002-10-25
Publication date: 2004-05-20
Anticipated expiration: 2022-10-25
Also published as: JP3867039B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a hand pattern switching device capable of recognizing a driver's intention and obtaining switch operation information from the shape or movement of the driver's finger. <P>SOLUTION: The preset finger shape of the finger recognized from an input image and the non-displacement of a hand detection position over a predetermined period of time are recognized as indications to start a switch operation (operation start recognizing means). After the switch operation is started, each time the finger newly recognized describes a preset pattern of movement while assuming the preset shape, one of the plurality of targets to be switched is selected (switch target setting means). After the target to be switched is selected, information on the switch operation on the target to be switched is obtained according to the shape of the finger and/or the movement of the hand (operation detecting means). <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく、また車両の運転を妨げることなしに簡易に操作するに好適なハンドパターンスイッチ装置に関する。
【０００２】
【関連する背景技術】
空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく操作する技術として、カメラを用いて運転者の身体の一部（例えば左手）を撮像し、その画像パターンを認識して上記車両搭載機器に対する操作情報を得ることが提唱されている（例えば特許文献１参照）。また運転者の手指の形状や動きとして示されるジェスチァを検出して車両搭載機器に対する操作情報を得ることも提唱されている（例えば特許文献２参照）。
【０００３】
この種の技術は、例えば手指を撮像した画像から手指の形状を認識するパターン認識処理や、認識した掌の位置変化を追跡することでその動きを検出する動き検出処理等によって実現されるもので、ハンドパターンスイッチ等と称される。
【０００４】
【特許文献１】
特開平１１−１３４０９０号公報
【特許文献２】
特開２００１−２１６０６９号公報
【０００５】
【発明が解決しようとする課題】
ところで車両に搭載されたハンドパターンスイッチ装置は、基本的には予め設定されている手指の撮像領域（認識領域）に存在する運転員の手指の形状やその動きを検出するだけである。この為、例えば運転操作に伴って不本意に運転員の手指が上記撮像領域に侵入すると、そのときの手指の形状や動きまでが検出することになる。すると運転員（スイッチ操作者）の意図に拘わることなく、誤ってスイッチ操作情報が出力される虞がある。
【０００６】
また手指の撮像領域（認識領域）内に、例えばギヤシフトレバーのような運転操作機器が存在すると、その運転操作機器を操作する手指の動きまでを検出することになり、この場合にも運転員の意図とは関係のないスイッチ操作情報が出力されることになる。従ってハンドパターンスイッチ装置においては、撮像領域内に存在する手指が該スイッチ装置の操作を意図するものであるか否かを区別することが重要となる。
【０００７】
本発明はこのような事情を考慮してなされたもので、その目的は、運転員（スイッチ操作者）の意図を確実に認識し、その撮像領域（認識領域）に存在する手指の形状や動きから各種制御対象に対するスイッチ操作情報を確実に得ることのできる操作性（取扱い性）の良いハンドパターンスイッチ装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述した目的を達成するべく本発明に係るハンドパターンスイッチ装置は、所定の撮像領域におかれた手指を撮像し、その入力画像から手指形状を認識すると共に上記撮像領域内における掌の動きを検出して所定のスイッチ操作情報を得るものであって、
特に入力画像から認識した手指形状が予め設定した第１の手指形状をなして前記撮像領域内における掌の検出位置が所定時間に亘って変位しないことを検出してスイッチ操作の開始を認識する操作開始認識手段と、スイッチ操作の開始後、新たに認識した手指形状が予め設定した第２の手指形状をなして前記撮像領域内において検出される掌の動きが予め設定した動きパターンを描く都度、複数のスイッチ制御対象の中の１つを巡回的に選択するスイッチ対象設定手段と、そしてスイッチ制御対象が選択された後、前記撮像領域内において検出される手指の形状および／または掌の動きに応じて上記スイッチ制御対象に対するスイッチ操作情報を求める操作検出手段とを備えたことを特徴としている。
【０００９】
即ち、本発明に係るハンドパターンスイッチ装置は、入力画像から認識される手指の形状が予め設定した手指形状であって、しかもその手指の検出位置が所定時間に亘って変化しない（停止している）とき、この状態を運転員（スイッチ操作者）によるスイッチ装置の操作意図であると認識し、その上でその後の手指の形状や動きを認識して所定のスイッチ操作情報を出力するようにしたことを特徴としている。
【００１０】
好ましくは前記操作開始認識手段においては、予め設定された第１の手指形状をなす手指が、例えばその撮像領域（認識領域）内に設けられているギヤシフトレバーのような特定の物を把持し、または特定の物に触れてないことを確認してスイッチ操作の開始を決定する確認機能を備えるようにしても良い。この確認機能としては、例えば上記特定の物に組み込まれた接触（圧力）センサからの出力をモニタするような機能として実現される。
【００１１】
また前記第１の手指形状を、例えば物を把持する際の形状とし、また前記第２の手指形状を、例えば物を指差す際の形状としてそれぞれ設定し、実際のスイッチ類を操作する場合の手指形状を模擬したものとしておけば、感覚的にスイッチ操作にとまどいがなくなり、直感的に意図する手指形状を形作ることが可能となるので、その操作性を良好なものとすることができる。
【００１２】
更には所定の手指形状とその動きによってスイッチ制御対象が選択された後、認識した手指形状が予め設定した第３の手指形状をなして前記撮像領域内における手の検出位置が所定時間に亘って変位しないことを検出して前記操作検出手段の起動を促す動作切換手段を設けておけば、制御対象の選択動作と選択した制御対象に対するスイッチ操作情報の入力動作とを明確に区別してその認識処理を実行することが可能となる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態に係るハンドパターンスイッチ装置について説明する。
図１は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現される装置の機能を示している。運転席には運転員（ドライバ）によって操舵されるステアリングホイール（ハンドル）１やコンビネーションスイッチ（図示せず）等が設けられ、またそのコンソールパネルにはオーディオ機器や空調機器等の操作部２が設けられている。このような運転席上方の天井には、ステアリングホイール１の側方を撮像領域とし、該撮像領域に向けて腕を伸ばした運転員の手指を撮像するビデオカメラ３が設けられている。このカメラ３は、ＣＣＤカメラ等の小型のものからなる。
【００１４】
ちなみに前記カメラ３による撮像領域３ａは、図２に示すようにステアリングホイール１の側方の、該ステアリングホイール１の外周部から少なくとも５０ｍｍ離れた位置、好ましくは１００ｍｍ程度離れた位置として設定されている。またこの撮像領域３ａは、ステアリングホイール１の側方に腕を伸ばした運転員の掌の指先方向に略６００ｍｍ、また掌の幅方向に略３５０ｍｍの大きさを有する略長方形状の領域として設定されている。
【００１５】
このようにして設定された撮像領域３ａは、ステアリングホイール１を把持する、或いはそのコラムシャフトに設けられたコンビネーションスイッチ（図示せず）を操作する運転員の手指を撮像することがない領域である。特に運転員が運転席の側部に設けられた腕掛け（アームレスト）５に腕を乗せたまま、その運転姿勢を崩すことなく腕を伸ばし得る位置であって、オーディオ機器等の操作部２に手指が触れることのない位置である。
【００１６】
尚、このように設定された撮像領域３ａにギヤシフトレバー（図示せず）が配置されているような場合には、撮像領域３ａに伸ばされた手指がギヤシフトレバーを操作している状態であるか、或いはスイッチ操作を行う状態であるかを判定する確認機能を設けておくことが好ましい。この確認機能としては、例えばギヤシフトレバーに設けた感圧センサを介して運転員によるギヤシフトレバーの把持を検出するようにしておけば良い。このような工夫を講じておけば、撮像領域３ａに延ばされた手指が、ギヤシフトレバーを操作しているか、或いはハンドパターンスイッチ装置を操作している状態であるかを容易に判別することが可能となり、運転操作をスイッチ操作情報として誤って検出することを確実に防ぐことができる。またカメラ３としてステレオ（立体視）カメラを用いて手指の高さ位置（カメラ３からの距離）を検出し、これによって撮像領域３ａに延ばされた手指がギヤシフトレバーを操作しているか、或いはギヤシフトレバーの上方空間に位置付けられているかを判別するようにしても良い。
【００１７】
さてハンドパターンスイッチ装置は、基本的には上記カメラ３によって撮像される運転員の手指の形状や動きをその入力画像から認識処理し、その認識結果に基づいて所定のスイッチ操作情報を得るものであり、上記操作部２に代わって前述したオーディオ機器や空調機器等に対してスイッチ操作情報を与える役割を担う。
【００１８】
具体的にはハンドパターンスイッチ装置は、図１に示すようにカメラ３によって撮像された入力画像を２値化処理してその背景画像成分を除去し、手指の画像だけを抽出する２値化処理部１１と、２値化処理によって抽出された画像から手指の形状を認識する形状認識部１２、および認識した手指の形状からその掌の重心位置を求める重心検出部１３を備える。
【００１９】
更にハンドパターンスイッチ装置は、上記形状認識部１２による認識結果、および重心検出部１３により検出された掌の重心位置に従って運転員の手指の形状やその動きにより示されるスイッチ操作を認識する操作指示認識部１４を備える。この操作指示認識部１４は、概略的にはメモリ１５に予め登録された手指形状パターンを参照しながらその手指形状を判定（識別）する形状判定部１６、掌の重心位置の移動を追跡して手指の変位を検出する変位量検出部１７、および掌の動きを時間経過として監視するタイマ１８を備える。そして操作指示認識部１４は、これらの判定・監視結果に基づいて、運転員の手指の形状とその動きとによって特定される所定のスイッチ操作情報を求め、このスイッチ操作情報を前記オーディオ機器や空調機器等に対して出力するように構成される。
【００２０】
尚、操作指示認識部１４には、上述した判定結果等に従って運転員に対して所定のガイダンス（アナウンス）を行うガイド部１９が設けられている。このガイダンスは、例えばオーディオ機器や空調機器（操作対象機器）、更には音量・チャネル設定、或いは風量・温度等（操作対象機能）を特定する音声メッセージや、そのスイッチ操作を示す「ピッ」や「ピー」等の確認音としてスピーカ２０を介して運転員に報知される。
【００２１】
基本的には上述した如く構成されるハンドパターンスイッチ装置において、この発明が特徴とするところは、図３に例示するスイッチ操作動作の流れに示されるように、予め設定した手指形状でその手指の位置を所定時間に亘って停止させたとき、この状態を運転員（スイッチ操作者）によるスイッチ装置の操作意図であると認識し（操作開始認識手段）、その後、手指の形状と動きとに基づくスイッチ操作の検出処理を実行するようにしたことを特徴としている。
【００２２】
このスイッチ操作動作について説明すると、このハンドパターンスイッチ装置においてはスイッチ操作を指定する手指形状として、例えば図４（ａ）〜（ｄ）に示すような手指パターンが用いられる。具体的には図４（ａ）に示すような握り拳形状の手指パターン［手形状１］、図４（ｂ）に示すような人差し指を立てた指差し形状の手指パターン［手形状２］、図４（ｃ）に示すような親指を立てた手指形状のパターン［手形状３］、そして図４（ｄ）に示すような親指と人差し指とを立てた手指形状のパターン［手形状４］が用いられる。
【００２３】
ちなみに指差し形状の手指パターンおよびは親指と人差し指とを立てた手指パターンは、スイッチを押圧操作するイメージを表現している。また握り拳形状の手指パターンは、レバー状のスイッチを把持して前後にシフト操作するイメージを表しており、更に親指を立てた手指形状は、待機指示を表すイメージを表している。このような手指形状のパターンは、その形状的な特徴を示すデータとして前述したメモリ１５に予め登録されている。そして入力画像から認識される手指の形状と上記メモリ１５に登録されたパターンとの一致度（類似度）を計算することにより、手指形状の判別に用いられる。
【００２４】
さて運転員がステアリングホイール１を握って車両を操舵している場合には、動作状態Ａ１に示すように運転員の手指は撮像領域３ａから外れており、そのときの入力画像は車室内の背景として排除処理される画像成分だけであるのでハンドパターンスイッチ装置が作動することはない。
これに対して運転員の手指がステアリングホイール１を外れて動作状態Ａ２に示すように撮像領域３ａ内に入り込むと、これによって手指に対する認識処理が開始される。この場合、例えば手指が握り拳形状［手形状１］をなし、その掌が所定時間（例えば１秒以上）に亘って移動しない（停止している）とき、この状態を運転員がスイッチ操作を意図していると認識してスイッチ操作情報の入力開始を指示することが望ましい。
【００２５】
しかる後、手指の形状がスイッチを押圧操作する指差し形状のパターン［手形状４］に変更されたか否かを判定する。そして指差し形状のパターンが検出された場合には、動作状態Ａ３に示すように選択スイッチを繰り返し押圧操作（プッシュ）して所定の機器を選択指定するものとして、その動きの検出が行われる。具体的には指差し形状の手指が前後に動く（変位する）ことをその掌の重心位置の変化（移動）から検出し、そのプッシュ操作を検出する。この場合、１回のプッシュ動作が検出される都度、例えば図５（ａ）に示すようにその制御対象機器を「エアコン」，「ラジオ」，「テープ」，「ＣＤ」等として巡回的に選択指定するようにその制御アルゴリズムを設定しておけば良い。特にこの際、１回のプッシュ動作が検出される都度、「ピッ」等の操作確認音を出力するようにしたり、選択された制御対象を音声メッセージとして報知することも有用である。このようなガイダンスにより、運転員はその操作状態を目で確認することなく選択指定した機器を認識することが可能となるので運転操作に専念することが可能となる。そして所望とする制御対象機器が選択された後、手指形状が変化したときにはこの状態を制御対象機器の選択が完了し、運転員が次のスイッチ操作を意図していると認識するようにすれば良い。
【００２６】
具体的には動作状態Ａ５に示すように指差し形状のパターン［手形状２］に変更されたか否かを判定する。そして指差し形状のパターン［手形状２］が前後に移動したとき、これを選択スイッチを繰り返し押圧操作（プッシュ）して所定の制御対象を選択指定するものとして、その動きの検出が行われる。具体的にはこの場合には、指差し形状の手指が前後に動く（変位する）ことを手指の重心位置の変化（移動）から検出し、そのプッシュ操作を検出する。そして１回のプッシュ動作が検出される都度、例えば図５（ａ）に示すように制御対象機器として「エアコン」が選択されている場合には、その制御対象を「温度」，「風量」，「風向」，「内外気」等として巡回的に選択指定する。また制御対象機器として「ラジオ」が選択されている場合には、その制御対象を「音量」，「チャネル」，「ＦＭ／ＡＭ」，「周波数調整」等として巡回的に選択指定する。
【００２７】
同様に制御対象機器として「テープ」が選択されている場合には、その制御対象を「リバース」，「早送り」，「頭出し」，「取出し」等として巡回的に選択指定するようにし、また制御対象機器として「ＣＤ」が選択されている場合には、その制御対象を「早送り」，「頭出し」，「リピート」，「取出し」等として巡回的に選択指定するようにすれば良い。
【００２８】
そして上述した如く所望とする制御対象を選択したならば、例えば動作状態Ａ６に示すようにその手指形状を親指を立てたパターン［手形状３］に変更し、制御対象の選択完了と、次に実行すべきスイッチ操作情報の入力開始を指示する。この指示についても手指形状が親指を立てた［手形状３］をなし、その掌が所定時間（例えば１秒以上）に亘って移動しない（停止している）とき、この状態を運転員が次のスイッチ操作を意図していると認識するようにすれば良い。この場合、その確認音として前述した確認音とは異なる「ピー」等の音を発することことが好ましい。
【００２９】
その後、動作状態Ａ７に示すように手指形状を握り拳形状［手形状１］に変更し、手指の前後移動によってスイッチ操作情報を入力する。このとき握り拳形状の手指の動きをその重心位置の変位量等から検出し、その動きに対応したスイッチ操作情報を出力する。具体的にはこのスイッチ操作情報の入力においては、前述したプッシュ操作により選択指定された制御対象に応じて検出すべき情報内容を変更する。
【００３０】
即ち、制御対象によってはその制御量（スイッチ操作情報）を大きな変化量で多段階（ステップ的）に変更したいものと、小さい変化量で連続的に細かく変更したいものとがある。従って選択した操作対象に応じて、例えば手指の動き量（変位量）をスイッチ操作情報とする距離モード（動作状態Ａ８ａ）、所定距離だけ変位した手指の停止時間からそのスイッチ操作情報を求める時間モード（動作状態Ａ８ｂ）、またはこれらのモードを併用した距離・時間モード（動作状態Ａ８ｃ）を選択的に設定する。
【００３１】
ちなみに上記距離モードは、基準位置からの手の移動量に応じて多段階にスイッチ操作情報を出力するモードであり、ラジオ放送のチャネル選択や空調設備における風量・風向を選択設定する場合に好適である。また時間モードは、基準位置から変位させた掌の停止時間に応じたスイッチ操作情報を出力するモードであり、オーディオ機器の音量や空調機器における温度等を細かく調節する場合等に好適である。更に前記距離・時間モードは、掌の僅かな移動時にはその移動量に応じたスイッチ操作情報を出力し、掌が所定距離以上移動した場合には、その移動位置での掌の停止時間に応じたスイッチ操作情報を出力するモードである。この距離・時間モードは制御対象を粗調整した後、更に微調整する場合等に好適なものである。
【００３２】
前述した操作指示認識部１４は、上述した如く制御対象に応じて選択的に設定される入力モード（距離モード／時間モード／距離・時間モード）に応じて前記撮像領域３ａ内での手の動きを追跡し、手の移動量（変位量とその変位方向）や移動が停止した手の停止時間を計測する。そしてこれらの計測結果に応じたスイッチ操作情報を出力することになる。
【００３３】
尚、各種のスイッチ制御対象と上述した各モードとの対応関係や、スイッチ操作量として検出する内容（検出距離や時間）については予め固定的に設定しておけば良い。しかし前述した操作指示認識部１４が備える、例えば図６に示す制御画面１４ａを用いてスイッチ操作者（運転員）の好み等に応じて適宜変更し得るようにしておいても良い。具体的には複数のスイッチ制御対象のそれぞれについてどの入力モードでスイッチ操作情報を入力するかを選択的に指定し、またその検出単位となる掌の変位量（移動距離）や計測時間等をそれぞれ可変設定し得るようにしておけば良い。
【００３４】
図７〜図１１は、上述した処理機能を実現する操作指示認識部１４での概略的な処理手順を示している。この処理手順について説明すると、ハンドパターンスイッチ装置の起動に伴い、先ずカメラ３による撮像領域（認識領域）の設定や２値化処理における閾値の設定等からなるシステム系の初期設定を行う〈ステップＳ１〉。しかる後、手指形状の認識や手指の移動を計測するためのパラメータ値等をクリアすると共に、制御フラグを“０”に設定してスイッチ情報検出に対する初期化を実行する〈ステップＳ２〉。
【００３５】
以上の初期化処理を実行した後、先ず入力画像中の手指形状を認識し〈ステップＳ３〉、その手指形状が前述した［手形状１］，［手形状２］，［手形状３］，［手形状４］のいずれであるかを判定する〈ステップＳ４ａ，Ｓ４ｂ〉。そして手指の形状が指差し型の［手形状２］である場合には、前回検出されている手形状が何であったかを判定する〈ステップＳ５〉。そして前回の手形状が指差し型の［手形状２］以外であるならば、［手形状２］による機能選択のモードが設定されたとしてそのときに検出される掌の重心位置を基準位置Ａとして登録する〈ステップＳ６〉。そして掌の移動距離を管理するパラメータＢ’を“０”に設定した後〈ステップＳ７〉、前回の手形状を［手形状２］に更新して〈ステップＳ８〉前述したステップＳ３からの処理を繰り返し実行する。
【００３６】
これに対して前回の手形状が指差し型の［手形状２］であるならば〈ステップＳ５〉、次にそのときに検出される掌の重心位置の前述した基準位置Ａからの変位量（移動量）Ｂを求める〈ステップＳ９〉。そしてパラメータＢ’が判定閾値Ｈ１に満たしてなく、且つ今回検出された変位量（移動量）Ｂが所定の判定閾値Ｈ１を越えていると言う２つの条件が満たされている否かを判定する〈ステップＳ１０〉。そして上記条件が満たされている場合には、［手形状２］の状態で前述した機能選択の為のプッシュ操作がなされたとして、制御対象を１段階変更する〈ステップＳ１１〉。その後、前回の手形状を［手形状２］に更新して〈ステップＳ８〉前述したステップＳ３からの処理を繰り返し実行する。
【００３７】
尚、上記変位量Ｂが所定の判定閾値Ｈ１を越えていない等して条件が満たされていない場合には〈ステップＳ１０〉、前述したパラメータＢ’として上記変位量Ｂをセットした後〈ステップＳ１２〉、前回の手形状を［手形状２］に更新し〈ステップＳ８〉、その後、前述したステップＳ３からの処理を繰り返し実行する。このステップＳ３からステップＳ８に至る処理により、［手形状２］の手指形状で所定の移動量だけプッシュ操作がなされたとき、前述した機能選択が実行されて制御対象が選択的に設定される。
【００３８】
尚、ステップＳ４ａにおいて手指の形状が指差し型の［手形状４］であると判定された場合には、図８に示すように前回検出されている手形状が何であったかを判定する〈ステップＳ５ａ〉。そして前回の手形状が指差し型の［手形状４］以外であるならば、［手形状４］による装置選択のモードが設定されたとして、そのときに検出される掌の重心位置を基準位置Ｅとして登録する〈ステップＳ６ａ〉。そして掌の移動距離を管理するパラメータＦ’を“０”に設定した後〈ステップＳ７ａ〉、前回の手形状を［手形状４］に更新して〈ステップＳ８ａ〉前述したステップＳ３からの処理を繰り返し実行する。
【００３９】
これに対して前回の手形状が指差し型の［手形状４］であるならば〈ステップＳ５ａ〉、次にそのときに検出される掌の重心位置の前述した基準位置Ｅからの変位量（移動量）Ｆを求める〈ステップＳ９ａ〉。そしてパラメータＦ’が判定閾値Ｈ４に満たしてなく、且つ今回検出された変位量（移動量）Ｆが所定の判定閾値Ｈ４を越えていると言う２つの条件が満たされている否かを判定する〈ステップＳ１０ａ〉。そして上記条件が満たされている場合には、［手形状４］の状態で前述した機能選択の為のプッシュ操作がなされたとして、制御対象を１段階変更する〈ステップＳ１１ａ〉。その後、前回の手形状を［手形状４］に更新して〈ステップＳ８ａ〉前述したステップＳ３からの処理を繰り返し実行する。
【００４０】
尚、上記変位量Ｆが所定の判定閾値Ｈ４を越えていない等して条件が満たされていない場合には〈ステップＳ１０ａ〉、前述したパラメータＦ’として上記変位量Ｆをセットした後〈ステップＳ１２ａ〉、前回の手形状を［手形状４］に更新し〈ステップＳ８ａ〉、その後、前述したステップＳ３からの処理を繰り返し実行する。このステップＳ３からステップＳ８ａに至る処理により、［手形状４］の手指形状で所定の移動量だけプッシュ操作がなされたとき、前述した装置選択が実行されて制御対象が選択的に設定される。
【００４１】
一方、前述したステップＳ４ｂにおいて手指形状が［手形状１］または［手形状３］であることが検出された場合には、次に図８に示すようにその手指形状が［手形状１］であるか、或いは［手形状３］であるかが判定される〈ステップＳ１３〉。そして［手形状３］であるならば、前述した動作待機状態を指定していると判定し、そのときに検出される手の重心位置を基準位置Ｃとして登録する〈ステップＳ１４〉。この際、掌が所定時間に亘って動かないこと（停止していること）を確認するようにしても良い。また同時に後述する移動距離の計測に用いる制御パラメータＤ’を“０”にセットする〈ステップＳ１５〉。その後、前回の手形状を［手形状３］に更新した後〈ステップＳ１６〉、前述したステップＳ３からの処理を繰り返し実行する。
【００４２】
これに対して手指形状が［手形状１］であることが判定された場合には〈ステップＳ１３〉、次に前回検出されている手指形状が何であったかを判定する〈ステップＳ１７〉。そして前回の手指形状が［手形状３］であったならば、操作情報の入力モードが設定されたとして制御フラグを“１”に設定すると共に、移動距離の計測パラメータｎと停止時間の計測パラメータｔをそれぞれ“０”にセットする〈ステップＳ１８〉。また前回の手指形状が握り拳型の［手形状１］であったならば、制御フラグが“１”であるか否かを判定することで操作情報の入力モードが既に設定されているか否かを調べ〈ステップＳ１９〉、制御フラグが“１”である場合にはそのときに検出される掌の重心位置と、前述した基準位置Ｃとの距離Ｄを検出する〈ステップＳ２０〉。
【００４３】
そして先に機能選択された制御対象に応じて、前述した３種類の入力モードの内のどのモードでスイッチ操作情報を検出するかを判定し〈ステップＳ２１〉、判定された入力モードに従って、スイッチ操作情報の検出処理を実行する。
尚、前回の手形状が［手形状１］または［手形状３］でない場合〈ステップＳ１７〉、或いは制御フラグが“１”でない場合には〈ステップＳ１９〉、前述したステップＳ２に示される初期設定からの処理手順を繰り返し実行する。この処理によって前述した動作状態Ａ２で示したスイッチ操作情報の入力開始が指示されることになる。また前回の手形状が［手形状１］であっても、制御フラグが“１”でない場合には、例えば手指が所定時間に亘って停止していることを確認して、前述したステップＳ２に示される初期設定からの処理手順を繰り返し実行する。
【００４４】
ちなみに距離モードによるスイッチ操作情報の検出処理については、図９に例示するように、前述した基準位置Ｃからの距離Ｄと制御パラメータＤ’の値とを比較し〈ステップＳ２２〉、その大小関係に応じて掌が前進しているか、後退しているかを判定する。そして掌を前進移動させている場合には、後述する条件１の下でその移動距離が所定の計測単位距離を上回ったか否かを判定し〈ステップＳ２３〉、所定の計測単位距離を上回っている場合には、制御パラメータｎをインクリメントした後〈ステップＳ２４〉、その設定（スイッチ操作情報）を１段階増加させる〈ステップＳ２５〉。
【００４５】
逆に掌が後退している場合には、後述する条件２の下でその移動距離が所定の計測単位距離を上回ったか否かを判定し〈ステップＳ２６〉、移動距離が所定の計測単位距離を上回っている場合には、制御パラメータｎをデクリメントした後〈ステップＳ２７〉、その設定（スイッチ操作情報）を１段階減少させる〈ステップＳ２８〉。
【００４６】
尚、上記条件１は、距離Ｄと距離Ｃとの差（移動量）が、制御パラメータｎによって可変設定される所定ステップ数の移動距離を上回り、且つ制御パラメータＤ’の値と距離Ｃとの差（移動量）が、制御パラメータｎによって可変設定される所定ステップ数の移動距離未満であるとして設定される。つまり掌の移動量が、所定の計測単位距離を所定ステップ数だけ移動したか否かを判定する条件である。また条件２は、掌の移動方向が逆向き（後退）の場合における同様な判定条件である。
【００４７】
以上のようにして掌の移動距離に応じたスイッチ操作情報を得たならば、前記制御パラメータＤ’として距離Ｄを登録し〈ステップＳ２９〉、その判定基準を更新する。そして前回の手形状として［手形状１］を登録した後〈ステップＳ３０〉、前述したステップＳ３からの処理に復帰する。そしてこの処理を繰り返し実行することで、掌の移動量に応じたスイッチ操作情報が、段階的に出力されることになる。
【００４８】
一方、時間モードが設定された場合には、図１０に例示する手順に従ってその検出処理が実行される。この場合には、先ず移動距離Ｄが第３の閾値Ｈ３を越えているか否かが判定される〈ステップＳ３１〉。第３の閾値Ｈ３に至っていない場合には、時間パラメータｔを“０”とし〈ステップＳ３２〉、前回の手形状として［手形状１］を登録した後〈ステップＳ３３〉、前述したステップＳ３からの処理に復帰する。
【００４９】
これに対して移動距離Ｄが第３の閾値Ｈ３を越えている場合には〈ステップＳ３１〉、時間パラメータｔをカウントアップする〈ステップＳ３４〉。そしてカウントアップされた時間パラメータｔが基準時間Ｔ１に至ったとき〈ステップＳ３５〉、その設定（スイッチ操作情報）を１段階増加させる〈ステップＳ３６〉。そして時間パラメータｔを“０”にリセットした後〈ステップＳ３７〉、前回の手形状として［手形状１］を登録し〈ステップＳ３３〉、前述したステップＳ３からの処理に復帰する。
【００５０】
また移動距離Ｄが逆方向に第３の閾値Ｈ３を越えている場合には〈ステップＳ３１〉、時間パラメータｔをカウントアップする〈ステップＳ３８〉。そしてカウントアップされた時間パラメータｔが基準時間Ｔ１に至ったとき〈ステップＳ３９〉、その設定（スイッチ操作情報）を１段階減少させる〈ステップＳ４０〉。そして時間パラメータｔを“０”にリセットした後〈ステップＳ４１〉、前回の手形状として［手形状１］を登録し〈ステップＳ３３〉、前述したステップＳ３からの処理に復帰する。このような一連の処理によって、掌が所定の距離を移動して停止したとき、その停止時間に応じたスイッチ操作情報が出力されることになる。
【００５１】
尚、距離・時間モードは上述した距離モードの処理と時間モードの処理とを、手の移動距離に応じて使い分けることによって実行される。具体的には図１１に示すように前述した制御パラメータｎの値を判定する〈ステップＳ４２〉。そしてパラメータｎが“−２”から“２”の範囲内であるか、或いは“３”以上または“−３”未満であるかによって、ステップＳ２２ａからステップＳ３３ａに示す距離モードの処理、またはステップＳ２４ａからステップＳ４１ａに示した時間モードの処理をそれぞれ実行すれば良い。尚、ステップＳ２２ａからステップＳ３３ａに示す処理は、前述したステップＳ２２からステップＳ３３に示す処理に相当するものである。またステップＳ２４ａからステップＳ４１ａに示す処理は、前述したステップＳ２４からステップＳ４１に示す処理に相当するものである。
【００５２】
かくして上述した如く機能するハンドパターンスイッチ装置によれば、予め設定した手指形状が検出され、その掌が所定時間に亘って停止していることが検出されたとき、この状態を運転員（スイッチ操作者）が意図的に動作していると判断してスイッチ操作情報の入力（検出）を開始するので、偶然的に撮像領域３ａに入り込んだ手指の形状とその動きをスイッチ操作情報として誤検出することがなくなる。従って運転員が意図して手指・腕を動かした場合にだけ、これに伴って検出されるスイッチ操作情報を確実に出力することが可能となる。
【００５３】
また動作状態Ａ６に示したように所定の手指形状［手形状３］が所定の時間に亘って停止した状態を検出して、それまでのスイッチ操作の完了を確認し、次のスイッチ動作に待機するので、複数種のスイッチ操作の区切りを明確に判断して一連のスイッチ操作処理を円滑に進めることが可能となる。特に装置の選択処理、選択した装置における制御対象の選択処理、更には選択した制御対象に対するスイッチ操作情報の入力処理を明確に区分してそれぞれ実行することができるので、スイッチ操作の簡素化を図ってその操作性を高めることができる等の実用上多大なる効果が奏せられる。
【００５４】
尚、本発明は上述した実施形態に限定されるものではない。実施形態においては右ハンドル車を前提として説明したが、左ハンドル車の場合にも同様に適用可能なことは言うまでもなく、またトラック等の大型車に限らず普通乗用車等にも同様に適用可能である。その制御対象についても、例えばワイパのオン・オフやその作動間隔の調整、サイドミラーの開閉等に拡張することも勿論可能である。
【００５５】
また実施形態においては、動作状態Ａ３に示す制御対象機器の選択と、動作状態Ａ５に示す制御対象機能の選択とを同じ手指形状で行うようにしたが、図３に動作状態Ａ９として示すように、互いに異なる手指形状で選択指示を行うようにしても良い。具体的には人差し指と親指とを立てた手指形状を用いて装置の選択を行い、人差し指だけを立てた手指形状で機能の選択を行うようにしても良い。この場合には、その手指形状の変化から装置選択の完了を検出するようにしても良い。
【００５６】
また簡易なシステムにあっては、図５（ｂ）に示すようにその制御対象を「音量」，「チャネル」，「温度」，「風量」等としてその装置と一括して巡回的に選択するように構成することも可能である。また情報入力に用いる手指の形状は、上述した例に限定されないことも言うまでもない。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。
【００５７】
【発明の効果】
以上説明したように本発明によれば、運転員（スイッチ操作者）が意図して所定の手指形状を形作り、所定時間に亘って手を移動させないとき、この状態をスイッチ操作の入力指示であると認識するので、偶発的に（不本意に）その撮像領域（認識領域）に入り込んだ手指の形状や動きを認識することがなく、従って誤ったスイッチ操作情報を出力することがない。また運転員（スイッチ操作者）にとってはスイッチ装置を操作したいときにだけ、上述した手指形状を形作り、撮像領域内で所定時間に亘って手を停止させるだけで良いので、余分な操作負担を掛けることなく簡易に、しかも確実にスイッチ装置を操作することができる等の実用上多大なる効果が奏せられる。
【００５８】
またハンドパターンスイッチ装置にとっては、その操作者の意図を容易に、しかも確実に判断し、意図された手指の形状や動きだけを確実に認識することができる。従って種々の制御対象に対してスイッチ操作情報を適切に出力することができる等の利点がある。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るハンドパターンスイッチ装置の概略構成を示す図。
【図２】図１に示すハンドパターンスイッチ装置における手指の撮像領域を示す図。
【図３】ハンドパターンスイッチ装置におけるスイッチ操作情報の指示入力動作の概略的な手順を示す図。
【図４】ハンドパターンスイッチ装置に対してスイッチ操作指示を与えるための手指形状の例を示す図。
【図５】手指によるプッシュ操作に伴う制御対象の選択例を示す図。
【図６】制御対象に対応付ける入力モードの設定画面の例を示す図。
【図７】ハンドパターンスイッチ装置におけるスイッチ操作情報入力の為の概略的な処理手順の一部を示す図。
【図８】図７に示す処理手順に続く処理手順を示す図。
【図９】距離モードでのスイッチ操作情報の検出手順を示す図。
【図１０】時間モードでのスイッチ操作情報の検出手順を示す図。
【図１１】距離・時間モードでのスイッチ操作情報の検出手順を示す図。
【符号の説明】
１　ステアリングホイール
２　オーディオ機器等の操作部
３　カメラ
１１　２値化処理部
１２　形状認識部
１３　重心位置検出部
１４　操作指示認識部
１５　メモリ
１６　形状判定部
１７　変位量検出部
１８　タイマ
１９　ガイド部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a hand pattern switch device suitable for easily operating the operation of a vehicle-mounted device such as an air conditioner or an audio device without touching an operation panel of the vehicle-mounted device and without hindering the operation of the vehicle. About.
[0002]
[Related background art]
As a technique for operating the operation of on-vehicle equipment such as air conditioning equipment and audio equipment without touching the operation panel of the on-vehicle equipment, a part of the driver's body (for example, the left hand) is imaged using a camera. It has been proposed to recognize an image pattern and obtain operation information for the on-vehicle device (for example, see Patent Document 1). It has also been proposed to detect a gesture indicated as the shape or movement of a driver's finger to obtain operation information for a vehicle-mounted device (for example, see Patent Document 2).
[0003]
This type of technology is realized by, for example, a pattern recognition process for recognizing the shape of a finger from an image of a finger or a motion detection process for detecting a motion by tracking a change in the position of the recognized palm. , A hand pattern switch or the like.
[0004]
[Patent Document 1]
JP-A-11-134090 [Patent Document 2]
JP 2001-216069 A
[Problems to be solved by the invention]
By the way, the hand pattern switch device mounted on the vehicle basically only detects the shape and movement of the operator's finger existing in the preset finger imaging area (recognition area). For this reason, for example, when the operator's finger inadvertently enters the above-described imaging area during the driving operation, the shape and movement of the finger at that time are detected. Then, there is a possibility that switch operation information may be output erroneously regardless of the intention of the operator (switch operator).
[0006]
Further, if a driving operation device such as a gear shift lever is present in the finger imaging region (recognition region), even the movement of the finger operating the driving operation device is detected. The switch operation information unrelated to the intention is output. Therefore, in a hand pattern switch device, it is important to distinguish whether or not a finger present in an imaging area is intended to operate the switch device.
[0007]
The present invention has been made in view of such circumstances, and an object of the present invention is to surely recognize the intention of a driver (switch operator) and to determine the shape and movement of a finger existing in an imaging area (recognition area). It is an object of the present invention to provide a hand-pattern switch device with good operability (handlability) that can reliably obtain switch operation information for various control targets.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, a hand pattern switching device according to the present invention captures a finger placed in a predetermined imaging region, recognizes a finger shape from the input image, and detects a movement of a palm in the imaging region. To obtain predetermined switch operation information,
In particular, an operation of detecting that a finger shape recognized from an input image has a first finger shape set in advance and that a detection position of a palm in the imaging region has not been displaced for a predetermined time to recognize a start of a switch operation. Each time the start recognition means and after the start of the switch operation, the newly recognized finger shape forms a preset second finger shape, and each time the palm motion detected in the imaging region draws a preset motion pattern, A switch object setting means for cyclically selecting one of a plurality of switch control objects; and, after the switch control object is selected, a finger shape and / or palm movement detected in the imaging region. Operation detecting means for obtaining switch operation information for the switch control object in response thereto.
[0009]
That is, in the hand pattern switch device according to the present invention, the shape of the finger recognized from the input image is a preset finger shape, and the detected position of the finger does not change for a predetermined time (is stopped). ), This state is recognized as the intention of the operator (switch operator) to operate the switch device, and then the shape and movement of the subsequent fingers are recognized and predetermined switch operation information is output. It is characterized by:
[0010]
Preferably, in the operation start recognizing means, a finger having a first finger shape set in advance grasps a specific object such as a gear shift lever provided in the imaging region (recognition region), for example. Alternatively, a confirmation function for confirming that a specific object is not touched and determining to start the switch operation may be provided. This confirmation function is realized, for example, as a function of monitoring an output from a contact (pressure) sensor incorporated in the specific object.
[0011]
Further, the first finger shape is set, for example, as a shape when gripping an object, and the second finger shape is set, for example, as a shape when pointing an object, for example, when operating actual switches. If the finger shape is simulated, the switch operation is not intuitively perceived, and the intended finger shape can be formed intuitively, so that the operability can be improved.
[0012]
Furthermore, after the switch control target is selected based on the predetermined finger shape and its movement, the recognized finger shape forms a third finger shape set in advance, and the detection position of the hand in the imaging region is changed for a predetermined time. If an operation switching means is provided to detect the non-displacement and prompt the activation of the operation detecting means, the recognition processing is performed by clearly distinguishing the selection operation of the control target from the input operation of the switch operation information for the selected control target. Can be executed.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a hand pattern switch device according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a schematic configuration of a main part of an apparatus according to an embodiment, showing a state of a driver's seat in a vehicle and functions of the apparatus realized by a microcomputer or the like. The driver's seat is provided with a steering wheel (handle) 1 and a combination switch (not shown) that are steered by an operator (driver), and the console panel is provided with an operation unit 2 such as audio equipment and air conditioning equipment. Have been. On the ceiling above the driver's seat, a video camera 3 that captures an operator's finger with his arm extended toward the imaging region is provided on the side of the steering wheel 1 as an imaging region. The camera 3 is a small camera such as a CCD camera.
[0014]
Incidentally, the imaging area 3a of the camera 3 is set at a position on the side of the steering wheel 1 at a distance of at least 50 mm from the outer peripheral portion of the steering wheel 1 as shown in FIG. 2, preferably at a distance of about 100 mm. . The imaging area 3a is set as a substantially rectangular area having a size of approximately 600 mm in the fingertip direction of the palm of the driver who extends the arm to the side of the steering wheel 1 and approximately 350 mm in the width direction of the palm. ing.
[0015]
The imaging area 3a set in this way is an area where the operator does not image the fingers of the operator who grips the steering wheel 1 or operates a combination switch (not shown) provided on the column shaft. . In particular, this is a position where the driver can extend his / her arm without losing the driving posture while putting his / her arm on an armrest (armrest) 5 provided on the side of the driver's seat. It is a position where fingers do not touch.
[0016]
In the case where a gear shift lever (not shown) is arranged in the imaging area 3a set in this way, whether the finger extended to the imaging area 3a is operating the gear shift lever. Alternatively, it is preferable to provide a confirmation function for determining whether or not a switch operation is being performed. As this confirmation function, for example, the grip of the gear shift lever by the operator may be detected via a pressure-sensitive sensor provided on the gear shift lever. By taking such measures, it is possible to easily determine whether the finger extended to the imaging area 3a is operating the gear shift lever or the state of operating the hand pattern switch device. This makes it possible to reliably prevent erroneous detection of a driving operation as switch operation information. Further, a stereo (stereoscopic) camera is used as the camera 3 to detect the height position of the finger (distance from the camera 3), and thereby the finger extended to the imaging area 3a operates the gear shift lever, or It may be determined whether the gear shift lever is positioned above the gear shift lever.
[0017]
The hand pattern switch device basically recognizes and processes the shape and movement of the operator's finger imaged by the camera 3 from the input image, and obtains predetermined switch operation information based on the recognition result. In addition, it has a role of providing switch operation information to the above-described audio equipment, air conditioning equipment, and the like in place of the operation unit 2.
[0018]
Specifically, as shown in FIG. 1, the hand pattern switching device binarizes an input image captured by the camera 3 to remove a background image component thereof and extract only a finger image. The image processing apparatus includes a unit 11, a shape recognizing unit 12 for recognizing the shape of a finger from an image extracted by the binarization process, and a center-of-gravity detecting unit 13 for obtaining the center of gravity of the palm from the recognized finger shape.
[0019]
Further, the hand pattern switch device recognizes an operation instruction that recognizes a switch operation indicated by the shape and movement of the operator's finger according to the recognition result by the shape recognition unit 12 and the position of the center of gravity of the palm detected by the center of gravity detection unit 13. A unit 14 is provided. The operation instruction recognition unit 14 roughly refers to a finger shape pattern registered in advance in the memory 15 and determines (identifies) the finger shape by tracking the movement of the center of gravity of the palm. The system includes a displacement detector 17 for detecting displacement of a finger and a timer 18 for monitoring the movement of the palm as time elapses. The operation instruction recognizing unit 14 obtains predetermined switch operation information specified by the shape and movement of the operator's finger based on the results of these determinations and monitoring. It is configured to output to devices and the like.
[0020]
The operation instruction recognizing unit 14 is provided with a guide unit 19 that provides a predetermined guidance (announcement) to the operator according to the above-described determination result and the like. This guidance includes, for example, an audio device or an air conditioner (operation target device), a voice message for specifying the volume / channel setting, the air volume / temperature, etc. (operation target function), and a “pip” or “ The driver is notified via the speaker 20 as a confirmation sound such as "P".
[0021]
In the hand pattern switch device basically configured as described above, the feature of the present invention is that, as shown in the flow of the switch operation operation illustrated in FIG. When the position is stopped for a predetermined time, this state is recognized as an operation intention of the switch device by the operator (switch operator) (operation start recognition means), and thereafter, based on the shape and movement of the finger. A switch operation detection process is executed.
[0022]
This switch operation will be described. In this hand pattern switch device, for example, a finger pattern as shown in FIGS. 4A to 4D is used as a finger shape for designating a switch operation. Specifically, a finger pattern [hand shape 1] in the form of a grip fist as shown in FIG. 4 (a), a finger pattern [hand shape 2] in the form of a pointing finger with an index finger as shown in FIG. 4 (b), and FIG. 4 (c), a finger-shaped pattern [hand shape 3] with a thumb raised, and a finger-shaped pattern [hand shape 4] with a thumb and forefinger raised as shown in FIG. 4 (d) are used. Can be
[0023]
By the way, the finger pattern in the form of the pointing finger and the finger pattern in which the thumb and the index finger stand up express the image of pressing the switch. The finger pattern in the form of a grip fist represents an image in which a lever-like switch is gripped and a shift operation is performed forward and backward, and the finger shape in which a thumb is raised represents an image representing a standby instruction. Such a finger-shaped pattern is registered in the memory 15 in advance as data indicating the shape characteristic. Then, by calculating the degree of coincidence (similarity) between the shape of the finger recognized from the input image and the pattern registered in the memory 15, it is used for discriminating the finger shape.
[0024]
Now, when the driver is steering the vehicle while holding the steering wheel 1, the operator's finger is out of the imaging area 3a as shown in the operating state A1, and the input image at that time is the background in the vehicle interior. The hand pattern switching device does not operate because only the image components to be excluded are processed.
On the other hand, when the operator's finger comes off the steering wheel 1 and enters the imaging area 3a as shown in the operation state A2, the recognition process for the finger is thereby started. In this case, for example, when the finger forms a fist shape [hand shape 1] and the palm does not move (stops) for a predetermined time (for example, 1 second or more), the driver intends to perform the switch operation. It is desirable to recognize that the operation is being performed and to instruct the start of input of the switch operation information.
[0025]
Thereafter, it is determined whether or not the shape of the finger has been changed to a finger-shaped pattern [hand shape 4] for pressing the switch. When a finger-shaped pattern is detected, the movement is detected assuming that a selection switch is repeatedly pressed (pushed) to select and designate a predetermined device as shown in an operation state A3. Specifically, the movement of the finger having the pointing finger back and forth (displacement) is detected from the change (movement) of the center of gravity of the palm, and the push operation is detected. In this case, each time one push operation is detected, the control target device is cyclically selected as “air conditioner”, “radio”, “tape”, “CD”, etc., as shown in FIG. The control algorithm may be set so as to be specified. In particular, at this time, it is also useful to output an operation confirmation sound such as "beep" every time one push operation is detected, or to notify the selected control target as a voice message. With such guidance, the operator can recognize the device selected and specified without visually confirming the operation state, so that the operator can concentrate on the driving operation. Then, after the desired control target device is selected, when the finger shape changes, this state is selected when the control target device selection is completed and the operator recognizes that the next switch operation is intended. good.
[0026]
Specifically, it is determined whether or not the pattern is changed to the pointing hand pattern [hand shape 2] as shown in the operation state A5. When the finger-shaped pattern [hand shape 2] moves back and forth, the movement is detected by repeatedly pressing the selection switch (push) to select and designate a predetermined control target. Specifically, in this case, the movement (displacement) of the finger having the pointing shape moving back and forth is detected from the change (movement) of the position of the center of gravity of the finger, and the push operation is detected. Each time one push operation is detected, for example, when “air conditioner” is selected as the control target device as shown in FIG. 5A, the control target is set to “temperature”, “air volume”, It is cyclically selected and designated as "wind direction", "inside / outside air" or the like. When "radio" is selected as the control target device, the control target is cyclically selected and designated as "volume", "channel", "FM / AM", "frequency adjustment", or the like.
[0027]
Similarly, when "tape" is selected as the control target device, the control target is cyclically selected and designated as "reverse", "fast forward", "cue", "take out", and the like. When "CD" is selected as the control target device, the control target may be cyclically selected and designated as "fast forward", "search for", "repeat", "take out", and the like.
[0028]
When the desired control target is selected as described above, for example, the finger shape is changed to a thumb-up pattern [hand shape 3] as shown in the operation state A6. An instruction to start inputting switch operation information to be executed is issued. Also in this instruction, when the finger shape is a thumb shape [hand shape 3] and the palm does not move (stops) for a predetermined time (for example, 1 second or more), the operator changes this state to the next state. It is sufficient to recognize that the switch operation is intended. In this case, it is preferable to emit a sound such as “Pee” different from the above-described confirmation sound as the confirmation sound.
[0029]
Thereafter, as shown in the operation state A7, the finger shape is changed to the fist shape [hand shape 1], and the switch operation information is input by moving the finger back and forth. At this time, the movement of the finger in the form of a fist is detected from the displacement amount of the center of gravity and the like, and switch operation information corresponding to the movement is output. Specifically, in the input of the switch operation information, the information content to be detected is changed according to the control target selected and designated by the push operation described above.
[0030]
That is, depending on the control target, there are a case where the control amount (switch operation information) is to be changed in multiple steps (stepwise) with a large change amount, and a case where the control amount (switch operation information) is to be continuously and finely changed with a small change amount. Therefore, according to the selected operation target, for example, a distance mode (operation state A8a) in which the amount of movement (displacement) of the finger is used as switch operation information, and a time mode in which the switch operation information is obtained from the stop time of the finger displaced by a predetermined distance. (Operation state A8b) or a distance / time mode (operation state A8c) using these modes in combination is selectively set.
[0031]
Incidentally, the distance mode is a mode in which switch operation information is output in multiple stages according to the amount of movement of the hand from the reference position, and is suitable for selecting and setting radio broadcast channel selection and air volume / wind direction in air conditioning equipment. is there. The time mode is a mode for outputting switch operation information according to the stop time of the palm displaced from the reference position, and is suitable for, for example, finely adjusting the volume of an audio device, the temperature of an air conditioner, and the like. Further, in the distance / time mode, when the palm is slightly moved, switch operation information corresponding to the amount of movement is output, and when the palm has moved a predetermined distance or more, it is determined according to the stop time of the palm at the moved position. In this mode, switch operation information is output. This distance / time mode is suitable for a case where the control target is roughly adjusted and then finely adjusted.
[0032]
The operation instruction recognition unit 14 described above moves the hand in the imaging region 3a according to the input mode (distance mode / time mode / distance / time mode) that is selectively set according to the control target as described above. And measures the amount of movement of the hand (the amount of displacement and the direction of displacement) and the stop time of the hand that has stopped moving. Then, switch operation information corresponding to these measurement results is output.
[0033]
Note that the correspondence between various switch control targets and the above-described modes and the content (detection distance and time) detected as a switch operation amount may be fixedly set in advance. However, the operation instruction recognizing unit 14 may be provided with a control screen 14a shown in FIG. 6, for example, which can be appropriately changed according to the preference of the switch operator (operator). Specifically, for each of a plurality of switch control targets, the input mode in which the switch operation information is input is selectively specified, and the amount of displacement (moving distance) of the palm, which is the unit of detection, and the measurement time are respectively specified. What is necessary is just to be able to set variably.
[0034]
7 to 11 show a schematic processing procedure in the operation instruction recognition unit 14 for realizing the above-described processing functions. The processing procedure will be described. With the activation of the hand pattern switch device, first, an initial setting of a system including the setting of an imaging area (recognition area) by the camera 3 and the setting of a threshold value in the binarization processing is performed (step S1). 〉. Thereafter, parameter values and the like for recognizing the finger shape and measuring the movement of the finger are cleared, and the control flag is set to "0" to execute initialization for switch information detection (step S2).
[0035]
After executing the above initialization processing, first, the finger shape in the input image is recognized (step S3), and the finger shape is changed to the above-mentioned [hand shape 1], [hand shape 2], [hand shape 3], [hand shape 3]. Hand shape 4] is determined (Steps S4a, S4b). When the finger shape is the pointing hand shape [hand shape 2], it is determined what the hand shape was detected last time (step S5). If the previous hand shape is other than the pointing hand shape [hand shape 2], it is determined that the function selection mode based on [hand shape 2] has been set, and the center of gravity position of the palm detected at that time is set to the reference position A. <Step S6>. Then, after setting the parameter B ′ for managing the moving distance of the palm to “0” (Step S7), the previous hand shape is updated to [Hand shape 2] and <Step S8> The processing from Step S3 described above is performed. Execute repeatedly.
[0036]
On the other hand, if the previous hand shape is the pointing hand shape [hand shape 2] <Step S5>, then the displacement amount of the center of gravity of the palm detected at that time from the aforementioned reference position A ( The movement amount) B is obtained (step S9). Then, it is determined whether or not two conditions that the parameter B ′ does not satisfy the determination threshold value H1 and the displacement amount (movement amount) B detected this time exceeds a predetermined determination threshold value H1 are satisfied. <Step S10>. If the above condition is satisfied, it is determined that the push operation for selecting the function has been performed in the state of [hand shape 2], and the control target is changed by one step (step S11). Thereafter, the previous hand shape is updated to [hand shape 2], and <Step S8> The processing from Step S3 described above is repeatedly executed.
[0037]
If the condition is not satisfied, for example, the displacement B does not exceed the predetermined determination threshold value H1 (step S10), the displacement B is set as the parameter B ′ described above (step S12). >, The previous hand shape is updated to [hand shape 2] (step S8), and thereafter, the processing from step S3 described above is repeatedly executed. Through the processing from step S3 to step S8, when the push operation is performed by the predetermined amount of movement in the finger shape of [hand shape 2], the above-described function selection is executed, and the control target is selectively set.
[0038]
If it is determined in step S4a that the shape of the finger is the pointing hand type [hand shape 4], it is determined what the previously detected hand shape was, as shown in FIG. 8 (step S5a). 〉. If the previous hand shape is other than the pointing hand shape [hand shape 4], the apparatus selection mode based on [hand shape 4] is set, and the center of gravity position of the palm detected at that time is set as the reference position. Register as E <Step S6a>. Then, after setting the parameter F ′ for managing the moving distance of the palm to “0” (Step S7a), the previous hand shape is updated to [Hand shape 4] and <Step S8a> The processing from Step S3 described above is performed. Execute repeatedly.
[0039]
On the other hand, if the previous hand shape is the pointing hand shape 4 [step S5a], then the displacement amount of the center of gravity of the palm detected at that time from the aforementioned reference position E ( The movement amount) F is obtained (step S9a). Then, it is determined whether two conditions that the parameter F ′ does not satisfy the determination threshold value H4 and the displacement amount (movement amount) F detected this time exceeds a predetermined determination threshold value H4 are satisfied. <Step S10a>. If the above condition is satisfied, it is determined that the push operation for selecting the function has been performed in the state of [hand shape 4], and the control target is changed by one step (step S11a). After that, the previous hand shape is updated to [hand shape 4] <Step S8a> The processing from step S3 described above is repeatedly executed.
[0040]
If the condition is not satisfied, for example, the displacement amount F does not exceed the predetermined determination threshold value H4 (step S10a), the displacement amount F is set as the parameter F ′ described above (step S12a). >, The previous hand shape is updated to [hand shape 4] <Step S8a>, and thereafter, the processing from Step S3 described above is repeatedly executed. Through the processing from step S3 to step S8a, when the push operation is performed by the predetermined amount of movement in the finger shape of [hand shape 4], the above-described device selection is executed and the control target is selectively set.
[0041]
On the other hand, when it is detected in step S4b that the finger shape is [hand shape 1] or [hand shape 3], the finger shape is [hand shape 1] as shown in FIG. It is determined whether or not there is a “hand shape 3” (step S13). If it is [hand shape 3], it is determined that the above-described operation standby state is designated, and the position of the center of gravity of the hand detected at that time is registered as the reference position C (step S14). At this time, it may be confirmed that the palm does not move (stop) for a predetermined time. At the same time, a control parameter D ′ used for measuring a moving distance described later is set to “0” (Step S15). Thereafter, after updating the previous hand shape to [hand shape 3] (step S16), the processing from step S3 described above is repeatedly executed.
[0042]
On the other hand, when it is determined that the finger shape is [hand shape 1] (step S13), it is next determined what the previously detected finger shape was (step S17). If the previous finger shape is [hand shape 3], the control flag is set to "1" assuming that the operation information input mode has been set, and the moving distance measurement parameter n and the stop time measurement parameter are set. t is set to "0" (step S18). If the previous finger shape was the grip-fist type [hand shape 1], it is determined whether the control flag is “1” to determine whether the operation information input mode has already been set. Investigation <Step S19>, if the control flag is "1", the distance D between the center of gravity of the palm detected at that time and the above-described reference position C is detected (Step S20).
[0043]
Then, it is determined which of the above three types of input modes the switch operation information is to be detected according to the control target whose function has been previously selected (step S21), and the switch operation is performed according to the determined input mode. Executes information detection processing.
If the previous hand shape is not [hand shape 1] or [hand shape 3] (step S17), or if the control flag is not "1"<stepS19>, the initial setting shown in step S2 described above is performed. Repeat the processing procedure from. By this processing, the input start of the switch operation information indicated by the operation state A2 is instructed. Even if the previous hand shape is [hand shape 1], if the control flag is not "1", for example, it is confirmed that the finger has been stopped for a predetermined time, and the process proceeds to step S2 described above. The processing procedure from the indicated initial setting is repeatedly executed.
[0044]
Incidentally, in the process of detecting the switch operation information in the distance mode, as illustrated in FIG. 9, the distance D from the reference position C described above is compared with the value of the control parameter D ′ (Step S22), and the magnitude relationship is determined. Accordingly, it is determined whether the palm is moving forward or backward. When the palm is moved forward, it is determined whether or not the moving distance exceeds a predetermined measurement unit distance under a condition 1 described later (step S23), and the palm exceeds the predetermined measurement unit distance. In this case, after the control parameter n is incremented (step S24), the setting (switch operation information) is increased by one step (step S25).
[0045]
Conversely, when the palm is receding, it is determined whether or not the movement distance exceeds a predetermined measurement unit distance under condition 2 described below (step S26), and the movement distance is set to the predetermined measurement unit distance. If it exceeds, the control parameter n is decremented (step S27), and the setting (switch operation information) is reduced by one step (step S28).
[0046]
The condition 1 is that the difference (movement amount) between the distance D and the distance C exceeds the movement distance of a predetermined number of steps variably set by the control parameter n, and the difference between the value of the control parameter D ′ and the distance C The difference (movement amount) is set as being less than the movement distance of a predetermined number of steps variably set by the control parameter n. In other words, this is a condition for determining whether or not the amount of movement of the palm has moved a predetermined measurement unit distance by a predetermined number of steps. Condition 2 is a similar determination condition when the moving direction of the palm is reverse (retreat).
[0047]
When the switch operation information corresponding to the moving distance of the palm is obtained as described above, the distance D is registered as the control parameter D '(step S29), and the criterion is updated. Then, after [Hand Shape 1] is registered as the previous hand shape <Step S30>, the process returns to Step S3 described above. By repeatedly executing this processing, the switch operation information corresponding to the moving amount of the palm is output stepwise.
[0048]
On the other hand, when the time mode is set, the detection process is performed according to the procedure illustrated in FIG. In this case, first, it is determined whether the moving distance D exceeds the third threshold value H3 (step S31). If the third threshold value H3 has not been reached, the time parameter t is set to "0" (step S32), and [hand shape 1] is registered as the previous hand shape (step S33). Return to processing.
[0049]
On the other hand, if the moving distance D exceeds the third threshold value H3 (step S31), the time parameter t is counted up (step S34). When the counted time parameter t reaches the reference time T1 (step S35), the setting (switch operation information) is increased by one step (step S36). Then, after resetting the time parameter t to “0” (step S37), [hand shape 1] is registered as the previous hand shape (step S33), and the process returns to step S3 described above.
[0050]
If the moving distance D exceeds the third threshold value H3 in the reverse direction (Step S31), the time parameter t is counted up (Step S38). When the counted time parameter t reaches the reference time T1 (step S39), the setting (switch operation information) is reduced by one step (step S40). Then, after resetting the time parameter t to “0” (step S41), [hand shape 1] is registered as the previous hand shape (step S33), and the process returns to step S3 described above. By such a series of processing, when the palm moves and stops for a predetermined distance, switch operation information corresponding to the stop time is output.
[0051]
The distance / time mode is executed by selectively using the above-described distance mode processing and time mode processing according to the hand movement distance. Specifically, as shown in FIG. 11, the value of the control parameter n is determined (step S42). Then, depending on whether the parameter n is in the range of “−2” to “2”, or “3” or more or less than “−3”, the processing of the distance mode shown in steps S22a to S33a, or step S24a Then, the processing in the time mode shown in step S41a may be executed. Note that the processing from step S22a to step S33a corresponds to the processing from step S22 to step S33 described above. Further, the processing shown in steps S24a to S41a corresponds to the processing shown in steps S24 to S41 described above.
[0052]
Thus, according to the hand pattern switch device functioning as described above, when a preset finger shape is detected and the palm is detected to be stopped for a predetermined time, this state is determined by an operator (switch operation). Is determined to be operating intentionally, and input (detection) of switch operation information is started, so that the shape and movement of a finger that accidentally enters the imaging region 3a is erroneously detected as switch operation information. Is gone. Therefore, only when the operator intentionally moves his / her finger / arm, it is possible to reliably output the switch operation information detected in accordance with this.
[0053]
Further, as shown in the operation state A6, the state in which the predetermined finger shape [hand shape 3] is stopped for a predetermined time is detected, the completion of the switch operation is confirmed, and the process waits for the next switch operation. Therefore, it is possible to clearly determine a break of a plurality of types of switch operations and to smoothly perform a series of switch operation processes. In particular, the device selection process, the control target selection process for the selected device, and the switch operation information input process for the selected control target can be clearly separated and executed, thereby simplifying the switch operation. Thus, a great effect in practical use such as an improvement in operability can be achieved.
[0054]
Note that the present invention is not limited to the above-described embodiment. Although the embodiment has been described on the assumption that the vehicle is a right-hand drive vehicle, it is needless to say that the present invention can be similarly applied to a left-hand drive vehicle. is there. Of course, the control object can be extended to, for example, turning on / off the wiper, adjusting the operation interval thereof, and opening / closing the side mirror.
[0055]
In the embodiment, the selection of the control target device shown in the operation state A3 and the selection of the control target function shown in the operation state A5 are performed with the same finger shape, but as shown in FIG. 3 as the operation state A9. Alternatively, the selection instruction may be performed with different finger shapes. Specifically, the device may be selected using a finger shape in which the index finger and the thumb are raised, and the function may be selected using a finger shape in which only the index finger is raised. In this case, the completion of the device selection may be detected from the change in the finger shape.
[0056]
Further, in a simple system, as shown in FIG. 5 (b), the control target is cyclically selected as "volume", "channel", "temperature", "air volume", etc. together with the device. Such a configuration is also possible. Needless to say, the shape of the finger used for information input is not limited to the above-described example. In addition, the present invention can be variously modified and implemented without departing from the gist thereof.
[0057]
【The invention's effect】
As described above, according to the present invention, when a driver (switch operator) intentionally forms a predetermined finger shape and does not move his / her hand for a predetermined time, this state is an input instruction for a switch operation. Therefore, it is not necessary to recognize the shape or movement of the finger that accidentally (involuntarily) enters the imaging region (recognition region), and therefore does not output erroneous switch operation information. Further, only when the operator (switch operator) wants to operate the switch device, it is only necessary to form the above-mentioned finger shape and stop the hand for a predetermined time in the imaging region, so that an extra operation burden is imposed. There are many practical effects such as simple and reliable operation of the switch device without the need.
[0058]
Further, the hand pattern switch device can easily and surely determine the intention of the operator, and can surely recognize only the intended shape and movement of the finger. Therefore, there is an advantage that switch operation information can be appropriately output to various control targets.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a hand pattern switching device according to an embodiment of the present invention.
FIG. 2 is a diagram showing an image pickup area of a finger in the hand pattern switch device shown in FIG. 1;
FIG. 3 is a diagram showing a schematic procedure of an operation of inputting instruction of switch operation information in the hand pattern switching device.
FIG. 4 is a diagram showing an example of a finger shape for giving a switch operation instruction to the hand pattern switch device.
FIG. 5 is a diagram showing an example of selection of a control target accompanying a push operation with a finger.
FIG. 6 is a diagram showing an example of an input mode setting screen associated with a control target.
FIG. 7 is a diagram showing a part of a schematic processing procedure for inputting switch operation information in the hand pattern switch device.
FIG. 8 is a view showing a processing procedure following the processing procedure shown in FIG. 7;
FIG. 9 is a diagram showing a procedure for detecting switch operation information in a distance mode.
FIG. 10 is a diagram showing a procedure for detecting switch operation information in a time mode.
FIG. 11 is a diagram showing a procedure for detecting switch operation information in a distance / time mode.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Steering wheel 2 Operation part of audio equipment etc. 3 Camera 11 Binarization processing part 12 Shape recognition part 13 Center of gravity position detection part 14 Operation instruction recognition part 15 Memory 16 Shape judgment part 17 Displacement detection part 18 Timer 19 Guide part

Claims

A hand pattern switch device for imaging a finger placed in a predetermined imaging region, recognizing a finger shape from the input image and detecting a movement of a palm in the imaging region to obtain predetermined switch operation information,
Operation start recognizing means for recognizing the start of the switch operation by detecting that the recognized finger shape forms a first finger shape set in advance, and that the detection position of the palm in the imaging region does not change for a predetermined time; ,
After the start of the switch operation, each time the recognized finger shape forms a predetermined second finger shape, and the palm movement detected in the imaging region draws a predetermined movement pattern, a plurality of switch control objects Switch target setting means for cyclically selecting one of the following:
A hand pattern switch device, comprising: operation detection means for obtaining switch operation information for the switch control object in accordance with a palm movement detected in the imaging area after the switch control object is selected.

2. The operation start recognition unit according to claim 1, further comprising a confirmation function of confirming that the finger having the first finger shape is gripping or not touching a specific object and determining the start of a switch operation. 3. The hand pattern switch device according to the above.

The hand pattern switch device according to claim 1, wherein the first finger shape is a shape when grasping an object, and the second finger shape is a shape when pointing an object.

The hand pattern switch device according to claim 1,
Further, after the switch control target is selected, the recognized finger shape forms a third finger shape set in advance, and the operation is performed by detecting that the detection position of the palm in the imaging region is not displaced for a predetermined time and performing the operation. A hand pattern switch device comprising an operation switching unit for prompting activation of a detection unit.