JP2005063092A - ハンドパターンスイッチ装置 - Google Patents
ハンドパターンスイッチ装置 Download PDFInfo
- Publication number
- JP2005063092A JP2005063092A JP2003291381A JP2003291381A JP2005063092A JP 2005063092 A JP2005063092 A JP 2005063092A JP 2003291381 A JP2003291381 A JP 2003291381A JP 2003291381 A JP2003291381 A JP 2003291381A JP 2005063092 A JP2005063092 A JP 2005063092A
- Authority
- JP
- Japan
- Prior art keywords
- finger
- shape
- finger shape
- switch
- palm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】 不本意な制御・操作を未然に防ぐことのできるハンドパターンスイッチ装置を提供する。
【解決手段】 入力画像から検出される手指形状が、スイッチ操作を実行する手指形状とは異なる予め設定された特異な手指形状であることを検出して、手指形状および/または手指の動きの検出によるスイッチ操作情報の取得動作を開始する。具体的には人差し指を立てた指差し形状や、親指だけを立てた握り拳形状をスイッチ操作用として設定し、親指と人差し指とを立てたL字状を形成した手指形状をスイッチ操作の開始指示用として設定する。
【選択図】 図11
【解決手段】 入力画像から検出される手指形状が、スイッチ操作を実行する手指形状とは異なる予め設定された特異な手指形状であることを検出して、手指形状および/または手指の動きの検出によるスイッチ操作情報の取得動作を開始する。具体的には人差し指を立てた指差し形状や、親指だけを立てた握り拳形状をスイッチ操作用として設定し、親指と人差し指とを立てたL字状を形成した手指形状をスイッチ操作の開始指示用として設定する。
【選択図】 図11
Description
本発明は、空調機器やオーディオ機器等の車両搭載機器やサイドミラー等の車両付帯機器の動作を、該車両搭載機器の操作パネルに触れることなく、また車両の運転を妨げることなしに簡易に操作するに好適なハンドパターンスイッチ装置に関する。
空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく操作する技術として、カメラを用いて運転者の身体の一部(例えば左手)を撮像し、その画像パターンを認識して上記車両搭載機器に対する操作情報を得ることが提唱されている(例えば特許文献1を参照)。また運転者の手指の形状や動きとして示されるジェスチァを検出して車両搭載機器に対する操作情報を得ることも提唱されている(例えば特許文献2を参照)。
この種の技術は、例えば手指を撮像した画像から手指の形状を認識するパターン認識処理や、認識した手の位置変化を追跡することでその動きを検出する動き検出処理等によって実現されるもので、ここでは便宜上、ハンドパターンスイッチ等と称する。
特開平11−134090号公報
特開2001−216069号公報
この種の技術は、例えば手指を撮像した画像から手指の形状を認識するパターン認識処理や、認識した手の位置変化を追跡することでその動きを検出する動き検出処理等によって実現されるもので、ここでは便宜上、ハンドパターンスイッチ等と称する。
ところでハンドパターンスイッチ装置においては、通常、カメラによる撮像領域に手指が入り込んだことを検出してその認識処理を開始する。しかしながら実際的には、車両搭載機器に対する操作意図がないにも拘わらず、運転者(操作者)の手指が撮像領域に入り込むことがある。すると、例えば無意識のうちに(不本意に)車両搭載機器が操作されてしまう虞が生じる。
本発明はこのような事情を考慮してなされたもので、その目的は、各種制御対象に対する操作意図があるときにだけ確実にその認識処理を開始することができ、不本意な制御・操作を未然に防ぐことのできるハンドパターンスイッチ装置を提供することにある。
本発明はこのような事情を考慮してなされたもので、その目的は、各種制御対象に対する操作意図があるときにだけ確実にその認識処理を開始することができ、不本意な制御・操作を未然に防ぐことのできるハンドパターンスイッチ装置を提供することにある。
上述した目的を達成するべく本発明に係るハンドパターンスイッチ装置は、所定の撮像領域におかれた手指を撮像し、その入力画像から手指形状および/または手指の動きを検出して所定のスイッチ操作情報を得るものであって、
前記入力画像から検出される手指形状が、スイッチ操作を実行する手指形状とは異なる予め設定された特異な手指形状であることを検出して、前記手指形状および/または手指の動きの検出によるスイッチ操作情報の取得動作を開始することを特徴としている。
前記入力画像から検出される手指形状が、スイッチ操作を実行する手指形状とは異なる予め設定された特異な手指形状であることを検出して、前記手指形状および/または手指の動きの検出によるスイッチ操作情報の取得動作を開始することを特徴としている。
前記特異な手指形状としては、掌を略水平にして親指と人差し指とを立て、残りの指を内側に曲げた形状、即ち、スイッチ操作に用いる手指形状とは異なり、且つ自然に形作ることのできる手指形状とすることが好ましい。
具体的には、例えばスイッチ操作は、人差し指を立てた、いわゆる指差し形状で行う。また手持ち型の押し釦スイッチについては、押し釦スイッチを把持した握り拳形状において、親指の屈伸によりスイッチ操作する。このような実際のスイッチ操作形態を踏まえて、上述した手指形状をスイッチ操作用として設定し、一般的には使われない、例えば親指と人差し指とを立て、L字状を形成した手指形状をスイッチ操作の開始を指示用として設定し、この手指形状が検出された場合にだけスイッチ操作情報の入力処理を開始することが望ましい。
具体的には、例えばスイッチ操作は、人差し指を立てた、いわゆる指差し形状で行う。また手持ち型の押し釦スイッチについては、押し釦スイッチを把持した握り拳形状において、親指の屈伸によりスイッチ操作する。このような実際のスイッチ操作形態を踏まえて、上述した手指形状をスイッチ操作用として設定し、一般的には使われない、例えば親指と人差し指とを立て、L字状を形成した手指形状をスイッチ操作の開始を指示用として設定し、この手指形状が検出された場合にだけスイッチ操作情報の入力処理を開始することが望ましい。
このように構成されたハンドパターンスイッチ装置によれば、予め設定された特異な手指形状が示された場合にだけ操作情報の入力処理が開始されるので、運転員(操作者)がスイッチ操作情報の入力意図を持って上記手指形状を形作らない限り、ハンドパターンスイッチ装置におけるスイッチ操作情報の入力処理が開始されることがない。この結果、カメラの撮像領域に不本意に運転員(操作者)の手指が入り込んでも、これによって制御対象が誤操作されることがない等の効果が奏せられる。またスイッチ操作の開始を指示用の特異な手指形状として、上述したようにスイッチ操作に用いられることがなく、また自然に形作ることのできる手指形状として設定しておけば、運転員(操作者)に余分な操作負担を掛けることもない等の効果が奏せられる。
従って手指形状および/または掌(指先)の動きを検出して各種制御対象に対するスイッチ操作情報を与える上で、その認識処理負担を軽減しながら手指形状やその動きを確実に認識することが可能となる。
以下、図面を参照して本発明の一実施形態に係るハンドパターンスイッチ装置について説明する。
図1は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現されるハンドパターンスイッチ装置の機能を示している。運転席の前方には運転員(ドライバ)によって操舵されるステアリングホイール1やコンビネーションスイッチ(図示せず)等が設けられ、またそのコンソールパネルにはオーディオ機器や空調機器等の操作部2が設けられている。また運転席上方の天井には、ステアリングホイール1の側方を撮像領域とし、該撮像領域に向けて腕を伸ばした運転員の手指を撮像する為のビデオカメラ3が設けられている。このカメラ3は、CCDカメラ等の小型のものからなる。尚、カメラ3については所定の照度下(日中)において可視光領域の像を得るものであっても良いが、夜間のように撮像領域の照度が不足するような場合には、該撮像領域に近赤外光を照射して赤外線像を求める、いわゆる赤外線カメラを用いることも勿論可能である。尚、ハンドパターンスイッチ装置に対する操作は、上記撮像領域に掌の平を略水平にして位置付けて状態で指を選択的に屈曲させることで手指形状を変化させる共に、掌の位置を前後左右に変位させる(動かす)ことで行われる。尚、カメラ3にて撮像されるのは手の甲側であるが、ここでは撮像された手の甲を掌として説明する。
図1は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現されるハンドパターンスイッチ装置の機能を示している。運転席の前方には運転員(ドライバ)によって操舵されるステアリングホイール1やコンビネーションスイッチ(図示せず)等が設けられ、またそのコンソールパネルにはオーディオ機器や空調機器等の操作部2が設けられている。また運転席上方の天井には、ステアリングホイール1の側方を撮像領域とし、該撮像領域に向けて腕を伸ばした運転員の手指を撮像する為のビデオカメラ3が設けられている。このカメラ3は、CCDカメラ等の小型のものからなる。尚、カメラ3については所定の照度下(日中)において可視光領域の像を得るものであっても良いが、夜間のように撮像領域の照度が不足するような場合には、該撮像領域に近赤外光を照射して赤外線像を求める、いわゆる赤外線カメラを用いることも勿論可能である。尚、ハンドパターンスイッチ装置に対する操作は、上記撮像領域に掌の平を略水平にして位置付けて状態で指を選択的に屈曲させることで手指形状を変化させる共に、掌の位置を前後左右に変位させる(動かす)ことで行われる。尚、カメラ3にて撮像されるのは手の甲側であるが、ここでは撮像された手の甲を掌として説明する。
さてハンドパターンスイッチ装置は、基本的には上記カメラ3によって撮像される運転員の手指形状や動きをその入力画像から認識処理し、その認識結果に基づいて所定のスイッチ操作情報を得るものであり、上述した操作部2に代わって前述したオーディオ機器や空調機器等に対してスイッチ操作情報を与える役割を担う。具体的にはハンドパターンスイッチ装置は、カメラ3によって撮像された入力画像を2値化処理してその背景画像成分を除去し、腕の先端側、主に掌と手指の画像成分を抽出する2値化処理部11と、2値化処理によって抽出された掌と手指の画像からその重心位置を求める重心検出部12、および手指の形状を認識する形状認識部13を備える。
更にハンドパターンスイッチ装置は、上記形状認識部13による認識結果、および重心検出部12により検出された掌の重心位置に従って、運転員の手指形状や掌の動きにより示されるスイッチ操作を認識する操作指示認識部14を備える。この操作指示認識部14は、概略的にはメモリ15に予め登録された特定の手指形状パターンとその役割との関係を参照して、前述した如く認識された手指形状が意図する操作の種別を判定(識別)する機能判定部16、特定の指先形状をした掌の重心位置の移動、或いは指先の動きを追跡してその基準位置から変位量を検出する変位量検出部17、および上記掌または指先の動きを時間経過として監視するタイマ18を備える。そして操作指示認識部14は、これらの判定・監視結果に基づいて、運転員の手指形状と掌の動きとによって特定される所定のスイッチ操作情報を求め、このスイッチ操作情報を、例えば前述したオーディオ機器や空調機器等に対して出力するように構成される。
尚、操作指示認識部14には、上述した判定結果等に従って運転員に対して所定のガイダンスを行うガイド部19が設けられている。このガイダンスは、例えばオーディオ機器や空調機器(操作対象機器)、更には音量・チャネル設定、或いは風量・温度等(操作対象機能)を特定する音声メッセージや、そのスイッチ操作(操作量)を示す「ピッ」や「ピー」等の確認音としてスピーカ20を介して運転員に報知される。この操作指示認識部14における具体的な動作形態、即ち、オーディオ機器や空調機器等の複数の制御対象に対するスイッチ操作情報の出力制御については後述する。
さて前記カメラ3による撮像領域Aは、図2に示すようにステアリングホイール1の側方の、該ステアリングホイール1の外周部から少なくとも50mm離れた位置、好ましくは100mm程度離れた位置として設定される。特に運転員が運転席の側部に設けられた腕掛け(アームレスト)5に腕を乗せたまま、その運転姿勢を崩すことなく腕を伸ばし得る位置であって、オーディオ機器等の操作部2に手指が触れることのない位置として設定されている。ちなみにこの撮像領域Aは、ステアリングホイール1の側方に腕を伸ばした運転員の手の指先方向に略600mm、また手の幅方向に略350mmの大きさを有する略長方形状の領域として設定されている。
即ち、この撮像領域Aは、ステアリングホイール1を把持する、或いはそのコラムシャフトに設けられたコンビネーションスイッチ(図示せず)を操作する運転員の手指を撮像することがない領域であって、しかも運転員が大きく腕を動かすことなく手指を移動させ得る領域として設定されている。これにより運転操作に伴う手指の動きを、誤ってスイッチ操作情報として検出することが防止されている。またオーディオ機器等の操作部2を直接操作する手指についても、これを検出することがないように設定されている。
尚、このように設定された撮像領域Aにギヤシフトレバー(図示せず)が配置されているような場合には、例えばギヤシフトレバーに設けた感圧センサを介して運転員によるギヤシフトレバーの把持を検出するようにしておけば良い。このような工夫を講じておけば、撮像領域Aに延ばされた手指が、ギヤシフトレバーを操作しているか、或いはハンドパターンスイッチ装置を操作している状態であるかを容易に判別することが可能となり、運転操作をスイッチ操作情報として誤って検出することを確実に防ぐことができる。またカメラ3としてステレオ(立体視)カメラを用いて手指の高さ位置(カメラ3からの距離)を検出し、これによって撮像領域Aに延ばされた手指がギヤシフトレバーを操作しているか、或いはギヤシフトレバーの上方空間に位置付けられているかを判別するようにしても良い。
ちなみに上述した如く設定される撮像領域Aは、運転員が肘掛け(アームレスト)5に腕(肘)を乗せたまま、その運転姿勢を崩すことなく自然に腕を伸ばすことができ、しかも仮想的にスイッチ操作する際に運転員が無理なく自然に動かし得る腕や手指の動きの範囲(変位幅)を基準として設定される。特に掌の大きさが一般的に手首から指先までの長さが200mm程度であり、その幅が120mm程度であることを考慮し、前述したように、例えば長さ600mm、幅350mmの略矩形領域として定められている。
このように設定された撮像領域Aによれば、運転操作に伴う手指・腕の動きを検出することなく、ステアリングホイール1から離れた手指の違和感のない自然な動きの下で、その掌や手指を確実に撮像することができる。しかもスイッチ操作に伴って手指の位置が動いても、その動きを上記撮像領域A内に確実に捉えることができるので、手指の形状認識やその移動量(変位量)の検出を比較的簡易な画像処理の下で容易に行うことができる。
また逆に運転員からすれば、その運転姿勢を崩すことなくステアリングホイール1の側方に腕を伸ばすだけで良く、オーディオ機器等の操作部2に直接触れることなく、予め設定された手指形状を形作って手指を動かすだけで所望とするスイッチ操作を行い得る。従って運転員の操作負担を軽くすることができる。また運転操作に伴う手指や腕の動きがスイッチ操作指示として検出されることがないので、ハンドパターンスイッチ装置を意識することなく運転操作に集中することができ、必要に応じて手(腕)を撮像領域Aに移動させるだけで、簡易にスイッチ操作指示を与えることが可能となる等の利点がある。
ここで前述した2値画像からの手指の認識処理について説明する。この認識処理は、図3に示す処理手順に従って、先ずカメラ3により撮像された撮像領域Aの入力画像を所定の閾値に従って、例えば背景部を黒、画像中の腕と掌に相当する部位を白として2値化処理することから開始される〈ステップS1〉。この2値化処理によって、例えば図4に示す如き撮像領域Aの2値化画像が求められる。次いで2値化画像中の腕と掌の画像成分に相当する白領域の重心Gを求め、この重心Gと、該重心Gを通る白画素の連なり方向を解析することで求められる長手方向のモーメントとから手指軸Bを求める〈ステップS2〉。このようにして手指軸Bが白領域の重心Gを通るように求めることで、手指軸Bの位置をより正確に設定することができる。
しかる後、上記手指軸Bに対して直角な第1の走査線S1を、その指先側である2値画像の上側から上記重心Gに至るまでの間に等間隔に複数本設定する〈ステップS3〉。そして前記2値画像の上側から順に上記各走査線S1上での白画像の幅Wをそれぞれ求め、白画像幅wが最大となる走査線S1を検出する〈ステップS4〉。この場合、前記手指軸Bを跨って連続する白画像だけを検出対象として、各走査線S1上での白画像の幅Wを検出することが望ましい。また画像の上側から検出される白画像の幅Wが、その直前の走査線S1において検出された白画像の幅Wよりも大きいか否かを逐次判定しながら、その検出幅がピークとなった走査線S1を白画像の幅Wが最大となる走査線S1として検出するようにすれば良い。
そして上述した如くして検出された白画像の幅Wが最大値となる走査線S1と前記手指軸Bとの交点を、掌の中心位置Cとして検出する〈ステップS5〉。このような処理によって掌の中心位置Cを求めることで、例えば手首に装着した時計やリストバンドに起因して、その2値化画像が図5(a)に示すように腕から掌に至る部位(手首部分)で途切れるような場合や、或いは長袖の衣服を着用していることに起因して手首が隠れ、例えば図5(b)に示すように腕の太さ(幅)が、特に手首部分が異常に太く検出される場合であっても、概して掌の中央部分の幅に比較して手首側の幅が狭いことから、掌の中心位置Cを正確に検出することが可能となる。
しかる後、上述した如く求めた掌の中心位置Cと掌の幅Wとを基準として、2値画像の上側から上記中心位置Cに至るまでの走査線S1において、所定の幅w以上の幅が検出された走査線S1の数を調べる〈ステップS3〉。具体的には各走査線S1において検出される白画像の幅が前述した掌の中心位置Cを通る最大幅Wの[1/7〜1/4]として設定される幅w以上であるか否かを調べる。そして幅w以上の白画像が検出された走査線S1の数が、前述した走査線S1の間隔に応じて予め設定された値以上であるか否かを判定することで、手指軸Bの方向に延びる所定の長さ以上の白画像領域を掌から突き出された指(例えば人差し指)であるとして検出する。例えば上述した如く走査線S1の本数として検出される掌の中心位置Cからの長さが10cm以上であるとき、これを人差し指であるとして検出する。
また同様にして親指を検出する。この親指の検出に際しては、ここでは左手を検出対象として、また人差し指の向きと異なることから、例えば前述した手指軸Bに対して10°程度傾いた第2の走査線S2を掌の中心位置Cから右側に設定する〈ステップS7〉。これは、親指を最大に開いたとしても、親指の向きが手指軸Bに対して若干斜めとなることに着目し、親指を最大に開いたときに親指と走査線S2とが略直交するようにして親指の検出を確実に行い得るようにした為である。
そして2値画像の右側から上記中心位置Cに至るまでの走査線S2において、所定の幅w以上の幅が検出された走査線S2の数を調べる〈ステップS8〉。この場合にも、前述した人差し指の検出の場合と同様に、掌の中心位置Cを通る最大幅Wの[1/7〜1/4]として設定される幅w以上の白画像が検出された走査線S2の数が、所定値以上であるか否かを判定する。そして所定数以上の走査線S2が検出されたたとき、これを掌から右側に突き出された親指であるとして検出する。
以上のような認識処理により、撮像領域Aに翳された掌の手指形状を示す情報と、掌の中心位置Cとが求められる。そして人差し指が検出されるか否か、また親指が検出されるか否かをそれぞれ判定することにより、例えば図6(a)〜(d)にそれぞれ示すように、掌が全ての指を握りしめた「握り拳」形状(手指形状1)であるか、人差し指だけを突き出した「指差し」形状(手指形状2)であるか、また親指だけを突き出した「了解(OK)」形状(手指形状3)であるか、更には人差し指と親指とを突き出した「L字形」形状(手指形状4)であるかがそれぞれ判定される。
ちなみにこの実施形態においては、上述した人差し指と親指とを突き出した「L字形」形状(手指形状4)は、ハンドパターンスイッチ装置に対する操作開始を指示に用いられる。また親指だけを突き出した「了解(OK)」形状(手指形状3)は、押し釦スイッチを把持し、親指によりその押し釦スイッチを押圧操作する形態を模したもの看做して、複数の制御対象の選択指定に用いられる。特にこの手指形状は、「握り拳」形状(手指形状1)と対をなして用いられて、親指の出し入れ(屈伸)による手指形状の変化により上記押し釦スイッチの押圧操作を模して、複数の制御対象の選択情報の入力に用いられる。そして人差し指だけを突き出した「指差し」形状(手指形状2)は、アナログメータの指針を模したものと看做し、指先(または掌)の位置を変化によって制御対象に対する操作量の指示に用いられる。尚、前記「握り拳」形状(手指形状1)は、ハンドパターンスイッチ装置の操作終了を指示するためにも用いられる。
そして前述した操作指示認識部14においては、上述した如く認識される手指形状と掌の位置変化を、例えば図7に示す手順に従って認識処理し、これによって運転員(スイッチ操作者)の手指によるスイッチ操作を解釈して複数の制御対象に対するスイッチ操作情報を出力する。
具体的には操作指示認識部14は、前述した形状認識部13による認識結果と掌の中心位置Cの情報をデータ入力する〈ステップS11〉。そして先ず、スイッチ操作が指示されているか否かを識別する為のフラグFを調べ〈ステップS12〉、フラグFがセットされていない場合[F=0]には、手指形状が前述した操作開始を指示する「ピストル(狙い撃ち)」形状(手指形状4)であるか否かを判定する〈ステップS13〉。そして手指形状4が検出された場合には上記フラグFをセットし〈ステップS14〉、スイッチ操作情報の入力を開始する。尚、手指形状4が検出されない場合には、手指形状4が検出されるまで上述した処理を繰り返し実行する。
具体的には操作指示認識部14は、前述した形状認識部13による認識結果と掌の中心位置Cの情報をデータ入力する〈ステップS11〉。そして先ず、スイッチ操作が指示されているか否かを識別する為のフラグFを調べ〈ステップS12〉、フラグFがセットされていない場合[F=0]には、手指形状が前述した操作開始を指示する「ピストル(狙い撃ち)」形状(手指形状4)であるか否かを判定する〈ステップS13〉。そして手指形状4が検出された場合には上記フラグFをセットし〈ステップS14〉、スイッチ操作情報の入力を開始する。尚、手指形状4が検出されない場合には、手指形状4が検出されるまで上述した処理を繰り返し実行する。
即ち、本装置においては「L字形」形状(手指形状4)が検出された場合にだけ、これをスイッチ操作の入力開始の指示であると認識し、これ以外の場合には偶然的に運転者の手指が撮像領域Aに入り込んだものと看做している。そして上述したフラグFがセットされている場合にだけ、以下に示すスイッチ操作情報の入力処理を開始することで、各種の制御対象に対する誤操作を未然に防止するものとなっている。
一方、上記フラグFがセットされている場合[F=1]には、スイッチ操作の入力処理が開始されているとして〈ステップS12〉、今度は制御対象を指定する機能選択モードが設定されているか否かを識別する為のフラグMを判定する〈ステップS15〉。そしてフラグMがセットされていない場合[M=0]には、手指形状が前述した制御対象を選択する為の「了解(OK)」形状(手指形状3)であるか否かを判定する〈ステップS16〉。手指形状3である場合には上記フラグMをセット[M=1]し、制御対象選択モードを設定する〈ステップS17〉。尚、手指形状3でない場合には、既に制御対象が指定されているとして、後述するスイッチ操作量の入力処理を実行する。
さて上述したように手指形状3を検出して制御対象選択モードが設定されている場合には、次に手指形状が制御対象の切り替えを指示する「握り拳」形状(手指形状1)であるか否かを判定する〈ステップS18〉。そして手指形状1が検出された場合には、前回検出された手指形状が前述した「了解(OK)」形状(手指形状3)であったか否かを判定し〈ステップS19〉、手指形状3から手指形状1への変化が検出されたとき、これを制御対象の切り替え指示であると判断して、制御対象を変更する〈ステップS20〉。この制御対象の変更については、例えば複数の制御対象がオーディオ機器に対する「音量」、エアコン(空調機)に対する「温度」、およびエアコン(空調機)に対する「風量」の3つである場合、後述するようにこれらの制御対象を巡回的に切り替えるようにしておけば良い。
尚、今回、手指形状1が検出されるも前回の手指形状が手指形状3でなかった場合には〈ステップS19〉、この制御対象選択モードにおいて手指形状3から手指形状1への変更がなされていないとしてステップS11からの処理に戻る。また上述したステップS18において手指形状1が検出されなかった場合には、次にその手指形状が前述した手指形状3であるか否かを判定する〈ステップS21〉。そして手指形状3である場合には、制御対象選択モードにおいて手指形状3の状態が維持され、その変更がなされていないとして前述したステップS11からの処理に戻る。また手指形状1および手指形状3でもない場合には〈ステップS18,S21〉、前述したフラグMをリセット[M=0]し、前述した如く設定した制御対象選択モードを解除する。
一方、制御対象選択モードが設定されていない状態において、手指形状3が検出されない場合〈ステップS16〉、或いは制御対象選択モードが解除された場合には〈ステップS22〉、次にその手指形状が前述した人差し指だけを突き出した「指差し」形状(手指形状2)であるか否かを判定する〈ステップS23〉。そして手指形状2が検出された場合には、以下に説明するスイッチ操作量の検出処理を実行する〈ステップS24〉。尚、ステップS23において手指形状2が検出されなかった場合には、その手指形状が「握り拳」形状(手指形状1)であるか否かを判定する〈ステップS25〉。そして所定時間T以上に亘って手指形状1が維持されている場合、前述したフラグF,Mをそれぞれリセット[F=0,M=0]し、スイッチ操作の終了指示されたとして上述した一連の処理を終了する〈ステップS28〉。しかし手指形状2および手指形状1でない場合には〈ステップS23,S25〉、前述したステップS11からの処理に戻って次の指示入力を待つ。また所定時間T以上に亘って手指形状1が維持されない場合、つまり所定時間T内に再度手指形状2に変更されたような場合には〈ステップS27〉、前述したステップS11からの処理に戻って再操作を可能とする。
ここで前述した「指差し」形状(手指形状2)によるスイッチ操作量の検出処理について具体的に説明すると、この処理は概略的には図8に示す処理手順に従って実行される。即ち、このスイッチ操作量の検出処理は、先ず操作量設定モードが設定されているか否かを識別する為のフラグKがセットされている否かを判定することから開始される〈ステップS31〉。そして操作量設定モードが設定されていない場合[K=0]には、先ず前述した如く求められる掌の中心位置Cを操作量検出の為の基準位置Coとして設定し〈ステップS32〉、次いで上記フラグKをセット[K=1]して操作量設定モードを設定すると共に〈ステップS33〉、この操作量設定モードにおいて用いるタイマー値tを零[0]にリセットする〈ステップS34〉。
しかる後、その後に入力されるデータに対しては、既にフラグKがセットされていることから〈ステップS31〉、このときに求められる掌の中心位置Cと前述した如く設定した基準位置Coとの変位距離、具体的には基準位置Coからの移動距離Dを求める〈ステップS35〉。この移動距離Dの算出については、入力画像上での画素間距離として求めれば十分である。そして上述した如く求めた移動距離に従い、例えば予め設定された操作量の検出モードに応じて〈ステップS36〉、時間モードでの操作量の検出処理〈ステップS37〉、或いは距離・時間モードでの操作量の検出処理〈ステップS38〉を選択的に実行する。
ちなみに時間モードは、基準位置Coから変位させた手指や掌の停止時間に応じたスイッチ操作情報を出力するモードであり、オーディオ機器の音量や空調機器における温度等を細かく調節する場合等に好適である。また距離・時間モードは、手指や掌の僅かな移動時にはその移動量に応じたスイッチ操作情報を出力し、手指や掌が所定距離以上移動した場合には、その移動位置での停止時間に応じたスイッチ操作情報を出力するモードである。この距離・時間モードは制御対象を粗調整したり、微調整したりする場合等に好適なものである。
尚、この実施形態においては人差し指形状(手指形状2)でのスイッチ操作量の指示入力は、肘掛け5に載せた腕を中心にして掌を左右に移動させることによって、或いは手首を支点としてその手指を左右に移動させることによって行われる。掌や手指の左右への移動は、前述した撮像領域Aを外れることのない範囲で、例えば角度的に略±45°の範囲で行われる。特にこの実施形態においては、手指形状2とした掌の動き量をそれぞれn段階に分けて検出する。
ここで時間モードによる操作量の検出は、例えば図9にその処理手順を示すように、先ず掌の基準位置Coからの移動量がその最大移動量を判定する設定値(閾値)H,−Hを越えているか否かを判定して行われる〈ステップS40〉。この際、移動距離Dが上記設定値(閾値)H,−Hに至っていない場合には、タイマー値tを零[0]とし〈ステップS41〉、前述したステップS11からの処理に復帰する。
これに対して移動距離Dが設定値(閾値)Hを越えている場合には〈ステップS40〉、タイマー値tをカウントアップする〈ステップS42〉。そしてカウントアップされたタイマー値tが基準時間Tに至ったとき〈ステップS43〉、そのときの設定値(スイッチ操作情報)を1段階増加させる〈ステップS44〉。そしてタイマー値tを零[0]にリセットした後〈ステップS45〉、前述したステップS11からの処理に復帰する。
また移動距離Dが逆向きであって、その閾値−Hを越えている場合には〈ステップS40〉、同様にしてタイマー値tをカウントアップする〈ステップS46〉。そしてカウントアップされたタイマー値tが基準時間Tに至ったとき〈ステップS47〉、そのときの設定(スイッチ操作情報)を1段階減少させる〈ステップS48〉。そしてタイマー値tを零[0]にリセットした後〈ステップS49〉、前述したステップS11からの処理に復帰する。このような一連の処理によって人差し指を立てた掌が左右に所定の距離を移動して停止したとき、その停止時間に応じて制御対象に対する操作情報(設定値)が1段ずつ増加または低減されて、そのスイッチ操作情報が出力される。
これに対して距離・時間モードによる操作量の検出は、例えば図10にその処理手順を示すように、先ず掌の基準位置Coからの移動距離Dがその最大移動量を判定する設定値(閾値)H,−Hを越えているか否かを判定して行われる〈ステップS50〉。そしてその判定閾値H,−Hを越えている場合には、ステップS42a,〜S45a、およびステップS46a,〜S49aにそれぞれ示すように、前述した時間モードの場合と同様にその最大移動位置での人差し指を立てた掌の停止時間に応じて制御対象に対する操作情報(設定値)を可変設定する。
しかし掌の基準位置Coからの移動距離Dがその最大移動量に達しない場合には〈ステップS50〉、今回検出された移動距離Dと前回検出されている移動距離D’とを比較して人差し指を立てた掌の移動の向きを判定する〈ステップS51〉。そしてその移動の向きに応じて前述した基準位置Coからの移動距離Dが、所定の検出単位距離hの整数倍として規定される検出距離[h*(n−1)]を越えて変化したか否かを判定する〈ステップS52,S53〉。但し、上記nは検出距離を設定するパラメータである。そして上記判定用の検出距離[h*(n−1)]を越えて掌が移動した場合には、上記パラメータnをインクリメントして次の判定用の検出距離を設定し、制御対象に対する操作情報(設定値)が1段階増加または1段階低減する〈ステップS56,S57〉。
このような距離・時間モードによる操作量の検出処理によれば、基準位置Coからの人差し指を立てた掌の移動距離Dに応じてスイッチ操作量を略連続的に与えることができる。そして人差し指を立てた掌を大きく移動させたときには、その停止位置での停止時間に応じてスイッチ操作量を連続的に変化させることが可能となる。これらの掌や手指の動きによってスイッチ操作量を、速やかに、しかも必要に応じて細かく設定することが可能となる。
かくして上述した如く手指の形状および掌の移動を検出して運転員(スイッチ操作者)のスイッチ操作意図を識別する操作指示認識部14によれば、例えば図11に示すように予め設定された手指形状を作り、手指および/または掌を動かすだけで、オーディオ機器や空調機器等の操作部2に触れることなく、簡易に各種制御対象に対するスイッチ情報を入力することができる。
即ち、運転員がステアリングホイール1を握って車両を操舵している場合には、初期状態P1に示すように運転員の手指は撮像領域Aから外れており、そのときの入力画像は車室内の背景として排除処理される画像成分だけである。従ってこの場合には、ハンドパターンスイッチ装置が作動することはない。これに対して運転員の手指がステアリングホイール1を外れて操作状態P2に示すように撮像領域A内に入り込み、その手指形状が「L字形」形状(手指形状4)である場合には、前述したようにハンドパターンスイッチ装置の操作開始が指示されたと判定され、例えば「ピッ」なる確認音を発して装置を待機(スタンバイ)状態に競っている。
次いで手指形状が動作状態P3に示すように前述した親指だけを突き出した「了解(OK)」形状(手指形状3)に設定されると、これを検出して機能切り替えモード(制御対象選択モード)を設定する。そしてこの場合には、機能切り替えモードが設定されている旨を運転員(操作者)に提示するべく、例えば音声メッセージを発したり、オルゴールを鳴らす。そしてこの期間において親指が折り曲げられて拳形状(手指形状1)に変更されたとき、これを押し釦スイッチ操作であると判定して、制御対象を切り替える。この制御対象の切り替え時には、例えば前述したように「音量」,「温度」,「風量」と言う具合にスイッチ操作が検出される都度、例えば「音量調整モードが設定されました」,「温度調整モードが設定されました」,「風量調整モードが設定されました」等の音声ガイダンス(音声メッセージ)を通知することもできる。また簡略的には「音量」,「温度」,「風量」等の単語を音声メッセージとして発するようにしても良い。このようなガイダンスにより運転員は、その操作状態を目で確認することなく認識することが可能となるので運転操作に専念することが可能となる。
しかる後、所望とする制御対象が設定されたならば、動作状態P4に示すように手指形状を「指差し」形状(手指形状2)に設定する。するとこの手指形状2を認識することで、前述した操作量の設定モードが設定される。そして予め設定されている操作モードに応じて、動作状態P5a或いは動作状態P5bに示すように「指差し」形状(手指形状2)とした掌を左右に動かし、これによって前述した如く設定した制御対象に対するスイッチ操作量の情報入力を行う。そして所望とするスイッチ操作が完了したならば、手指形状を動作状態P6に示すように「握り拳」形状(手指形状1)とすることで、その操作終了我の装置に対して指示される。
尚、前述した「指差し」形状(手指形状2)の拳を左右に動かしてスイッチ操作量の情報を入力している途中において、再度、親指だけを突き出した「了解(OK)」形状(手指形状3)が設定された場合には、その時点でスイッチ操作情報の入力処理を終了し、改めて制御対象の選択切り替えからの処理を実行すればよい。従って複数の制御対象を順次操作した場合であっても、その認識処理自体を中断することなく、連続的に複数の制御対象を繰り返し操作することが可能となり、その使い勝手を高めることが可能となる。
かくして上述した如く構成されたハンドパターンスイッチ装置によれば、簡易にして効果的に、しかも運転操作に伴う手指や腕の動きの影響を受けることなしに、予め設定された手指形状とその動きによるスイッチ操作指示を的確に検出することができる。そしてその検出結果に応じて、所定の車両搭載機器に対して適切にスイッチ操作情報を与えることが可能となる。またスイッチ操作を指示する手指を撮像する領域(撮像領域A)が、ステアリングホイール1の側方の位置であって、運転員がその運転姿勢を崩すことなく自然に腕を伸ばし得る範囲に設定されているので、運転員に操作負担を掛けることがない。従ってオーディオ機器等の操作部2を直接操作する感覚を維持しながら、容易にハンドパターンスイッチ装置を介してスイッチ操作情報を指示入力することが可能となる等の実用上多大なる効果が奏せられる。
特にこのハンドパターンスイッチ装置によれば、前述したような特異な手指形状を用いてスイッチ操作情報の入力開始を指示するようにしているので、スイッチ操作の意図なく不本意に撮像領域Aに掌を延ばした場合であっても、これによって不本意なスイッチ操作情報が入力されることがない。従って各種制御機器の誤操作や不本意な操作を確実に防止することができる。また前述したようにスイッチ操作に用いることのない手指形状であって、しかも自然性の高い手指形状を操作開始の指示用として設定しているので、その操作者に負担を掛けることがない等の効果が奏せられる。
尚、本発明は上述した実施形態に限定されるものではない。実施形態においては右ハンドル車を前提として説明したが、左ハンドル車の場合にも同様に適用可能なことは言うまでもなく、またトラック等の大型車に限らず普通乗用車等にも同様に適用可能である。その制御対象についても、例えば図12に示すようにワイパのオン・オフやその作動間隔の調整、サイドミラーの開閉等に拡張することも勿論可能である。この場合、その制御対象を系統立ててツリー状に分類しておき、これらの制御対象を段階的に選択していくようにすれば良い。
具体的には複数の制御対象を「走行装置系」と「快適装備系」とに大分類し、「走行装置系」については更に「方向指示器」,「ワイパー」,「ライト」,「ミラー」のように中分類する。そしてこれらの中分類された各制御対象毎に、その複数の機能を小分類しておけばよい。同様に「快適装備系」についても「オーディオ」と「エアコン」とに中分類し、更に「オーディオ」については「ラジオ」,「CD」,「テープ」,「MD」等の機器種別毎に分類し、これらの機器種別毎にその操作形態や音量等を機能分類しておくようにすれば良い。但し、徒に分類項目を設定した場合、その選択処理自体が複雑化するので、実際的には必要最小限の制御対象だけを選択し得るように設定しておくことが、その操作性の点で好ましい。
また情報入力に用いる手指の形状については、上述した例に限定されないことも言うまでもない。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。
1 ステアリングホイール
2 オーディオ機器等の操作部
3 カメラ
11 2値化処理部
12 重心位置検出部
13 形状認識部
14 操作指示認識部
15 メモリ
16 形状判定部
17 変位量検出部
18 タイマ
19 ガイド部
2 オーディオ機器等の操作部
3 カメラ
11 2値化処理部
12 重心位置検出部
13 形状認識部
14 操作指示認識部
15 メモリ
16 形状判定部
17 変位量検出部
18 タイマ
19 ガイド部
Claims (2)
- 所定の撮像領域におかれた手指を撮像し、その入力画像から手指形状および/または手指の動きを検出して所定のスイッチ操作情報を得るハンドパターンスイッチ装置であって、
前記入力画像から検出される手指形状が、スイッチ操作を実行する手指形状とは異なる予め設定された特異な手指形状であることを検出して、前記手指形状および/または手指の動きの検出によるスイッチ操作情報の取得動作を開始することを特徴とするハンドパターンスイッチ装置。 - 前記特異な手指形状は、掌を略水平にして親指と人差し指とを立て、残りの指を内側に曲げた形状からなる請求項1に記載のハンドパターンスイッチ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003291381A JP2005063092A (ja) | 2003-08-11 | 2003-08-11 | ハンドパターンスイッチ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003291381A JP2005063092A (ja) | 2003-08-11 | 2003-08-11 | ハンドパターンスイッチ装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005063092A true JP2005063092A (ja) | 2005-03-10 |
Family
ID=34369085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003291381A Withdrawn JP2005063092A (ja) | 2003-08-11 | 2003-08-11 | ハンドパターンスイッチ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005063092A (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006137895A (ja) * | 2004-11-15 | 2006-06-01 | Ge Toshiba Silicones Co Ltd | 光学材料用ポリオルガノシロキサン組成物 |
WO2011007746A1 (ja) * | 2009-07-17 | 2011-01-20 | 大日本印刷株式会社 | 指先操作型情報提供システム、対話操作装置、コンピュータープログラム、及び記録媒体 |
CN102193626A (zh) * | 2010-03-15 | 2011-09-21 | 欧姆龙株式会社 | 手势识认装置、手势识认装置的控制方法、以及控制程序 |
CN102236409A (zh) * | 2010-04-30 | 2011-11-09 | 宏碁股份有限公司 | 基于影像的动作手势辨识方法及系统 |
JP2013020434A (ja) * | 2011-07-11 | 2013-01-31 | Konica Minolta Business Technologies Inc | プレゼンテーションシステム、プレゼンテーション装置およびプログラム |
JP2013222317A (ja) * | 2012-04-17 | 2013-10-28 | Toshiba Mach Co Ltd | 数値制御装置 |
JP2014019442A (ja) * | 2012-07-20 | 2014-02-03 | Robert Bosch Gmbh | グリップ監視装置を備える自動二輪車ハンドル装置 |
CN103869974A (zh) * | 2012-12-18 | 2014-06-18 | 现代自动车株式会社 | 用于手势有效部分检测的系统和方法 |
KR101496015B1 (ko) * | 2013-07-19 | 2015-03-04 | 현대다이모스(주) | 동작 인식 시트 제어 장치 |
JP2015168304A (ja) * | 2014-03-05 | 2015-09-28 | 株式会社デンソー | 検知装置 |
JPWO2015015843A1 (ja) * | 2013-08-02 | 2017-03-02 | 三菱電機株式会社 | ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体 |
JP2017118247A (ja) * | 2015-12-22 | 2017-06-29 | 東芝三菱電機産業システム株式会社 | 指向性音声案内装置 |
JP2017211988A (ja) * | 2016-05-27 | 2017-11-30 | トヨタ自動車株式会社 | 階層型コンテキストアウェアによる手足の検出 |
JP2018018255A (ja) * | 2016-07-27 | 2018-02-01 | パイオニア株式会社 | 認識装置及び認識方法 |
US9939912B2 (en) | 2014-03-05 | 2018-04-10 | Denso Corporation | Detection device and gesture input device |
CN109690446A (zh) * | 2016-09-26 | 2019-04-26 | 华为技术有限公司 | 一种交互方法及电子设备 |
US10481697B2 (en) | 2016-03-11 | 2019-11-19 | Panasonic Intellecutal Property Management Co., Ltd. | System and input method for receiving input in response to motion of user |
US10558271B2 (en) | 2016-03-18 | 2020-02-11 | Panasonic Intellectual Property Management Co., Ltd. | System for receiving input in response to motion of user |
-
2003
- 2003-08-11 JP JP2003291381A patent/JP2005063092A/ja not_active Withdrawn
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006137895A (ja) * | 2004-11-15 | 2006-06-01 | Ge Toshiba Silicones Co Ltd | 光学材料用ポリオルガノシロキサン組成物 |
WO2011007746A1 (ja) * | 2009-07-17 | 2011-01-20 | 大日本印刷株式会社 | 指先操作型情報提供システム、対話操作装置、コンピュータープログラム、及び記録媒体 |
JP2011022945A (ja) * | 2009-07-17 | 2011-02-03 | Dainippon Printing Co Ltd | 指先操作型情報提供システム、プログラム、記録媒体 |
CN102193626A (zh) * | 2010-03-15 | 2011-09-21 | 欧姆龙株式会社 | 手势识认装置、手势识认装置的控制方法、以及控制程序 |
CN102193626B (zh) * | 2010-03-15 | 2015-01-21 | 欧姆龙株式会社 | 手势识认装置、手势识认装置的控制方法 |
CN102236409A (zh) * | 2010-04-30 | 2011-11-09 | 宏碁股份有限公司 | 基于影像的动作手势辨识方法及系统 |
US9740291B2 (en) | 2011-07-11 | 2017-08-22 | Konica Minolta Business Technologies, Inc. | Presentation system, presentation apparatus, and computer-readable recording medium |
JP2013020434A (ja) * | 2011-07-11 | 2013-01-31 | Konica Minolta Business Technologies Inc | プレゼンテーションシステム、プレゼンテーション装置およびプログラム |
JP2013222317A (ja) * | 2012-04-17 | 2013-10-28 | Toshiba Mach Co Ltd | 数値制御装置 |
JP2014019442A (ja) * | 2012-07-20 | 2014-02-03 | Robert Bosch Gmbh | グリップ監視装置を備える自動二輪車ハンドル装置 |
CN103869974A (zh) * | 2012-12-18 | 2014-06-18 | 现代自动车株式会社 | 用于手势有效部分检测的系统和方法 |
CN103869974B (zh) * | 2012-12-18 | 2019-01-22 | 现代自动车株式会社 | 用于手势有效部分检测的系统和方法 |
KR101496015B1 (ko) * | 2013-07-19 | 2015-03-04 | 현대다이모스(주) | 동작 인식 시트 제어 장치 |
JPWO2015015843A1 (ja) * | 2013-08-02 | 2017-03-02 | 三菱電機株式会社 | ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体 |
US9939912B2 (en) | 2014-03-05 | 2018-04-10 | Denso Corporation | Detection device and gesture input device |
JP2015168304A (ja) * | 2014-03-05 | 2015-09-28 | 株式会社デンソー | 検知装置 |
JP2017118247A (ja) * | 2015-12-22 | 2017-06-29 | 東芝三菱電機産業システム株式会社 | 指向性音声案内装置 |
US10481697B2 (en) | 2016-03-11 | 2019-11-19 | Panasonic Intellecutal Property Management Co., Ltd. | System and input method for receiving input in response to motion of user |
US10558271B2 (en) | 2016-03-18 | 2020-02-11 | Panasonic Intellectual Property Management Co., Ltd. | System for receiving input in response to motion of user |
JP2017211988A (ja) * | 2016-05-27 | 2017-11-30 | トヨタ自動車株式会社 | 階層型コンテキストアウェアによる手足の検出 |
JP2018018255A (ja) * | 2016-07-27 | 2018-02-01 | パイオニア株式会社 | 認識装置及び認識方法 |
CN109690446A (zh) * | 2016-09-26 | 2019-04-26 | 华为技术有限公司 | 一种交互方法及电子设备 |
CN109690446B (zh) * | 2016-09-26 | 2021-06-01 | 华为技术有限公司 | 一种交互方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3752246B2 (ja) | ハンドパターンスイッチ装置 | |
JP2005063092A (ja) | ハンドパターンスイッチ装置 | |
KR100575906B1 (ko) | 핸드 패턴 스위치 장치 | |
JP2005063090A (ja) | ハンドパターンスイッチ装置 | |
JP5261554B2 (ja) | 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース | |
JP2005242694A (ja) | ハンドパターンスイッチ装置 | |
US5621457A (en) | Sighting direction detecting device for vehicle | |
US8270669B2 (en) | Apparatus for extracting operating object and apparatus for projecting operating hand | |
JP2009129171A (ja) | 移動体に搭載される情報処理装置 | |
KR101438615B1 (ko) | 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
JP2006285370A (ja) | ハンドパターンスイッチ装置及びハンドパターン操作方法 | |
CN110968184B (zh) | 设备控制装置 | |
WO2018061603A1 (ja) | ジェスチャ操作システム、ジェスチャ操作方法およびプログラム | |
KR20140072734A (ko) | 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
KR101518904B1 (ko) | 차량용 조작 장치 | |
KR20140079159A (ko) | 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
JP3933139B2 (ja) | コマンド入力装置 | |
JP2006312347A (ja) | コマンド入力装置 | |
CN110520822B (zh) | 控制装置、信息处理系统、控制方法和程序 | |
JP3742951B2 (ja) | ハンドパターンスイッチ装置 | |
JP2006282145A (ja) | コマンド入力装置 | |
JP2006298003A (ja) | コマンド入力装置 | |
JP2006327526A (ja) | 車載機器の操作装置 | |
JP3867039B2 (ja) | ハンドパターンスイッチ装置 | |
JP2004171476A (ja) | ハンドパターンスイッチ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060606 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060607 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070806 |