JP2004145723A - Hand pattern switching device - Google Patents

Hand pattern switching device Download PDF

Info

Publication number
JP2004145723A
JP2004145723A JP2002311291A JP2002311291A JP2004145723A JP 2004145723 A JP2004145723 A JP 2004145723A JP 2002311291 A JP2002311291 A JP 2002311291A JP 2002311291 A JP2002311291 A JP 2002311291A JP 2004145723 A JP2004145723 A JP 2004145723A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
hand
shape
switch
operation
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002311291A
Other languages
Japanese (ja)
Other versions
JP3867039B2 (en )
Inventor
Hiroya Igarashi
Shinji Ozawa
Hideo Saito
Hiromitsu Sato
Keiichi Yamamoto
五十嵐 弘也
佐藤 広充
小澤 愼治
山本 恵一
斎藤 英雄
Original Assignee
Keio Gijuku
Mitsubishi Fuso Truck & Bus Corp
三菱ふそうトラック・バス株式会社
学校法人慶應義塾
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a hand pattern switching device capable of recognizing a driver's intention and obtaining switch operation information from the shape or movement of the driver's finger. <P>SOLUTION: The preset finger shape of the finger recognized from an input image and the non-displacement of a hand detection position over a predetermined period of time are recognized as indications to start a switch operation (operation start recognizing means). After the switch operation is started, each time the finger newly recognized describes a preset pattern of movement while assuming the preset shape, one of the plurality of targets to be switched is selected (switch target setting means). After the target to be switched is selected, information on the switch operation on the target to be switched is obtained according to the shape of the finger and/or the movement of the hand (operation detecting means). <P>COPYRIGHT: (C)2004,JPO

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく、また車両の運転を妨げることなしに簡易に操作するに好適なハンドパターンスイッチ装置に関する。 The present invention, the operation of the vehicle-mounted devices such as air-conditioning equipment, audio equipment, without touching the operation panel of said vehicle-mounted device, also suitable hand pattern switch device operated easily without interfering with the operation of the vehicle on.
【0002】 [0002]
【関連する背景技術】 [Related Art]
空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく操作する技術として、カメラを用いて運転者の身体の一部(例えば左手)を撮像し、その画像パターンを認識して上記車両搭載機器に対する操作情報を得ることが提唱されている(例えば特許文献1参照)。 The operation of the vehicle-mounted devices such as air-conditioning equipment and audio equipment, as a technique for manipulating without touching the operation panel of said vehicle-mounted device, a part of the driver's body using a camera (e.g., left hand) imaging, their recognizing an image pattern to obtain the operation information of the vehicle-mounted device has been proposed (e.g. see Patent Document 1). また運転者の手指の形状や動きとして示されるジェスチァを検出して車両搭載機器に対する操作情報を得ることも提唱されている(例えば特許文献2参照)。 Also by detecting the Jesuchia shown as the shape and movement of a finger of the driver it has also been proposed to obtain the operation information of the vehicle-mounted device (for example, see Patent Document 2).
【0003】 [0003]
この種の技術は、例えば手指を撮像した画像から手指の形状を認識するパターン認識処理や、認識した掌の位置変化を追跡することでその動きを検出する動き検出処理等によって実現されるもので、ハンドパターンスイッチ等と称される。 This type of technique, for example intended to be implemented by a motion detection process that detects the movement by tracking shapes and recognizing pattern recognition processing of fingers, the position change of the recognized palm the hand from the image captured , referred to as the hand pattern switch or the like.
【0004】 [0004]
【特許文献1】 [Patent Document 1]
特開平11−134090号公報【特許文献2】 JP 11-134090 [Patent Document 2]
特開2001−216069号公報【0005】 Japanese Unexamined Patent Publication No. 2001-216069 Publication [0005]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
ところで車両に搭載されたハンドパターンスイッチ装置は、基本的には予め設定されている手指の撮像領域(認識領域)に存在する運転員の手指の形状やその動きを検出するだけである。 Incidentally hand pattern switching apparatus mounted on the vehicle, only detect the shape and the movement of the finger of the operator that is present in the imaging area of ​​the finger that is basically set in advance (recognition area). この為、例えば運転操作に伴って不本意に運転員の手指が上記撮像領域に侵入すると、そのときの手指の形状や動きまでが検出することになる。 Therefore, for example, a finger of undesirably operator along with the driving operation from entering the imaging area, so that until the shape and movement of the fingers at that time is detected. すると運転員(スイッチ操作者)の意図に拘わることなく、誤ってスイッチ操作情報が出力される虞がある。 Then without relating to the intention of the operator (switch operator), there is a possibility to be erroneously switch operation information output.
【0006】 [0006]
また手指の撮像領域(認識領域)内に、例えばギヤシフトレバーのような運転操作機器が存在すると、その運転操作機器を操作する手指の動きまでを検出することになり、この場合にも運転員の意図とは関係のないスイッチ操作情報が出力されることになる。 Also in the imaging area of ​​the finger (recognition area), for example, the driving operation equipment, such as a gear shift lever is present, will be detected until the movement of the fingers to operate the driving operation equipment, the operator also in this case It intended so that the switch operation information unrelated is output from. 従ってハンドパターンスイッチ装置においては、撮像領域内に存在する手指が該スイッチ装置の操作を意図するものであるか否かを区別することが重要となる。 Accordingly, in a hand pattern switching device, finger present in the imaging area is important to distinguish whether the intended operation of the switch device.
【0007】 [0007]
本発明はこのような事情を考慮してなされたもので、その目的は、運転員(スイッチ操作者)の意図を確実に認識し、その撮像領域(認識領域)に存在する手指の形状や動きから各種制御対象に対するスイッチ操作情報を確実に得ることのできる操作性(取扱い性)の良いハンドパターンスイッチ装置を提供することにある。 The present invention has been made in view of such circumstances, and its object is to recognize surely the intention of the operator (switch operator), the shape and movement of the fingers present in the imaging area (recognition area) and to provide a good hand pattern switch device operability that can be reliably obtained switch operation information (handling properties) for various control target from.
【0008】 [0008]
【課題を解決するための手段】 In order to solve the problems]
上述した目的を達成するべく本発明に係るハンドパターンスイッチ装置は、所定の撮像領域におかれた手指を撮像し、その入力画像から手指形状を認識すると共に上記撮像領域内における掌の動きを検出して所定のスイッチ操作情報を得るものであって、 Hand pattern switch device according to the present invention in order to achieve the above objects, images the finger placed on the predetermined imaging area, detects a palm of motion in the imaging region recognizes the hand posture from the input image It is one to obtain predetermined switch operation information and,
特に入力画像から認識した手指形状が予め設定した第1の手指形状をなして前記撮像領域内における掌の検出位置が所定時間に亘って変位しないことを検出してスイッチ操作の開始を認識する操作開始認識手段と、スイッチ操作の開始後、新たに認識した手指形状が予め設定した第2の手指形状をなして前記撮像領域内において検出される掌の動きが予め設定した動きパターンを描く都度、複数のスイッチ制御対象の中の1つを巡回的に選択するスイッチ対象設定手段と、そしてスイッチ制御対象が選択された後、前記撮像領域内において検出される手指の形状および/または掌の動きに応じて上記スイッチ制御対象に対するスイッチ操作情報を求める操作検出手段とを備えたことを特徴としている。 Operation recognizes the start of the switch operation detecting position of the palm is detected that not displaced for a predetermined time, particularly in the first of the imaging area forms a hand shape human hand posture recognized from the input image is set in advance each draw and start recognition means, after the start of the switch operation, the motion pattern palm action is previously set to be detected in the form of newly recognized second hand shaped finger shape is preset with the imaging area, and switching the target setting means for selecting one of a plurality of switches controlled object cyclically, and after the switch control target is selected, the shape and / or palm action of the fingers to be detected in the imaging area in response is characterized by comprising an operation detection means for obtaining a switch operation information to said switch control object.
【0009】 [0009]
即ち、本発明に係るハンドパターンスイッチ装置は、入力画像から認識される手指の形状が予め設定した手指形状であって、しかもその手指の検出位置が所定時間に亘って変化しない(停止している)とき、この状態を運転員(スイッチ操作者)によるスイッチ装置の操作意図であると認識し、その上でその後の手指の形状や動きを認識して所定のスイッチ操作情報を出力するようにしたことを特徴としている。 That is, the hand pattern switch device according to the present invention is a hand-shaped shape of the fingers to be recognized from the input image is set in advance, yet the detected position of the finger by a predetermined time does not change over (stop ) time, recognizes this state as an operation intention of the switching device by the operator (the switch operator), and outputs a predetermined switch operation information to recognize the shape and movement of the subsequent finger thereon it is characterized in that.
【0010】 [0010]
好ましくは前記操作開始認識手段においては、予め設定された第1の手指形状をなす手指が、例えばその撮像領域(認識領域)内に設けられているギヤシフトレバーのような特定の物を把持し、または特定の物に触れてないことを確認してスイッチ操作の開始を決定する確認機能を備えるようにしても良い。 Preferably in the above operation start recognition means, by grasping the finger forming the first hand posture which is set in advance, for example, certain things such as gear shift lever provided in the imaging area (recognition area), or to ensure that no touching the specific object may be provided with a confirmation function of determining the start of the switch operation. この確認機能としては、例えば上記特定の物に組み込まれた接触(圧力)センサからの出力をモニタするような機能として実現される。 As the confirmation function, for example, be implemented as a function to monitor the output from said specific object built into contact (pressure) sensor.
【0011】 [0011]
また前記第1の手指形状を、例えば物を把持する際の形状とし、また前記第2の手指形状を、例えば物を指差す際の形状としてそれぞれ設定し、実際のスイッチ類を操作する場合の手指形状を模擬したものとしておけば、感覚的にスイッチ操作にとまどいがなくなり、直感的に意図する手指形状を形作ることが可能となるので、その操作性を良好なものとすることができる。 The addition of the first hand posture, for example a shape when gripping an object, also the second hand posture, respectively set, for example, things as the shape when Pointing, when operating the actual switches if it is assumed that simulates the hand posture, sensuously it eliminates confusion to the switch operation, since it is possible to shape the intuitively intended hand posture can be the operability excellent.
【0012】 [0012]
更には所定の手指形状とその動きによってスイッチ制御対象が選択された後、認識した手指形状が予め設定した第3の手指形状をなして前記撮像領域内における手の検出位置が所定時間に亘って変位しないことを検出して前記操作検出手段の起動を促す動作切換手段を設けておけば、制御対象の選択動作と選択した制御対象に対するスイッチ操作情報の入力動作とを明確に区別してその認識処理を実行することが可能となる。 Moreover after being selected switch control target by a predetermined hand shape and their movement, by detecting the position of the hand in the imaging area to form the recognized third finger-shaped finger shape is preset with the for a predetermined time if provided operation switching means for prompting the start of the operation detection means detects that not displaced, the recognition process clearly distinguish between input operation of the switch operation information for the selected control object with the selected operation control object it is possible to run.
【0013】 [0013]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、図面を参照して本発明の一実施形態に係るハンドパターンスイッチ装置について説明する。 The following describes the hand pattern switch device according to an embodiment of the present invention with reference to the drawings.
図1は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現される装置の機能を示している。 Figure 1 is a diagram showing a schematic configuration of the essential parts of embodiment device, which is a function of the device realized by state and a micro computer or the like of the driver's seat in the vehicle. 運転席には運転員(ドライバ)によって操舵されるステアリングホイール(ハンドル)1やコンビネーションスイッチ(図示せず)等が設けられ、またそのコンソールパネルにはオーディオ機器や空調機器等の操作部2が設けられている。 Operation (not shown) steering wheel 1 and a combination switch which is steered by an operator (driver) seat or the like is provided, also the operation section 2, such as audio equipment and air conditioning equipment provided on the console panel It is. このような運転席上方の天井には、ステアリングホイール1の側方を撮像領域とし、該撮像領域に向けて腕を伸ばした運転員の手指を撮像するビデオカメラ3が設けられている。 Such a ceiling of the driver's seat upward, the side of the steering wheel 1 and an imaging region, a video camera 3 for imaging the finger of the operator who stretched arms toward the imaging region is provided. このカメラ3は、CCDカメラ等の小型のものからなる。 The camera 3 is composed of a small size such as a CCD camera.
【0014】 [0014]
ちなみに前記カメラ3による撮像領域3aは、図2に示すようにステアリングホイール1の側方の、該ステアリングホイール1の外周部から少なくとも50mm離れた位置、好ましくは100mm程度離れた位置として設定されている。 Incidentally the imaging area 3a by the camera 3, the side of the steering wheel 1 as shown in FIG. 2, at least 50mm away from the outer periphery of the steering wheel 1, is preferably set as a position separated approximately 100mm . またこの撮像領域3aは、ステアリングホイール1の側方に腕を伸ばした運転員の掌の指先方向に略600mm、また掌の幅方向に略350mmの大きさを有する略長方形状の領域として設定されている。 Also the imaging area 3a is set as a substantially rectangular area having a size of approximately 350mm in the palm of the fingertip direction of the driver who extended the arm on the side of the steering wheel 1 substantially 600 mm, also in the width direction of the palm ing.
【0015】 [0015]
このようにして設定された撮像領域3aは、ステアリングホイール1を把持する、或いはそのコラムシャフトに設けられたコンビネーションスイッチ(図示せず)を操作する運転員の手指を撮像することがない領域である。 Such imaging area 3a which is set in the grips the steering wheel 1, or is a region not to image the finger of the operator to operate the combination switch (not shown) provided on the column shaft . 特に運転員が運転席の側部に設けられた腕掛け(アームレスト)5に腕を乗せたまま、その運転姿勢を崩すことなく腕を伸ばし得る位置であって、オーディオ機器等の操作部2に手指が触れることのない位置である。 Especially while the operator is carrying the arms in the arm seat (armrest) 5 provided on the side of the driver's seat, a position which may extend the arm without breaking the driving position, the operating unit 2, such as audio equipment is a position that does not have fingers touch.
【0016】 [0016]
尚、このように設定された撮像領域3aにギヤシフトレバー(図示せず)が配置されているような場合には、撮像領域3aに伸ばされた手指がギヤシフトレバーを操作している状態であるか、或いはスイッチ操作を行う状態であるかを判定する確認機能を設けておくことが好ましい。 Incidentally, either the case that the gear shift lever (not shown) is disposed in this way set imaging area 3a, a state in which the finger which extended into the imaging area 3a is operating the gear shift lever , or is preferably provided for determining check function whether the state for switching operation. この確認機能としては、例えばギヤシフトレバーに設けた感圧センサを介して運転員によるギヤシフトレバーの把持を検出するようにしておけば良い。 As the confirmation function, for example, it suffices to detect the gripping of the gear shift lever by the operator via a pressure sensitive sensor provided in the gear shift lever. このような工夫を講じておけば、撮像領域3aに延ばされた手指が、ギヤシフトレバーを操作しているか、或いはハンドパターンスイッチ装置を操作している状態であるかを容易に判別することが可能となり、運転操作をスイッチ操作情報として誤って検出することを確実に防ぐことができる。 If taken such contrivance that the fingers which extend in the imaging area 3a is either operating the gear shift lever, or either the easily determine a state of operating the hand pattern switch device possible and it can be reliably prevented from being erroneously detected driving operation as switch operation information. またカメラ3としてステレオ(立体視)カメラを用いて手指の高さ位置(カメラ3からの距離)を検出し、これによって撮像領域3aに延ばされた手指がギヤシフトレバーを操作しているか、或いはギヤシフトレバーの上方空間に位置付けられているかを判別するようにしても良い。 The detecting the height position of the fingers (distance from the camera 3) using a stereo (stereo) camera as the camera 3, thereby either finger which extended into the imaging area 3a is operating the gear shift lever, or it may be determined whether the positioned above the space of the gear shift lever.
【0017】 [0017]
さてハンドパターンスイッチ装置は、基本的には上記カメラ3によって撮像される運転員の手指の形状や動きをその入力画像から認識処理し、その認識結果に基づいて所定のスイッチ操作情報を得るものであり、上記操作部2に代わって前述したオーディオ機器や空調機器等に対してスイッチ操作情報を与える役割を担う。 Now the hand pattern switch device is basically intended to obtain a predetermined switch operation information based on the shape and movement of the fingers of the operator captured by the camera 3 recognizes processed from the input image, the recognition result There responsible give switch operation information to the operation unit 2 audio equipment and air conditioning equipment such as described above in place of.
【0018】 [0018]
具体的にはハンドパターンスイッチ装置は、図1に示すようにカメラ3によって撮像された入力画像を2値化処理してその背景画像成分を除去し、手指の画像だけを抽出する2値化処理部11と、2値化処理によって抽出された画像から手指の形状を認識する形状認識部12、および認識した手指の形状からその掌の重心位置を求める重心検出部13を備える。 Hand pattern switching device in particular is to binarizing input image captured by the camera 3 as shown in FIG. 1 to remove the background image component, binarization processing for extracting only the image of the finger and parts 11, and a center-of-gravity detecting unit 13 for obtaining the center of gravity of the palm from the shape of the fingers which recognize the shape of the hand shape recognition unit 12, and recognizes from the extracted image by binarization processing.
【0019】 [0019]
更にハンドパターンスイッチ装置は、上記形状認識部12による認識結果、および重心検出部13により検出された掌の重心位置に従って運転員の手指の形状やその動きにより示されるスイッチ操作を認識する操作指示認識部14を備える。 Furthermore the hand pattern switching device, the recognition result, and the operation instruction recognition that recognizes the switch operation indicated by the shape and the movement of the finger of the operator in accordance with the position of the center of gravity of the palm detected by the gravity center detection section 13 according to the shape recognition part 12 It comprises a section 14. この操作指示認識部14は、概略的にはメモリ15に予め登録された手指形状パターンを参照しながらその手指形状を判定(識別)する形状判定部16、掌の重心位置の移動を追跡して手指の変位を検出する変位量検出部17、および掌の動きを時間経過として監視するタイマ18を備える。 The operation instruction recognizing section 14, the schematic shape determination unit 16 to determine its human hand posture while referring to hand shape pattern registered in advance in the memory 15 (identification), was tracking the palm center of gravity displacement amount detecting unit 17 detects the displacement of the finger, and a timer 18 for monitoring the palm action as time elapses. そして操作指示認識部14は、これらの判定・監視結果に基づいて、運転員の手指の形状とその動きとによって特定される所定のスイッチ操作情報を求め、このスイッチ操作情報を前記オーディオ機器や空調機器等に対して出力するように構成される。 The operational instruction recognizing section 14, based on these determination and monitoring results, obtains a predetermined switch operation information specified by the shape of the finger of the operator and its motion, the audio equipment and air-conditioning the switch operation information and to output to the device or the like.
【0020】 [0020]
尚、操作指示認識部14には、上述した判定結果等に従って運転員に対して所定のガイダンス(アナウンス)を行うガイド部19が設けられている。 Note that the operation instruction recognizing section 14, the guide unit 19 that performs predetermined guidance (announcement) is provided for the operator in accordance with determination results of the above. このガイダンスは、例えばオーディオ機器や空調機器(操作対象機器)、更には音量・チャネル設定、或いは風量・温度等(操作対象機能)を特定する音声メッセージや、そのスイッチ操作を示す「ピッ」や「ピー」等の確認音としてスピーカ20を介して運転員に報知される。 This guidance is, for example audio equipment and air conditioning equipment (operation target apparatus), more volume and channel setting, or or voice message identifying air volume, temperature and the like (operation object function), and "beep" indicating the switch operation " It is notified to the operator via the speaker 20 as a confirmation tone Phi "or the like.
【0021】 [0021]
基本的には上述した如く構成されるハンドパターンスイッチ装置において、この発明が特徴とするところは、図3に例示するスイッチ操作動作の流れに示されるように、予め設定した手指形状でその手指の位置を所定時間に亘って停止させたとき、この状態を運転員(スイッチ操作者)によるスイッチ装置の操作意図であると認識し(操作開始認識手段)、その後、手指の形状と動きとに基づくスイッチ操作の検出処理を実行するようにしたことを特徴としている。 In as constituted hand pattern switch device described above basically, the invention has as characteristic, as shown in the flow of the switch operating movement illustrated in Figure 3, the finger with a finger shape preset when the position was stopped for a predetermined time, it recognizes this state operator (switch operator) and by an operation intention of the switching device (operation start recognition means), then based on the shape and movement of the fingers It is characterized in that so as to perform the detection process of the switch operation.
【0022】 [0022]
このスイッチ操作動作について説明すると、このハンドパターンスイッチ装置においてはスイッチ操作を指定する手指形状として、例えば図4(a)〜(d)に示すような手指パターンが用いられる。 Referring to this switching operation the operation, as the hand posture specifying a switch operation in the hand pattern switch device, for example, finger pattern as shown in FIG. 4 (a) ~ (d) are used. 具体的には図4(a)に示すような握り拳形状の手指パターン[手形状1]、図4(b)に示すような人差し指を立てた指差し形状の手指パターン[手形状2]、図4(c)に示すような親指を立てた手指形状のパターン[手形状3]、そして図4(d)に示すような親指と人差し指とを立てた手指形状のパターン[手形状4]が用いられる。 Finger patterns fist shape as specifically shown in FIG. 4 (a) [the hand shape 1], finger pattern pointing shape such made a forefinger as shown in FIG. 4 (b) [hand shape 2], FIG. 4 patterns of hand shape thumbs as shown in (c) [the hand shape 3], and FIG. 4 the pattern of hand posture stood the thumb and forefinger as shown in (d) [hand shape 4] using It is.
【0023】 [0023]
ちなみに指差し形状の手指パターンおよびは親指と人差し指とを立てた手指パターンは、スイッチを押圧操作するイメージを表現している。 Hand finger patterns the way the finger pattern and the finger-pointing shape stood the thumb and index finger are to represent the image that you want to pressing the switch. また握り拳形状の手指パターンは、レバー状のスイッチを把持して前後にシフト操作するイメージを表しており、更に親指を立てた手指形状は、待機指示を表すイメージを表している。 Finger patterns fist shape also represents the image to shift operation back and forth while gripping the lever type switch, further hand shape made a thumb represents the image representative of the standby instruction. このような手指形状のパターンは、その形状的な特徴を示すデータとして前述したメモリ15に予め登録されている。 The pattern of such hand posture is previously registered in the memory 15 described above as the data indicating the shape features. そして入力画像から認識される手指の形状と上記メモリ15に登録されたパターンとの一致度(類似度)を計算することにより、手指形状の判別に用いられる。 And by calculating the degree of coincidence between registered in the shape and the memory 15 of the fingers to be recognized from the input image pattern (similarity), used to determine the human hand posture.
【0024】 [0024]
さて運転員がステアリングホイール1を握って車両を操舵している場合には、動作状態A1に示すように運転員の手指は撮像領域3aから外れており、そのときの入力画像は車室内の背景として排除処理される画像成分だけであるのでハンドパターンスイッチ装置が作動することはない。 Now if the operator is steering the vehicle holding the steering wheel 1, the finger of the operator as shown in the operating state A1 deviates from the imaging area 3a, the input image at that time in the cabin background does not hand pattern switch device is operated since only image components are eliminated treated as.
これに対して運転員の手指がステアリングホイール1を外れて動作状態A2に示すように撮像領域3a内に入り込むと、これによって手指に対する認識処理が開始される。 When finger of the operator enters into the imaging area 3a as shown in the operating state A2 out of the steering wheel 1 with respect to this, this recognition processing on finger by begins. この場合、例えば手指が握り拳形状[手形状1]をなし、その掌が所定時間(例えば1秒以上)に亘って移動しない(停止している)とき、この状態を運転員がスイッチ操作を意図していると認識してスイッチ操作情報の入力開始を指示することが望ましい。 In this case, for example, fingers forms the fist shape [hand shape 1], its intended palm when not moved for a predetermined time (e.g., one second or more) (stopped), the state operator switch operation it is desirable to instruct the input start switch operation information recognized to be.
【0025】 [0025]
しかる後、手指の形状がスイッチを押圧操作する指差し形状のパターン[手形状4]に変更されたか否かを判定する。 Thereafter, determines the shape of the fingers is whether it is changed to the pattern of the pointing shape presses the switch [hand shape 4]. そして指差し形状のパターンが検出された場合には、動作状態A3に示すように選択スイッチを繰り返し押圧操作(プッシュ)して所定の機器を選択指定するものとして、その動きの検出が行われる。 Then when the pattern of the pointing shape is detected, as specifying select a predetermined device by repeatedly pressing the select switch (push), as shown in the operating state A3, the detection of the movement takes place. 具体的には指差し形状の手指が前後に動く(変位する)ことをその掌の重心位置の変化(移動)から検出し、そのプッシュ操作を検出する。 Specifically it moves back and forth finger of the pointing shape (displacement) that detects a change in the position of the center of gravity of the palm (movement), and detects the push operation. この場合、1回のプッシュ動作が検出される都度、例えば図5(a)に示すようにその制御対象機器を「エアコン」,「ラジオ」,「テープ」,「CD」等として巡回的に選択指定するようにその制御アルゴリズムを設定しておけば良い。 In this case, cyclically selecting each time one of the push operation is detected, for example, the control target device as shown in FIG. 5 (a) as such "air conditioner", "radio", "tape", "CD" the control algorithm may be set to specify. 特にこの際、1回のプッシュ動作が検出される都度、「ピッ」等の操作確認音を出力するようにしたり、選択された制御対象を音声メッセージとして報知することも有用である。 In particular this time, every time one of the push operation is detected, it is useful to inform or to output an operation confirmation sound such as "beep", the selected control object as a voice message. このようなガイダンスにより、運転員はその操作状態を目で確認することなく選択指定した機器を認識することが可能となるので運転操作に専念することが可能となる。 Such guidance, the operator is enabled to concentrate on driving operation it becomes possible to recognize the device selected specified without confirming the operation state visually. そして所望とする制御対象機器が選択された後、手指形状が変化したときにはこの状態を制御対象機器の選択が完了し、運転員が次のスイッチ操作を意図していると認識するようにすれば良い。 Then, after the control target device to be desired has been selected, when the human hand posture changes completed the selection of the control target device of this state, if the operator is to recognize that the intended next switch operation good.
【0026】 [0026]
具体的には動作状態A5に示すように指差し形状のパターン[手形状2]に変更されたか否かを判定する。 Specifically, determination is made as to whether or not changes in the pattern [hand shape 2] pointing shape, as shown in the operating state A5. そして指差し形状のパターン[手形状2]が前後に移動したとき、これを選択スイッチを繰り返し押圧操作(プッシュ)して所定の制御対象を選択指定するものとして、その動きの検出が行われる。 Then when the pattern of the pointing shape [hand shape 2] is moved back and forth, which as a selection switch repeatedly pressed (pushed) to which selection specifies a predetermined control target, the detection of the movement takes place. 具体的にはこの場合には、指差し形状の手指が前後に動く(変位する)ことを手指の重心位置の変化(移動)から検出し、そのプッシュ操作を検出する。 In this case specifically, fingers of pointing shape moves back and forth that (displacement) detected from a change in the position of the center of gravity of the fingers (mobile), which detects the push operation. そして1回のプッシュ動作が検出される都度、例えば図5(a)に示すように制御対象機器として「エアコン」が選択されている場合には、その制御対象を「温度」,「風量」,「風向」,「内外気」等として巡回的に選択指定する。 And each time one of the push operation is detected, if the "air conditioner" is selected, for example, as a control target device as shown in FIG. 5 (a), "temperature" of the object to be controlled, "air volume", "wind direction", to cyclically selected and designated as such as "outside air". また制御対象機器として「ラジオ」が選択されている場合には、その制御対象を「音量」,「チャネル」,「FM/AM」,「周波数調整」等として巡回的に選択指定する。 Further, when "radio" is selected as the control target device, the control target "volume", "channel", "FM / AM" is cyclically selected and designated as such "frequency adjustment".
【0027】 [0027]
同様に制御対象機器として「テープ」が選択されている場合には、その制御対象を「リバース」,「早送り」,「頭出し」,「取出し」等として巡回的に選択指定するようにし、また制御対象機器として「CD」が選択されている場合には、その制御対象を「早送り」,「頭出し」,「リピート」,「取出し」等として巡回的に選択指定するようにすれば良い。 As in the case where "tape" is selected similarly controlled target device, the control target "reverse", "fast forward", "cue", so as to cyclically select designated as such "extraction", also If you as a control target device "CD" is selected, the control object "fast forward", "beginning", "repeat", it is sufficient to cyclically selected and designated as the "take-out", and the like.
【0028】 [0028]
そして上述した如く所望とする制御対象を選択したならば、例えば動作状態A6に示すようにその手指形状を親指を立てたパターン[手形状3]に変更し、制御対象の選択完了と、次に実行すべきスイッチ操作情報の入力開始を指示する。 And if the selected control subjects in as desired as described above, for example, change in the human hand posture as shown in the operating state A6 was thumbs pattern [hand shape 3], a selection completion of the controlled object, then to instruct the input start of switch operation information to be executed. この指示についても手指形状が親指を立てた[手形状3]をなし、その掌が所定時間(例えば1秒以上)に亘って移動しない(停止している)とき、この状態を運転員が次のスイッチ操作を意図していると認識するようにすれば良い。 None the human hand posture is thumbs [hand shape 3] also this instruction, when the palm is not moved for a predetermined time (e.g., one second or more) (stopped), the state operator following it is sufficient to recognize that the intended switch operation. この場合、その確認音として前述した確認音とは異なる「ピー」等の音を発することことが好ましい。 In this case, it is preferable to emit a sound such as a different "copy" as the confirmation sound described above as a confirmation tone.
【0029】 [0029]
その後、動作状態A7に示すように手指形状を握り拳形状[手形状1]に変更し、手指の前後移動によってスイッチ操作情報を入力する。 Thereafter, to change the hand shape as shown in the operating state A7 in fist shape [hand shape 1], and inputs the switch operation information by back-and-forth movement of the finger. このとき握り拳形状の手指の動きをその重心位置の変位量等から検出し、その動きに対応したスイッチ操作情報を出力する。 At this time it detects the movement of the finger of the fist shape from displacement amount of the position of the center of gravity, and outputs the switch operation information corresponding to the motion. 具体的にはこのスイッチ操作情報の入力においては、前述したプッシュ操作により選択指定された制御対象に応じて検出すべき情報内容を変更する。 In particular the input of the switch operation information, to change the information content to be detected in accordance with the control object that is selected at the push operation described above.
【0030】 [0030]
即ち、制御対象によってはその制御量(スイッチ操作情報)を大きな変化量で多段階(ステップ的)に変更したいものと、小さい変化量で連続的に細かく変更したいものとがある。 That is, the controlled object is the one you want to continuously fine changes in what a small variation to be changed to the control amount multistage with a large amount of change (switch operation information) (step manner). 従って選択した操作対象に応じて、例えば手指の動き量(変位量)をスイッチ操作情報とする距離モード(動作状態A8a)、所定距離だけ変位した手指の停止時間からそのスイッチ操作情報を求める時間モード(動作状態A8b)、またはこれらのモードを併用した距離・時間モード(動作状態A8c)を選択的に設定する。 Therefore, depending on the selected operation object, for example, a distance mode (operating state A 8a) to the motion amount of the finger (the displacement amount) and switch operation information, time mode to determine the switch operation information from the stop time of the finger that is displaced by a predetermined distance (operating state A8b), or selectively set the distance-time mode with combination of these modes (operating states A8c).
【0031】 [0031]
ちなみに上記距離モードは、基準位置からの手の移動量に応じて多段階にスイッチ操作情報を出力するモードであり、ラジオ放送のチャネル選択や空調設備における風量・風向を選択設定する場合に好適である。 Incidentally the distance mode is a mode for outputting the switch operation information in multiple steps in accordance with the amount of movement of the hand from a reference position, suitable in the case of selecting and setting the air volume, wind direction in the channel selection and air-conditioning systems radio is there. また時間モードは、基準位置から変位させた掌の停止時間に応じたスイッチ操作情報を出力するモードであり、オーディオ機器の音量や空調機器における温度等を細かく調節する場合等に好適である。 The time mode is a mode for outputting the switch operation information corresponding to the palm of the stop time of displacing the reference position is suitable when such finely adjusting the temperature or the like in the volume and the air-conditioning equipment of audio equipment. 更に前記距離・時間モードは、掌の僅かな移動時にはその移動量に応じたスイッチ操作情報を出力し、掌が所定距離以上移動した場合には、その移動位置での掌の停止時間に応じたスイッチ操作情報を出力するモードである。 Further, the distance-time mode, the time the palm of a small travel outputs switch operation information corresponding to the movement amount, when the palm is moved a predetermined distance or more is in accordance with the palm of downtime at its moved position is a mode to output the switch operation information. この距離・時間モードは制御対象を粗調整した後、更に微調整する場合等に好適なものである。 After the distance-time mode is roughly adjusted control target, it is suitable in the case or the like for further fine-tuning.
【0032】 [0032]
前述した操作指示認識部14は、上述した如く制御対象に応じて選択的に設定される入力モード(距離モード/時間モード/距離・時間モード)に応じて前記撮像領域3a内での手の動きを追跡し、手の移動量(変位量とその変位方向)や移動が停止した手の停止時間を計測する。 Operational instruction recognizing section 14 described above, the movement of the hand within the imaging area 3a in accordance with the input mode is selectively set according to as controlled object described above (Distance mode / time mode / distance-time mode) the track, the amount of movement of the hand (the displacement amount and the displacement direction) and moved to measure the stop time of the hand stopped. そしてこれらの計測結果に応じたスイッチ操作情報を出力することになる。 And will output a switch operation information according to these measurement results.
【0033】 [0033]
尚、各種のスイッチ制御対象と上述した各モードとの対応関係や、スイッチ操作量として検出する内容(検出距離や時間)については予め固定的に設定しておけば良い。 The correspondence relationship and with each mode described above with various switches controlled object may be set in advance fixedly for the contents (detection distance or time) to detect the switch operation amount. しかし前述した操作指示認識部14が備える、例えば図6に示す制御画面14aを用いてスイッチ操作者(運転員)の好み等に応じて適宜変更し得るようにしておいても良い。 But it provided the operation instruction recognizing section 14 described above, may have been adapted to be appropriately changed according to the preference or the like of the switch operator (operator), for example, using the control screen 14a shown in FIG. 具体的には複数のスイッチ制御対象のそれぞれについてどの入力モードでスイッチ操作情報を入力するかを選択的に指定し、またその検出単位となる掌の変位量(移動距離)や計測時間等をそれぞれ可変設定し得るようにしておけば良い。 Selectively specify whether to enter the switch operation information, also the displacement of the palm to be detected unit (travel distance) and the measurement time or the like, respectively in which input mode for each of the specific plurality of switches controlled object it suffices as can be variably set.
【0034】 [0034]
図7〜図11は、上述した処理機能を実現する操作指示認識部14での概略的な処理手順を示している。 7 to 11 show a schematic procedure of the operation instruction recognizing section 14 for realizing the above-described processing functions. この処理手順について説明すると、ハンドパターンスイッチ装置の起動に伴い、先ずカメラ3による撮像領域(認識領域)の設定や2値化処理における閾値の設定等からなるシステム系の初期設定を行う〈ステップS1〉。 Referring to this procedure, with the start of the hand pattern switch device, first, the camera 3 performs the initial setting of the system system consisting threshold settings such as the setting and binarization of the image pickup area (recognition area) by <Step S1 >. しかる後、手指形状の認識や手指の移動を計測するためのパラメータ値等をクリアすると共に、制御フラグを“0”に設定してスイッチ情報検出に対する初期化を実行する〈ステップS2〉。 Thereafter, the clears the parameter values ​​and the like for measuring the movement of the recognition and finger of the human hand posture, is set to "0" to the control flag to perform the initialization for the switch information detection <Step S2>.
【0035】 [0035]
以上の初期化処理を実行した後、先ず入力画像中の手指形状を認識し〈ステップS3〉、その手指形状が前述した[手形状1],[手形状2],[手形状3],[手形状4]のいずれであるかを判定する〈ステップS4a,S4b〉。 After performing the initialization process described above, first, recognizes the human hand posture of the input image <Step S3>, the hand shape described above [hand shape 1], [hand shape 2], [hand shape 3], [ determining which of the hand shape 4] <step S4a, S4b>. そして手指の形状が指差し型の[手形状2]である場合には、前回検出されている手形状が何であったかを判定する〈ステップS5〉。 And in the case where the shape of the fingers is [hand shape 2] of a pointing hand determines whether the hand shape that is previously detected What was <Step S5>. そして前回の手形状が指差し型の[手形状2]以外であるならば、[手形状2]による機能選択のモードが設定されたとしてそのときに検出される掌の重心位置を基準位置Aとして登録する〈ステップS6〉。 And if the previous hand shape is other than [hand shape 2] of a pointing hand, [hand shape 2] palm of the center-of-gravity position reference position A to the mode of the function selection is detected at that time as set by to register as <step S6>. そして掌の移動距離を管理するパラメータB'を“0”に設定した後〈ステップS7〉、前回の手形状を[手形状2]に更新して〈ステップS8〉前述したステップS3からの処理を繰り返し実行する。 Then after setting the parameter B ' "0" to manage the movement distance of the palm <Step S7>, the processes from updating the previous hand shape in the hand shape 2] <Step S8> step S3 described above repeatedly to run.
【0036】 [0036]
これに対して前回の手形状が指差し型の[手形状2]であるならば〈ステップS5〉、次にそのときに検出される掌の重心位置の前述した基準位置Aからの変位量(移動量)Bを求める〈ステップS9〉。 If the previous hand shape contrary is [hand shape 2] of a pointing hand <Step S5>, then the amount of displacement from the reference position A of the above-mentioned center of gravity of the palm detected at that time ( calculating the moving amount) B <step S9>. そしてパラメータB'が判定閾値H1に満たしてなく、且つ今回検出された変位量(移動量)Bが所定の判定閾値H1を越えていると言う2つの条件が満たされている否かを判定する〈ステップS10〉。 And it determines whether the parameter B 'is not satisfied in the determination threshold H1, and currently detected amount of displacement (amount of movement) B is satisfied two conditions say that exceeds the predetermined determination threshold value H1 <step S10>. そして上記条件が満たされている場合には、[手形状2]の状態で前述した機能選択の為のプッシュ操作がなされたとして、制御対象を1段階変更する〈ステップS11〉。 And if the above condition is satisfied, [hand shape 2] as a push operation for function selection described above is made in the state of, by one step changes the control target <Step S11>. その後、前回の手形状を[手形状2]に更新して〈ステップS8〉前述したステップS3からの処理を繰り返し実行する。 Then, to update the previous hand shape in the hand shape 2] <Step S8> repeatedly executes the processing from step S3 described above.
【0037】 [0037]
尚、上記変位量Bが所定の判定閾値H1を越えていない等して条件が満たされていない場合には〈ステップS10〉、前述したパラメータB'として上記変位量Bをセットした後〈ステップS12〉、前回の手形状を[手形状2]に更新し〈ステップS8〉、その後、前述したステップS3からの処理を繰り返し実行する。 In the case where the displacement amount B is not a condition and the like do not exceed the predetermined determination threshold value H1 is satisfied <Step S10>, after setting the displacement amount B as a parameter B 'described above <Step S12 > updates the previous hand shape in the hand shape 2] <step S8>, then repeatedly executes the processing from step S3 described above. このステップS3からステップS8に至る処理により、[手形状2]の手指形状で所定の移動量だけプッシュ操作がなされたとき、前述した機能選択が実行されて制御対象が選択的に設定される。 The process ranging from step S3 to step S8, when only pushing operation is performed a predetermined movement amount in the human hand posture of the hand shape 2], the control target is selectively set is running function selection described above.
【0038】 [0038]
尚、ステップS4aにおいて手指の形状が指差し型の[手形状4]であると判定された場合には、図8に示すように前回検出されている手形状が何であったかを判定する〈ステップS5a〉。 In the case where the shape of the finger is determined to be the pointing hand [hand shape 4] In step S4a, it determines whether the hand shape that is previously detected as shown in FIG. 8 was nothing <Step S5a >. そして前回の手形状が指差し型の[手形状4]以外であるならば、[手形状4]による装置選択のモードが設定されたとして、そのときに検出される掌の重心位置を基準位置Eとして登録する〈ステップS6a〉。 And if the previous hand shape is other than a pointing hand [hand shape 4], as the mode of the hand shape 4] by the device selection is set, the reference position the position of the center of gravity of the palm detected at that time to register as E <step S6a>. そして掌の移動距離を管理するパラメータF'を“0”に設定した後〈ステップS7a〉、前回の手形状を[手形状4]に更新して〈ステップS8a〉前述したステップS3からの処理を繰り返し実行する。 Then the process from the parameter F ' "0" after setting <Step S7a>, and update the previous hand shape in the hand shape 4] <Step S8a> step S3 described above to manage the movement distance of the palm repeatedly to run.
【0039】 [0039]
これに対して前回の手形状が指差し型の[手形状4]であるならば〈ステップS5a〉、次にそのときに検出される掌の重心位置の前述した基準位置Eからの変位量(移動量)Fを求める〈ステップS9a〉。 If the previous hand shape contrary is [hand shape 4] pointing hand <Step S5a>, then the amount of displacement from the reference position E where the above-mentioned center of gravity of the palm detected at that time ( calculating the moving amount) F <step S9a>. そしてパラメータF'が判定閾値H4に満たしてなく、且つ今回検出された変位量(移動量)Fが所定の判定閾値H4を越えていると言う2つの条件が満たされている否かを判定する〈ステップS10a〉。 And it determines whether the parameter F 'without satisfies the determination threshold H4, and currently detected amount of displacement (amount of movement) F are satisfied two conditions say that exceeds the predetermined determination threshold value H4 <step S10a>. そして上記条件が満たされている場合には、[手形状4]の状態で前述した機能選択の為のプッシュ操作がなされたとして、制御対象を1段階変更する〈ステップS11a〉。 And if the above conditions are satisfied, as a push operation for [hand shape 4 feature selection described above with the state it has been made, by one step changes the control target <Step S11a>. その後、前回の手形状を[手形状4]に更新して〈ステップS8a〉前述したステップS3からの処理を繰り返し実行する。 Then, to update the previous hand shape in the hand shape 4] <Step S8a> repeatedly executes the processing from step S3 described above.
【0040】 [0040]
尚、上記変位量Fが所定の判定閾値H4を越えていない等して条件が満たされていない場合には〈ステップS10a〉、前述したパラメータF'として上記変位量Fをセットした後〈ステップS12a〉、前回の手形状を[手形状4]に更新し〈ステップS8a〉、その後、前述したステップS3からの処理を繰り返し実行する。 In the case where the displacement amount F is not a condition and the like do not exceed the predetermined determination threshold value H4 is satisfied <Step S10a>, after setting the displacement amount F as a parameter F 'described above <Step S12a > updates the previous hand shape in the hand shape 4] <step S8a>, then repeatedly executes the processing from step S3 described above. このステップS3からステップS8aに至る処理により、[手形状4]の手指形状で所定の移動量だけプッシュ操作がなされたとき、前述した装置選択が実行されて制御対象が選択的に設定される。 The process ranging from step S3 to step S8a, when only pushing operation is performed a predetermined movement amount in the human hand posture of the hand shape 4], the control target is selectively set is running device selected as described above.
【0041】 [0041]
一方、前述したステップS4bにおいて手指形状が[手形状1]または[手形状3]であることが検出された場合には、次に図8に示すようにその手指形状が[手形状1]であるか、或いは[手形状3]であるかが判定される〈ステップS13〉。 On the other hand, when it hand shape in step S4b described above is [hand shape 1 or hand shape 3] is detected, then its hand shape as shown in FIG. 8 in the hand shape 1] or some, or whether it is [hand shape 3] is determined <step S13>. そして[手形状3]であるならば、前述した動作待機状態を指定していると判定し、そのときに検出される手の重心位置を基準位置Cとして登録する〈ステップS14〉。 And if a [hand shape 3], determines that specifies the operation standby state described above, it registers the position of the center of gravity of the hand to be detected at that time as a reference position C <Step S14>. この際、掌が所定時間に亘って動かないこと(停止していること)を確認するようにしても良い。 At this time, you may be sure that the palm does not move for a predetermined time (that is stopped). また同時に後述する移動距離の計測に用いる制御パラメータD'を“0”にセットする〈ステップS15〉。 Also set to "0" to the control parameter D 'for use in the measurement of the moving distance to be described later at the same time <Step S15>. その後、前回の手形状を[手形状3]に更新した後〈ステップS16〉、前述したステップS3からの処理を繰り返し実行する。 Then, after updating the previous hand shape in the hand shape 3] <Step S16>, repeatedly executes the processing from step S3 described above.
【0042】 [0042]
これに対して手指形状が[手形状1]であることが判定された場合には〈ステップS13〉、次に前回検出されている手指形状が何であったかを判定する〈ステップS17〉。 If hand shape contrast is determined to be [the hand shape 1] <Step S13>, then determines whether the hand posture which is previously detected What was <Step S17>. そして前回の手指形状が[手形状3]であったならば、操作情報の入力モードが設定されたとして制御フラグを“1”に設定すると共に、移動距離の計測パラメータnと停止時間の計測パラメータtをそれぞれ“0”にセットする〈ステップS18〉。 And if the previous hand posture was [hand shape 3], and sets "1" to the control flag as the input mode of the operation information is set, measurement parameters n and stop time parameter of the moving distance each t is set to "0" <step S18>. また前回の手指形状が握り拳型の[手形状1]であったならば、制御フラグが“1”であるか否かを判定することで操作情報の入力モードが既に設定されているか否かを調べ〈ステップS19〉、制御フラグが“1”である場合にはそのときに検出される掌の重心位置と、前述した基準位置Cとの距離Dを検出する〈ステップS20〉。 Further, if the previous hand posture was the fist type [hand shape 1], whether the input mode of operation information has already been set by determining whether the control flag is "1" examined <step S19>, if the control flag is "1" is detected and the position of the center of gravity of the palm detected at that time, the distance D between the reference position C described above <step S20>.
【0043】 [0043]
そして先に機能選択された制御対象に応じて、前述した3種類の入力モードの内のどのモードでスイッチ操作情報を検出するかを判定し〈ステップS21〉、判定された入力モードに従って、スイッチ操作情報の検出処理を実行する。 And according to the control object ahead to the function selected, it determines whether to detect which mode switch operation information among three input modes described above <Step S21>, according to the determined input mode, the switch operation to perform the detection processing of information.
尚、前回の手形状が[手形状1]または[手形状3]でない場合〈ステップS17〉、或いは制御フラグが“1”でない場合には〈ステップS19〉、前述したステップS2に示される初期設定からの処理手順を繰り返し実行する。 In the case the previous hand shape not [hand shape 1 or hand shape 3] <Step S17>, or if the control flag is not "1" in <Step S19>, the initial setting shown in step S2 described above processing procedure from repeatedly run the. この処理によって前述した動作状態A2で示したスイッチ操作情報の入力開始が指示されることになる。 Input start switch operation information shown in the operating state A2 described above by this process is to be indicated. また前回の手形状が[手形状1]であっても、制御フラグが“1”でない場合には、例えば手指が所定時間に亘って停止していることを確認して、前述したステップS2に示される初期設定からの処理手順を繰り返し実行する。 Further, even the previous hand shape [hand shape 1], if the control flag is not "1", for example, finger confirms that stopped for a predetermined time, the step S2 described above It repeats the process procedure from the initial settings shown.
【0044】 [0044]
ちなみに距離モードによるスイッチ操作情報の検出処理については、図9に例示するように、前述した基準位置Cからの距離Dと制御パラメータD'の値とを比較し〈ステップS22〉、その大小関係に応じて掌が前進しているか、後退しているかを判定する。 The detection process of the switch operation information by distance mode Incidentally, as illustrated in FIG. 9, compares the value of the distance D between the control parameter D 'from the reference position C described above <Step S22>, the relationship in magnitude depending whether the palm is moving forward, it is determined whether or retracted. そして掌を前進移動させている場合には、後述する条件1の下でその移動距離が所定の計測単位距離を上回ったか否かを判定し〈ステップS23〉、所定の計測単位距離を上回っている場合には、制御パラメータnをインクリメントした後〈ステップS24〉、その設定(スイッチ操作情報)を1段階増加させる〈ステップS25〉。 And if moved forward the palm, the moving distance under the conditions 1 to be described later determines whether exceeds a predetermined measurement unit distance <Step S23>, exceeds the predetermined measurement unit distance If, after incrementing the control parameter n <step S24>, the set (the switch operation information) is increased one step <step S25>.
【0045】 [0045]
逆に掌が後退している場合には、後述する条件2の下でその移動距離が所定の計測単位距離を上回ったか否かを判定し〈ステップS26〉、移動距離が所定の計測単位距離を上回っている場合には、制御パラメータnをデクリメントした後〈ステップS27〉、その設定(スイッチ操作情報)を1段階減少させる〈ステップS28〉。 When the palm is retracted in the opposite, the moving distance under the later-described condition 2 is determined whether exceeds a predetermined measurement unit distance <Step S26>, the moving distance is a predetermined measurement unit distance if exceeds, after decrementing the control parameter n <step S27>, the set (the switch operation information) reduces by one step <step S28>.
【0046】 [0046]
尚、上記条件1は、距離Dと距離Cとの差(移動量)が、制御パラメータnによって可変設定される所定ステップ数の移動距離を上回り、且つ制御パラメータD'の値と距離Cとの差(移動量)が、制御パラメータnによって可変設定される所定ステップ数の移動距離未満であるとして設定される。 The above condition 1, the distance difference between D and the distance C (movement amount), the control parameter n exceeds the moving distance of the predetermined number of steps is variably set by, and the control parameter D 'between the value and the distance C the difference (amount of movement) is set as being less than the movement distance of the predetermined number of steps is variably set by the control parameter n. つまり掌の移動量が、所定の計測単位距離を所定ステップ数だけ移動したか否かを判定する条件である。 That amount of movement of the palm is a condition for determining whether to move the predetermined measurement unit distance by a predetermined number of steps. また条件2は、掌の移動方向が逆向き(後退)の場合における同様な判定条件である。 The condition 2 is a view similar to the determination condition in the case the palm of the moving direction reverse (backward).
【0047】 [0047]
以上のようにして掌の移動距離に応じたスイッチ操作情報を得たならば、前記制御パラメータD'として距離Dを登録し〈ステップS29〉、その判定基準を更新する。 If to give the switch operation information corresponding to the moving distance of the palm in the manner described above, it registers the distance D as the control parameter D '<Step S29>, and updates the criterion. そして前回の手形状として[手形状1]を登録した後〈ステップS30〉、前述したステップS3からの処理に復帰する。 And after registering the hand shape 1] as the previous hand shape <Step S30>, and returns to the processing from step S3 described above. そしてこの処理を繰り返し実行することで、掌の移動量に応じたスイッチ操作情報が、段階的に出力されることになる。 And by repeatedly executing this process, the switch operation information corresponding to the palm of the movement amount, so that the output stages.
【0048】 [0048]
一方、時間モードが設定された場合には、図10に例示する手順に従ってその検出処理が実行される。 On the other hand, if the time mode is set, the detection processing according to the procedure illustrated in FIG. 10 is executed. この場合には、先ず移動距離Dが第3の閾値H3を越えているか否かが判定される〈ステップS31〉。 In this case, first moving distance D is determined whether it exceeds a third threshold value and H3 <Step S31>. 第3の閾値H3に至っていない場合には、時間パラメータtを“0”とし〈ステップS32〉、前回の手形状として[手形状1]を登録した後〈ステップS33〉、前述したステップS3からの処理に復帰する。 If not reached the third threshold H3 is the time parameter t is set to "0" <Step S32>, after registering the hand shape 1] as the previous hand shape <Step S33>, from step S3 described above to return to the process.
【0049】 [0049]
これに対して移動距離Dが第3の閾値H3を越えている場合には〈ステップS31〉、時間パラメータtをカウントアップする〈ステップS34〉。 If the moving distance D contrast exceeds the third threshold H3 <Step S31>, and counts up the time parameter t <Step S34>. そしてカウントアップされた時間パラメータtが基準時間T1に至ったとき〈ステップS35〉、その設定(スイッチ操作情報)を1段階増加させる〈ステップS36〉。 And when the count-up time parameter t has reached the reference time T1 <Step S35>, the set (the switch operation information) is increased one step <Step S36>. そして時間パラメータtを“0”にリセットした後〈ステップS37〉、前回の手形状として[手形状1]を登録し〈ステップS33〉、前述したステップS3からの処理に復帰する。 And after reset to "0" time parameter t <Step S37>, register the hand shape 1] as the previous hand shape <Step S33>, returns to the processing from step S3 described above.
【0050】 [0050]
また移動距離Dが逆方向に第3の閾値H3を越えている場合には〈ステップS31〉、時間パラメータtをカウントアップする〈ステップS38〉。 Also when the moving distance D exceeds the third threshold H3 in the reverse direction is incremented <Step S31>, the time parameter t <Step S38>. そしてカウントアップされた時間パラメータtが基準時間T1に至ったとき〈ステップS39〉、その設定(スイッチ操作情報)を1段階減少させる〈ステップS40〉。 And when the count-up time parameter t has reached the reference time T1 <Step S39>, the set (the switch operation information) reduces by one step <Step S40>. そして時間パラメータtを“0”にリセットした後〈ステップS41〉、前回の手形状として[手形状1]を登録し〈ステップS33〉、前述したステップS3からの処理に復帰する。 And after reset to "0" time parameter t <Step S41>, register the hand shape 1] as the previous hand shape <Step S33>, and returns to the processing from step S3 described above. このような一連の処理によって、掌が所定の距離を移動して停止したとき、その停止時間に応じたスイッチ操作情報が出力されることになる。 Such a series of processes, when the palm is stopped by moving a predetermined distance, so that the switch operation information corresponding to the stop time is output.
【0051】 [0051]
尚、距離・時間モードは上述した距離モードの処理と時間モードの処理とを、手の移動距離に応じて使い分けることによって実行される。 The distance-time mode and a process of processing and time mode distance mode described above is performed by selectively according to the movement distance of the hand. 具体的には図11に示すように前述した制御パラメータnの値を判定する〈ステップS42〉。 Specifically, determining the value of the control parameter n described above, as shown in FIG. 11 <Step S42>. そしてパラメータnが“−2”から“2”の範囲内であるか、或いは“3”以上または“−3”未満であるかによって、ステップS22aからステップS33aに示す距離モードの処理、またはステップS24aからステップS41aに示した時間モードの処理をそれぞれ実行すれば良い。 And depending on whether it is within range of the parameter n is "-2" to "2" or "3" or more and less than or "-3", the processing of the distance mode shown from step S22a to step S33a or step S24a, the processing time mode shown in step S41a from may be executed, respectively. 尚、ステップS22aからステップS33aに示す処理は、前述したステップS22からステップS33に示す処理に相当するものである。 The processing shown from steps S22a to step S33a is equivalent to the processing shown in step S33 from step S22 described above. またステップS24aからステップS41aに示す処理は、前述したステップS24からステップS41に示す処理に相当するものである。 The process shown from step S24a to step S41a is equivalent to the processing shown in step S41 from step S24 described above.
【0052】 [0052]
かくして上述した如く機能するハンドパターンスイッチ装置によれば、予め設定した手指形状が検出され、その掌が所定時間に亘って停止していることが検出されたとき、この状態を運転員(スイッチ操作者)が意図的に動作していると判断してスイッチ操作情報の入力(検出)を開始するので、偶然的に撮像領域3aに入り込んだ手指の形状とその動きをスイッチ操作情報として誤検出することがなくなる。 Thus, according to the hand pattern switch device which as functions described above, is detected hand shape previously set, when the palm is detected that has stopped for a predetermined time, the operator (switch operation this state since starting the input of the switch operation information (detection) to determine the user) operates intentionally, erroneously detect the shape and the movement of the accident to hands that has entered the imaging area 3a as a switch operation information it is eliminated. 従って運転員が意図して手指・腕を動かした場合にだけ、これに伴って検出されるスイッチ操作情報を確実に出力することが可能となる。 Thus only if the operator moves the hand-arm intended, it is possible to output a switch operation information detected along with this certainty.
【0053】 [0053]
また動作状態A6に示したように所定の手指形状[手形状3]が所定の時間に亘って停止した状態を検出して、それまでのスイッチ操作の完了を確認し、次のスイッチ動作に待機するので、複数種のスイッチ操作の区切りを明確に判断して一連のスイッチ操作処理を円滑に進めることが可能となる。 The predetermined hand shape as shown in the operating state A6 [hand shape 3] detects the stopped state for a predetermined time, to confirm the completion of the switch operation so far, waiting for the next switch operation since, it is possible to proceed to clearly determine the delimiter of a plurality of types of switch operation smoothly a series of switch operation process. 特に装置の選択処理、選択した装置における制御対象の選択処理、更には選択した制御対象に対するスイッチ操作情報の入力処理を明確に区分してそれぞれ実行することができるので、スイッチ操作の簡素化を図ってその操作性を高めることができる等の実用上多大なる効果が奏せられる。 In particular selection processing apparatus, the selection processing of the control object in the selected device, since more may be performed each clearly distinguish input processing switch operation information for the control target selected, thereby promoting simplification of the switch operation practically great deal of effects such can enhance its operability Te are obtained if.
【0054】 [0054]
尚、本発明は上述した実施形態に限定されるものではない。 The present invention is not limited to the embodiments described above. 実施形態においては右ハンドル車を前提として説明したが、左ハンドル車の場合にも同様に適用可能なことは言うまでもなく、またトラック等の大型車に限らず普通乗用車等にも同様に適用可能である。 Has been described assuming a right hand drive vehicle in the embodiment, it can be similarly applied to the case of a left hand drive vehicle, not to mention also equally applicable to passenger cars and the like is not limited to large vehicles such as trucks is there. その制御対象についても、例えばワイパのオン・オフやその作動間隔の調整、サイドミラーの開閉等に拡張することも勿論可能である。 For even a control object, for example, adjustment of the wiper on and off and the working distance, it is of course possible to extend the opening and closing of the side mirror.
【0055】 [0055]
また実施形態においては、動作状態A3に示す制御対象機器の選択と、動作状態A5に示す制御対象機能の選択とを同じ手指形状で行うようにしたが、図3に動作状態A9として示すように、互いに異なる手指形状で選択指示を行うようにしても良い。 In embodiments, the selection of the control target device shown in the operating state A3, but to perform the selection of the control target functions shown in the operating state A5 in the same hand posture, as shown as an operating state A9 in FIG. 3 it may be performed a selection instruction in different hand shapes. 具体的には人差し指と親指とを立てた手指形状を用いて装置の選択を行い、人差し指だけを立てた手指形状で機能の選択を行うようにしても良い。 Specifically and selects the device using the hand shape stood the index finger and thumb, may be performed to select only the functions in human hand posture stood forefinger. この場合には、その手指形状の変化から装置選択の完了を検出するようにしても良い。 In this case, it is also possible to detect the completion of the device selected from a change in the human hand posture.
【0056】 [0056]
また簡易なシステムにあっては、図5(b)に示すようにその制御対象を「音量」,「チャネル」,「温度」,「風量」等としてその装置と一括して巡回的に選択するように構成することも可能である。 Also In the simple system, "volume" of the object to be controlled as shown in FIG. 5 (b), "channel", "temperature", cyclically selects collectively and apparatus as such "air volume" it is also possible to configure so. また情報入力に用いる手指の形状は、上述した例に限定されないことも言うまでもない。 The shape of the fingers used for the information input, it goes without saying that not limited to the example described above. その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。 Besides, the present invention can be modified in various ways without departing from the scope thereof.
【0057】 [0057]
【発明の効果】 【Effect of the invention】
以上説明したように本発明によれば、運転員(スイッチ操作者)が意図して所定の手指形状を形作り、所定時間に亘って手を移動させないとき、この状態をスイッチ操作の入力指示であると認識するので、偶発的に(不本意に)その撮像領域(認識領域)に入り込んだ手指の形状や動きを認識することがなく、従って誤ったスイッチ操作情報を出力することがない。 According to the present invention described above, shape the predetermined finger shape intended operator (switch operator), when not moving the hand over a predetermined time, the state at the input instruction switch operation since we recognize that, (disappointing) accidentally without recognizing the shape and movement of the fingers which have entered into the imaging area (recognition area), thus erroneous never outputs the switch operation information. また運転員(スイッチ操作者)にとってはスイッチ装置を操作したいときにだけ、上述した手指形状を形作り、撮像領域内で所定時間に亘って手を停止させるだけで良いので、余分な操作負担を掛けることなく簡易に、しかも確実にスイッチ装置を操作することができる等の実用上多大なる効果が奏せられる。 And only when it is desired to operate the switching device for operator (switch operator), shape the aforementioned human hand posture, since the hand for a predetermined time in the imaging area only needs to be stopped, applying an extra operation load simply without, and reliably practically tremendous effects such can operate the switch device is Sose.
【0058】 [0058]
またハンドパターンスイッチ装置にとっては、その操作者の意図を容易に、しかも確実に判断し、意図された手指の形状や動きだけを確実に認識することができる。 Also for the hand pattern switch device, it is possible that the operator of the intention easily, yet reliably determined reliably recognize only the shape and movement of the fingers, which are intended. 従って種々の制御対象に対してスイッチ操作情報を適切に出力することができる等の利点がある。 Therefore there is an advantage and the like can be appropriately output switch operation information for various control target.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の一実施形態に係るハンドパターンスイッチ装置の概略構成を示す図。 Diagram showing a schematic configuration of the hand pattern switch device according to an embodiment of the present invention; FIG.
【図2】図1に示すハンドパターンスイッチ装置における手指の撮像領域を示す図。 FIG. 2 shows an imaging area of ​​the finger in a hand pattern switch device shown in FIG.
【図3】ハンドパターンスイッチ装置におけるスイッチ操作情報の指示入力動作の概略的な手順を示す図。 FIG. 3 shows a schematic procedure of the instruction input operation of the switch operation information in the hand pattern switch device.
【図4】ハンドパターンスイッチ装置に対してスイッチ操作指示を与えるための手指形状の例を示す図。 It shows an example of a human hand posture for giving switching operation instruction to Figure 4 the hand pattern switch device.
【図5】手指によるプッシュ操作に伴う制御対象の選択例を示す図。 5 is a diagram showing a selection example of the controlled object due to the push operation by the finger.
【図6】制御対象に対応付ける入力モードの設定画面の例を示す図。 6 shows an example of a setting screen of the input mode to be associated with the control object.
【図7】ハンドパターンスイッチ装置におけるスイッチ操作情報入力の為の概略的な処理手順の一部を示す図。 FIG. 7 illustrates a portion of a schematic procedure for switch operation information input at the hand pattern switch device.
【図8】図7に示す処理手順に続く処理手順を示す図。 8 shows the subsequent processing steps to the processing procedure shown in FIG.
【図9】距離モードでのスイッチ操作情報の検出手順を示す図。 9 is a diagram showing the detection procedure of the switch operation information at a distance mode.
【図10】時間モードでのスイッチ操作情報の検出手順を示す図。 It shows the detection procedure of the switch operation information in FIG. 10 time mode.
【図11】距離・時間モードでのスイッチ操作情報の検出手順を示す図。 11 is a diagram showing the detection procedure of the switch operation information on the distance-time mode.
【符号の説明】 DESCRIPTION OF SYMBOLS
1 ステアリングホイール2 オーディオ機器等の操作部3 カメラ11 2値化処理部12 形状認識部13 重心位置検出部14 操作指示認識部15 メモリ16 形状判定部17 変位量検出部18 タイマ19 ガイド部 1 Steering wheel 2 operation unit of the audio equipment, etc. 3 camera 11 binarization section 12 shape recognizing unit 13 gravity center position detection unit 14 operational instruction recognizing section 15 memory 16 shape determination unit 17 the displacement amount detection section 18 timer 19 guide portion

Claims (4)

  1. 所定の撮像領域におかれた手指を撮像し、その入力画像から手指形状を認識すると共に上記撮像領域内における掌の動きを検出して所定のスイッチ操作情報を得るハンドパターンスイッチ装置であって、 Capturing a finger placed on the predetermined imaging area, a hand pattern switch device to obtain a predetermined switch operation information by detecting the palm of motion in the imaging region recognizes the hand posture from the input image,
    認識した手指形状が予め設定した第1の手指形状をなし、前記撮像領域内における掌の検出位置が所定時間に亘って変位しないことを検出してスイッチ操作の開始を認識する操作開始認識手段と、 None of the first hand shape recognized hand shape previously set, the detection position of the palm in the image capturing area is recognizing operation start recognition means the start of detection to switch operation to not displaced for a predetermined time ,
    スイッチ操作の開始後、認識した手指形状が予め設定した第2の手指形状をなし、前記撮像領域内において検出される掌の動きが予め設定した動きパターンを描く都度、複数のスイッチ制御対象の中の1つを巡回的に選択するスイッチ対象設定手段と、 After the start of the switch operation, without the recognized second hand shaped finger shape is preset with, each time to draw a motion pattern palm action is previously set to be detected in the imaging area, a plurality of switches controlled object and switching the target setting means for selecting cyclically one of,
    スイッチ制御対象が選択された後、前記撮像領域内において検出される掌の動きに応じて上記スイッチ制御対象に対するスイッチ操作情報を求める操作検出手段とを具備したことを特徴とするハンドパターンスイッチ装置。 After the switch control target is selected, the hand pattern switching apparatus characterized by comprising an operation detection means for obtaining a switch operation information to said switch control object in accordance with the palm of the detected movement in the image pickup area.
  2. 前記操作開始認識手段は、前記第1の手指形状をなす手指が特定の物を把持し、または触れてないことを確認してスイッチ操作の開始を決定する確認機能を備えてなる請求項1に記載のハンドパターンスイッチ装置。 The operation start recognition means, to claim 1 comprising comprising a confirmation function of the fingers forming the first hand posture is determined check and the start of the switching operation that grips the specific entity or not touching, hand pattern switch device as claimed.
  3. 前記第1の手指形状は、物を把持する際の形状であり、前記第2の手指形状は、物を指差す際の形状である請求項1に記載のハンドパターンスイッチ装置。 The first hand posture is shaped when gripping an object, the second hand shape, the hand pattern switching device according to claim 1 in the form of when pointing at an object.
  4. 請求項1に記載のハンドパターンスイッチ装置において、 In the hand pattern switching device according to claim 1,
    更にスイッチ制御対象が選択された後、認識した手指形状が予め設定した第3の手指形状をなし、前記撮像領域内における掌の検出位置が所定時間に亘って変位しないことを検出して前記操作検出手段の起動を促す動作切換手段を備えることを特徴とするハンドパターンスイッチ装置。 After being further selected switch control target, without the recognized third finger-shaped finger shape is preset with the operation detection position of the palm in the imaging region is detected that not displaced for a predetermined time hand pattern switch device, characterized in that it comprises an operation switching means for urging the activation of the detection means.
JP2002311291A 2002-10-25 2002-10-25 Hand pattern switch device Expired - Fee Related JP3867039B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002311291A JP3867039B2 (en) 2002-10-25 2002-10-25 Hand pattern switch device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002311291A JP3867039B2 (en) 2002-10-25 2002-10-25 Hand pattern switch device

Publications (2)

Publication Number Publication Date
JP2004145723A true true JP2004145723A (en) 2004-05-20
JP3867039B2 JP3867039B2 (en) 2007-01-10

Family

ID=32456566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002311291A Expired - Fee Related JP3867039B2 (en) 2002-10-25 2002-10-25 Hand pattern switch device

Country Status (1)

Country Link
JP (1) JP3867039B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140268A (en) * 2006-12-04 2008-06-19 Denso Corp Operation estimation device and program
JP2015149036A (en) * 2014-02-10 2015-08-20 レノボ・シンガポール・プライベート・リミテッド Method of improving accuracy of operation on touch screen, electronic device, and computer program
WO2016017250A1 (en) * 2014-08-01 2016-02-04 ソニー株式会社 Information processing apparatus, information processing method, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140268A (en) * 2006-12-04 2008-06-19 Denso Corp Operation estimation device and program
JP4670803B2 (en) * 2006-12-04 2011-04-13 株式会社デンソー Operation estimating apparatus and program
JP2015149036A (en) * 2014-02-10 2015-08-20 レノボ・シンガポール・プライベート・リミテッド Method of improving accuracy of operation on touch screen, electronic device, and computer program
WO2016017250A1 (en) * 2014-08-01 2016-02-04 ソニー株式会社 Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date Type
JP3867039B2 (en) 2007-01-10 grant

Similar Documents

Publication Publication Date Title
US5923267A (en) Device with a human-machine interface
US20120068956A1 (en) Finger-pointing, gesture based human-machine interface for vehicles
US20100052931A1 (en) Gesture control key fob
US20140223384A1 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
US20070124070A1 (en) Device and method for executing vehicle-mounted man-machine interface
US20130204457A1 (en) Interacting with vehicle controls through gesture recognition
US20020041260A1 (en) System and method of operator control
US20070268270A1 (en) Touch operation input device
JP2000228126A (en) Steering input device
GB2423808A (en) Gesture controlled system for controlling vehicle accessories
US20110063425A1 (en) Vehicle Operator Control Input Assistance
US7499569B2 (en) Hand pattern switching apparatus
WO2001094156A2 (en) Head-up display based safety devices for use in motor vehicles
US20040195031A1 (en) Car-mounted device control system
US20030234764A1 (en) Input apparatus for vehicle-installed instruments
JPH10269012A (en) Touch panel controller and information display device using the same
JPH11105646A (en) Concentrated control unit for on-vehicle equipment
JP2006103364A (en) Information display device for vehicle
US20120232751A1 (en) Pressure-Sensitive Steering Wheel Controls
JP2001113981A (en) Display device for vehicle
JPH11119911A (en) Switching device
JP2009075656A (en) Input display device
US20050063564A1 (en) Hand pattern switch device
JPH11327788A (en) Touch panel device
JP2005250785A (en) Operation input device for vehicle and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040825

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20040825

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20041021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050317

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050927

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061006

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091013

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091013

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101013

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees