CN1595336A - 手图形转换装置 - Google Patents

手图形转换装置 Download PDF

Info

Publication number
CN1595336A
CN1595336A CNA2004100794869A CN200410079486A CN1595336A CN 1595336 A CN1595336 A CN 1595336A CN A2004100794869 A CNA2004100794869 A CN A2004100794869A CN 200410079486 A CN200410079486 A CN 200410079486A CN 1595336 A CN1595336 A CN 1595336A
Authority
CN
China
Prior art keywords
hand
shape
sweep trace
switch device
pattern switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100794869A
Other languages
English (en)
Other versions
CN1313905C (zh
Inventor
山本惠一
佐藤広充
小澤愼治
斎藤英雄
五十嵐弘也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Fuso Truck and Bus Corp
Keio University
Original Assignee
Mitsubishi Fuso Truck and Bus Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Fuso Truck and Bus Corp, Keio University filed Critical Mitsubishi Fuso Truck and Bus Corp
Publication of CN1595336A publication Critical patent/CN1595336A/zh
Application granted granted Critical
Publication of CN1313905C publication Critical patent/CN1313905C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2045—Means to switch the anti-theft system on or off by hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/856—Actuation thereof
    • E05Y2400/858—Actuation thereof by body parts, e.g. by feet
    • E05Y2400/86—Actuation thereof by body parts, e.g. by feet by hand

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种能简易且可靠地检测操作者的手形和手掌移动的手图形转换装置。根据对手腕前端进行摄像的摄像图像求出通过手腕中心的中心轴，作为例如通过其重心的轴线，设定相对于上述中心轴正交的第1扫描线和在上述中心轴方向上延伸的第2扫描线两者其中至少之一。一面从指尖侧向手掌中心移动所设定的第1扫描线和第2扫描线两者其中至少之一，一面判定检测例如规定宽度以上的指宽的扫描线条数，检测手指是否从手掌当中伸出。

Description

手图形转换装置
技术领域
本发明涉及适合于不触及该车辆搭载机器的操作板、不妨碍车辆运转、简易操作空调机器或声频机器等车辆搭载机器和侧反射镜等车辆附带机器的动作的手图形转换装置。
背景技术
作为不触及该车辆搭载机器的操作板来操作空调机器或声频机器等车辆搭载机器的动作的技术，提出了用照相机对驾驶者的身体一部分(例如左手)进行摄像，识别该图像图形。得到对于上述车辆搭载机器的操作息的技术(参照例如日本专利特开平11-134090号公报)。也提出了检测作为驾驶者手的形状和移动而表示的手势，取得对于车辆搭载机器的操作信息的技术(参照例如日本专利特开2001-216069号公报)。
这种技术，由于用从例如对于进行摄像的图像识别手的形状的图形识别处理、和跟踪所识别的手的位置变化来检测其移动的移动检测处理等实现，所以这里为方便起见称为手图形转换等。
但是，在用上述手图形转换装置操作车辆搭载机器的动作时，必需可靠而且正确地检测驾驶员(操作者)的手形和其移动。为此，首先，需正确识别对驾驶员(驾驶者)的手进行摄像的图像中哪一部分是手。但是，在驾驶员(操作者)穿着长袖衬衣或戴着手表等时，由于例如检测输入图像中的手腕部位异常粗，或因手表等的图像部分而造成腕部产生中断，所以有不能可靠地检测识别处理所必要的手掌或手背(以下总称手掌)部分的担心。而且，以前一般用区域分割等复杂的图像处理技术，或对照预先设定的标准手形等来识别手形，所以有处理负担大的问题。
发明内容
本发明的目的在于提供一种能简易且可靠地检测操作各种车辆搭载机器和车辆附带机器的动作的驾驶员(操作者)的手形和手掌移动并正确输入其操作信息的手图形转换装置。
本发明的手图形转换装置，具有对置于规定摄像区域的手腕前端进行摄像的摄像装置，从该摄像装置所摄取的摄像图像当中检测出手形和/或手指动作，得到规定的转换操作信息，还包括：根据所述摄像图像求出通过所述手腕中心的中心轴的第1图像处理装置；设定相对于所述中心轴正交的第1扫描线和在所述中心轴方向上延伸的第2扫描线两者其中至少之一的扫描线设定装置；以及根据该扫描线设定装置设定的所述第1扫描线和第2扫描线两者其中至少之一判定所述手指是否伸出的判定装置。
附图说明
本发明通过以下例示所记载的详细说明和附图变得更清楚。
图1是本发明一实施例的手图形转换装置的概略结构图。
图2是图1所示的手图形转换装置的手指摄像区域图。
图3是表示手形和手掌中心的识别处理顺序一例的流程图。
图4是用于说明图3所示的手形和手掌中心的识别处理的概念图。
图5A是用于说明以前一般的手形识别处理的不适合的图。
图5B是和图5A相同的图。
图6A是表示本发明的实施例所用的手形1的图。
图6B是表示手形2的图。
图6C是表示手形3的图。
图6D是表示手形4的图。
图7是表示用图1所示的手图形转换装置的操作指令识别部的手形识别处理顺序一例的流程图。
图8是表示操作量检测处理顺序一例的流程图。
图9是表示时间模式的操作量检测处理例的流程图。
图10是表示用距离·时间模式的操作量检测处理例的流程图。
图11是表示手指相对本装置的转换操作信息输入形态的图。
图12是表示在选择多个控制对象方面的体系化实例的图。
具体实施方式
以下参照附图说明本发明一实施例的手图形转换装置。
图1是实施例装置的主要部件概略结构图，表示着车辆的驾驶员座样子和用微机等实现的手图形转换装置的功能。在驾驶员座的前方设置着由驾驶员(司机)操纵的方向盘1和组合转换(未图示)等，在其操纵板设置着声频机器和空调机器等的操作部2。驾驶员座上方的天花板设置有将方向盘1的旁边作为摄像区域、用于对向着该摄像区域伸出了手腕的驾驶员的手进行摄像的摄像机3。该摄像机3由CCD摄像机等小型的摄像机构成。录像机3也可以是在规定的照度下(白天)得到可视光区域的像的摄像机，但是，在如夜间那样摄像区照度不足的情况，当然也可用在该摄像区域照射近红外光求得红外线像的所谓红外线摄像机。对于手图形转换装置的操作，通过在上述摄像区域以使手掌位于大致水平状态选择性弯曲手指未改变手形，同时使手掌位置前后左右位移(移动)来进行。还有，用摄像机3摄像的是手背一侧，但这里将经过摄像的手背一侧作为手掌进行说明。
手图形转换装置，基本上从其输入图像识别处理由上述摄像机3摄像的驾驶员的手形和移动，根据该识别结果，得到规定的转换操作信息，代替上述的操作部2对上述的声频机器和空调机器承担提供转换操作信息的任务。具体地说，手图形转换装置具备：对用摄像机3已摄像的输入图像进行二进制编码处理，除去其背景图像成分提取手腕前端侧、主要是手掌和手指的图像成分的二进制编码处理部11；从由二进制编码处理提取的手掌和手指图像求得其重心位置的重心检测部12；识别手指形状的形状识别部13。
手图形转换装置还具备根据上述形状识别部13的识别结果和由重心检测部12检测的手重心位置，识别由驾驶员的手形和手掌移动表示的转换操作的操作指令识别部14。该操作指令识别部14具备：大致参照预先存储在存储器15的特定手形图形和其分配的任务的关系，判定(识别)如上述那样识别的手形意图的操作类别的功能判定部16；跟踪成为特定的指夹形状的手掌的重心位置移动或指尖移动，检测来自其基准位置的位移量的位移量检测部17；监视上述手掌或指尖移动作为时间经过的计时器18。并且，操作指令识别部14的结构是，根据这些判定·监视结果，求得由驾驶员的手形和手掌的移动特定的规定转换操作信息，对于例如上述的声频机器和空调机器输出该转换操作信息。
还有，在操作指令识别部14设置着根据上述的判定结果，对于驾驶员进行规定引导的引导部19。该引导部将例如声频机器和空调机器(操作对象机器)、音量·频道设定或风量·温度等(操作对象功能)作为特定的声音信息和表示其转换操作(操作量)的「哔[(短促音)ピツ]」和「哔-[(拉长音)ピ一]」等的确认音，通过话筒20报知驾驶员。该操作指令识别部14的具体动作形态、即对于声频机器和空调机器等的多个控制对象的转换操作信息的输出控制，后面叙述。
上述摄像机3的摄像区域3a，如图2所示设定成方向盘1旁边的从该方向盘1的外周边至少离开50mm的位置，最好设定成离开100mm的位置。特别是驾驶员在驾驶座的侧部设置的手腕扶手(手臂休息部位)5搁置手腕后仍不破坏其驾驶姿势、能伸出手腕的位置，设定为手不触及声频机器等的操作部2的位置。故而该摄像区域3a设定为在方向盘1的旁边伸开胳膊的驾驶员手的指尖方向有大致600mm大小、在手的宽度方向有大致350mm大小的大致长方形状区域。
具体来说，该摄像区域3a属于并非对握持方向盘1的或操作设置在其柱身上的组合开关(未图示)的驾驶员的手进行摄像的区域，而设定为驾驶员不必大幅度活动手腕便能移动手的区域。由此，能防止将随着驾驶操作的手移动误作为转换操作信息来检测。关于直接操作声频机器等的操作部2的手指，也不检测其地进行设定。
在这样设定的摄像区域3a配置变速杆(未图示)时，例如，可以通过设置在变速杆的感压传感器检测驾驶员的变速杆的握持。若采取这样的办法，可以容易判别在摄像区域延长的手是操作变速杆的状态或者是操作手图形转换装置的状态，能可靠地防止将驾驶操作作为转换操作信息误检测。作为摄像机3使用立体(立体视场)摄像机检测手的高度位置(离摄像机3的距离)，由此，也可以判别在摄像区域3a延长的手操作变速杆或者位于变速杆的上方空间。
如上述那样设定的摄像区域3a，将驾驶员在肘部扶手(手臂休息部位)5搁置手腕(肘部)后仍能不破坏其驾驶姿势、自然伸出手腕且在假想进行转换操作时驾驶员能不过分地自然移动的手腕和手活动的范围(位移幅度)作为基准来设定。特别考虑手掌的大小，一般从腕部到指尖的长度是200mm左右，其宽度是120mm左右，如上述那样，设定为例如，长600mm、宽度350mm的大致矩形区域。
若根据这样设定的摄像区域，能不检测随着驾驶操作的手·手腕的移动，在离开方向盘1的手无别扭感的自然移动下可靠地对其手掌和手进行摄像。并且，即使手的位置随着转换操作移动，由于能在上述摄像区域3a内可靠地抓住其移动，所以能在比较简易的图像处理下容易进行手的形状识别和其移动量(位移量)的检测。
相反，若由驾驶员做，可以不破坏其驾驶姿势地在方向盘1的旁边伸出手腕，不直接触及声频机器等的操作部2，形成预先设定的手形，仅使手移动来进行所希望的转换操作。因而，能减轻驾驶员的操作负担。由于随着驾驶操作的手和手腕的移动不作为转换操作指令检测，所以能不意识手图形转换装置地集中驾驶操作，根据需要只在摄像区域3a移动手(手掌)，所以有能简易地提供转换操作指令等的优点。
在这里，从本发明的特征的上述二进制图像说明手的识别处理。
该识别处理，根据图3所示的处理顺序，首先从将由摄像机3已摄像的摄像区域3a的输入图像根据规定的阈值，例如，设背景部为黑，设相当于图像中的手腕和手掌的部位为白进行二进制编码处理开始(步骤S1)。根据该二进制编码处理，求出例如如图4所示的摄像区域3a的二进制编码图像。然后，求出相当于二进制编码图像中手腕和手掌的图像成分的白区域的重心G，从该重心G和解析通过该重心G的白象素排列方向求出的纵向力矩求出中心轴B(步骤S2)。这样，通过白区域的重心G那样地求出中心轴B，能更正确设定中心轴B的位置。
然后，以等间隔将多条相对上述中心轴B或直角的第1扫描线S1设定在从其指尖侧的二进制图像的上侧到上述重心G之间(步骤S3)。并且，分别依次从上述二进制图像的上侧求出上述各扫描线S1上的白图像的宽度W，检测白图像宽度W是最大的扫描线S1(步骤S4)。这时，只将跨过上述中心轴B连续的白图像作为检测对象，检测各扫描线S1上的白图像宽度W是所希望的。可以一面逐次判定从图像的上侧检测的白图像的宽度W是否大于在其之前的扫描线S1检测的白图像宽度W，一面将其检测宽度是顶峰的扫描线S1作为白图像宽度W是最大的扫描线S1检测。
将如上述那样检测的白图像宽度W为最大值的扫描线S1和上述中心轴B的交点作为手掌的中心位置检测(步骤S5)。通过这样的处理求出手掌中心位置C，例如即使在由戴在腕部的手表和腕套引起，使其二进制编码图像如图5A所示在从手腕到手掌的部位(腕部)中断时，和或轴穿着长袖衣服引起使腕部隐蔽，例如如图5B所示检测手腕粗(宽度)特别检测腕部异常粗时，比较手掌中央部分的宽度，由于腕部一侧宽度狭窄，所以能正确检测手掌的中心位置C。
然后，将如上述那样求出的手掌中心位置C和手掌的宽度W作为基准，在从二进制图像的上侧到上述中心位置C的扫描线S1中，查询检测规定宽度W以上的宽度的扫描线S1的数量(步骤S6)。具体地说，查询在各扫描线S1检测的白图像宽度是否是作为通过上述手掌中心位置C的最大宽度W的1/7～1/4而设定的宽度W以上。并且，通过判定检测宽度W以上的白图像的扫描线数量是否是根据上述扫描线S1的间隔预先设定的值以上，将在中心轴B方向延伸的规定长度以上的白图像区域作为是从手掌伸出的手指(例如食指)检测。例如，如上述那样距作为扫描线S1的条数检测的手掌中心位置C的长度是10cm以上时，将其作为食指检测。
同样检测拇指。在检测该拇指时，这里设左手为检测对象，由于和食指的指向不同，例如在从手掌中心位置C右侧设定对上述中心轴B倾斜10°左右的第2扫描线S2(步骤S7)。这是因为着眼于即使最大地打开拇指，拇指的指向相对中心轴B有一些倾斜，在拇指打开成最大时，拇指和扫描线S2大致正交，所以能可靠地进行拇指的检测。
在从二进制图像的右侧到上述中心位置C的扫描线S2，查询已检测规定宽度W以上的宽度的扫描线S2的数量(步骤S8)。在这里，和上述食指检测时同样，判定已检测设定为通过手掌中心位置C的最大宽度的1/7～1/4的宽度W以上的白图像的扫描线S2的数量是否是规定值以上。并且，在检测规定数以上的扫描线S2时，将其作为是从手掌向右侧伸出的拇指检测。
通过以上那样的识别处理，求出表示在摄像区域3a中的手形的信息和手掌的中心位置C。由于分别判定是否检测食指或是否检测拇指，例如分别如图6A～图6D所示，分别判定是手握紧全部手指的「握拳」形状(手形1)、或是仅伸出食指的「指向」形状(手形2)、或是仅在水平方向伸出拇指的「明白(OK)」形状(手形3)、或是伸出食指和拇指的「L字形」形状(手形4)。
在该实施例中，上述的「L字形」形状(手形4)用于对手图形转换装置的操作开始的指令。上述的手形状3，和「握拳」形状(手形1)成对地使用，由于拇指的取出和放入(弯曲伸出)引起的手形状变化模仿上述按钮开关的按压操作，用于多个控制对象的选择信息的输入。「指向」形状(手形2)看做为模仿模拟测量仪表的指针，将指夹(或手掌)的位置变化用于对控制对象的操作量的指令。上述「握拳」形状(手形1)也用于指令手图形转换装置的操作结束。
在上述的操作指令识别部14，例如按照图7所示的顺序，识别处理如上述那样识别的手形和手掌位置变化，由此用驾驶员(转换操作者)的手解释转换操作，对多个控制对象输出转换操作信息。
具体地说，操作指令识别部14数据输入上述形状识别部13的识别结果和手掌中心位置C的信息(步骤S11)。首先，查询用于识别是否指令转换操作用的标志F(步骤S12)，未调节标志F时(F＝0)判定手形是否是指令上述的操作开始的「L字形」形状(手形4)(步骤S13)。在检测了手形4时，调节上述标志F(步骤S14)，开始转换操作信息的输入。在未检测手形4时，反复进行上述的处理直至检测手形4。
另一方面，在调节上述标志F时(F＝1)，作为开始转换操作的输入处理(步骤S12)，判定用于识别这一次是否设定指定控制对象的功能选择模式的标志M(步骤S15)。在未调节标志M时(M＝0)，判定手形是否是用于选择上述控制对象的手形3(步骤S16)。在是手形3时，调节上述标志M为1(M＝1)，设定控制对象选择模式(步骤S17)。在不是手形3时，作为已经指定控制对象，进行后述的转换操作量的输入处理。
在如上述那样检测手形3并设定控制对象选择模式时，接着判定手形是否是指令控制对象切换的「握拳」形状(手形1)(步骤S18)。检测出手形1时，判定上次检测的手形是否是上述的手形3(步骤S19)。当检测出从手形3向手形1变化时，判断其是控制对象的切换指令，变更控制对象(步骤S20)。关于该控制对象的变更，例如多个控制对象是相对于声频机器的「音量」、相对于空气调节器(空调机)的「温度」和相对于空气调节器(空调机)的「风量」的3个时，可以如后述那样循环切换这些控制对象。
检测出本次手形1但上次手形不是手形3时(步骤S19)，在该控制对象选择模式中，作为没有进行从手形3向手形1的变更而返回到步骤S11处理。并且在上述步骤S18未检测手形1时，接着判定其手形是否是上述的手形3(步骤S21)。在是手形3时，在控制对象选择模式中维持手形3的状态，作为没有进行该变更而返回到上述步 骤S11的处理。在也不是手形1和手形3时(步骤S18、S21)，复位上述标志M为0(M＝0)，解除如上述那样设定的控制对象选择模式。
另一方面，在未设定控制对象选择模式的状态，在未检测手形3时(步骤S16)、或解除控制对象选择模式时(步骤S22)，接着判定该手形是否是只伸出上述食指的「指向」形状(手形2)(步骤S23)。在检测出手形2时，进行以下说明的转换操作量的检测处理(步骤824)。在步骤S23中未检测手形2时，判定该手形是否是「握拳」的形状(手形1)(步骤S25)。在是手形1时，增加计时器t的计数(步骤S26)，判定计数增加的计时器t是否经过规定时间T(步骤S27)。在经过规定时间T以上维持手形1时，分别复位上述的标志F、M为0(F＝0，M＝0)，作为进行转换操作结束指令来结束上述的一连串处理(步骤S28)。在不是手形2和手形1时(步骤S23，S25)，返回上述的步骤S11的处理并等待下次指令输入。在经过规定时间以上未维持手形1时，即在规定时间内再次变更成手形2那样时(步骤S27)，返回上述的步骤S11的处理后可再操作。
这里，具体说明上述的「指向」形状(手形2)的转换操作量的检测处理时，概略地按照图8所示的处理顺序进行该处理。即，该转换操作量的检测处理，首先从判定用于识别是否设定操作量设定模式的标志K是否调节开始(步骤S31)。在未设定操作量设定模式时(K＝0)，首先将如上述那样求出的手掌中心位置C作为操作量检测用的基准位置Co设定(步骤S32)，接着将上述标志K调节成1(K＝1)，在设定操作量设定模式的同时(步骤S33)，将在该操作量设定模式用的计时器值t调节成0(步骤S34)。
对于以后输入的数据，由于已经调节标志K(步骤S31)，求出这时求出的手掌中心位置C和如上述那样设定的基准位置Co的位移距离，具体地求出出距基准位置Co的移动距离D(步骤S35)。该移动距离D的算出，若作为在输入图像上的象素间距离求出是充分的。根据如上述那样求出的移动距离；例如根据预先设定的操作量检测模式(步骤S36)，选择地进行时间模式的操作量检测处理(步骤S37)、或距离·时间模式的操作量检测处理(步骤S38)。
时间模式是输出响应从基准位置Co位移的手停止时间的转换操作信息的模式，适合于调节声频机器的音量和空调机器的温度的情况等。距离·时间模式是在于稍微移动时输出响应于其移动量的转换操作信息，在手掌移动规定距离以上时输出在该移动位置的响应于停止时间的转换操作信息的模式。该距离·时间模式适应于或粗调整、或微调整控制对象的情况等。
在该实施例食指形状(手形2)的转换操作量的指令输入、通过以在肘部扶手5搁置的手腕为中心左右移动手掌、或以腕部为支点左右移动该手来进行，手掌或手的左右移动在没有离开上述摄像区域3a的范围，例如在角度大致±45°的范围内进行。特别在该实施例中，分别分成n个阶段检测作为手形2的手掌的移动量。
这里，时间模式的操作量检测，例如如在图9表示其处理顺序那样，首先判定手掌从基准位置Co的移动量D是否超过判定其最大移动量的设定值(阈值)H、-H来进行(步骤S40)。这里，在移动距离D未达到上述设定值(阈值)H、-H时，设计时器值t为D(步骤S41)，返回到上述步骤S11的处理。
与此相反，在移动距离D超过设定值(阈值)H时，在步骤S40判别时，增加计时器值t的计数(步骤S42)。当计数增加的计时器值t达到基准时间T时(步骤S43)，使那时的设定值(转换操作信息)增加1阶段(步骤S44)。将计时器值t复位0后(步骤S45)，返回到上述步骤S11的处理。
而在步骤S40判别移动距离D是反向并超过其阈值-H时，同样增加计时器值t的计数(步骤S46)。当计数增加的计时器值t达到基准时间T时(步骤S47)，使那时的设定(转换操作信息)减少1阶段(步骤S48)。将计时器值t复位0以后(步骤S49)，返回到上述步骤S11的处理。由于这样一连串的处理，使立起食指的手掌左右移动规定距离后停止时，根据其停止时间，使相对于控制对象的操作信息(设定值)每个增加或减少1阶段，输出该转换操作信息。
与其相反，距离·时间模式的操作量检测，例如如在图10表示其处理顺序那样，首先判定手掌从基准位置的移动距离D是否超过判定其最大移动量的设定值(阈值)H、-H来进行(步骤S50)。在超过其判定阈值H、-H时，分别在步骤S42a～S45a和步骤S46a～49a表示那样，和上述时间模式时相同，根据在该最大移动位置立起食指的手掌停止时间，可变设定相对于控制对象的操作信息(设定值)。
可是，手掌从基准位置Co的移动距离D未达到其最大移动量时，在步骤S50判别时，比较这次检测的移动距离D和上次检测的移动距离D′来判定立起食指的手掌移动方向(步骤S51)。在其移动方向增加时，判定条件1是否成立。具体地说，判定从上述基准位置Co的这次检测的移动距离D比作为规定的检测单位距离h的整数倍规定的检测距离[h*(n+1)]大并且上次检测的移动量D′是否是小于该检测距离(步骤S52)。但是，上述n是设定检测距离的参数。在超过上述判定用的检测距离[h*(n+1)]，手掌在增加方向这次移动且上次移动量D′是该检测距离以下时，即在从上次周期至这次周期手掌在增加方向移动规定距离以上，D＞h*(n+1)且D′≤h*(n+1)这个条件1成立时，增加上述参数n并设定下次判定用的检测距离(步骤S54)，相对于控制对象的操作信息(设定值)增加1阶段(步骤S56)。
在由步骤S51判定的手掌移动方向减少时，判定条件2是否成立。具体地说，判定从上述基准位置Co的这次检测的移动距离D比作为规定检测单位距离h的整数倍规定的检测距离[h*(n-1)]小且上次检测的移动量D′是否是该检测距离以上(步骤S53)。并且，在超过上次判定用的检测距离[h*(n-1)]，手掌在减少方向这次移动且上次移动量D′是该检测距离以上时，即在从上次周期至这次周期手掌在减少方向移动规定距离以上，D＜h*(n-1)且D′≥h*(n-1)这个条件2成立时，减去上述参数n并设定下次判定用的检测距离(步骤S55)，相对于控制对象的操作信息(设定值)减少1阶段(步骤S57)。
若采用这样的距离·时间模式的操作量检测处理，能根据从基准位置Co立起食指的手掌的移动距离大致连续地提供转换操作量。并且，在使立起食指的手掌移动较大时，可根据该停止位置的停止时间使转换操作量连续地变化。由于这些手掌和手的移动，可迅速而且根据需要精密地设定转换操作量。
若采用如上述那样检测手指的形状和手掌的移动并识别驾驶员(转换操作者)的转换操作意图的操作指令识别部14，例如，如图11所示那样建立预先设定的手形，仅使手和或手掌移动，不触及声频机器或空调机器等的操作部2，能简易地输入相对各种控制对象的转换信息。
即，在驾驶员握住方向盘1操纵车辆时，如初始状态P1所示那样驾驶员的手从摄像区域3a离开，那时的输入图像仅是作为车室内的背景并进行排除处理的图像成分。因而，这时手图形转换装置不动作。与此相反，驾驶员的手离开方向盘1并如操作状态P2所示那样进入到摄像区域3a内，在该手形是「L字形」形状(手形4)时，如上述那样判定指令手图形转换装置的操作开始，例如，发出「ピツ」的确认音，装置处于待机(准备)状态。
接着，将手形设定成如动作状态P3那样仅使上述拇指在水平方向伸出的形状(手形3)时，检测其并设定功能切换模式(控制对象选择模式)。这时，应将设定功能切换模式的意思提示给驾驶员(操作者)，例如，发出声音信息，或使八音盒出声音。在该期间使拇指弯曲变更成拳形状(手形1)时，将这判定为按钮开关操作，切换控制对象。在该控制对象切换时，例如如上述那样，每次在说「音量」、「温度」、「风量」的情况检测转换操作，都能通知例如「请设定音量调整模式」、「请设定温度调整模式」、「请设定风量调整模式」等的声音引导(声音信息)。也可以简单地发出「音量」、「温度」、「风量」等的单词作为声音信息。由于这样的引导，驾驶员因为不用眼确认就能识别该操作状态，所以可专心驾驶操作。
然后，若设定所希望的控制对象，如动作状态P4所示，将手形设定成「指向」形状(手形2)。这样一来，通过识别该手形2来设定上述操作量的设定模式。并且，根据预先设定的操作模式，如动作状态P5a或动作状态P5b所示，形成「指向」形状(手形2)并使手掌左右移动，由此进行对如上述那样设定的控制对象的转换操作量的信息输入。若所希望的转换操作完成，通过将手形如动作状态P6所示那样形成为「握拳」形状(手形1)，对该装置指令其操作结束。
在左右移动上述「指向」形状(手形2)的拳来输入转换操作量信息的中途，在再次设定使拇指在水平方向伸出的形状(手形3)时，那时可以结束转换操作信息的输入处理，再进行控制对象的选择切换的处理。因而，在依次操作多个控制对象时，也不中断该识别处理本身，可连续反复操作多个控制对象，可提高其使用方便性。
若采用如上述那样构成的手图形转换装置，能简易、有效且手指和手腕的动作不受到驾驶操作的影响、正确检测预先设定的手形和其移动的转换操作指令。根据其检测结果，能对规定的车辆搭载机器提供合适的转换操作信息。对指令转换操作的手指进行摄像的区域(摄像区域3a)是方向盘1的旁边位置，由于设定为驾驶员不破坏其驾驶姿势并能自然伸出手腕的范围，不给驾驶员增加操作负担。因而，一面维持直接操作音频机器等的操作部2的感觉，一面容易取得通过手图形转换装置能输入指令转换操作信息等的实用上大的效果。
若采用该手图形转换装置，从对摄像手掌的图进行二进制编码的图像中求出向着指尖的中心轴，一面从指尖侧依次求出在与该中心轴大致成直角的扫描线上的手的指宽度，一面求出最大宽度的扫描线和上述中心轴的交点并作为手掌中心，由此能可靠地检测二进制编码图像中的手掌部分。因而，即使操作者穿着长袖衬衣，或者即使戴着手表等，也能不拘泥这些图像成分地正确检测手掌的中心、进而手掌部分。
而且，将上述手掌中心作为基准，与作为检测对象的手指方向大致成直角地设定手指检测用的扫描线，由于一面将在这些扫描线上检测的规定宽度以上的图像成分作为手指宽度抓住，一面根据其扫描线的条数判定手指是否从手掌部分伸出，所以能简单且可靠地识别(检测)那个手指形状。尤其能积极地利用食指和拇指的方向不同来判定这些各指从手掌部分的伸出状态，所以能可靠地抓住上述多个手形的特征来识别那个手形。因而，由于通过负担少的简单的图像处理能可靠地识别手形和手掌的移动(位置变化)，所以取得能简化该操作本身等的效果。
本发明不限定于上述实施例。在实施例中以右转向盘为前提进行说明，不用说也同样可适用于左转向盘的情况，不限于载重汽车等大型车，也同样能适用于普通小轿车。关于其控制对象，例如如图12所示，当然可扩展到汽车括水器的开·关和其动作间隔的调整，后视镜的转换等。这时，使那个控制对象形成系统并分类成树状，可以阶段地选择这些控制对象。
具体地说，将多个控制对象大分类成「行驶装置系列」和「舒适装备系列」，对于「行驶装置系列」，进一步进行如「方向指示器」、「括水器」、「灯光」、「反射镜」那样地中分类。并且，在这些中分类的每个控制对象中，也可以对其多个功能进行小分类。同样对于「舒服装备系列」，也中分类成「声频」和「空气调节器」，对于「声频」，分类成「收音机」、「CD」、「磁带」、「MD」等每种机器类别，在这些每个机器类别也可以对其操作形态和音量等进行功能分类。但，在只设定分类项目时，由于其选择处理本身复杂化，所以实际上设定成仅选择必需最小限度的控制对象，这在其操作性方面是令人满意的。
关于信息输入所用的手的形状，不用说也不限定于上述的实施例。此外，本发明在不脱离其要旨的范围内，能进行各种变形来实施。
若采用这样构成的手图形转换装置，由于用在相对于从对摄像图像进行二进制编码的图像中的手腕部位向指尖的中心轴成直角设定的第1扫描线和或在中心轴方向设定的第2扫描线检测手指，即使操作者穿着长袖衬衣或即使戴着手表等，也能不拘泥这些图像成分地可靠检测手指是否伸长。因而，能正确判定手的形状。特别通过手掌中心求出中心轴，由于检测在通过该手掌中心的扫描线检测的图像宽度的1/7～1/4以上的指宽并判定食指和拇指是否伸出，所以能简单且可确地识别(检测)该手指形状。
因而，在检测手形和/或手掌(指尖)移动并提供对各种控制对象的转换操作信息方面，能一面减轻其识别处理负担一面准确识别手形和其移动。

Claims (15)

1.一种手图形转换装置，具有对置于规定摄像区域的手腕前端进行摄像的摄像装置，从该摄像装置所摄取的摄像图像当中检测出手形和/或手指动作，得到规定的转换操作信息，其特征在于，包括：
根据所述摄像图像求出通过所述手腕中心的中心轴的第1图像处理装置；
设定相对于所述中心轴正交的第1扫描线和在所述中心轴方向上延伸的第2扫描线两者其中至少之一的扫描线设定装置；以及
根据该扫描线设定装置设定的所述第1扫描线和第2扫描线两者其中至少之一判定所述手指是否伸出的判定装置。
2.如权利要求1所述的手图形转换装置，其特征在于，所述判定装置包括：检测所述手中特定手指的伸出缩回并在每次检测出该特定指的伸出缩回时循环地选择指定多个控制对象其中之一的功能选择装置；根据预先设定的手形和/或形成该手形的手的动作，向所述功能选择装置所指定的控制对象赋予控制量的机器操作装置。
3.如权利要求2所述的手图形转换装置，其特征在于，所述机器操作装置根据手相对于基准位置在左右方向上的移动量和/或其移动终端的停止时间来改变赋予控制对象的控制量。
4.如权利要求2所述的手图形转换装置，其特征在于，所述判定装置检测出握紧全部手指的握拳形状维持达到规定时间以上时，便作为操作结束的指令，结束所述功能选择装置对控制对象的选择指定和所述机器操作装置对控制对象赋予控制量。
5.如权利要求2所述的手图形转换装置，其特征在于，所述预先设定的手形包含握紧全部手指的握拳形状、仅伸出食指的指向形状、仅使拇指在水平方向伸出的形状、以及伸出食指和拇指的L字形形状。
6.如权利要求2所述的手图形转换装置，其特征在于，所述特定指是拇指，所述预先设定的手形是仅伸出食指的指向形状，所述机器操作装置检测所述指向形状的左右动作。
7.如权利要求1所述的手图形转换装置，其特征在于，所述摄像装置设置在车辆驾驶座上方的天花板上。
8.如权利要求2所述的手图形转换装置，其特征在于，具有在由所述功能选择装置选择所述多个控制对象其中之一时提供确认音的引导功能。
9.如权利要求7所述的手图形转换装置，其特征在于，所述摄像区域是所述车辆驾驶员将手腕置于设置在驾驶座侧部的扶手部位时依然能够不破坏驾驶姿势、伸出手腕的位置，并设定在避免手触及所述车辆设置的控制板的操作部这种位置。
10.如权利要求1所述的手图形转换装置，其特征在于，所述图像处理装置包括：对所述摄像图像进行二进制编码处理的二进制编码处理装置；和求出经过该二进制编码处理的摄像图像的重心的重心检测装置，
通过所述手腕中心的中心轴，作为通过所述重心的轴线求出。
11.如权利要求10所述的手图形转换装置，其特征在于，具有设定多条从所述手腕前端侧至所述重心侧的所述第1扫描线，求出经过二进制编码处理的所述手腕前端宽度为最大的扫描线，将该扫描线和所述中心轴的交点作为手掌中心求出的第2图像处理装置。
12.如权利要求1所述的手图形转换装置，其特征在于，所述扫描线设定装置设定所述第1扫描线和第2扫描线两者，
所述判定装置用所述第1扫描线判定食指是否伸出，用所述第2扫描线判定拇指是否伸出。
13.如权利要求12所述的手图形转换装置，其特征在于，所述扫描线设定装置相对于所述中心轴倾斜约10度设定所述第2扫描线。
14.如权利要求13所述的手图形转换装置，其特征在于，当可检测出规定宽度以上的手指宽度的扫描线条数是规定条数以上时，所述判定装置判定手指从手掌当中伸出。
15.如权利要求14所述的手图形转换装置，其特征在于，所述规定宽度为通过手掌中心的扫描线所检测出的宽度的1/7～1/4以上。
CNB2004100794869A 2003-08-11 2004-08-11 手图形转换装置 Expired - Fee Related CN1313905C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003291380 2003-08-11
JP2003291380A JP3752246B2 (ja) 2003-08-11 2003-08-11 ハンドパターンスイッチ装置

Publications (2)

Publication Number Publication Date
CN1595336A true CN1595336A (zh) 2005-03-16
CN1313905C CN1313905C (zh) 2007-05-02

Family

ID=34213317

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100794869A Expired - Fee Related CN1313905C (zh) 2003-08-11 2004-08-11 手图形转换装置

Country Status (5)

Country Link
US (1) US20050063564A1 (zh)
JP (1) JP3752246B2 (zh)
KR (1) KR100575504B1 (zh)
CN (1) CN1313905C (zh)
DE (1) DE102004038965B4 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100426200C (zh) * 2006-10-13 2008-10-15 广东威创视讯科技股份有限公司 基于交互式输入设备的智能输入编码方法
CN100428123C (zh) * 2005-12-27 2008-10-22 联想(北京)有限公司 一种数字设备信息输入装置
CN102113012A (zh) * 2008-06-04 2011-06-29 国立大学法人筑波大学 手指形状推定装置、手指形状的推定方法及程序
CN102778947A (zh) * 2008-06-10 2012-11-14 联发科技股份有限公司 电子设备及无接触控制电子设备的方法
CN103562822A (zh) * 2011-04-28 2014-02-05 Nec软件系统科技有限公司 信息处理设备、信息处理方法以及记录介质
CN103661165A (zh) * 2012-09-19 2014-03-26 阿尔卑斯电气株式会社 动作预测装置及使用其的输入装置
CN103797446A (zh) * 2011-09-07 2014-05-14 日东电工株式会社 输入体的动作检测方法以及使用了该方法的输入设备
CN103914684A (zh) * 2012-12-28 2014-07-09 现代自动车株式会社 利用选择性照明来识别手势的方法和系统
CN104039582A (zh) * 2012-01-09 2014-09-10 戴姆勒股份公司 使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法和装置、以及相应的计算机程序产品
CN105378602A (zh) * 2013-07-23 2016-03-02 罗伯特·博世有限公司 用于运行输入设备的方法以及输入设备
CN106427571A (zh) * 2006-03-22 2017-02-22 大众汽车有限公司 交互式操纵装置和用于运行所述交互式操纵装置的方法
CN110333772A (zh) * 2018-03-31 2019-10-15 广州卓腾科技有限公司 一种控制对象移动的手势控制方法

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP2005242694A (ja) * 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
JP2006285370A (ja) * 2005-03-31 2006-10-19 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置及びハンドパターン操作方法
US20090287361A1 (en) * 2005-04-05 2009-11-19 Nissan Motor Co., Ltd Command Input System
JP4389855B2 (ja) * 2005-09-05 2009-12-24 トヨタ自動車株式会社 車両用操作装置
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
DE102006009291A1 (de) 2006-03-01 2007-09-06 Audi Ag Verfahren und Vorrichtung zum Betreiben von zumindest zwei Funktionskomponenten eines Systems, insbesondere eines Fahrzeugs
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
CN101536032A (zh) * 2006-11-02 2009-09-16 皇家飞利浦电子股份有限公司 图像识别的装置及方法
JP4670803B2 (ja) * 2006-12-04 2011-04-13 株式会社デンソー 操作推定装置およびプログラム
JP5030580B2 (ja) 2006-12-27 2012-09-19 タカタ株式会社 車両用作動システム、車両
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8094189B2 (en) * 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
DE102007034273A1 (de) * 2007-07-19 2009-01-22 Volkswagen Ag Verfahren zur Bestimmung der Position eines Fingers eines Nutzers in einem Kraftfahrzeug und Positionsbestimmungsvorrichtung
DE102007045967A1 (de) * 2007-09-25 2009-04-02 Continental Automotive Gmbh Verfahren und Vorrichtung zur berührungslosen Eingabe von Schriftzeichen
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
EP2304527A4 (en) * 2008-06-18 2013-03-27 Oblong Ind Inc GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES
KR100977443B1 (ko) * 2008-10-01 2010-08-24 숭실대학교산학협력단 제스쳐 기반의 가전기기 제어장치 및 방법
JP2010258623A (ja) * 2009-04-22 2010-11-11 Yamaha Corp 操作検出装置
US20100295782A1 (en) * 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
JP2010277197A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5416489B2 (ja) * 2009-06-17 2014-02-12 日本電信電話株式会社 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム
JP5648207B2 (ja) * 2009-09-04 2015-01-07 現代自動車株式会社 車両用操作装置
US20110063425A1 (en) * 2009-09-15 2011-03-17 Delphi Technologies, Inc. Vehicle Operator Control Input Assistance
DE102009058145A1 (de) * 2009-12-12 2011-06-16 Volkswagen Ag Bedienverfahren für eine Anzeigevorrichtung eines Fahrzeugs
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
JP5521727B2 (ja) 2010-04-19 2014-06-18 ソニー株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
US8396252B2 (en) * 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
CN102402680B (zh) * 2010-09-13 2014-07-30 株式会社理光 人机交互系统中手部、指示点定位方法和手势确定方法
US8817087B2 (en) * 2010-11-01 2014-08-26 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
JP5865615B2 (ja) * 2011-06-30 2016-02-17 株式会社東芝 電子機器および制御方法
DE102011080592A1 (de) * 2011-08-08 2013-02-14 Siemens Aktiengesellschaft Einrichtung und Verfahren zum Steuern eines Schienenfahrzeugs
KR101189633B1 (ko) * 2011-08-22 2012-10-10 성균관대학교산학협력단 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말
WO2013074897A1 (en) * 2011-11-16 2013-05-23 Flextronics Ap, Llc Configurable vehicle console
KR101305669B1 (ko) * 2011-12-07 2013-09-09 현대자동차주식회사 차량용 입사광 차단조절장치 및 방법
DE102012000263A1 (de) * 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US8942881B2 (en) 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
DE102012216181A1 (de) * 2012-09-12 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Gestenbasierte Einstellung eines Fahrzeugsitzes
DE102012021220A1 (de) * 2012-10-27 2014-04-30 Volkswagen Aktiengesellschaft Bedienanordnung für ein Kraftfahrzeug
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
CN108132713B (zh) * 2012-12-19 2021-06-18 原相科技股份有限公司 开关装置
CN103049111B (zh) * 2012-12-20 2015-08-12 广州视睿电子科技有限公司 一种触控笔及触控坐标计算方法
JP2016509767A (ja) * 2012-12-21 2016-03-31 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 車両用システム及び通信方法
JP5459385B2 (ja) * 2012-12-26 2014-04-02 株式会社デンソー 画像表示装置及び指示体画像の表示方法
DE102013000081B4 (de) * 2013-01-08 2018-11-15 Audi Ag Bedienschnittstelle zum berührungslosen Auswählen einer Gerätefunktion
DE102013001330A1 (de) 2013-01-26 2014-07-31 Audi Ag Verfahren zum Betreiben einer Lüftereinrichtung eines Kraftwagens sowie Kraftwagen
US9158381B2 (en) * 2013-02-25 2015-10-13 Honda Motor Co., Ltd. Multi-resolution gesture recognition
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
DE102013010018B3 (de) * 2013-06-14 2014-12-04 Volkswagen Ag Kraftfahrzeug mit einem Fach zum Aufbewahren eines Gegenstands sowie Verfahren zum Betreiben eines Kraftfahrzeugs
KR101472455B1 (ko) * 2013-07-18 2014-12-16 전자부품연구원 손동작 기반 사용자 인터페이스장치 및 그 방법
JP6344032B2 (ja) * 2013-09-26 2018-06-20 富士通株式会社 ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
DE102013226682A1 (de) * 2013-12-19 2015-06-25 Zf Friedrichshafen Ag Armbandsensor und Verfahren zum Betreiben eines Armbandsensors
US10007329B1 (en) 2014-02-11 2018-06-26 Leap Motion, Inc. Drift cancelation for portable object detection and tracking
GB2525840B (en) 2014-02-18 2016-09-07 Jaguar Land Rover Ltd Autonomous driving system and method for same
US9436872B2 (en) 2014-02-24 2016-09-06 Hong Kong Applied Science and Technology Research Institute Company Limited System and method for detecting and tracking multiple parts of an object
US9754167B1 (en) 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US9868449B1 (en) 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
DE102014224618A1 (de) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung
DE102015201901B4 (de) 2015-02-04 2021-07-22 Volkswagen Aktiengesellschaft Bestimmung einer Position eines fahrzeugfremden Objekts in einem Fahrzeug
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
KR101724108B1 (ko) * 2015-10-26 2017-04-06 재단법인대구경북과학기술원 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치
JP6716897B2 (ja) * 2015-11-30 2020-07-01 富士通株式会社 操作検出方法、操作検出装置、及び操作検出プログラム
US10642356B1 (en) 2016-06-26 2020-05-05 Apple Inc. Wearable interactive user interface
CZ2016617A3 (cs) * 2016-10-03 2018-04-18 Ĺ KODA AUTO a.s. Zařízení k interaktivnímu ovládání zobrazovacího zařízení a postup ovládání zařízení k interaktivnímu ovládání zobrazovacího zařízení
CN109634450A (zh) * 2017-10-09 2019-04-16 华为技术有限公司 防误触检测方法、装置及终端
JP2019139633A (ja) * 2018-02-14 2019-08-22 京セラ株式会社 電子機器、移動体、プログラムおよび制御方法
US10895918B2 (en) * 2019-03-14 2021-01-19 Igt Gesture recognition system and method
DE102019204481A1 (de) * 2019-03-29 2020-10-01 Deere & Company System zur Erkennung einer Bedienabsicht an einer von Hand betätigbaren Bedieneinheit
JP7470069B2 (ja) 2021-02-17 2024-04-17 株式会社日立製作所 指示物体検出装置、指示物体検出方法及び指示物体検出システム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1984030A (en) * 1932-09-22 1934-12-11 John B Nixon Means for serving cocktails and the like
US1965944A (en) * 1933-03-13 1934-07-10 Dudley L Lea Truck construction
US5203704A (en) * 1990-12-21 1993-04-20 Mccloud Seth R Method of communication using pointing vector gestures and mnemonic devices to assist in learning point vector gestures
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JPH09102046A (ja) * 1995-08-01 1997-04-15 Matsushita Electric Ind Co Ltd 手形状認識方法および手形状認識装置
US5815147A (en) * 1996-06-07 1998-09-29 The Trustees Of The University Of Pennsylvania Virtual play environment for disabled children
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
ATE232621T1 (de) * 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
JPH11134090A (ja) * 1997-10-30 1999-05-21 Tokai Rika Co Ltd 操作信号出力装置
DE69830295T2 (de) * 1997-11-27 2005-10-13 Matsushita Electric Industrial Co., Ltd., Kadoma Steuerungsverfahren
JPH11167455A (ja) 1997-12-05 1999-06-22 Fujitsu Ltd 手形状認識装置及び単色物体形状認識装置
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
EP0991011B1 (en) * 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
DE19845030A1 (de) * 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP2000331170A (ja) 1999-05-21 2000-11-30 Atr Media Integration & Communications Res Lab 手振り認識装置
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
DE10039432C1 (de) * 2000-08-11 2001-12-06 Siemens Ag Bedieneinrichtung
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US6359512B1 (en) * 2001-01-18 2002-03-19 Texas Instruments Incorporated Slew rate boost circuitry and method
JP2002236534A (ja) 2001-02-13 2002-08-23 Mitsubishi Motors Corp 車載機器操作装置
JP2003141547A (ja) 2001-10-31 2003-05-16 Matsushita Electric Ind Co Ltd 手話翻訳装置および手話翻訳方法
US7006055B2 (en) * 2001-11-29 2006-02-28 Hewlett-Packard Development Company, L.P. Wireless multi-user multi-projector presentation system
US7362480B2 (en) * 2002-04-24 2008-04-22 Transpacific Ip, Ltd. Method and system for changing a scanning resolution
US6790181B2 (en) * 2002-09-13 2004-09-14 Acuson Corporation Overlapped scanning for multi-directional compounding of ultrasound images
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100428123C (zh) * 2005-12-27 2008-10-22 联想(北京)有限公司 一种数字设备信息输入装置
CN106427571A (zh) * 2006-03-22 2017-02-22 大众汽车有限公司 交互式操纵装置和用于运行所述交互式操纵装置的方法
CN106427571B (zh) * 2006-03-22 2020-07-17 大众汽车有限公司 交互式操纵装置和用于运行所述交互式操纵装置的方法
CN100426200C (zh) * 2006-10-13 2008-10-15 广东威创视讯科技股份有限公司 基于交互式输入设备的智能输入编码方法
CN102113012A (zh) * 2008-06-04 2011-06-29 国立大学法人筑波大学 手指形状推定装置、手指形状的推定方法及程序
CN102113012B (zh) * 2008-06-04 2016-10-12 国立大学法人筑波大学 手指形状推定装置、手指形状的推定方法及程序
CN102778947A (zh) * 2008-06-10 2012-11-14 联发科技股份有限公司 电子设备及无接触控制电子设备的方法
CN105446477B (zh) * 2008-06-10 2018-11-23 联发科技股份有限公司 无接触控制电子设备的方法
US8896536B2 (en) 2008-06-10 2014-11-25 Mediatek Inc. Methods and systems for contactlessly controlling electronic devices according to signals from a digital camera and a sensor module
CN105446477A (zh) * 2008-06-10 2016-03-30 联发科技股份有限公司 无接触控制电子设备的方法
CN102778947B (zh) * 2008-06-10 2016-03-30 联发科技股份有限公司 电子设备及无接触控制电子设备的方法
CN103562822A (zh) * 2011-04-28 2014-02-05 Nec软件系统科技有限公司 信息处理设备、信息处理方法以及记录介质
US9367732B2 (en) 2011-04-28 2016-06-14 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
CN103797446A (zh) * 2011-09-07 2014-05-14 日东电工株式会社 输入体的动作检测方法以及使用了该方法的输入设备
US9440537B2 (en) 2012-01-09 2016-09-13 Daimler Ag Method and device for operating functions displayed on a display unit of a vehicle using gestures which are carried out in a three-dimensional space, and corresponding computer program product
CN104039582A (zh) * 2012-01-09 2014-09-10 戴姆勒股份公司 使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法和装置、以及相应的计算机程序产品
CN104039582B (zh) * 2012-01-09 2017-03-29 戴姆勒股份公司 使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法和装置
CN104039582B9 (zh) * 2012-01-09 2017-05-17 戴姆勒股份公司 使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法和装置
CN103661165A (zh) * 2012-09-19 2014-03-26 阿尔卑斯电气株式会社 动作预测装置及使用其的输入装置
CN103914684A (zh) * 2012-12-28 2014-07-09 现代自动车株式会社 利用选择性照明来识别手势的方法和系统
CN103914684B (zh) * 2012-12-28 2019-06-28 现代自动车株式会社 利用选择性照明来识别手势的方法和系统
CN105378602A (zh) * 2013-07-23 2016-03-02 罗伯特·博世有限公司 用于运行输入设备的方法以及输入设备
CN105378602B (zh) * 2013-07-23 2019-08-09 罗伯特·博世有限公司 用于运行输入设备的方法以及输入设备
CN110333772A (zh) * 2018-03-31 2019-10-15 广州卓腾科技有限公司 一种控制对象移动的手势控制方法
CN110333772B (zh) * 2018-03-31 2023-05-05 广州卓腾科技有限公司 一种控制对象移动的手势控制方法

Also Published As

Publication number Publication date
JP2005063091A (ja) 2005-03-10
CN1313905C (zh) 2007-05-02
DE102004038965A1 (de) 2005-03-17
JP3752246B2 (ja) 2006-03-08
KR20050019036A (ko) 2005-02-28
KR100575504B1 (ko) 2006-05-03
US20050063564A1 (en) 2005-03-24
DE102004038965B4 (de) 2009-04-02

Similar Documents

Publication Publication Date Title
CN1313905C (zh) 手图形转换装置
US7289645B2 (en) Hand pattern switch device
US20180348882A1 (en) Remote Control With 3D Pointing And Gesture Recognition Capabilities
US8270669B2 (en) Apparatus for extracting operating object and apparatus for projecting operating hand
US10095313B2 (en) Input device, vehicle having the input device, and method for controlling the vehicle
CN102141839B (zh) 图像处理设备和方法
EP2352112B1 (en) Remote control system for electronic device and remote control method thereof
CN106502570A (zh) 一种手势识别的方法、装置及车载系统
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
US20060160616A1 (en) Measuring device using image and measurement method using image
KR19990011180A (ko) 화상인식을 이용한 메뉴 선택 방법
JP2012058854A (ja) ジェスチャ認識装置及び方法
JP2002259046A (ja) 空中で手描きした文字・記号入力システム
JP2005063090A (ja) ハンドパターンスイッチ装置
JP2006312347A (ja) コマンド入力装置
CN112905004A (zh) 一种用于车载显示屏的手势控制方法、装置和存储介质
US7435177B1 (en) Method and system for video-based navigation in an application on a handheld game device
JP3792907B2 (ja) ハンドポインティング装置
JP2006282145A (ja) コマンド入力装置
JP3742951B2 (ja) ハンドパターンスイッチ装置
JP2006312346A (ja) コマンド入力装置
KR100939831B1 (ko) 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치
JP2013196339A (ja) ジェスチャ認識装置及びそのプログラム
JP2004145723A (ja) ハンドパターンスイッチ装置
JPH07200127A (ja) 手書き入力装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070502