CN101563666A - 用户界面装置 - Google Patents

用户界面装置 Download PDF

Info

Publication number
CN101563666A
CN101563666A CNA2007800472532A CN200780047253A CN101563666A CN 101563666 A CN101563666 A CN 101563666A CN A2007800472532 A CNA2007800472532 A CN A2007800472532A CN 200780047253 A CN200780047253 A CN 200780047253A CN 101563666 A CN101563666 A CN 101563666A
Authority
CN
China
Prior art keywords
hand shape
user interface
hand
graphical user
finger tip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800472532A
Other languages
English (en)
Other versions
CN101563666B (zh
Inventor
寺田智裕
山下敦士
平井卓哉
中野信之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Godo Kaisha IP Bridge 1
Original Assignee
松下电器产业株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 松下电器产业株式会社 filed Critical 松下电器产业株式会社
Publication of CN101563666A publication Critical patent/CN101563666A/zh
Application granted granted Critical
Publication of CN101563666B publication Critical patent/CN101563666B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2400/00—Electronic control; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/852—Sensors
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2400/00—Electronic control; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/852—Sensors
    • E05Y2400/856—Actuation thereof
    • E05Y2400/858—Actuation thereof by body parts
    • E05Y2400/86—Actuation thereof by body parts by hand

Abstract

本发明提供一种相应于手的动作来将用来操作机器的各个功能分配给指尖，以使操作者能直观地把握对于指尖的各个功能的分配的用户界面装置。该装置包括：图形用户界面按钮分配单元，当接触位置获取单元检测到操作者对操作面板的接触时，对手形状获取单元所获取的手形状的各个指尖暂时分配了从图形用户界面按钮数据存储单元读出的图形用户界面按钮之后，根据手形状的方向的变化，对该手形状的各个指尖再次分配该图形用户界面按钮；重叠显示视频图像制作单元，制作图形用户界面按钮分配单元所分配的图形用户界面按钮的图像与手形状的图像的合成图像；以及显示单元，显示重叠显示视频图像制作单元所制作的、图形用户界面按钮的图像与手形状的图像的合成图像。

Description

用户界面装置
技术领域
本发明涉及一种能够用指尖执行用来操作机器的各个功能的用户界面装置，具体涉及一种相应于手的动作将各个功能分配给指尖，以使操作者能够直观地把握对于指尖的各个功能的分配的用户界面装置。
背景技术
以往，作为用来使用多功能化的机器的界面，已有能够相应于手指的操作位置(按下位置)而对指尖附加表示不同功能的图形用户界面按钮，并执行所期的功能这样的技术(例如，参照专利文献1)。
然而，现有技术虽然是用手来执行用来操作机器的功能，却未相应于手的动作来对指尖分配各个功能，因而操作者不能直观地把握对于指尖的各个功能的分配。
【专利文献1】：国际公开第2006/104132号小册
发明内容
故而，本发明是针对上述问题而进行的发明。即，本发明的目的在于，提供一种相应于手的动作来对指尖分配用来操作机器的各个功能，以使操作者能直观地把握对于指尖的各个功能的分配的用户界面装置。
本发明针对用来操作机器的用户界面装置。本发明包括：接触位置获取单元，检测操作者接触操作面板的接触位置；手形状获取单元，获取操作者的手形状；手形状方向获取单元，根据手形状获取单元所获取的手形状来获取该手形状的方向；图形用户界面(GUI：Graphical User Interface)按钮数据存储单元，存储图形用户界面按钮数据，该图形用户界面按钮数据表示对用来操作机器的功能所唯一分配的图形用户界面按钮；图形用户界面按钮分配单元，对手形状获取单元所获取的手形状的各个指尖暂时分配了从图形用户界面按钮数据存储单元读出的图形用户界面按钮之后，根据手形状的方向的变化，来对该手形状的各个指尖再次分配该图形用户界面按钮；重叠显示视频图像制作单元，制作图形用户界面按钮分配单元所分配的图形用户界面按钮的图像与手形状的图像的合成图像；以及显示单元，显示重叠显示视频图像制作单元所制作的合成图像。
此外，较佳的是，每当手形状方向获取单元所获取的手形状的方向所示的角度相对于基准轴增大规定角度，图形用户界面按钮分配单元便按照该手形状的各个指尖的排列来依次将尚未被分配的图形用户界面按钮重新进行分配，其中，基准轴是操作面板中的垂直方向的基准轴。
此外，较佳的是，每当手形状方向获取单元所获取的手形状的方向所示的角度相对于基准轴增大规定角度，图形用户界面按钮分配单元便按照该手形状的各个指尖的排列来依次将尚未被分配的图形用户界面按钮重新进行分配，其中，基准轴表示接触位置获取单元检测到操作者对操作面板的接触时的手形状的方向。
此外，图形用户界面按钮分配单元，将表示50音的各行的任一文字的图形用户界面按钮分配给各个指尖。
在此情况下，较佳的是，当50音的各行的任一个被选择，图形用户界面按钮分配单元便将表示属于被选择了的行的文字的图形用户界面按钮分配给各个指尖。
发明效果：如上所述那样，根据本发明，能够提供相应于手的动作将用来操作机器的各个功能分配给指尖，以使操作者能直观地把握对于指尖的各个功能的分配的用户界面装置。
附图说明
图1是表示本发明的实施方式所涉及的用户界面装置的概要构成的示意图。
图2是表示将图1所示的用户界面装置1装载到车上的情况下的一例的图。
图3是用于实现本发明的实施方式所涉及的用户界面装置的功能方框图。
图4是表示图3的显示装置6所显示的视频图像的一例的图。
图5是表示图3的用户界面装置的处理流程的流程图。
图6是表示图3的重叠显示视频图像制作单元36将有关导航装置操作的菜单的功能附加于各个手指，并在显示装置6上显示的一例的图。
图7是图3的手形状参数获取单元33的功能方框图。
图8是表示图5的步骤S502的手形状参数获取处理的流程的流程图。
图9是用来说明图8的步骤S804的手掌区域的获取方法的示意图。
图10是用来说明图8的步骤S805的指尖位置的获取方法的示意图。
图11是用来说明图8的步骤S806的手方向的获取方法的示意图。
图12是表示图5的步骤S503的指尖功能选定处理的流程的流程图。
图13是表示在图12的指尖功能选定处理中，对指尖所分配的功能根据手方向θ而改变的状态的一例的示意图；(a)是表示θ的符号为负时，将有关导航装置操作的菜单的功能分配给指尖后的状态的示意图；(b)是表示θ的符号为正时，将有关AV操作的功能分配给指尖后的状态的示意图。
图14是表示在图12的指尖功能选定处理中，输入50音时对指尖所分配的文字根据手方向θ而改变的状态的示意图；(a)是表示θ的符号为负时，将文字分配给指尖后的状态的示意图；(b)是表示θ的符号为正时，将文字分配给指尖后的状态的示意图。
图15是用来说明使用本发明的实施方式所涉及的用户界面装置，通过50音输入将“し”的文字输入时的输入方法的示意图；(a)是用来说明“き”行的输入方法的示意图；(b)是用来说明“し”的输入方法的示意图。
图16是用来说明将平假名的排列分配给各个指尖的情况的图。
图17是用来说明将数字的排列分配给各个指尖的情况的示意图。
图18是用来说明将拉丁字母的排列分配给各个指尖的情况的示意图。
图19是用来说明将属相的排列分配给各个指尖的情况的示意图。
图20是用来说明将月份的排列分配给各个指尖的情况的示意图。
图21是用来说明最初在操作面板上放置的操作者的手形状的初期位置所表示的基准轴的示意图。
图22是表示用户界面装置的处理流程的流程图。
附图标记说明
1用户界面装置
2触感控制板
3运算处理器
4存储装置
5摄像装置
6显示装置
31手形状获取单元
32接触位置获取单元
33手形状参数获取单元
34指尖功能选定单元
35图形用户界面图像制作单元(以下称为GUI图像制作单元)
36重叠显示视频图像制作单元
101投光灯
401、903、1101、1301、1311手形状视频图像
1401、1411、1501、1511、1802手形状视频图像
1803、1804、1805、1806、1901手形状视频图像
2001、2002、2101、2102手形状视频图像
402、403图形用户界面按钮(以下称为GUI按钮)
1302～1306、1312～1316 GUI按钮
1402～1406、1412～1416 GUI按钮
1502～1506、1512～1516 GUI按钮
701手形状提取单元
702手掌区域获取单元
703指尖位置获取单元
704手方向获取单元
901重心位置
902、904以重心位置901为中心的同心圆
1001～1005手指的区域图像
1008指尖位置
1104手方向θ
1106、1308、1407、1810基准轴
2010、2110基准轴
具体实施方式
以下，参照图面对本发明的实施方式所涉及的用户界面装置进行说明。在此，为了便于识别，将各附图中对于本发明的实施并非特别重要的构件省略。
图1是表示本实施方式所涉及的用户界面装置的概要构成的示意图。在图1中，用户界面装置1主要由触感控制板2、运算处理器3、存储装置4、摄像装置5及显示装置6构成。图2是表示例如将图1的用户界面装置1装载到车上的情况下的示意图。摄像装置5从下面对作为操作面板的触感控制板2进行拍摄。从运算处理器3输出的视频图像被显示装置6显示。
在本实施方式中，触感控制板2是一种操作者例如能够通过用5个手指分别触摸来给运算处理器3提供指示，以使其执行规定的功能的输入装置。可使用电阻式、静电容式、光学式等的触感控制板，操作者所接触到的部分的位置坐标被送到运算处理器3。
较为典型的是，运算处理器3至少包括处理器和各种存储器，并按照诸如ROM之类的存储器中存储的计算机程序来动作。在此，图3是这种运算处理器3的功能块的构成图。图3中，运算处理器3通过执行上述计算机程序，来实现手形状获取单元31、接触位置获取单元32、手形状参数获取单元33、指尖功能选定单元34、GUI图像制作单元35及重叠显示视频图像制作单元36的功能。
存储装置4储存为了生成应在显示装置6上显示的GUI图像而需要的GUI按钮数据等。GUI按钮数据是诸如图标或者按钮那样的GUI图像数据。
在本实施方式中，摄像装置5由红外线摄像机构成。摄像装置5被设置为，具有能够覆盖设置有触感控制板2的操作面板的视角，并且在自身的视角的范围内按预先决定的时间间隔进行拍摄，且将拍摄的视频图像输出到运算处理器3。另外，在图1中，为了通过摄像装置5更容易地拍摄手形状而设置了投光灯101。在摄像装置5为红外线摄像机的情况下，投光灯101的光波长最好是适合于用红外线摄像机进行拍摄的波长。
显示装置6可由液晶、EL(Electro Luminescence：电致发光)、CRT(Cathode Ray Tube：阴极射线管)等显示器构成。图4表示显示装置6所显示的视频图像的一例。显示着手形状视频图像401、及GUI按钮402、403。当操作者用手指接触了感控制板2上的相当于GUI按钮402、403的显示位置的位置时，对GUI按钮402、403所分配的功能便被执行。相对于手的动作GUI按钮402的显示位置被固定，但表示对手的各个指尖所分配的功能的GUI按钮403的显示位置却是跟随指尖的动作而变化。此外，有关手形状视频图像的制作方法将在后述。
回到图3，对运算处理器3的各个功能块进行说明。运算处理器3包括：手形状获取单元31，获取摄像装置5所拍摄到的操作者的手的视频图像；接触位置获取单元32，从触感控制板2来获取操作者接触到操作面板上的位置坐标；手形状参数获取单元33，用于从在先获取到的在操作面板上的手形状的视频图像来获取手形状的各种参数；指尖功能选定单元34，用于选定对指尖附加的功能；GUI图像制作单元35，制作由表示对指尖所附加的功能的GUI按钮、及背景图像所组成的GUI图像；以及重叠显示视频图像制作单元36，将从手形状参数获取单元33获取的手形状视频图像与在GUI图像制作单元35制作的GUI图像重合起来作为一个图像来输出。
下面，用图5的流程图对本实施方式的用户界面装置的处理流程进行说明。
首先，操作者通过将手放置于操作面板来开始操作。在步骤S501中，手形状获取单元31获取摄像装置5所拍摄到的操作面板上的操作者的手形状的视频图像。
在步骤S502中，手形状参数获取单元33提取由手形状获取单元31获取的手形状的特征量(参数)。在此，作为参数来提取的是手掌的重心位置、手掌的区域(手掌区域)、指尖的位置及手的方向(手方向)等。在此提取到的参数被存储装置4储存，以在其后的处理中使用。其中，关于步骤S502的手形状参数获取处理将在后述中详细进行说明。
其次，在步骤S503中，指尖功能选定单元34进行决定对各个手指附加何种功能的处理。在此，关于对各个手指所分配的功能的具体选定方法将在后述中详细进行说明。另外，指尖功能选定单元34与GUI按钮分配单元相对应。
然后，在步骤S504的重叠显示视频图像制作处理中，GUI图像制作单元35从存储装置4中读出与在步骤S503中对各个手指分配了的功能所唯一对应的GUI按钮数据，以生成GUI按钮图像。
其次，重叠显示视频图像制作单元36制作将制成后的GUI按钮图像附加于手形状视频图像之后的合成视频图像与在背景显示的GUI图像相重叠后的视频图像，并将该视频图像显示于显示装置6。有关该步骤504的重叠显示视频图像制作处理，可以使用公知技术(例如，参照国际公开第2006/104132号公报)，因而省略其详细说明。
图6表示对于手形状视频图像的各个手指附加了GUI按钮后的视频图像的一例。图6表示的是操作者将左手放置在操作面板上，有关导航装置操作的菜单的功能被附加于各个手指，并被显示于显示装置6的例子。
回到图5，在步骤S504中，当有关GUI图像的显示的处理一结束，则在其后的步骤S505中，根据来自接触位置获取单元32的信号，判断操作者是否接触了操作面板。
在此，如果未判断为操作者接触了操作面板(“不是”)，则回到步骤S501。而在步骤S505中若判断为操作面板被压下(“是”)，则从接触位置获取单元32获取被压下的位置(步骤S506)。然后，在步骤S507中判断其位置是否是与显示装置6所显示的GUI按钮相对应的区域。
在步骤S507中，如果判断为被压下的位置不是GUI按钮的位置(“不是”)，则回到步骤S501，而如果判断为是GUI按钮的位置(“是”)，则进入步骤S508，与被压下的位置的GUI按钮所唯一对应的功能被执行，并结束一系列的处理。
下面，对图5的步骤S502的手形状参数获取处理进行详细说明。该手形状参数获取处理是在手形状参数获取单元33进行。图7表示手形状参数获取单元33的功能方框图。手形状参数获取单元33包括：手形状提取单元701，从手形状获取单元31所获取的视频图像中只提取手形状；手掌区域决定单元702，用于获取手掌的位置；指尖位置获取单元703，获取指尖位置；以及手方向获取单元704，获取手的方向(手方向)。
图8表示手形状参数获取处理的流程图。首先，在步骤S801中，手形状提取单元701对在步骤S501中获取到的视频图像进行二值化处理。
其次，在步骤S802中，手形状提取单元701从在步骤S801中进行了二值化处理后的视频图像中除去噪音，以提取只有手形状的视频图像。在此，噪音是指表示手形状的区域以外的范围。有关提取只有手形状的视频图像的具体方法，可列举从二值化之后的视频图像中，将连接着的一个区域中的最大的区域作为手形状来识别之类的方法。
其次，在步骤S803中，手形状提取单元701将在步骤S802中提取到的只有手形状的视频图像保存于存储装置4。在步骤S504的重叠显示视频图像制作处理中进行重叠视频图像的制作时，将使用在此保存了的手形状视频图像。
其次，在步骤S804～S806中，进行手掌的重心位置、手掌区域、指尖位置及手的方向(手方向)等手的参数的获取。首先，在步骤S804中，手掌区域决定单元702获取在步骤S802中提取到的手形状视频图像的重心位置、和从手形状视频图像中除去指尖的手掌区域。
图9是用来说明手掌区域的获取方法的示意图，手掌区域决定单元702根据在步骤S802中提取到的手形状的视频图像来计算出重心位置901。其后，以重心位置901为中心的圆902被描绘出，该圆的半径被渐渐扩大。
然后，当手形状视频图像903与上述圆相重叠的面积达到一定的阈值以上时，停止扩大圆的半径。在此，是在圆904处停止扩大圆的半径。此时的圆的区域与手形状视频图像903相重叠的部分的区域被当作手掌区域。
进一步，将手掌区域从上述手形状视频图像903中切取出，以制作图10所示那样的只表示指尖的区域的视频图像。然后，手掌区域决定单元702将所求出的重心位置901和手掌区域保存于存储装置4。另外，将在其后的步骤S805中使用的、只表示指尖的区域的图像也被保存于存储装置4。
下面，用图10对步骤S805的指尖位置的获取处理进行说明。指尖位置获取单元703对于各个手指的区域图像1001～1005，通过椭圆拟合处理来求出椭圆1006。然后，指尖位置获取单元703求出所求出的椭圆的长径1007，并将长径1007与椭圆1006的轮廓相交之处、且位于与手掌区域相反侧的位置作为指尖位置1008来获取。对于所有的手指区域获取了指尖位置1008之后，指尖位置获取单元703将获取到的指尖位置1008保存于存储装置4。在此，根据手指的长度、粗细度、排列等来判断是右手还是左手，并求出各个手指的种类(拇指、食指、中指、无名指、小指)，然后将上述信息与指尖位置1008的信息相对应地一同存入存储装置4。
下面，用图11来说明步骤S 806的手方向的获取处理。手方向获取单元704对于通过步骤S802而获取到的手形状视频图像1101，计算出外接的长方形1102。在此，将长方形1102的长边方向1103作为手方向来获取，将与操作面板1105的垂直方向(Y轴)之间的角度1104作为手方向θ来获取。在此，将从Y轴按顺时针方向旋转的方向作为θ的正方向。然后，手方向获取单元704将获取到的手方向θ保存于存储装置4。另外，垂直方向是指，在操作者所操作的操作面板上所设定的二维正交坐标系中，操作者视为纵方向(一般设定为Y轴)方向。
通过上述步骤S804～S806获取了有关手形状的各种参数之后，便结束图8的手形状参数获取处理。
下面，用图12的流程图来说明图5的步骤S503的指尖功能选定处理。该指尖功能选定处理是在指尖功能选定单元34进行。
首先，在步骤S1201中，指尖功能选定单元34对在图8的步骤S805中求出的指尖位置分配初始功能。在此，初始功能是指用来操作机器的各种指令、进行50音输入/拉丁字母输入等时的文字等中的一部分，对于哪个手指起初分配哪种功能作为信息被预先设定并储存于存储装置4。在该初始功能的分配中使用在步骤S805中求出的、哪个指尖位置是哪种手指这一被确定了的信息。
接着，在步骤S1202中，指尖功能选定单元34判断是否在由步骤S804获取到的手掌区域压下了操作面板。此时，作为判断是否在手掌区域压下的判断方法，首先，将在图8的步骤S804的手掌区域获取处理中获取到的手掌区域的范围设定为符合判段区域。
接着，由接触位置获取单元32获取到的接触位置存在于符合判断区域的范围内时，判断为操作面板是在手掌区域被压下。在步骤S1202中判断为操作面板是在手掌区域被压下时(“是”)，进入步骤S1203的处理，而判断为没有在手掌区域压下时(“不是”)，则结束处理。
接着，在步骤S1203中，读出在图8的步骤S806中保存于存储装置4的手方向θ。然后，在步骤S1204中，指尖功能选定单元34改变对指尖已分配了的功能。正因为有该步骤S1202的判断处理，所以只有在操作者将手掌放置于操作面板上时，才能改变对各个指尖已分配了的功能。也就是说，只要操作者不将手掌放置在操作面板上，即使手的朝向改变，也不会出现无意中使已被分配的功能改变的情况。
在此，用图13来说明指尖的功能被改变的状态。图13(a)、(b)是将GUI按钮重叠到手形状视频图像上，使显示装置6显示的图。在图13(a)中，表示有关导航装置操作的菜单的功能的GUI按钮1302～1306作为各个手指的初始功能，被附加于手形状视频图像1301的各个指尖。在此，手方向θ的符号为负。对小指分配的是用来设定目的地的GUI按钮1302；对无名指分配的是用来将现在位置显示在地图上的GUI按钮1303；对中指分配的是用来设定经由地的GUI按钮1304，对食指分配的是用来设定路径的GUI按钮1305；对拇指分配的是用来返回前面的状态的GUI按钮1306。
其后，当操作者改变手的方向，使手方向θ的符号变为正，则如图13(b)所示那样，对于手形状视频图像1311的各个指尖所设定的GUI按钮变成表示有关A V(Audio Visual：视听)操作的功能的GUI按钮1312～1316。
对小指分配的是用来返回一曲的GUI按钮1312；对无名指分配的是用来倒带的GUI按钮1313；对中指分配的是用来播放曲子的GUI按钮1304；对食指分配的是用来快进的GUI按钮1315；对拇指分配的是用来快进一曲的GUI按钮1306。此外，在此进行变更的菜单项目，也可以由操作者来设定。
回到图12，在步骤S1205中，指尖功能选定单元34与步骤1202的判断一样，判断是否处于手掌压下操作面板的状态。如果判断为处于压下状态(“是”)则进入步骤S1206，如果判断为手掌离开了操作面板而不处于压下状态(“不是”)，则结束指尖功能选定处理。
在步骤S1206中，与图8的步骤S806一样，检测手方向θ，然后回到步骤S1204，改变对各个指尖已分配了的功能。该步骤S1205的判断处理是为了实现以下功能，即，操作者只要在将手掌放置于操作面板上的状态下改变手的方向，便能改变对各个指尖已分配了的功能。
此外，对于指尖附加的功能不限于导航装置的功能和AV的功能，例如也可以如图14所示那样，附加表示50音的输入功能的GUI按钮。
在图14中，当手方向θ为负时，如图14(a)所示那样，表示“あ”、“か”、“さ”、“た”、“な”的GUI按钮1402～1406按小指到拇指顺序分别被附加于各个指尖，而当手方向θ为正时，如图14(b)所示那样，表示“は”、“ま”、“や”、“ら”、“わ”的GUI按钮1412～1416按小指到拇指的顺序分别被附加于各个指尖。
作为50音的输入方法，在用手掌压下了操作面板的状态下，压下对于各个手指所附加的按钮，则其“行”的文字可被输入。如此，包括手方向θ的符号在内，将“あ”～“わ”的所有的行分配给各个手指，便可实现50音输入。例如，若想要输入“し”的文字，则首先如图15(a)所示那样，在用手掌压下的状态下，用分配了表示“き行”的输入的GUI按钮1504的中指压下操作面板。其后，手掌离开操作面板，则如图15(b)所示那样，表示“き行”的各个文字“き”、“し”、“す”、“せ”、“そ”的GUI按钮1512～1516按小指到拇指的顺序被附加于指尖。在此，由于50音的各行为5个文字，所以可以自动附加于5个手指。其后，通过用被附加了表示所期的“し”的GUI按钮1513的无名指来压下操作面板，即可输入“し”。
如此，通过以最初的动作来选择行，并将其后被选择的行的5个文字附加于各个手指，用任一手指压下操作面板来输入文字，即便是在振动的环境下也能够进行稳定的文字输入。另外，在图15(b)中，手掌离开了操作面板，指尖功能选定处理结束了，所以即使在输入各个文字时使手的角度变化，对指尖附加的文字也不会改变。而再次输入其他文字时，需要用手掌压下操作面板来改变对各个指尖所分配的功能。
如上所述那样，本实施方式的用户界面装置，只需改变手的方向，便可以不增大操作面板尺寸，而容易地改变对于指尖所分配的功能，因而即使在振动环境下也能够进行稳定的输入操作。
此外，在应用于50音输入的情况下，对一只手所分配的文字为5个，因而能够容易地改变对指尖分配的文字，从而具有能够轻松地进行输入作业的效果。
此外，在上述实施方式中，手形状获取单元31是获取来自摄像装置5的手形状的拍摄视频图像，但只要是能够获取操作者的手的轮廓，除了红外线摄像机以外，也可以用一般的方法来获取操作者的手形状。例如，可以通过使用静电容式等的触感控制板来获取近接过来的手的轮廓。在此情况下，可以利用公知技术(例如，参照国际公开第2006/027924号公报)。此外，手形状获取单元31也可以被构成为，根据手掌的重心位置、手掌区域、指尖位置及手的方向(手方向)等手的参数来推算手的模型，并从模型存储单元获取所推算的模型。
在此，如果手形状获取单元31通过触感控制板2来获取手形状的话，则不需要摄像装置5，也能够同时检测手接触到操作面板的接触位置。并且，在此情况下，由于能够获取已进行了二值化处理之后的表示手形状的信号，所以不需要图8的步骤S801的二值化处理。
此外，在以上的实施方式中，所获取的视频图像最好是，用红外线摄像机能够不受来自车外的入射光的影响而获取手形状的视频图像的近红外线区域中的视频图像，但在此之外的波长区域也可以。
作为上述那样将输入平假名的功能附加于指尖的效果，如图16的平假名1601所示那样，出于用户的经验，会想到“あかきたな”的排列之后接踵而来的将是“はまやらわ”，因而通过改变手的倾斜来将用于输入其后的“はまやらわ”的功能附加于指尖，对于操作者来说是直观易懂的。
此外，除了平假名的排列之外，在图17所示那样的数字排列的情况下，操作者也可以通过改变手的倾斜，来容易地想起下面将要对指尖分配的数字。
此外，在本实施方式中，由于是将手的倾斜作为改变对于指尖所附加的功能的触发手段，所以相应于手的倾斜角度，不仅可以进行二个阶段的功能的变更，还能够附加更多的功能。
作为较多的功能变更的一例，可以考虑改变图18所示的拉丁字母1801的分配的情况。通常，用户根据经验，容易如图18的拉丁字母1801所示那样想到拉丁字母的排列。
当手的角度为相对操作面板的垂直方向的基准轴成角度θ1时，如手形状视频图像1802所示那样，输入“a”至“e”的拉丁字母的功能按顺序被配置给各个手指。另外，从角度θ1变为角度θ2的过程中，手形状视频图像1802的配置直接被显示出，而当角度大于θ2，则如下一个手形状视频图像1903所示那样，变化为“f”至“j”的排列。在此之后，以θ3、θ4、θ5为阈值，各个功能的排列进行变化。其中，在此作为阈值的角度也可以由操作者来进行变更。
如此，也可以构成为：每当手形状的方向所示的角度从显示单元的画面的左右中央相对铅直方向的基准轴增大规定角度，则根据该手形状的各个指尖的排列，来依次将尚未被分配的GUI按钮重新进行分配。
此外，如图18中出现过那样，如果要附加所有的拉丁字母的话，可以预见到“z”这一文字无法附加到手指的情况。此时，也可以如手形状视频图像1806所示那样，只将“z”作为手掌部分的按钮来显示，通过将手掌压下的动作来输入“z”的文字。
此外，作为所有菜单的数目为12的情况下的例子，可以考虑显示如图19所示那样的属相或星座的例子。如图19所示那样，属相的场合，如手形状视频图像1901所示那样，在排列的第1阶段时就给手掌上附加功能，加上向左倾斜时和向右倾斜时，共能实现12个功能的附加。
此外，在本实施方式中，是在角度在某个阈值之上或之下时改变所有的指尖的功能，但是，也可以考虑不同时改变所有的手指的功能，而是相应于手的角度来按序所改变指尖的功能的方案。作为一个例子，用图20来进行说明。
图20表示，将输入“月份”的名称的功能附加于各个手指，只要将操作面板压下去便可以进行输入的操作。其中，在图20中实际上在显示单元上显示的只是用实线表示的GUI元件，而用虚线表示的GUI元件是用来表示用户有可能预想到的GUI元件的排列的图。
首先，如手形状视频图像2001所示那样，角度为γ1时，附加1月至4月为止的月份。其后，如手形状视频图像2002所示那样，当角度变为γ2时，附加于各个手指的所有功能相继各移动一个之后被显示出。手形状视频图像2002的显示表示提高了一个阶段的显示。在手形状视频图像2002中，当表示1月的GUI元件从显示单元上消失，取代之，表示5月的GUI元件被附加于食指。另外，其他的GUI元件如图所示那样，相继各移动一个后被显示出。
另外，作为获取手的倾斜的方法，除了前述的将基准轴固定于操作面板中的垂直方向的方法之外，还可以考虑计算相对于操作者最初在操作面板上放置的手的方向的相对角度的方法。即，也可以构成为：将接触位置获取单元32最初检测到操作者对操作面板的接触时的手形状的方向作为新的基准轴，每当手形状的方向所示的角度相对该基准轴增大规定角度，则根据该手形状的各个指尖的排列，依次将尚未被分配的GUI按钮重新分配。如此，由于操作者自然地将手放置在操作面板上时的手形状的方向被当成基准轴，所以操作者没有必要在意操作面板中的垂直方向是基准轴的情况，从而能够提高操作性能。
在此情况下，如图21所示那样，手形状视频图像2101的虚线所示的手形状作为最初放置的操作者的手形状的初始位置被注册，而手形状视频图像2102的实线所示的手形状表示现状的手的位置。在此情况下，可以采用图中所示的角度θ来作为手的倾斜参数。用图22来说明具体的处理流程。
首先，在S2201中，判断操作者的手是否在操作面板上。当判断出操作者的手放在了操作面板上时，计算手的角度(S2202)。其次，在S2203中，将在S2202中计算出的角度(初始角度)保存于运算处理单元3中的存储器区域。
其次，在S2204判断是否放置着手。在此，如果判断出手已离开，则不进行以下处理而结束处理。
在其后的S2205中，进行现状的手的角度计算。在S2206中，判断相对于在S2202中计算出的初始角度，现状的手的角度是否在预先决定的阈值以上，如果判断出是在阈值以上(在S2206中为“是”)，则改变对于各个手指所进行的GUI元件的分配。在S2206中，如果是在阈值以下则回到S2204。
如以上说明过那样，根据本发明能够提供一种相应于手的动作来将各个功能分配给指尖，从而使操作者能够直观地把握对于指尖的各个功能的分配的用户界面装置。
另外，在上述实施方式中，是将GUI按钮数据、手形状视频图像、手形状的特征量(参数)等储存于存储装置4，但也可以储存于运算处理器3的内部所配备的存储器。
另外，将操作面板中的垂直方向作为用于检测手形状的方向的基准轴，但是也可以将显示单元的画面中的垂直方向作为基准轴。
在上述的实施方式中说明的构成只不过用于说明具体例子，而不是用来限制本申请的发明的技术范围。在能够发挥本申请的效果的范围内，可以采用任意的构成。
工业实用性
本发明所涉及的用户界面装置，能够容易地改变附加于指尖的、用来操作机器的功能，除了车载设备之外，还适合于追求良好的使用方便性的计算机关联产品等。

Claims (3)

1.一种用来操作机器的用户界面装置，包括：
接触位置获取单元，检测操作者接触操作面板的接触位置；
手形状获取单元，获取操作者的手形状；
手形状方向获取单元，根据所述手形状获取单元所获取的手形状来获取该手形状的方向；
图形用户界面按钮数据存储单元，存储图形用户界面按钮数据，该图形用户界面按钮数据表示对用来操作所述机器的功能所唯一分配的图形用户界面按钮；
图形用户界面按钮分配单元，对所述手形状获取单元所获取的手形状的各个指尖暂时分配了从图形用户界面按钮数据存储单元读出的图形用户界面按钮之后，根据所述手形状的方向的变化，来对该手形状的各个指尖再次分配该图形用户界面按钮；
重叠显示视频图像制作单元，制作所述图形用户界面按钮分配单元所分配的图形用户界面按钮的图像与手形状的图像的合成图像；以及
显示单元，显示所述重叠显示视频图像制作单元所制作的合成图像。
2.如权利要求1所述的用户界面装置，其特征在于：每当所述手形状方向获取单元所获取的手形状的方向所示的角度相对于基准轴增大规定角度，所述图形用户界面按钮分配单元便按照该手形状的各个指尖的排列来依次将尚未被分配的图形用户界面按钮重新进行分配，其中，基准轴是所述操作面板中的垂直方向的基准轴。
3.如权利要求1所述的用户界面装置，其特征在于：每当所述手形状方向获取单元所获取的手形状的方向所示的角度相对于基准轴增大规定角度，所述图形用户界面按钮分配单元便按照该手形状的各个指尖的排列来依次将尚未被分配的图形用户界面按钮重新进行分配，其中，所述基准轴表示所述接触位置获取单元检测到操作者对操作面板的接触时的所述手形状的方向。
CN2007800472532A 2006-12-22 2007-12-18 用户界面装置 Expired - Fee Related CN101563666B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006345520 2006-12-22
JP345520/2006 2006-12-22
PCT/JP2007/074300 WO2008078603A1 (ja) 2006-12-22 2007-12-18 ユーザインターフェイス装置

Publications (2)

Publication Number Publication Date
CN101563666A true CN101563666A (zh) 2009-10-21
CN101563666B CN101563666B (zh) 2012-05-02

Family

ID=39562396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800472532A Expired - Fee Related CN101563666B (zh) 2006-12-22 2007-12-18 用户界面装置

Country Status (5)

Country Link
US (1) US8284168B2 (zh)
EP (1) EP2124139A4 (zh)
JP (1) JP5179378B2 (zh)
CN (1) CN101563666B (zh)
WO (1) WO2008078603A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102736845A (zh) * 2011-03-22 2012-10-17 奥多比公司 针对支持多点触摸的设备提供局部坐标系用户界面的方法和装置
CN104898877A (zh) * 2014-03-06 2015-09-09 丰田自动车株式会社 信息处理设备
CN104981764A (zh) * 2013-02-08 2015-10-14 摩托罗拉解决方案公司 管理触摸屏设备上的用户接口元件的方法和装置
CN107203320A (zh) * 2016-03-18 2017-09-26 大陆汽车投资（上海）有限公司 基于多点触摸的用户界面控制方法
CN108399044A (zh) * 2017-02-06 2018-08-14 大众汽车有限公司 用户界面、运输工具和用于区分用户的方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2258587A4 (en) * 2008-03-19 2013-08-07 Denso Corp OPERATING DEVICE FOR A VEHICLE
JP4853507B2 (ja) * 2008-10-30 2012-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5402322B2 (ja) * 2009-07-02 2014-01-29 ソニー株式会社 情報処理装置および情報処理方法
JP5792424B2 (ja) 2009-07-03 2015-10-14 ソニー株式会社 地図情報表示装置、地図情報表示方法およびプログラム
JP5648207B2 (ja) * 2009-09-04 2015-01-07 現代自動車株式会社 車両用操作装置
US20110227831A1 (en) * 2010-03-21 2011-09-22 Andrew Jesse Mills Determining Properties of Fingers via Keystroke Dynamics
US8818027B2 (en) * 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
US9542032B2 (en) * 2010-04-23 2017-01-10 Handscape Inc. Method using a predicted finger location above a touchpad for controlling a computerized system
US20130325151A1 (en) * 2010-10-25 2013-12-05 Uico, Llc Control system with solid state touch sensor for complex surface geometry
JP5737748B2 (ja) * 2011-02-10 2015-06-17 学校法人 名城大学 統合入力インターフェース
US8553001B2 (en) 2011-03-22 2013-10-08 Adobe Systems Incorporated Methods and apparatus for determining local coordinate frames for a human hand
US10621410B2 (en) * 2011-06-20 2020-04-14 Benjamin Zimchoni Method and system for operating a keyboard with multi functional keys, using fingerprints recognition
US20130002602A1 (en) * 2011-06-28 2013-01-03 Suzana Apelbaum Systems And Methods For Touch Screen Image Capture And Display
US9671954B1 (en) * 2011-07-11 2017-06-06 The Boeing Company Tactile feedback devices for configurable touchscreen interfaces
US20130057515A1 (en) * 2011-09-07 2013-03-07 Microsoft Corporation Depth camera as a touch sensor
JP5624530B2 (ja) * 2011-09-29 2014-11-12 株式会社東芝 コマンド発行装置、方法及びプログラム
JP2013117784A (ja) * 2011-12-01 2013-06-13 Panasonic Corp 入力装置、情報端末、入力制御方法、および入力制御プログラム
TW201335833A (zh) * 2012-02-29 2013-09-01 Hon Hai Prec Ind Co Ltd 電子設備編輯工具變更方法及系統
DE102012011177A1 (de) * 2012-06-06 2013-12-24 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zur Bedienung von Funktionen einesFahrzeuges sowie entsprechende Vorrichtung
DE102012219736A1 (de) * 2012-10-29 2014-04-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung
TWI475422B (zh) * 2012-10-31 2015-03-01 Wistron Corp 手勢辨識方法與電子裝置
JP5459385B2 (ja) * 2012-12-26 2014-04-02 株式会社デンソー 画像表示装置及び指示体画像の表示方法
US9477315B2 (en) * 2013-03-13 2016-10-25 Honda Motor Co., Ltd. Information query by pointing
US9841815B2 (en) * 2013-09-09 2017-12-12 Samsung Electronics Co., Ltd. Method for differentiation of touch input and visualization of pending touch input
US9875019B2 (en) * 2013-12-26 2018-01-23 Visteon Global Technologies, Inc. Indicating a transition from gesture based inputs to touch surfaces
KR102305114B1 (ko) * 2014-03-07 2021-09-27 삼성전자주식회사 데이터 처리 방법 및 그 전자 장치
KR102430657B1 (ko) * 2014-06-30 2022-08-08 더 비디오 콜 센터, 엘엘씨 비디오 콜 센터
US10606378B2 (en) * 2015-11-20 2020-03-31 Harman International Industries, Incorporated Dynamic reconfigurable display knobs
US10185400B2 (en) * 2016-01-11 2019-01-22 Antimatter Research, Inc. Gesture control device with fingertip identification
DE102016003072A1 (de) * 2016-03-12 2017-09-14 Audi Ag Bedienvorrichtung und Verfahren zum Erfassen einer Benutzerauswahl zumindest einer Bedienfuktion der Bedienvorrichtung
US10719232B2 (en) * 2016-06-08 2020-07-21 Qualcomm Incorporated Providing virtual buttons in a handheld device
DE102017213435A1 (de) * 2017-08-02 2019-02-07 Audi Ag Verfahren und Vorrichtung zur Bedienung einer Bedienvorrichtung in Fahrzeugen
WO2019142621A1 (ja) * 2018-01-18 2019-07-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10140502B1 (en) 2018-02-13 2018-11-27 Conduit Ltd Selecting data items using biometric features
JP7280032B2 (ja) * 2018-11-27 2023-05-23 ローム株式会社 入力デバイス、自動車
WO2023140340A1 (ja) * 2022-01-19 2023-07-27 メタマティクス プライベート リミテッド 指識別に基づくユーザー・インターフェースを実現するためのシステム、方法及びそのためのプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4928170A (en) * 1988-06-21 1990-05-22 Visualtek, Inc. Automatic focus control for an image magnification system
DE69204045T2 (de) * 1992-02-07 1996-04-18 Ibm Verfahren und Vorrichtung zum optischen Eingang von Befehlen oder Daten.
US5835079A (en) * 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
JPH10269012A (ja) 1997-03-28 1998-10-09 Yazaki Corp タッチパネルコントローラ及びこれを用いた情報表示装置
DE10120067C1 (de) * 2001-04-24 2002-06-13 Siemens Ag Mobiles Kommunikationsendgerät
JP2003300444A (ja) 2002-04-11 2003-10-21 Hitachi Ltd 移動体の運転支援装置
JP3933139B2 (ja) * 2004-03-09 2007-06-20 日産自動車株式会社 コマンド入力装置
JP4351599B2 (ja) 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
EP1865404A4 (en) * 2005-03-28 2012-09-05 Panasonic Corp USER INTERFACE SYSTEM

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102736845A (zh) * 2011-03-22 2012-10-17 奥多比公司 针对支持多点触摸的设备提供局部坐标系用户界面的方法和装置
CN102736845B (zh) * 2011-03-22 2018-02-06 奥多比公司 针对支持多点触摸的设备提供局部坐标系用户界面的方法和装置
CN104981764A (zh) * 2013-02-08 2015-10-14 摩托罗拉解决方案公司 管理触摸屏设备上的用户接口元件的方法和装置
CN104898877A (zh) * 2014-03-06 2015-09-09 丰田自动车株式会社 信息处理设备
CN107203320A (zh) * 2016-03-18 2017-09-26 大陆汽车投资（上海）有限公司 基于多点触摸的用户界面控制方法
CN108399044A (zh) * 2017-02-06 2018-08-14 大众汽车有限公司 用户界面、运输工具和用于区分用户的方法
CN108399044B (zh) * 2017-02-06 2022-01-18 大众汽车有限公司 用户界面、运输工具和用于区分用户的方法

Also Published As

Publication number Publication date
EP2124139A4 (en) 2013-01-09
EP2124139A1 (en) 2009-11-25
US20090309848A1 (en) 2009-12-17
CN101563666B (zh) 2012-05-02
JPWO2008078603A1 (ja) 2010-04-22
US8284168B2 (en) 2012-10-09
WO2008078603A1 (ja) 2008-07-03
JP5179378B2 (ja) 2013-04-10

Similar Documents

Publication Publication Date Title
CN101563666B (zh) 用户界面装置
KR101466544B1 (ko) 터치 스크린용 터치 입력 및 rfid 조합
CN101198925B (zh) 用于触敏输入设备的手势
US8749497B2 (en) Multi-touch shape drawing
US8799803B2 (en) Configurable input device
US7487147B2 (en) Predictive user interface
US9141284B2 (en) Virtual input devices created by touch input
US20080134078A1 (en) Scrolling method and apparatus
US20140115543A1 (en) Method and device of stroke based user input
US20140223299A1 (en) Gesture-based user interface method and apparatus
EP1942399A1 (en) Multi-event input system
KR20160058117A (ko) 미래 사용자 입력을 예측한 상태 변화에 관한 정보를 사용하는 사용자 입력에 대한 반응을 제공하는 시스템 및 방법
US9623329B2 (en) Operations for selecting and changing a number of selected objects
CN102906671A (zh) 手势输入装置及手势输入方法
CN101180599A (zh) 用户界面系统
CN102902480A (zh) 用于触摸屏的控制区域
US9891812B2 (en) Gesture-based selection and manipulation method
CN107577372A (zh) 边缘触控方法、装置及移动终端
CN109074224A (zh) 用于在字符串中插入字符的方法以及相应的数字设备
JP5374564B2 (ja) 描画装置、描画制御方法、及び描画制御プログラム
CN104428746A (zh) 信息处理装置、信息处理装置的控制方法、控制程序以及计算机可读取的记录介质
CN107577415A (zh) 触摸操作响应方法及装置
CN107608550A (zh) 触摸操作响应方法及装置
CN110413187B (zh) 交互智能设备的批注的处理方法和装置
CN107608551A (zh) 触摸操作响应方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: INTELLECTUAL PROPERTY BRIDGE NO. 1 CO., LTD.

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140304

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20140304

Address after: Tokyo, Japan, Japan

Patentee after: GODO KAISHA IP BRIDGE 1

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120502

Termination date: 20141218

EXPY Termination of patent right or utility model