CN101379455A - 输入装置及其方法 - Google Patents

输入装置及其方法 Download PDF

Info

Publication number
CN101379455A
CN101379455A CNA2007800040539A CN200780004053A CN101379455A CN 101379455 A CN101379455 A CN 101379455A CN A2007800040539 A CNA2007800040539 A CN A2007800040539A CN 200780004053 A CN200780004053 A CN 200780004053A CN 101379455 A CN101379455 A CN 101379455A
Authority
CN
China
Prior art keywords
image
display
body shape
shape
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800040539A
Other languages
English (en)
Other versions
CN101379455B (zh
Inventor
山下敦土
寺田智裕
平井卓哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Godo Kaisha IP Bridge 1
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101379455A publication Critical patent/CN101379455A/zh
Application granted granted Critical
Publication of CN101379455B publication Critical patent/CN101379455B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的目的在于提供一种输入装置及其方法，使用户能够边注视前方的画面边容易地用手对触摸板进行操作，提高对手形状的检测和手势的检测的精度。本发明提供一种用于向机器输入命令或信息的输入装置，包括：身体形状输入部，获取用户的身体形状信息；显示信息制作部，制作用户进行命令或信息的输入所必需的显示图像；操作部，具有与显示图像相对应的操作面；身体形状提取部，从身体形状输入部所获取的身体信息中提取出与操作面相对应的部分，并制作身体图像；图像合成部，将显示信息制作部所制作的显示图像与身体形状提取部所制作的身体图像进行合成；以及显示部，显示图像合成部所合成的图像。

Description

输入装置及其方法
发明领域
本发明涉及一种用于用户向机器输入命令或信息的输入装置及其方法，具体而言，本发明涉及一种使用户能够基于显示器等所显示的信息，使用手等身体的某部分输入命令或信息的输入装置及其方法。
背景技术
在现有技术中，作为基于显示器等显示画面所显示的信息、用户用手指等输入命令或信息的输入装置，有例如专利文献1或专利文献2所公开的装置。该装置利用网格矩阵式的扫描装置(Grid matrix type Scanningmeans)或摄像机，对触摸板操作面进行拍摄，根据所获取的数据提取出手形状部分，合成并显示到显示器上显示的图形用户界面(GUI：GraphicalUser Interface)等上。根据这样的构成，使用户不必将在驾驶中的视线一度转移到设置在与显示画面相分离的触摸板上，而通过注视着显示画面上虚拟地显示的操作手指的影像，便能够输入命令或信息。
另一方面，可以考虑运用专利文献1或2记载的装置，通过模式匹配(pattern matching)，根据摄像机所拍摄的图像提取用户的手形状，在确认是手形状后，许可用户的操作；或检测出用户的手势，即用户的手形状或手的位置的时间变化模式，来解读用户的输入。
然而，上述现有技术的输入界面却存在以下缺点。专利文献1或2公开的装置，为了通过模式匹配来检测出用户的手形状或手势，需要保证用户的手处于拍摄范围的操作面内。例如，用户对跟前的操作面进行操作期间，从指根到手前侧的部分由于没有处于拍摄范围内而不被识别为手。从而，不能够执行通过识别手之后来许可用户的某些操作的处理。
此外，即使导入做手势等直观的操作，如通过左右挥手来放弃当前操作，也必须时常注意要在操作面内做手势，因而，不能够构筑容易操作的输入界面。
[专利文献1]日本特开平9—77622号公报
[专利文献2]日本特开2000—6687号公报
发明内容
本发明是鉴于上述问题而进行的。即，本发明的目的在于提供一种输入装置及其方法，即使在用户的手超出操作面的情况下，也能够通过准确地进行手形状的检测或手势检测来进行输入。
为达到上述目的，本发明采用以下结构。
本发明的第1技术方案是关于用于向机器输入命令或信息的输入装置。本发明的输入装置包括：身体形状输入部，获取用户的身体形状信息；显示信息制作部，制作用户进行命令或信息的输入所必需的显示图像；操作部，具有与显示图像相对应的操作面；身体形状提取取部，根据身体形状输入部所获得的身体信息提取出与操作面相对应的部分，并制作身体图像；图像合成部，合成显示信息制作部所制作的显示图像与身体形状提取部所制作的身体图像；以及显示部，显示图像合成部所合成的图像。
由此，所拍摄的图像信息的范围能够被扩大，并且，其范围大于操作部的范围。这样，即使在操作部相对较窄的情况下，也可以将广范围的图像信息运用到对身体部分的形状的检测或对身体部分的行动的检测中，从而提高了检测的精确度。
此外，最好是显示信息制作部根据身体形状提取部所检测出的身体信息来制作显示图像，其中，所述身体信息的范围比与操作面相对应的部分的范围广。
由此，由于根据比操作面广的身体信息范围来制作显示图像，所以，即使只有与操作面对应的、用户身体的一部分经图像合成并被显示于显示画面的情况下，显示界面也能够确切地反映出用户的操作状况。具体而言，能够将GUI部件的配置、形状与用户的操作状况结合，从而达到最佳效果。
此外，最好是身体形状提取部通过利用了预先保存的身体部分的形状模式的模式匹配，判断根据身体形状输入部所输出的图像数据检测出的形状是否是身体部分的形状。
由于能够更准确地判断所检测出的形状是否是身体部分的形状，从而能够根据判定结果进行任意的控制。此外，因图像数据并不局限于操作部的范围内，所以，即使身体部分超出操作部，也能够被作为检测对象。
此外，最好是身体形状提取部根据形状模式，对根据身体形状输入部所输出的图像数据检测出的身体部分的形状进行修正处理。
由此，例如在用户涂有指甲油等情况下，即使通过图像识别所获得的身体部分的形状欠缺一部分，也能够显示出较为自然的身体图像。
此外，最好是操作部的规定位置处标注有所述形状修正处理所使用的标记，并且，身体形状提取部通过执行形状修正处理，能够使身体形状输入部输出的图像数据中的标记的位置转换到显示部的画面上的规定位置。
从而能够不受摄像机与操作部的相对位置的影响，而制作出较为自然的身体图像。
此外，最好是图像合成部在合成显示图像与身体图像时，能够使身体图像轮廓内部的透明度产生变化。
由此，可以避免因显示身体图像而导致的显示信息被隐藏的情况。
此外，最好是图像合成部在合成显示图像与身体图像时，能够强调身体图像的轮廓。
从而可以避免因显示身体图像而导致的显示信息被隐藏的情况。
此外，最好是图像合成部在合成显示图像与身体图像时，能够检测出身体图像中用户的指尖部分，并强调指尖部分
这样，能够使进行输入操作的指尖部分更加醒目。
此外，最好是图像合成部在合成显示图像与身体图像时，被身体图像隐藏了的、显示画面中的显示信息能够被弹出并显示于没有被身体图像所隐藏的区域。
用户由此便能确认被所显示的身体图像隐藏了的显示信息。
此外，最好是图像合成部在合成显示图像与身体图像时，能够将被身体图像隐藏了的、显示画面中的显示信息显示于身体图像的前面。
从而使用户能够确认被所显示的身体图像隐藏了的显示信息。
此外，最好是身体形状提取部判断根据身体形状输入部获得的信息而检测出的形状是否是身体部分的形状，并且，显示信息制作部能够根据身体形状提取部的判断结果来变更所制作的显示图像。
由此，在没有检测出身体部分的情况下，判断用户没有进行操作，从而不执行作为辅助操作的显示处理，而只显示必要的信息。
此外，最好是显示信息制作部只在身体形状提取部所检测出的身体部分的形状是右手或左手的情况下制作显示图像。
这样，当没有检测出身体部分的形状是右手还是左手的情况时，由于对GUI部件进行的是普通显示，从而使用户能够更容易地把握GUI部件以外的显示信息，或对其信息量进行增量。此外，例如在操作部设置于驾驶座位与副驾座位之间的情况下，还可进行如下控制，即：只有当副驾驶座位的用户从操作部的左侧用右手进行输入操作时才显示信息，而当驾驶座位的用户从操作部的右侧用左手进行输入操作时不显示信息。
此外，最好是当身体形状提取部检测出身体部分的形状时，显示信息制作部根据所检测出的身体部分的形状，对显示图像中的GUI部件进行强调显示，或对该GUI部件的位置进行变更以及/或对该GUI部件的有效性进行变更。
这样，只有在用户从操作部的右侧(或左侧)进行输入操作的情况下，才能进行对GUI部件的强调显示，或激活GUI部件，或显示GUI部件己无效。此外，还能结合用户的位置，将GUI部件的位置变更到用户方便进行输入操作的位置。
此外，最好是显示信息制作部制作显示图像，并且所述显示图像包含多个显示区域；图像合成部在合成显示图像与身体图像时，检测出该身体图像中用户的指尖部分，并只限定在该指尖部分所在的显示区域合成身体形状。
这样，因在用户没有进行操作的画面中，没有合成显示出身体形状，从而不影响用户没有进行操作的画面的显示。
此外，最好是显示信息制作部制作显示图像，并且，所述显示图像包含多个显示区域；图像合成部在合成显示图像与身体图像时，在成为当前的显示对象的区域内，将身体形状缩小并将之合成。
这样，因在用户没有进行操作的画面中，没有合成显示出身体形状，从而不影响用户没有进行操作的画面的显示。
本发明的第2技术方案是关于用于向机器输入命令或信息的输入方法。本发明的输入方法包括：身体形状输入步骤，获取用户的身体形状信息；显示信息制作步骤，制作用户进行命令或信息的输入所必需的显示图像；身体形状提取步骤，根据身体形状输入步骤所获得的身体信息提取出与操作面相对应的部分，并制作身体图像；图像合成步骤，将显示信息制作步骤中所制作的显示图像与身体形状提取步骤中所制作的身体图像合成；以及显示步骤，显示图像合成步骤中所合成的图像。
由此，所拍摄的图像信息的范围能够被扩大，并且其范围大于操作部的范围。这样，即使在操作部相对较窄的情况下，也可以将广范围的图像信息运用到对身体部分的形状的检测或对身体部分的行动的检测中，从而提高了检测的精确度。
此外，最好是显示信息制作步骤根据身体形状提取步骤所检测出的身体信息来制作显示图像，其中，所检测出的身体信息的范围比与操作面相对应的部分的范围广。
由此，由于根据比操作面广的身体信息范围来制作显示图像，所以，即使只有与操作面对应的、用户身体的一部分经图像合成并被显示于显示画面的情况下，显示界面也能够确切地反映出用户的操作状况。具体而言，能够将GUI部件的配置、形状与用户的操作状况结合，从而达到最佳效果。
如上所述，本发明提供的输入装置及其方法，即使在用户的手超出操作面的情况下，也能够通过准确地进行用户的手形状的检测或手势检测来进行输入。
附图说明
图1是有关本发明的输入装置的一实施方式的概念图。
图2是表示输入装置的构成的方框图。
图3是设置于车内的输入装置的例图。
图4是设置于车内的输入装置的例图。
图5是设置于车内的输入装置的例图。
图6是设置于车内的输入装置的例图。
图7是身体形状输入部100的设置例图。
图8是身体形状输入部100的设置例图。
图9是身体形状输入部100与操作部300合为一体的结构例图。
图10是身体形状输入部100设置于操作部300下方的结构例的侧面图。
图11是身体形状输入部100设置于操作部300下方的结构例的俯视图。
图12是身体形状提取部600执行处理的流程图。
图13是经身体形状提取部600处理后的图像数据的例图。
图14是身体形状提取部600所选出的身体部分607的例图。
图15是身体形状提取部600所选出的轮廓609的例图。
图16是形状修正处理的一示例图。
图17是形状修正处理的一示例图。
图18是身体形状提取部600所制作的身体图像的例图。
图19是操作部300的一例图。
图20是用户进行操作的操作方法的一例图。
图21是操作部300的一例图。
图22是控制部500为显示身体图像而执行的处理的顺序图。
图23A是没有检测出身体形状的情况下，显示信息制作部700所制作的显示信息的例图。
图23B是检测出身体形状的情况下，显示信息制作部700所制作的显示信息的例图。
图24A是没有检测出身体形状的情况下，显示信息制作部700所制作的显示信息的例图。
图24B是检测出身体形状的情况下，显示信息制作部700所制作的显示信息的例图。
图25A是检测出右手的情况下，显示信息制作部700所制作的显示信息的例图。
图25B是检测出左手的情况下，显示信息制作部700所制作的显示信息的例图。
图26A是检测出较大的手的情况下，显示信息制作部700所制作的显示信息的例图。
图26B是检测出较小的手的情况下，显示信息制作部700所制作的显示信息的例图。
图27A是图像合成部800所合成的图像的例图。
图27B是图像合成部800所合成的图像的例图。
图27C是图像合成部800所合成的图像的例图。
图27D是图像合成部800所合成的图像的例图。
图27E是图像合成部800所合成的图像的例图。
图27F是图像合成部800所合成的图像的例图。
图27G是图像合成部800所合成的图像的例图。
图27H是图像合成部800所合成的图像的例图。
图28是检测出用户进行输入操作的情况下，控制部500执行处理的顺序图。
图29A是用户进行输入操作的情况下，显示信息制作部700所制作的显示信息的例图。
图29B是用户进行输入操作的情况下，显示信息制作部700所制作的显示信息的例图。
图30A是将合成显示身体形状的部分限定在操作对象范围内时的显示例图。
图30B是将身体形状在操作对象的范围内缩小并合成显示的显示例图。
附图标记说明
1    摄像机
2    显示器
3    GUI部件
4    触摸板
6    手
7    手的图像
100  身体形状输入部
110  光源
120  镜子
130  机箱
140  可见光截止滤波器
150  受光部
160  发光部
171  感光范围
200  显示部
300  操作部
400  运算部
500  控制部
600  身体形状提取部
700  显示信息制作部
800  图像合成部
1000 输入装置
具体实施方式
以下，参照附图详细说明本发明的实施方式。
图1是有关本发明的输入装置的一实施例的概念图。图1中，用户的跟前设有操作用的触摸板4，在离开用户的位置设有显示器2。在触摸板4的上方设有摄像机1。显示器2上显示用于输入用户期望的命令或信息的GUI部件3，其中，GUI部件3为1个以上。
触摸板4的操作面上的各点分别与显示器2的显示画面中的各点一一对应，当用户用手指摁下触摸板4的操作面上的某点时，表示该接触位置的坐标数据(绝对坐标数据)从触摸板4被输出到控制部，根据该坐标数据，与所述接触位置相对应的GUI部件3被特定，从而，与GUI部件3相关联的命令或信息被输入。
若用户在触摸板4上移动手6以选择GUI部件3时，摄像机1以包含背景触摸板4的方式拍摄手6的图像。控制部通过模式匹配的手法，从摄像机1所输出的图像数据中识别手6的形状或手势。然后，控制部仅提取出与触摸板4相对应的部分，并通过重叠，将所选出的手6的图像作为手图像7显示于显示器2。即，在检测手6的形状或手势时，使用所拍摄到的整体图像；而显示器2进行显示时，只使用与触摸板4相对应的部分。
用户通过观看显示器2所显示的手图像7来移动手6，使手图像7的指尖移动到所期望的GUI部件3上后，摁下触摸板4。于是，与所述接触位置相对应的GUI部件3(即，手图像7的指尖所指的GUI部件3)相关联的命令或信息被输入。
此外，本发明的输入装置即使在用户的手指稍微悬浮于触摸板4的操作面上的状态下，手图像7也能够被显示到画面上，所以，用户不用把手指实际接触到触摸板4并试着进行滑动，也能够确认当前手指的位置与画面上的哪一位置对应。因此，只摁一下触摸板4这样简单又快捷的输入操作成为可能。
另外，本实施方式中是通过触摸板4来输出坐标数据，但如后述那样，触摸板4不一定要具有输出接触位置的坐标数据的功能，只要能检测出用户是否摁了触摸板4便可。在该情况下，控制部根据摄像机1所拍摄下的图像检测出指尖位置，并根据所检测出的指尖位置来判断用户选择了哪个GUI部件3便可。
以下，进一步详细说明输入装置。
图2是表示输入装置的构成的方框图。图2中，输入装置1000包括身体形状输入部100、显示部200，操作部300以及运算部400。其中，运算部400包括：控制部500，用于控制运算部400整体；身体形状提取部600，对身体形状输入部100的输出进行处理并提取出身体形状；显示信息制作部700，制作用户进行命令或信息的输入所必需的显示信息(即，包含GUI部件3的图像)；以及图像合成部800，将表示对操作部300进行操作的用户的身体部分的图像与显示信息制作部700所制作的显示信息进行合成。以下，详细说明各个部的构成。
(身体形状输入部100)
首先，对身体形状输入部100进行说明。身体形状输入部100是用于将用户进行操作用的手等身体部分的形状及位置向装置输入的装置。以下，使用摄像机作为身体形状输入部100为例，参照图3～图11进行说明。
作为身体形状输入部100，可以使用例如可见光摄像机、近红外摄像机、红外摄像机及/或超声波摄像机。身体形状输入部100设置于能够拍摄到操作部300的位置，对操作部300进行拍摄并输出所拍摄的图像数据。用户在用手6对操作部300进行操作时，身体形状输入部100所拍摄的图像中包含手6。身体形状输入部100最好设置于贯穿操作部300的操作面中央的法线上，并且使镜头的光轴与法线平行。
当身体形状输入部100是可见光摄像机时，最好设置照射可见光的光源110，以便在夜间也能够清晰地拍摄到手6的图像，并且，为便于从身体形状输入部100输出的图像数据中提取出手的形状，操作部300的操作面的颜色最好均一，尤其是黑色或蓝色为更好。
当身体形状输入部100是近红外摄像机时，最好设置照射近红外光线的光源110，以便在任何情况下都能清晰地拍摄到手6的图像，并且，操作部300的操作面最好是黑色。
此外，为便于根据身体形状输入部100所输出的图像数据提取出手的形状，操作部300或正进行操作的手6最好不要受到日光、车前灯及街灯等的直接照射。
以下结合图3～图6，对输入装置在车内的设置例进行说明。图3是第1设置例的示意图。该设置例中，操作部300设置于中心控制台的延长部分，且司机在将胳膊肘放在扶手上的状态下能够操作的位置。身体形状输入部100设置于能够拍摄到操作部300的位置。并且，身体形状输入部100最好设置于操作部300的法线上，即B位置处(车顶棚等)，但身体形状输入部100也可以与位于B位置的前方(A位置)的地图灯或后视镜组合设置，或与位于B位置的后方(C位置)的车内灯组合设置。
当身体形状输入部100设置于图3所示的A位置或B位置，即对于操作部300的操作面的斜方向(即与垂直方向不同的方向)的情况下，由于身体形状输入部100所拍摄到的手6的形状存在与从对于操作面的垂直方向上拍摄到的手6的形状不同的可能性，所以，在制作手图像7时，需要进行后述的视点变换处理(即，将从对于操作面的斜方向拍摄到的图像变为从对于操作面的垂直方向上拍摄到的图像的图像处理)。
图4是第2设置例的示意图。该设置例中，操作部300设置于方向盘的中央部，并朝向斜上方。身体形状输入部100设置于能够拍摄到操作部300的位置(车顶棚等)。该情况下，虽然身体形状输入部100所拍摄的图像会根据方向盘的舵角而产生转动，但通过对身体形状输入部100所输出的图像数据进行修正，能够消除该转动所带来的影响。作为图像数据的修正方法的一个例子，可以设置检测方向盘的舵角的设备，根据所检测出的方向盘的舵角，对图像数据进行转动处理。此外，作为其他图像数据的修正方法的例子，也可以在操作部300的操作面上预先设置1个以上作为基准的标记，通过检测出图像数据中所述基准标记的位置来检测方向盘的舵角，从而根据所检测的方向盘的舵角来对图像数据进行转动处理。
图5是第3设置例的示意图。该设置例中，操作部300设置于驾驶座位的车门内侧，且使司机在将胳膊放在扶手上的状态下能够操作的位置。身体形状输入部100设置于能够拍摄到操作部300的位置(车顶棚等)。
图6是第4设置例的示意图。该设置例中，操作部300设置于位于车后部座位的中央的扶手上。身体形状输入部100设置于能够拍摄到操作部300的位置(车顶棚或车内顶灯等)。
图3～图6的例子中，身体形状输入部100都设置于如车顶棚等远离操作部300的位置，但是也可以考虑身体形状输入部100与操作部300也可以是合为一体的结构。以下，结合图7～图9，对身体形状输入部100与操作部300合为一体的结构例进行说明。
图7是在操作部300上方的规定位置处设置身体形状输入部100的示意图。也可根据需要在身体形状输入部100的附近设置光源110，若身体形状输入部100制作彩色图像，则光源110需要是可见光源，若身体形状输入部100制作黑白图像，则光源110也可以是近红外光源。
图8是在操作部300上方的规定位置处设置镜子120，身体形状输入部100拍摄映在镜子120中的操作部300及手6的图例。
为实现图7或图8的构成，只要使用如图9所示的机箱130将身体形状输入部100对于操作部300的相对位置固定便可。
根据身体形状输入部100与操作部300合为一体的构成，具有身体形状输入部100的光轴调整变为简单的优点。此外，用图9所示的机箱130来遮蔽操作部300，有利于防止外部光线(太阳光等)对操作部300的照射。
图3～图9的图例中，身体形状输入部100是从上方(即，操作部300的操作面的一侧)来拍摄操作部300及手6的，但是也可以考虑身体形状输入部100从下方(即，与操作部300的操作面的相反面的一侧)来拍摄操作部300及手6。以下，参照图10及图11，对身体形状输入部100从下方拍摄操作部300的结构例进行说明。
图10是采用透明的触摸板作为操作部300，并在其下方设有身体形状输入部100及光源110的示意图。图11是从上方看到的图10中所示的操作部300的图。该例中，在触摸板的下侧的面上重叠配置有可见光截止滤波器(visible light cutting filter)140。此外，光源110照射近红外光线，身体形状输入部100是对近红外光线有灵敏度的摄像装置。
(身体形状提取部600)
接着，说明身体形状提取部600。身体形状提取部600根据身体形状输入部100的输出，提取出身体形状数据。身体形状数据例如是表示用户放置于(悬浮于操作面上也可以)操作部300的操作面上的身体部分(即手或脚等)的形状及其位置的数据。
图12是身体形状提取部600进行身体形状提取处理的流程图。
身体形状提取部600首先将身体形状输入部100(这里指摄像机)所输出的图像数据保存到帧存储器(frame memory)中(步骤S602)。图13是表示被获取到帧存储器中的图像数据的一例图。图13的图像数据601中，603是操作部300的操作面，605是用户的手6。
接着，身体形状提取部600根据经步骤S602获取到帧存储器中的图像数据，如图14所示，将与用户的身体(这里指手6)相对应的区域作为身体区域607提取出(步骤S604)。根据图像数据提取身体区域的方法，例如有如下方法。
第1种提取方法是背景差分法。背景差分法中，首先，在身体形状输入部100与操作部300之间不存在任何物体的状态下，身体形状输入部100对操作部300进行拍摄，并将该结果作为背景图像数据预先保存起来。然后，按照每个像素或每个块来对身体形状输入部100输出的图像数据与背景图像数据进行比较，并将两者之间不同的部分作为身体区域提取出。背景差分法的优点在于操作部300的操作面可以不必是单一的颜色。此外，既可以预先将背景图像数据保存在存储器中，也可以在将身体形状输入部100所输出的图像数据在经过规定时间以上也没有产生变化的情况下，将该图像数据作为背景图像数据保存起来。
第2种方法是亮度阈值法。亮度阈值法通过将身体形状输入部100所输出的图像数据的各像素的亮度值与规定的阈值进行比较，从而提取出身体区域。因此，为了增大身体形状输入部100所输出的图像数据中手6部分与操作部300的操作面部分之间的亮度差，最好将操作部300的操作面设置为黑色或接近于黑色，并对操作面进行消光处理以尽可能消除光的反射。其中，所设定的阈值大于比身体形状输入部100所输出的图像数据中，与操作部300相对应的任一像素的亮度值。从而能够通过提取出亮度值大于上述所设定的阈值的区域来获得身体区域。此外，为了在例如夜间等较暗的情况下也能够提取出正常的身体区域，需要向身体形状输入部100的视角范围内照射可见光线或近红外光线等，以使身体区域的亮度大于阈值。
但是，放置在操作部300的操作面上的不一定是限于用户的身体部分，也有如物品等放置于操作面上的情况。该情况下，由于物品被误认成身体部分，物品的图像被显示于显示部200，从而妨碍了显示信息的显示。于是，为避免上述问题，只要判断步骤S606所提取的形状是否是身体部分的形状，当判断不是身体部分时，使之不执行之后的处理便可。判断步骤S606所提取的形状是否是身体部分的形状，只要预先保存身体部分的形状模式，通过将步骤S606所提取的形状与所述形状模式进行比较(模式匹配)便可。并且，还可以通过向控制部500通知所述模式匹配的结果，使操作部300的输入操作只在步骤S606所提取的形状被判断为是身体部分的形状的情况下有效。由此，能够防止操作部300的操作面上因放置物品而导致的错误操作。
此外，当用户所涂指甲油的颜色与操作部300的操作面为同一颜色等情况下，步骤S606所检测出的手形状会出现缺少指甲部分的情况，此时，只要事先准备上述形状模式，通过参照该形状模式，便可对检测出的身体部分的形状所欠缺的部分进行增补。
完成身体区域的提取后，接下来，身体形状提取部600根据步骤S604所提取的身体区域607，如图15所示，提取出其轮廓609(步骤S606)。该轮廓提取处理通过从身体区域607的像素中，提取出与身体区域607以外的区域的像素相邻接的像素来执行。具体而言，从身体区域607中包含的所有像素中，提取出包含在其上、下、左、右4处附近的像素(或再包含注目像素的右上、左上、右下、左下的8处附近的像素)中包含有身体区域607以外的区域的像素。此外，还可根据需要，对提取出的轮廓609进行平滑处理。通过平滑处理来消除轮廓609所产生的图形失真的情况。
接着，身体形状提取部600执行形状修正处理(S608)。形状修正处理从身体形状输入部100输出的、且处于拍摄范围的图像数据及身体形状的轮廓609中，只提取出与操作范围相关的区域。然后对所提取的图像数据执行摄像机镜头的畸变修正处理、视点变换处理或其他修正处理。
拍摄范围中所包含的操作范围取决于身体形状输入部100及操作部300的设置方法。作为操作范围的获取方法，例如事先(拍摄范围中没有拍摄下身体部分的状态)在操作部300的四个角等设置标记，通过亮度阈值法对所设置的标记进行辨别，并将其位置保存。在进行实际操作时，根据事先所保存的操作范围，除去操作范围以外的区域，从而完成提取。
尤其在身体形状输入部100使用广角镜头的情况下，摄像机镜头的畸变修正处理利用镜头的畸变像差数据来进行修正。因此，身体形状输入部100使用畸变较小的镜头(如标准镜头或望远镜头)的情况时无需进行摄像机镜头的畸变修正。
视点变换处理是在由于设置位置的限制等原因，不能在所期望的视点(本实施方式中的视点是操作部300的正上方)设置身体形状输入部100的情况下所执行的处理。视点变换技术是一项众所周知的技术。以下参照图16及图17，举例说明视点变换处理。
图16是身体形状输入部100设置于图3的A位置的情况下所执行的视点变换处理的图例。身体形状输入部100所输出的图像数据601中操作部300的四角(a、b、c、d)所围成的图像被扩大，使得操作部300的四角(a、b、c、d)与显示部200的画面的四角的位置对应。此时，若身体形状输入部100与操作部300的相对位置固定，因图像数据601中操作部300的四角(a、b、c、d)的位置也固定，所以即使不用随时检测该四角的位置，也能够执行如图16所示的视点变换处理。但是，当身体形状输入部100与操作部300的相对位置不固定时，则需要根据身体形状输入部100输出的图像数据601检测出操作部300的四角(a、b、c、d)的位置。该情况下，若事先在操作部300的四角标注上标记，则能更准确地检测出四角的位置。此外，还可使操作部300的操作面内的任意区域与显示部200的画面相对应。同样地，该情况下，只要事先在所述任意区域的四角标注上基准标记，便能扩大该四角所围成的图像，使该四角与显示部200的画面的四角的位置对应。
图17是身体形状输入部100设置于图4的位置的情况下所执行的视点变换处理的图例。图4中，操作部300随着方向盘的旋转而转动，因此，随着方向盘的旋转，身体形状输入部100所输出的图像数据601中的操作部300也相应地发生了转动。同样地，在该情况下，身体形状输入部100所输出的图像数据601中的操作部300的四角(a、b、c、d)的位置被检测出，且该四角所围成的图像被扩大，使得该四角与显示部200的画面的四角的位置对应。
此外，在必要的情况下，步骤S608还执行摄像机镜头的畸变修正处理、视点变换处理以外的形状修正处理。例如，将身体形状输入部100所输出的图像数据的清晰度及画面比例适当地转换成显示部200的画面的清晰度及画面比例的处理。
此外，本实施方式假设：身体形状输入部100使用不需要镜头畸变修正的标准镜头；身体形状输入部100设置于贯穿操作部300的操作面中央的法线上，且该法线与身体形状输入部100的光轴平行；身体形状输入部100的视角正好能够将操作部300的操作面整体收容在图像内。该情况下，不必执行步骤S608的形状修正处理。执行步骤S608的形状修正处理的结果是能够获得如图18那样的手图像611。
接着，身体形状提取部600执行身体图像制作处理(步骤S610)。该步骤制作显示部200所要显示的身体图像。显示部200照原样显示步骤S608所制作的身体图像(如图18的手图像611)的情况下，该步骤中不需进行某些特别的处理。在该步骤中执行的处理如：当步骤S608所制作的身体图像的亮度较暗时，调亮身体图像的亮度；或对身体图像进行平滑处理，如使手的细纹等不被看出；修正身体图像色调的处理，使手看起来更加美观；或在轮廓的内侧部分贴上预先准备的纹理图案等之类的处理。纹理图案例如是动物毛皮、树木、混凝土、金属、人工图案等。
(显示部200)
接着，说明显示部200。显示部200用于显示图像合成部800所合成的图像，显示部200可以利用如液晶显示器、CRT(Cathode Ray Tube)显示器、EL(Electronic Luminescence)显示器等。
此外，显示器200例如也可以是HUD显示器(Head Up Display)、HMD显示器(Head Mounted Display)等能够使图像合成部800所合成的图像通过半反光镜、镜子、镜头等在空中成像的显示器。这样，在如车辆引擎盖的上方等难于设置显示部200的位置处也能够显示图像。
此外，显示部200还可以利用投影仪。该情况下，使用投影仪将图像合成部800所合成的图像投影到屏幕上，能够廉价地实现大画面显示。
此外，还可根据设置场所、显示目的等适当地选择显示部200的构成。
(操作部300)
接下来，说明操作部300。操作部300检测用户的输入操作并输出与该输入操作相对应的信号。操作部300可以使用例如触感控制板(touchpanel)、触摸板(touch pad)等坐标输入器件或按键开关、滚轮开关等开关(硬件开关)。当然，操作部300也可既包含坐标输入器件又包含开关。以下，分别以坐标输入器件及开关为例，对操作部300进行说明。
首先，以坐标输入器件作为操作部300为例，参照图19进行说明。
图19中，操作部300是触感控制板、触摸板之类的坐标输入器件，用于在预先规定的时间输出表示用户所触摸(或摁下)的位置的坐标数据。
本实施方式中，操作部300所检测的用户的输入操作一般是指用户触摸操作部300的操作面的操作或摁下操作面的操作，但这也因坐标输入器件的种类、设定而异。例如，在静电容式触摸板的情况下，一般是检测用户是否触摸了操作面。而感压式触摸板则不是检测用户是否触摸了操作面，而是检测用户是否使用规定值以上的力量摁下触摸板。如果增大压力的阈值，则只有在用户用力摁下操作面时，才能作为输入操作而检测。此外，用户的输入操作除触摸操作面的操作或摁下操作面的操作以外，还有其他各种输入操作，如：双击(在短时间间隔内两次触摸操作面或两次摁下操作面)、拖拽(手指触摸着操作面的状态下移动手指)、长时间摁(触摸或摁下操作面达到规定时间以上)、靠近操作面、离开操作面等。这些输入操作不一定只由操作部300检测，例如，控制部500也可根据操作部300输出的坐标数据来检测双击、拖拽等输入操作。
此外，还可如图19所示那样，在显示部200上用GUI部件模拟显示出调节音量的旋转开关，当检测出用户在操作部300的操作面上进行画圆的拖拽操作时，也可以根据该拖拽操作来调节音量，这样，使用户犹如实际操作旋转开关一般，从而实现了更为直观的输入操作。
由此，使用坐标输入器件作为操作部300，便可根据需要随时对显示部200所显示的GUI部件的形状、位置、功能以及数量进行任意的变更。另外，例如，还能容易地指定显示部200上所显示的地图上的任意地点。从而实现了一种非常通用的输入装置。
此外，如前面所述，操作部300可以不用具备如普通触摸板或触感控制板所具有的输出坐标数据的功能。也就是说，操作部300只要能将用户是否触摸了操作面或是否摁下了操作面的操作作为信号输出便可。该情况下，由于不能从操作部300的输出检测出用户所触摸(或摁下)的位置，所以需要根据身体形状输入部100所输出的数据来检测其位置。例如，如图1所示，规定用户只能用食指扬起的状态来选择GUI部件，当检测到身体形状提取部600所获得的手图像中食指指尖的位置时，便可知道用户所选择的GUI部件。但是，若没有做出任何如上述那样的规定，那么，根据身体形状输入部100所输出的数据，则难以正确判断出用户所摁的位置。但是，若操作部300具备输出坐标数据的功能，则可进行如下操作：如图20所示，预先将多个手指分别放到多个GUI部件上，用户不用移动手6，便能从这些GUI部件中适当地选择出所期望的GUI部件。
接下来，说明使用开关作为操作部300的情况。图21中，操作部300包括基座301和多个开关310。开关310例如可以是按钮开关311、拨动开关、旋转开关312、滚轮开关313及/或操纵杆314。
显示部200上显示GUI部件，其中，所述GUI部件的位置与设置在操作部300上的开关310的位置相对应，并且最好这些GUI部件的形状与开关310的形状大致相同。
此外，显示部200所显示的GUI部件的功能还可根据需要随时进行任意地变更。例如，在音频模式下利用旋转开关312来调节音量、在导航模式下利用旋转开关312来变更地图的显示倍率。
由此，以开关作为操作部300能使用户一边用触觉来感觉开关的动作一边进行操作，因此，与触摸板那样只靠视觉来进行输入操作的情况相比，开关的输入更为直观可靠。
当然，操作部300还可以既包含坐标输入器件又包含开关。例如，也可以在图21所示的基座301的中央处增设坐标输入器件。例如，通过组合坐标输入器件和开关，在操作部300上，设置与用户使用频率高且显示部200固定显示的GUI部件相应的开关，这样，不仅使进行选择的操作简便，还可通过坐标输入器件来选择其他的GUI部件，从而，不仅使GUI部件的配置更灵活，还有效地利用了画面。
(运算部400)
接下来，对运算部400进行说明。前面已对运算部400所包含的身体形状提取部600进行了说明，在此省略其说明。
运算部400的处理大致可分为：为使显示部200显示用户的身体部分的图像所执行的处理；及用户进行输入操作时所执行的处理。
首先，参照图22的顺序图，说明控制部500为使显示部200显示用户的身体部分的图像所执行的处理的过程。
当身体形状提取部600检测出身体形状时(步骤S501)，身体形状提取部600将已检测出身体形状的信息发送到控制部500。此时，身体形状提取部600还可根据需要，检测出有关身体形状的特征(如手的大小、左手还是右手等)，并将这些特征与上述信息一起发送给控制部500。
接着，控制部500检查此时的操作模式(步骤S502)。在此，假设准备了两种操作模式，即：许可用户的输入操作的模式；及禁止用户的输入操作的模式。一般地，导航装置中，为防止用户在驾驶过程中因操作导航装置而产生危险，用户在驾驶过程中的输入操作是无效的。
经步骤S502的检查，判断为许可用户的输入操作后，控制部500向显示信息制作部700发出变更显示部200所应该显示的显示信息的指示(步骤S503)。显示信息制作部700根据该指示变更显示信息。以下，举例说明显示信息制作部700对显示信息的变更。
图23A及图23B分别是显示信息制作部700在身体形状提取部600检测出身体形状的情况(即：用户的身体部分位于操作部300上的情况)和身体形状提取部600没有检测出身体形状的情况(即：用户的身体部分不在操作部300上的情况)下，变更显示信息的第1个例子。图23A是身体形状提取部600没有检测出身体形状的情况下的显示画面的图例。此时，用户进行选择的GUI部件(这里指按钮)的轮廓用与写有“距离目的地24分”的显示信息栏相同的线条来进行显示。图24B是身体形状提取部600检测出身体形状的情况下，与图23A对应的显示画面的图例。此时，所显示的按钮被立体化，使用户对所选的部分一目了然。通过这样对显示信息进行变更，当用户没有进行输入操作时，简化了显示信息的显示，从而提高了显示信息的可视性；而当用户进行输入操作时，对选择对象进行了强调显示，从而提高了操作性。
图24A及图24B分别是显示信息制作部700在身体形状提取部600检测出身体形状的情况(即：用户的身体部分位于操作部300上的情况)和身体形状提取部600没有检测出身体形状的情况(即：用户的身体部分不在操作部300上的情况)下，变更显示信息的第2个例子。图24A是身体形状提取部600没有检测出身体形状的情况时的另一显示画面的图例。此时，所显示的用户进行选择的GUI部件(这里是按钮)的形状相对较小地显示。图24B是身体形状提取部600检测出身体形状的情况时，与图23A对应的显示画面的图例。此时，所显示的按钮与图24相比相对较大地显示，使用户更容易选择。通过这样对显示信息进行变更，当用户没有进行输入操作时，使用户更容易地看到按钮以外的显示信息；当用户进行输入操作时，对按钮进行放大显示，从而提高了操作性。
图25A及图25B分别是身体形状提取部600检测出右手和左手时，显示信息制作部700变更显示信息的图例。该情况下，身体形状提取部600判定所检测出的身体形状是右手还是左手，并将该判定结果作为身体形状的相关特征通知给控制部500。控制部500根据该判定结果指示显示信息制作部700变更显示信息。所检测出的身体形状是右手还是左手，可以利用如图14或图15所示的数据，通过既存的各种算法来判定。图25A是身体形状提取部600检测出右手时的显示画面的图例。图25B是身体形状提取部600检测出左手时的显示画面的图例。此时，假设如下情况：操作部300设置于车内驾驶座位与副驾驶座位之间，两位用户分别位于操作部300的左右两侧对操作部300进行操作，位于操作部300右侧的用户用左手进行操作，位于操作部300左侧的用户用右手进行操作。也就是说，当身体形状提取部600检测出右手时，则可以认为进行操作的用户位于操作部300的左侧。此时，倘若GUI部件(这里指按钮)显示于画面的右上方，则当用户摁按钮时，用户的手便会将操作部300的中央附近遮挡住，致使显示画面的中央附近也因此被手图像遮盖，从而看不清画面。于是，为避免上述问题，当身体形状提取部600检测出右手时，如图25A所示，将按钮显示于画面的左侧，相反地，当身体形状提取部600检测出左手时，如图25B所示，将按钮显示于画面的右侧。
上述例子中说明了身体形状提取部600分别检测出右手和左手时，变更按钮的设置位置的情况，此外，也可以对按钮的功能、形状、大小或数量等进行变更。例如，操作部300设置于车内驾驶座位与副驾座位之间的情况时，车辆在行驶过程中，当检测出右手(即副驾座位的乘客的手)时，既显示如文字输入等比较复杂的输入操作按钮，又显示如滚屏等较为简单的输入操作按钮；而当检测出左手(即驾驶员的手)时，为了安全起见，则只显示较为简单的输入操作按钮。
图26A及图26B分别是身体形状提取部600检测出较大的手(即大人的手)和较小的手(即小孩的手)时，显示信息制作部700变更显示信息的图例。该情况下，身体形状提取部600判定所检测出的身体形状是较大的手还是较小的手，并将该判定结果作为身体形状的相关特征通知给控制部500。控制部500根据该判定结果指示显示信息制作部700变更显示信息的。所检测出的身体形状是较大的手还是较小的手，可通过将如图14所示的身体区域607的面积或宽度与规定的阈值进行比较来判定。图26A是身体形状提取部600检测出较大的手时显示画面的图例。当身体形状提取部600检测出较大的手时，可以认为是大人进行操作，因而不对其输入操作进行特别的限制。图25B是身体形状提取部600检测出较小的手时显示画面的图例。身体形状提取部600检测出较大的手时，则认为是小孩进行操作，便通过使一部分或所有的按钮失效来限制其输入操作，并且，还可以通过变化按钮颜色或对按钮做标记来告知用户按钮失效。
上述例子中说明了身体形状提取部600检测出较小的手时，变化按钮颜色或对按钮做标记的情况，但本发明并不局限于此，另外还有其他各种变更显示信息的例子。例如，将显示信息中难懂的词汇变更为简单的词汇或变更画面的构成、配色，使之更具儿童色彩。
此外，其他对显示信息的变更，如：设定显示信息制作部700只在身体形状提取部600检测出身体部分的形状的情况下生成显示信息。这样，由于用户在没有进行输入操作时，图像显示的相关处理被中断，因而节省了耗电量。同样地，也可以设定显示信息制作部700只在身体形状提取部600检测出右手(或左手)的情况下生成显示信息。同样，设定显示信息制作部700只在身体形状提取部检测出大人的手(或小孩的手)的情况下生成显示信息。
此外，还存在身体形状提取部600所检测出的形状不一定是身体部分的形状的情况。于是，该情况下，显示信息制作部700可以判定身体形状提取部600所检测出的形状是否是身体部分的形状，然后分别根据身体部分的形状的情况和身体部分以外的形状的情况来变更显示信息。例如，设定显示信息制作部700在身体形状提取部600所检测出的形状不是身体部分的形状的情况下，不生成显示信息。判定身体形状提取部600所检测出的形状是否是身体部分的形状，可以通过前面所述的模式匹配来实现。
显示信息被变更后，控制部500向图像合成部800发出将身体形状提取部600所制作的身体图像与显示信息制作部700所制作(变更后)的显示信息进行合成的指示(步骤S504)。图像合成部800根据该指示来合成身体图像和显示信息。以下举例说明图像合成部800所合成的图像。
图27A是将身体形状提取部600所制作的身体图像(例如图18)覆盖于显示信息制作部700所制作的显示信息上时的画面例。通过显示出真实的手图像，可以给用户一种仿佛实际触摸到画面一般的感觉，从而实现了直观的输入操作。
图27B是将身体形状提取部600所制作的轮廓图像(例如图15)作为身体图像，覆盖于显示信息制作部700所制作的显示信息上时的画面例。这样的图像合成，不仅显示了身体部分的形状及位置，还显示了身体图像内侧的显示信息，使用户即使在操作中也能够容易地确认显示信息。
图27C是对身体形状提取部600所制作的身体图像进行加工，使身体图像的轮廓不透明而其内部呈半透明状，然后将之覆盖于显示信息制作部700所制作的显示信息上时的画面例。这样的图像合成，不仅更直观地再现了输入操作，而且使用户在操作中能够容易地确认显示信息。
图27D是对身体形状提取部600所制作的轮廓图像的指尖部分进行强调显示的加工后，将之覆盖于显示信息制作部700所制作的显示信息上时的画面例。这样的图像合成，使用户能够迅速地确认自己所摁的位置，并且，因同时也显示了身体图像内侧的显示信息，使用户在操作中也能够容易地确认显示信息。此外，检测指尖部分的方法，如：通过模式匹配，从轮廓的形状中特定指尖部分的方法；或提取出如图13所示的图像数据中指甲部分的方法。此外，强调显示的方法可通过如显示标记、改变颜色、改变透明度的方法来实现，或通过使用越接近指尖轮廓的颜色越深，或越接近指尖轮廓的透明度越小的方法来实现。
图27E是对身体形状提取部600所制作的身体图像附加半透明或不透明的阴影后，将之覆盖于显示信息制作部700所制作的显示信息上时的画面例。这样的图像合成，给用户一种仿佛实际触摸到画面一般的感觉。
上述图27F～图27H的例子中说明了将身体图像根据需要进行加工后，将之覆盖于显示信息制作部700所制作的显示信息上的情况。此外，在进行图像合成时，也可以对手图像以外的显示信息进行加工。以下对之进行说明。
身体形状提取部600所制作的身体图像覆盖于显示信息制作部700所制作的显示信息上时，GUI部件的一部分或整体被隐藏，对此，如图27F所示，在GUI部件的附近弹出辅助信息(GUI部件的标签、辅助说明等信息)。为实现这样的显示，图像合成部800首先通过已知的算法，判断显示信息制作部700所制作的显示信息所含有的各GUI部件是否与身体图像重叠。若存在与身体图像重叠的GUI部件，则找出不与身体图像重叠且沿规定方向(右方或上方等)距离所述GUI部件位置的区域，并在该区域显示所述GUI部件的辅助信息。这样的图像合成，通过在任意的GUI部件上重叠身体图像，用户便能容易地获得画面中所显示的任意GUI部件的相关信息。此外，用户不用移动手便能识别被身体图像所隐藏的GUI部件，从而提高了操作性。
身体形状提取部600所制作的身体图像覆盖于显示信息制作部700所制作的显示信息时，GUI部件的一部分或整体被隐藏，对此，图27G中，将被隐藏的GUI部件的标签覆盖于身体图像上。图27G中虽然只在身体图像上覆盖被隐藏了的GUI部件的标签，同时也可以结合被隐藏的GUI部件的形状一起进行覆盖。这样的图像合成，使用户不用移动手便能识别被身体图像所隐藏的GUI部件，提高了操作性。
图27H是身体形状提取部600所制作的身体图像覆盖于显示信息上时，强调显示与身体图像的指尖部分重叠的GUI部件的图例。这样的图像合成，使用户能够容易地确认身体图像的指尖所指的GUI部件。此外，检测指尖部分的方法，如：通过模式匹配，从轮廓的形状中特定指尖部分的方法或如图13所示的从图像数据中提取出指甲部分的方法。另外还有各种强调显示的方法，如：改变颜色、透明度，形状、线条的种类/线条的粗细、文字格式、图标等，或使颜色、透明度呈递进性变化(浓淡法)等。
接着，参照图28的顺序图，说明用户进行输入操作时控制部500所执行的处理的过程。
首先，操作部300检测出用户的触摸操作或摁下操作后(步骤S511)，向控制部500发送信息。其中，如上所述，操作部300也可向控制部500只输出坐标数据，从而控制部500根据该坐标数据来检测触摸操作等。
然后，控制部500向显示信息制作部700发出变更显示信息的指示(步骤S512)。显示信息制作部700按照控制部500的指示变更显示信息。以下，结合图29A及29B，举例说明对显示信息的变更。
图29A是对与用户所触摸(或摁下)操作部300上的点所对应的GUI部件(即：用户所选的GUI部件)进行强调显示的图例。如图29A所示，用户所选的GUI部件(这里指按钮)被变更为被摁下的图像。此外，为方便起见，图29A中图示出了手图像，但显示信息制作部700所制作的显示信息实际不包含手图像。通过这样变更显示图像，使用户能够容易地确认是否正确地选择了所要选择的GUI部件，从而提高了操作性。
图29B是强调显示画面上与用户触摸(或摁下)操作部300上的点所对应的点的图例。图29B的图例中，在画面上与用户触摸(或摁下)操作部300上的点所对应的点处，犹如留下了指纹一般，被标上了圆形的标记。该圆形标记或在规定的时间内显示，或一直显示到用户再次触摸(或摁下)操作部300为止。通过这样变更显示图像，使用户能够容易地确认是否正确地指定出自己所要指定的画面上的点，尤其是在所要指定的点与实际所指定的点相偏离的情况下，能够确认出偏离的方向及距离。
显示信息被变更后，控制部500向图像合成部800发出将身体形状提取部600所制作的身体图像与显示信息制作部700所制作的显示信息合成的指示(步骤S513)。图像合成部800根据该指示来合成身体图像和显示信息。
图30是不将合成显示的身体形状的部分显示于显示部整体，而将之限定在作为操作对象的范围内显示的图例。此时，将显示部分成两个画面，左侧显示电视，右侧显示导航地图。用户操控电视的情况下，若在导航画面合成显示手图像，会因重叠不必要的显示而造成妨碍，因此，其结构可以是不在导航画面显示手形状的构成。此外，该情况下，通过上述指尖位置的检测方法，当指尖位于电视画面时，能够判断出当前的操作对象是电视，所以，只要根据指尖位置来限定图像合成的范围是电视画面还是导航画面便可。
图31是不将身体形状显示于显示部整体，而是将身体形状缩小在作为操作对象的范围内合成显示的图例。这里以DVD画面为例进行说明。当用户触摸操作部或手在操作部上挥动时，画面的上方便会出现用于DVD操作的子画面。若在不是操作对象的子画面以外的地方合成手形状，会影响正在播放的DVD。所以，在显示子画面期间，通过S608所说明的形状修正处理，对该子画面的大小进行视点变换处理，从而能够只在该子画面中对手形状进行合成。
如上所述，根据本发明的输入装置及其方法，即使在用户的手超出操作版面的情况下，也能够通过准确地检测出用户的手形状或手势来进行输入。
上述对实施方式的说明中，只是通过具体的例子来说明本发明的结构，并没有限制本发明的技术范围。任何能够达到本发明效果的结构，都可以采用。
工业实用性
本发明的输入装置能够在不直接接触画面的情况下进行如触摸显示器那样直观的输入操作，适用于在远离显示器的位置进行输入操作的情况或使用远距离显示屏的情况。此外，用户在进行操作时不用看手边的操作，因而，作为车载导航装置的输入装置也很适用。

Claims (17)

1.一种输入装置，用于向机器输入命令或信息，其特征在于，
所述输入装置包括：
身体形状输入部，获取用户的身体形状信息；
显示信息制作部，制作用户进行命令或信息的输入所必需的显示图像；
操作部，具有与所述显示图像相对应的操作面；
身体形状提取部，从所述身体形状输入部所获得的身体信息中提取出与所述操作面相对应的部分，并制作身体图像；
图像合成部，合成所述显示信息制作部制作的显示图像与所述身体形状提取部制作的身体图像；及，
显示部，显示所述图像合成部所合成的图像。
2.根据权利要求1所述的输入装置，其特征在于，
所述显示信息制作部根据所述身体形状提取部检测出的身体信息来制作显示图像，其中，所述身体信息的范围比与所述操作面相对应的部分的范围广。
3.根据权利要求1或2所述的输入装置，其特征在于，
所述身体形状提取部通过利用预先保存的身体部分的形状模式的模式匹配，判断根据所述身体形状输入部所输出的图像数据所检测出的形状是否是身体部分的形状。
4.根据权利要求3所述的输入装置，其特征在于，
所述身体形状提取部根据所述形状模式，对根据所述身体形状输入部所输出的图像数据检测出的身体部分的形状进行修正处理。
5.根据权利要求1或2所述的输入装置，其特征在于，
所述操作部的规定位置处被标注有所述形状修正处理所使用的标记，并且，所述身体形状提取部通过执行所述形状修正处理，使所述身体形状输入部输出的图像数据中的所述标记的位置能够转换到所述显示部的画面上的规定位置。
6.根据权利要求1或2所述的输入装置，其特征在于，
所述图像合成部在合成所述显示图像与所述身体图像时，使所述身体图像轮廓内部的透明度产生变化。
7.根据权利要求1或2所述的输入装置，其特征在于，
所述图像合成部在合成所述显示图像与所述身体图像时，强调所述身体图像的轮廓。
8.根据权利要求1或2所述的输入装置，其特征在于，
所述图像合成部在合成所述显示图像与所述身体图像时，检测出所述身体图像中用户的指尖部分，并强调所述指尖部分。
9.根据权利要求1或2所述的输入装置，其特征在于，
所述图像合成部在合成所述显示图像与所述身体图像时，将被所述身体图像隐藏了的、所述显示画面中的显示信息弹出并显示于没有被所述身体图像所隐藏的区域。
10.根据权利要求1或2所述的输入装置，其特征在于，
所述图像合成部在合成所述显示图像与所述身体图像时，将被所述身体图像隐藏了的，所述显示图像中的信息显示于所述身体图像的前面。
11.根据权利要求2所述的输入装置，其特征在于，
所述身体形状提取部判断根据所述身体形状输入部取得的信息而检测出的形状是否是身体部分的形状，并且，所述显示信息制作部根据所述身体形状提取部的判断结果来变更所制作的显示图像。
12.根据权利要求2所述的输入装置，其特征在于，
所述显示信息制作部只在所述身体形状提取部所检测出的身体部分的形状是右手或左手的情况下制作显示图像。
13.根据权利要求2所述的输入装置，其特征在于，
所述显示信息制作部在所述身体形状提取部检测出所述身体部分的形状时，根据所述所检测出的身体部分的形状，对显示图像中的GUI部件进行强调显示，或对所述GUI部件的位置进行变更，以及/或对所述GUI部件的有效性进行变更。
14.根据权利要求1或2所述的输入装置，其特征在于，
所述显示信息制作部制作显示图像，其中，所述显示图像包含多个显示区域；所述图像合成部在合成所述显示图像与所述身体图像时，检测出所述身体图像中用户的指尖部分，并限定在所述指尖部分所在的显示区域合成身体形状。
15.根据权利要求1或2所述的输入装置，其特征在于，
所述显示信息制作部制作显示图像，其中，所述显示图像包含多个显示区域；所述图像合成部在合成所述显示图像与所述身体图像时，在作为当前显示对象的区域内，将所述身体形状缩小并对之进行合成。
16.一种输入方法，用于向机器输入命令或信息，其特征在于，
所述输入方法包括以下步骤：
身体形状输入步骤，取得用户的身体形状信息；
显示信息制作步骤，制作用于输入用户发出的命令或信息所必需的显示图像；
身体形状提取步骤，从所述身体形状输入步骤所获得的所述身体信息中提取出与所述操作版面相对应的部分，并制作身体图像；
图像合成步骤，合成所述显示信息制作步骤中制作的所述显示图像与所述身体形状提取步骤中制作的所述身体图像；
显示步骤，显示所述图像合成步骤中合成的图像。
17.根据权利要求16所述的输入方法，其特征在于，
所述显示信息制作步骤根据所述身体形状提取步骤中检测出的身体信息来制作显示图像，其中，所述身体信息的范围比与操作面相对应的部分的范围广。
CN2007800040539A 2006-02-03 2007-02-01 输入装置及其方法 Expired - Fee Related CN101379455B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP027316/2006 2006-02-03
JP2006027316 2006-02-03
PCT/JP2007/051725 WO2007088942A1 (ja) 2006-02-03 2007-02-01 入力装置、及びその方法

Publications (2)

Publication Number Publication Date
CN101379455A true CN101379455A (zh) 2009-03-04
CN101379455B CN101379455B (zh) 2011-06-01

Family

ID=38327511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800040539A Expired - Fee Related CN101379455B (zh) 2006-02-03 2007-02-01 输入装置及其方法

Country Status (5)

Country Link
US (1) US8085243B2 (zh)
EP (1) EP1983402A4 (zh)
JP (1) JP5201999B2 (zh)
CN (1) CN101379455B (zh)
WO (1) WO2007088942A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033702A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 影像显示装置及其显示控制方法
CN102768573A (zh) * 2011-05-06 2012-11-07 鸿富锦精密工业（深圳）有限公司 投影机监控系统及方法
CN103092376A (zh) * 2011-10-27 2013-05-08 联想(北京)有限公司 生成控制命令的方法和装置、以及电子设备
CN103092491A (zh) * 2011-10-27 2013-05-08 联想(北京)有限公司 生成控制命令的方法和装置、以及电子设备
CN103927002A (zh) * 2013-01-16 2014-07-16 阿自倍尔株式会社 信息显示装置、方法及程序
CN105377117A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 基于用户的光学处方的头戴式显示器
CN105389034A (zh) * 2014-08-22 2016-03-09 丰田自动车株式会社 用于车辆的操作装置
CN105739673A (zh) * 2014-12-10 2016-07-06 鸿富锦精密工业（深圳）有限公司 手势创建系统及方法
US9804680B2 (en) 2014-11-07 2017-10-31 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Computing device and method for generating gestures
CN107817924A (zh) * 2016-09-12 2018-03-20 精工爱普生株式会社 显示装置和显示装置的控制方法
CN112383664A (zh) * 2020-10-15 2021-02-19 华为技术有限公司 一种设备控制方法、第一终端设备及第二终端设备

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8066384B2 (en) 2004-08-18 2011-11-29 Klip Collective, Inc. Image projection kit and method and system of distributing image content for use with the same
KR101007045B1 (ko) * 2008-03-12 2011-01-12 주식회사 애트랩 접촉센서 장치 및 이 장치의 포인팅 좌표 결정 방법
CN101977796B (zh) * 2008-03-19 2013-05-08 株式会社电装 车辆操作输入设备
JP5257779B2 (ja) * 2008-03-19 2013-08-07 株式会社デンソー 表示方法、表示装置、及び操作入力装置
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
JP5077956B2 (ja) * 2008-04-23 2012-11-21 Ｋｄｄｉ株式会社 情報端末装置
DE102008023405B4 (de) * 2008-05-13 2020-10-01 Volkswagen Ag Kraftfahrzeug mit einem Display sowie Verfahren zum Betrieb eines Kraftfahrzeuges mit einem Display
US20090295682A1 (en) * 2008-05-30 2009-12-03 Fuji Xerox Co., Ltd. Method for improving sensor data collection using reflecting user interfaces
GB2462579A (en) 2008-06-10 2010-02-17 Sony Service Ct Touch screen display including proximity sensor
JP4922266B2 (ja) * 2008-08-25 2012-04-25 パナソニック株式会社 入力装置及び入力方法
JP4692937B2 (ja) * 2008-09-29 2011-06-01 株式会社デンソー 車載用電子機器操作装置
JP5364925B2 (ja) * 2009-02-27 2013-12-11 現代自動車株式会社 車載機器の入力装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
JP2011028366A (ja) * 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法
JP2011028560A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置、表示方法及び表示プログラム
US9551590B2 (en) * 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
CN102656543A (zh) * 2009-09-22 2012-09-05 泊布欧斯技术有限公司 计算机装置的远程控制
US8564424B2 (en) * 2009-12-07 2013-10-22 Inventioneers Etc., Llc Steering wheel hand position sensing device
US8818027B2 (en) 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
US9310905B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Detachable back mounted touchpad for a handheld computerized device
US9678662B2 (en) 2010-04-23 2017-06-13 Handscape Inc. Method for detecting user gestures from alternative touchpads of a handheld computerized device
US9891820B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US9311724B2 (en) * 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US9891821B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a control region of a computerized device from a touchpad
US9529523B2 (en) * 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
US9639195B2 (en) 2010-04-23 2017-05-02 Handscape Inc. Method using finger force upon a touchpad for controlling a computerized system
US9542032B2 (en) 2010-04-23 2017-01-10 Handscape Inc. Method using a predicted finger location above a touchpad for controlling a computerized system
JP4897939B2 (ja) * 2010-05-28 2012-03-14 パナソニック株式会社 ジェスチャ認識装置及びジェスチャ認識方法
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
US8941603B2 (en) * 2010-12-10 2015-01-27 Sony Corporation Touch sensitive display
JP5845585B2 (ja) * 2011-02-04 2016-01-20 セイコーエプソン株式会社 情報処理装置
US10025388B2 (en) * 2011-02-10 2018-07-17 Continental Automotive Systems, Inc. Touchless human machine interface
US8558759B1 (en) 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US20130088434A1 (en) * 2011-10-06 2013-04-11 Sony Ericsson Mobile Communications Ab Accessory to improve user experience with an electronic display
KR101349515B1 (ko) 2011-12-30 2014-01-16 대성전기공업 주식회사 차량 디스플레이 유니트 및 차량 디스플레이 유니트 제어 방법
US20130179811A1 (en) * 2012-01-05 2013-07-11 Visteon Global Technologies, Inc. Projection dynamic icon knobs
US9239624B2 (en) * 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface
JP5886139B2 (ja) * 2012-05-30 2016-03-16 シャープ株式会社 タッチセンサシステム
DE102012215407A1 (de) * 2012-08-30 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen einer Eingabe für ein Bedienelement
JP6027406B2 (ja) * 2012-11-12 2016-11-16 東芝アルパイン・オートモティブテクノロジー株式会社 車室内カメラのスキャン方法、車室内カメラにおける対象物の探索方法及び車室内カメラ
EP2767888A3 (en) * 2013-02-19 2014-10-01 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US9519355B2 (en) * 2013-03-15 2016-12-13 Derek A Devries Mobile device event control with digital images
WO2014176370A2 (en) 2013-04-23 2014-10-30 Handscape Inc. Method for user input from alternative touchpads of a computerized system
DE102013015205B3 (de) * 2013-09-13 2015-02-05 Audi Ag Verfahren und System zum Betreiben einer Mehrzahl von Anzeigeeinrichtungen eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben einer Mehrzahl von Anzeigeeinrichtungen
DE102013015634B4 (de) * 2013-09-20 2015-06-18 Audi Ag Verfahren und System zum Betreiben wenigstens einer Anzeigeeinrichtung eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben wenigstens einer Anzeigeeinrichtung
EP3060941A1 (en) 2013-10-23 2016-08-31 Oculus VR, LLC Three dimensional depth mapping using dynamic structured light
JP6206099B2 (ja) * 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
USD761320S1 (en) * 2013-11-08 2016-07-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
USD759118S1 (en) * 2013-11-08 2016-06-14 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
US20150185858A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara System and method of plane field activation for a gesture-based control system
DE102014202836A1 (de) * 2014-02-17 2015-08-20 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zur Unterstützung eines Anwenders bei der Bedienung einer Anwenderschnittstelle
KR101655810B1 (ko) 2014-04-22 2016-09-22 엘지전자 주식회사 차량용 디스플레이 장치
DE102014213021A1 (de) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines HMD im Fahrzeug
DE202014103729U1 (de) * 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
CN104317402B (zh) * 2014-10-24 2020-07-03 小米科技有限责任公司 描述信息的显示方法及装置、电子设备
US9606697B1 (en) 2014-11-11 2017-03-28 Google Inc. Display cursor for motion controller
JP5976145B2 (ja) * 2015-02-05 2016-08-23 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに記録媒体
USD791785S1 (en) * 2015-02-24 2017-07-11 Linkedin Corporation Display screen or portion thereof with a graphical user interface
KR102129376B1 (ko) 2015-02-25 2020-07-02 페이스북, 인크. 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별
KR102279790B1 (ko) 2015-03-10 2021-07-19 엘지전자 주식회사 차량용 디스플레이 장치
CN107637074B (zh) 2015-03-22 2020-09-18 脸谱科技有限责任公司 使用立体摄像机与结构化光的头戴显示器的深度绘制
FR3028222A1 (fr) * 2015-03-26 2016-05-13 Continental Automotive France Systeme de palette tactile formant une interface homme-machine adapte sur un volant de vehicule
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
EP3410277B1 (en) * 2016-01-25 2022-07-06 Hiroyuki Ikeda Image projection device
DE102016001314B4 (de) 2016-02-05 2017-10-12 Audi Ag Bedienvorrichtung und Verfahren zum Empfangen einer Zeichenfolge von einem Benutzer in einem Kraftfahrzeug
JP6739864B2 (ja) * 2016-04-05 2020-08-12 マレリ株式会社 車載用情報処理システム
JP2017197016A (ja) * 2016-04-27 2017-11-02 カルソニックカンセイ株式会社 車載用情報処理システム
US10318145B2 (en) * 2016-07-28 2019-06-11 Florida Institute for Human & Machine Cognition, Inc Smart mirror
USD896820S1 (en) * 2017-08-09 2020-09-22 Sony Corporation Projector table with graphical user interface
US10623743B1 (en) * 2018-05-22 2020-04-14 Facebook Technologies, Llc Compression of captured images including light captured from locations on a device or object
JP7224799B2 (ja) * 2018-07-13 2023-02-20 キヤノン株式会社 画像投影装置、画像投影装置の制御方法、プログラム
WO2021002487A1 (ko) * 2019-07-01 2021-01-07 엘지전자 주식회사 차량 제어 장치 및 그것을 포함하는 차량
FR3124872A1 (fr) * 2021-07-02 2023-01-06 Faurecia Interieur Industrie Dispositif électronique et procédé d'affichage de données sur un écran d’affichage, système d’affichage, véhicule et programme d’ordinateur associés
US11847293B2 (en) * 2021-08-05 2023-12-19 Rolland & Hamann Innovations, LLC Selectable input alterations

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02132510A (ja) * 1988-11-12 1990-05-22 Sony Corp 入力装置
JP3132021B2 (ja) 1991-02-15 2001-02-05 ソニー株式会社 座標入力装置
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
JP3777650B2 (ja) * 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
EP0823683B1 (en) * 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
JP3637985B2 (ja) 1995-09-13 2005-04-13 株式会社ジーシー 光硬化型歯科用ワックス組成物
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6154196A (en) * 1998-06-08 2000-11-28 Wacom Co., Ltd. Coordinate input device convertible between right-handed and left-handed modes
JP2000006687A (ja) 1998-06-25 2000-01-11 Yazaki Corp 車載機器スイッチ安全操作システム
CN2399783Y (zh) * 1999-08-27 2000-10-04 叶富国 结构改进的输入装置
JP3284272B2 (ja) * 1999-11-24 2002-05-20 栄治 秋山 データ入力方法および装置・データ入力プログラム記録媒体
US6833851B1 (en) * 2000-06-06 2004-12-21 Garmin Corporation GPS Receiver and depth sounder unit having an adjustable display screen
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
JP4262414B2 (ja) 2000-12-26 2009-05-13 株式会社日本製鋼所 高Ｃｒフェライト系耐熱鋼
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP2005141151A (ja) * 2003-11-10 2005-06-02 Seiko Epson Corp プロジェクタおよびプロジェクタの機能設定方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033702A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 影像显示装置及其显示控制方法
CN102768573A (zh) * 2011-05-06 2012-11-07 鸿富锦精密工业（深圳）有限公司 投影机监控系统及方法
CN103092376B (zh) * 2011-10-27 2017-07-25 联想(北京)有限公司 生成控制命令的方法和装置、以及电子设备
CN103092376A (zh) * 2011-10-27 2013-05-08 联想(北京)有限公司 生成控制命令的方法和装置、以及电子设备
CN103092491A (zh) * 2011-10-27 2013-05-08 联想(北京)有限公司 生成控制命令的方法和装置、以及电子设备
CN103927002A (zh) * 2013-01-16 2014-07-16 阿自倍尔株式会社 信息显示装置、方法及程序
CN105377117A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 基于用户的光学处方的头戴式显示器
CN105389034A (zh) * 2014-08-22 2016-03-09 丰田自动车株式会社 用于车辆的操作装置
CN105389034B (zh) * 2014-08-22 2018-11-13 丰田自动车株式会社 用于车辆的操作装置
US9804680B2 (en) 2014-11-07 2017-10-31 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Computing device and method for generating gestures
CN105739673A (zh) * 2014-12-10 2016-07-06 鸿富锦精密工业（深圳）有限公司 手势创建系统及方法
CN105739673B (zh) * 2014-12-10 2018-06-05 南宁富桂精密工业有限公司 手势创建系统及方法
CN107817924A (zh) * 2016-09-12 2018-03-20 精工爱普生株式会社 显示装置和显示装置的控制方法
CN107817924B (zh) * 2016-09-12 2022-08-09 精工爱普生株式会社 显示装置和显示装置的控制方法
CN112383664A (zh) * 2020-10-15 2021-02-19 华为技术有限公司 一种设备控制方法、第一终端设备及第二终端设备
CN112383664B (zh) * 2020-10-15 2021-11-19 华为技术有限公司 一种设备控制方法、第一终端设备、第二终端设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP1983402A1 (en) 2008-10-22
EP1983402A4 (en) 2013-06-26
WO2007088942A1 (ja) 2007-08-09
US8085243B2 (en) 2011-12-27
JP5201999B2 (ja) 2013-06-05
CN101379455B (zh) 2011-06-01
JPWO2007088942A1 (ja) 2009-06-25
US20090167682A1 (en) 2009-07-02

Similar Documents

Publication Publication Date Title
CN101379455B (zh) 输入装置及其方法
US11017603B2 (en) Method and system for user interaction
US11995774B2 (en) Augmented reality experiences using speech and text captions
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
CN109739361B (zh) 基于眼睛跟踪的可见度提高方法和电子装置
JP4294668B2 (ja) 点図ディスプレイ装置
JP4783456B2 (ja) 映像再生装置及び映像再生方法
WO2006013783A1 (ja) 入力装置
WO2009139214A1 (ja) 表示装置および制御方法
US20150378158A1 (en) Gesture registration device, gesture registration program, and gesture registration method
TW201104494A (en) Stereoscopic image interactive system
KR20150135847A (ko) 글래스 타입 단말기 및 이의 제어방법
US20150302653A1 (en) Augmented Digital Data
WO2017204581A1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN109992175B (zh) 用于模拟盲人感受的物体显示方法、装置及存储介质
US20210407213A1 (en) Augmented reality eyewear with 3d costumes
US10129439B2 (en) Dynamically colour adjusted visual overlays for augmented reality systems
JP4945694B2 (ja) 映像再生装置及び映像再生方法
JP4870651B2 (ja) 情報入力システムおよび情報入力方法
US20240103680A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
KR20140090538A (ko) 디스플레이 장치 및 제어 방법
CN111240483A (zh) 操作控制方法、头戴式设备及介质
JP2006302029A (ja) 表示装置制御プログラム、表示装置制御方法、表示装置
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CI01 Correction of invention patent gazette

Correction item: Inventor

Correct: Yamashita Atsushi|Terada Chihiro|Hirai Takuya

False: Yamashita Atsushi|Terada Chihiro| Hirai Takuya

Number: 22

Volume: 27

CI02 Correction of invention patent application

Correction item: First inventor

Correct: Yamashita Atsushi

False: Yamashita Atsushi

Number: 22

Page: The title page

Volume: 27

ASS Succession or assignment of patent right

Owner name: INTELLECTUAL PROPERTY BRIDGE NO. 1 CO., LTD.

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140226

TR01 Transfer of patent right

Effective date of registration: 20140226

Address after: Tokyo, Japan, Japan

Patentee after: GODO KAISHA IP BRIDGE 1

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co., Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110601

Termination date: 20150201

EXPY Termination of patent right or utility model