CN101977796B - 车辆操作输入设备 - Google Patents

车辆操作输入设备 Download PDF

Info

Publication number
CN101977796B
CN101977796B CN2009801095824A CN200980109582A CN101977796B CN 101977796 B CN101977796 B CN 101977796B CN 2009801095824 A CN2009801095824 A CN 2009801095824A CN 200980109582 A CN200980109582 A CN 200980109582A CN 101977796 B CN101977796 B CN 101977796B
Authority
CN
China
Prior art keywords
finger
image
state
display
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009801095824A
Other languages
English (en)
Other versions
CN101977796A (zh
Inventor
青木隆
赤堀一郎
丹羽伸二
伊藤正广
川岛毅
长田岳史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2009021004A external-priority patent/JP5077773B2/ja
Priority claimed from JP2009021003A external-priority patent/JP5257779B2/ja
Application filed by Denso Corp filed Critical Denso Corp
Priority to CN201210488034.0A priority Critical patent/CN103076949B/zh
Publication of CN101977796A publication Critical patent/CN101977796A/zh
Application granted granted Critical
Publication of CN101977796B publication Critical patent/CN101977796B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B60K35/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/212—
    • B60K35/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0312—Detection arrangements using opto-electronic means for tracking the rotation of a spherical or circular member, e.g. optical rotary encoders used in mice or trackballs using a tracking ball or in mouse scroll wheels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • B60K2360/141—
    • B60K2360/195—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0007—Mid-console

Abstract

一种用于车辆的车辆操作输入设备，包括操作面板(12a)和显示位置指示图像(200H)的显示装置(15)，位置指示图像(200H)用于显示操作面板(12a)上的指示位置。确定面对操作面板(12a)的手的手指状态是否为操作意图表示用手指状态。在车辆处于行驶状态时，当手指状态确定成操作意图表示用手指状态时，允许位置指示图像(200H)的显示，但是，当手指状态没有确定成操作意图表示用手指状态时，禁止位置指示图像(200H)的显示。

Description

车辆操作输入设备
相关申请的交叉引用
本申请基于2008年3月19日递交的日本专利申请No.2008-71467、2008年3月19日递交的日本专利申请No.2008-71468、2008年3月19日递交的日本专利申请No.2008-71470、2008年11月14日递交的日本专利申请No.2008-291592、2009年1月30日递交的日本专利申请No.2009-21003、2009年1月30日递交的日本专利申请No.2009-21004和2009年1月30日递交的日本专利申请No.2009-21005，并且通过引用将它们合并到本文中。
技术领域
本发明涉及一种车辆操作输入设备。
背景技术
[专利文献1]JP-2000-6687 A
近年来，提出一种远程地操作一个装置的操作输入设备，例如一种提示型操作输入设备(专利文献1)。在这种操作输入设备中，远程操作部分与用来显示操作显示窗口(主显示窗口)的显示装置分开地设置在操作者伸手能及的地方。此外，捕获和提取手操作远程操作部分的图像。因此，获得的手图像和手操作在显示装置的操作显示窗口(主显示窗口)中反映。因此，能够进行显示控制，如同手直接触摸操作显示窗口。操作输入设备能够设置在车辆中。在这种情况中，为了提高可操作性，远程操作部分设置在坐在座椅上的用户伸手能及的范围内。远程操作部分常被构造成具有触摸操作区域的触摸操作型的操作部分。
上述操作输入设备的远程操作部分设置在用户伸手能及的地方，因此，可能导致在没有用户意图的情况下操作部分被触摸，从而造成不正确的操作输入。特别地，当操作部分是触摸操作型(例如触摸面板)时，意外触摸可能会造成输入。
此外，当对远程操作部分的手操作实际地显示在上述操作输入设备的操作显示窗口上时，在手靠近远程操作部分时，仅有一个手指被显示。然而，为了输入简单，一些用户用一只手的五个手指执行触摸操作输入。这里，排成一排的几个手指显示在操作显示窗口中；因此，被显示的多个手指之间的对应关系以及操作者实际想使用的用于位置指示的手指不再清楚。可能导致误操作。特别是，在车辆驾驶中驾驶员可能不会仔细地观看操作显示窗口。因此，驾驶员在驾驶车辆的同时难以用几个手指执行操作输入，常会造成误操作。
发明内容
本发明的一个目的是提供一种有助于防止远程操作部分的误操作的车辆操作输入设备。
此外，本发明的另一个目的是提供一种用于显示位置指示图像的显示方法，以便容易地在显示器上确定用于位置指示的手指，在该显示器中，用于指示与手指对应的位置的图像与另一图像叠加或组合。此外，本发明的另一目的是提出一种使用上述显示方法的显示设备和具有前述显示设备的操作输入设备。
作为本发明的一个例子，提供如下一种车辆操作输入设备。显示部分构造成具有用于执行车辆中设置的装置的操作等的显示窗口。远程操作部分设置在与所述显示窗口分离的位置处，所述远程操作部分具有远程操作区域，所述远程操作区域用于在显示窗口中远程地执行操作输入。输入接收部分构造成基于对远程操作区域的按压操作接收与按压操作位置对应的输入。手图像捕获部分构造成捕获与远程操作区域相对的手的图像。位置指示图像显示部分构造成在显示窗口上的由手所指示的位置处显示位置指示图像，所述位置指示图像基于捕获的手的图像产生。预定的手指状态确定部分构造成确定与远程操作区域相对的手的手指状态是否为预定的手指状态。显示模式分配部分构造成对分配给位置指示图像显示部分的显示模式执行显示模式切换控制。当预定的手指状态被确定时，所述显示模式分配部分给显示模式分配显示允许模式，以允许位置指示图像的显示，并且当预定的手指状态没有被确定时，所述显示模式分配部分给显示模式分配显示禁止模式，以禁止位置指示图像的显示。
作为本发明的一个例子，提出一种如下的显示设备的显示方法。所述显示设备包括具有显示窗口的显示部分和具有远程操作区域的远程操作部分，所述远程操作区域用于对显示窗口执行远程操作。所述显示方法用于在显示设备中显示位置指示图像。当手指面对远程操作部分的前面时，所述位置指示图像以与背景图像组合或叠加的方式显示在显示窗口上的与手指的位置相对应的窗口上位置处。所述方法包括如下步骤：预定的手指状态确定步骤，其确定面对远程操作区域的手的手指状态是否为预定的手指状态；当确定为是预定的手指状态时给显示模式分配显示允许模式以允许显示位置指示图像的步骤；和当确定为不是预定的手指状态时给显示模式分配显示禁止模式以禁止位置指示图像的显示的步骤。
作为本发明的另一例子，提供一种如下的显示设备的显示方法。所述显示设备包括具有显示窗口的显示部分和具有远程操作区域的远程操作部分，所述远程操作区域用于对显示窗口执行远程操作。所述显示方法用于在显示设备中显示位置指示图像。当手指面对远程操作部分的前面时，所述位置指示图像以与背景图像组合或叠加的方式显示在显示窗口上的与手指的位置相对应的窗口上位置处。所述方法还包括如下步骤：确定面对远程操作部分的前面的手的手指的手指确定步骤；从所确定的手指分配用于或估计将用于操作远程操作部分的操作目标手指的操作目标手指分配步骤；以与显示窗口上的背景图像组合或叠加的方式显示表示所确定的手指的指示位置的位置指示图像的显示步骤；和位置指示图像突出步骤，其对与显示的位置指示图像中的所分配的操作目标手指对应的位置指示图像执行突出显示，以便同对应于不同于操作目标手指的手指的位置指示图像相比，相对地更突出。
附图说明
通过参考附图，根据以下详细说明，本发明的上述和其它目的、特征和优点将变得更清楚。
附图如下：
图1是显示使用本发明的第一实施例的触摸型输入设备的例子的操作输入设备的车辆导航设备的构造的框图；
图2是车辆舱室的主要部分的立体图，用于说明车辆操作输入设备的轮廓；
图3是显示操作信息输入部分的第一构造的剖视图；
图4是用于说明第一实施例的第一例子的面对操作面板的手的图像捕获和显示的第一说明图；
图5是用于说明第一实施例的第一例子的面对操作面板的手的图像捕获和显示的第二说明图；
图6是用于说明第一实施例的第一例子的面对操作面板的手的图像捕获和显示的第三说明图；
图7是用于说明第一实施例的第一例子的面对操作面板的手的图像捕获和显示的第四说明图；
图8是显示捕获的图像以确定操作者的例子的视图；
图9是显示第一实施例的第一例子的位置指示图像显示过程的流程图；
图10是显示第一实施例的第一例子的触摸操作输入过程的流程图；
图11是显示第一实施例的第二例子的位置指示图像显示过程的流程图；
图12是显示第一实施例的第三例子的位置指示图像显示过程的流程图；
图13是显示第一实施例的第四例子的位置指示图像显示过程的流程图；
图14是显示第一实施例的第五例子的触摸操作输入过程的流程图；
图15是车辆舱室的主要部分的立体图，用于说明不同于图2的车辆操作输入设备的轮廓(第六例子)；
图16是第二例子至第四例子的车速阈值的设定的例子的示意图；
图17是显示第一实施例的第七例子的位置指示图像显示过程的流程图；
图18是显示第一实施例中设定被允许的显示允许时间期间的例子的说明图；
图19是显示第一实施例的第七例子中设定被允许的显示允许时间期间的说明图；
图20是显示第一实施例的第八例子中设定被允许的显示允许时间期间的说明图；
图21是显示第一实施例的第九例子中位置指示图像的突出显示过程的流程图；
图22是第一实施例中的操作显示窗口的一个例子；
图23是第一实施例中的操作显示窗口的一个例子；
图24是第一实施例中的操作显示窗口的一个例子；
图25是显示第一实施例的第十例子中位置指示图像的突出显示过程的流程图；
图26是显示第一实施例的第十例子中操作目标手指的确定过程的第一变化例的流程图；
图27是用于说明在第一实施例的第十例子中面对操作面板的手的图像捕获和显示的第一说明图；
图28是用于说明在第一实施例的第十例子中面对操作面板的手的图像捕获和显示的第二说明图；
图29是说明指尖的确定方法的说明图；
图30是说明确定图26的例子的操作目标手指的方法的第一例子的说明图；
图31是说明确定图26的例子的操作目标手指的方法的第二例子的说明图；
图32是说明确定图26的例子的操作目标手指的方法的第三例子的说明图；
图33是显示第一实施例的第十例子的位置指示图像的突出显示过程的基于时间变化的例子的流程图；
图34是显示第一实施例的第十例子的操作目标手指的确定过程的第二变化例的流程图；
图35是说明第一实施例的第十例子的第二变化例的操作目标手指的确定方法的第一例子的说明图；
图36是说明第一实施例的第十例子的第二变化例的操作目标手指的确定方法的第二例子的说明图；
图37是显示第一实施例的第十例子的操作目标手指的确定过程的第三变化例的流程图；
图38是说明第一实施例的第十例子的第三变化例的操作目标手指的确定方法的例子的说明图；
图39是显示第一实施例的第十例子的操作目标手指的确定过程的第四变化例的流程图；
图40是显示第一实施例的第十例子的操作目标手指的确定过程的第五变化例的流程图；
图41是说明第一实施例的第十例子的第五变化例的操作目标手指的确定方法的例子的说明图；
图42是显示第一实施例的第十例子的操作目标手指的确定过程的第六变化例的流程图；
图43是说明第一实施例的第十例子的第六变化例的操作目标手指的确定方法的例子的说明图；
图44是显示第一实施例的第十例子的操作目标手指的确定过程的第七变化例的流程图；
图45是说明第一实施例的第十例子的第七变化例的操作目标手指的确定方法的第一例子的说明图；
图46是说明第一实施例的第十例子的第七变化例的操作目标手指的确定方法的第二例子的说明图；
图47是显示第一实施例的第十例子的位置指示图像的突出显示的显示例子的流程图；
图48是显示第一实施例的第十例子的位置指示图像的突出显示的显示例子的流程图；
图49是示意地显示第一实施例的第十例子的第十一变化例的操作部分的立体图，该操作部分需要夹捏操作；
图50是从图49所示的x方向、y方向和z方向的捕获图像的例子；
图51是基于图50的显示图像的例子；
图52是基于图50的显示图像的不同于图51的例子；
图53是说明第一实施例的第十例子的第十一变化例的操作目标手指的确定方法的例子的说明图；
图54是显示手指跟踪过程的流程的流程图；
图55是图54之后的流程图；
图56是说明存储在控制电路中的跟踪信息的说明图，以便预测指尖位置；
图57是说明跟踪移动图像框之间的指尖的基本算法的说明图；
图58是显示指尖(手指)的出现预测位置的计算方法的说明图；
图59是说明在之前框中新出现的指尖的下一框中的出现预测位置的计算方法的说明图；
图60是说明指尖的新出现和指尖的消失的说明图；
图61是显示第一实施例的第十例子的位置指示图像的突出显示过程的基于时间变化的例子的流程图；
图62是显示第一实施例的第十例子的位置指示图像的突出显示过程的基于时间变化的例子的流程图；
图63是显示第一实施例的第十例子的位置指示图像的突出显示的显示例子的流程图；
图64是显示第一实施例的第十例子的位置指示图像的突出显示的显示例子的流程图；
图65是显示第一实施例的第十例子的位置指示图像的突出显示的显示例子的流程图；
图66是显示第一实施例的使用不真实手指图像的位置指示图像的显示例子的说明图；
图67是显示第一实施例的使用指尖位置图像的位置指示图像的显示例子的说明图；
图68是说明预定的手指状态的第二例子的说明图；
图69是车辆舱室的主要部分的立体图，用于说明不同于图2和图15的车辆操作输入设备的轮廓(第六例子)；
图70是说明预定的手指状态的第三例子的说明图；
图71是说明预定的手指状态的第四例子的说明图；
图72是说明预定的手指状态的第五例子的说明图；
图73是显示用于显示模式切换控制的执行目标的显示窗口条件的例子的说明图；
图74是显示触摸操作输入过程的流程的流程图；和
图75是预定的手指状态的例子。
具体实施方式
1.第一实施例
1.1第一例子
下面，参考附图来说明根据本发明的第一实施例的操作输入设备的第一例子。
(配置)
图1是显示使用本实施例的操作输入设备的的车辆导航设备的配置的框图。在本例子下，在操作输入设备1中，显示装置15和操作面板12a分别布置在不同的位置。显示装置15能够在显示窗口上显示操作输入的图像，例如用于触摸操作的开关图像(操作图标)。操作面板12a用于对显示窗口远程地执行触摸操作。请注意，本例子的触摸型操作输入设备作为操作目标不仅能够操作导航功能，而且能够操作其它车内电子装置的功能，这些车内电子装置由经车内LAN50连接的ECU 100控制。这些功能包括音频、空调、动力车窗和座椅调节功能。
导航设备10包括以下装置：用于检测车辆的当前位置的位置检测装置11；用于操作者(例如驾驶员)输入各种指令的操作信息输入部分12；用于从记录有地图数据和各种类型的信息的外部存储介质输入地图数据等的地图数据输入装置14；用于执行各种显示(例如地图显示窗口或TV(电视)窗口)的显示装置15；用于输出各种导航声音或输入操作者(例如驾驶员)的声音的声音输入/输出装置16；用于存储各种数据(例如车辆信息)的硬盘存储装置17；用于发送和接收车辆信息的车辆I/F(接口)部分19；用于与另一通信装置13a进行短程无线通信的无线通信装置13；和与前述装置11至19连接的控制电路18。此外，控制电路18还能够与摄像机20和40以及车速传感器30连接。在本例子中，如图69所示，可以仅包括摄像机12b，其在下面将被说明。
位置检测装置11包括以下传感器等：GPS接收器11a，其经GPS天线接收来自GPS(全球定位系统)卫星的电波，并用于检测车辆的位置、方位或车速；陀螺仪11b，其检测在车辆上施加的旋转运动；距离传感器11c，其根据车辆的前后方向的加速度检测车辆行驶距离；和地磁探测传感器11d，其通过地磁检测车辆的朝向方位。各个独立的传感器11a至11d等具有彼此不同类型的检测误差，因此，它们用于相互补偿。此外，根据需要的检测精度，可以仅使用一部分传感器等。此外，可以使用另外的传感器(未显示)，例如转向的旋转传感器和跟随车轮的车轮传感器。
如图3所示，操作信息输入部分12包括：光源12c，其照射预定波段的光线；操作面板12a，其具有半透明性并设置成光源12c照射的光线可以从后表面12a2一侧穿透到前表面12a1一侧；和摄像机(接近目标图像捕获部分或装置)12b，其从后表面12a2一侧捕获图像，以便覆盖作为图像捕获范围的操作面板12a。
如图2所示，本例子的操作信息输入部分12被设置在例如中部操纵台部分C中，车辆挡风玻璃的下边缘的下面，以便从相邻的左、右座椅对其进行操作。此外，操作信息输入部分12设置在显示装置15的下面，并在左、右座椅之间的中间位置的前面。请注意，本例子的相邻的左右座椅是指图2中的驾驶员座椅2D和乘客座椅2P，可选地，例如，它们可以是后排左右座椅。此外，操作信息输入部分12不仅可以设置在从左右座椅能够操作的位置处，而且能够设置在操作者容易操作的任何位置处，例如设置在方向盘或门处。
操作面板12a包括面板，该面板相对于光源12c照射的光线至少具有半透明性。本例子的操作面板12a配置成电阻薄膜型的公知的触摸面板，其具有纵向半透明电极和横向半透明电极。操作面板12a的输出被输入到控制电路18中。
如图3所示，操作面板12a插入具有内部空间的壳体12f的前端开口中。表面12a1用作触摸操作区域(远程操作区域)。该前端开口由壳体的前端部分121e限定。从前端部分121e的外边缘看，圆柱形壁部分122e形成为朝向后侧。圆柱形壁部分122e的后端固定到电路板12k。壳体12f固定地设置车辆舱室中的预定位置处，同时壳体内部具有摄像机12b和光源12c。
如图3所示，光源12c照射光线，以便将光线从操作面板12a的后表面12a2传送到前表面12a1。除非有接近物体(例如手等)定位成覆盖触摸操作区域12a1，光线(照射光线)将从光源12c经触摸操作区域12a1朝外传递。相反，当有接近物体H接近触摸操作区域12a1以面对触摸操作区域12a1时，光线将被接近物体H反射。因此，一部分光线(反射光线)返回到后表面12a2一侧，并被摄像机12b捕获。
光源12c照射的光线被接近物体H反射，并且该反射光线被摄像机12b捕获。因此，摄像机12b从操作面板12a的后表面12a2一侧捕获接近物体H的图像。摄像机12b固定到车辆主体上，以便捕获预定图像捕获范围的图像。具体地，反射构件12r设置成使得摄像机12b能够捕获图像捕获范围的图像。摄像机12b捕获反射图像。当没有反射构件12r时，图像捕获范围是摄像机12b直接摄像的范围，因此，图像捕获之后的图像需要进行左右颠倒过程。
在本例子中，光源12c是红外线光源。摄像机12b是红外摄像机，该红外摄像机甚至适用于黑暗地点中的图像捕获(设置有未图示的用于去除可见光的红外滤光片，并通过该滤光片执行图像捕获)。红外光源12c发射的光线(红外光线)被接近物体H反射，并且反射光线被摄像机12b捕获，因此，实现了图像捕获。摄像机12b固定地设置在基板上，该基板固定到车辆主体上。图像捕获范围被指定成覆盖触摸操作区域12a1。此外，红外光源12c是位于操作面板12a的后表面一侧的后面的LED。此外，在本例子中，操作面板12a由具有仅透射光源12c的光线的特性的材料构成，因此，摄像机12b中的红外滤光片可以不是必须的，并且从外部不能看见壳体12f的内部。
在本例子中，摄像机12b用作图像捕获部分或装置。摄像机12b用作接近物体图像捕获部分或装置，以捕获接近物体的图像，该接近物体接近操作面板12a，从而面对操作面板12a。如果考虑手包括在接近物体中，摄像机12b还可以用作手图像捕获部分或装置，以捕获手的图像，以及还用作手指图像捕获部分或装置，以捕获手的手指的图像。
图4-7是用于说明面对操作面板12a的手(手指)H的图像捕获的图。这里，每幅图的图(a)显示面对操作面板12a和前表面12a1的手的状态(手指的状态)。此外，每幅图的图(b)是图像150，该图像150是摄像机12b获取的以捕获图(a)中的状态下的手的图像，和在图像捕获范围是整个操作面板12a的情况下捕获的图像。请注意，在本例子中，图(b)中的图像150是相对于图像捕获之后的图像进行二进制处理获得的。在图(b)中，标记150H是接近物体被反射的区域，标记150B是没有图像反射的区域。尽管标记150B的区域实际上是操作面板12a被反射的区域，但是操作面板12a相对于光源12c的光线具有半透明性，因此，没有被反射。此外，即使操作面板12a没有被反射，但是在操作面板12a之上背景(车辆等的车辆舱室顶棚)被反射也是不奇怪的。然而，这种背景被去除。能够使用不同照明条件的图像来执行背景去除，如日本专利文献JP-2007-272596A中所述。就此而言，每幅图的图(c)是当图(b)的图像150被捕获时显示装置15的窗口显示的例子。请注意，图4(c)显示传统的台式操作输入设备的窗口显示的例子。在本例子中，当图像150被如图4(b)反射时，窗口显示变成如图5(c)所示。
返回图1，显示装置15是彩色显示器，其设置在图2的驾驶员座椅2D的车辆前侧，以便驾驶员能够看见。从驾驶员观看，显示窗口比触摸操作区域12a1更远。显示装置15能够使用液晶显示器、等离子显示器和有机电致发光显示器中的一个。显示装置15在显示窗口中显示叠加的地图和相关数据。该相关数据包括：表示车辆当前位置的当前位置标识，其根据位置检测装置11检测的当前位置和从地图数据输入装置14输入的地图数据确定；到目的地的导航路线；名称、地标、设施标识等，还显示设施的导航。显示装置15用作显示部分或装置的例子。
此外，显示装置15具有显示窗口，该显示窗口用于执行车辆设有的装置的操作。在本例子中，触摸面板15a设置在显示窗口上。已经说明的操作信息输入部分12的触摸面板12a设置成远程地操作触摸面板15a，触摸面板12a的位置比触摸面板15a的位置到驾驶员或乘客座椅上的人更近。基于应用到触摸操作区域12a1的触摸操作，接收输入，该输入指向与触摸操作位置对应的显示装置15的窗口上位置(触摸面板15a的触摸操作区域的位置)。详细地，显示装置15的显示窗口上限定的两维坐标系(限定在触摸面板15a的触摸操作区域上的两维坐标系)与操作面板12a的触摸操作区域12a1上限定的两维坐标系之间具有预定的唯一对应关系。一个区域上的窗口上位置能够通过另一区域上的窗口上位置唯一地确定。当在触摸操作区域12a1实施触摸操作时，基于该对应关系，对显示装置15的显示窗口的位置坐标的操作输入被接收，以便与实施该触摸操作的位置坐标对应。
即，当触摸操作应用到触摸操作区域12a1时，控制电路18确定触摸操作区域12a1上的实施触摸操作的位置坐标。此外，控制电路18确定与确定的触摸操作区域12a1上的位置坐标对应的显示装置15的显示窗口上的位置坐标。因此，控制电路18输出控制信号，该控制信号执行与显示窗口上确定的位置坐标对应的控制内容。例如，假设当开关图像(操作图标等)200I显示在显示装置15的显示窗口上时，在触摸操作区域12a1上触摸操作应用到与开关图像200I对应的位置。因此，控制电路18判定触摸操作被实施到开关图像200I，因此接收输入。控制电路18执行与开关图像200I对应的控制内容。假设当滚动地图显示窗口(地图操作用图像)显示在显示装置15的显示窗口上时，在触摸操作区域12a1上触摸操作应用到地图上的一个位置。因此，控制电路18接收对该触摸操作位置的输入，并且从而执行滚动显示控制，以便重新显示地图，从而使得地图以该触摸操作位置定中心。
请注意，显示装置15不需要限制为布置在图2所示的中心操纵台C中，它可以设置在比挡风玻璃FG的下边缘更靠上的位置处。详细地，能够采用在车辆的挡风玻璃FG上显示前述图像/数据的平视显示器(HUD)或在方向盘的后面采用仪表显示装置。
返回到图1，地图数据输入装置14用于输入各种数据，这些数据包含道路数据(如网络数据)、地图数据(如用于提高车辆的位置确定精度的地图匹配数据)、标识数据(其中显示设施)和用于导航的图像或声音数据。用于存储上述数据的存储介质包括CD-ROM、DVD-ROM、硬盘、存储器或存储卡。
声音输入和输出装置16能够输出用于从地图数据输入装置14输入的设施的导航的声音，和输出经I/F19获得的信息的读出声音。此外，声音输入和输出装置16包含麦克风和公知的语音识别单元(未显示)。声音输入和输出装置16能够通过操作者(如驾驶员)向控制电路18输入语音命令等。
无线通信装置13用于执行与另一通信装置13a的窄带通信。例如，使用DSRC(专用短程通信)、蓝牙技术(注册商标)、无线LAN(局域网)、UWB(Ultra Wideband，超宽带)等。
LAN I/F 19是用于通过车内LAN50与另一车内电子装置或传感器进行数据通信的接口电路。此外，LAN I/F 19可以用于执行从其它ECU(图1的ECU 100等)的数据采集。
摄像机20布置成邻近车前面的上部的后视镜。摄像机20捕获包括操作面板12a的触摸操作区域12a的周围区域的图像。详细地，例如，图8显示的捕获图像300。图像捕获范围限定为到达与操作面板12a的操作者的手连接的手臂的图像捕获范围，而不仅仅是手。获取捕获的操作面板周围图像的控制电路18使用图像处理部分18a确定从手延伸的手臂的方向，因此判断操作者是否为驾驶员。请参见图8的捕获图像300。标记300H表示手的图像，同时标记300A表示与手连接的手臂的图像。标记312a表示被摄像的操作面板12a的区域。操作面板12a的操作者的手臂从捕获图像的右侧延伸，即驾驶员侧，从而确定操作者是驾驶员。在本例子中，摄像机20和控制电路18(图像处理部分18a)一起用作操作者确定部分或装置。确定操作面板12a的操作者是否为驾驶员的方法也可以是其它方法。例如，检测接近物体的接近物体检测装置(例如，反射型光学传感器，例如红外反射传感器)可以设置在触摸操作区域12a的车右侧和车左侧的每侧，从而确定操作者。
车速传感器30包括旋转检测单元(例如公知的旋转编码器)，并靠近车轮安装部分检测车轮的旋转。检测的旋转以脉冲信号被发送到控制电路18。控制电路18把车轮的旋转数量转换成车辆的速度(车速)，从而计算从车的当前位置到预定地方的估计行驶时间或每个行驶路段的平均车速。在本例子中，车速传感器30是车辆速度检测部分或装置。控制电路18用作行驶状态确定部分或装置。控制电路18用作行驶状态确定部分或装置，其基于检测结果确定车辆的行驶状态是否为预定的低速行驶状态。
控制电路18主要包括已知的微处理器，该微处理器具有未显示的公知的CPU、ROM、RAM、I/O(输入/输出)和连接前述元件等的总线。基于存储部分18d(例如ROM)存储的程序，执行地图显示过程。在地图显示过程中，基于来自位置检测装置11的每个检测信号，车的当前位置被计算成一组坐标和朝向方向；经地图数据输入装置14读取的当前位置周围的地图、由操作信息输入部分12的操作表示的范围的地图等在显示装置15的显示窗口中显示成主图像200B(包含移动图像和静止图像)，如图7所示。基于地图数据输入装置14中存储的点数据，控制电路18根据操作信息输入部分12的操作选择作为目的地的设施，并执行路线计算以自动地获得从当前位置到目的地的优化线路，从而执行路线导航过程，以执行路线导航。自动地设定优化路线的技术使用例如公知的第及克斯塔方法(Dijkstramethod)。
此外，控制电路18包括图像处理部分18a，该图像处理部分18a基于存储部分18d(例如ROM)中存储的程序显示与主图像200B(地图操作用图像)组合或叠加的子图像。子图像包括开关图像(操作图标)200I和基于从操作信息输入部分12获取的接近物体图像150H的处理图像200H。在本例子中，当接近物体图像150H是显示手指等的手的图像时，基于捕获的手的图像150H产生的处理图像200H定义为位置指示图像，并叠加地显示在显示窗口上的手所指示的位置上。即，处理图像200H叠加地显示成位置指示图像200H，其指示显示窗口上的位置，在该位置手的手指进行指示。
请注意，在本例子中，基于接近物体图像150H的处理图像200H意义如下：它是接近物体外形反射图像200H，其是处理过的并被产生以使得接近物体图像150H的外形(轮廓)至少被反映。图像200H叠加地显示在主图像200B上。除了通过叠加显示，图像200H也可以与主图像200B组合而被显示。因此，以下是能够的：当操作者(例如驾驶员)以面对操作面板12a的触摸操作区域12a1的方式移动手的手指时，例如反映手形状(手指形状)的处理图像200H在显示装置15的显示窗口的显示中同时移动。操作者能够凭这样的感觉操作，就如同操作面板12a存在于显示装置15的显示窗口中。
此外，位置指示图像200H不需要反映被摄像的手形状/手指形状的轮廓。至少需要是表示被摄像的手的手指所指位置的图像。例如，可以仅是手的手指的一部分、指尖或符号图像(例如指针图像)。此外，被摄像机12b摄像的手的图像150H(或手指的图像)显示成位置指示图像200H(叠加或组合)，而不经处理，这也是没有问题的。当考虑到在叠加的位置由于叠加而导致主图像200B的一部分在显示中消失时，更希望执行处理(例如半透射组合)以助于更加方便的操作。此外，也可以处理成比实际手指的图像纤细的不真实手指图像。
此外，控制电路18的存储部分18d(例如ROM)存储用于显示开关图像200I的开关图像数据。开关图像数据用于开关图像200I的叠加显示或组合显示。相反，控制电路18的存储部分18d(例如ROM)存储控制内容，该控制内容分别由与各个开关图像200I对应的操作输入(应用到触摸操作区域12a1上的对应区域的触摸输入)执行。假设控制电路18把开关图像200I叠加地显示在显示窗口上显示的主图像200上。这里，操作输入接收范围(操作输入位置)指定为与触摸面板12a和15a的触摸操作区域上的开关图像200I的显示位置对应的区域(操作输入位置指定部分或装置)。此外，假设滚动显示地图窗口(用于地图操作的图像)200B2显示为主图像200B。这里，操作输入接收范围(操作输入位置)指定成当前显示的整个地图区域(操作输入位置设定部分或装置)。
此外，控制电路18能够启动自带定时器18b和累加计数器18c，从而执行时钟定时。这些在稍后说明的过程中执行时钟定时时使用。
此外，控制电路18用作以下部分或装置的例子：输入接收、位置指示图像显示、操作者确定、行驶状态确定、预定的手指状态确定、简单操作用手指状态确定、操作意图表达用手指状态确定、显示模式分配和操作输入控制。请注意，图像处理部分18a还用作位置指示图像显示和操作者确定的部分或装置的一部分的例子。
(位置指示图像的显示过程)
下面使用图9来说明显示装置15中的位置指示图像的显示过程。请注意，以CPU执行存储在控制电路18的存储部分18d中的程序的方式来执行本过程。
在步骤S1中，控制电路18基于摄像机12b捕获的捕获图像来判断操作者的手的图像是否被获取。摄像机12b不断地捕获从操作面板12a的后表面12a2侧经操作面板12a接近触摸操作区域(前表面)12a1的接近物体H(例如操作者(例如驾驶员)的手)的图像(图像捕获步骤)。捕获图像总是输入控制电路18的图像处理部分18a中。当接近物体H进入面对触摸操作区域12a1的位置时，自然地包含接近物体H的捕获图像150被输入到图像处理部分18a中。输入的捕获图像150在图像处理部分18a中利用公知的图像分析技术来分析。基于颜色等的不同，接近物体图像150H被提取。并且根据提取的接近物体图像150H的形状来判断图像150H是否为人手的图像。判断结果输出到控制电路18。当判定手图像被识别时，过程进入步骤S2。当判定不是时，本过程结束。
请注意，在本例子中，设置光源12c，并且摄像机12b通过捕获光源12c的反射光线来捕获图像。因此，反射光线强度反映在颜色灰度上，该颜色灰度出现在捕获图像150中。在捕获具有高强度反射光线的地方，灰度等级为高。本例子的摄像机12b捕获的捕获图像150是多灰度等级的捕获图像(在本例子中是黑白捕获图像)。图像处理部分18a使用预定的灰度阈值对每个像素的灰度等级应用二进制处理。如图4的(b)至图7所示，超出灰度阈值的区域被提取作为接近物体图像150H。此外，图像处理部分18a从提取的接近物体图像150H确定人手的图像。为此目的，接近物体图像150H的形状与存储在控制电路18的存储部分18d中的手形状图案比较。与该图案一致的接近物体图像150H被识别为手的图像(手图像识别部分或装置，或手形状识别部分或装置)。
在步骤S2中，基于获取的手的图像，确定手的状态是否为预定的手指状态(预定的手指状态确定部分或装置)。在本实施例或本例子中，预定的手指状态采用简单操作用手指状态，该简单操作用手指状态包括在图75的例子2中。因此，详细地，确定是否为简单操作用手指状态(简单操作用手指状态确定部分或装置)。例如，简单操作用手指状态表示用作操作目标的手指(即大致沿触摸操作区域12a延伸的手指)的数量少(例如一个或两个)的状态。如果增加批注，早先的使用五个手指输入的操作是难度高的手指状态。前述简单操作用手指状态不同于这种难度高的手指状态。在本例子中，简单操作用手指状态确定为一个手指操作状态，在一个手指操作状态中，获取的手的图像中沿触摸操作区域12a的区域方向(该区域的伸展方向)延伸的手指的出现数量仅为1个。详细地，在步骤S1中，图像处理部分18a提取手的图像并自手图像的整个形状识别大致直线状圆柱形图像图案，该大致直线状圆柱形图像图案具有大于预定长度的轴线。当存在这种圆柱形图像图案时，它被识别和确定成手指图像150F(手指确定部分或装置)。确定结果输出到控制电路18。控制电路18确定手指图像150F的数量(手指数量确定部分或装置：手形状识别部分或装置)。在数量为1的情况中，上述状态确定为简单操作用手指状态(简单操作用手指形状)。
在下面的步骤S3中，基于输出结果判断当前手指状态是否为简单操作用手指状态。当判定为简单操作用手指状态时，过程进行到S4。在步骤S4中，给显示模式分配显示允许模式，该显示允许模式允许位置指示图像的显示。然后过程进行到S5。请注意，分配的显示模式存储在预定存储区域(显示模式存储部分)，该预定存储区域设置在控制电路18的存储部分18d中。在S4中，显示允许模式存储在存储区域中。
在S5中。控制电路18确定显示装置15的显示窗口与被摄像的手之间的位置关系。即，控制电路18确定被摄像的手的图像H面对显示窗口上的哪个位置(参见图3)。在本例子中，触摸操作区域12a位于其中的操作面板图像区域在摄像机12b捕获的捕获图像上被确定。触摸操作区域12a的操作坐标系设定在操作面板图像区域上。然后捕获的手图像H的位置在设定的操作坐标系上确定。在显示装置15的显示窗口上限定的显示坐标系中，与确定在操作坐标系上的手图像H的位置对应的位置被确定。在本例子中，图5至图7的(b)所示的捕获图像(二进制图像)150用作捕获整个触摸操作区域12a1的操作面板图像区域。
此外，在S6中，如图6和图7的(c)所示，位置指示图像200H显示在与显示装置15(位置指示图像显示部分或装置)的显示窗口的前述操作面板图像区域上确定的手图像H对应的位置上。在本例子中，手图像150H的外形被清楚地显示。轮廓内侧变化成半透射状态的处理图像200H被产生，并叠加在与显示装置15的显示窗口上显示的主图像200B对应的坐标位置上。
相反，在S3中当判定当前手指状态不是简单操作用手指状态，过程进行到S7。在S7中，给显示模式分配显示禁止模式，该显示禁止模式禁止位置指示图像的显示。因此，在S5或S6中，不执行位置指示图像的显示。例如，如图5(c)所示，位置指示图像200H不显示在显示装置15的显示窗口上。请注意，显示禁止模式存储在预定存储区域(显示模式存储部分)，该预定存储区域设置在控制电路18的存储部分18d中。
S6和S7结束，然后，本过程结束。请注意，即使在本过程结束之后，本过程以预定时间间隔重复执行。当面对操作面板12a的手以简单操作用手指状态移动时，显示在显示装置15的显示窗口上的位置指示图像(处理过图像)200H的显示位置也移动。
在位置指示图像的显示过程中，如图18所示，显示允许时间期间限定成直至预定手指形状状态(在本例子中是简单操作用手指状态)变成不被确定时的时间期间。即，在显示过程中，当简单操作用手指状态被确定时，分配显示允许模式，当简单操作用手指状态不被确定时，分配显示禁止模式。请注意，通过执行位置指示图像的显示过程，控制电路18用作显示模式分配部分或装置的例子。
(触摸操作输入过程)
最后，使用图10说明对操作信息输入部分12的操作面板12a的触摸操作输入过程。请注意，本过程也以CPU执行存储在控制电路18的存储部分18d中的程序的方式执行。
本触摸操作输入过程包括操作输入接收控制，在操作输入接收控制中，当显示允许模式被分配(控制电路18分配输入允许模式)时，允许接收对操作面板12a的触摸操作输入。当显示禁止模式被分配时(控制电路18分配输入禁止模式)时，禁止接收对操作面板12a的触摸操作输入。请注意，控制电路18通过执行触摸操作输入过程用作操作输入控制部分或装置的例子。
在S101中，控制电路18判断对操作面板12a的触摸操作的存在或不存在。操作面板12a构造成触摸面板。当触摸操作发生时，操作信号输入到控制电路18。控制电路18基于该输入判断存在或不存在。当对操作面板12a的触摸操作发生时，过程进行到S102。当没有触摸操作发生时，本过程结束。
在S102中，控制电路18判断当前显示模式是否为显示允许模式。当前显示模式存储在预定存储区域(显示模式存储部分)，该预定存储区域设置在控制电路18的存储部分18d中。因此，基于存储的显示模式信息进行判断。当判定当前显示模式是显示允许模式时，过程进行到S103。当判定当前显示模式不是显示允许模式时，即，当判定当前显示模式是显示禁止模式时，本过程结束。
在S103中，对操作面板12a的触摸操作位置，即，在触摸操作区域12a1上的触摸操作位置被确定。操作面板12a构造成触摸面板。当触摸操作发生时，操作信号输入到控制电路18。该操作信号将该触摸操作位置反映成在触摸操作区域12a1上限定的操作坐标系上的坐标信息。控制电路18基于该操作信号确定触摸操作位置。
在随后的S104中，控制电路18执行与操作面板12a上的触摸操作位置对应的控制。详细地，操作面板12a的触摸操作区域12a1的每个位置对应于显示装置15的显示窗口上的位置。执行控制内容，该控制内容在显示装置15的显示窗口的位置处判定，该显示装置15的显示窗口的位置与S103中确定的触摸操作区域12a1的位置对应。详细地，控制电路18输出用于执行控制内容的控制信号。假设S103中确定的触摸操作区域12a1上的位置对应于显示装置15的显示窗口上显示的开关图像200I。这里，控制电路18输出用于执行分配给开关图像的控制内容的控制信号。
S104结束。然后，本过程结束。请注意，即使在本过程结束之后，本过程以预定时间间隔重复执行。控制电路18根据实施触摸操作的位置执行控制内容。另一方面，另一控制电路(例如ECU 100)对应地执行控制内容。
在本触摸操作输入过程中，当显示允许模式被分配(输入允许模式)时，对操作面板12a的触摸操作输入被允许。当显示禁止模式被分配(输入禁止模式)时，对操作面板12a的触摸操作输入被禁止。请注意，在图9的位置指示图像显示过程中，当预定的手指状态(本例子中的简单操作用手指状态)被确定时，分配显示允许模式；当预定的手指状态没有被确定时，分配显示禁止模式。结果，当用户的手指状态不是预定的手指状态时，对操作面板12a的触摸操作输入不被接收。在上述例子中，当用户的手指状态不是简单操作用手指状态时，对操作面板12a的触摸操作输入不被接收。
如上说明了本实施例的例子，然而，这种例子仅仅是一种例子。本实施例不局限于上述例子，并且基于本领域技术人员的知识，在不脱离权利要求的保护范围内，能够进行各种方式的变化。上述例子视作第一例子，下面将说明不同于它的其它例子。相同的构造用相同的标记表示，并省略了其说明。
1.2第二例子
下面说明本实施例的第二例子。
第一例子配置如下。当简单操作用手指状态被确定为预定的手指状态时，分配允许显示位置指示图像的显示允许模式；当简单操作用手指状态没有被确定时，分配禁止显示位置指示图像的显示禁止模式。这种显示模式切换控制可以构造如下：当车辆处于预定行驶状态时，实行控制。当车辆不处于预定行驶状态时，给显示模式分配显示允许模式。在这种情况中，需要包括车辆行驶状态检测部分或装置。图11显示这种过程的例子。这里，该配置包括连接到控制电路18的车速传感器30(车辆速度检测部分或装置)，该车速传感器30检测车辆的车速。控制电路18执行以下控制。当车辆处于超出预定的车速水平(车速阈值)的车辆行驶状态时，执行显示模式切换控制。当车辆不处于超出预定的车速水平的车辆行驶状态时，给显示模式分配显示允许模式，而不管手指状态如何。
详细地，在S21中，控制电路18判断操作者的手的图像是否被获取。这与图9的S1中的过程相似。当操作者的手的图像被获取时，过程进行到S22。当操作者的手的图像没有被获取时，本过程结束。
在S22中，确定车辆的当前行驶状态。即，判断车辆是否处于超出预定的车速水平的行驶状态。控制电路18在预定的存储部分18d(例如ROM)中预先存储车速阈值。判断车速传感器30检测的车速是否超出车速阈值。当超出时，上述车辆行驶状态被确定。当不超出时，确定为低速行驶状态(包括停止状态)。这里，上述车速阈值固定地限定成例如5km/h。在S23中，判断车辆当前是否处于上述车辆行驶状态。当判定处于上述车辆行驶状态时，过程进行到S24。相反，当判定车辆不处于上述行驶状态时(当判定车辆处于包括停止状态的低速状态时)，过程进行到S26。
在S24中，确定操作者的手(操作手)是否处于预定的手指状态(在本实施例中是简单操作用手指状态)。用类似于图9的S2中的过程来执行预定的手指状态的确定。当在随后的S25中判定当前手指状态是预定的手指状态时，过程进行到S26。当判定不是预定的手指状态时，该过程进行到S29。
在S26中，给显示模式分配允许显示位置指示图像的显示允许模式。请注意，显示允许模式存储在预定存储区域(显示模式存储部分)，该预定存储区域设置在控制电路18的存储部分18d中。在随后的S27中，控制电路18确定显示装置15的显示窗口和被摄像的手之间的位置关系。该过程与图9的S5中的过程相似。在随后的S28中，位置指示图像200H叠加地显示在主图像200B上，该主图像200B当前显示在显示装置15(位置指示图像显示部分或装置)的显示窗口中。该过程与图9的S6的过程相似。
例如，当判定车辆不处于预定行驶状态时(当判定车辆处于包括停止状态的低速状态时)，通过S27和S28中的过程显示基于手指状态的位置指示图像200H，而不管操作者的手指状态如何(参考图4、图6和图7的(c))。当在S22中判定车辆处于车辆行驶状态，并且在S25中判定当前操作者的手指状态处于预定的手指状态(即简单操作用手指状态)时，通过S27和S28中的过程显示基于操作者执行的简单操作用手指状态的位置指示图像200H(参考图6和图7的(c))。
相反，当在S25中判定当前手指状态不是简单操作用手指状态，过程进行到S29。在S29中，给显示模式分配禁止显示位置指示图像的显示禁止模式。这存储在控制电路18的存储部分18d的预定存储区域(显示模式存储部分)中。因此，不执行在S27和S28中执行的位置指示图像的显示。例如，如图5(c)所示，位置指示图像200H不显示在显示装置15的显示窗口中。
S28和S29结束，然后，本过程结束。请注意，之后以预定时间间隔重复执行本过程。
在本例子中，上述预定的车速水平(车速阈值)限定成5km/h。在不超出上述车速水平的车辆的低速行驶状态中，总是分配显示允许模式。然而，该车速水平可以变化成图16所示的范围中的一个：在从0km/h至小于5km的车速阈值范围；或在从5km/h至小于10km的车速阈值范围(车辆的减速行驶状态)。车速水平可以限定成0km/h；因此，在车辆停止状态下可以总是分配显示允许模式。此外，车速水平可以限定在从10km/h至小于30km/h的车速范围(车低速行驶状态)中，从30km/h至小于60km/h的车速范围(车中速行驶状态)中，或60km/h以上的车速范围(车高速行驶状态)中。
此外，在图11的过程中，当车辆处于预定的车辆行驶状态(速度大于车速阈值)时，执行上述显示模式切换控制。当车辆不处于预定的车辆行驶状态时(当车辆的速度小于车速阈值时)，固定地分配显示允许模式。这种配置可以如下变化。当车辆处于预定的车辆行驶状态(速度大于车速阈值)时，可以固定地分配显示禁止模式。当车辆不处于预定的车辆行驶状态时(当车辆的速度小于车速阈值时)，执行上述显示模式切换控制。
1.3第三例子
下面说明本实施例的第三例子。
在上述例子中，当简单操作用手指状态被确定时，分配允许显示位置指示图像的显示允许模式；当简单操作用手指状态没有被确定时，分配禁止显示位置指示图像的显示禁止模式。相反，这种配置可以如下变化。当驾驶员被确定成触摸操作区域12a1的操作者时，可以执行显示模式切换控制。当确定触摸操作区域12a1的操作者不是驾驶员时，可以给显示模式分配显示允许模式，而不管手指状态如何。在第三例子中，上述第一例子的图9所示的位置指示图像显示过程被图12的位置指示图像显示过程替代。下面，使用图12说明该过程的具体流程。
详细地，在S31中，控制电路18判断操作者的手的图像是否被获取。这与图9的S1中的过程相似。当操作者的手的图像被获取时，过程进行到S32。当操作者的手的图像没有被获取时，本过程结束。
在S32中，确定手面对操作面板12a的操作者是否为驾驶员(操作者确定部分或装置)。例如，能够基于例如图2所示的摄像机20的捕获图像(图8)来执行操作者的确定。详细地，根据摄像机20的捕获图像来确定手臂的延伸方向，并且判断该方向是否从驾驶员座椅2D侧延伸出来，从而确定操作者是否为驾驶员。在S33中，判断操作面板12a的操作者是否为驾驶员。当判定操作者是驾驶员时，过程进行到S34。相反，当在S33中判定操作面板12a的操作者是驾驶员之外的其它人，过程进行到S36中。
在S34中，确定驾驶员(操作者)的手(操作手)是否处于预定的手指状态，即，在本实施例中为简单操作用手指状态。利用与图9的S2中相似的过程来执行简单操作用手指状态的确定。在接下来的S35中，判定当前手指状态是否为简单操作用手指状态。当判定是简单操作用手指状态时，过程进行到S36。当判定不是简单操作用手指状态时，过程进行到S39。
在S36中，给显示模式分配允许显示位置指示图像的显示允许模式。请注意，显示允许模式存储在预定存储区域(显示模式存储部分)，该预定存储区域设置在控制电路18的存储部分18d中。在接下来的S37中，控制电路18确定显示装置15的显示窗口和被摄像的手之间的位置关系。该过程与图9的S5中的过程相似。在随后的S38中，位置指示图像200H叠加地显示在主图像200B上，该主图像200B当前显示在显示装置15(位置指示图像显示部分或装置)的显示窗口中。该过程与图9的S6的过程相似。
详细地，当在S33中确定操作面板12a的操作者是驾驶员之外的其它人时，在过程S37和S38中显示基于手指状态的位置指示图像200H，而不管操作者的手指状态(参考图4、图6和图7的(c))。相反，当在S32中确定操作面板12a的操作者是驾驶员，并且在S35中判定手指状态是简单操作用手指状态时，通过S37和S38的过程显示基于驾驶员执行的简单操作用手指状态的位置指示图像200H(参考图6和图7的(c))。
相反，当在S35中判定当前手指状态是简单操作用手指状态时，过程进行到S39。在S39中，给显示模式分配禁止显示位置指示图像的显示禁止模式。这存储在控制电路18的存储部分18d的预定存储区域(显示模式存储部分)中。因此，不执行在S37和S38中执行的位置指示图像200H的显示。例如，如图5(c)所示，位置指示图像200H不显示在显示装置15的显示窗口中。
S38和S39结束；然后，本过程结束。请注意，之后以预定时间间隔重复执行本过程。
1.4第四例子
下面说明本实施例的第四例子。
第四例子用图11和图12的组合形成的过程代替了图9所示的位置指示图像的显示过程。即，检测车辆的行驶状态(例如，车辆的车速)，此外确定远程触摸操作区域12a的操作者是否为驾驶员。因此，车辆被判定为在预定的行驶状态(例如，不是低于预定的车速水平的低速行驶状态的行驶状态，前述低速行驶状态包括停止状态)，并且远程触摸操作区域12a的操作者被确定为驾驶员。在这种情况中，仅当简单操作用手指状态被确定时，才允许显示位置指示图像200H，而当简单操作用手指状态没有被确定时，禁止显示位置指示图像200H。当车辆被判定为不处于上述预定的行驶状态时，当确定的远程触摸操作区域12a的操作者不是驾驶员时，或者当前述两个条件同时发生时，能够允许显示位置指示图像200H，而不管确定的手指状态。详细地，上述图9的触摸操作输入过程被图13中所示的过程替代。
即，当在S41中获得远程触摸操作区域12a的操作者的手图像时(与图9的S1中的过程相似)，在S42和S43中判断车辆是否处于预定的行驶状态(这与图11的S22，S23中的过程相似)。当处于预定的行驶状态时，过程进行到S44和S45，在S44和S45处判断远程触摸操作区域12a的操作者是否为驾驶员(这与图12的S32，33中的过程相似)。
当在S42至S45中车辆被判定处于预定的行驶状态并且远程触摸操作区域12a的操作者被判定为驾驶员时，过程进行到S46和S47。这里，确定操作者的手(操作手)是否处于预定的手指状态，即，是否处于本实施例的简单操作用手指状态(该过程与图9的S2和S3中的过程相似)。当当前手指状态被判定为简单操作用手指状态时，过程进行到S48。当判定为不是简单操作用手指状态时，过程进行到S51。
在S48中，给显示模式分配显示允许模式。该显示允许模式存储在控制电路18的存储部分18d的预定存储区域(显示模式存储部分)中。在随后的S49中，控制电路18确定显示装置15的显示窗口和被摄像的手之间的位置关系。之后在S50中，位置指示图像200H叠加地显示在主图像200B上，该主图像200B当前显示在显示装置15(位置指示图像显示部分或装置)的显示窗口中。该过程与图9的S4-S6的过程相似。
详细地，当在S42中车辆不处于车辆行驶状态，或者当在S44中确定操作面板12a的操作者是驾驶员之外的其它人时，在S48至S50的过程中，显示基于手指状态的位置指示图像200H，而不管操作者的手指状态(参考图4、图6和图7的(c))。相反，当在S42中判定车辆处于车辆行驶状态，并且当在S44中确定操作面板12a的操作者为驾驶员时，在S46中确定是否为简单操作用状态。当在S46中确定是简单操作用手指状态，通过过程S48至S50显示基于驾驶员执行的简单操作用手指状态的位置指示图像200H(参考图6和图7的(c))。
相反，当在S47中判定当前手指状态不是简单操作用手指状态时，过程进行到S51。在S51中，给显示模式分配显示禁止模式。该显示禁止模式存储在控制电路18的存储部分18d的预定存储区域(显示模式存储部分)中。因此，不执行在S49和S50中执行的位置指示图像的显示。例如，如图5(c)所示，位置指示图像200H不显示在显示装置15的显示窗口中。
S50和S51结束，然后，本过程结束。请注意，之后以预定时间间隔重复执行本过程。
请注意，当车辆处于预定的车辆行驶状态(车速高于阈值)，并且在图13的过程中操作者是驾驶员时，执行上述显示模式切换控制。当发生其它情况(当车辆不处于车辆行驶状态(车辆的速度低于阈值)或当操作者不是驾驶员时)，在上述例子中固定地分配显示允许模式。相反，当车辆处于预定的车辆行驶状态，并且操作者是驾驶员时，可以固定地分配显示禁止模式。当车辆不处于预定的车辆行驶状态，并且操作者是驾驶员时，可以执行上述显示模式切换控制。当另一情况(当操作者不是驾驶员)时，可以固定地分配显示允许模式。可选地，可以提供这样的例子。
1.5第五例子
下面说明本实施例的第五例子。
在上述例子中，在图10的触摸操作输入过程中，当分配显示允许模式时，执行与对远程触摸操作区域12a的触摸操作输入对应的控制内容，即允许对应的控制内容。当分配显示禁止模式时，与对远程触摸操作区域12a的触摸操作输入对应的控制内容不执行，即禁止对应的控制内容的执行。相反，可以提供以下配置。即，当没有分配显示允许模式，并且确定是简单操作用手指状态时，可以允许执行与对远程触摸操作区域12a的触摸操作输入对应的控制内容。当没有分配显示禁止模式，并且确定为不是预定的手指状态(即，第一实施例中的简单操作用手指状态)时，可以禁止执行与对远程触摸操作区域12a的触摸操作输入对应的控制内容。
详细地，能够提供如下配置。即，当简单操作用手指状态被确定时，允许接收对远程触摸操作区域12a的触摸操作输入。当简单操作用手指状态没有被确定时，执行禁止接收对远程触摸操作区域12a的触摸操作输入的操作输入接收控制。下面，使用图14说明该过程的具体流程的一个例子。
在S111中，控制电路18判定对操作面板12a的触摸操作的存在或不存在。S111中的过程与图10的S101中的过程相似。在S112中，控制电路18判断当前手指状态是否处于预定的手指状态，即是否处于第一实施例的简单操作用手指状态。在本例子中，通过替换图9的S2、图11的S24、图12的S34、图13的S46或图17的S12，执行以下过程。除了确定简单操作用手指状态是否为预定手指的过程，还执行与当前手指状态的确定相关的过程，在该过程中，确定的当前手指状态存储在控制电路18的存储部分18d的预定存储区域(手指状态存储部分)中。
在S112中，基于存储在存储区域(手指状态存储部分)中的手指状态信息，判断当前手指状态是否为作为预定的手指状态的简单操作用手指状态。当判定为简单操作用手指状态时，过程进行到S113。当判定为不是简单操作用手指状态，本过程结束。
在S113中，确定对操作面板12a的触摸操作位置，即在触摸操作区域12a1上的触摸操作位置(与图10的S103中的过程相似)。在随后的S114中，执行与对操作面板12a的触摸操作位置对应的控制(与图10的S104中的过程相似)。尽管本过程以S114结束而结束，但是，即使在本过程结束后，还以预定时间间隔重复执行本过程。
执行图14所示的触摸操作输入过程的例子中的位置指示图像显示过程可以与已说明的位置指示图像显示过程或后面将提及的位置指示图像显示过程相同。
1.6第六例子
下面将说明本实施例的第六例子。
在上述例子中，用作手图像捕获部分或装置的摄像机12b是对车辆舱室的固定区域摄像的摄像机，触摸面板12a的触摸操作区域(前表面)12a1面对前述固定区域。如在上述例子中所述，摄像机配置成从触摸面板12a的后表面12a2侧捕获图像。然而，本实施例不局限于这种配置。例如，如图15所示，摄像机可以布置在车辆的中部操纵台部分C处，以便从上部倾斜地对触摸面板12a的触摸操作区域12a1摄像和对接近触摸操作区域12a1的接近物体摄像，从而从触摸操作区域12a1侧摄像。在这种情况中，与上述例子不同的是，当在捕获图像中提取特定图像(例如，手图像)和将它显示在显示装置15中时，左右颠倒的过程可取消。此外，用作手图像捕获部分或装置的摄像机12b还能够用作捕获包括操作面板12a的触摸操作区域12a1的周围区域的图像的摄像机20。
1.7第七例子
下面说明本实施例的第七例子。
在上述例子中，显示允许时间期间被限定成直至作为预定的手指状态的简单操作用手指状态变成不被确定的状态时的时间期间，如图18所示。相比之下，可以提供如下的另一种配置。显示允许时间期间可以限定成如图19所示的预定时间。即，显示允许时间期间被限定成从显示允许模式被分配起到经过预定时间(禁止模式恢复时间)的时间期间。当经过禁止模式恢复时间，显示模式返回到显示禁止模式。请注意，按照图10的过程执行触摸操作输入过程。在这种配置中，能够显示位置指示图像的时间期间(显示允许模式)由触发器启动，该触发器是用户指示特定的手指状态。然后，用户能够执行对触摸操作区域12a1的位置指示输入(触摸操作)，同时看见该位置指示图像。相反，当用户没有指示任何特定的手指状态时，不显示该位置指示图像。因此，用于执行位置指示输入的触摸操作不能够顺利地执行。即，仅当用户清楚地表示出执行位置指示输入的意图时，才允许显示位置指示图像。因此，通过确定用户的手指状态来确认意图的表示。这里，当分配显示允许模式时，如图4(c)所示的图像能够显示。详细地，上述例子中的位置指示图像的显示过程(图9)由图17所示的过程替代。
在S10中，控制电路18基于摄像机12b捕获的捕获图像判断是否获取到操作者的手的图像。这个过程与图9的S 1中的过程相似。
在S11中，控制电路18判断当前显示模式是否为显示允许模式。当前显示模式存储在控制电路18的存储部分18d中设置的预定存储区域(显示模式存储部分)中。因此，基于存储的显示模式的信息进行判断。当判定当前显示模式为显示禁止模式时，过程进行到S12。当判定当前显示模式不是显示禁止模式时，即，当判定是显示允许模式时，过程进行到S19。
在S12中，基于获取的手的图像，确定手的状态是否为预定的手指状态，即，第一实施例中的简单操作用手指状态(简单操作用手指状态确定部分或装置)。该过程与图9的S2中的过程相似。当在S13中判定当前手指状态是简单操作用手指状态时，过程进行到S14。
在S14中，给显示模式分配允许显示位置指示图像的显示允许模式，然后过程进行到S15。请注意，显示允许模式存储在控制电路18的存储部分18d中设置的预定存储区域(显示模式存储部分)中。
在随后的S15中，设置在控制电路18中的定时器18b启动，开始时间计数，并且过程进行到S16。时间以累加的方式存储在计数器18c中。计数器18c的计数值在定时器启动之前复位。
在S16中，控制电路18确定显示装置15的显示窗口和被摄像的手之间的位置关系。S16中的该过程与图9的S5中的过程相似。在随后的S17中，位置指示图像200H叠加地显示在主图像200B上，主图像200B当前显示在显示装置15(位置指示图像显示部分或装置)的显示窗口中，如图6和图7的(c)所示。S17中的该过程与图9的S6中的过程相似。这里，在第七例子中，图4(c)所示的位置指示图像200H也在S16和S17中显示。即，在第七例子中，只要分配显示允许模式，就允许手图像(手指图像)的叠加显示(或组合显示)。只要图像至少示出基于手图像的手指的指示位置，就能够允许具有任何形状的位置指示图像200H的显示。因此，当分配显示允许模式时，可以允许具有图4(c)所示的几个手指的手指构形的叠加显示。
相反，当在S13中判定当前手指状态不是简单操作用手指状态时，过程进行到S18。在S18中分配显示禁止模式，该显示禁止模式存储在控制电路18的存储部分18d中设置的预定存储区域(显示模式存储部分)中。
本过程通过S17和S18的结束而结束。即使在本过程结束之后，本过程以预定时间间隔重复地执行。只要获得手图像并且继续显示允许模式，继续S16和S17中的位置指示图像的显示允许状态。即，在这个时间期间，即使手指状态不是简单操作用手指状态，也显示位置指示图像。同时，当在S19中判定在S15中启动的定时器18b经过预定时间时，在S20中强制分配显示禁止模式，并且本过程结束。在S20中的过程与S18中的过程相似。
在本第七例子中，当用户通过手的形状(简单操作用手指状态)表示了操作的意图时，仅在固定的时间期间分配显示允许模式。在这种情况中，简单操作用手指状态不局限于一个手指的状态(例如，参考图6和图7)，能够变化地定义两个手指伸长的两个手指状态(参考图70)，三个手指伸长的三个手指状态(参考图71)或四个手指伸长的四个手指状态(参考图72)。此外，甚至关于一个手指的状态，处于简单操作用手指状态的一个手指可以仅分配给食指(参考图6和图7)，或者可以仅分配给中指(参考图68)。此外，甚至关于两个手指状态，处于简单操作用手指状态的两个手指可以仅分配给食指和中指(参考图70)。此外，在上述关于简单操作用手指状态的手指的定义中，可以采用一种定义，也可以采用几种定义的组合。从处理的方面而言，希望限定更容易识别的手状态(手指状态)。
1.8第八例子
下面说明本实施例的第八例子。
在图9的S2中作为预定的手指状态的简单操作用手指状态的确定不需要局限于基于捕获图像执行的上述过程。例如，在预定时间期间由对触摸操作区域12a1(远程操作区域)的触摸操作引起的几个输入中，控制电路18确定由对触摸操作区域12a1上的不同位置的触摸操作引起的输入的数量(操作数量确定部分或装置)。当在预定时间期间的操作数量是用于简单操作用的数量时，可以确定简单操作用手指状态。在当例如在1秒内(或同时)三个操作作用到相互不同的三个位置的情况中，可以确定存在三个手指。当用于简单操作用的数量限定为三个时，通过存在三个手指的上述确定，将该简单操作用手指状态确定为预定的手指状态。详细地，如图20所示，在分配显示禁止模式(此外，输入禁止模式)的情况下，对触摸操作区域12a1进行触摸操作。这里，控制电路18激活自带定时器18b和启动累加计数器18c的时钟定时。因此，控制电路18对包括时钟定时开始时的触摸操作的触摸操作所引起的输入的数量进行计数。请注意，当对触摸操作区域12a1进行触摸操作时，获得触摸位置信息(例如，触摸操作区域12a1上的位置坐标)。这里，对触摸操作区域12a1上的相同位置的再次的触摸操作不再计算为输入。此外，当在经过预定时间期间t0时的输入的数量与限定简单操作用手指状态的手指的数量相同时，操作者的手的当前手指状态就确定成简单操作用手指状态。仅在开始于确定的时间的预定的显示允许时间期间，才分配显示允许模式(此外输入允许模式)。当显示允许时间期间结束时，再次分配显示禁止模式(此外输入禁止模式)。
1.9第九例子
下面说明本实施例的第九例子。
在上述例子中，在显示装置15上显示的所有操作显示窗口中，提供执行上述显示模式切换控制的配置。可选地，这种显示模式切换控制可以仅在预定操作显示窗口中执行。相反，显示允许模式或显示禁止模式可以在另一操作显示窗口中固定地分配。
基于来自控制电路18的控制指令，显示装置15能够在显示窗口上执行几个操作显示窗口200的切换，由对触摸操作区域12a1的按压操作引起的输入在操作显示窗口中被接收(操作显示窗口显示部分或装置)。例如，在以下显示窗口之间切换：图22所示的菜单选择窗口2003；图23所示的汽车空调的风量调节窗口2004；图24所示的汽车音量调节窗口2005；汽车导航的已提及的地图显示窗口2002(图7(c))；和字符输入窗口2001(图6(c))等。这些窗口能够根据各种输入进行切换。提供显示模式执行适用性信息，该显示模式执行适用性信息允许从几个操作显示窗口中确定用于上述显示模式切换控制的执行目标的操作显示窗口。显示模式执行适用性信息预先存储在控制电路18的预定存储区域(显示模式执行适用性信息存储部分或装置)中。当执行位置指示图像显示过程时控制电路18参考显示模式执行适用性信息。因此，仅当显示装置15中显示的操作显示窗口是用于上述显示模式切换控制的执行目标时，控制电路18可以在确定的操作显示窗口中执行显示模式切换控制。下面，用图21来说明本过程的具体流程。
在S61中，控制电路18判断是否获得操作者的手的图像。这与图9的S1中的过程相似。当操作者的手的图像被获取时，过程进行到S62。当操作者的手的图像没有被获取时，本过程结束。
在S62中，控制电路18确定当前显示的操作显示窗口200的类型，并且确定它是否为用于显示模式切换控制的预定的执行目标。这里，使用存储在控制电路18的存储部分18d的预定存储区域中的上述显示模式执行适用性信息。在多个操作显示窗口中，复杂操作显示窗口被判定为用于显示模式切换控制的执行目标，前述复杂操作显示窗口包括对触摸操作区域12a1的按压操作超出预定操作负载水平的操作；简单操作显示窗口被判定为显示允许模式的固定分配目标，前述简单操作显示窗口仅包括对触摸操作区域12a1的按压操作不超出预定操作负载水平的操作。控制电路18查询显示模式执行适用性信息，因此确定当前显示的操作显示窗口200是否为用于显示模式切换控制的执行目标。
注意，显示模式执行适用性信息存储成对窗口种类进行如下分类的信息。显示装置15在显示窗口上显示超过一个的操作输入图像。SI定义为操作输入图像的总面积或触摸操作区域12a1上限定的与操作输入图像200I(操作图标)对应的整个按压操作区域的总面积。SA定义为整个显示窗口的总面积或整个触摸操作区域12a1的总面积。这里，当SI/SA的比率大于预定比率SO时，这种操作显示窗口可以被判定为复杂操作显示窗口；当SI/SA的比率不大于预定比率SO时，这种另外的操作显示窗口可以被判定为简单操作显示窗口(请见图73的例1)。此外，KI定义为操作输入图像的数量或与操作输入图像200I(操作图标)对应的触摸操作区域12a1上限定的整个按压操作区域的数量。这里，当数量KI大于预定数量KO时，这种操作显示窗口可以被判定为复杂操作显示窗口；当KI不大于预定数量KO时，这种另外的操作显示窗口可以被判定为简单操作显示窗口(请见图73的例2)。另外，LI定义为操作输入图像之间的间隔或者定义为与操作输入图像200I(操作图标)对应的触摸操作区域12a1上限定的相邻按压操作区域的间隔。这里，当间隔LI窄于预定间隔LO时，这种操作显示窗口可以被判定为复杂操作显示窗口；当间隔LI不窄于预定间隔LO时，这种另外的操作显示窗口可以被判定为简单操作显示窗口(请见图73的例3)。这里，简单操作显示窗口示意为图22-图24和图7(c)中的窗口2002、2003、2004和2005。复杂操作显示窗口示意为图6(c)中的字符输入窗口2001(例如目的地名输入窗口等)。
在S62中，控制电路18参考能够确定上述复杂操作显示窗口和简单操作显示窗口的显示模式执行适用性信息，因此，确定当前显示的操作显示窗口200是否为用于显示模式切换控制的执行目标(即，这里的复杂操作显示窗口)。当确定时，过程进行到S63。当在S63中判定当前显示的操作显示窗口200是显示模式切换控制的执行目标时，过程进行到S64。当判定它不是显示模式切换控制的执行目标时，过程进行到S66。
在S64中，确定操作者的手(操作手)是否处于预定的手指状态，即是否处于本第一实施例的简单操作用手指状态(与图9的S2中的过程相似)。当在随后的S65中判定当前手指状态是简单操作用手指状态时，过程进行到S66。当判定为不是简单操作用手指状态，过程进行到S69。
在S66中，给显示模式分配允许显示位置指示图像的显示允许模式。请注意，显示允许模式存储在控制电路18的存储部分18d中设置的预定存储区域(显示模式存储部分)中。在随后的S67中，控制电路18确定显示装置15的显示窗口200和被摄像的手之间的位置关系(与图9的S5相似)。在随后的S68中，位置指示图像200H叠加地显示在主图像200B上，该主图像200B当前显示在显示装置15(位置指示图像显示部分或装置)的显示窗口200中。该过程与图9的S6相似。
详细地，当在S62中判定当前显示的操作显示窗口200不是显示模式切换控制的执行目标时(当确定它是简单操作显示窗口时)，在S67和S68的过程中，显示基于手指状态的位置指示图像200H，而不管操作者的手指状态(参考图4、图6和图7的(c))。当在S62中判定当前显示的操作显示窗口200是显示模式切换控制的执行目标时(这里当确定它是复杂操作显示窗口时)，通过S67和S68的过程，显示基于操作者执行的简单操作用手指状态的位置指示图像200H(参考图6和图7的(c))。
相反，当在S65中判定当前手指状态不是简单操作用手指状态，过程进行到S69。在S69中，给显示模式分配禁止显示位置指示窗口200的显示禁止模式。该显示禁止模式存储在控制电路18的存储部分18d的预定存储区域(显示模式存储部分)中。因此，不执行S67和S68中执行的位置指示图像200H的显示。例如，如图5(c)所示，位置指示图像200H不显示在显示装置15的显示窗口200中。
本过程通过S68和S69的结束而结束。即使在本过程结束之后，本过程以预定时间间隔重复地执行。
在图21的过程中，在复杂操作显示窗口中执行上述显示模式切换控制；在简单操作显示窗口中固定地分配显示允许模式。可以提供如下另一例子。在复杂操作显示窗口中可以固定地分配显示禁止模式；在简单操作显示窗口可以执行上述显示模式切换控制。
1.10第十例子
下面说明本实施例的第十例子。
此外，在上述例子的操作输入设备中，当实际显示操作操作显示窗口上的远程操作部分(触摸面板12a)的手时，如果手靠近远程操作部分，显示装置仅显示如图4(c)表示的手指。在几个手指同时一排地显示的情况中，会出现哪个手指实际执行操作的疑问，因此显示的手指和操作者实际想用于位置指令的手指之间的对应关系不清楚。因此，可能导致误操作。在上述操作输入设备用于车辆的情况中，驾驶中的驾驶员不能仔细凝视操作显示窗口，因此，驾驶员难以在驾驶车辆的同时使用几个手指执行操作输入，这常常导致误操作。
为了解决这个问题，提出一种位置指示图像显示过程，以便容易地确定实际用于位置指示的手指。这种位置指示图像显示过程包括以下步骤：手指确定步骤，其确定面对远程操作部分(触摸面板12a)前面的手的手指；分配操作目标手指的操作目标手指分配步骤，从所确定的手指分配用于或估计将用于操作远程操作部分的操作目标手指；显示步骤，其以与显示窗口上的背景的背景图像200B组合或叠加的方式显示表示所确定的手指的指示位置的位置指示图像200H；以及位置指示图像突出步骤，其对显示的位置指示图像200H中与预定的操作目标手指对应的位置指示图像200P执行突出显示，以便同与不同于操作目标手指的手指对应的位置指示图像200R相比，相对地更突出。因此，如图27或28所示，与其它手指相比，突出显示确定的操作目标手指(这里是一个食指)，因此提高可操作性。请注意，通过执行每个步骤，控制电路18用作手指确定部分或装置、操作目标手指分配部分或装置、位置指示图像突出部分或装置。
详细地，上述每个例子中与图9的S6对应的过程被图25的过程替代。
1.10.1第十例子的第一变化例
在图25中，在T1中，控制电路18确定相对于触摸操作区域(远程操作区域)12a1面对该触摸操作区域12a1的前面(这里是与摄像机12b侧相对的一侧)的手指(手指确定步骤)。这里，与图9的S1相似，控制电路18基于摄像机12b捕获的捕获图像判断操作者的手指图像是否被获得。判断结果输出到控制电路18。当判定手指图像被识别到时，过程进行到T2。当判定没有识别到手指图像时，本过程结束。
在T2中，控制电路18根据所获得的手指图像150F来检测指尖。指尖的检测以从所确定的手指图像150F确定指尖Q的方式执行(指尖确定步骤)。在本例子中，指尖Q的确定以图29所示的方式执行。即，如图29(a)所示，首先，手指图像150F被确定。图像处理部分18a使包含确定的手指图像150F的手图像150H与被移动的手图像160H相互叠加，所述被移动的手图像160H是通过使手图像150H沿手指图像150F的纵向方向仅移动预定量而产生。非叠加区域170确定为两个手指图像150H、160H不相互叠加的地方。计算非叠加区域170的重心，因此，计算的重心点确定为指尖(指尖位置)Q。指尖Q的确定方法可以与上述方法不同。例如，可以提取和平滑呈弧形的指尖轮廓，然后，将曲率中心确定为指尖Q。此外，指尖Q的确定方法不需要被确定成如上所述的手指的一点，直至手指的第一关节的区域也可以被确定为指尖(指尖区域)Q。
请注意，尽管T1和T2分别是手指确定过程和指尖确定过程的步骤，但是两个步骤可以同时执行。即，代替根据手指图像来确定指尖，而是采用如下方法。根据摄像机12b捕获的捕获图像直接确定指尖；通过确定指尖来确定手指，因此，简化了过程。
在随后的T3中，控制电路18分配用于或估计将用于操作远程操作部分的操作手指P(用于位置指示的手指)(操作目标手指分配步骤)。详细地，反映各个确定的指尖在触摸操作区域的方向上的位置关系的位置关系信息被获得，作为分配手指信息(分配手指信息获取步骤)。前述触摸操作区域的方向是指触摸操作区域12a1伸展的方向，即与触摸操作区域12a1的法线正交的方向。因此，基于所获得的位置关系信息，在T1中所确定的手指中，将操作目标手指P优先地分配给位置关系与位置关系的预定选择条件最适配的手指。
能够给一组几个手指分配操作目标手指P。相反，从执行位置指示以便容易识别对触摸型操作部分12a的操作的方面而言，希望分配相对少数量的手指，例如一个手指或两个手指。在本例子中，分配一个手指。此外，用作分配目标的手指的种类是适用于位置指示的食指(请参见图27和图28的(c))，中指(参见图47)或食指和中指两个手指(参见图48)。在本例子中，假设分配食指。
按照图26的流程中所示的过程来执行本例子的过程T3。即，在T11中，如图29(c)中所示确定的指尖Q，在虚拟二维坐标系的平面180上确定。利用在平面180上限定的一个轴线X，在上述两维坐标系中限定另一个一维坐标系。这里，确定的指尖Q投影到触摸操作区域12a1(在面对远程操作部分的方向上)。投影平面限定为上述平面180。在投影平面上指定一个轴线X，作为预定位置，因此限定一维坐标系。在T12中，平面180上确定的指尖Q的一维坐标系中的位置坐标(坐标值)XQ被确定。获得反映位置坐标XQ的轴坐标信息，作为位置关系信息。因此，在T13中，基于所获得的轴坐标信息，优选地，在图25的T1中确定的手指中，给与轴坐标信息的预定选择条件最适配的手指分配操作目标手指P。
此外，本例子假定车辆是右手驾驶，并且由乘客座椅处的乘客的右手执行操作。此外，轴线X被指定成给操作者的食指分配操作目标手指P。因此，在T11中，轴线X被指定成图30中所示的位置。在T12中，指尖Q被投影向指定的轴线X，并且计算各个投影位置的坐标值X1-X3。在T13中，在获得的坐标值X1-X3中，具有最大坐标值的指尖Q被确定。假设具有确定的指尖Q的手指是食指，因此，给该手指分配操作目标手指P。
此外，本例子中的轴线X被确定为沿从捕获图像的(右食指不常在的)右下方向至(右食指经常在的)左上方的方向，如图30所示。相反，例如，可以采用图31或图32所示的另一种指定。在图31的情况中，不妨假设具有最大坐标值的手指是中指。此外，如果已假定或判定操作手是右手和左手中的哪个，则与中指相邻的那个手指可被估计为食指。在图32的情况中，如果假定或判定操作手是右手和左手中的哪个，最右或最左端的手指适于假定为食指。因此，能够判定与食指相邻的手指是中指。
在本例子中，摄像机12b捕获的捕获图像是指尖Q向触摸操作区域12a1投影的投影平面180。因此，操作面板图像区域和上述投影平面180的每个被识别为具有相同坐标系的两维平面。操作面板图像区域是反映触摸操作区域12a的区域，即整个捕获图像150区域，在该整个捕获图像150区域中，触摸操作区域12a位于摄像机12b捕获的捕获图像中。操作面板图像区域上的指尖Q的坐标位置能够直接用作投影平面180中的投影指尖Q的坐标位置。在T3中，通过在虚拟地限定的投影平面180的坐标系上进行计算来分配操作目标手指P，因此，消除了图像处理的必要。即，图像数据不用于操作目标手指P的分配过程，因此，能够减少计算成本(运算量和存储量)。
返回到图25，在T4中，控制电路18以与显示窗口上的背景的图像组合或叠加的方式在显示窗口的与确定的指尖Q对应的位置上显示用于位置指示的图像200H，如图33(c)所示。请注意，这种显示是以突出显示的方式执行的，其中，在位置指示图像200H内，与位置指示图像200H的与不是操作目标手指P的其它手指R对应的显示区域200R相比，位置指示图像200H的与分配的操作目标手指P对应的显示区域200P被突出地显示。因此，提高了操作目标手指P的可视性。用户能够容易地识别应当操作的手指，因此，还提高了可操作性。
在本例子中，首先，控制电路18确定显示装置15的显示窗口和被摄像的手指之间的位置关系。即，控制电路18确定被摄像的手指面对显示窗口上的哪个位置。在本例子中，操作面板图像区域被摄像机12b捕获，在操作面板图像区域中，触摸操作区域12a在捕获图像150中确定。这里，操作面板图像区域是反映触摸操作区域12a的区域，即捕获图像150的整个区域。同时，在操作面板图像范围上指定两维操作坐标系，并在操作坐标系上确定被摄像的手指的位置。在显示窗口上限定的两维显示坐标系中确定与操作坐标系上确定的手指的位置对应的显示装置15的显示窗口上的位置。
然后，在显示装置15的显示窗口上确定的位置处，位置指示图像200H叠加地显示在主图像200B对应的位置坐标上，如图33(a)所示。按照以预定时间t1逐步地改变突出等级(突出程度)的方式，执行上述位置指示图像200H(200P，200R)的突出显示，如图61所示。即，在改变突出显示的过程中，会出现改变中的中间状态，如图33(b)所示。在经历突出显示的中间状态后，完成突出显示的改变，如图33(c)。对于在突出显示中使不被确定的手指不太可见的情况，如果使不被确定的手指突然地不太可见，会造成难以识别强调的是哪个手指。因此，一开始，在突出显示中所有的手指都被相似地显示，如图33(a)所示。然后逐步改变突出等级。因此，用户能够容易地将自己的手指与显示窗口上显示的手指关联起来。
此外，对位置指示图像200H的手指显示区域200P或200R的轮廓的全部、轮廓线或内部执行关于颜色变化(参见图63)、对比度变化(参见图63：操作目标手指之外的其它手指可以去除)、形状变化(图64：作为一个例子，操作目标手指P变得更粗)、切换成另一图像、透光度(参见图27)、闪烁(参见图65)或前述任何组合的突出显示。在本例子中，对位置指示图像200H的处理过的图像的轮廓的内部执行关于透光度的突出显示。此外，在突出显示中，位置指示图像200H的与操作目标手指P对应的显示区域200P的突出状态保持不变，而位置指示图像200H的与其余手指R对应的显示区域200R的突出等级降低。也可以去除与其余手指R对应的位置指示图像区域200R。考虑到可操作性，希望位置指示图像区域200R被保持成相对容易地可识别，尽管突出等级低于完全去除的情况。
此外，可以在T3中分配操作目标手指P之后立刻开始T4中的突出显示，如图61所示，或者可以在自T3中分配操作目标手指P起经历预定时间之后开始T4中的突出显示，如图62所示。特别是，在突出显示不是逐步实施的配置中，优选地，选择后者。
T4结束，然后，本过程结束。请注意，即在本过程结束之后，还以预定时间间隔重复地执行本过程。在面对操作面板12a的手移动的同时，显示装置15的显示窗口上显示的位置指示图像200H的显示位置也对应地移动。当手移动到突出改变的中间时，位置指示图像200H(200P和200R)的显示位置移动，同时继续突出改变。当在突出改变完成之后手移动时，位置指示图像200H(200P和200R)的显示位置以固定的突出状态移动。
注意，位置指示图像的显示过程包括手指确定步骤、指尖确定步骤、操作目标手指分配步骤、位置指示图像突出显示步骤和分配手指信息获取步骤。控制电路18使用CPU执行该过程，因而用作执行每个步骤的部分或装置(手指确定部分或装置、指尖确定部分或装置、操作目标手指分配部分或装置、位置指示图像突出显示部分或装置、分配手指信息获取部分或装置)。
1.10.2第十例子的第二变化例
操作目标手指P的分配方法能够配置成如图34至图36所示。如图34的流程所示，在T21中，图25的T2中确定的指尖Q向触摸操作区域12a1投影，参考区域Y设定在投影平面180的预定区域中(参见图35或图36)。在T22中，获得反映T22中设定的参考区域Y和投影的指尖Q之间的距离的距离信息，作为位置相关信息(分配手指信息获取步骤)。在T23中，基于获得的距离信息，在图25的T1中确定的手指之中，优选地，给与距离信息的预定选择条件最适配的手指分配操作目标手指P(操作目标手指分配步骤)。
在本例子中，与上述例子相似，在虚拟地限定的平面180上确定指尖Q，并且进一步限定上述参考区域Y(T21)。此外，计算上述每个距离(T22)，基于距离分配操作目标手指P(T23)。这里，操作者的中指假定为操作目标手指P，在上述距离之中具有最长距离的手指被分配为操作目标手指P。注意，参考区域Y可以限定为具有一定面积的区域，也可以限定成没有面积的点或线。
此外，参考区域Y能够布置在预定位置处，在该预定位置处，手的后部被假定为处于手指被摄像机12b摄像的状态，例如，如图35所示。在该情况中，距离信息不直接反映T1中确定的手指的长度，但是与它相关，因此，基于距离的长度，能够分配具体手指。例如，具有最长距离的手指能够被假定为是中指。此外，如果推定或判定操作手是右手和左手中的哪个，那么与中指相邻的手指能够被推定为食指。此外，当食指等被假定为操作目标手指P时，第二最长手指可以被推定为食指并进行分配。
此外，参考区域Y能够布置在一位置处，在该位置处，设定为操作目标手指P的手指的指尖最常处于手指被摄像机12b摄像的状态，例如，如图36所示。在该情况中，指尖Q与参考区域Y具有最短距离的手指能够被分配为操作目标手指P。在图36中，操作手设定为右手，并且操作目标手指P位于最左上部。
1.10.3第十例子的第三变化例
操作目标手指P的分配方法能够配置成如图37至图38所示。这里，如图37的流程所示，在T31中，获得关于图25的T1中确定的每个手指的形状的手指形状信息，作为分配手指信息(分配手指信息获取步骤)。在T32中，基于获得的手指形状信息，在T1中确定的手指之中，优选地，给与手指形状信息的预定选择条件最适配的手指分配操作目标手指P(操作目标手指分配步骤)。
与在图25的T1中确定的手指的触摸操作区域的方向上的长度关系相关的手指长度信息能够被限定为手指形状信息。详细地，计算从图25的T2中确定的指尖Q到与捕获图像150上出现的手指的末端边缘的线段的中点对应的位置的长度d1-d3(参见图38)。这些长度限定为上述手指长度信息。在这种情况中，手指长度信息是反映T1中确定的每个手指的长度的信息，因此能够基于长度分配具体手指。例如，能够设定具有最长距离的手指为中指。此外，如果推定或判定操作手是右手和左手中的哪个，那么能够推定与中指相邻的手指为食指。此外，当食指等被设定为操作目标手指P时，第二最长手指可以推定为食指并进行分配。这种配置能够可靠地消除将位置指示手指分配给伸到中途而没有用于操作意图的手指的可能性。这里，手指长度信息d1至d3需要是至少反映每个手指的长度的信息。例如，它可以是沿手指的长度方向从弧形指尖的末端位置到出现在捕获图像150上的手指的末端边缘的距离。
此外，与在图25的T1中确定的手指的触摸操作区域的方向上的宽度关系相关的手指宽度信息也能够被限定为手指形状信息。详细地，与穿过图25的T2中确定的指尖Q的手指的长度方向垂直的宽度方向上的长度w1至w3(参见图38)能够被限定为上述手指宽度信息。在这种情况中，在手指宽度信息中，宽度越大，手指越靠近触摸操作区域12a1，因此，它还能够限定为接近距离信息，该接近距离信息反映与触摸操作区域12a1的接近距离关系。具有最大宽度的手指能够被分配为操作目标手指P。这里，手指宽度信息w1至w3需要是至少反映每个手指的宽度的信息。可以在不同于上述位置的另一位置计算手指宽度。
1.10.4第十例子的第四变化例
操作目标手指P的分配方法能够配置成如图39所示。在T41中，通过图25的T1中确定的手指来检测触摸操作区域12a1上的触摸操作位置T，在T42中，给检测到的执行首次触摸操作的手指分配操作目标手指P(操作目标手指分配步骤)。即，获得触摸操作区域12a1上的触摸操作位置T，作为分配手指信息，并且基于该信息分配操作目标手指P。在这种配置中，突出显示的启动触发器限定为用户的触摸操作，因而防止突出显示导致的显示变化未被看到。在这种情况中，当通过手操作被移动的被分配的操作目标手指P被跟踪时，继续进行操作目标手指P的分配直至手指P从显示窗口消失，或者直至执行了新的触摸操作。可选地，即使在手指从显示窗口消失之后再次出现在显示窗口上，也需要给相同手指分配操作目标手指P。因此，条件(例如与另一手指R的位置关系信息和手指P的手指形状信息)可以存储在控制电路18的存储部分18d中，基于存储的条件，可以分配操作目标手指P。
1.10.5第十例子的第五变化例
操作目标手指P的分配方法能够配置成如图40和图41所示。这里，如图40的流程图所示，在T51中，用图25的T1中确定的手指检测触摸操作区域12a1上的触摸操作位置；当检测到触摸操作位置T时，如图41所示，在T52中，与检测到的触摸操作位置T最近的手指被分配为操作目标手指P(操作目标手指分配步骤)。此外，图25的T4中的突出显示可以在对触摸操作区域12a1执行触摸操作之后(立刻)开始，也可以在自对触摸操作区域12a1执行触摸操作起经历预定时间之后开始。特别是，在突出显示不是逐步地实施的配置中，理想地，选择后者。
在第十例子的上述第四变化例和第五变化例中，当触摸操作区域12a1被错误地触摸并执行触摸操作时，能够防止开始突出显示。详细地，能够在T41或T51中限定操作负载大于通常触摸操作的触摸操作，作为突出显示的启动操作。例如，用于突出显示启动的触摸操作(突出显示启动操作)限定成需要比通常触摸操作更长的一直到输入变得有效的触摸操作时间，或者限定成需要比通常触摸操作更大的触摸操作强度。在这种情况中，在T41或T51中，仅当执行限定的突出显示启动操作时，过程才进行到T42或T52。当没有执行突出显示启动操作时，不启动突出显示的等待状态开始，直至执行了突出显示启动操作。
1.10.6第十例子的第六变化例
操作目标手指P的分配方法能够配置成如图42和图43所示。如图42的流程所示，在T61中，获得手指的捕获图像的亮度信息，作为分配手指信息(分配手指信息获取步骤)。在T62中，基于获得的亮度信息，在手指的捕获图像之中，优选地，给与亮度信息的预定选择条件最适配的手指分配操作目标手指P(操作目标手指分配步骤)。摄像机12b捕获来自操作触摸操作区域12a1的手的反射光线，从而捕获图像，因此，与触摸操作区域12a1最近的指尖以高亮度出现。即，亮度信息能够限定为已经提及的接近距离信息(分配手指信息)。相反，关于操作触摸操作区域12a1的指尖，越靠近触摸操作区域12a1，位置指示的可能性就越高。例如，可以提供一种配置，在该配置中，优选地，具有最高亮度的指尖被分配为操作目标手指P。
如图3所示，摄像机12b通过捕获光源12c的反射光线来捕获图像。因此，反射光线强度反映在捕获图像150中出现的颜色的灰度上。在捕获具有高强度的反射光线的地方，灰度等级高。即，本例子的摄像机12b捕获的捕获图像150是多灰度等级的捕获图像(本例子中的黑-白捕获图像)。图像处理部分18a使用预定的灰度阈值对每个像素的灰度等级应用二进制处理，因此产生图29所示的图像。超出灰度阈值的区域被提取成接近物体图像150H。此外，图像处理部分18a用于从提取的接近物体图像150H确定人手和手指的图像。因此，接近物体图像150H的形状与存储在控制电路18的存储部分18d中的手或手指形状图案比较。与该图案匹配的接近物体图像150H被识别为手和手指的图像。在本例子中，用于确定手或手指的图像的上述灰度阈值限定成第一灰度阈值。此外，比第一灰度阈值高的另一阈值限定为第二灰度阈值。指尖具有超出第二灰度阈值的区域L1(参见图43)的手指能够分配为操作目标手指P。可以提供如下另一种方法。基于指尖Q，通过比较指尖Q的亮度，或预定区域的平均亮度(或最大/最小亮度)，来执行操作目标手指P的分配。图43的区域L1至L3分别表示捕获图像150中的具有不同亮度的区域，亮度以L1、L2和L3的顺序依次降低。
即，图25的T1是基于摄像机12b捕获的图像的亮度确定手指图像和通过手指图像确定手指的步骤。图25的T2是使用摄像机12b捕获的手的图像确定指尖的步骤。此外，类似地，图25的T3是基于摄像机12b摄像的手的图像的亮度确定操作目标手指P的步骤。因此，在本例子中，能够关于手指、指尖和进一步地关于操作目标手指P，执行基于摄像机12b的捕获图像的确定。
此外，使用指尖部分的图像信息来执行操作目标手指P的分配过程，而不是整个手指。因此，用于操作目标手指P的分配过程的图像数据能够被限制，因此，能够减少计算成本(运算量和存储量)。详细地，如图43所示，具有预定形状(这里为正方形)的区域S被限定成包括整个指尖，同时以T2中确定的指尖Q为中心。在T61中，关于T1中确定的所有手指的区域S中的亮度信息被确定和获得。在T62中，优选地，在获得的亮度信息之中具有最高亮度的区域S的手指被分配为操作目标手指P。
1.10.7第十例子的第七变化例
操作目标手指P的分配方法能够配置成如图44至图46所示。如图44的流程图所示，在T61中，获得接近距离信息，作为分配手指信息；接近距离信息用来反映关于图25的T1中确定的指尖与触摸操作区域12a1的接近距离关系(分配手指信息获取步骤)。在T62中，基于获得的接近距离信息，在手指确定步骤确定的手指之中，优先地给与接近距离信息的预定选择条件最适配的手指分配操作目标手指(操作目标手指分配步骤)。这里，在这种配置中，需要检测触摸操作区域12a1和操作手的指尖之间的距离的装置。与第十例子的第五变化例相似，可获取亮度作为接近距离信息。可选地，例如，如图45所示，摄像机40(图像捕获部分或装置)能够用作获取接近距离信息的部分或装置。摄像机40设置成捕获触摸操作区域12a1和操作手的指尖之间的距离的图像。根据捕获图像(例如，图46)，控制电路18能够计算操作手的每个手指的指尖与触摸操作区域12a1的距离d1至d4。例如，指尖具有最近距离的手指能够分配为操作目标手指P。图46显示图45中的摄像机40捕获的捕获图像的例子。
1.10.8第十例子的第八变化例
可以通过组合上述分配手指信息中的两种或更多(例如位置关系信息和手指形状信息)，来执行操作目标手指的分配。这能够使得更加精确地确定判定种类的手指，例如食指和中指。
1.10.9第十例子的第九变化例
例如，用作手图像捕获部分或装置的摄像机12b可以设置成如图15所示，而不是从触摸面板12a的后表面12a2侧捕获图像的摄像机。此外，图15中的摄像机20还用作作为手图像捕获部分或装置的摄像机12b。
图15的摄像机20能够具有捕获范围，该捕获范围不仅覆盖操作面板12a的操作者的手，而且还覆盖从手延伸的手臂(例如，图8的捕获图像300)。使用这种摄像机，控制电路18获得捕获的操作面板周边图像，并使用图像处理部分18a确定从手延伸的手臂的方向，从而判断操作者是否为右边或左边的人。如果触摸操作区域12a1的操作者是位于触摸操作区域12a1的左手侧的人，可以确定操作手是右手。如果是位于触摸操作区域12a1的右手侧的人，可以确定操作手是左手。
控制电路18能够基于操作手的确定结果来改变操作目标手指P的分配条件。详细地，假设食指被分配为操作目标手指P。当操作手是左手时，食指被确定为出现在最右边的手指，或在右边与具有最长长度的中指相邻的手指。当操作手是右手时，食指被确定为出现在最左边的手指，或在左边与具有最长长度的中指相邻的手指。因此，在分配操作目标手指P中，当根据操作手是左手或右手来改变选择条件时，能够基于操作手的确定结果来执行这种改变。此外，当操作手被确定为驾驶员的手时，可以取消显示，以防止操作。因此，仅在左手侧乘客座椅处的乘客能够被分配为操作者；右手能够被连续地限定为操作手。结果，这能够在操作目标手指P的选择条件中被预先反映。
在图8的捕获图像300中，符号300H表示手图像，符号300A表示从手延伸的手臂图像，符号312a表示操作面板12a被摄像的区域。操作面板12a的操作者的手臂从捕获图像的右侧延伸，即从驾驶员侧，因此，确定操作者为驾驶员。
在这种情况中，摄像机20和控制电路18(图像处理部分18a)一起用作操作者确定部分或装置。判断操作面板12a的操作者是否为驾驶员的方法可以是另一种方法。例如，检测接近物体的接近物体检测装置(例如，反射型光学传感器，如红外反射传感器)可以设置在触摸操作区域12a的车右侧和车左侧的每侧，因而确定操作者。
1.10.10第十例子的第十变化例
在第十例子的所有上述变化例中，仅当两个或更多个手指被确定时，才执行上述突出显示。用作手指确定部分或装置的控制电路18能够确定手指的数量。当确定的手指的数量是两个或更多个时，可以执行第十例子的上述位置指示图像显示过程。当是一个时，可以执行简单显示过程，该简单显示过程仅显示与该手指对应的位置指示图像。
1.10.11第十例子的第十一变化例
在第十例子的所有上述变化例中，远程操作部分假定为响应于接触操作(按压操作或触摸操作)；一个手指被分配用于位置指示。此外，还说明了可能的两个手指被分配用于位置指示的另一种配置，如图48所示。相反，远程操作部分可以是假定为响应于夹捏操纵杆(钮)的操作的操作部分，例如拨号操作部分。在这种情况中，数量为两个或三个的手指也能够被分配为操作目标手指P。此外，能够使用上述接近距离信息(反映与远程操作区域的接近距离关系的信息)来执行夹捏操作中的手指或指尖的确定。
例如，如图49所示，拨号操作部分12a′(拨号旋钮周围的壳体前端部分121e也作为拨号操作部分12a′的一部分被包括)设置成本实施例的远程操作部分。摄像机41、42设置成捕获为了操作拨号操作部分12a′而接近的手的图像；摄像机41和42与控制电路18连接。摄像机41和42的图像捕获范围不同，并且被设置成具有在垂直于拨号操作部分12a′的旋转轴线的平面上彼此正交的各自的图像捕获方向。摄像机41、42的捕获图像150a、150b(与图27(b)和图28(b)相似的二进制处理之后的图像)中的每个的例子分别显示在图50(a)或(b)中。相反，摄像机12b可以按图3所示的方式设置在操作信息输入部分12的内侧(或如图15所示，设置在它的外侧)。摄像机12b的捕获图像150c(与图27(b)和图28(b)相似的二进制之后的图像)的例子显示在图50(c)中。图像150a、150b和150c中的图像区域150S是反映操作部分12a′的区域。
下面说明在该配置中执行的突出显示过程的流程。
首先，获得图50(a)和(b)的图像150a和150b(与图25的T1对应的过程)。根据从图像150a和150b提取的手图像150H来确定指尖Q。此外，确定指尖Q的具体位置(与图25的T2对应的过程)。这里，在车辆舱室内提供三维坐标系(车辆舱室坐标系)，以便具有图49所示的X轴线、Y轴线和Z轴线，这些轴线确定为坐标系中的位置坐标。详细地，在图像150a和150b中提供x-z坐标系和y-z坐标系。通过已经提及的方法之一，在延伸到壳体前端部分121e侧的投影图像150F的尖端区域中确定指尖Q。指尖Q的位置坐标被确定，从而在车辆舱室坐标系中确定三维位置坐标。
然后，操作目标手指P被确定。这里，计算从每个指尖Q到壳体前端部分121e的前端面的距离。在与壳体前端部分121e的前端面最近的位置处的指尖Q和在第二最近位置处的指尖Q被确定为操作目标手指P。因为壳体前端部分121e的前端面(符号150E)反映在图像150a和150b中，因此使用它或根据图像150c的亮度来进行距离的计算。
如图51所示，与另一指尖Q对应的位置指示图像200H的位置指示区域200Q(200R)相比，与背景图像200B叠加或组合地突出显示与确定的操作目标手指P的指尖Q对应的位置指示图像200H的位置指示区域200Q(200P)。这里，图51的背景图像200B(200B3)包含拨号开关图像，作为开关图像200I。执行与拨号操作部分12a′(用作远程操作部分)的旋转操作对应的旋转显示。执行根据旋转位置的控制内容。
操作目标手指P的分配方法与第十例子的第二变化例相似。即，确定的指尖Q投影向用作远程操作部分的拨号操作部分12a′(朝向面对拨号操作部分12a′的方向上)。获得反映投影平面180的预定区域中指定的参考区域Y和投影的指尖Q之间的距离的距离信息，作为位置关系信息。使用获得的距离信息，优选地，给与距离的预定选择条件最适配的手指分配操作目标手指P。参考区域Y限定为投影区域120的中心位置，该投影区域120由在投影平面180上投影拨号操作部分12a′产生，如图53所示。
此外，这里，操作目标手指P的分配方法可以是至少包括拇指的方法。详细地，能够根据各种因素来确定拇指，例如与其它手指的粗细不同，与其它手指的位置关系不同和手指的延伸方向的不同。此外，当给两个手指分配操作目标手指P时，除了拇指的另一个手指能够是除了拇指之外与壳体前端部分121e的前端面最近的手指。请注意，根据易于执行夹捏操作，另一个手指最好分配给食指或中指。例如，它能够基于拇指进行分配(例如，与拇指的位置关系)。此外，当远程操作部分被假设为响应于上述夹捏操作时，如图52所示，可以突出显示三个手指的指尖。在这种情况中，优选地，拇指、食指和中指被分配为操作目标手指P。
此外，在本例子中，位置指示图像200H中的指尖区域200Q限定成位置指示区域。可选地，与其它已经说明的例子相似，包含在位置指示图像200H中的所有手指被限定成位置指示区域。相反，在其它已经说明的例子中，位置指示图像200H中的指尖区域200Q可以限定成位置指示区域。
1.10.12第十例子的第十二变化例(手指或指尖的跟踪过程)
这个过程可以应用于上述所有例子中，并作为第十例子的第十二变化例来说明。在第十例子中，为每帧捕获图像确定操作目标手指P。这里，当操作面板12a(12a′)和操作手之间的位置关系变化时，操作目标手指P可以自动地分配给另一个手指。特别是，当与第十例子的第四或第五变化例相似地基于对远程操作部分的接触位置(用户的操作)来确定操作目标手指P时，根据触摸操作来确定操作目标手指P。不期望的是，仅因为手或手指的位置移动，就简单地用另一个手指作为操作目标手指P。此外，除了第十例子之外也一样，假设确定一种状态，在该状态中，预定种类的简单操作用手指被确定为简单操作用手指状态(例如，食指和中指中的一个或两者被确定的手指状态)。这里，不希望的是，仅因为在确定这种类型的手指后手或手指的位置移动，就简单地将另一个手指确定为用于简单操作的这种类型的手指。由于该原因，在手指(例如操作目标手指P)被分配或确定之后，增加跟踪被分配的或被确定的手指的移动的过程。基于跟踪结果，继续地分配或确定相同的手指，因此克服了上述问题。
图54和55显示跟踪图25的T1中确定的所有手指的过程，还有跟踪T2中确定的所有手指的过程，或跟踪图9的S2中确定的所有手指(还有指尖)的过程(和等同于S2的过程)。这里，提供一种配置，基于摄像机12b(用作图像捕获部分或装置)捕获的移动图像，来确定面对操作面板12a(12a′)的前面以便操作作为远程操作部分的操作面板12a(12a′)的手(手指)。在这种情况中，与操作面板12a(12a′)的前面面对的手(手指)的手指确定可能区域(指尖确定可能区域)是固定地布置的摄像机12b的图像捕获区域。摄像机12b在该区域中捕获移动图像，并且控制电路18每隔预定时间间隔一个一个地获得捕获的移动图像帧。
在图54和55的手指跟踪过程(手指跟踪步骤)中，计算基于一个一个地获得的移动图像帧确定的每个指尖的帧内的位置。计算的位置信息存储和累积在存储部分18d的预定的跟踪信息存储部分(例如控制电路18的ROM)中，作为跟踪信息。因此，在识别基于一个一个地获得的移动图像帧确定的每个指尖的同时，跟踪每个移动。
跟踪信息以图56中的符号500表示的格式存储。在图56所示的跟踪信息500中，指尖ID(识别信息)分配给获得的移动图像帧中确定的每个指尖。与指尖ID对应，能够存储表示每个指尖的在前的移动图像帧(以下称为在前帧)的位置和在前之前的移动图像帧(以下称为在前之前帧)的位置的位置信息。位置信息是每个指尖在预定的二维坐标系上的位置坐标，该预定的二维坐标系限定在移动图像帧中。图56的上部的图显示移动图像帧(也称为手指确定可能区域)，其中，限定了两维坐标系，同时显示在前帧中确定的指尖的位置坐标Pi(-1)，在前之前帧中确定的指尖的位置坐标Pi(-2)，和当前帧中确定的指尖Rj(0)，所有这些位置坐标存储成图56的跟踪信息500。如图56所示，每一时刻获得一个新的移动图像帧，一个一个地存储和更新每个指尖的位置坐标。存储的位置坐标是在前帧和在前之前帧的位置坐标，在在前之前帧以前的帧的位置坐标被一个一个地擦除。
此外，跟踪信息500包含位置信息，该位置信息表示基于最新的移动图像帧(以下称为当前帧)确定的每个指尖的帧的位置。用于每个指尖ID的这种位置信息存储在跟踪信息存储部分中。此外，跟踪信息包含当前帧中的每个指尖可能位于的预测位置(下一位置)。表示预测位置的预测位置信息存储在跟踪信息存储部分中。此外，当前帧的指尖的位置信息和当前帧的预定指尖的预测位置信息之间的对应关系被确定。根据该对应关系结果，对于每个指尖ID，确定在获得当前帧时对应的指尖的跟踪状况，并且也存储在跟踪信息存储部分中，作为跟踪信息。跟踪状况包括至少三个状态：跟踪连续状态(跟踪下)，在该跟踪连续状态中，从在前帧到当前帧连续地跟踪指尖；不可能跟踪状态(消失)，在该不可能跟踪状态中，一直跟踪到在前帧的指尖在当前帧中失去(消失)；和新出现状态(新出现)，在该新出现状态中，在在前帧中没有被跟踪的指尖新出现。
指尖的预测位置的计算方法示例为如下方法。即，在该方法中，基于表示在过去多个时间的移动图像帧上的每个指尖的位置的位置信息，计算预测位置。这里，在前帧和在前之前帧的每个指尖的位置信息被包括作为每个手指的跟踪信息。基于这种位置信息，预测每个指尖的移动。计算下一帧的每个指尖的预测移动目的地，作为上述预测位置(参见图57)。图58(a)显示具体的例子。在每个移动图像帧中共同地限定的移动图像帧400的两维坐标系中，当从在前之前帧上确定的手指的位置坐标Pi(-2)移动到在前帧上确定的位置坐标Pi(-1)时，基于该移动的移动方向和移动距离来计算在位置坐标Pi(-1)中的手指的速度矢量Vi(-1)。位于位置坐标Pi(-1)的手指被预测为在下一帧中以速度矢量Vi(-1)移动。计算预测移动目的地的位置坐标Qi(-0)，其中Qi(-0)＝Pi(-1)+Vi(-1)。计算的位置坐标Qi(-0)是预测位置信息，并存储在控制电路18的存储部分18d的预定的跟踪信息存储部分中，作为跟踪信息之一。
相反，关于在在前帧中新出现的指尖，通过使用在前帧和在前之前帧的上述预测方法，不能预测在下一帧中的出现。在这种情况中，基于在前帧上确定的指尖的位置信息，在前之前帧上的指尖的位置限定为临时位置。基于表示临时位置的位置信息和在前帧上的位置信息，确定下一帧上的指尖的出现位置。临时位置的判定方法如下。即，如图59所示，移动图像帧(指尖确定可能范围)400中的区域根据每个边缘被预先划分(这里是上、下、左、右边缘)(虚线表示划分线)。指定与每个边缘401(401a-401d)对应的边缘对应区域410。此外，首先确定在前帧上确定的指尖位置Pi(-1)存在的边缘对应区域410(401A-401D)。当存在Pi(-1)的边缘对应区域410被确定时，与Pi(-1)最近的边缘对应区域410的边缘401上的位置判定为在前之前帧的临时位置。即，临时位置Pi′(-2)限定成垂直线与边缘401的交点。垂直线通过在前帧上确定的指尖位置Pi(-1)，并行进到存在指尖位置Pi(-1)的边缘对应区域410的边缘401。
指尖的预测位置的上述计算方法基于在前帧和在前之前帧上的每个指尖的位置信息来进行计算。可选地，为了以更高精度计算，如图58(b)所示进行计算。即，在每个移动图像帧上共同地限定的移动图像帧400上的两维坐标系中，关于当前帧一个时刻之前的在前帧上确定的位置坐标Pi(-1)上的手指，计算速度矢量Vi(-1)和加速度矢量Ai(-1)的每一个。在下一帧中，位于该位置坐标Pi(-1)的手指被预测为进行对应于速度矢量Vi(-1)和加速度矢量Ai(-1)的移动。计算预测的移动目的地的位置坐标Qi(-0)，其中Qi(-0)＝Pi(-1)+Vi(0)＝Pi(-1)+Vi(-1)+Ai(-1)。基于在从当前帧三个时刻之前的在前帧上确定的位置坐标Pi(-3)移动到从当前帧二个时刻之前的在前帧上确定的手指的位置坐标Pi(-2)时的移动方向和移动距离，计算在位置坐标Pi(-2)处的手指的速度矢量Vi(-2)。基于从该位置坐标移动时的移动方向和移动距离，该位置坐标是该手指从移动图像帧400上的位置坐标Pi(-2)以矢量Vi(-2)移动到当前帧一个时刻之前的在前帧上确定的位置坐标Pi(-1)的移动目的地，计算速度矢量Ai(-1)，其中Ai(-1)＝Vi(-1)-Vi(-2)＝Pi(-1)-Pi(-2)-Vi(-2)。此外，基于从当前帧二个时刻之前的在前帧上确定的位置坐标Pi(-2)移动到从当前帧一个时刻之前的在前帧上确定的位置坐标Pi(-1)时的移动方向和移动距离，计算速度矢量Vi(-1)。
指尖的跟踪状况的确定方法示例地表示为如下确定方法。即，比较指尖的当前帧上确定的指尖的位置信息和当前帧的预测位置信息；基于它们的位置关系是否满足预定的参考条件来进行确定。例如，图56显示指尖的计算当前帧的各个预测位置信息的位置坐标Q1(-0)、Q2(-0)和Q3(-0)，和当前帧上实际确定的所有指尖的位置坐标Ra(0)，Rb(0)，Rc(0)，...。在这些位置坐标之中，位置与移动图像帧最近的一对位置坐标被认为是一对满足参考条件的位置坐标。这里，当位置关系为以预定距离彼此分隔，使得位置坐标对的位置之间的距离不小于预定参考距离时，该位置坐标对不被认为是对应的对。关于对应的对，判定当前帧中实际确定的指尖和与(用作计算预测位置信息的基础的)在前帧的位置信息对应的指尖为相同指尖。跟踪连续状态(跟踪下)被确定，其中指尖的跟踪从在前帧到当前帧连续进行。在当前帧中实际确定的指尖之中，没有发现其对应的配对指尖的指尖被确定为处于新出现状态(新出现)。在与计算的关于当前帧的预测位置信息对应的指尖(在前帧中确定为跟踪下的指尖)之中，没有发现它的对应配对指尖的指尖确定为处于不可能跟踪状态(消失)。与每个指尖的ID对应地，每个确定的指尖的跟踪状况存储在控制电路1的存储部分18d的预定的跟踪信息存储部分中。
当跟踪状况被确定为处于不可能跟踪状态(消失)时，不可能跟踪识别指令，以及不可能跟踪状态和紧接在确定不可能跟踪状态的帧之间的帧上的指尖的位置信息被存储在跟踪信息存储部分(跟踪恢复判定信息存储部分)中，作为跟踪恢复判定信息。不可能跟踪识别指令能够关于不可能跟踪确定时间确定与不可能跟踪状态下的另一手指的前后关系。请注意，该跟踪恢复判定信息处理成跟踪信息中的一个。
下面说明显示在图54和55中的手指跟踪过程(手指跟踪步骤)的流程。该手指跟踪过程是每当控制电路18从摄像机12b获得移动图像帧时执行的过程。因此，控制电路18用作手指跟踪部分或装置。
首先，在R201(图54)中，判断指尖是否在新的移动图像帧(当前帧)中被确定，控制电路18使用摄像机12b捕获的移动图像获得该新的移动图像帧。当确定了指尖时，过程进行到R202；当指尖没有被确定时，过程进行到R215。这里，指尖的确定方法与图25的T1和T2相似。
在R202中，控制电路18确定当前帧上确定的每个指尖和在前帧上确定每个指尖之间的对应关系。这里，当前帧上的指尖的位置信息和为当前帧预测的指尖的预测位置信息之间的对应关系被确定。根据对应结果，为每个指尖ID确定在获得当前帧时的每个指尖的跟踪状况的状态。这种状态从跟踪连续状态(跟踪下)、不可能跟踪状态(消失)、新出现状态(新出现)和不被确定的(没有出现)之中确定。用于每个对应的指尖ID的确定的跟踪状况以图56中的符号500表示的格式存储在控制电路18的存储部分18d的预定的跟踪信息存储部分中。这里，在当前帧上具有确定的指尖，同时与在前帧上确定的指尖满足上述参考条件时，跟踪连续状态(跟踪下)被识别。在当前帧上具有确定的指尖，并且与在前帧上确定的任何指尖不满足上述参考条件时，新出现状态(新出现)被识别。当在前帧上具有确定的指尖，并且与当前帧上确定的任何指尖不满足上述参考条件时，不可能跟踪状态(消失)被识别。
在R203中，判断在前帧上确定的指尖和当前帧上确定的指尖之间是否存在相同手指，即，判断在当前帧上是否存在处于跟踪连续状态(跟踪下)的指尖。当存在处于跟踪连续状态(跟踪下)的指尖时，过程进行到R204。当不存在处于跟踪连续状态(跟踪下)的指尖时，过程进行到图55的R205。
在R204中，关于与处于跟踪连续状态(跟踪下)的指尖的指尖ID对应的跟踪信息，进行更新。处于跟踪连续状态(跟踪下)的指尖是在获得在前帧时跟踪信息被更新的指尖。与手指的指尖ID对应的当前帧上的位置信息通过表示指尖的当前帧上的位置的位置信息来更新。此外，在更新之后，直至现在存储的当前帧上的位置信息被存储成在前帧上的位置信息。此外，在更新之后，直至现在存储的在前帧上的位置信息被存储成在前之前帧上的位置信息。
在R205中，判断在前帧上确定的指尖之中是否存在当前帧上的指尖，即，判断在当前帧上是否存在变成不可能跟踪的指尖，例如图60所示的P1(0)。当存在处于不可能跟踪状态(跟踪下)的指尖时，过程进行到R206。当不存在跟踪连续状态(跟踪下)的指尖时，过程进行到R207。
在R206中，跟踪恢复判定信息与处于不可能跟踪状态(消失)的指尖的指尖ID对应地存储；跟踪恢复判定信息是当识别成处于不可能跟踪状态时的相关手指的信息。当不在跟踪下的新指尖出现在后面获得的移动图像帧中时，该跟踪恢复判定信息用于判断该新手指是否为这里识别成处于不可能跟踪状态的手指。因此，当曾从帧消失的指尖再次进入帧时，已经消失的手指和进入的手指能够被识别成相同的手指。这使得能够再次进行手指的跟踪。这里，变成处于不可能跟踪状态的指尖的指尖ID不被去除，而被存储。与指尖ID对应，不可能跟踪识别指令(消失指令)以及与指尖ID对应的在前帧上的位置信息(消失前的位置)被存储成跟踪恢复判定信息。不可能跟踪识别指令能够关于不可能跟踪识别时刻确定与不可能跟踪下的手指的前后关系。在图56的情况中，“1”被赋予指尖ID“2”，作为消失指令。当新指尖在后面获得的移动图像帧上变成不可能跟踪状态时，“2”被赋予指尖ID，作为消失指令。可以判定，当赋予的数值越大，不可能跟踪识别时间就越新。
在R207中，在当前帧上确定的指尖之中，判断是否存在在前帧上没有确定的指尖，即，判断在当前帧中是否存在新出现的指尖。当存在处于新出现状态(新出现)的指尖时，过程进行到R208。当不存在处于跟踪连续状态的指尖时，过程进行到R209。
在R208中，在R207中判定存在处于新出现状态(新出现)的指尖之后，判断是否存在连续地处于不可能跟踪状态(消失)的指尖。基于是否存在其跟踪恢复判定信息存储在图56所示的跟踪信息中的指尖ID来执行该判断。当判定不存在连续地处于不可能跟踪状态(消失)的指尖时，过程进行到S213。没有赋予给任何指尖的新指尖ID被赋予在R207中确定的处于新出现状态的指尖。与指尖ID对应地，表示处于当前帧上确定的新出现状态的指尖的位置的位置信息被存储。此外，与指尖ID对应的跟踪状况从不可能跟踪状态变成跟踪连续状态(再开始跟踪)。直至现在连续地存储的跟踪恢复判定信息被消除。R213结束；然后，本过程结束。相反，当在R208中判定存在连续处于不可能跟踪状态(消失)的指尖时，过程进行到R209。
在R209中，判断在新出现的指尖之中是否存在与连续处于不可能跟踪状态(消失)的指尖相同的指尖。详细地，基于R207中实际确定的新出现的指尖的当前帧的位置信息和表示包括在跟踪信息500中的处于不可能跟踪状态的指尖的最后位置的位置信息(跟踪恢复判定信息)，在处于不可能跟踪状态的指尖之中，判断预定范围内是否存在与实际确定的新出现的指尖的位置最近的指尖。这里，当前帧中实际确定的每个指尖的指尖位置和处于不可能跟踪状态的每个指尖的指尖位置之间的距离被计算。在计算的距离中，确定最小的并且小于预定的参考距离的距离。判定与确定距离对应的当前帧中实际确定的每个指尖和与确定的距离对应的处于不可能跟踪状态的每个指尖是相同指尖。注意，当在预定范围内存在两个或更多个指尖处于不可能跟踪状态时，基于不可能跟踪识别指令(跟踪恢复判定信息)，最近变成不可能跟踪状态的指尖被确定为与新出现的指尖相同。
在随后的R210中，基于R209的结果，判断在确定为当前帧中新出现的指尖之中是否存在与连续处于不可能跟踪状态(消失)的指尖相同的指尖。当存在时，过程进行到R211。当不存在时，过程进行到R213。
在R211中，基于R209的结果，判断在确定为当前帧中新出现的指尖之中是否存在两个或更多个指尖与连续处于不可能跟踪状态(消失)的指尖相同。当判定存在一个而不是两个或更多个时，过程进行到R212。在R212中，与所述一个指尖的不可能跟踪状态(消失)的指尖ID对应，存储当前帧上确定的新出现的并判定为与该指尖相同的指尖的位置信息；指尖ID的跟踪信息被更新。因此，不可能跟踪状态中的指尖的位置跟踪再次开始。此外，这里，与指尖ID对应的跟踪状况从不可能跟踪状态变成跟踪连续状态(跟踪再次开始)；直至现在连续存储的跟踪恢复判定信息被消除。R212结束；然后，本过程结束。
相反，在R211中，基于R209的结果，当判定在确定为当前帧中新出现的指尖之中存在两个或更多个指尖与连续处于不可能跟踪状态(消失)的指尖相同时，过程进行到R214。在R214中，在两个或更多个指尖中，基于不可能跟踪识别指令(跟踪恢复判定信息)，最近变成不可能跟踪状态的指尖被确定。与确定的指尖的指尖ID对应，当前帧上确定的新出现的并且判定为与该指尖相同的指尖的位置信息被存储；指尖ID的跟踪信息被更新。因此，处于不可能跟踪状态的指尖的位置跟踪再次开始。此外，这里，与指尖ID对应的跟踪状况从不可能跟踪状态变成跟踪连续状态(跟踪再次开始)。直至现在连续存储的跟踪恢复判定信息被消除。R214结束；然后，本过程结束。
请注意，在R201中，当在获得的新移动图像帧中指尖没有被确定时，图56所示的跟踪信息500被复位。与每个ID对应的信息被消除。
因此，关于根据摄像机12b捕获的移动图像确定的所有指尖，考虑到从帧消失，也连续地进行跟踪。操作目标手指P能够固定地分配给相同手指。详细地，当确定操作目标手指P的过程分配操作目标手指P时，表示操作目标手指P的操作目标手指信息与指尖ID对应地存储，如图56所示。通过参考这一点，因此，能够在每个时刻确定操作目标手指P。即，通过增加图54和55所示的手指跟踪过程，在以预定时间间隔重复执行的图25的过程中，单独执行T3中的操作目标手指P的确定过程。在T3中，仅需基于存储的与指尖ID对应的操作目标信息来确定操作目标手指P。
此外，该指尖跟踪过程的应用适用于基于用户执行的操作目标手指分配操作的操作内容分配操作目标手指P的例子，与图39的第十例子的第四变化例和图40的第十例子的第五变化例相似。在图39的第十例子的第四变化例和图40的第十例子的第五变化例中，对触摸面板12a的触摸操作是操作目标手指分配操作。基于触摸操作的操作内容分配操作目标手指P。即，在除非用户执行了操作目标手指分配操作，操作目标手指P不变化的例子中，不需要执行在获取移动图像帧的每个时刻确定操作目标手指P的计算。仅通过挑选根据每个手指的跟踪信息应当被分配的手指，操作目标手指P能够被容易地确定。
此外，第十例子中的操作目标手指P可以配置成与已经提及的简单操作手指状态中确定的手指相同。
1.11其它例子
下面说明其它例子。
此外，在上述例子中，反映捕获的手指的轮廓形状的处理过的图像(真实手指图像)200H显示成位置指示图像200H。可选地，可以显示与手指形状完全不同的图像，例如表示捕获的手指的指尖Q的指尖位置图像(指针等：参见图67)200H2(即，捕获的手指的指示位置)。在执行突出显示的情况中，仅有包括指尖Q的指尖区域可以被突出，(例如，直至手指的第一关节的区域，或以指尖位置Q为中心的预定半径内的区域等)。在这种情况中，确定捕获的手指的指尖Q面对显示窗口上的哪个位置。预定的位置指示图像，例如指针，显示在规定的窗口位置上。此外，不真实手指图像(棒状图像，参见图66)200H1显示成位置指示图像200H，该不真实手指图像表示被摄像的手指的指尖Q和纵向方向F。
此外，第十例子中的操作目标手指P可以配置成与已经提及的简单操作手指状态确定的手指相同。
此外，在上述例子中，触摸面板设置为本实施例的远程操作部分。可选地，操作部分可以为响应按压操作的开关，例如按钮开关和交互转换开关。此外，在上述例子中，尽管电阻薄膜型触摸面板被用作操作面板12a，也可以使用其它类型的触摸面板。
此外，代替触摸面板，操作面板12a可以不同地设置，其通过对图像捕获部分或装置(例如摄像机)捕获的捕获图像进行图像处理来执行触摸操作的位置检测。详细地，能够提供以下配置。即，操作面板12a设置成面板，其具有半透明特性和用作触摸操作区域的表面12a1。提供光源12c，以从触摸操作区域12a侧通过操作面板12a，将预定波长的光线发射到接近操作面板12a的接近物体。此外，用作手图像捕获部分或装置的摄像机12b设置为图像捕获部分或装置，以通过至少捕获光源12c发射的光线被接近物体反射而产生的反射光线，从操作面板12a1的后表面12a2侧捕获接近物体的图像。此外，控制电路18在摄像机12b捕获的图像中确定反射强度超过预定阈值强度的光线的光线反射区域，因此，用作光线反射区域确定部分或装置。此外，控制电路18还用作输入接收部分或装置，该输入接收部分或装置基于该确定的光线反射区域(坐标信息)接收对光线反射区域的触摸输入。
在这种配置中，当在摄像机12b的捕获图像中确定到超出预定阈值强度的光线反射区域，就判定对确定的区域执行了触摸操作输入，并接收输入。即，摄像机12b的捕获图像不仅用于与上述例子相似的位置指示图像的显示，而且还用于确定光线反射区域。此外，在这种情况中，当确定的光线反射区域的面积大于预定阈值面积时，能够接收对光线反射区域的触摸操作输入。尽管操作信息输入部分12设置在所谓的中心台(例如，参见图2)的平坦部分中，但是该限制不是必须的。例如，操作信息输入部分12可以设置在以下位置。例如，上述操作信息输入部分12可以设置在包含仪器的仪器面板内的、靠近方向盘侧的位置(方向盘的右手侧或左手侧)。在方向盘周围，在不妨碍方向盘的操作的位置处设置辅助面板；上述操作信息输入部分12可以设置在该辅助面板中。因为操作信息输入部分12因此靠近方向盘侧，这种配置能够减小手从方向盘离开去进行操作时的负载。
将显示装置15设置在上述仪器面板的中心部分也不是必须的。例如，也可以设置在位于仪器面板中的视场不被方向盘阻碍的区域中。可选地，也能够采用平视显示器作为显示装置15，其将图像投影到车的挡风玻璃上。
当然，也能够组合每个元素，来实施每个例子。
上述过程、步骤、或装置的每个或任意组合能够实现为包括或不包括相关装置的功能的软件部分(例如，子程序)和/或硬件部分(例如，电路或集成电路)；此外，硬件部分能够构造在微型计算机的内部。此外，软件部分或多个软件部分的任意组合能够包括在软件程序中，其能够包含在计算机可读存储介质中，或能够通过通信网络下载和安装在计算机中。
2.第二实施例
2.1第一例子
下面参考附图，说明根据本发明的第二实施例的操作输入设备的第一例子。第二实施例的说明主要集中于与第一实施例的不同点，同时省略与第一实施例相同的地方。
(配置)
使用第二实施例的操作输入设备的车辆导航设备的配置主要显示在第一实施例的图1、图3和图69中。即，图69不包括图2所示的摄像机20。其它几乎相同。
图4至图7是说明面对操作面板12a的手(手指)H的图像捕获的图。尽管图4(c)所示的窗口显示在第一实施例中不执行，但是图4(c)所示的窗口显示可以在第二实施例中执行。
(位置指示图像的显示过程)
显示装置15中的位置指示图像的显示过程与第一实施例的显示过程几乎相同。不同点在于预定的手指状态或预定的手指形状。例如，在S2中，基于获得的手的图像，确定手的状态是否为预定的手指状态。在这种情况中，在第一实施例中，预定的手指状态采用包括在图75的例子2中的简单操作用手指状态。相反，在第二实施例中，预定的手指状态采用图75的例子1中的操作意图表示用手指状态。因此，在图9的S2和S3、图11的S24和S25、图12的S34和S35、图13的S46和S47、图14的S112、图17的S12和S13、图21的S64和S65中，每个预定的手指形状表示操作意图表示用手指状态。此外，相似地，在图18和图19中，每个预定的手指形状表示操作意图表示用手指形状。
此外，操作意图表示用手指状态是本例子中的简单操作用手指状态。例如，用作操作目标的手指的数量，即，与触摸操作区域12a大致平行地延伸的手指的数量是小数值，即，不超过1或2。此外，为了早输入，使用五个手指的操作是难度高的手指状态；因此，上述简单操作用手指状态不同于使用五个手指的手指状态。在本例子中，仅一个手指操作状态被确定为操作意图表示用手指状态，在前述一个手指操作状态中，在获得的图像中出现的并在触摸操作区域12a的区域方向(面积伸展的方向)上延伸的手指的数量仅一个。在这一点上，预定的手指形状能够说成与第一实施例的相同。
(触摸操作输入过程)
对操作信息输入部分12的操作面板(远程操作部分)12a的触摸操作输入过程与第一实施例的几乎相同。与上述显示过程的说明类似，不同点在于预定的手指状态。在第一实施例中，预定的手指状态采用包括在图75中的例子2的简单操作用手指状态。相反，在第二实施例中，预定的手指状态采用图75中的例子1中的操作意图表示用手指状态。
如在第一实施例中所述，关于触摸操作输入过程，当分配显示允许模式(输入允许模式)时，允许接收对操作面板12a的触摸操作输入；当分配显示禁止模式(输入禁止模式)时，禁止接收对操作面板12a的触摸操作输入。注意，在图9的位置指示图像显示过程中，当操作意图表示用手指状态被确定时，分配显示允许模式；当操作意图表示用手指状态没有被确定时，分配显示禁止模式。结果，当用户的手指状态不在操作意图表示用状态时，不接收对操作面板12a的触摸操作输入。在上述例子中，一个手指状态的的简单操作用手指状态被认为是操作意图表示用手指状态。
另外，在传统的操作输入设备中，在执行远程操作的手实际地显示在操作窗口上的情况中，当手靠近触摸面板12a(远程操作部分)时，手指仅如图4所示地显示。然而，一些用户用一个手的五个手指执行触摸操作输入，以便早点输入。在这种情况中，排成一行的几个手指显示在操作显示窗口中；因此，显示的手指和操作者实际想用于位置指示的手指之间的对应关系不再清楚，该问题很容易导致误操作。相反，根据上述例子的配置，当手指形状不是用作操作意图表示用手指状态的简单操作用手指状态时，不接收对操作面板12a的触摸操作输入。这能够克服上述误操作问题。
上面说明了本实施例的该例子；然而，这种例子仅仅是一种示例。本实施例不局限于上述例子，基于本领域技术人员的知识，在不脱离权利要求的范围的情况下，能够以各种方式实施。上述例子被认为是第一例子，下面说明不同的另外的例子。相同构造用相同符号表示，因而省略了说明。
2.2其它例子
第二实施例中的其它例子与第一实施例中的第二例子和随后的例子等同。与在显示过程的说明中相似地，不同点在于预定的手指状态。在第一实施例中，预定的手指状态采用包括在图75的例子2中的简单操作用手指状态。相反，在第二实施例中，预定的手指状态采用图75中的例子1的操作意图表示用手指状态。因此，通过用操作意图表示用手指状态替换简单操作手指状态，就能够解释其它例子。此外，在第二实施例中，基本配置不包括图69所示的摄像机20。如果包括如同第一实施例的摄像机20，则配置就变成等同。
此外，从防止误操作的方面而言，希望操作意图表示用手指状态限定成用户不常操作的手状态(手指状态)。从处理方面而言，希望限定成更容易识别的手状态(手指状态)。
3.第三实施例
3.1第一例子
下面，参考附图说明根据本发明的第三实施例的操作输入设备的例子。第三实施例的说明主要集中于与第一实施例的不同点，同时省略与第一实施例相同的地方。此外，附图几乎相同。因此，参考第一实施例中说明的附图来进行说明。
(配置)
使用第三实施例的操作输入设备的车辆导航设备的配置主要显示在第一实施例的图1、图3和图69中。即，图69不包括图2所示的摄像机20。其它几乎相同。
面对操作面板12a的手(手指)的图像捕获与第一实施例不同；在第三实施例中，使用图27、图7和图6说明。与第一实施例的不同如下。当几个手指面对操作面板12a时，这些手指与背景图像200B组合或叠加地显示，从而，在显示中，与对应于其它手指的位置指示图像200H的显示区域相比，强调与特定手指对应的位置指示图像200H的显示区域，如图27(c)所示。
(位置指示图像的显示过程)
下面，使用图25来说明显示装置15中的位置指示图像的显示过程。请注意，本过程以CPU执行存储在控制电路18的存储部分18d中的程序的方式被执行。
在T1中，控制电路18确定相对于触摸操作区域(远程操作区域)12a1面对触摸操作区域12a1的前面的手的手指(手指确定步骤)。这里，控制电路18基于摄像机12b捕获的捕获图像判断是否获得了操作者手指的图像。摄像机12b对从操作面板12a的后表面12a2侧经操作面板12a接近触摸操作区域(前表面)12a1的接近物体H(例如，操作者(例如驾驶员)的手)摄像(图像捕获步骤)。捕获图像总是输入控制电路18的图像处理部分18a。当接近物体H进入面对触摸操作区域12a1的位置时，自然包含接近物体H的捕获图像150被输入图像处理部分18a。输入的捕获图像150通过图像处理部分18a中的公知的图像分析技术进行分析。基于颜色等的不同，提取接近物体图像150H。然后基于提取的接近物体图像150H的形状判断在图像150H中是否包含人手指图像150F。从提取的手图像的整个形状中识别具有超过预定长度的轴线的大致线性圆柱形图像图案；当存在这种图案时，该圆柱形图像图案被识别成手指图像150F。判断结果输出到控制电路18。当判定手指图像被识别到时，过程进行到T2。当没有判定到时，本过程结束。
在T2中，控制电路18从获得的手指图像150F检测指尖。指尖的检测以从确定的手指图像150F确定指尖Q的方式来执行(指尖确定步骤)。在本例子中，指尖Q的确定以图29所示的方式执行。即，如图29(a)所示，首先确定手指图像150F。图像处理部分18a使包含确定的手指图像150F的手图像150H与被移动的手图像160H相互叠加，被移动的手图像160H是通过使手图像150H朝手指图像150F的纵向方向仅移动预定量而产生。确定手指图像150H、160H没有相互叠加的非叠加区域170。计算该非叠加区域170的重心，因此，计算到的重心的点确定为指尖(指尖位置)Q。指尖Q的确定方法可以与上述方法不同。例如，可以提取和平滑呈弧形的指尖轮廓，然后，将曲率中心确定为指尖Q。此外，指尖Q的确定方法不需要被确定成如上所述的手指的一点，直至手指的第一关节的区域也可以被确定为指尖(指尖区域)Q。
请注意，尽管T1和T2分别是手指确定过程和指尖确定过程的步骤，但是两个步骤可以同时执行。即，代替根据手指图像来确定指尖，可采用如下方法。根据摄像机12b捕获的捕获图像直接确定指尖，通过确定指尖来确定手指，因此，简化了过程。
在随后的T3中，控制电路18分配用于或估计将用于操作远程操作部分的操作手指P(用于位置指示的手指)(操作目标手指分配步骤)。详细地，反映各个确定的指尖在触摸操作区域的方向上的位置关系的位置关系信息被获得，作为分配手指信息(分配手指信息获取步骤)。前述触摸操作区域的方向是指触摸操作区域12a1伸展的方向，即与触摸操作区域12a1的法线正交的方向。因此，基于所获得的位置关系信息，在T1中所确定的手指中间，将操作目标手指P优先地分配给位置关系与位置关系的预定选择条件最适配的手指。
能够给一组几个手指分配操作目标手指P。相反，从执行位置指示以易于识别对接触型操作部分12a的操作而言，希望分配相对少数量的手指，例如一个手指或两个手指。在本例子中，分配一个手指。此外，用作分配目标的手指的种类是适用于位置指示的食指(请参见图27(c))、中指(参见图47)或食指和中指两个手指(参见图48)。在本例子中，假设分配食指。
按照图26的流程中所示的过程来执行本例子的过程T3。即，在T11中，如图29(c)中所示确定的指尖Q，在虚拟二维坐标系的平面180上确定。利用在平面180上限定的一个轴线X(见图30)，在上述两维坐标系中限定另一个一维坐标系。这里，确定的指尖Q投影到触摸操作区域12a1(在面对远程操作部分的方向上)。投影平面限定为上述平面180。在投影平面上指定一个轴线X，作为预定位置，因此限定一维坐标系。在T12中，平面180上的指尖Q的一维坐标系中的位置坐标(坐标值)XQ被确定。获得反映位置坐标XQ的轴坐标信息，作为位置相关信息。因此，在T13中，基于所获得的轴坐标信息，优选地，在图25的T1中确定的手指之中，给与轴坐标信息的预定选择条件最适配的手指分配操作目标手指P。
此外，本例子假定由乘客座椅处的乘客的右手执行操作。此外，轴线X被指定成给操作者的食指分配操作目标手指P。因此，在T11中，轴线X被指定成图30中所示的位置。在T12中，指尖Q被投影向指定的轴线X，并且计算各个投影位置的坐标值X1-X3。在T13中，在获得的坐标值X1-X3中，具有最大坐标值的指尖Q被确定。假设具有确定的指尖Q的手指是食指，因此，给该手指分配操作目标手指P。
此外，在本例子中，如图30所示，轴线X被限定为从捕获图像的(右食指不常在的)右下方向(右食指经常在的)左上方前进。例如，可以采用图31或图32所示的另一种指定。在图31的情况中，不妨假设具有最大坐标值的手指是中指。此外，如果已假定或判定操作手是右手和左手中的哪侧，就能够根据假定或判定的该侧的操作手判定与中指相邻的那个手指是食指。在图32的情况中，如果假定或判定操作手是右手和左手中的哪侧，最右或最左端的手指适于假定为食指。因此，就能够判定与食指相邻的手指是中指。
在本例子中，摄像机12b捕获的捕获图像是指尖Q向触摸操作区域12a1投影的投影平面180。因此，操作面板图像区域和上述投影平面180中的每一个被看作具有相同坐标系的两维平面。操作面板图像区域是反映触摸操作区域12a的区域，即整个捕获图像150区域，在该整个捕获图像150区域中，触摸操作区域12a位于摄像机12b捕获的捕获图像中。操作面板图像区域上的指尖Q的坐标位置能够直接用作投影平面180中的投影的指尖Q的坐标位置。在T3中，通过在虚拟地限定的投影平面180的坐标系上进行计算来分配操作目标手指P，因此，消除了图像处理的必要。即，图像数据不用于操作目标手指P的分配过程，因此，能够减少计算成本(运算量和存储量)。
返回到图25，在T4中，控制电路18以与显示窗口上的背景的图像组合或叠加的方式在显示窗口的与确定的指尖Q对应的位置上显示用于位置指示的图像200H，如图33(c)所示。注意，这种显示是以突出显示的方式执行的，其中，在位置指示图像200H内，与位置指示图像200H的与不是操作目标手指P的其它手指R对应的显示区域200R相比，位置指示图像200H的与分配的操作目标手指P对应的显示区域200P被相对地突出。因此，提高了操作目标手指P的可视性。用户能够容易地识别应当操作的手指，因此，还提高了可操作性。
在本例子中，首先，控制电路18确定显示装置15的显示窗口和被摄像的手指之间的位置关系。即，控制电路18确定被摄像的手指面对显示窗口上的哪个位置。在本例子中，在捕获图像150中，确定触摸操作区域12a的操作面板图像区域被摄像机12b捕获。这里，操作面板图像区域是反映触摸操作区域12a的区域，即捕获图像150的整个区域。同时，在操作面板图像区域上设定两维操作坐标系，并在操作坐标系上确定被摄像的手指的位置。在显示窗口上限定的两维显示坐标系中确定与操作坐标系上确定的手指的位置对应的显示装置15的显示窗口上的位置。
然后，在显示装置15的显示窗口上的被确定的位置处，位置指示图像200H叠加地显示在主图像200B对应的位置坐标上，如图33(a)所示。以按预定时间t1逐步地改变突出等级(突出程度)的方式，执行上述位置指示图像200H(200P，200R)的突出显示，如图61所示。即，在改变突出显示的过程中，会出现改变中的中间状态，如图33(b)所示。在经历突出显示的中间状态后，完成突出显示的改变，如图33(c)。对于在突出显示中使不被确定的手指不太可见的情况，如果使不被确定的手指突然地不太可见，会造成难以识别强调的是哪个手指。因此，一开始，在突出显示中所有的手指都被相似地显示，如图33(a)所示。然后逐步改变突出等级。因此，用户能够容易地将自己的手指与显示窗口上显示的手指关联起来。
此外，对位置指示图像200H的手指显示区域200P或200R的轮廓的全部、轮廓线或内部执行关于颜色变化(参见图63)、对比度变化(参见图63：可选地，操作目标手指之外的其它手指可以去除)、形状变化(图64：作为一个例子，操作目标手指P变得更粗)、切换成另一图像、透光度(参见图27)、闪烁(参见图65)或前述任何组合的突出显示。在本例子中，对位置指示图像200H的处理过的图像的轮廓的内部执行关于透光度的突出显示。此外，在突出显示中，位置指示图像200H的与操作目标手指P对应的显示区域200P的突出状态保持不变，而位置指示图像200H的与其余手指R对应的显示区域200R的突出等级降低。也可以去除与其余手指R对应的位置指示图像区域200R。考虑到可操作性，希望位置指示图像区域200R被保持成可相对容易地识别，尽管突出等级低于完全去除的情况。
此外，可以在T3中分配操作目标手指P之后立刻开始T4中的突出显示，如图61所示，或者可以在自T3中分配操作目标手指P经历预定时间之后开始T4中的突出显示，如图62所示。特别是，在突出显示不是逐步实施的配置中，优选选择后者。
T4结束，然后，本过程结束。注意，即使在本过程结束之后，还以预定时间间隔重复地执行本过程。在面对操作面板12a的手移动的同时，显示装置15的显示窗口上显示的位置指示图像200H的显示位置也对应地移动。当手移动到突出改变的中间时，位置指示图像200H(200P和200R)的显示位置移动，同时继续突出改变。当在突出改变完成之后手移动时，位置指示图像200H(200P和200R)的显示位置以固定的突出状态移动。
注意，位置指示图像的显示过程包括：手指确定步骤、指尖确定步骤、操作目标手指分配步骤、位置指示图像突出显示步骤和分配手指信息获取步骤。控制电路18使用CPU执行前述过程，因而用作执行每个步骤的部分或装置(手指确定部分或装置、指尖确定部分或装置、操作目标手指分配部分或装置、位置指示图像突出显示部分或装置、分配手指信息获取部分或装置)。
(触摸操作输入过程)
最后，使用图74说明对操作信息输入部分12的操作面板12a的触摸操作输入过程。请注意，本过程也以CPU执行存储在控制电路18的存储部分18d中程序的方式执行。
在T101中，控制电路18判断对操作面板12a的触摸操作的存在或不存在。操作面板12a配置成触摸面板。当触摸操作发生时，操作信号输入到控制电路18。控制电路18基于该输入判断存在或不存在。当对操作面板12a的触摸操作发生时，过程进行到T102。当没有触摸操作发生时，本过程结束。
在随后的T102中，对操作面板12a的触摸操作位置，即，在触摸操作区域12a1上的触摸操作位置被确定。操作面板12a配置成触摸面板。因此，当触摸操作发生时，操作信号输入到控制电路18。该操作信号将该触摸操作位置反映成在触摸操作区域12a1上限定的操作坐标系上的坐标信息。控制电路18基于该操作信号确定触摸操作位置。
在随后的T103中，控制电路18执行与操作面板12a上的触摸操作位置对应的控制。详细地，操作面板12a的触摸操作区域12a1的每个位置对应于显示装置15的显示窗口上的位置。执行控制内容，该控制内容在显示装置15的显示窗口的位置处判定，该显示装置15的显示窗口的位置与T103中确定的触摸操作区域12a1的位置对应。详细地，控制电路18输出用于执行控制内容的控制信号。假设T103中确定的触摸操作区域12a1上的位置对应于显示装置15的显示窗口上显示的开关图像200I。这里，控制电路18输出用于执行分配给开关图像的控制内容的控制信号。
T103结束。然后，本过程结束。注意，即使在本过程结束之后，本过程以预定时间间隔重复执行。控制电路18执行根据实施触摸操作的位置的控制内容。或者，另一控制电路(例如ECU 100)对应地执行控制内容。
请注意，控制电路18使用CPU执行触摸操作输入过程，因此，用作输入接收部分或装置和操作输入控制部分或装置。
上面说明了第三实施例的例子；然而，这例子仅仅是一个例子。第三实施例不局限于上述例子，对于本领域的技术人员，在不脱离权利要求的范围的情况下，能够以各种方式变化。
例如，在上述例子中，该配置通过车辆操作输入设备实现第三实施例的显示方法。操作输入设备不局限于车辆用途。例如，它可以是用于通常的家用电器的操作输入设备。此外，操作输入设备不用于执行装置的操作，而是可以是常用的具有窗口显示(作为主要功能)的显示装置。
上述例子视作第一例子，下面说明不同的另外例子。相同配置用相同标记表示，因此，省略说明。
3.1.1第一例子的变化例
第一例子能够以各种方式变化。每个变化例与第一实施例的第十例子的第二变化例至第十二变化例等同，因此省略对它们的说明。
3.2第二例子
下面说明本发明的第三实施例的第二例子。
在上述例子中，上述操作输入设备的远程操作部分设置在用户伸手能及的地方，因此，出现用户意外触摸操作部分的问题，因此，造成不正确的操作输入。特别是，当操作部分是触摸操作型时，意外触摸可能会造成输入。为了解决该问题，可以提供下面的配置。在预定的手指状态被确定为操作者的手指状态的情况中，在上述第一例子中，仅在预定的显示允许时间期间执行位置指示图像200H的突出显示。相反，在其它情况中，即使手处于面对触摸操作区域12a1的状态，位置指示图像200H也不显示，如图5所示。详细地，如图9所示地执行位置指示图像显示过程。请注意，本过程也以CPU执行存储在控制电路18的存储部分18d中的程序的方式执行。
在S1中，控制电路18基于摄像机12b捕获的捕获图像来判断操作者的手的图像是否被获取。摄像机12b捕获从操作面板12a的后表面12a2侧经操作面板12a接近触摸操作区域(前表面)12a1的接近物体H(例如操作者(例如驾驶员)的手)的图像(图像捕获步骤)。捕获图像总是输入控制电路18的图像处理部分18a中。当接近物体H进入面对触摸操作区域12a1的位置时，自然包含接近物体H的捕获图像150被输入到图像处理部分18a中。输入的捕获图像150在图像处理部分18a中利用公知的图像分析技术来分析。基于颜色等的不同，接近物体图像150H被提取。并且根据提取的接近物体图像150H的形状来判断图像150H是否为人手的图像。判断结果输入到控制电路18。当判定手图像被识别时，过程进入步骤S2。当判定不是时，本过程结束。
请注意，在本例子中，设置光源12c，并且摄像机12b通过捕获光源12c的反射光线来捕获图像。因此，反射光线强度反映在颜色灰度上，该颜色灰度出现在捕获图像150中。在捕获具有高强度反射光线的地方，灰度等级为高。即，本例子的摄像机12b捕获的捕获图像150是多灰度等级的捕获图像(在本例子中是黑白捕获图像)。图像处理部分18a使用预定的灰度阈值对每个像素的灰度等级应用二进制处理。如图27、图7、图6和图5的(b)所示，超出灰度阈值的区域被提取成接近物体图像150H。此外，图像处理部分18a从提取的接近物体图像150H确定人手的图像。为此目的，接近物体图像150H的形状与存储在控制电路18的存储部分18d中的手形状图案比较。与该图案一致的接近物体图像150H被识别为手的图像(手图像识别部分或装置)。
在步骤S2中，基于获取的手的图像，确定手的状态是否为预定的手指状态(预定的手指状态确定部分或装置)。这里，确定是否为预定的操作意图表示用手指状态(操作意图表示用手指状态确定部分或装置)。在本例子中，操作意图表示用手指状态是简单操作用手指状态。例如，用作操作目标的手指的数量，即，与触摸操作区域12a大致平行地延伸的手指的数量是不超过1或2的小数值。此外，为了早输入而使用五个手指的操作是难度高的手指状态。上述简单操作用手指状态不同于使用五个手指的手指状态。在本例子中，操作意图表示用手指状态被确定为单个手指操作状态，在前述单个手指操作状态中，在获得的图像中出现并在触摸操作区域12a的面积方向(面积伸展的方向)上延伸的手指的数量仅一个。详细地，在S1中，图像处理部分18a从提取的手图像的整个形状中识别具有超过预定长度的轴线的大致线性圆柱形图像图案；当存在这种圆柱形图像图案时，其被识别和确定为手指图像150F(手指识别部分或装置)。确定的结果输出到控制电路18。控制电路18确定手指图像150F的数量(手指数量确定部分或装置：手形状识别部分或装置)。在数量为1的情况中，上述状态被确定为操作意图表示用手指状态(操作意图表示用手指形状)。
在下面的步骤S3中，基于输出结果判断当前手指状态是否为预定的手指状态(这里是操作意图表示用手指状态)。当判定为预定的手指状态时，过程进行到S4。在步骤S4中，给显示模式分配显示允许模式，该显示允许模式允许位置指示图像的显示。然后过程进行到S5。请注意，分配的显示模式存储在预定存储区域(显示模式存储部分)，该预定存储区域设置在控制电路18的存储部分18d中。在S4中，显示允许模式存储在存储区域中。
在S5中。控制电路18确定显示装置15的显示窗口与被摄像的手之间的位置关系。即，控制电路18确定被摄像的手的图像H面对显示窗口上的哪个位置。在本例子中，触摸操作区域12a位于其中的操作面板图像区域在摄像机12b捕获的捕获图像上被确定。同时，触摸操作区域12a的两维操作坐标系设定在操作面板图像区域上，并且捕获的手指图像H的位置确定在操作坐标系上。在显示装置15的显示窗口上限定的显示坐标系中，与确定在操作坐标系上的手图像H的位置对应的位置被确定。在本例子中，图27、图7、图6、图5的(b)中所示的捕获图像(二进制图像)150用作捕获整个触摸操作区域12a1的操作面板图像区域。
此外，在S6中，如图6和图7的(c)所示，位置指示图像200H显示在与显示装置15(位置指示图像显示部分或装置)的显示窗口的前述操作面板图像区域上确定的手图像H对应的位置上。在本例子中，手图像150H的外形被清楚地显示。轮廓内侧变化成半透明状态的处理过的图像200H被产生并叠加在与显示装置15的显示窗口上显示的主图像200B对应的坐标位置上。此外，在S6中，执行第一例子中的位置指示图像的突出显示过程(图25)。与其余手指相比，确定为操作目标手指P的手指的位置指示图像200H在显示窗口中被相对地突出。
这里，假设被突出的操作目标手指P被确定为食指。因此，如果存在一个手指状态，但是对应延伸的手指不是食指，那么与该手指对应的位置指示图像就以非突出的状态显示。相反，当处于一个手指状态的手指是食指时，该食指以突出的状态显示，但是处于非突出状态的其它手指不显示，如图7和图6的(c)所示。
相反，在S3中，当判定当前手指状态不是预定的手指状态(这里是操作意图表示用手指状态)，过程进行到S7。在S7中，给显示模式分配显示禁止模式，该显示禁止模式禁止位置指示图像的显示。因此，不执行在S5或S6中执行的位置指示图像200H的显示，并且，例如，如图5(c)所示，位置指示图像200H不显示在显示装置15的显示窗口上。请注意，显示禁止模式存储在预定存储区域(显示模式存储部分)，该预定存储区域设置在控制电路18的存储部分18d中。
S6和S7结束，然后，本过程结束。请注意，即使在本过程结束之后，本过程以预定时间间隔重复执行。当面对操作面板12a的手以预定的手指状态移动时，显示在显示装置15的显示窗口上的位置指示图像(处理过的图像)200H的显示位置也移动。
在位置指示图像的显示过程中，如图18所示，显示允许时间期间限定成直至预定的手指状态变成不被确定时的时间期间。即，在显示过程中，当预定的手指状态被确定时，分配显示允许模式，当预定的手指状态不被确定时，分配显示禁止模式。请注意，控制电路18用作通过执行位置指示图像的显示过程的显示模式分配部分或装置。
在传统的操作输入设备中，在当手靠近触摸面板12a(远程操作部分)时执行远程操作的手实际地显示在操作窗口的情况中，才会发生仅显示手指的状态。然而，一些用户用一个手的五个手指执行触摸操作输入，以便早点输入。这里，排成一排的几个手指显示在操作显示窗口中；因此，显示的手指和操作者实际想用于位置指示的手指之间的对应关系不再清楚，该问题很容易导致误操作。同时，在上述例子中，当不是预定的手指状态时，配置被设置成不接收对操作面板12a的触摸操作输入。这能够克服上述误操作问题。
3.3第三例子
下面说明本发明的第三实施例的第三例子。
在第二例子中，对操作信息输入装置12的操作面板(远程操作部分)12a的触摸操作输入过程能够设置成如图10的过程，以代替如图74的过程。请注意，本过程也是以CPU执行存储在控制电路18的存储部分18d中的程序的方式执行。
图10的触摸操作输入过程包括操作输入接收控制，在操作输入接收控制中，当显示允许模式被分配(控制电路18分配输入允许模式)时，允许接收对操作面板12a的触摸操作输入。当显示禁止模式被分配时(控制电路18分配输入禁止模式)时，禁止接收对操作面板12a的触摸操作输入。请注意，控制电路18通过执行触摸操作输入过程用作操作输入控制部分或装置。
在S101中，控制电路18判断对操作面板12a的触摸操作的存在或不存在。操作面板12a配置成触摸面板。因此，当触摸操作发生时，操作信号输入到控制电路18。控制电路18基于该输入判断存在或不存在。当对操作面板12a的触摸操作发生时，过程进行到S102。当没有触摸操作发生时，本过程结束。
在S102中，控制电路18判断当前显示模式是否为显示允许模式。当前显示模式存储在预定存储区域(显示模式存储部分)，该预定存储区域设置在控制电路18的存储部分18d中。因此，基于存储的信息对显示模式进行判断。当判定当前显示模式是显示允许模式时，过程进行到S103。当判定当前显示模式不是显示允许模式时，即，当判定当前显示模式是显示禁止模式时，本过程结束。
在S103中，对操作面板12a的触摸操作位置，即，在触摸操作区域12a1上的触摸操作位置被确定。操作面板12a配置成触摸面板。因此，当触摸操作发生时，操作信号输入到控制电路18。该操作信号将该触摸操作位置反映成在触摸操作区域12a1上限定的操作坐标系上的坐标信息。控制电路18基于该操作信号确定触摸操作位置。
在随后的S104中，控制电路18执行与操作面板12a上的触摸操作位置对应的控制。详细地，操作面板12a的触摸操作区域12a1的每个位置对应于显示装置15的显示窗口上的位置。执行控制内容，该控制内容在显示装置15的显示窗口的位置处判定，该显示装置15的显示窗口的位置与S103中确定的触摸操作区域12a1上的位置对应。详细地，控制电路18输出用于执行控制内容的控制信号。假设S103中确定的触摸操作区域12a1上的位置对应于显示装置15的显示窗口上显示的开关图像200I。这里，控制电路18输出用于执行分配给开关图像的控制内容的控制信号。
S104结束。然后，本过程结束。请注意，即使在本过程结束之后，本过程以预定时间间隔重复执行。控制电路18执行根据实施触摸操作的位置的控制内容。另外，另一控制电路(例如ECU 100)对应地执行控制内容。
在本触摸操作输入过程中，当显示允许模式被分配(输入允许模式)时，对操作面板12a的触摸操作输入被允许。当显示禁止模式被分配(输入禁止模式)时，对操作面板12a的触摸操作输入被禁止。这里，在图9的位置指示图像显示过程中，当预定的手指状态被确定时，分配显示允许模式；当预定的手指状态没有被确定时，分配显示禁止模式。结果，当用户的手指状态不是预定的手指状态时，对操作面板12a的触摸操作输入不被接收。这里，一个手指状态的简单操作用手指状态是预定的手指状态(这里的操作意图表示用手指状态)。
3.4第四例子
下面说明本发明的第三实施例的第四例子。
在上述第二和第三例子中，显示允许时间期间被限定成直至预定的手指状态变成不被确定的状态时的时间期间，如图18所示。相反，可以提供如下的另一种配置。显示允许时间期间可以限定成如图19所示的预定时间。即，显示允许时间期间被限定成从显示允许模式被分配到经过预定时间(禁止模式恢复时间)的时间期间。当经过禁止模式恢复时间时，显示模式返回到显示禁止模式。在这种配置中，能够显示位置指示图像的周期(显示允许模式)由触发器启动，该触发器是用户指示确定的手指状态。然后，用户能够执行对触摸操作区域12a1的位置指示输入(触摸操作)，同时看见该位置指示图像。相反，当用户没有指示任何确定的手指状态时，不显示该位置指示图像。因此，用于执行位置指示输入的触摸操作不能够顺利地执行。即，仅当用户清楚地表示出执行位置指示输入的意图时，才允许显示位置指示图像。因此，通过确定用户的手指状态来确认意图的表示。这里，当分配显示允许模式时，与预定的手指状态不同的手指状态的图像也能够显示。详细地，图9中表示的位置指示显示过程能够实现成如图17所示的过程。
在S10中，控制电路18判断是否基于摄像机12b捕获的捕获图像获取到操作者的手的图像。这个过程与图9的S1中的过程相似。
在S11中，控制电路18判断当前显示模式是否为显示允许模式。当前显示模式存储在控制电路18的存储部分18d中设置的预定存储区域(显示模式存储部分)中。因此，基于存储的显示模式的信息进行判断。当判定当前显示模式为显示禁止模式时，过程进行到S12。当判定当前显示模式不是显示禁止模式时，即，当判定它是显示允许模式时，过程进行到S19。
在S12中，基于获取的手的图像，确定手的状态是否为预定的手指状态(这里的操作意图表示用手指状态)，(预定的手指状态确定部分或装置：操作意图表示用手指状态确定部分或装置)。该过程与图9的S2中的过程相似。当在S13中判定当前手指状态是预定的手指状态时，过程进行到S14。
在S14中，给显示模式分配允许显示位置指示图像的显示允许模式，然后过程进行到S15。请注意，显示允许模式存储在控制电路18的存储部分18d中设置的预定存储区域(显示模式存储部分)中。
在随后的S15中，设置在控制电路18中的定时器18b启动，开始时间计数，并且过程进行到S16。时间以累加的方式存储在计数器18c中。计数器18c的计数值在定时器启动之前复位。
在S16中，控制电路18确定显示装置15的显示窗口和被摄像的手之间的位置关系。S16中的该过程与图9的S5中的过程相似。在随后的S17中，位置指示图像200H叠加地显示在主图像200B上，主图像200B当前显示在显示装置15(位置指示图像突出显示部分或装置)的显示窗口中，如图27、图7和图6的(c)所示。S17中的该过程是与图9的S6相似的图25所示的位置指示图像的突出显示过程。这里，在第二实施例中，图27(c)所示的位置指示图像200H也在S16和S17中显示。即，在第四例子中，只要分配显示允许模式，就允许手图像(手指图像)的叠加显示(或组合显示)。只要图像至少说明基于手图像的手指的指示位置，就能够允许具有任何形状的位置指示图像200H的显示。因此，当分配显示允许模式时，可以允许具有图27(c)所示的几个手指的手指构形的叠加显示。然而，与其余手指相比，操作目标手指P被强调地显示。
相反，当在S13中判定当前手指状态不是预定的手指状态(这里的操作意图表示用手指状态)时，过程进行到S18。在S18中分配显示禁止模式，该显示禁止模式存储在控制电路18的存储部分18d中设置的预定存储区域(显示模式存储部分)中。
本过程通过S17和S18的结束而结束。即使在本过程结束之后，本过程以预定时间间隔重复地执行。只要获得手图像并且继续为显示允许模式，继续S16和S17中的位置指示图像的显示允许状态。即，在这个连续的时间期间，即使手指状态不是预定的手指状态，也基于此时的手指状态显示位置指示图像。相反，当在S19中判定在S15中启动的定时器18b经过预定时间时，在S20中强制分配显示禁止模式，并且本过程结束。在S20中的过程与S18中的过程相似。
在本例子中，用户通过手的形状(操作意图表示用手指状态)表示操作的意图；当该意图被表示时，仅在固定的时间期间分配显示允许模式。操作意图表示用手指状态不仅仅局限于简单操作用手指状态，如一个手指状态(例如，参考图6和图7)，能够变化地分配为例如表示两个手指延伸的两个手指延伸状态(参考图70)，表示三个手指延伸的三个手指延伸状态(参考图71)或表示四个手指延伸的四个手指延伸状态(参考图72)。此外，甚至在分配的一个手指状态中，仅当目标手指是食指(参考图6和图7)时，该一个手指状态可以分配操作意图表示用手指状态；或者，仅当目标手指是中指(参考图68)时，这一个手指状态才可以分配成操作意图表示用手指状态。此外，在两个手指状态中，仅当目标手指是食指和中指(参考图70)时，两个手指状态才可以被分配操作意图表示用手指状态。此外，在关于处于操作意图表示用手指状态的手指的上述限定中，可以采用一种限定，也可以采用几种限定的组合。从防止误操作的方面而言，希望用户不常表现的手状态被分配操作意图表示用手指状态。此外，从处理的方面而言，希望限定更容易识别的手状态(手指状态)。
3.5第五例子
下面说明本发明的第三实施例的第五例子。
在图9的S2中预定的手指状态(例如简单操作用手指状态和操作意图表示用手指状态)的确定不需要局限于基于捕获图像来执行的上述过程。例如，在预定时间期间由对触摸操作区域12a1(远程操作区域)的触摸操作引起的几个输入中，控制电路18确定由对触摸操作区域12a1上的不同位置的触摸操作引起的输入的数量(操作数量确定部分或装置)。当在预定时间期间的操作数量是预定数量(用于简单操作用的数量或者用于操作意图表示用的数量)时，可以确定预定的手指状态。在当例如在1秒内(或同时)三个触摸操作作用到相互不同的三个位置的情况中，可以确定存在三个手指。当手指的预定数量限定为三个时，通过存在三个手指的上述确定，预定的手指状态可以被确定。详细地，如图20所示，在分配显示禁止模式(也是输入禁止模式)的情况下，对触摸操作区域12a1进行触摸操作。这里，控制电路18激活自带定时器18b和启动时钟定时以累加计数器18c。因此，控制电路18对包括时钟定时开始时的触摸操作的触摸操作所引起的输入的数量进行计数。请注意，当对触摸操作区域12a1进行触摸操作时，获得触摸位置信息(例如，触摸操作区域12a1上的位置坐标)。这里，对触摸操作区域12a1上的相同位置的再次触摸操作不再作为输入计数。此外，当直到经过预定时间期间t0时的输入的数量与限定预定的手指状态的手指的预定数量相同时，操作者的手的当前手指状态就确定成预定的手指状态。仅在从当前手指状态被确定时开始的预定的显示允许时间期间，才分配显示允许模式(还是输入允许模式)。当显示允许时间期间结束时，再次分配显示禁止模式(还是输入禁止模式)。
3.6第六例子
下面说明本发明的第三实施例的第六例子。
在图10所示的触摸操作输入过程中，当分配显示允许模式时，执行与对远程触摸操作区域12a的触摸操作输入对应的控制内容。相反，当对应的控制内容的执行被允许并且显示禁止模式被分配时，与对远程触摸操作区域12a的触摸操作输入对应的控制内容不被执行，即，对应的控制内容的执行被禁止。相反，可以提供以下配置。即，当没有分配显示允许模式，并且确定是预定的手指状态(这里是操作意图表示用手指状态)时，允许执行与对远程触摸操作区域12a的触摸操作输入对应的控制内容。相反，当没有分配显示禁止模式，并且确定为不是预定的手指状态时，禁止执行与对远程触摸操作区域12a的触摸操作输入对应的控制内容。
详细地，能够提供如下配置。当预定的手指状态(这里是操作意图表示用手指状态)被确定时，允许接收对远程触摸操作区域12a的触摸操作输入。当预定的手指状态没有被确定时，执行禁止接收对远程触摸操作区域12a的触摸操作输入的操作输入接收控制。下面，使用图14说明该过程的具体流程的一个例子。
在S111中，控制电路18判断对操作面板12a的触摸操作的存在或不存在。S111中的过程与图10的S101中的过程相似。在S112中，控制电路18判断当前手指状态是否处于预定的手指状态(这里是操作意图表示用手指状态)。在本例子中，与图9的S2或图17的S12的过程相似，除了确定当前手指状态是否为预定的手指状态的过程，在当前手指状态被确定之后，还执行将确定的当前手指状态存储在控制电路18的存储部分18d的预定存储区域(手指状态存储部分)中的过程。并且在S112中，基于存储在存储区域(手指状态存储部分)中的手指状态信息，判断当前手指状态是否为预定的手指状态。当判定是预定的手指状态时，过程进行到S113。当判定为不是预定的手指状态时，本过程结束。
在S113中，确定对操作面板12a的触摸操作位置，即在触摸操作区域12a1上的触摸操作位置。该过程与图10的S103中的过程相似。在随后的S114中，控制电路执行与操作面板12a上的触摸操作位置对应的控制。该过程与图10的S104中的过程相似。尽管本过程通过S114结束而结束，但是，即使在本过程结束后，还以预定时间间隔重复执行本过程。
执行图14所示的触摸操作输入过程的例子中的位置指示图像显示过程可以是图9、图17和后面将提及的位置指示图像显示过程中的任一个。
3.7第七例子
下面说明本发明的第三实施例的第七例子。
上述例子配置如下。当预定的手指状态被确定时，分配允许显示位置指示图像的显示允许模式；当预定的手指状态没有被确定时，分配禁止显示位置指示图像的显示禁止模式。可选地，可以提供以下配置。当车辆处于预定行驶状态时，执行上述显示模式切换控制。当车辆不处于预定行驶状态时，给显示模式分配显示允许模式。在这种情况中，需要包括车辆行驶状态检测部分或装置。图11显示这种过程的例子。这里，该配置包括连接到控制电路18的车速传感器30(车辆速度检测部分或装置)，该车速传感器30检测车辆的车速。当车辆处于超出预定的车速水平(车速阈值)的车辆行驶状态时，通过控制电路18执行显示模式切换控制。当车辆不处于超出预定的车速水平的车辆行驶状态时，给显示模式分配显示允许模式，而不管手指状态。
详细地，在S21中，控制电路18判断操作者的手的图像是否被获取。这与图9的S1中的过程相似。当操作者的手的图像被获取时，过程进行到S22。当操作者的手的图像没有被获取时，本过程结束。
在S22中，确定车辆的当前行驶状态。即，判断车辆是否处于超出预定的车速水平的行驶状态。控制电路18在预定的存储部分18d(例如ROM)中预先存储车速阈值。判断车速传感器30检测的车速是否超出车速阈值。当超出时，上述车辆行驶状态被确定。当不超出时，确定为低速行驶状态(包括停止状态)。这里，上述车速阈值固定地限定成例如5km/h。在S23中，判断车辆当前是否处于上述车辆行驶状态。当判定处于上述车辆行驶状态时，过程进行到S24。相反，当判定车辆不处于上述行驶状态时(当判定车辆处于包括停止状态的低速状态时)，过程进行到S26。
在S24中，确定操作者的手(操作手)是否处于预定的手指状态(这里是操作意图表示用手指状态)。用类似于图9的S2中的过程来执行预定的手指状态的确定。当在随后的S25中判定当前手指状态是预定的手指状态时，过程进行到S26。当判定不是预定的手指状态时，该过程进行到S29。
在S26中，给显示模式分配允许显示位置指示图像的显示允许模式。请注意，显示允许模式存储在预定存储区域(显示模式存储部分)，该预定存储区域设置在控制电路18的存储部分18d中。在随后的S27中，控制电路18确定显示装置15的显示窗口和被摄像的手之间的位置关系。该过程与图9的S5中的过程相似。在随后的S28中，位置指示图像200H叠加地显示在主图像200B上，该主图像200B当前显示在显示装置15(位置指示图像显示部分或装置)的显示窗口中。该过程与图9的S6的过程相似。
详细地，当在S23中判定车辆不处于预定的行驶状态(当判定车辆处于包括停止状态的低速状态)时，在S27和S28的过程中，显示基于手指状态的位置指示图像200H，而不管操作者的手指状态(参见图27、图7和图6的(c))。相反，当在S22中判定车辆处于该车辆行驶状态，并且在S25中判定当前操作者的手指状态是预定的手指状态(这里是操作意图表示用手指状态)时，通过S27和S28中的过程显示基于操作者执行的预定的手指状态的位置指示图像200H(参见图7和图6的(c))。
相反，当在S25中判定当前手指状态不是预定的手指状态(这里是操作意图表示用手指状态)时，过程进行到S29。在S29中，给显示模式分配禁止显示位置指示窗口200的显示禁止模式。这存储在控制电路18的存储部分18d的预定存储区域(显示模式存储部分)中。因此，不执行在S27和S28中执行的位置指示图像的显示。例如，如图5(c)所示，位置指示图像200H不显示在显示装置15的显示窗口中。
本过程随S28和S29的结束而结束。请注意，即使在本过程结束后，以预定时间间隔重复执行本过程。
此外，在本例子中，上述预定的车速水平(车速阈值)限定成5km/h。在不超出上述车速水平的车辆的低速行驶状态中，总是分配显示允许模式。请注意，如图16所示，上述车速水平可以限定在大于0km/h且小于5km的车速阈值范围内；或在大于或等于5km/h且小于10km的车速阈值范围(车辆的减速行驶状态)内。车速水平可以限定成0km/h，因此，在车辆停止状态下可以总是分配显示允许模式。此外，车速水平可以限定在等于或大于10km/h且小于30km的车速范围(车低速行驶状态)中，等于或大于30km/h且小于60km/h的车速范围(车中速行驶状态)中，或等于或大于60km/h的车速范围(车高速行驶状态)中。
此外，在图11的过程中，当车辆处于预定的车辆行驶状态(速度大于车速阈值)时，执行上述显示模式切换控制。当车辆不处于预定的车辆行驶状态时(当车辆的速度小于车速阈值时)，固定地分配显示允许模式。当车辆处于预定的车辆行驶状态(速度大于车速阈值)时，可以固定地分配显示禁止模式。当车辆不处于预定的车辆行驶状态时(当车辆的速度小于车速阈值时)，可以执行上述显示模式切换控制。
3.8第八例子
下面说明本发明的第三实施例的第八例子。
在上述例子中，当预定的手指状态被确定时，分配允许显示位置指示图像的显示允许模式。当预定的手指状态没有被确定时，分配禁止显示位置指示图像的显示禁止模式。可选地，可以提供如下配置。当驾驶员被确定成触摸操作区域12a1的操作者时，可以执行显示模式切换控制。当车辆不处于上述车辆行驶状态时，可以给显示模式分配显示允许模式，而不管手指状态。这里，使用图12说明该过程的具体流程。
详细地，在S31中，控制电路18判断操作者的手的图像是否被获取。这与图9的S1中的过程相似。当操作者的手的图像被获取时，过程进行到S32。当操作者的手的图像没有被获取时，本过程结束。
在S32中，确定手面对操作面板12a的操作者是否为驾驶员(操作者确定部分或装置)。例如，能够基于例如图15所示的摄像机20的捕获图像(图8)来执行操作者的确定。详细地，根据摄像机20的捕获图像来确定手臂的延伸方向，并且判断该方向是否从驾驶员座椅2D侧延伸来，从而确定操作者是否为驾驶员。在S33中，判断操作面板12a的操作者是否为驾驶员。当判定操作者是驾驶员时，过程进行到S34。相反，当在S33中判定操作面板12a的操作者是驾驶员之外的其它人，过程进行到S36中。
在S34中，确定驾驶员(操作者)的手(操作手)是否处于预定的手指状态(这里是操作意图表示用手指状态)。利用与图9的S2中相似的过程来执行预定的手指状态的确定。在接下来的S35中，判定当前手指状态是否为预定的手指状态。当判定当前手指状态是预定的手指状态时，过程进行到S36。当判定不是预定的手指状态时，过程进行到S39。
在S36中，给显示模式分配允许显示位置指示图像的显示允许模式。请注意，显示允许模式存储在预定存储区域(显示模式存储部分)，该预定存储区域设置在控制电路18的存储部分18d中。在接下来的S37中，控制电路18确定显示装置15的显示窗口和被摄像的手之间的位置关系。该过程与图9的S5中的过程相似。在随后的S38中，位置指示图像200H叠加地显示在主图像200B上，该主图像200B当前显示在显示装置15(位置指示图像显示部分或装置)的显示窗口中。该过程与图9的S6的过程相似。
详细地，当在S33中确定操作面板12a的操作者是驾驶员之外的其它人时，在过程S37和S38中显示基于手指状态的位置指示图像200H，而不管操作者的手指状态如何(参考图27、图6和图7的(c))。相反，当在S32中确定操作面板12a的操作者是驾驶员，并且在S35中判定手指状态是预定的手指状态(这里是操作意图表示用手指状态)时，通过S37和S38的过程显示基于驾驶员执行的预定的手指状态的位置指示图像200H(参考图6和图7的(c))。
相反，当在S35中判定当前手指状态不是预定的手指状态(这里是操作意图表示用手指状态)时，过程进行到S39。在S39中，给显示模式分配禁止显示位置指示窗口200的显示禁止模式。这存储在控制电路18的存储部分18d的预定存储区域(显示模式存储部分)中。因此，不执行在S37和S38中执行的位置指示图像200H的显示。并且，例如，如图5(c)所示，位置指示图像200H不显示在显示装置15的显示窗口中。
S38和S39结束，然后，本过程结束。请注意，即使在本过程结束之后，以预定时间间隔重复执行本过程。
3.9第九例子
下面说明本发明的第三实施例的第九例子。
本例子用图11和图12的组合形成的过程代替了上述显示过程。即，检测车辆的行驶状态(例如，车辆的车速)，此外，还确定远程触摸操作区域12a的操作者是否为驾驶员。因此，车辆被判定为在预定的行驶状态(例如，不是低于预定的车速水平的低速行驶状态的行驶状态，前述低速行驶状态包括停止状态)，并且远程触摸操作区域12a的操作者被确定为驾驶员。在这种情况中，仅当预定的手指状态被确定时，才允许显示位置指示图像200H，而当预定的手指状态没有被确定时，禁止显示位置指示图像200H。当车辆被判定为不处于上述预定的行驶状态时，或者当确定的远程触摸操作区域12a的操作者不是驾驶员时，或者当前述两个否定条件同时发生时，能够允许显示位置指示图像200H，而不管确定的手指状态。下面用图13来说明该过程的具体流程。
即，当在S41中获得远程触摸操作区域12a的操作者的手图像时(与图9的S1中的过程相似)，在S42和S43中判断车辆是否处于预定的行驶状态(这与图11的S22，S23中的过程相似)。当处于预定的行驶状态时，过程进行到S44和S45，在S44和S45处判断远程触摸操作区域12a的操作者是否为驾驶员(这与图12的S32，33中的过程相似)。
当在S42至S45中车辆被判定处于所述行驶状态并且远程触摸操作区域12a的操作者被判定为驾驶员时，过程进行到S46和S47。这里，确定操作者的手(操作手)是否处于预定的手指状态(这里是操作意图表示用手指状态)(该过程与图9的S2和S3中的过程相似)。当当前手指状态被判定为预定的手指状态时，过程进行到S48。当判定为不是预定的手指状态时，过程进行到S51。
在S48中，给显示模式分配显示允许模式。该显示允许模式存储在控制电路18的存储部分18d的预定存储区域(显示模式存储部分)中。在随后的S49中，控制电路18确定显示装置15的显示窗口和被摄像的手之间的位置关系。之后在S50中，位置指示图像200H叠加地显示在主图像200B上，该主图像200B当前显示在显示装置15(位置指示图像显示部分或装置)的显示窗口中。该过程与图9的S4-S6的过程相似。
详细地，当在S42中车辆不处于车辆行驶状态，或者当在S44中确定操作面板12a的操作者是驾驶员之外的其它人时，在S48至S50的过程中，显示基于手指状态的位置指示图像200H，而不管操作者的手指状态(参考图27、图6和图7的(c))。相反，当在S42中判定车辆处于车辆行驶状态，并且当在S44中确定操作面板12a的操作者为驾驶员时，并且当在S46中预定的手指状态被确定(这里是操作意图表示用手指状态)时，通过过程S48至S50显示基于驾驶员执行的预定的手指状态的位置指示图像200H(参考图6和图7的(c))。
相反，当在S47中判定当前手指状态不是预定的手指状态(这里是操作意图表示用手指状态)时，过程进行到S51。在S51中，给显示模式分配显示禁止模式。该显示禁止模式存储在控制电路18的存储部分18d的预定存储区域(显示模式存储部分)中。因此，不执行在S49和S50中执行的位置指示图像的显示。例如，如图5(c)所示，位置指示图像200H不显示在显示装置15的显示窗口中。
S50和S51结束，然后，本过程结束。请注意，即使在本过程结束之后，以预定时间间隔重复执行本过程。
请注意，当车辆处于预定的车辆行驶状态(车速高于阈值)，并且在图13的过程中操作者是驾驶员时，执行上述显示模式切换控制。当发生其它情况(即当车辆不处于预定的车辆行驶状态(车辆的速度低于阈值)或当操作者不是驾驶员时)，在上述例子中固定地分配显示允许模式。可选地，可以提供如下例子。即，当车辆处于预定的车辆行驶状态，并且操作者是驾驶员时，可以固定地分配显示禁止模式。当车辆不处于预定的车辆行驶状态，并且操作者是驾驶员时，可以执行上述显示模式切换控制。当另一情况(当操作者不是驾驶员时)时，可以固定地分配显示允许模式。
3.10第十例子
下面说明本发明的第三实施例的第十例子。
在上述例子中，用作手图像捕获部分或装置的摄像机12b是对车辆舱室的固定区域摄像的摄像机，触摸面板12a的触摸操作区域(前表面)12a1面对前述固定区域。如在上述例子中所述，摄像机配置成从触摸面板12a的后表面12a2侧捕获图像。本第三实施例不局限于这种配置。例如，如图15所示，摄像机可以布置在车辆的中部操纵台部分C处，以便从上部倾斜地对触摸面板12a的触摸操作区域12a1摄像和对从触摸操作区域12a1侧接近触摸操作区域12a1的接近物体摄像。在这种情况中，与上述例子不同的是，当在捕获图像中提取确定图像(例如，手图像)和将它显示在显示装置15中时，左右颠倒的过程能够取消。此外，用作手图像捕获部分或装置的摄像机12b还能够用作捕获包括操作面板12a的触摸操作区域12a1的周围区域的图像的摄像机20。
3.11第十一例子
下面说明本发明的第三实施例的第十一例子。
在显示装置15上显示的所有操作显示窗口中，提供执行上述显示模式切换控制的配置。可选地，这种显示模式切换控制可以仅在预定操作显示窗口中执行。相反，显示允许模式或显示禁止模式可以在另一操作显示窗口中固定地分配。
基于来自控制电路18的控制指令，显示装置15能够在显示窗口上执行几个操作显示窗口200的切换，其中，由对触摸操作区域12a1的按压操作引起的输入被接收(操作显示窗口显示部分或装置)。例如，在以下显示窗口之间切换：图22所示的菜单选择窗口2003；图23所示的汽车空调的风量调节窗口2004；图24所示的汽车音响的音量调节窗口2005；汽车导航的已提及的地图显示窗口2002(图7(c))；和字符输入窗口2001(图27(c))等。这些窗口能够根据各种输入进行切换。提供显示模式执行适用性信息，该显示模式执行适用性信息允许从几个操作显示窗口中确定用于上述显示模式切换控制的执行目标的操作显示窗口。显示模式执行适用性信息预先存储在控制电路18的预定存储区域(显示模式执行适用性信息存储部分或装置)中。当执行位置指示图像显示过程时控制电路18参考显示模式执行适用性信息。因此，仅当显示装置15中显示的操作显示窗口是用于上述显示模式切换控制的执行目标时，控制电路18可以在确定的操作显示窗口中执行显示模式切换控制。下面，用图21来说明本过程的具体流程。
在S61中，控制电路18判断是否获得操作者的手的图像。这与图9的S1中的过程相似。当操作者的手的图像被获取时，过程进行到S62。当操作者的手的图像没有被获取时，本过程结束。
在S62中，控制电路18确定当前显示的操作显示窗口200的类型，并且确定它是否为用于显示模式切换控制的预定的执行目标。这里，使用存储在控制电路18的存储部分18d的预定存储区域中的上述显示模式执行适用性信息。在多个操作显示窗口中，复杂操作显示窗口被判定为用于显示模式切换控制的执行目标，前述复杂操作显示窗口包括对触摸操作区域12a1的按压操作超出预定操作负载水平的操作；简单操作显示窗口被判定为显示允许模式的固定分配目标，前述简单操作显示窗口仅包括对触摸操作区域12a1的按压操作不超出预定操作负载水平的操作。控制电路18参考显示模式执行适用性信息，因此确定当前显示的操作显示窗口200是否为用于显示模式切换控制的执行目标。
请注意，显示模式执行适用性信息存储成对窗口种类进行如下分类的信息。显示装置15在显示窗口上显示超过一个操作输入图像。SI定义为操作输入图像的总面积或与操作输入图像200I(操作图标)对应的触摸操作区域12a1上限定的整个按压操作区域的总面积。SA定义为整个显示窗口的总面积或整个触摸操作区域12a1的总面积。这里，当SI/SA的比率大于预定比率SO时，这种操作显示窗口可以被判定为复杂操作显示窗口；当SI/SA的比率不大于预定比率SO时，这种另外的操作显示窗口可以被判定为简单操作窗口(请见图73的例1)。此外，KI定义为操作输入图像的数量或与操作输入图像200I(操作图标)对应的触摸操作区域12a1上限定的整个按压操作区域的数量。这里，当数量KI大于预定数量KO时，这种操作显示窗口可以被判定为复杂操作显示窗口；当KI不大于预定数量KO时，这种另外的操作显示窗口可以被判定为简单操作显示窗口(请见图73的例2)。另外，LI定义为操作输入图像之间的间隔或者定义为与操作输入图像200I(操作图标)对应的触摸操作区域12a1上限定的相邻按压操作区域之间的间隔。这里，当间隔LI窄于预定间隔LO时，这种操作显示窗口可以被判定为复杂操作显示窗口；当间隔LI不窄于预定间隔LO时，这种另外的操作显示窗口可以被判定为简单操作显示窗口(请见图73的例3)。这里，简单操作显示窗口示意为图22-图24和图7(c)中的窗口2003，2004和2005。复杂操作显示窗口示例为图27(c)中的字符输入窗口2001(例如目的地名输入窗口等)。
在S62中，控制电路18参考能够确定上述复杂操作显示窗口和简单操作显示窗口的显示模式执行适用性信息，因而确定现在显示的操作显示窗口200是否为用于显示模式切换控制的执行目标(即，这里的复杂操作显示窗口)。当确定时，过程进行到S63。当在S63中判定当前显示的操作显示窗口200是显示模式切换控制的执行目标时，过程进行到S69。当判定它不是显示模式切换控制的执行目标时，过程进行到S66。
在S64中，确定操作者的手(操作手)是否处于预定的手指状态(这里是操作表示用手指状态)(与图9的S2中的过程相似)。当在随后的S65中判定当前手指状态是预定的手指状态时，过程进行到S66。当判定为不是预定的手指状态，过程进行到S69。
在S66中，给显示模式分配允许显示位置指示图像的显示允许模式。请注意，显示允许模式存储在控制电路18的存储部分18d中设置的预定存储区域(显示模式存储部分)中。在随后的S67中，控制电路18确定显示装置15的显示窗口200和被摄像的手之间的位置关系(与图9的S5相似)。在随后的S68中，位置指示图像200H叠加地显示在主图像200B上，该主图像200B当前显示在显示装置15(位置指示图像显示部分或装置)的显示窗口中。该过程与图9的S6相似。
详细地，当在S62中判定当前显示的操作显示窗口200不是显示模式切换控制的执行目标时(当确定它是简单操作显示窗口时)，在S67和S68的过程中，显示基于手指状态的位置指示图像200H，而不管操作者的手指状态(参考图27、图6和图7的(c))。当在S62中判定当前显示的操作显示窗口200是显示模式切换控制的执行目标时(这里当确定它是复杂操作显示窗口时)，通过S67和S68的过程，显示基于操作者执行的操作意图表示用手指状态的位置指示图像200H(参考图6和图7的(c))。
相反，当在S65中判定当前手指状态不是预定的手指状态，过程进行到S69。在S69中，给显示模式分配禁止显示位置指示窗口200的显示禁止模式。该显示禁止模式存储在控制电路18的存储部分18d的预定存储区域(显示模式存储部分)中。因此，不执行S67和S68中执行的位置指示图像200H的显示。例如，如图5(c)所示，位置指示图像200H不显示在显示装置15的显示窗口200中。
本过程通过S68和S69的结束而结束。即使在本过程结束之后，本过程以预定时间间隔重复地执行。
在图21的过程中，在复杂操作显示窗口中执行上述显示模式切换控制；在简单操作显示窗口中固定地分配显示允许模式。可以提供如下另一例子。在复杂操作显示窗口中可以固定地分配显示禁止模式；在简单操作显示窗口可以执行上述显示模式切换控制。
3.12第十二例子
下面说明本发明的第三实施例的第十二例子。
第二至第十一例子配置如下。在预定的手指状态被确定为操作者的手指状态的情况中，仅在预定的显示允许时间期间执行上述第一例子的位置指示图像200H的突出显示。相反，在其它情况中，位置指示图像200H不显示。此外，操作意图表示用手指状态被限定为预定的手指状态(图75的例子1)。可以使用另一种特性手指状态。此外，可选地，可以限定简单操作用手指状态(能够简单地操作它的手指状态(在该状态中，延伸的手指的数量是确定的数量或延伸的手指的种类是确定的种类)：图75的例子2)。
3.13其它例子
第三实施例的其它例子能够与第一实施例的“1.11其它例子”相同。这里省略它的说明。
4.公开的方面
这里说明的公开的方面在以下各项中阐明。
作为公开的第一方面，用于车辆的操作输入设备可以提供如下。该操作输入设备包括：显示部分，所述显示部分具有用于执行车辆中的装置的操作的显示窗口；远程操作部分，所述远程操作部分设置在与所述显示窗口分离的位置处，同时所述远程操作部分具有远程操作区域，所述远程操作区域用于在显示窗口中远程地执行操作输入；输入接收部分，所述输入接收部分基于对远程操作区域的按压操作接收与按压操作位置对应的输入；手图像捕获部分，所述手图像捕获部分捕获与远程操作区域相对的手的图像；位置指示图像显示部分，所述位置指示图像显示部分在显示窗口上的由手所指示的位置处显示位置指示图像，所述位置指示图像基于捕获的手的图像产生；简单操作用手指状态确定部分，所述简单操作用手指状态确定部分确定与远程操作区域相对的手的手指状态是否为预定的简单操作用手指状态；显示模式分配部分，所述显示模式分配部分对分配给位置指示图像显示部分的显示模式执行显示模式切换控制。这里，当确定为是简单操作用手指状态时，所述显示模式分配部分给显示模式分配显示允许模式，以允许位置指示图像的显示，并且当确定为不是简单操作用手指状态时，所述显示模式分配部分给显示模式分配显示禁止模式，以禁止位置指示图像的显示。
根据上述配置，在对远程操作部分的操作是使用五个手指的、高难度的手指状态的操作时，操作的显示(将远程操作部分的操作状态显示成显示部分的操作窗口上的位置指示图像)受到限制，因此促使用户通过更简单和更容易操作的手指状态来执行操作(简单操作用手指状态)。这能够有助于防止对远程操作部分的无意的误操作，和防止显示的手指和操作者实际想用于位置指示的手指之间的对应关系不清楚。
此外，可以提供检测车辆的车速的车辆速度检测部分。在这种情况中，显示模式分配部分如下分配：当车辆处于超出预定的车速水平的车辆行驶状态时，可以执行显示模式切换控制；当车辆不处于所述车辆行驶状态时，可以给显示模式分配显示允许模式。在这种配置中，例如，在车辆停止状态中，可以允许用具有高难度的手指状态的操作输入作为对远程操作部分的操作，因此，能够以各种容易操作的方式进行操作输入。相反，在车辆高于预定速度行驶时，操作显示被限制，因此，强迫用更简单和容易操作的特定的手指状态的操作作为对远程操作部分的操作，从而基本不会造成误操作，尤其是驾驶员，并且不会导致显示的手指和用于位置指示的手指之间的对应关系不清楚。
此外，操作者确定部分可以配置成确定远程操作区域的操作者是否为驾驶员。在这种情况中，显示模式分配部分可以如下执行：当确定远程操作区域的操作者是驾驶员时，执行显示模式切换控制；当确定远程操作区域的操作者不是驾驶员时，给显示模式分配显示允许模式。在这种配置中，例如，如果远程操作区域的操作者是驾驶员之外的其它人时，例如乘客座椅上的乘客时，可以允许具有高难度的手指状态的操作输入作为对远程操作部分的操作，因此，能够以各种容易操作的方式进行操作输入。相反，当远程操作区域的操作者是驾驶员时，操作显示被限制，因此，强迫用更简单和容易操作的特定手指状态的操作作为对远程操作部分的操作，从而基本不会造成误操作，尤其是驾驶员误操作，并且不会导致显示的手指和用于位置指示的手指之间的对应关系不清楚。
操作输入接收控制部分可以设置成执行操作输入接收控制。这里，当显示模式分配部分分配显示允许模式时，允许输入接收部分接收输入；当分配显示禁止模式时，禁止输入接收部分接收输入。如果在操作输入设备中没有进行操作显示，来自远程操作部分的位置指示操作变得非常困难。在上述配置中，仅在显示位置指示图像的显示允许模式中，才允许输入的接收。因此，对远程操作部分的误操作能够可靠地防止。相反，仅当能够接收对远程操作部分的输入时，才能够显示位置指示图像。减少了位置指示图像的无用显示和提高了省电效率。
操作输入接收控制部分可以设置成执行操作输入接收控制。这里，当简单操作用手指状态确定部分确定是简单操作用手指状态时，允许输入接收部分接收输入；当确定不是简单操作用手指状态时，禁止输入接收部分接收输入。在这种配置中，不管显示模式如何，仅当简单操作用手指状态被确定时，才允许接收对远程操作部分的输入。因此，能够可靠地防止对远程操作部分的误操作。
此外，简单操作用手指状态确定部分可以配置成能够基于手图像捕获部分捕获的手的图像来确定简单操作用手指状态。详细地，简单操作用手指状态确定部分包括手指形状识别部分，所述手指形状识别部分配置成基于手图像捕获部分捕获的手的图像来识别与远程操作区域相对的手的手指的形状。当所识别的手指形状是用于简单操作用的预定的手指形状时，所述简单操作用手指状态被确定。在这种配置中，手图像捕获部分捕获的手图像不仅能够用于指示位置的显示，而且能够用于确定简单操作用手指状态。即，提供一种配置，在该配置中，图像捕获部分用于超过一个用途。能够消除该配置的无用的额外元件，因此，成本低。
所述简单操作用手指状态确定部分可以包括手指数量确定部分，所述手指数量确定部分确定处于与远程操作区域大致平行延伸的状态并由手指形状识别部分识别的手指的数量。当确定处于与远程操作区域大致平行延伸的状态的手指的数量是用于简单操作用的预定的数量时，当前手指状态就被确定为简单操作用手指状态。通过图像分析，能够容易地计算处于延伸状态的手指的数量，计算中很少出错。此外，手指延伸的状态是实际上能够用于操作的手指状态。操作者能够利用当前简单操作用手指状态开始操作，因此具有优异的可操作性。
所述简单操作用手指状态确定部分可以包括操作数量确定部分，所述操作数量确定部分配置成确定由按压操作引起并且在预定的时间期间被输入接收部分接收的输入的数量，所述按压操作在远程操作区域的不同位置进行。当在预定的时间期间所确定的输入的数量是用于简单操作用的数量时，当前手指状态被确定为简单操作用手指状态。在这种配置中，能够根据用户触摸操作的预定数量来容易地确定简单操作用手指状态。
用于上述简单操作用的手指的数量可以限定为单个手指。在操作操作输入设备的远程操作部分以显示手操作中，用于位置指示的手指数量越多，操作难度越低。因此，具有最少手指数量的一个手指状态变成最简单和易懂的操作用的手指状态。此外，一个手指状态具有简单的手形状，便于简化确定一个手指状态的过程。
用于上述简单操作用的手指的数量可以是四个、三个(理想地)或两个(更理想地)。两个手指状态也具有相对地简单的手形状，因此使确定简单操作用手指状态的过程更容易。此外，三个手指状态和四个手指状态中的每个也是相对地简单的手指状态。此外，这些手指状态不具有用户偶然配置的手的形状，因此，也可靠地实现防止误操作。
所述简单操作用手指状态确定部分可以包括手指类型确定部分，所述手指类型确定部分确定处于与远程操作区域大致平行延伸的状态并由手指形状识别部分识别的手指的类型。当所确定的处于与远程操作区域大致平行延伸的状态的手指的类型是用于简单操作用的预定的手指类型时，当前手指状态被确定为简单操作用手指状态。此外，仅特定手指延伸的手形状不具有用户偶然配置的手的形状，因此，还可靠地实现防止误操作。此外，手指延伸的状态是能够直接用于操作的手指状态。操作者能够利用当前简单操作用手指状态开始操作，因此，具有优异的可操作性。
用于简单操作用的手指的类型可以仅是食指。食指的一个手指状态具有简单手形状，便于确定一个手指状态的过程。此外，食指最常用于操作，因此，实际上利于开始操作。
用于上述简单操作用的手指种类能够仅是中指。中指的一个手指状态具有简单手形状，便于确定一个手指状态的过程。此外，中指具有最长手指的特性，因此使得种类的识别容易。此外，中指可以用于操作，因此实际上利于开始操作。
用于上述简单操作用的手指种类能够仅为食指和中指。食指和中指的两个手指状态具有简单手形状，便于确定两个手指状态的过程。此外，为最长手指的中指被包括在两个手指状态，因此，使得种类的识别容易。此外，两个手指均用于操作，因此，实际上利于开始操作。
位置指示图像显示部分可基于手图像捕获部分捕获的手的图像来产生真实手指图像，该真实手指图像允许确定至少手的手指的轮廓；和将产生的真实手指图像显示为上述位置指示图像。手的位置能够从显示窗口上的手的轮廓获取，因此，容易识别位置，并且可操作性变得更容易。
所述位置指示图像显示部分可以将不真实手指图像或指尖位置图像作为位置指示图像显示，所述不真实手指图像允许确定至少延伸的手指的方向和指尖位置，所述指尖位置图像允许确定至少手指的指尖位置。位置指示图像使用简化到识别指示位置的程度的图像，因此，能够减少处理负担。
当车辆处于超出预定的车速水平(车速阈值)的车辆行驶状态时，显示模式分配部分可以执行显示模式切换控制；和当车辆不处于所述车辆行驶状态时，给显示模式分配显示允许模式。在这种配置中，预定的车速水平能够限定为0km/h。在车辆停止状态，驾驶员能够集中操作，因此，无需限制操作。根据上述配置，在车辆停止状态位置指示图像总是显示，因此，操作者能够自由地执行操作。
此外，当车辆处于超出预定的车速水平(车速阈值)的车辆行驶状态时，显示模式分配部分可以执行显示模式切换控制；当车辆不处于所述车辆行驶状态时，给显示模式分配显示允许模式。在这种配置中，预定的车速水平能够定义为在大于0km/h并且小于5km/h的车速范围(减速状态)内，或在等于或大于5km/h且小于10km/h的车速范围(减速状态)内。此外，预定的车速水平能够定义为在等于或大于10km/h并且小于30km/h的车速范围(低速行驶状态)内，或在等于或大于30km/h且小于60km/h的车速范围(中速行驶状态)内，或在等于或大于60km/h的车速范围(高速行驶状态)内。上述定义可以根据在显示窗口上的显示中一个接另一个地切换的每个操作窗口的每个操作难度(操作负载等级)来限定适当的车速阈值。
可以提供操作窗口显示部分和显示模式执行适用性信息存储部分。所述操作窗口显示部分以切换方式显示几个操作显示窗口，在所述操作显示窗口中由对远程操作区域的按压操作引起的输入被输入接收部分接收。所述显示模式执行适用性信息存储部分存储显示模式执行适用性信息，所述显示模式执行适用性信息允许从几个操作显示窗口中确定用于显示模式切换控制的执行目标的操作显示窗口。在这种情况中，所述显示模式分配部分可以配置成基于显示模式执行适用性信息确定操作窗口显示部分显示的操作窗口是否为显示模式切换控制的执行目标。仅当确定它为显示模式切换控制的执行目标时，才可以在确定的操作显示窗口中执行显示模式切换控制。在这种配置中，仅当预定的操作窗口被显示时，才执行显示模式切换控制。例如，在易于操作的操作窗口中，即使车辆在行驶期间，显示允许模式固定地分配，同时不分配显示模式切换控制。相反，在难以操作的操作窗口中，当车辆在行驶期间，固定地分配显示禁止模式，同时不分配显示模式切换控制。因此省略了无用的显示模式切换控制。
在所述多个操作显示窗口中，所述显示模式执行适用性信息可以将复杂操作显示窗口限定为用于显示模式切换控制的执行目标，在所述复杂操作显示窗口中被输入接收部分作为输入接收的对远程操作区域的按压操作包括超出预定操作负载水平的操作。显示模式执行适用性信息可以将简单操作窗口限定成用于显示允许模式的固定分配目标。在所述简单操作窗口中，被输入接收部分作为输入接收的对远程操作区域的按压操作仅包括不超出预定操作负载水平的操作。根据这种配置，在简单操作窗口中固定地分配显示允许模式，因此，能够省略显示模式切换控制。
请注意，所述简单操作窗口可以包括菜单选择窗口、音量调节窗口和风量调节窗口中的至少一个。菜单窗口具有相对少数量的操作输入图像(操作图标)显示在显示窗口上，并且相邻的操作输入图像之间具有一定量的距离，因此，使得操作相对容易。量调节窗口(例如音量调节窗口或风量调节窗口)也显示为相对简单的操作窗口。因此，这些操作窗口适用于限定成简单操作窗口。相反，复杂操作窗口可至少包括字符输入窗口。50个日语假名字符的字符输入需要在显示窗口上显示许多操作输入图像，并且相邻的操作输入图像之间的距离因此靠近。因此，难以操作操作输入图像，其应当被有意地操作。因此，这种操作窗口适用于限定成复杂操作窗口。
在本公开的第二方面中，可以提供如下车辆操作输入设备。该车辆操作输入设备包括：显示部分，所述显示部分具有用于执行车辆中的装置的操作的显示窗口；远程操作部分，所述远程操作部分设置在与所述显示窗口分开的位置处，同时所述远程操作部分具有远程操作区域，所述远程操作区域用于在显示窗口中远程地执行操作输入；输入接收部分，所述输入接收部分基于对远程操作区域的按压操作接收与按压操作位置对应的输入；手图像捕获部分，所述手图像捕获部分捕获与远程操作区域相对的手的图像；位置指示图像显示部分，所述位置指示图像显示部分在显示窗口上的由手所指示的位置处显示位置指示图像，所述位置指示图像基于捕获的手的图像产生；操作意图表示用手指状态确定部分，所述操作意图表示用手指状态确定部分确定与远程操作区域相对的手的手指状态是否为预定的操作意图表示用手指状态；和显示模式分配部分，所述显示模式分配部分可以对分配给位置指示图像显示部分的显示模式分配禁止位置指示图像的显示的显示禁止模式，同时仅在当操作意图表示用手指状态被确定时的预定的显示允许时间期间才执行切换到允许位置指示图像的显示的显示允许模式的切换。
上述配置限制成使得如果想要操作的用户没有做出特定的手指状态时，远程操作部分的操作不能执行。这能够有效地防止对远程操作部分的意外的误操作。
显示模式分配部分可以配置成将自从显示模式切换到显示允许模式直至经过预定的禁止模式恢复时间的时间期间限定成显示允许时间期间；并且在经过禁止模式恢复时间时，将显示模式返回到显示禁止模式。根据这种配置，从显示允许模式返回到显示禁止模式能够用简单的过程执行。
相反，所述显示模式分配部分可以将直至操作意图表示用手指状态变成不被确定时的时间期间限定成显示允许时间期间。当确定为是操作意图表示用手指状态时，可以分配显示允许模式；当确定为不是操作意图表示用手指状态时，可以分配显示禁止模式。在这种配置中，基于确定是否为操作意图表示用手指状态的判断，能够容易地执行显示允许模式和显示禁止模式之间的切换。
操作输入接收控制部分可以配置成如下。当分配显示允许模式时，可以允许输入接收部分接收输入；当分配显示禁止模式时，可以禁止输入接收部分接收输入。在提示型的操作输入设备中，当远程操作部分的操作状态不用位置指示图像显示时，位置指示操作变得非常困难。在上述配置中，仅在显示位置指示图像的显示允许模式中才允许接收输入。因此，能够可靠地防止对远程操作部分的误操作。相反，仅当能够接收对远程操作部分的输入时，才能够显示位置指示图像。减少了位置指示图像的无用显示，和提高了省电的效率。
此外，操作输入接收控制部分可以如下配置。当确定为是操作意图表示用手指状态时，可以允许输入接收部分接收输入；当确定为不是操作意图表示用手指状态时，可以禁止输入接收部分接收输入。在这种配置中，仅当操作意图表示用手指状态被确定时，才允许接收对远程操作部分的输入，而不管显示模式如何。因此，能够可靠地防止对远程操作部分的误操作。
所述操作意图表示用手指状态确定部分可以包括手指形状识别部分，所述手指形状识别部分配置成基于手图像捕获部分捕获的手的图像来识别与远程操作区域相对的手的手指的形状。当所识别的手指形状是用于操作意图表示用的预定的手指形状时，可以确定操作意图表示用手指状态。在这种配置中，手图像捕获部分捕获的手图像能够不仅用于指示位置的显示，还能够用于确定操作意图表示用手指状态。即，提供了一种配置，在该配置中，图像捕获部分用于多个用途。能够消除该配置的无用的额外的元件，因此成本低。
所述操作意图表示用手指状态确定部分可以包括手指数量确定部分，所述手指数量确定部分配置成当用手指形状识别部分识别与远程操作区域大致平行延伸的手指时确定手指的数量。当确定处于与远程操作区域大致平行延伸的状态的手指的数量是用于操作意图表示用的预定的数量时，当前手指状态被确定为操作意图表示用手指状态。通过图像分析，能够容易地计算处于延伸状态的手指的数量，计算中很少出错。此外，手指延伸的状态是能够直接用于操作的手指状态。操作者能够利用当前操作意图表示用手指状态开始操作，因此具有优异的操作性。
所述操作意图表示用手指状态确定部分可以包括操作数量确定部分，所述操作数量确定部分配置成确定由按压操作引起的输入的数量，所述按压操作在远程操作区域的不同位置进行并且在预定的时间期间被输入接收部分接收。当在预定的时间期间所确定的输入的数量是用于操作意图表示用的数量时，当前手指状态可以被确定为操作意图表示用手指状态。在这种配置中，能够根据用户触摸操作的预定数量来容易地确定操作意图表示用手指状态。
用于上述操作意图表示用的手指的数量可以限定为单个手指。一个手指状态具有简单的手形状，促进了确定一个手指状态的过程。此外，存在仅当操作意图表示用手指状态被确定时才允许对远程操作部分的输入的配置。即，存在当当前手指状态不是操作意图表示用手指状态时不能允许对远程操作部分的输入的配置。在这种配置中，希望限定最简单和易懂的手指状态作为操作意图表示用手指状态。在这种情况中，希望具有最少数量的手指的一个手指状态被限定为操作意图表示用手指状态。
用于上述操作意图表示用的手指的数量可以限定为四个、三个(理想地)或两个(更理想地)。两个手指状态也具有相对简单的手形状，因此使确定操作意图表示用手指状态的过程变得容易。此外，三个手指状态和四个手指状态中的每个也是相对简单的手指状态。此外，这些手指状态不具有用户偶然配置的手的形状，因此，也可靠地实现防止误操作。
所述操作意图表示用手指状态确定部分可以包括手指类型确定部分，所述手指类型确定部分在通过手指形状识别部分识别处于与远程操作区域大致平行延伸的状态的手指时确定手指的类型。当所确定的处于与远程操作区域大致平行延伸的状态的手指的类型是用于操作意图表示用的预定的手指类型时，当前手指状态被确定为操作意图表示用手指状态。此外，仅特定手指延伸的手形状不具有用户偶然配置的手的形状，因此，还可靠地实现防止误操作。此外，手指延伸的状态是能够直接用于操作的手指状态。操作者能够利用当前操作意图表示用手指状态开始操作，因此，具有优异的操作性。
用于上述操作意图表示用的手指种类可以仅是食指。食指的一个手指状态具有简单手形状，使确定一个手指状态的过程变得容易。此外，食指最常用于操作，因此，本身利于开始操作。
用于上述操作意图表示用的手指种类能够仅是中指。中指的一个手指状态具有简单手形状，使确定一个手指状态的过程变得容易。此外，中指具有最长手指的特性，因此使得种类的识别容易。此外，中指用于操作，因此本身利于开始操作。
用于上述操作意图表示用的手指种类能够仅为食指和中指的两个手指。食指和中指的两个手指状态具有简单手形状，使确定两个手指状态的过程变得容易。此外，最长手指的中指被包括在两个手指状态中，因此，使得种类的识别容易。此外，两个手指均用于操作，因此，本身利于开始操作。
位置指示图像显示部分可以基于手图像捕获部分捕获的手的图像来产生真实手指图像，该真实手指图像允许确定至少手的手指的轮廓；和将产生的真实手指图像显示为上述位置指示图像。手的位置能够从显示窗口上的手的轮廓获取，因此，容易识别位置，并且操作性变得更容易。
所述位置指示图像显示部分可以将不真实手指图像或指尖位置图像作为位置指示图像显示，所述不真实手指图像允许确定至少延伸的手指的方向和指尖位置，所述指尖位置图像允许确定至少手指的指尖位置。位置指示图像使用简化到识别指示位置的程度的图像，因此，能够减少处理负载。
作为本公开的第三方面，可以在显示设备中提供如下的显示方法。显示装置包括具有显示窗口的显示部分和具有远程操作区域的远程操作部分，所述远程操作区域用于对显示窗口执行远程操作。显示方法是用于在显示设备中显示位置指示图像。当手指面对远程操作部分的前面时，所述位置指示图像以与背景图像组合或叠加的方式显示在显示窗口上的与手指的位置相对应的窗口上位置。所述方法包括如下步骤：手指确定步骤，其确定面对远程操作部分的前面的手的手指；从所确定的手指分配用于或估计将用于操作远程操作部分的操作目标手指的操作目标手指分配步骤；以与显示窗口上的背景图像组合或叠加的方式显示表示所确定的手指的指示位置的位置指示图像的显示步骤；和位置指示图像突出步骤，其对显示的位置指示图像中的与所分配的操作目标手指对应的位置指示图像执行突出显示，以便同对应于不同于操作目标手指的手指的位置指示图像相比，相对地更突出。
根据上述配置，即使面对远程操作区域前面的许多手指全部显示在显示窗口上，也能够根据预定方法和预定规则确定与操作目标手指的位置对应的位置指示图像。确定的位置指示图像而不是其它手指被突出显示。因此，用户能够从显示窗口容易地识别应当用于操作的手指。此外，当前显示的手指和实际手指之间的对应关系能够容易地识别，只要用户至少理解如何去确定操作目标手指。因此，适用于远程位置指示的位置指示图像的显示能够被获得。
此外，指尖确定步骤可以配置成确定面对远程操作区域的手的指尖。详细地，上述手指确定步骤可以是从面对远程操作区域的手确定指尖的指尖确定步骤；它是以确定指尖的方式确定手指的步骤。在这种情况中，位置指示图像突出显示步骤可以是假定以与显示窗口上的背景图像组合或叠加方式在与确定的指尖对应的位置上显示位置指示图像的显示步骤，因此，执行上述突出显示。
请注意，指尖可以限定成手指的顶端侧的预定区域(例如，直至第一关节)，或者包括在该区域内的具体位置(例如，从指尖到第一关节的区域的重心)。
此外，操作目标手指分配步骤可以给操作目标手指分配一个手指。当分配一个手指时，容易清楚地识别操作目标手指，这适用于对远程操作部分进行包括按压操作的触摸操作的应用。此外，一个手指状态具有非常简单的手形状，因此，便于每个处理。
此外，操作目标手指分配步骤可以给操作目标手指分配两个或三个手指。当两个或三个手指被分配时，其适用于对远程操作部分进行拉动操作或旋转操作的应用。
此外，在位置指示图像突出显示步骤中，不同于操作指示目标手指的手指不进行不显示。在参照其它手指的显示状态的同时，能够获得显示的操作目标手指和实际的操作目标手指之间的对应关系。
此外，分配手指信息获取步骤可以配置成其获取关于手指确定步骤所确定的手指的形状的手指形状信息，作为分配手指信息。在这种情况中，在操作目标手指分配步骤中，基于所获取的手指形状信息，在手指确定步骤所确定的手指中，可以优先地将手指形状信息与手指形状的预定选择条件最适配的手指分配成操作目标手指。当仅一个操作目标手指被确定时，与选择条件最适配的手指能够被分配成操作目标手指。
在这种配置中，根据手指的形状信息，预定种类的手指被确定或推定，然后分配给操作目标手指。各个种类的手指的形状存在不同，因此，能够确定或推定手指。也能够确定或推定容易用于位置指示的食指或中指。
详细地，所述分配手指信息获取步骤可以配置成获取手指长度信息，作为手指形状信息，所述手指长度信息反映出手指确定步骤所确定的手指之间在远程操作区域的方向上的长度关系。在这种情况中，在操作目标手指分配步骤中，基于所获取的手指长度信息，在手指确定步骤所确定的手指中，优先地将手指长度信息与手指长度的预定选择条件最适配的手指分配成操作目标手指。在这种配置中，手指长度关系变得清楚。通过比较长度，预定种类的手指被确定或推定，然后分配给操作目标手指。例如，容易用于位置指示的中指能够确定为这样的手指，其被确定或推定成最长。如果判断操作手是右手或左手，食指能够被确定为与确定或推定为最长手指的手指的对应侧相邻的手指。此外，最长的手指用于操作的可能性通常很高，因此，不是最长或延伸到半途的手指被推定为用户不想用于操作的手指，该手指能够被可靠地去除。
此外，所述分配手指信息获取步骤可以配置成获取手指宽度信息，作为手指形状信息，所述手指宽度信息反映出手指确定步骤所确定的手指在远程操作区域的方向上的宽度关系。在这种情况中，在操作目标手指分配步骤中，基于所获取的手指宽度信息，在手指确定步骤所确定的手指中，优先地给与手指宽度信息的预定选择条件最适配的手指分配操作目标手指。在这种配置中，手指宽度(粗细)关系变得清楚。通过宽度的比较，预定种类的手指被确定或推定，然后分配给操作目标手指。
此外，分配手指信息获取步骤可以配置成获取关于手指确定步骤所确定的手指之间在远程操作区域的方向(远程操作区域伸展的方向，即，垂直于远程操作区域的法线的方向)上的位置关系的位置关系信息，作为分配手指信息。在这种情况中，在操作目标手指分配步骤中，基于所获取的位置关系信息，在手指确定步骤所确定的手指中，将操作目标手指优先地分配给位置关系信息与位置关系的预定选择条件最适配的手指。当仅一个操作目标手指被确定时，与选择条件最适配的手指能够被分配成操作目标手指。
在这种配置中，例如，可以根据在远程操作区域方向上确定的几个手指的位置信息，确定或推定预定种类的手指，然后分配给操作目标手指。用于每个种类的各个手指的位置关系被确定；因此，能够使用它确定手指。例如，假设食指容易用于位置指示。在根据手指形状等去除了拇指之后，当操作的手是左手时，食指能够确定为位于最右边的手指。当操作的手是右手时，它能够确定为最左边的手指。一旦食指能够被确定，与它相邻的手指也能够被确定为中指。此外，在这种配置中，能够根据手指的位置关系来选择操作目标手指；因此，用户容易理解选择哪个手指。
详细地，在分配手指信息获取步骤中，可以沿面对远程操作部分的方向投影指尖确定步骤所确定的指尖。在投影平面上的预定位置处指定一个轴线以限定一维坐标系。可以确定被投影的指尖在坐标系中的坐标值。可以获取反映坐标值的轴坐标信息，作为位置关系信息。在这种情况中，在操作目标手指分配步骤中，基于所获取的轴坐标信息，在手指确定步骤所确定的手指中，优先地将与轴坐标信息的预定选择条件最适配的手指分配成操作目标手指。在这种配置中，仅使用位于上述一维坐标系的每个指尖的坐标，能够简单地确定操作目标手指。这里，例如，轴线可以限定成线段，该线段从操作目标手指最容易位于其中的区域行进到操作目标手指最难位于其中的区域。或者，它能够限定成反向地行进的线段。
在分配手指信息获取步骤中，可以沿面对远程操作部分的方向投影指尖确定步骤所确定的指尖；可以获取反映投影平面上的预定区域中限定的参考区域与被投影的指尖之间的距离的距离信息，作为位置关系信息。在这种情况中，在操作目标手指分配步骤中，基于所获取的距离信息，在手指确定步骤所确定的手指中，优先地将与距离信息的预定选择条件最适配的手指分配成操作目标手指。根据这种配置，能够仅利用与参考区域的距离的计算简单地确定操作目标手指。在这种情况中，参考区域能够被限定成在远程操作区域中操作目标手指最常位于的区域，或者例如与前述区域相反的区域。
此外，分配手指信息获取步骤可以配置成获取接近距离关系信息，作为分配手指信息，所述接近距离关系信息反映出手指确定步骤所确定的手指中与远程操作区域的接近距离关系。在这种情况中，在操作目标手指分配步骤中，在手指确定步骤所确定的手指中，可以优先地将与接近距离信息的预定选择条件最适配的手指分配成操作目标手指。在这种配置中，能够根据在接近远程操作区域的方向上两个或更多个确定的手指的位置关系来确定操作目标手指。对远程操作区域的操作伴随手的指尖的接触。最靠近远程操作区域的指尖的手指是用于位置指示的手指的可能性最高。在操作目标手指分配步骤中，基于所获取的接近距离信息，在手指确定步骤所确定的手指中，可以优先地给指尖更靠近远程操作区域的指尖的手指分配操作目标手指。在这种配置中，最适用于位置指示的手指能够分配给操作目标手指。
此外，所述分配手指信息获取步骤可以配置成获取图像捕获部分所捕获的手的图像的亮度，作为接近距离信息。在这种情况中，在操作目标手指分配步骤中，优先地将与亮度的预定选择条件最适配的手指分配成操作目标手指。为了实现的上述配置，可能需要图像捕获步骤，其中，在光线从光源照射向接近远程操作区域的手的同时，手被以捕获反射光线的方式从操作区域的后表面侧摄像。图像捕获部分捕获来自操作远程操作区域的手的反射光线，因而捕获图像；因此，与远程操作区域最近的手指以更高的亮度显示。使用亮度能够容易地获得接近距离信息。能够省略实际测量接近距离的部分或过程。最靠近远程操作区域的指尖的手指是用于位置指示的手指的可能性最高。在操作目标手指分配步骤中，在手指确定步骤所确定的手指中，可以优先地给指尖最亮的手指分配操作目标手指
另外，上述分配手指信息获取步骤中的每个可以配置成基于图像捕获步骤所捕获的图像获取分配手指信息。根据这种配置，能够使用从捕获图像获得的信息容易地获得手指分配信息。为了实现上述配置，可能需要图像捕获步骤，其中，在光线从光源照射向接近远程操作区域的手的同时，手被以捕获反射光线的方式从操作区域的后表面侧摄像。
可以提供图像捕获步骤，其中，在光线从光源照射向接近远程操作区域的手的同时，手被以捕获反射光线的方式从操作区域的后表面侧摄像。在这种情况中，手指确定步骤能够配置成根据所捕获的手的图像来确定手指。此外，上述指尖确定步骤能够配置成根据所捕获的手的图像来确定指尖。此外，显示位置指示图像的显示步骤能够是显示基于所捕获的手的图像产生的位置指示图像的步骤。这种配置能够使用单个图像捕获部分(例如摄像机)的捕获图像来确定手指，确定指尖，确定操作目标手指和位置指示显示。与包括分别用于上述确定等的多个部分的配置相比，上述配置简单。
另外，所述远程操作部分可以配置成是触摸操作部分，例如触摸面板，其中远程操作区域是触摸操作区域，并检测对触摸操作区域的触摸操作的存在或不存在。在这种情况中，在操作目标手指分配步骤中，在手指确定步骤所确定的手指中，可以给对触摸操作区域执行触摸操作的手指分配操作目标手指。根据这种配置，在实际进行位置指示之后，用于该位置指示的手指确定为操作目标手指。通常的操作者具有使用固定的手指作为操作目标手指的倾向，因此，操作目标手指能够被正确地限定和突出地显示。此外，已执行触摸操作的手指以突出显示，因此，触摸操作触发显示窗口上显示的多个手指和实际手指之间的对应关系的清楚识别。
此外，当远程操作部分被错误地触摸并已执行了触摸操作时，操作能够在输入上无反映。此外，它能够在突出显示上无反映。详细地，在操作目标手指分配步骤中，当触摸操作超过预定的按压操作时间，执行触摸操作的手指可以分配给操作目标手指。此外，在操作目标手指分配步骤中，当第一次触摸操作是超过预定按压操作力的触摸操作时，执行触摸操作的手指可以分配给操作目标手指。在这种配置中，仅具有超过固定负载的负载的操作才能够是有效的，因此，能够防止误操作。
另外，位置指示图像突出显示步骤可以配置成在预定时间中以逐步改变突出等级的方式执行突出显示。即，在开始突出显示到完成突出显示的时间期间，显示可以经历不止一个不同于开始突出显示的状态和完成突出显示的状态的中间变化状态。在这种配置中，因为显示了突出显示的变化过程，因此，通过观看变化过程，能够容易识别当前显示的手指(特别是操作目标手指)和实际手指之间的对应关系。
此外，在位置指示图像突出显示步骤中，在开始突出显示时，与操作目标手指对应的位置指示图像和与不同于用于位置指示的手指的手指对应的位置指示图像以相同突出等级(突出程度)被突出显示。
从开始突出显示起，随着时间的流逝，与操作目标手指对应的位置指示图像的突出等级可以逐步增加。在这种配置中，与操作目标手指对应的位置指示图像的突出等级逐渐地(相对地)增加。如果突出等级突然变化到完成突出显示时的突出等级，之后立即会有难以识别突出显示的操作目标手指实际对应于哪个手指的困惑。当逐渐地进行突出显示时，能够防止这种困惑。
因此，从突出显示前的状态的重要性而言，位置指示图像突出显示步骤可以配置成如下。在从操作目标手指分配步骤分配操作目标手指起经过预定时间后，开始相对突出显示。请注意，在上述配置中，突出等级是逐渐地增加的，能够看见随时间的变化过程。位置指示图像突出显示步骤可以配置成同操作目标手指分配步骤分配操作目标手指一起开始相对突出显示。
手图像捕获步骤可以配置成捕获面对远程操作区域的手的图像。在这种情况中，手指确定步骤可以配置成基于所捕获的手的图像来确定面对远程操作区域的手的手指。此外，在这种情况中，在位置指示图像突出显示步骤中，可基于所捕获的手的图像产生真实手指图像，以允许至少确定所确定的手的手指的轮廓，并且可以将产生的真实手指图像显示成上述位置指示图像。因为实际手的轮廓显示在操作窗口上，因此，能够根据该轮廓识别手的位置。因为它是实际手的轮廓，因此容易识别位置，使得操作更容易。
此外，位置指示图像突出显示步骤可以配置成将不真实手指图像和指尖位置图像中的一个显示成位置指示图像，所述不真实手指图像允许至少确定延伸的手指的方向和指尖位置，所述指尖位置图像允许至少确定手指的指尖位置。位置指示图像使用简化到识别指示位置的程度的图像，因此能够减少处理负担。
此外，突出显示可以应用于位置指示图像的轮廓线。由于轮廓线被突出，具体手指的指示位置变得更易理解。
此外，突出显示可以通过改变位置指示图像的显示颜色的对比度、通过改变位置指示图像的形状、通过改变位置指示图像的透光度或通过使位置指示图像闪烁来实现。通过这些简单图像处理执行突出显示，减少了处理负担。此外，这些突出显示还能够充分地突出具体的手指。
另外，用于或估计将用于操作远程操作部分的手指被分配给操作目标手指。与对应于其它手指显示的位置指示图像相比，对应于分配的操作目标手指显示的位置指示图像被相对地突出显示。在这种情况中，总是使用固定手指作为操作目标手指在操作性方面更好。即，希望相同手指连续地分配给操作目标手指。
为了实现这一点，显示方法可以配置成包括：操作目标手指跟踪步骤，其中，在操作目标手指分配步骤分配了操作目标手指之后，可以跟踪分配给操作目标手指的手指的运动。在操作目标手指分配步骤中，基于操作目标手指跟踪步骤的跟踪结果，与分配给操作目标手指的手指相同的手指可以连续地分配给操作目标手指。根据这种配置，因为跟踪分配给操作目标手指的手指的运动，相同的手指能够分配给操作目标手指。与操作目标手指随手指的移动变化的情况相比，更容易识别它。
此外，手指确定步骤可以以预定时间间隔依次地确定远程操作部分前面的预定手指确定可能区域内存在的手的手指。例如，当从图像捕获部分捕获的手的图像确定手指时，手指确定步骤从每个移动图像帧的帧中出现的手图像确定手指，前述每个移动图像帧通过每隔预定时间间隔的图像捕获一个一个地获得。在这种情况中，手指跟踪步骤可以配置成获取关于手指确定步骤一个一个地确定的每个手指的位置信息，并将获取的关于每个手指的位置信息存储在预定的跟踪信息存储部分，作为跟踪信息，以便跟踪手指确定步骤一个一个地确定的每个手指的运动。因此，操作目标手指分配步骤能够基于手指跟踪步骤存储的关于每个手指的跟踪信息中的操作目标手指的跟踪信息来跟踪分配给操作目标手指的手指的运动。这种配置能够响应分配给操作目标手指的任何手指，因为手指确定步骤确定的所有手指的运动被跟踪。此外，操作目标手指的运动与其它手指一起发生。如果不仅操作目标手指而且其它手指的跟踪信息被收集，使用用于跟踪操作目标手指的收集信息能够提供更精确的跟踪。
此外，手指跟踪步骤可以包括下一位置估计步骤，所述下一位置估计步骤基于对应的跟踪信息计算关于在每个手指确定步骤中存储跟踪信息的跟踪下的每个手指的下一位置，所述下一位置被估计为在下一个手指确定步骤中将位于的位置。在这种情况中，操作目标手指分配步骤可以如下执行：确定具有满足预定参考条件的位置关系的一对手指，所述位置关系是在下一位置估计步骤中计算的跟踪下的每个手指的下一位置与下一个手指确定步骤实际确定的每个手指的实际位置之间的关系；还判定跟踪下的手指和手指确定步骤中实际确定的手指是彼此相同的，所述跟踪下的手指是所述一对手指中的一个；和判定跟踪下的手指运动到实际确定的手指的位置，并继续手指的运动跟踪。详细地，被判定为相同并实际确定的手指的位置信息存储成跟踪下的手指的最新的位置信息；在这种方式中，存储在跟踪信息存储部分中的跟踪信息被更新，因此继续手指的运动跟踪。根据该配置，跟踪信息被存储；因此，能够根据过去的跟踪信息估计出跟踪下的手指的下一个运动目的地。此外，估计的位置和实际确定的手指的位置之间的位置关系被比较。当两种位置处于在预定距离内彼此靠近的位置关系时，判定跟踪下的手指按照估计运动。即，使用过去的跟踪信息进行跟踪下的运动目的地的估计，因此，提供高精度。此外，使用估计结果来进行手指的运动跟踪，因此提供高的跟踪精度。
跟踪信息能够包括由多个时刻手指确定步骤确定的跟踪下的手指的每个对应的位置信息。在这种情况中，下一位置估计步骤可以配置成基于每个位置信息计算跟踪下的手指的下一位置。这种配置可以根据跟踪下的手指的过去的多个时刻的位置估计下一位置，因此，提供高的估计精度。
此外，假设当跟踪信息包含在手指确定步骤的之前时刻确定的跟踪下的手指的对应位置信息和在手指确定步骤的之前时刻以前的时刻确定的跟踪下的手指的对应位置信息时，在这种情况中，下一位置估计步骤能够基于之前时刻的位置信息和之前时刻以前的时刻的位置信息来计算跟踪下的手指的下一位置。相反，假设当跟踪信息包含在手指确定步骤的之前时刻确定的跟踪下的手指的对应位置信息，但不包含在手指确定步骤的之前时刻以前的时刻确定的跟踪下的手指的信息时，在这种情况中，下一位置估计步骤能够基于手指确定步骤的之前时刻确定的位置信息和与前述位置信息所表示的位置相邻的手指确定可能范围的边缘部分的位置，来计算跟踪下的手指的下一位置。当使用之前时刻和之前时刻以前的时刻的跟踪下的手指的位置时，通过使用这些位置，能够以高精度估计下一位置。相反，当仅知道之前时刻的跟踪下的手指的位置时，即，当跟踪下的手指是在之前时刻中新出现的手指时，仅知道一个位置，因此，不能高精度地估计下一位置。然而，根据上述配置，使用与之前位置相邻的手指确定可能范围的边缘部分的位置，代替之前时刻以前的时刻的位置。在这种情况中，在之前时刻刚刚新出现的手指从手指确定可能范围的最近边缘部分出现的可能性很高。边缘部分用作之前以前的位置；即使没有之前以前的位置，也能够以足够的精度估计下一位置。
在手指跟踪步骤中，假设当存在跟踪下的手指不满足手指确定步骤实际确定的手指的参考条件时，在这种情况中，在识别中，该手指被切换到不可能跟踪下的手指，并且将识别切换到不可能跟踪下的手指时的手指信息存储在预定的跟踪恢复判定信息存储部分，作为跟踪恢复判定信息。在这种情况中，操作目标手指分配步骤可以还如下地执行。当存在手指确定步骤实际确定的手指不满足跟踪下的手指的参考条件时，基于跟踪恢复判定信息存储部分中存储的跟踪恢复判定信息来判断实际确定的手指是否与之前定义成不可能跟踪的手指相同。当判定相同时，限定为不可能跟踪的并且对应于跟踪恢复判定信息的手指被识别成再次出现在实际确定的手指的位置处；因此，手指的运动跟踪再次开始。相反，当判定不同时，实际确定的手指被识别成新出现；因此，新开始手指的运动跟踪。详细地，当判定为相同时，实际确定的手指的位置信息存储在跟踪信息存储部分，作为限定成不可能跟踪的手指的最新的位置信息。在这种方式中，存储在跟踪信息存储部分中的跟踪信息被更新；因此，手指的运动跟踪再次开始。相反，当判定不同时，新出现的手指的位置信息存储在跟踪信息存储部分中，作为跟踪信息；因此，重新开始手指的运动跟踪。在手指确定步骤中，当移动到手指确定可能范围之外时，不再确定操作目标手指。不希望仅因为操作目标手指变成不被确定，就将它之外的其它手指分配给操作目标手指。例如，假设用作操作目标手指的食指移动到确定可能范围之外。也不太希望仅因为中指被确定，就将操作目标手指改变成中指。最好在食指被再次确定之前不分配操作目标手指。即，基于总是把固定手指分配给操作目标手指的方式，容易操作。在上述配置中，当跟踪下的手指失去(不可能跟踪)时，失去时的状态存储成跟踪恢复判定信息。当没有跟踪的手指重新被确定时，基于累积的跟踪恢复判定信息判断新确定的手指是否为之前失去的手指。因此，当曾失去的手指再次出现时，该手指能够被识别成相同的手指。在已失去的手指是操作目标手指的情况中，当手指再次出现时，该手指能够再次立刻分配给操作目标手指，并且能够再次开始运动跟踪。
在这种情况中，跟踪信息能够至少包括手指确定步骤确定的手指的最新位置信息。跟踪恢复判定信息还包括在对应的手指被识别成不可能跟踪的手指之前的最后时刻的位置信息。根据该配置，在手指跟踪步骤中，刚失去(不可能跟踪)前的位置和再次出现的位置之间进行比较，并且具有相互接近位置关系的一对手指被判定为相同的手指。即，刚失去前的位置被存储，并且再次出现的位置被存储；因此，仅这种存储过程使得容易判断新确定的手指是否为再次出现的手指。
在手指跟踪步骤中，假设当存在手指确定步骤实际确定的手指不满足跟踪下的手指的参考条件，并且有几个手指的跟踪恢复判定信息存储在跟踪恢复判定信息存储部分中时，在这种情况中，基于实际确定的手指的位置信息和包括在跟踪恢复判定信息中的不可能跟踪下的几个手指的每个的最后时刻的位置信息，能够判定实际确定的手指与不可能跟踪下的手指相同，同时与跟踪恢复判定信息对应，前述跟踪恢复判定信息包括表示与实际确定的手指最近的位置的位置信息。根据这种配置，即使有几个不可能跟踪下的手指，通过比较新确定的手指的位置与不可能跟踪下的各个手指中最后确定的各个位置，不可能跟踪下的最近的手指被判定为与新确定的手指相同。已失去的手指从与手指失去的位置相同的位置出现的可能性很高。通过使用这一点，可以精确地判断新确定的手指是否为新出现的手指或已失去的且再次出现的手指。
在手指跟踪步骤中，假设存在手指确定步骤实际确定的手指不满足跟踪下的手指的参考条件的情况。这里，距离被限定成由实际确定的手指的位置信息和包含在跟踪恢复判定信息中的不可能跟踪下的手指的最后时刻的位置信息所分别表示的位置之间的距离。当所述距离小于预定的参考距离时，允许将实际确定的手指识别成与跟踪恢复判定信息对应的不可能跟踪下的手指彼此相同。相反，当所述距离不小于所述参考距离时，禁止将实际确定的手指识别成与跟踪恢复判定信息对应的不可能跟踪下的手指彼此相同。当失去(不可能跟踪下)的手指的最后确定的位置与新确定的手指的位置进行比较时，当两个手指的位置之间的距离很远时，两个手指可能是不同的。根据上述配置，可以精确地判断新确定的手指是否为新出现的手指或已失去并且再次出现的手指。
在手指跟踪步骤中，假设当存在跟踪下的手指不满足手指确定步骤实际确定的手指的参考条件并且该跟踪下的手指在识别中被从跟踪下切换到不可能跟踪下时，在这种情况中，随在识别中当被切换到不可能跟踪下的手指的信息一起，在跟踪恢复判定信息存储部分中存储不可能跟踪识别指令，作为跟踪恢复判定信息。不可能跟踪识别指令能够确定关于不可能跟踪识别时刻的与不可能跟踪下的其它手指的前后关系。在这种情况中，在手指跟踪步骤中，还假设存在手指确定步骤实际确定的手指不满足跟踪下的手指的参考条件，并且几个手指的跟踪恢复判定信息存储在跟踪恢复判定信息存储部分中。在这种情况中，能够基于实际确定的手指的位置信息和包括在跟踪恢复判定信息中的不可能跟踪下的几个手指的每个的最后时刻的位置信息，确定跟踪恢复判定信息，前述跟踪恢复判定信息包括表示与实际确定的手指最近的位置的位置信息。这里，当包括表示与实际确定的手指最近的位置的位置信息的跟踪恢复判定信息中的一条被确定时，判定与所述一条跟踪恢复判定信息对应的不可能跟踪下的手指与实际确定的手指相同。相反，当存在不止一条跟踪恢复判定信息包括表示与实际确定的手指最近的位置的位置信息时，(当包含在几条跟踪恢复判定信息中的位置信息表示的位置具有满足预定接近条件的位置信息时)，通过参考包括在跟踪恢复判定信息中的不可能跟踪识别指令，判定与所述几条跟踪恢复判定信息中的不可能跟踪识别时刻最新的跟踪恢复判定信息对应的不可能跟踪下的手指与实际确定的手指相同。从人手的一排手指看，当几个手指在大致相似位置处失去(不可能跟踪)时，这些手指从最后失去的手指依次再次出现的可能性很高。通过提供上述配置，即使几个手指失去，也能够精确地确定哪个手指与新确定的手指一致。
此外，跟踪恢复判定信息能够被限定成当手指被识别成不可能跟踪时存储在跟踪信息存储部分中的该手指的跟踪信息。在这种配置中，当跟踪下的手指失去时(不可能跟踪时)，存储在跟踪信息存储部分中的手指的跟踪信息仅按原样存储成跟踪恢复判定信息。当跟踪信息存储部分和跟踪恢复判定信息存储部分彼此相同时，存储的跟踪信息能够保持原状。
在手指跟踪步骤中，假设当手指被手指确定步骤确定并且所确定的手指被识别成新出现的手指时，在这种情况中，可以给新出现的手指分配新的身份信息，并且将与该新的身份信息对应的每个手指的跟踪信息存储在跟踪信息存储部分中。因为身份信息被赋予手指确定步骤所确定的手指，因此，能够容易地对手指进行信息管理。
此外，在具有跟踪恢复判定信息存储部分的配置中，手指跟踪步骤可以配置如下。当分配有身份信息的跟踪下的手指在识别中被从跟踪下切换到不可能跟踪下时，与前述手指的身份信息对应的跟踪恢复判定信息可以存储在跟踪恢复判定信息存储部分中。在这种情况中，即使跟踪下的手指失去(不可能跟踪)，前述手指的身份信息被继续存储，因此，在变成失去之后，能够容易地管理前述手指的信息。
在手指跟踪步骤中，当手指被手指确定步骤确定时，手指跟踪步骤，基于存储在跟踪信息存储部分中的跟踪信息和存储在跟踪恢复判定信息存储部分中的跟踪恢复判定信息，为分配有身份信息的每个手指，判断手指确定步骤实际确定的手指是否为跟踪下的手指和不可能跟踪下的手指。判断结果可以存储在预定的跟踪状况存储部分中，作为与身份信息对应的跟踪状况。根据该配置，附有身份信息的手指的跟踪状况(跟踪下、失去等)能够被容易地确定。
在手指跟踪步骤中，当过去被手指确定步骤确定的手指不被确定时，身份信息和与该身份信息对应的存储的各种信息被删除和初始化。尽管按顺序确定的手指的各种信息与身份信息对应在存储中被更新，但是当手指没有被确定时，所有信息能够被初始化。
此外，显示设备可以配置成包括实现上述显示方法的多个步骤的多个部分。(多个步骤包括：手指确定步骤、操作目标手指分配步骤、指尖确定步骤、位置指示图像突出显示步骤和分配手指信息获取步骤。)(多个部分包括：手指确定部分、操作目标手指确定部分、指尖确定部分、位置指示图像突出显示部分和分配手指信息获取部分。)因此，在该显示设备中，能够实现上述效果。
此外，操作输入设备可以配置成包括上述显示设备，所述显示设备包括：具有显示窗口的显示部分和具有远程操作区域的远程操作部分，详细地，所述显示窗口可以配置成用于执行装置等的操作的显示窗口，所述远程操作区域可以配置成设置在与显示窗口分离的位置处的操作区域，所述远程操作区域用于在显示窗口中远程地执行操作输入；输入接收部分可被包括，用于基于对远程操作区域的按压操作接收与按压操作位置对应的输入。手图像捕获部分可被包括以捕获与远程操作区域相对的手的图像。位置指示图像突出显示部分可被包括以在显示窗口的由手指示的位置处显示基于捕获的手的图像产生的位置指示图像。上述部分能够实现具有上述显示方法的效果的用于远程操作用的操作输入设备。
此外，操作输入设备能够是车辆操作输入设备。详细地，上述装置可以是车辆内的装置。显示窗口可以布置成比驾驶员更靠近车辆的前侧，以便被驾驶员看见。远程操作区域可以布置成比显示窗口更靠近驾驶员。显示能够允许容易理解操作目标手指，因此提供容易的操作。特别是，这能够有助于驾驶员的操作的简化。
此外，第一方面和第二方面可以以更宽的概念设置。即，车辆操作输入设备可以如下设置。显示部分可以配置成具有用于执行车内装置的操作的显示窗口。远程操作部分可以设置在与显示窗口分离的位置处，具有远程操作区域的远程操作部分用于远程地执行显示窗口中的操作输入。输入接收部分可以配置成基于对远程操作区域的按压操作接收与按压操作位置对应的输入。手图像捕获部分可以配置成捕获与远程操作区域相对的手的图像。位置指示图像显示部分可以配置成在显示窗口的由手指示的位置处显示基于捕获的手的图像产生的位置指示图像。预定的手指状态确定部分可以配置成确定与远程操作区域相对的手的手指状态是否为预定的手指状态。显示模式分配部分可以配置成对分配给位置指示图像显示部分的显示模式执行显示模式切换控制。当确定为是预定的手指状态时，显示模式切换控制给显示模式分配显示允许模式，以允许位置指示图像的显示，并且当确定为不是预定的手指状态时，显示模式切换控制给显示模式分配显示禁止模式，以禁止位置指示图像的显示。
此外，在本公开的另一个方面中，上述能够提供成如下的显示方法。即，用在显示设备中的方法，所述显示设备包括具有显示窗口的显示部分和具有远程操作区域的远程操作部分，所述远程操作区域用于对显示窗口执行远程操作。所述显示方法用于在显示设备中显示位置指示图像。当手指面对远程操作部分的前面时，所述位置指示图像以与背景图像组合或叠加的方式显示在显示窗口上的与手指的位置相对应的窗口上位置。所述方法包括如下步骤：预定的手指状态确定步骤，其确定面对远程操作区域的手的手指状态是否为预定的手指状态；当确定为是预定的手指状态时分配显示允许模式以允许显示位置指示图像的步骤；和当确定为不是预定的手指状态时分配显示禁止模式以禁止位置指示图像的显示的步骤。
尽管已经说明了本发明的具体实施例，可以理解的是，这些实施例不是用于将本发明限制成具体公开方式，相反，本发明涵盖落入所附权利要求限定的本发明的保护范围内的所有变化例、等同物和可选例。
附图标记说明
1    操作输入设备
10   车辆导航设备
12    操作信息输入部分(远程操作部分)
12a   操作面板
12b   摄像机(手图像捕获部分或装置)
12c   光源
15    显示装置(显示部分或装置，操作窗口显示部分或装置)
15a   触摸面板
18    控制电路(输入接收部分或装置，位置指示图像显示部分或装置，预定的手指状态确定部分或装置，操作意图表示用手指状态确定部分或装置，简单操作用手指状态确定部分或装置，操作输入控制部分或装置，显示模式分配部分或装置，操作者确定部分或装置，行驶状态确定部分或装置，位置指示图像突出显示部分或装置，手指确定部分或装置，操作目标手指确定部分或装置，指尖确定部分或装置，分配手指信息获取部分或装置，手指数量确定部分或装置，手形状识别部分或装置，操作数量确定部分或装置，显示模式执行适用性信息存储部分或装置)
18a    图像处理部分
21     存储部分
20     摄像机
30     车速传感器(车辆速度检测部分或装置)
40     摄像机
41和42 摄像机
50     车内局域网(LAN)
100    ECU
150    捕获图像
200B   主图像
200I   开关图像(操作图标)
200H   位置指示图像(手图像)
H      接近物体(手和手指)

Claims (47)

1.一种车辆操作输入设备(1)，包括：
显示部分(15)，所述显示部分(15)包括用于执行车辆中的装置的操作的显示窗口；
远程操作部分(12，12a)，所述远程操作部分(12，12a)设置在与所述显示窗口分开的位置处，所述远程操作部分具有远程操作区域，所述远程操作区域用于在显示窗口中远程地执行操作输入；
输入接收部分(18)，所述输入接收部分(18)构造成基于对远程操作区域的按压操作接收与按压操作位置对应的输入；
手图像捕获部分(12b)，所述手图像捕获部分(12b)构造成捕获与远程操作区域相对的手的图像；
位置指示图像显示部分(18)，所述位置指示图像显示部分(18)构造成在显示窗口上的由手所指示的位置处显示位置指示图像，所述位置指示图像基于捕获的手的图像产生；
简单操作用手指状态确定部分(18)，该简单操作用手指状态确定部分(18)构造成确定与远程操作区域相对的手的手指状态是否为预定的简单操作用手指状态，
所述简单操作用手指状态确定部分包括手指形状识别部分(18)，所述手指形状识别部分(18)构造成基于手图像捕获部分捕获的手的图像来识别与远程操作区域相对的手的手指的形状，
当所识别的手指形状是用于简单操作用的预定的手指形状时，所述简单操作用手指状态确定部分确定简单操作用手指状态；以及
显示模式分配部分(18)，所述显示模式分配部分构造成对分配给位置指示图像显示部分的显示模式执行显示模式切换控制，
当所识别的手指形状是用于简单操作用的预定的手指形状，因此所述简单操作用手指状态确定部分确定简单操作用手指状态时，所述显示模式切换控制分配显示允许模式，以允许位置指示图像的显示，并且
当所识别的手指形状不是用于简单操作用的预定的手指形状，因此所述简单操作用手指状态确定部分确定为不是简单操作用手指状态时，所述显示模式切换控制分配显示禁止模式，以禁止位置指示图像的显示。
2.根据权利要求1所述的车辆操作输入设备，还包括：
车辆速度检测部分(30)，所述车辆速度检测部分(30)构造成检测车辆的车速，
所述显示模式分配部分构造成：
当车辆处于超出预定的车速水平的车辆行驶状态时，执行显示模式切换控制；和
当车辆不处于所述车辆行驶状态时，给显示模式分配显示允许模式。
3.根据权利要求1所述的车辆操作输入设备，还包括：
操作者确定部分(18)，所述操作者确定部分(18)构造成确定远程操作区域的操作者是否为驾驶员，
所述显示模式分配部分构造成：
当确定远程操作区域的操作者是驾驶员时，执行显示模式切换控制；和
当确定远程操作区域的操作者不是驾驶员时，给显示模式分配显示允许模式。
4.根据权利要求1所述的车辆操作输入设备，还包括：
操作输入接收控制部分(18)，所述操作输入接收控制部分(18)构造成执行操作输入接收控制以便，
当显示模式分配部分分配显示允许模式时，允许输入接收部分接收输入；并且
当分配显示禁止模式时，禁止输入接收部分接收输入。
5.根据权利要求1所述的车辆操作输入设备，还包括：
操作输入接收控制部分(18)，所述操作输入接收控制部分(18)构造成执行操作输入接收控制以便：
当简单操作用手指状态确定部分确定是简单操作用手指状态时，允许输入接收部分接收输入；和
当确定不是简单操作用手指状态时，禁止输入接收部分接收输入。
6.根据权利要求1所述的车辆操作输入设备，
所述简单操作用手指状态确定部分包括手指数量确定部分，所述手指数量确定部分构造成确定通过手指形状识别部分识别的、处于与远程操作区域大致平行延伸的状态的手指的数量，
当确定的处于与远程操作区域大致平行延伸的状态的手指的数量是用于简单操作用的预定的数量时，所述简单操作用手指状态确定部分确定简单操作用手指状态。
7.根据权利要求1所述的车辆操作输入设备，
所述简单操作用手指状态确定部分包括操作数量确定部分(18)，所述操作数量确定部分(18)构造成确定由按压操作引起的输入的数量，所述按压操作在远程操作区域的不同位置进行，并且在预定的时间期间被输入接收部分接收，
当在预定的时间期间所确定的输入的数量是用于简单操作用的预定的数量时，所述简单操作用手指状态确定部分确定简单操作用手指状态。
8.根据权利要求6或7所述的车辆操作输入设备，其中，所述用于简单操作用的预定的数量是1。
9.根据权利要求6或7所述的车辆操作输入设备，其中，所述用于简单操作用的预定的数量是2。
10.根据权利要求6或7所述的车辆操作输入设备，其中，所述用于简单操作用的预定的数量是3。
11.根据权利要求6或7所述的车辆操作输入设备，其中，所述用于简单操作用的预定的数量是4。
12.根据权利要求1所述的车辆操作输入设备，
所述简单操作用手指状态确定部分包括手指类型确定部分，所述手指类型确定部分构造成确定通过手指形状识别部分识别的、处于与远程操作区域大致平行延伸的状态的手指的类型，
当所确定的处于与远程操作区域大致平行延伸的状态的手指的类型是用于简单操作用的预定的类型时，所述简单操作用手指状态确定部分确定简单操作用手指状态。
13.根据权利要求12所述的车辆操作输入设备，其中，用于简单操作用的手指的类型是食指。
14.根据权利要求12所述的车辆操作输入设备，其中，用于简单操作用的手指的类型是中指。
15.根据权利要求12所述的车辆操作输入设备，其中，用于简单操作用的手指的类型是食指和中指。
16.根据权利要求1所述的车辆操作输入设备，
所述位置指示图像显示部分构造成：
基于手图像捕获部分捕获的手的图像来产生真实手指图像，该真实手指图像允许确定至少手的手指的轮廓；和
将产生的真实手指图像作为位置指示图像显示。
17.根据权利要求1所述的车辆操作输入设备，
所述位置指示图像显示部分构造成将不真实手指图像和指尖位置图像中的一个作为位置指示图像显示，
所述不真实手指图像允许确定至少延伸的手指的方向和指尖位置，
所述指尖位置图像允许确定至少手指的指尖位置。
18.根据权利要求1所述的车辆操作输入设备，还包括：
车辆速度检测部分(30)，所述车辆速度检测部分(30)检测车辆的车速，
所述显示模式分配部分构造成：
当车辆处于超出预定的车速水平的车辆行驶状态时，执行显示模式切换控制；和
当车辆不处于所述车辆行驶状态时，给显示模式分配显示允许模式，
所述预定的车速水平定义为0km/h。
19.根据权利要求1所述的车辆操作输入设备，还包括：
车辆速度检测部分(30)，所述车辆速度检测部分(30)检测车辆的车速，
所述显示模式分配部分构造成：
当车辆处于超出预定的车速水平的车辆行驶状态时，执行显示模式切换控制；和
当车辆不处于所述车辆行驶状态时，给显示模式分配显示允许模式，
所述预定的车速水平定义为大于0km/h并且小于5km/h的车速范围。
20.根据权利要求1所述的车辆操作输入设备，还包括：
车辆速度检测部分(30)，所述车辆速度检测部分(30)检测车辆的车速，
所述显示模式分配部分构造成：
当车辆处于超出预定的车速水平的车辆行驶状态时，执行显示模式切换控制；和
当车辆不处于所述车辆行驶状态时，给显示模式分配显示允许模式，
所述预定的车速水平定义为等于或大于5km/h并且小于10km/h的车速范围。
21.根据权利要求1所述的车辆操作输入设备，还包括：
车辆速度检测部分(30)，所述车辆速度检测部分(30)检测车辆的车速，
所述显示模式分配部分构造成：
当车辆处于超出预定的车速水平的车辆行驶状态时，执行显示模式切换控制；和
当车辆不处于所述车辆行驶状态时，给显示模式分配显示允许模式，
所述预定的车速水平定义为等于或大于10km/h并且小于30km/h的车速范围。
22.根据权利要求1所述的车辆操作输入设备，还包括：
车辆速度检测部分(30)，所述车辆速度检测部分(30)检测车辆的车速，
所述显示模式分配部分构造成：
当车辆处于超出预定的车速水平的车辆行驶状态时，执行显示模式切换控制；和
当车辆不处于所述车辆行驶状态时，给显示模式分配显示允许模式，
所述预定的车速水平定义为等于或大于30km/h并且小于60km/h的车速范围。
23.根据权利要求1所述的车辆操作输入设备，还包括：
车辆速度检测部分(30)，所述车辆速度检测部分(30)检测车辆的车速，
所述显示模式分配部分构造成：
当车辆处于超出预定的车速水平的车辆行驶状态时，执行显示模式切换控制；和
当车辆不处于所述车辆行驶状态时，给显示模式分配显示允许模式，
所述预定的车速水平定义为等于或大于60km/h的车速范围。
24.根据权利要求1所述的车辆操作输入设备，还包括：
操作窗口显示部分(15)，所述操作窗口显示部分(15)以切换方式显示多个操作显示窗口，在所述操作显示窗口中由对远程操作区域的按压操作引起的输入被输入接收部分接收；和
显示模式执行适用性信息存储部分(18d)，所述显示模式执行适用性信息存储部分(18d)存储显示模式执行适用性信息，所述显示模式执行适用性信息允许从多个操作显示窗口中确定用于显示模式切换控制的执行目标的操作显示窗口，
所述显示模式分配部分构造成：仅当操作窗口显示部分中显示的操作显示窗口基于显示模式执行适用性信息被确定为用于显示模式切换控制的执行目标时，在所确定的操作显示窗口中执行显示模式切换控制。
25.根据权利要求24所述的车辆操作输入设备，其中，
在所述多个操作显示窗口中，所述显示模式执行适用性信息将复杂操作显示窗口限定成用于显示模式切换控制的执行目标，在所述复杂操作显示窗口中，被输入接收部分作为输入接收的对远程操作区域的按压操作包括超出预定操作负载水平的操作；并且
在所述多个操作显示窗口中，所述显示模式执行适用性信息将简单操作窗口限定成用于显示允许模式的固定分配目标，在所述简单操作窗口中，被输入接收部分作为输入接收的对远程操作区域的按压操作包括不超出预定操作负载水平的操作。
26.根据权利要求25所述的车辆操作输入设备，其中，
所述简单操作窗口包括菜单选择窗口、音量调节窗口和风量调节窗口中的至少一个。
27.根据权利要求25所述的车辆操作输入设备，其中，
所述复杂操作窗口至少包括字符输入窗口。
28.根据权利要求1所述的车辆操作输入设备，其中
当手指面对远程操作部分的前面时，所述位置指示图像显示部分显示位置指示图像，所述位置指示图像以与背景图像组合或叠加的方式显示在显示窗口上的与手指的位置相对应的窗口上位置；并且
所述简单操作用手指状态确定部分确定面对远程操作部分的前面的手的手指，
所述设备还包括：
操作目标手指分配部分(18)，所述操作目标手指分配部分(18)构造成从所确定的手指分配操作目标手指，所述操作目标手指用于或估计将用于远程操作部分的操作；和
位置指示图像突出显示部分(18)，所述位置指示图像突出显示部分(18)构造成：
使显示部分以与显示窗口上的背景图像组合或叠加的方式显示表示所确定的手指的指示位置的位置指示图像；和
使显示部分对显示的位置指示图像中的与所分配的操作目标手指对应的位置指示图像执行突出显示，以便同对应于不同于操作目标手指的手指的位置指示图像相比，相对地更突出。
29.一种车辆操作输入设备，包括：
显示部分(15)，所述显示部分(15)包括用于执行车辆中的装置的操作的显示窗口；
远程操作部分(12，12a)，所述远程操作部分(12，12a)设置在与所述显示窗口分开的位置处，所述远程操作部分具有远程操作区域，所述远程操作区域用于在显示窗口中远程地执行操作输入；
输入接收部分(18)，所述输入接收部分(18)构造成基于对远程操作区域的按压操作接收与按压操作位置对应的输入；
手图像捕获部分(12b)，所述手图像捕获部分(12b)构造成捕获与远程操作区域相对的手的图像；
位置指示图像显示部分(18)，所述位置指示图像显示部分(18)构造成在显示窗口上的由手所指示的位置处显示位置指示图像，所述位置指示图像基于捕获的手的图像产生；
操作意图表示用手指状态确定部分(18)，所述操作意图表示用手指状态确定部分构造成确定与远程操作区域相对的手的手指状态是否为预定的操作意图表示用手指状态，
所述操作意图表示用手指状态确定部分包括手指形状识别部分(18)，所述手指形状识别部分构造成基于手图像捕获部分捕获的手的图像来识别与远程操作区域相对的手的手指的形状，
当所识别的手指形状是用于操作意图表示用的预定的手指形状时，所述操作意图表示用手指状态确定部分确定操作意图表示用手指状态；以及
显示模式分配部分(18)，所述显示模式分配部分构造成对分配给位置指示图像显示部分的显示模式执行显示模式切换控制，
所述显示模式切换控制分配显示禁止模式，以禁止位置指示图像的显示，并且
当所识别的手指形状是用于操作意图表示用的预定的手指形状，因此所述操作意图表示用手指状态确定部分确定是操作意图表示用手指状态时，所述显示模式切换控制切换到显示允许模式，以允许仅在预定的显示允许时间期间显示位置指示图像。
30.根据权利要求29所述的车辆操作输入设备，其中
所述显示模式分配部分将从显示模式切换到显示允许模式直至经过预定的禁止模式恢复时间的时间期间限定成显示允许时间期间；并且
在经过禁止模式恢复时间的时间处，所述显示模式分配部分将显示模式返回到显示禁止模式。
31.根据权利要求29所述的车辆操作输入设备，其中
所述显示模式分配部分将直至操作意图表示用手指状态变成不被确定时的时间期间限定成显示允许时间期间；并且
当确定为是操作意图表示用手指状态时，所述显示模式分配部分分配显示允许模式；并且
当确定为不是操作意图表示用手指状态时，所述显示模式分配部分分配显示禁止模式。
32.根据权利要求29所述的车辆操作输入设备，还包括：
操作输入接收控制部分，所述操作输入接收控制部分构造成：
当分配显示允许模式时，执行操作输入接收控制以允许输入接收部分接收输入；和
当分配显示禁止模式时，禁止输入接收部分接收输入。
33.根据权利要求29所述的车辆操作输入设备，还包括：
操作输入接收控制部分，所述操作输入接收控制部分构造成执行操作输入接收控制以便，
当确定为是操作意图表示用状态时，允许输入接收部分接收输入，并且
当确定为不是操作意图表示用手指状态时，禁止输入接收部分接收输入。
34.根据权利要求29所述的车辆操作输入设备，
所述操作意图表示用手指状态确定包括手指数量确定部分，所述手指数量确定部分构造成当用手指形状识别部分识别与远程操作区域大致平行延伸的手指时确定处于与远程操作区域大致平行延伸的状态的手指的数量，
当确定的处于与远程操作区域大致平行延伸的状态的手指的数量是用于操作意图表示用的预定的数量时，所述操作意图表示用手指状态确定部分确定操作意图表示用手指。
35.根据权利要求29所述的车辆操作输入设备，其中
所述操作意图表示用手指状态确定部分包括操作数量确定部分，所述操作数量确定部分构造成确定由按压操作引起的输入的数量，所述按压操作在远程操作区域的不同位置进行并且在预定的时间期间被输入接收部分接收，
当在预定的时间期间所确定的输入的数量是用于操作意图表示用的预定的数量时，所述操作意图表示用手指状态确定部分确定操作意图表示用手指状态。
36.根据权利要求34或35所述的车辆操作输入设备，其中
所述用于操作意图表示用的数量是1。
37.根据权利要求34或35所述的车辆操作输入设备，其中
所述用于操作意图表示用的数量是2。
38.根据权利要求34或35所述的车辆操作输入设备，其中
所述用于操作意图表示用的数量是3。
39.根据权利要求34或35所述的车辆操作输入设备，其中
所述用于操作意图表示用的数量是4。
40.根据权利要求29所述的车辆操作输入设备，
所述操作意图表示用手指状态确定部分包括手指类型确定部分，所述手指类型确定部分构造成当用手指形状识别部分识别与远程操作区域大致平行延伸的手指时确定处于与远程操作区域大致平行延伸的状态的手指的类型，
当所确定的处于与远程操作区域大致平行延伸的状态的手指的类型是用于操作意图表示用的预定的类型时，所述操作意图表示用手指状态确定部分确定操作意图表示用手指。
41.根据权利要求40所述的车辆操作输入设备，其中，用于操作意图表示用的手指的类型是食指。
42.根据权利要求40所述的车辆操作输入设备，其中，用于操作意图表示用的手指的类型是中指。
43.根据权利要求40所述的车辆操作输入设备，其中，用于操作意图表示用的手指的类型是食指和中指。
44.根据权利要求29所述的车辆操作输入设备，
所述位置指示图像显示部分构造成：
基于手图像捕获部分捕获的手的图像来产生真实手指图像，该真实手指图像允许确定至少手的手指的轮廓；和
将产生的真实手指图像作为位置指示图像显示。
45.根据权利要求29所述的车辆操作输入设备，
所述位置指示图像显示部分构造成将不真实手指图像和指尖位置图像中的一个作为位置指示图像显示，
所述不真实手指图像允许确定至少延伸的手指的方向和指尖位置，
所述指尖位置图像允许确定至少手指的指尖位置。
46.根据权利要求29所述的车辆操作输入设备，其中
当手指面对远程操作部分的前面时，所述位置指示图像显示部分显示位置指示图像，所述位置指示图像以与背景图像组合或叠加的方式显示在显示窗口上的与手指的位置相对应的窗口上位置；并且
所述操作意图表示用手指状态确定部分确定面对远程操作部分的前面的手的手指，
所述设备还包括：
操作目标手指分配部分(18)，所述操作目标手指分配部分(18)构造成从所确定的手指分配操作目标手指，所述操作目标手指用于或估计将用于远程操作部分的操作；和
位置指示图像突出显示部分(18)，所述位置指示图像突出显示部分(18)构造成：
使显示部分以与显示窗口上的背景图像组合或叠加的方式显示表示所确定的手指的指示位置的位置指示图像；和
使显示部分对显示的位置指示图像中的与所分配的操作目标手指对应的位置指示图像执行突出显示，以便同对应于不同于操作目标手指的手指的位置指示图像相比，相对地更突出。
47.一种在显示设备中显示位置指示图像的方法，所述显示设备包括具有显示窗口的显示部分(15)和具有远程操作区域的远程操作部分(12，12a)，所述远程操作区域用于对显示窗口执行远程操作，
当手图像捕获部分(12b)捕获面对远程操作区域的手的手指图像时，所述位置指示图像以与背景图像组合或叠加的方式显示在显示窗口上的与手指的位置相对应的窗口上位置，
所述方法包括如下步骤：
步骤(S2，S3)，基于手图像捕获部分捕获的手的手指图像来识别与远程操作区域相对的手的手指的形状，并且确定所识别的手指形状是否是预定的手指形状；
步骤(S4)：当确定为是预定的手指形状时分配显示允许模式以允许显示位置指示图像；和
步骤(S7)：当确定为不是预定的手指形状时分配显示禁止模式以禁止位置指示图像的显示。
CN2009801095824A 2008-03-19 2009-03-18 车辆操作输入设备 Expired - Fee Related CN101977796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210488034.0A CN103076949B (zh) 2008-03-19 2009-03-18 车辆操作输入设备

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
JP2008071467 2008-03-19
JP2008071468 2008-03-19
JP2008071470 2008-03-19
JP2008-071468 2008-03-19
JP2008-071470 2008-03-19
JP2008-071467 2008-03-19
JP2008-291592 2008-11-14
JP2008291592 2008-11-14
JP2009021004A JP5077773B2 (ja) 2008-03-19 2009-01-30 車両用操作入力装置
JP2009-021003 2009-01-30
JP2009-021004 2009-01-30
JP2009-021005 2009-01-30
JP2009021005A JP5077774B2 (ja) 2008-03-19 2009-01-30 車両用操作入力装置
JP2009021003A JP5257779B2 (ja) 2008-03-19 2009-01-30 表示方法、表示装置、及び操作入力装置
PCT/JP2009/001213 WO2009116285A1 (ja) 2008-03-19 2009-03-18 車両用操作入力装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201210488034.0A Division CN103076949B (zh) 2008-03-19 2009-03-18 车辆操作输入设备

Publications (2)

Publication Number Publication Date
CN101977796A CN101977796A (zh) 2011-02-16
CN101977796B true CN101977796B (zh) 2013-05-08

Family

ID=43048978

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210488034.0A Expired - Fee Related CN103076949B (zh) 2008-03-19 2009-03-18 车辆操作输入设备
CN2009801095824A Expired - Fee Related CN101977796B (zh) 2008-03-19 2009-03-18 车辆操作输入设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201210488034.0A Expired - Fee Related CN103076949B (zh) 2008-03-19 2009-03-18 车辆操作输入设备

Country Status (5)

Country Link
US (1) US20110029185A1 (zh)
EP (2) EP2258587A4 (zh)
KR (2) KR101297144B1 (zh)
CN (2) CN103076949B (zh)
WO (1) WO2009116285A1 (zh)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730169B2 (en) * 2009-10-29 2014-05-20 Pixart Imaging Inc. Hybrid pointing device
DE102008029446A1 (de) * 2008-06-20 2009-12-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Steuerung von Funktionen in einem Kraftfahrzeug mit benachbart liegenden Bedienelementen
JP4840620B2 (ja) 2009-04-30 2011-12-21 株式会社デンソー 車載用電子機器操作装置
JP5482023B2 (ja) * 2009-08-27 2014-04-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20120013532A1 (en) * 2009-10-29 2012-01-19 Pixart Imaging Inc. Hybrid pointing device
US8581847B2 (en) 2009-10-29 2013-11-12 Pixart Imaging Inc. Hybrid pointing device
JP5930166B2 (ja) * 2009-12-07 2016-06-08 日本電気株式会社 偽指判別装置
JP2011131686A (ja) * 2009-12-24 2011-07-07 Nec Access Technica Ltd ナビゲーションシステム
JP5556423B2 (ja) * 2010-01-29 2014-07-23 ブラザー工業株式会社 入力装置および入力制御プログラム
US20110257958A1 (en) * 2010-04-15 2011-10-20 Michael Rogler Kildevaeld Virtual smart phone
US9678662B2 (en) 2010-04-23 2017-06-13 Handscape Inc. Method for detecting user gestures from alternative touchpads of a handheld computerized device
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US9639195B2 (en) 2010-04-23 2017-05-02 Handscape Inc. Method using finger force upon a touchpad for controlling a computerized system
US9529523B2 (en) 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
US9310905B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Detachable back mounted touchpad for a handheld computerized device
US9430147B2 (en) 2010-04-23 2016-08-30 Handscape Inc. Method for user input from alternative touchpads of a computerized system
US9891821B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a control region of a computerized device from a touchpad
US9311724B2 (en) * 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US9891820B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US9542032B2 (en) 2010-04-23 2017-01-10 Handscape Inc. Method using a predicted finger location above a touchpad for controlling a computerized system
US8760403B2 (en) 2010-04-30 2014-06-24 Pixart Imaging Inc. Hybrid human-interface device
US8648836B2 (en) 2010-04-30 2014-02-11 Pixart Imaging Inc. Hybrid pointing device
US20110310126A1 (en) * 2010-06-22 2011-12-22 Emil Markov Georgiev Method and system for interacting with datasets for display
US8542218B2 (en) * 2010-08-19 2013-09-24 Hyundai Motor Company Electronic switch apparatus for vehicle
DE102010035373A1 (de) * 2010-08-25 2012-03-01 Elektrobit Automotive Gmbh Technik zur bildschirmbasierten Routenmanipulation
US9354804B2 (en) * 2010-12-29 2016-05-31 Microsoft Technology Licensing, Llc Touch event anticipation in a computing device
US8514192B2 (en) * 2011-01-04 2013-08-20 Ma Lighting Technology Gmbh Method for operating a lighting control console
FR2970797B1 (fr) * 2011-01-25 2013-12-20 Intui Sense Dispositif a commandes tactile et gestuelle et procede d'interpretation de la gestuelle associe
JP5229379B2 (ja) * 2011-02-21 2013-07-03 株式会社デンソー 表示制御装置
KR20120122379A (ko) * 2011-04-29 2012-11-07 삼성전기주식회사 차량 화상 기록 시스템 및 반사 기구
KR20120122378A (ko) * 2011-04-29 2012-11-07 삼성전기주식회사 차량 화상 기록 시스템
US9043042B2 (en) * 2011-07-19 2015-05-26 GM Global Technology Operations LLC Method to map gaze position to information display in vehicle
WO2013021654A1 (ja) * 2011-08-11 2013-02-14 株式会社デンソー 表示制御装置
CN115167675A (zh) 2011-09-19 2022-10-11 视力移动技术有限公司 增强现实设备
US20130179811A1 (en) * 2012-01-05 2013-07-11 Visteon Global Technologies, Inc. Projection dynamic icon knobs
US20130207913A1 (en) 2012-02-09 2013-08-15 Sony Mobile Communications Inc. Touch panel device, portable terminal, position detecting method, and recording medium
DE102012004793B4 (de) * 2012-03-07 2018-03-22 Audi Ag Kraftfahrzeug mit einem elektronischen Rückspiegel
US9310922B2 (en) * 2012-04-30 2016-04-12 Blackberry Limited Method and apparatus for determining a selection option
KR101868352B1 (ko) * 2012-05-14 2018-06-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9182233B2 (en) * 2012-05-17 2015-11-10 Robert Bosch Gmbh System and method for autocompletion and alignment of user gestures
US8872781B1 (en) * 2012-06-27 2014-10-28 Google Inc. Method and system for filtering movements on a trackpad
US9558667B2 (en) 2012-07-09 2017-01-31 Elwha Llc Systems and methods for cooperative collision detection
US9165469B2 (en) 2012-07-09 2015-10-20 Elwha Llc Systems and methods for coordinating sensor operation for collision detection
EP2872967B1 (en) * 2012-07-13 2018-11-21 Sony Depthsensing Solutions SA/NV Method and system for detecting hand-related parameters for human-to-computer gesture-based interaction
JP5812054B2 (ja) * 2012-08-23 2015-11-11 株式会社デンソー 操作デバイス
KR101392861B1 (ko) * 2012-09-21 2014-05-27 전자부품연구원 조작자와 차량 주행 상황을 반영한 차량용 ｕｉ 제공방법 및 장치
US9442587B2 (en) 2012-12-04 2016-09-13 L-3 Communications Corporation Touch sensor controller responsive to environmental operating conditions
WO2014096896A1 (en) * 2012-12-20 2014-06-26 Renault Trucks A method of selecting display data in a display system of a vehicle
DE102013006069A1 (de) * 2013-04-08 2014-10-09 Audi Ag Verfahren zum Herstellen eines Bedienelements und Bedienelement
DE102013214326A1 (de) * 2013-07-23 2015-01-29 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
US9776632B2 (en) * 2013-07-31 2017-10-03 Elwha Llc Systems and methods for adaptive vehicle sensing systems
US9269268B2 (en) 2013-07-31 2016-02-23 Elwha Llc Systems and methods for adaptive vehicle sensing systems
US9230442B2 (en) 2013-07-31 2016-01-05 Elwha Llc Systems and methods for adaptive vehicle sensing systems
JP6086350B2 (ja) * 2013-08-09 2017-03-01 株式会社デンソー タッチパネル式入力装置、およびタッチパネル式入力方法
KR101550604B1 (ko) 2013-09-25 2015-09-07 현대자동차 주식회사 차량용 조작 장치
EP3055834B1 (en) * 2013-10-07 2017-08-02 Metaio GmbH Method and system for providing position or movement information for controlling at least one function of a vehicle
US10937187B2 (en) 2013-10-07 2021-03-02 Apple Inc. Method and system for providing position or movement information for controlling at least one function of an environment
EP3058436B1 (en) 2013-10-14 2021-12-08 Continental Automotive GmbH Dual graphics label for an input area of control device
KR101480775B1 (ko) * 2013-10-30 2015-01-22 전자부품연구원 필기 인식을 이용한 차량용 정보 표시 장치 및 방법, 그 정보 입력 모듈
KR101422060B1 (ko) 2013-10-30 2014-07-28 전자부품연구원 터치패드를 이용한 차량용 정보 표시 장치 및 방법, 그 정보 입력 모듈
DE112013007591T5 (de) * 2013-11-12 2016-08-18 Mitsubishi Electric Corporation Anzeigensteuervorrichtung, Informationsanzeigeverfahren und Informationsanzeigesystem
KR101558354B1 (ko) 2013-11-13 2015-10-20 현대자동차 주식회사 차량용 블라인드 콘트롤 시스템
CN104691444A (zh) * 2013-12-09 2015-06-10 奇点新源国际技术开发(北京)有限公司 一种基于电动汽车的车载终端和车载终端系统
EP2891950B1 (en) 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
DE102014012516A1 (de) * 2014-01-20 2015-07-23 Beijing Lenovo Software Ltd. Informationsverarbeitungsverfahren und elektrische Vorrichtung
KR101575650B1 (ko) * 2014-03-11 2015-12-08 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
EP3124330B1 (en) * 2014-03-25 2019-11-27 Clarion Co., Ltd. Apparatus for vehicle
JP2015201062A (ja) * 2014-04-09 2015-11-12 株式会社東海理化電機製作所 操作装置
CN104019826A (zh) * 2014-06-16 2014-09-03 张善珍 一种基于触控的自动导航方法及系统
JP2016035685A (ja) * 2014-08-04 2016-03-17 三菱自動車工業株式会社 タッチパネル装置
US9315197B1 (en) * 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
KR101646117B1 (ko) * 2014-10-30 2016-08-05 현대자동차 주식회사 곡면 터치 디스플레이 장치 및 상기 곡면 터치 디스플레이 장치를 이용한 터치 인식 방법
DE102014016222A1 (de) * 2014-10-31 2016-05-04 Audi Ag Verfahren und System zum Betreiben einer berührungssensitiven Anzeigeeinrichtung eines Kraftwagens
CN104363345A (zh) * 2014-11-17 2015-02-18 联想(北京)有限公司 一种显示方法和电子设备
DE102014224641A1 (de) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
US20180267637A1 (en) * 2014-12-22 2018-09-20 Volkswagen Ag Finger-operated control bar, and use of the finger-operated control bar
JP2016200887A (ja) * 2015-04-08 2016-12-01 株式会社リコー 情報処理装置、情報入力システム、情報処理方法およびプログラム
CN106325840B (zh) * 2015-06-29 2018-11-30 华为技术有限公司 一种文本输入实现方法及装置
CN105204764B (zh) * 2015-09-06 2020-08-21 惠州Tcl移动通信有限公司 具有悬浮屏的手持终端、显示设备及遥控方法
CN105388973B (zh) * 2015-11-13 2019-03-19 业成光电（深圳）有限公司 可携式电子装置
CN105625857B (zh) * 2015-12-25 2018-09-11 北京新能源汽车股份有限公司 车窗玻璃的控制装置、方法和车辆
JP2017219957A (ja) * 2016-06-06 2017-12-14 株式会社東海理化電機製作所 操作予測装置
CN110869566A (zh) * 2017-08-23 2020-03-06 住友建机株式会社 挖土机
DE102019204481A1 (de) * 2019-03-29 2020-10-01 Deere & Company System zur Erkennung einer Bedienabsicht an einer von Hand betätigbaren Bedieneinheit
US10747371B1 (en) 2019-06-28 2020-08-18 Konica Minolta Business Solutions U.S.A., Inc. Detection of finger press from live video stream
US11353993B2 (en) * 2020-05-05 2022-06-07 Pixart Imaging Inc. Optical detection device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6191773B1 (en) * 1995-04-28 2001-02-20 Matsushita Electric Industrial Co., Ltd. Interface apparatus

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
JP3777650B2 (ja) * 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
JPH0918456A (ja) * 1995-06-29 1997-01-17 Matsushita Electric Ind Co Ltd ダイバーシティ受信機
JP3588527B2 (ja) * 1997-01-22 2004-11-10 株式会社東芝 ユーザインタフェース装置及び指示入力方法
JP2000006687A (ja) * 1998-06-25 2000-01-11 Yazaki Corp 車載機器スイッチ安全操作システム
JP2000346651A (ja) * 1999-06-07 2000-12-15 Tokai Rika Co Ltd ディスプレイシステム
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US20020070852A1 (en) * 2000-12-12 2002-06-13 Pearl I, Llc Automobile display control system
JP3863809B2 (ja) * 2002-05-28 2006-12-27 独立行政法人科学技術振興機構 手の画像認識による入力システム
JP2004026046A (ja) * 2002-06-26 2004-01-29 Clarion Co Ltd 車載用情報機器の操作装置
JP2004348522A (ja) * 2003-05-23 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> 掌形認証用基準点検出方法、掌形認証用基準点検出装置、プログラムおよび記録媒体
JP4274997B2 (ja) * 2004-05-06 2009-06-10 アルパイン株式会社 操作入力装置および操作入力方法
JP4351599B2 (ja) * 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
US7810050B2 (en) * 2005-03-28 2010-10-05 Panasonic Corporation User interface system
JP4645299B2 (ja) * 2005-05-16 2011-03-09 株式会社デンソー 車載用表示装置
CN100478862C (zh) * 2005-10-05 2009-04-15 索尼株式会社 显示装置和显示方法
US8085243B2 (en) * 2006-02-03 2011-12-27 Panasonic Corporation Input device and its method
JP4797752B2 (ja) 2006-03-31 2011-10-19 株式会社デンソー 移動体用操作物体抽出装置
JP5086560B2 (ja) * 2006-04-12 2012-11-28 トヨタ自動車株式会社 入力装置
CN101563666B (zh) * 2006-12-22 2012-05-02 松下电器产业株式会社 用户界面装置
TW200928892A (en) * 2007-12-28 2009-07-01 Wistron Corp Electronic apparatus and operation method thereof
US8140970B2 (en) * 2009-02-23 2012-03-20 International Business Machines Corporation System and method for semi-transparent display of hands over a keyboard in real-time

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6191773B1 (en) * 1995-04-28 2001-02-20 Matsushita Electric Industrial Co., Ltd. Interface apparatus

Also Published As

Publication number Publication date
US20110029185A1 (en) 2011-02-03
KR101267378B1 (ko) 2013-05-24
CN103076949B (zh) 2016-04-20
CN101977796A (zh) 2011-02-16
KR20120132561A (ko) 2012-12-05
WO2009116285A1 (ja) 2009-09-24
EP2258587A4 (en) 2013-08-07
KR20100120705A (ko) 2010-11-16
EP2700528A3 (en) 2014-12-24
EP2700528A2 (en) 2014-02-26
EP2258587A1 (en) 2010-12-08
KR101297144B1 (ko) 2013-08-21
CN103076949A (zh) 2013-05-01

Similar Documents

Publication Publication Date Title
CN101977796B (zh) 车辆操作输入设备
US9649938B2 (en) Method for synchronizing display devices in a motor vehicle
CN110045825A (zh) 用于车辆交互控制的手势识别系统
CN103870802A (zh) 使用指谷操作车辆内的用户界面的系统和方法
JP5257779B2 (ja) 表示方法、表示装置、及び操作入力装置
CN107848540A (zh) 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法、驾驶辅助程序以及自动驾驶车辆
JP5077774B2 (ja) 車両用操作入力装置
US10133357B2 (en) Apparatus for gesture recognition, vehicle including the same, and method for gesture recognition
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR20150072074A (ko) 차량 제스처 인식 시스템 및 그 제어 방법
US20180307405A1 (en) Contextual vehicle user interface
US10592078B2 (en) Method and device for a graphical user interface in a vehicle with a display that adapts to the relative position and operating intention of the user
CN1719895A (zh) 监测车辆操作的装置
US10983691B2 (en) Terminal, vehicle having the terminal, and method for controlling the vehicle
CN106325493A (zh) 车辆及其控制方法
CN112162688A (zh) 一种基于手势识别的车载虚拟屏交互信息系统
CN111231860A (zh) 用于车辆的操作模块、操作方法、操作系统及存储介质
KR101806172B1 (ko) 차량 단말기 조작 시스템 및 그 방법
CN113226883A (zh) 用于控制驾驶员信息的输出和用于保持自动化车辆的驾驶员注意力的设备和方法
WO2017188098A1 (ja) 車載用情報処理システム
JP2017083308A (ja) 電子装置、施設特定方法および施設特定プログラム
US11853469B2 (en) Optimize power consumption of display and projection devices by tracing passenger&#39;s trajectory in car cabin
US20230249552A1 (en) Control apparatus
CN116560529A (zh) 用户界面的操作方法及系统、存储介质、电子装置
CN116339513A (zh) 一种多屏交互控制方法及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130508

Termination date: 20210318