CN114258367A - 控制系统、姿势识别系统、车辆以及对姿势识别系统进行控制的方法 - Google Patents

控制系统、姿势识别系统、车辆以及对姿势识别系统进行控制的方法 Download PDF

Info

Publication number
CN114258367A
CN114258367A CN202180004846.0A CN202180004846A CN114258367A CN 114258367 A CN114258367 A CN 114258367A CN 202180004846 A CN202180004846 A CN 202180004846A CN 114258367 A CN114258367 A CN 114258367A
Authority
CN
China
Prior art keywords
gesture recognition
haptic feedback
body part
determining
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180004846.0A
Other languages
English (en)
Inventor
C·M·霍兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN114258367A publication Critical patent/CN114258367A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/25—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

车辆(1)的姿势识别系统(2)的控制系统(10)根据传感器系统(4)的检测信号来确定身体部位(29)相对于姿势识别区域(2)的位置，基于身体部位(29)相对于姿势识别区域(32)的位置来确定触觉反馈信号，并向触觉反馈系统(6)输出触觉反馈信号，触觉反馈信号构成为使触觉反馈系统(6)朝向车辆乘员(25)输出表示身体部位(29)相对于姿势识别区域(32)的位置的非接触的触觉反馈。

Description

控制系统、姿势识别系统、车辆以及对姿势识别系统进行控制 的方法
技术领域
本公开涉及一种车辆的姿势识别系统。本发明的方式涉及一种控制系统、姿势识别系统、车辆以及对姿势识别系统进行控制的方法。
背景技术
已知一种包括姿势识别系统的最新的车辆，该姿势识别系统构成为：观测车辆内部的空间容积，并基于个人的位置和/或一系列的动作来检测在所观测到的空间容积的内部执行的姿势。
发明内容
发明要解决的问题
在多数情况下，这样的姿势识别系统构成为观测能够与所识别出的姿势及对应于姿势的控制行为的数据库相关联的手、一根以上的手指或个人的手臂等个人的特定身体部分(身体部位：body part)。
在所检测到的姿势与可识别的姿势中的一种姿势对应的情况下，姿势识别系统能够构成为控制车辆的一个以上的动作。基于该姿势的控制方法能够使驾驶员一边维持对道路上的视觉注意一边控制车辆的各种操作，从而改善道路的安全性。
已知的姿势识别系统的课题在于，特别是即使在照明条件差等准最优条件(非最优条件)下进行动作的情况下，也保证可靠性高的姿势识别。
用于解决问题的方案
本发明的方式以及实施方式提供一种所附权利要求书中记载那样的控制系统、姿势识别系统、车辆以及对姿势识别系统进行控制的方法。
根据本发明的一个方式，提供一种车辆的姿势识别系统的控制系统。姿势识别系统具备：传感器系统，其观测车辆的室内的空间容积，确定车辆乘员的身体部位在空间容积的内部的位置，并确定由身体部位在空间容积的内部划定出的姿势识别区域内执行的姿势；以及触觉反馈系统，其朝向车辆乘员输出非接触的触觉反馈。
控制系统具备一个以上的控制装置。控制装置构成为：从传感器系统接收检测信号，所述检测信号包含表示身体部位在空间容积的内部的位置的信息，根据检测信号来确定身体部位相对于姿势识别区域的位置，基于身体部位相对于姿势识别区域的位置来确定触觉反馈信号，将触觉反馈信号输出到触觉反馈系统。触觉反馈信号构成为使触觉反馈系统朝向车辆乘员输出表示身体部位相对于姿势识别区域的位置的非接触的触觉反馈。
有利的是，触觉反馈的输出将车辆乘员朝向姿势识别区域引导，该姿势识别区域可能是为了进行姿势识别而被最优化后的车辆的区域，在该区域内，姿势识别系统能够在准最优车厢内条件(非最优室内条件)下可靠地识别姿势。此外，“室内”是为了容纳车辆乘员而设置的车辆的内部的任意空间。
并且，为了进行最优的姿势识别，姿势识别区域是三维区域、即具有体积的空间(空间容积：volume of space)。姿势识别区域取决于室内的照明条件和/或传感器系统的结构。并且，身体部位是适于执行基于姿势的控制的任意的身体部分，该身体部位包括车辆乘员的手指、手或手臂。
任选地，一个以上的控制装置构成为：通过确定身体部位在空间容积内的位置、姿势识别区域在空间容积的内部的位置、姿势识别区域相对于身体部位的位置的方向、身体部位接近姿势识别区域的接近程度以及身体部位与姿势识别区域之间的沿第一轴的距离中的至少一方，来确定身体部位相对于姿势识别区域的位置。
在后文描述中显而易见的是，第一轴也可以是适于控制触觉反馈的任意的轴。例如，第一轴也可以是车辆的前后方向上的轴，以能够根据身体部位相对于姿势识别区域在前后方向上的定位来控制触觉反馈的输出。
在其它例中，第一轴既可以是在触觉反馈系统与目标位置之间延伸的轴，也可以是在传感器系统与目标位置之间延伸的轴。像这样，触觉反馈的输出也可以构成为将身体部位的动作沿特定的轴朝向姿势识别区域进行引导。
在一个实施方式中，触觉反馈信号构成为使触觉反馈系统朝向室内的区域输出触觉反馈。
任选的是，一个以上的控制装置构成为：通过确定触觉反馈的大小、在室内中触觉反馈的区域被进行定向的位置以及触觉反馈的区域的大小中的至少一方，来确定触觉反馈信号。
任选的是，触觉反馈的区域是圆形区域，能够确定触觉反馈的区域的半径。有利的是，这些触觉反馈参数的各参数能够构成为直观地表示姿势识别区域相对于身体部位的位置。
在一个实施方式中，一个以上的控制装置构成为：基于身体部位接近姿势识别区域的接近程度，来确定触觉反馈的大小和触觉反馈的区域的大小中的至少一方。像这样，大小即触觉反馈的力和/或触觉反馈的区域的大小例如也可以随着身体部位接近姿势识别区域而增加，随着身体部位远离姿势识别区域而减小，反之亦然。
任选的是，一个以上的控制装置构成为：基于身体部位与姿势识别区域之间的沿第一轴的距离，来决定触觉反馈的大小和触觉反馈的区域的大小中的至少一方。像这样，触觉反馈的输出也可以构成为将身体部位的动作沿第一轴例如沿前后方向朝向姿势识别区域进行引导。
在一个实施方式中，一个以上的控制装置也可以构成为：基于身体部位在空间容积的内部的位置以及姿势识别区域相对于身体部位的位置的方向，来确定在室内中触觉反馈的区域被进行定向的位置。
例如，在姿势识别区域被配置于指尖(相对于手)所延伸的方向上的情况下，触觉反馈的区域也可以朝向车辆乘员的指尖。
任选的是，一个以上的控制装置构成为：检测身体部位的基准点，基于检测信号来确定基准点在空间容积内的位置，将基准点的位置与姿势识别区域内的目标位置进行比较，确定目标位置与基准点的位置之间的矢量，由此确定身体部位相对于姿势识别区域的位置。像这样，既可以在坐标系上方便地比较多个特异点，以确定身体部位相对于姿势识别区域的位置，也可以通过它们之间的矢量来表示相对的位置。矢量表示将两点之间连结的直线的距离以及直线所延伸的方向。矢量既可以是三维的，也可以包含沿第一轴的第一距离、沿第二轴的第二距离以及沿第三轴的第三距离。第二轴在通过姿势识别区域且与第一轴垂直的第一平面内延伸。第三轴在第一平面内以与第二轴垂直的方式延伸。
在一个实施方式中，一个以上的控制装置也可以构成为：通过确定从基准点的位置向目标位置的方向偏移后的校正点(a point offset from the position of thereference point in the direction of the target position)，来确定在室内中触觉反馈的区域被进行定向的位置。例如，基准点可以处于车辆乘员的手掌的中心，校正点可以相对于基准点朝向手指或手腕向左或向右。这对于指示姿势识别区域的相对方向是有效的。
任选的是，一个以上的控制装置构成为：对目标位置与基准点的位置之间的矢量进行缩放，基于被缩放后的矢量来使基准点的位置平行移动，由此确定从基准点的位置向目标位置的方向偏移后的校正点。
在一个实施方式中，一个以上的控制装置构成为通过确定矢量的大小来确定目标位置相对于基准点的位置的接近程度。
任选的是，一个以上的控制装置构成为：基于目标位置相对于基准点的位置的接近程度，来决定触觉反馈的大小和触觉反馈的区域的大小中的一方，一个以上的控制装置构成为基于目标位置与基准点的位置之间的沿第一轴的距离，来确定触觉反馈的其它大小和触觉反馈的区域的大小。
在一个实施方式中，一个以上的控制装置构成为基于矢量来决定基准点的位置与目标位置之间的沿第一轴的距离。例如，能够确定与第一轴位置对准的矢量的分量。
任选的是，检测信号包含由传感器系统确定的图像数据。传感器系统可以配置为观测室内的空间容积，一个以上的控制装置也可以构成为：基于图像数据来检测空间容积内部的身体部位，确定身体部位在空间容积内部的位置。
在一例中，触觉反馈系统能够采用超声波系统的形态。任选的是，触觉反馈系统包括多个超声波装置的阵列，触觉反馈信号构成为使触觉反馈系统将超声波束的形态的触觉反馈输出。
根据本发明的另一方式，提供一种用于车辆的姿势识别系统。姿势识别系统具备：在本发明的上述方式中所说明那样的控制系统；以及包括一个以上的传感器的传感器系统，所述传感器构成为观测室内的空间容积，向控制系统输出检测信号，所述检测信号包含表示车辆乘员的身体部位在所观测到的空间容积内部的位置的信息。
任选的是，一个以上的传感器构成为向控制系统输出姿势信号，所述姿势信号包含表示由车辆乘员的身体部位在姿势识别区域内执行的姿势的信息。控制系统的一个以上的控制装置还构成为：接收姿势信号，根据姿势信号来确定由身体部位执行的姿势。
像这样，姿势识别系统能够可靠地确定在姿势识别区域内执行的姿势。
在一例中，控制系统能够构成为使用基于骨骼的算法来确定由身体部位执行的姿势。基于骨骼的算法能够提供高速且准确的姿势识别。
任选的是，控制系统还构成为根据所确定的姿势来控制车辆的一个以上的行为。
在一个实施方式中，姿势识别系统具备触觉反馈系统，所述触觉反馈系统具有构成为根据触觉反馈信号来输出非接触的触觉反馈的一个以上的触觉反馈装置。
任选的是，一个以上的触觉反馈装置包括多个超声波换能器的阵列。
根据本发明的另一方式，提供一种车辆，所述车辆具备在本发明的上述方式中说明了的控制系统或在本发明的另一方式中说明了的姿势识别系统。
根据本发明的另一方式，提供一种用于控制车辆的姿势识别系统的对应的方法。特别是，姿势识别系统具备：传感器系统，其具备构成为观测车辆的室内的空间容积的一个以上的传感器；以及触觉反馈系统，其构成为朝向室内的车辆乘员输出非接触的触觉反馈。该方法包括以下步骤：控制传感器系统，以观测空间容积并确定检测信号，所述检测信号包含表示车辆乘员的身体部位在空间容积的内部的位置的信息；根据检测信号来确定身体部位相对于在空间容积的内部划定出的姿势识别区域的位置；基于身体部位相对于姿势识别区域的位置来确定触觉反馈信号；以及基于触觉反馈信号来控制触觉反馈系统，其中，触觉反馈信号构成为使表示身体部位相对于姿势识别区域的位置的非接触的触觉反馈朝向车辆乘员输出。
明确意图的是，在本申请的范围内，上述段落、权利要求书和/或以下的说明及附图、特别是其各个特征所记载的各种方式、实施方式、例子以及替代物能够独立地或以任意组合来进行解释。即，关于任意的实施方式的所有实施方式和/或特征，只要这种特征不具有互换性就能够以任意的方法和/或组合进行组合。申请人保留对最初提交的权利要求进行变更或与之相应地提交新的权利要求的权利。其中包括虽然并非是最初被记载于权利要求中的特征，但依赖于其它权利要求的特征和/或为了并入该特征而对最初提交的权利要求进行修改的权利。
发明的效果
根据本发明，发挥以下这样的效果：即使在照明条件差等准最优条件下进行动作的情况下，也能够保证可靠性高的姿势识别。
附图说明
图1是本发明的一个实施方式的车辆的概要图。
图2是用于图1所示的车辆的、本发明的一个实施方式的姿势识别系统的概要图。
图3是示出图2所示的姿势识别系统在图1所示的车辆的室内的例示性配置的概要图。
图4是示出来自图2所示的姿势识别系统的触觉反馈的输出的例示性结构的概要图。
图5是示出来自图2所示的姿势识别系统的触觉反馈的输出的例示性结构的概要图。
图6是示出来自图2所示的姿势识别系统的触觉反馈的输出的例示性结构的概要图。
图7是示出来自图2所示的姿势识别系统的触觉反馈的输出的例示性结构的概要图。
图8是示出来自图2所示的姿势识别系统的触觉反馈的输出的例示性结构的概要图。
图9是示出来自图2所示的姿势识别系统的触觉反馈的输出的例示性结构的概要图。
图10是示出对图2所示的姿势识别系统进行控制的本发明的一个实施方式的例示性的方法的概要图。
图11是在图10所示的方法中确定触觉反馈信号的从属的方法的概要图。
图12是示出对图2所示的姿势识别系统进行控制的本发明的一个实施方式的另一例示性的方法的概要图。
具体实施方式
本发明的实施方式涉及一种用于车辆的姿势识别系统。
有利的是，姿势识别系统包括触觉反馈系统，该触觉反馈系统用于将车辆乘员朝向为了进行姿势识别而被最优化后的车辆的区域进行引导，在该区域内，姿势识别系统能够不管室内条件如何变化都可靠地识别姿势。
例如，在正在行驶的车辆中，照明条件变化很大，背景噪声的量有可能使追踪和识别变得困难。在这样的条件下，姿势识别能力可能被限制到只有在室内的规定区域内执行姿势时才能可靠地识别姿势的程度。
为了应对该课题，本发明构成为：在姿势识别系统的可靠性被最大化的车厢的区域中观测车厢内的空间容积，并确定车辆乘员的例如手那样的身体部位的姿势的位置。
在以下的说明中，将用于进行最优的姿势识别的该三维区域、即空间容积(volumeof space)称为姿势识别区域。
有利的是，本发明利用身体部位相对于姿势识别区域的位置来确定触觉反馈输出，该触觉反馈输出直观地示出姿势识别区域相对于身体部位的相对方向和/或接近程度。其结果，这样的触觉反馈能够使用基于不中断车辆乘员的视觉注意的力的反馈来将身体部位的动作朝向姿势识别区域进行引导。
在以下的说明中显而易见的是，为了该目的，触觉反馈的各种特征也可以特别地构成为示出以下要素：
i)姿势识别区域相对于身体部位的方向
ii)姿势识别区域与身体部位之间的一维以上的维度中的距离
例如，能够通过使触觉反馈输出的大小即力根据身体部位接近姿势识别区域的接近程度来增大或减小，从而示出接近姿势识别区域的整体接近程度。
同时，也可以使触觉反馈输出的区域的大小增大或减小，以示出身体部位是否处于姿势识别区域的前/后、上/下或左/右，也可以通过使触觉反馈被进行定向的位置发生变化来示出姿势识别区域相对于身体部位的方向。
例如，也可以朝向车辆乘员的指尖输出触觉反馈，以示出姿势识别区域处于指尖所延伸的方向。另外，也可以朝向车辆乘员的手腕输出触觉反馈，以示出姿势识别区域位于相反方向。
这样的高精度的触觉反馈能够在朝向姿势识别区域的空间的三维容积的内部引导车辆乘员的动作、特别是身体部位的动作。
图1概要性地示出包括本发明的一个实施方式的姿势识别系统2的例示性的车辆1。参照图2和图3更为详细地说明姿势识别系统2。图2概要性地示出本发明的一个实施方式的姿势识别系统2的一例，图3概要性地示出姿势识别系统2在车辆1的室内12的配置的一例。
如图2所示，姿势识别系统2包括传感器系统4、触觉反馈系统6以及控制系统10。此外，姿势识别系统2也可以不包括控制系统10。即，控制系统10也可以不搭载于车辆1，而使用通信来控制姿势识别系统2。
传感器系统4包括一个以上的传感器。一个以上的传感器构成为：观测车辆1的室内12的空间容积，生成表示车辆乘员的手等特定的身体部位在所观测到的空间容积内的位置、动作和/或配置的信号。
为了该目的，一个以上的传感器能够包括用于生成适于确定身体部位在室内的位置的数据的红外线传感器、超声波传感器、静电电容传感器和/或拍摄摄像机中的至少一方。这些数据例如也可以是图像数据、容量性数据或任意的其它优选形态的计算机视觉数据的形态。
在图3所示的例子中，传感器系统4包括第一传感器26和第二传感器28，这些传感器形成第一拍摄摄像机和第二拍摄摄像机的形态。
第一传感器26构成为：观测空间30的第一空间容积(first volume)，确定与车辆乘员25的手等身体部位29在空间30的第一空间容积的内部的动作、位置、位置的序列(sequence)或配置的模式对应的检测数据(sensory data)。
如图3所示，空间30的第一空间容积包含姿势识别区域32，并且以超过姿势识别区域32的方式延伸。
传感器系统4构成为基于该检测数据(sensory data)来生成姿势识别信号，该姿势识别信号包含表示由身体部位在空间34的第一空间容积和/或姿势识别区域32的内部执行的一个以上的姿势的信息。姿势识别信号被输出到控制系统10，被用于确定要控制的一个以上的车辆行为。
第二传感器28构成为：观测空间34的第二空间容积(second volume)，确定与身体部位29在空间34的第二空间容积内的位置对应的检测数据(sensory data)。如图3所示，第二空间容积的空间34包含第一空间容积的空间30并且以超过第一空间容积的空间30的方式扩展，以包含室内12中的更大范围的部分。第二空间容积的空间34能够包含配置车辆乘员25的可能性高的空间容积。例如，第二空间容积能够包含车辆1的前部副驾驶座。像这样，能够在姿势识别区域32的外侧确定身体部位29的位置。
传感器系统4基于该检测数据(sensory data)来生成身体部位检测信号，该身体部位检测信号包含表示身体部位29在空间34的第二空间容积内的位置的信息。身体部位检测信号被输出到控制系统10，被用于确定i)身体部位29相对于姿势识别区域32的位置、以及ii)用于控制触觉反馈系统6的触觉反馈信号。
在其它例子中，传感器系统4能够包括用于决定身体部位检测信号和姿势识别信号这双方的单个传感器。然而，能够通过使用多个传感器来进一步提高对象物的检测及识别的可靠性。
如上所述，控制系统10构成为为了以下目的而处理身体部位检测信号和姿势识别信号：
i)确定身体部位29相对于姿势识别区域32的位置，
ii)控制来自触觉反馈系统6的触觉反馈输出，将身体部位29朝向姿势识别区域32引导，
iii)确定由身体部位29在姿势识别区域32内执行的姿势。
为此，控制装置10能够包括一个以上的控制装置，各个控制装置能够包括具有一个以上的电子处理器的控制单元或计算装置。
能够向一个以上的控制装置或控制单元提供用于执行在本说明书中说明的控制方法等控制方法的一组命令。一组命令也可以被嵌入到一个以上的电子处理器中。作为代替，一组命令能够被提供为由电子处理器中的一个以上的电子处理器执行的软件。
一组命令也可以被嵌入到计算机可读取的存储介质(例如，非暂时性的计算机可读取的存储介质)中。计算机可读取的存储介质能够具备将信息以可由机器或电子处理器/计算装置读取的形式存储的任意的机构。该计算机可读取的存储介质能够包括磁存储介质(例如，floppy(注册商标)磁盘)、光存储介质(例如，CD-ROM)、磁光存储介质、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程存储器(例如，EPROM和EEPROM)、闪存、或用于存储这样的信息/指示的电或其它类型的介质，但并不限定于它们。
如图2所示，在本实施方式中，控制装置10包括第一控制装置14和第二控制装置16。
第一控制装置14是姿势识别控制装置，该姿势识别控制装置构成为处理姿势识别信号，并基于姿势识别信号来确定由身体部位29进行的姿势。“确定由身体部位29执行的姿势”意味着第一控制装置14生成空间姿势模型，该空间姿势模型对应于由第一传感器26观测到的身体部位29的位置和/或动作。
各种类型的空间姿势模型在姿势识别的技术领域中是众所周知的，不进行详细的说明以避免使本发明变得含糊，更多的信息例如被记载于由V.I.Pavlovic、R.Sharma以及T.S.Huang在“IEEE Transactions on pattern and machine intelligence，VOL.19，NO.7，JULY1997”中发表的“Visual Interpretation of Hand Gestures for Human-Computer Interaction：A Review”。
如V.I.Pavlovic、R.Sharma以及T.S.Huang(1997)所证实的那样，能够通过在当前技术领域中已知的各种方法来确定空间姿势模型，例如能够使用任意的恰当的计算机视觉和/或图像处理方法进行实施。
为了进行快速的处理，也可以采用被简化后的检测以及处理算法。例如，也可以采用利用身体部位29的关节角度参数和环节(segment)长度的“基于骨骼的算法”。这样的基于骨骼的算法用于确定环节的位置及朝向以及环节各自之间的关系(例如，关节的角度以及相对位置或朝向)，以识别姿势。
并且，进一步被简化后的方法使用识别算法，该识别算法构成为识别身体部位29的特异点、例如手指的端部以及手/手掌的中心，并追踪这样的基准点的位置和/或动作。但是，身体部位29必须存在于最优的位置，以能够识别关键点并且精确且准确地检测正在执行的姿势。能够通过姿势识别区域32内的最优化后的识别条件来实现这样的被简化后的算法。为了提供基于姿势的车辆1的控制，第一控制装置14也可以进一步构成为将所确定的姿势与识别用姿势的数据库进行比较。识别用姿势也可以与控制一个以上的车辆行为相关联。
例如，以与所确定的姿势对应的形式构成的识别用姿势的数据库也可以连同与每个识别用姿势相关联的车辆行为一起被存储在第一控制装置14的存储装置中。第一控制装置14能够构成为：访问存储装置并使用用于将空间姿势模型与姿势序列进行比较的已知的技术，来判定所确定的姿势是否对应于识别用姿势中的一种姿势。该处理例如能够包含对公知的模式匹配技术的使用，由于仅分析重要的参数，因此，关于这一点，被简化后的检测以及处理算法能够提供高速模式匹配。
在所确定的姿势与识别用姿势之间存在对应关系的情况下，控制系统10也可以输出一个以上的对应的控制信号，以控制车辆1的行为。
第二控制装置16是触觉反馈控制装置，该触觉反馈控制装置构成为：i)检测身体部位29，ii)确定身体部位29相对于姿势识别区域32的位置，iii)确定对应的触觉反馈信号并将该触觉反馈信号送出到触觉反馈系统6。
例如，身体部位的检测信号能够包含表示身体部位29在空间34的第二空间容积的内部的位置的图像数据、容量性数据或任意的其它优选形态的计算机视觉数据。第二控制装置16也可以构成为基于该检测数据(sensory data)来检测身体部位29并生成身体部位29在空间34的第二空间容积的内部的显示。例如，身体部位29能够通过与空间34的第二空间容积对应的坐标系上的空间模型或点的集合来表示。如与空间姿势模型相关地在上文所述的那样，能够通过在当前技术领域中已知的各种方法来确定身体部位29的显示，例如能够使用任意的恰当的计算机视觉和/或图像处理方法来进行该身体部位29的显示。
在一例中，如图3所示，第二控制装置16也可以构成为基于表示身体部位29在空间34的第二空间容积内的位置的身体部位检测信号来生成单个基准点42。这样的基准点42是能够与手掌的中心或身体部位29中的易于检测的任意的其它特征对应的点。基于此，在身体部位29相对于传感器26、28进行移动时，第二控制装置16能够监视基准点42的位置，并且能够确定基准点42在空间34的第二空间容积的内部的一系列对应的坐标位置。
为了易于理解，坐标系既可以对应于传感器26、28中的一个传感器，也可以对应于车辆1本身。例如，也可以在坐标系上确定基准点42的位置，该坐标系具有第一轴，其在a(前后方向)上与车辆1的长边方向轴位置对准；第二轴，其被配置在针对第一轴的横截面上并且以横穿车辆1的方式沿横向(左右方向)延伸；以及第三轴，其被配置在所述横截面内并且沿与第二轴垂直的纵向(上下方向)延伸。
第二控制装置16也可以利用校准数据以确定身体部位29相对于姿势识别区域32的位置，校准数据包含与形成车辆1内的姿势识别区域32的空间的空间容积的形状、大小及位置有关的信息。
关于这一点，希望理解：姿势识别区域32能够根据传感器系统4的特定的结构和/或传感器26、28的校准采用各种形态。这样的校准数据例如既可以被存储在第二控制装置16的存储装置中，也可以从传感器系统4被接收。
在一例中，姿势识别区域32如图3所示那样形成球形形状的空间容积的形态，第二控制装置16具备与车辆内的球形形状的空间容积的半径的大小及中心的位置有关的校准数据。
第二控制装置16构成为基于校准数据来确定处于姿势识别区域32的中心的目标位置44以及接近目标位置44的接近程度阈值。接近程度阈值表示身体部位29是被配置在姿势识别区域32的球形形状的边界的内侧还是外侧。像这样，第二控制装置16能够使用基于基准点42与目标位置44之间的坐标的比较结果来确定姿势识别区域32相对于身体部位29的方向和/或接近程度。另外，第二控制装置16能够通过与所测定出的阈值接近程度进行比较来检测身体部位29是被配置在姿势识别区域32的内侧还是外侧。
在以下的说明中显而易见的是，第二控制装置16使用基准点42相对于目标位置44的方向和/或接近程度，来确定用于表示姿势识别区域32相对于车辆乘员25的相对位置的触觉反馈信号。
参照图4和图5进一步详细说明触觉反馈系统6。一般来说，触觉反馈系统6包括一个以上的触觉反馈装置，该一个以上的触觉反馈装置构成为根据触觉反馈信号朝向车辆乘员25输出触觉反馈。
触觉反馈装置能够包括超声波控制装置、空气波控制装置或空气涡流控制装置等任意的非接触或力学的触觉反馈装置。由此，触觉反馈系统6优选构成为提供用于生成被称为“触觉反馈的区域”的压力的非接触形式的触觉反馈。例如，市售的muRata(注册商标)超声波换能器的阵列能够适于提供该形态的触觉反馈。
触觉反馈系统6构成为基于触觉反馈信号来输出触觉反馈，并控制触觉反馈的区域的位置、大小或形状以及触觉反馈的大小(力)、或与之相应的输出的模式/频率中的一方以上。
图4示出包括用于向车辆1的内部的乘员输出超声波的触觉反馈设备36的阵列的超声波系统的形态的触觉反馈系统6的一例。
触觉反馈设备36各自例如可以是超声波换能器。如图4所示，也可以使阵列内的触觉反馈设备36中的一个以上的触觉反馈设备选择性地进行动作，以输出用于在触觉反馈的区域40中制作发挥所谓的触觉力的压力区域的超声波束38。例如，在如图4所示那样触觉反馈的区域40被定向为车辆乘员的手指的方向的情况下，车辆乘员感受到压力。
通过控制各个触觉反馈设备36，从而既可以对超声波束38的朝向进行操作，也可以适当改变触觉反馈的区域40的形状、力及方向。另外，例如通过控制各个触觉反馈设备36的输出的各自的相位和强度，从而能够与触觉反馈的力同样地调整触觉反馈的区域40的位置、大小及形状。
为了更明确，将触觉反馈的圆形的区域40作为例子而在以下的说明中进行说明。控制触觉反馈的力、触觉反馈的区域40的半径以及触觉反馈的区域40的位置，以示出姿势识别区域32相对于车辆乘员25的相对位置。
图5～图9例示能够以何种方式构成触觉反馈的可控制的参数以表示身体部位29相对于姿势识别区域32的相对方向和/或接近程度。
图5～图7示出了身体部位29在以横穿车辆1的方式延伸的横截面内的位置。如图示那样，触觉反馈的区域40被进行定向的位置能够在该横截面内发生变化，以示出姿势识别区域相对于身体部位29的位置的方向。
在图5所示的第一例中，第二控制装置16确定了身体部位29中的基准点42位于目标位置44的右侧。由此，触觉反馈的区域40能够如图示那样被定向为身体部位29的靠左的部分，其结果，触觉反馈的区域40相对于基准点42向目标位置44的方向偏移。
在图6所示的第二例中，身体部位29上的基准点42被定位为目标位置44的下方、即朝向手腕。因而，触觉反馈的区域40也可以如图示那样被定向为朝向身体部位29的靠上方的部分、即指尖。
在图7所示的第三例中，身体部位29上的基准点42在横截面中与目标位置44一致。因而，触觉反馈的区域40被定向为基准点42、即手掌的中心。由此，以确认身体部位29在姿势识别区域32内的横断方向上的位置的方式定位触觉反馈的区域40。
在上述例子中，触觉反馈的区域40被进行定向的位置取决于姿势识别区域32相对于身体部位29的方向。在各个例子中，触觉反馈的区域40被定向为在身体部位29的一部分从基准点42向目标位置44的方向偏移。即，控制装置10对目标位置与基准点的位置之间的矢量进行缩放(scaling)(调整矢量的大小)，基于缩放后的矢量使基准点的位置进行移动，由此确定从基准点的位置向目标位置的方向偏移后的校正点。通过像这样对触觉反馈的区域40进行定向，从而触觉反馈示出身体部位29为了接近姿势识别区域32而应该移动的方向。
不限定于上述，在其它例子中，也可以构成为触觉反馈相反的方法、即触觉反馈被定向为相对于姿势识别区域32向相反方向偏移后的位置，例如，朝向姿势识别区域32“按压”身体部位29。
如图8和图9所示，也能够利用触觉反馈的区域40的大小，沿规定的轴示出为了接近姿势识别区域32而应该使身体部位29移动的方向。在图8和图9中例示了沿车辆1的长边方向轴进行定向的视点上的、车辆乘员25的身体部位29。
如在这些例子中所示的那样，能够使触觉反馈的区域40的大小发生变化，以示出身体部位29相对于姿势识别区域32处于前方或后方的位置。特别是，如果将图8与图9进行比较，则触觉反馈的区域40的大小也可以随着身体部位29上的基准点42沿长边方向轴从图8所示的第一位置、即目标位置44的前方朝向更接近目标位置44的图9所示的第二位置向后方移动而缩小。另外，当身体部位29进一步越过目标位置44而向后方移动时，触觉反馈的区域40的大小再次增大。
像这样，触觉反馈的区域40的大小也可以取决于身体部位29与姿势识别区域32之间的沿长边方向轴的距离。其结果，触觉反馈的区域40的大小根据身体部位29是沿车辆的长边方向轴接近姿势识别区域32还是远离姿势识别区域32而进行放大和缩小，来示出身体部位29相对于姿势识别区域32在前后方向上的位置。
同样的原理例如也能够以等效的方式应用于包含垂直方向(上下方向)轴或横断方向(左右方向)轴的、身体部位29的任意的移动轴。
触觉反馈的大小即力也可以追加地或替代性地构成为示出身体部位29相对于姿势识别区域32的整体接近程度。例如，触觉反馈的力也可以随着身体部位29朝向姿势识别区域32移动而增加，并随着身体部位29以远离姿势识别区域32的方式移动而减小。
触觉反馈的其它结构不限定于上述例子，能够适当地示出姿势识别区域32相对于身体部位29的位置。例如，在另一结构中，触觉反馈的大小也可以构成为沿特定的轴示出姿势识别区域32相对于身体部位29的方向，触觉反馈的区域40的大小能够示出相对于姿势识别区域32的整体接近程度。
以下，进一步参照图10和图11来说明操作本发明的一个实施方式的姿势识别系统2的例示性的方法50。
在步骤52中，操作姿势识别系统2来确定身体部位29在车辆1内的位置。
例如，也可以操作第二传感器28以观测空间34的第二空间容积，并确定身体部位检测信号。身体部位检测信号能够被控制系统10接收并被第二控制装置16处理，来生成身体部位29的显示，并确定基准点42在空间34的第二空间容积的内部的坐标位置。
在步骤54中，姿势识别系统2构成为基于身体部位29相对于姿势识别区域32的位置来确定向触觉反馈系统6输出的触觉反馈信号。在本发明的各例子中，能够基于包含触觉反馈的区域的位置、大小或形状、或者触觉反馈的大小或输出的模式/频率的、一种以上的触觉反馈参数来确定触觉反馈信号。在步骤54中，基于姿势识别区域32相对于身体部位29的相对接近程度和/或方向来确定这些触觉反馈参数中被选择的参数。
在以下例子中，操作控制系统10以确定触觉反馈的大小、触觉反馈的区域40被进行定向的位置以及触觉反馈的区域40的大小。为了该目的，方法50的步骤54能够包含图11所示的以下的子步骤55～74。
通过将基准点42的坐标与目标位置44的坐标进行比较，能够以矢量形式方便地确定姿势识别区域32与身体部位29之间的距离以及姿势识别区域32相对于身体部位29的方向。因而，在子步骤55中，操作控制系统10以确定身体部位29上的基准点42在姿势识别区域32的中心的位置与目标位置44之间的矢量。
例如，也可以从第二控制装置16的存储装置访问目标位置44。控制装置10也可以将目标位置44的坐标与基准点42的坐标进行比较，来确定从一个点到其它点的三维矢量。三维矢量也可以包含沿共用坐标系的第一轴、第二轴及第三轴的各轴的各个距离。
在子步骤56～60中，控制系统10基于身体部位29相对于姿势识别区域32的接近程度来确定触觉反馈的大小。
首先，在子步骤56中，通过计算基准点42与目标位置44之间的矢量的大小，来确定身体部位29接近姿势识别区域32的整体接近程度。
在子步骤58中，控制系统10基于矢量的大小来确定触觉反馈的大小。例如，控制系统10能够按照下式来确定要输出的触觉反馈的力。
触觉力＝(α×矢量的大小)
在此，α是标量系数。也可以调整标量系数α，使得触觉力适于表示身体部位29接近姿势识别区域32的相对接近程度。例如也可以是，在触觉力＝1时，输出最大触觉力，在触觉力＝0时，输出最小触觉力。因而，能够基于室内12的空间来确定矢量的最大大小，标量系数也可以根据身体部位29相对于姿势识别区域32的接近程度而使触觉力在1与0之间变化。
在另一例子中，触觉反馈的力能够随着身体部位29接近姿势识别区域32的接近程度而减小，控制系统10能够按照下述的替代方程式来确定并输出触觉反馈的力：
触觉力＝1-(α×矢量的大小)
在此，α是为了使触觉力在最大触觉力(触觉力＝1的情况)与最小触觉力(触觉力＝0的情况)之间可靠地变化而被调整的标量系数。
在子步骤59中，在方法50中判定身体部位29是否适当地远离了姿势识别区域32以使姿势识别系统2的触觉反馈的输出工作。为了该目的，控制系统10能够将触觉反馈的大小与触觉反馈的最小阈值进行比较，能够在大小比最小阈值小的情况下，在子步骤60中将触觉反馈的大小设定为最小力值。最小力值例如也可以是零触觉力。像这样，也可以在车辆乘员25不想要控制姿势识别系统2且身体部位29与姿势识别区域32相距适当的距离时，不输出触觉反馈。
在另一例子中，控制系统10能够根据身体部位29接近姿势识别区域32的整体接近程度来确定应该输出的触觉力是零和非零量中的任一方。也可以根据身体部位29接近姿势识别区域32的接近程度阈值来输出零或非零量的触觉力。
在子步骤62～70中，控制系统10基于身体部位29与姿势识别区域32之间的沿坐标系的第一轴、第二轴及第三轴中的被选择的一个轴的距离，来确定触觉反馈的区域40的大小。换句话说，控制系统10能够确定身体部位29在前后方向、横向或上下方向中的一个方向上与姿势识别区域32接近何种程度，控制系统10能够与之相应地调整触觉反馈的区域40的大小。
如果以前后方向为例，则在子步骤62中，控制系统10基于基准点42与目标位置44之间的矢量来确定身体部位29与姿势识别区域32之间的沿前后方向轴的距离。
在简单的例子中，能够使矢量的第一轴、第二轴及第三轴中的一个轴与前后方向轴一致，基于矢量的前后方向的分量的大小来确定身体部位29与姿势识别区域32之间的距离。
接着，在子步骤64中，控制系统10基于矢量的前后方向的分量来确定触觉反馈的区域40的大小。例如，控制系统10能够按照以下的方程式来确定触觉反馈的区域40的半径：
半径＝β*矢量的前后方面的分量的大小
在此，β例如是能够基于所观测到的身体部位29的代表性大小来调整的标量系数。
在子步骤66～70中，在方法50中能够用上限或下限值来限制触觉反馈的区域40的半径。上限和下限例如也可以与姿势识别系统要观测的身体部位29的尺寸对应，以使触觉反馈的区域40对于身体部位29而言不会过大或过小。
在该例子中，在步骤66中，将触觉反馈的区域40的半径与最小半径阈值进行比较，在半径比最小半径阈值小的情况下，在步骤68中将触觉反馈的区域40的大小设定为规定的最小半径。最小半径例如也可以对应于手指的宽度。
同样地，在步骤69中，将触觉反馈的区域40的半径与最大半径阈值进行比较，在半径比最大半径阈值大的情况下，在步骤70中将触觉反馈的区域40的半径设定为规定的最大半径。最大半径例如也可以对应于手掌的宽度。
在子步骤72中，控制系统10基于i)身体部位29在车辆1内的位置、和ii)姿势识别区域32相对于身体部位29的方向，来确定触觉反馈的区域40被进行定向的位置。
特别是，触觉反馈的区域40被进行定向的位置被确定为在基准点42与目标位置44之间的矢量的方向上从基准点42偏离后的位置。因而，触觉反馈的区域40被进行定向的位置也可以按照以下式子来确定：
触觉反馈的位置(X，Y，Z)＝基准点的位置(X，Y，Z)+(μ*矢量(Y，Z))
在此，X、Y以及Z是沿第一轴、第二轴以及第三轴的值。μ例如是标量系数，该标量系数能够构成为使触觉反馈的位置限制为与基准点42(手掌的中心)相距规定范围的距离。
像这样，触觉反馈的区域40能够有效地与身体部位29的沿前后方向轴的位置相关联。例如，触觉反馈的区域40也可以与基准点42同样地被定向为朝向沿前后方向轴的相同位置，但触觉反馈的区域40也可以被定向为朝向从基准点42沿横向和上下方向(第二轴和第三轴)偏移后的(校正后的)位置。像这样，触觉反馈的区域40的位置能够示出姿势识别区域32在横向和上下方向上的相对位置。
在子步骤74中，控制系统10基于在子步骤55～72中确定出的触觉反馈的参数来确定触觉反馈信号。返回到图10，在步骤76中，在方法50中判定身体部位29是否被配置在姿势识别区域32内。
例如，控制系统10也可以确定身体部位29与姿势识别区域32之间的距离，并将该距离与用于确定身体部位29是否被配置在姿势识别区域32的内侧的阈值距离进行比较。
在一例中，如上所述，控制系统10能够基于基准点42与目标位置44之间的矢量的大小来确定身体部位29与姿势识别区域32之间的距离。
接着，能够将矢量的大小与例如被存储在第二控制装置16中以定义阈值距离的姿势识别区域32的半径进行比较。在矢量的大小比阈值距离大的情况下，控制系统10能够推测为身体部位29处于姿势识别区域32的外侧。
因而，在步骤78中，控制系统10能够将在步骤54中确定出的触觉反馈信号输出到触觉反馈系统6，以使触觉反馈系统生成表示姿势识别区域32相对于车辆乘员25的相对位置的触觉反馈。
例如，触觉反馈设备36的阵列能够构成为输出与触觉反馈信号对应的超声波束38，车辆乘员25能够感受到触觉反馈的区域40中的压力的感觉。车辆乘员25能够基于触觉反馈的位置、大小及力来推测姿势识别区域32的相对方向，由此，车辆乘员25促使身体部位29朝向姿势识别区域32移动。
继步骤78之后，在方法50中能够确定身体部位29的新的位置。例如，也可以重复执行步骤52～76，从而确定车辆乘员25是否响应于触觉反馈而以使一种以上的触觉反馈参数发生变化或使身体部位29向姿势识别区域32移动的方式移动了身体部位29。
在矢量的大小小于阈值距离的情况下，控制系统10能够推测为身体部位29处于姿势识别区域32内。
因而，在步骤80中，控制系统10能够确定由身体部位29在姿势识别区域32内执行的姿势。
例如，也可以使第一传感器26进行动作，以观测空间30的第一空间容积并确定姿势识别信号。姿势识别信号能够在控制系统10中被接收并被第一控制装置14处理，该姿势识别信号通过空间姿势模型的形态确定由身体部位29执行的姿势。
在步骤82中，控制系统10能够将所确定的姿势与识别用姿势的数据库进行比较，在所确定的姿势对应于识别用姿势中的一种姿势的情况下，控制系统10能够输出所对应的控制信号以控制与识别用姿势关联的车辆的行为。例如，控制信号也可以被输出到构成为控制车辆的行为的一个以上的各个车辆系统(未图出)。
在一例中，能够在身体部位29正在执行姿势的期间重复进行步骤52～76，使得身体部位29停留在姿势识别区域32内。
并且，在步骤82之后，也可以重复方法50，以判定车辆乘员25是否移动了身体部位29以及/或者确定基于另一姿势的指令。
能够在不脱离本申请的技术范围的情况下对本发明施加各种变更和修改。
例如，在上述的例示性的方法50中，在步骤74中控制系统10判断为身体部位29位于姿势识别区域32内的情况下，不向车辆乘员25输出触觉反馈。像这样，没有触觉反馈就能够示出身体部位29被配置在姿势识别区域32内的情况。
然而，如图12所示，在用于使姿势识别系统2进行动作的另一例示性的方法150中，在步骤74中，能够如在步骤76中所记载的那样，不管控制系统10是否判断为身体部位29被配置在姿势识别区域32的内侧或外侧，都输出触觉反馈信号。
像这样，能够向车辆乘员25提供触觉反馈，该触觉反馈构成为一边执行特定的姿势一边将身体部位29维持在姿势识别区域32内。
有利的是，车辆乘员25能够经由姿势识别系统2将特定的触觉反馈感觉与控制车辆的行为的能力相关联。基于此，车辆乘员25能够推测出身体部位29位于姿势识别区域32内。
使姿势识别系统2进行动作的另一例示性的方法(未图示)实质上能够与上述同样地进行，但该方法能够还包括以下步骤：在步骤52中确定身体部位29的位置之前，确定姿势识别区域32的位置、大小和/或形状。姿势识别区域32的位置、大小和/或形状也可以根据室内12的照明条件等对传感器系统4的姿势识别能力带来影响的一个以上的室内条件而进行改变。
例如，控制系统10也可以构成为：根据从传感器系统4接收到的校准数据或访问第一控制装置14的存储装置而得到的校准数据，来确定姿势识别区域32。
校准数据例如也可以以检索表(look-up table)的形态进行排列，该检索表针对预先确定的固定范围的室内条件而具有姿势识别区域32所对应的形状、大小以及在室内12中的位置。像这样，控制系统10能够接收一个以上的室内条件的指示，并基于检索表来确定姿势识别区域32的大小、位置或形状。有利的是，本发明能够将在行驶中可能变化的室内条件用的姿势识别区域32最优化，以将在步骤78中执行的姿势识别的精度最大化。
有利的是，在步骤78中，本方法的触觉反馈输出也可以构成为使身体部位29重新朝向被最优化后的姿势识别区域32。像这样，本方法能够根据车辆1的室内条件来提供身体部位29的自适应的位置引导。
附图标记说明
1：车辆；2：姿势识别系统；4：传感器系统；6：触觉反馈系统；10：控制系统(控制装置)；12：室内；14：第一控制装置；16：第二控制装置；25：车辆乘员；29：身体部位；32：姿势识别区域；38：超声波束；42：基准点；44：目标位置。

Claims (19)

1.一种控制系统，是车辆的姿势识别系统的控制系统，
所述姿势识别系统具备：
传感器系统，其观测所述车辆的室内的空间容积，确定车辆乘员的身体部位在所述空间容积的内部的位置，并确定由所述身体部位在所述空间容积的内部划定出的姿势识别区域内执行的姿势；以及
触觉反馈系统，其朝向所述车辆乘员输出非接触的触觉反馈，
所述控制系统具备一个以上的控制装置，
所述控制装置构成为：从所述传感器系统接收检测信号，所述检测信号包含表示所述身体部位在所述空间容积的内部的所述位置的信息，根据所述检测信号来确定所述身体部位相对于所述姿势识别区域的位置，基于所述身体部位相对于所述姿势识别区域的所述位置来确定触觉反馈信号，将所述触觉反馈信号输出到所述触觉反馈系统，
其中，所述触觉反馈信号构成为使所述触觉反馈系统朝向所述车辆乘员输出表示所述身体部位相对于姿势识别区域的位置的所述非接触的触觉反馈。
2.根据权利要求1所述的控制系统，其特征在于，
所述一个以上的控制装置构成为：通过确定所述身体部位在所述空间容积的内部的位置、所述姿势识别区域在所述空间容积的内部的位置、所述姿势识别区域相对于所述身体部位的位置的方向、所述身体部位接近所述姿势识别区域的接近程度以及所述身体部位与所述姿势识别区域之间的沿第一轴的距离中的至少一方，来确定所述身体部位相对于所述姿势识别区域的位置。
3.根据权利要求2所述的控制系统，其特征在于，
所述触觉反馈信号构成为使所述触觉反馈系统朝向所述车辆的室内的区域输出所述触觉反馈，
所述一个以上的控制装置构成为：通过确定所述触觉反馈的大小、在所述室内中所述触觉反馈的区域被进行定向的位置以及所述触觉反馈的区域的大小中的至少一方，来确定所述触觉反馈信号。
4.根据权利要求3所述的控制系统，其特征在于，
所述一个以上的控制装置构成为：基于所述身体部位接近所述姿势识别区域的接近程度，来确定所述触觉反馈的大小和所述触觉反馈的区域的大小中的至少一方。
5.根据权利要求3或4所述的控制系统，其特征在于，
所述一个以上的控制装置构成为：基于所述身体部位与所述姿势识别区域之间的沿所述第一轴的距离，来确定所述触觉反馈的大小和所述触觉反馈的区域的大小中的至少一方。
6.根据权利要求3～5中的任一项所述的控制系统，其特征在于，
所述一个以上的控制装置构成为：基于所述身体部位在所述空间容积的内部的位置以及姿势识别区域相对于所述身体部位的位置的方向，来确定在所述室内中所述触觉反馈的区域被进行定向的位置。
7.根据权利要求2～6中的任一项所述的控制系统，其特征在于，
所述一个以上的控制装置构成为：检测所述身体部位的基准点，基于所述检测信号来确定所述基准点在所述空间容积的内部的位置，将所述基准点的位置与所述姿势识别区域内的目标位置进行比较，通过确定所述目标位置与所述基准点的位置之间的矢量，来确定所述身体部位相对于所述姿势识别区域的位置。
8.根据权利要求6所述的控制系统，其特征在于，
所述一个以上的控制装置构成为：检测所述身体部位的基准点，基于所述检测信号来确定所述基准点在所述空间容积的内部的位置，将所述基准点的位置与所述姿势识别区域内的目标位置进行比较，通过确定所述目标位置与所述基准点的位置之间的矢量，来确定所述身体部位相对于所述姿势识别区域的位置，通过确定从所述基准点的位置向所述目标位置的方向偏移后的校正点，来确定在所述室内中所述触觉反馈的区域被进行定向的位置。
9.根据权利要求8所述的控制系统，其特征在于，
所述一个以上的控制装置构成为：对所述目标位置与所述基准点的位置之间的所述矢量进行缩放，基于被缩放后的所述矢量来使所述基准点的位置移动，由此确定从所述基准点的位置向所述目标位置的方向偏移后的所述校正点。
10.根据权利要求2～9中的任一项所述的控制系统，其特征在于，
所述检测信号包含由所述传感器系统确定的图像数据，
所述传感器系统构成为观测所述室内的空间容积，
所述一个以上的控制装置构成为：检测所述空间容积的内部的所述身体部位，基于所述图像数据来确定所述身体部位在所述空间容积的内部的位置。
11.根据权利要求1～10中的任一项所述的控制系统，其特征在于，
所述触觉反馈系统形成为包括多个超声波装置的阵列的超声波系统，
所述触觉反馈信号构成为使所述触觉反馈系统将触觉反馈以超声波束的形态输出。
12.一种姿势识别系统，是用于车辆的姿势识别系统，
所述姿势识别系统被根据权利要求1～11中的任一项所述的控制系统进行控制，
所述姿势识别系统具备包括一个以上的传感器的传感器系统，所述传感器构成为观测所述室内的空间容积，向所述控制系统输出检测信号，所述检测信号包含表示车辆乘员的身体部位在所观测到的所述空间容积内的位置的信息。
13.根据权利要求12所述的姿势识别系统，其特征在于，
所述一个以上的传感器构成为向所述控制系统输出姿势信号，所述姿势信号包含表示由车辆乘员的身体部位在姿势识别区域内执行的姿势的信息，
所述控制系统的所述一个以上的控制装置构成为：接收所述姿势信号，根据所述姿势信号来确定由所述身体部位执行的姿势。
14.根据权利要求12或13所述的姿势识别系统，其特征在于，
所述控制系统构成为使用基于骨骼的算法来确定由所述身体部位执行的姿势。
15.根据权利要求12～14中的任一项所述的姿势识别系统，其特征在于，
所述控制系统构成为根据所确定的所述姿势来控制所述车辆的一个以上的行为。
16.根据权利要求12～15中的任一项所述的姿势识别系统，其特征在于，
还具备触觉反馈系统，所述触觉反馈系统包括构成为根据所述触觉反馈信号来输出非接触的触觉反馈的一个以上的触觉反馈装置。
17.根据权利要求16所述的姿势识别系统，其特征在于，
所述一个以上的触觉反馈装置包括多个超声波换能器的阵列。
18.一种车辆，具备根据权利要求1～11中的任一项所述的控制系统或者根据权利要求12～17中的任一项所述的姿势识别系统。
19.一种对姿势识别系统进行控制的方法，所述姿势识别系统是车辆的姿势识别系统，
所述姿势识别系统具备：
传感器系统，其具备构成为观测车辆的室内的空间容积的一个以上的传感器；以及
触觉反馈系统，其构成为朝向室内的车辆乘员输出非接触的触觉反馈，
所述方法包括以下步骤：
控制传感器系统，以观察所述空间容积并确定检测信号，所述检测信号包含表示所述车辆乘员的身体部位在所述空间容积内的位置的信息；
根据所述检测信号来确定身体部位相对于在所述空间容积的内部划定出的姿势识别区域的位置；
基于身体部位相对于姿势识别区域的位置来确定触觉反馈信号；以及
基于触觉反馈信号来控制触觉反馈系统，
其中，所述触觉反馈信号构成为使所述触觉反馈系统朝向所述车辆乘员输出表示所述身体部位相对于所述姿势识别区域的位置的非接触的触觉反馈。
CN202180004846.0A 2020-07-23 2021-05-21 控制系统、姿势识别系统、车辆以及对姿势识别系统进行控制的方法 Pending CN114258367A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB2011430.2A GB2597492B (en) 2020-07-23 2020-07-23 Gesture recognition system
GB2011430.2 2020-07-23
PCT/JP2021/019470 WO2022018953A1 (ja) 2020-07-23 2021-05-21 制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法

Publications (1)

Publication Number Publication Date
CN114258367A true CN114258367A (zh) 2022-03-29

Family

ID=72339426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180004846.0A Pending CN114258367A (zh) 2020-07-23 2021-05-21 控制系统、姿势识别系统、车辆以及对姿势识别系统进行控制的方法

Country Status (6)

Country Link
US (1) US11816271B2 (zh)
EP (1) EP4186754A4 (zh)
JP (1) JP7148014B2 (zh)
CN (1) CN114258367A (zh)
GB (1) GB2597492B (zh)
WO (1) WO2022018953A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183429B (zh) * 2020-10-12 2024-01-19 苏州晴森模具有限公司 3d手势识别系统及方法
JP2023132726A (ja) * 2022-03-11 2023-09-22 パナソニックＩｐマネジメント株式会社 生体画像取得装置および生体画像取得方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130068945A (ko) * 2011-12-16 2013-06-26 현대자동차주식회사 차량 인터랙션 시스템
KR20140077037A (ko) * 2012-12-13 2014-06-23 현대자동차주식회사 제스처 기반의 촉감 자극 제공 시스템 및 그 방법
CN104731319A (zh) * 2013-12-20 2015-06-24 伊默森公司 车辆中的具有触觉反馈的基于姿势的输入系统
US10168782B1 (en) * 2017-06-05 2019-01-01 Rockwell Collins, Inc. Ultrasonic haptic feedback control system and method
CN109478354A (zh) * 2016-07-22 2019-03-15 哈曼国际工业有限公司 触觉引导系统
CN110194174A (zh) * 2019-05-24 2019-09-03 江西理工大学 一种疲劳驾驶监控系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140633A1 (en) * 2000-02-03 2002-10-03 Canesta, Inc. Method and system to present immersion virtual simulations using three-dimensional measurement
JP5141725B2 (ja) * 2010-07-05 2013-02-13 株式会社デンソー 障害物探索システム
FR3010547B1 (fr) * 2013-09-09 2016-12-23 Dav Interface de commande a retour haptique
US20150185845A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara Providing tactle feedback for gesture based inputs
US9477317B1 (en) * 2014-04-22 2016-10-25 sigmund lindsay clements Sanitarily operating a multiuser device using a touch free display
KR102425824B1 (ko) * 2015-04-24 2022-07-29 삼성디스플레이 주식회사 가요성 디스플레이의 햅틱 구동 방법 및 장치
DE102015213804A1 (de) * 2015-07-22 2017-01-26 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zur Ausgabe einer Rückmeldung an einen Anwender
CN107179826B (zh) * 2016-03-11 2021-08-31 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
US20170336903A1 (en) * 2016-05-19 2017-11-23 Ciena Corporation Touch and pressure sensitive surface with haptic methods for blind probe alignment
JP2018022318A (ja) * 2016-08-03 2018-02-08 株式会社東海理化電機製作所 操作入力装置
US10702772B2 (en) * 2016-09-22 2020-07-07 Igt Electronic gaming machine and method providing enhanced physical player interaction
JP6934618B2 (ja) * 2016-11-02 2021-09-15 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法
US10367948B2 (en) * 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
DE102017202672A1 (de) * 2017-02-20 2018-08-23 Bayerische Motoren Werke Aktiengesellschaft Bedienvorrichtung, Fahrzeug mit einer Bedienvorrichtung und Verfahren zur Steuerung einer Bedienvorrichtung
KR102395288B1 (ko) * 2017-05-18 2022-05-09 현대자동차주식회사 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
EP3409553B1 (en) * 2017-06-01 2021-08-04 Honda Research Institute Europe GmbH System and method for automated execution of a maneuver or behavior of a system
DE102017121606B3 (de) * 2017-09-18 2018-09-06 Scania Cv Ab Bedienvorrichtung für ein Fahrzeug
US10896573B2 (en) * 2017-09-29 2021-01-19 Igt Decomposition of displayed elements using gaze detection
US11402910B2 (en) * 2017-12-01 2022-08-02 Verizon Patent And Licensing Inc. Tactile feedback array control
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
WO2019216947A1 (en) * 2018-05-09 2019-11-14 Apple Inc. Finger-mounted device with fabric
US10525986B2 (en) * 2018-06-11 2020-01-07 Harman International Industries, Incorporated System and method for steering wheel haptic notification
US10942571B2 (en) * 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10976820B2 (en) * 2018-07-12 2021-04-13 Microsoft Technology Licensing, Llc Natural interactions with virtual objects and data through touch
CN111340961B (zh) * 2020-02-16 2022-05-10 吉林大学 一种基于三维网格模型的超声空中触觉渲染方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130068945A (ko) * 2011-12-16 2013-06-26 현대자동차주식회사 차량 인터랙션 시스템
KR20140077037A (ko) * 2012-12-13 2014-06-23 현대자동차주식회사 제스처 기반의 촉감 자극 제공 시스템 및 그 방법
CN104731319A (zh) * 2013-12-20 2015-06-24 伊默森公司 车辆中的具有触觉反馈的基于姿势的输入系统
US20150175172A1 (en) * 2013-12-20 2015-06-25 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
CN109478354A (zh) * 2016-07-22 2019-03-15 哈曼国际工业有限公司 触觉引导系统
US10168782B1 (en) * 2017-06-05 2019-01-01 Rockwell Collins, Inc. Ultrasonic haptic feedback control system and method
CN110194174A (zh) * 2019-05-24 2019-09-03 江西理工大学 一种疲劳驾驶监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张红星: "《数字针灸学概论》", 30 June 2018, 湖北科学技术出版社, pages: 135 *

Also Published As

Publication number Publication date
GB2597492A8 (en) 2022-02-23
JPWO2022018953A1 (zh) 2022-01-27
EP4186754A1 (en) 2023-05-31
WO2022018953A1 (ja) 2022-01-27
GB202011430D0 (en) 2020-09-09
GB2597492A (en) 2022-02-02
US11816271B2 (en) 2023-11-14
GB2597492B (en) 2022-08-03
JP7148014B2 (ja) 2022-10-05
US20230152898A1 (en) 2023-05-18
EP4186754A4 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
CN109478354B (zh) 触觉引导系统
US11816271B2 (en) Control system, gesture recognition system, vehicle, and method for controlling gesture recognition system
US9207856B2 (en) Vehicula touch input device with determination of straight line gesture
JP7154815B2 (ja) 情報処理装置、制御方法、ロボットシステム、コンピュータプログラム、及び記憶媒体
US9927869B2 (en) Apparatus for outputting virtual keyboard and method of controlling the same
EP1594040A2 (en) Operation input device and method of operation input
KR101956073B1 (ko) 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
US10168786B2 (en) Gesture guidance device for moving platform, gesture guidance system for moving platform, and gesture guidance method for moving platform
CN109202864B (zh) 评价信息输出装置、评价信息输出方法以及存储介质
JP2017097608A (ja) 画像認識装置
JPWO2019163124A1 (ja) 三次元位置推定装置及び三次元位置推定方法
KR20140079159A (ko) 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
US10817068B2 (en) Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP5983506B2 (ja) 把持対象物の把持パターン検出方法およびロボット
US10890981B2 (en) Gesture-based vehicle control
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
WO2017013186A1 (en) Apparatus and method for detecting gestures on a touchpad
JP2012224170A (ja) 車両制御装置
US12014010B2 (en) Information processing device and information processing method based on input operation of user
JP7183975B2 (ja) 入力装置
WO2018193579A1 (ja) 画像認識装置
US20170235375A1 (en) User interface, a means of transportation and a method for classifying a user gesture performed freely in space
WO2024202205A1 (en) Robot control device, robot control method, and robot system
JP3263140B2 (ja) 三次元ポインティング支援システムおよび方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination