CN107179826B - 姿势输入系统和姿势输入方法 - Google Patents

姿势输入系统和姿势输入方法 Download PDF

Info

Publication number
CN107179826B
CN107179826B CN201611244257.7A CN201611244257A CN107179826B CN 107179826 B CN107179826 B CN 107179826B CN 201611244257 A CN201611244257 A CN 201611244257A CN 107179826 B CN107179826 B CN 107179826B
Authority
CN
China
Prior art keywords
user
gesture input
base point
input
input system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611244257.7A
Other languages
English (en)
Other versions
CN107179826A (zh
Inventor
和久田大介
江崎贤一
松本玄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Systems Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107179826A publication Critical patent/CN107179826A/zh
Application granted granted Critical
Publication of CN107179826B publication Critical patent/CN107179826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供一种提高了用户的便利性的姿势输入系统和姿势输入方法。姿势输入系统具备：传感器，检测用户身体的第一部分和第二部分的动作；控制器，根据所述第一部分的动作设定所述第二部分的基点，根据所述第二部分相对于所述基点的动作受理预定的输入；以及通知装置，以非接触方式向所述身体的第三部分通知已设定所述基点这一情况。

Description

姿势输入系统和姿势输入方法
技术领域
本公开涉及根据用户的动作受理输入的姿势输入系统和姿势输入方法。
背景技术
在专利文献1、2中公开了一种受理来自用户的输入的以往的系统。该系统具备输入部、拍摄输入部的拍摄部以及设置在驾驶员的视线的前方的显示部，所述输入部包括设置在驾驶员的手边的多个开关。显示部重叠显示输入部的多个开关的图像和驾驶员的手的图像。利用该系统，用户通过观察视线前方的显示部，即使不能看到手边的输入部，也能够进行正确的输入。
在先技术文献
专利文献
专利文献1：日本特开2000-6687号公报
专利文献2日本特开2007-69676号公报
发明内容
发明要解决的问题
本公开提供一种提高了用户的便利性的姿势输入系统和姿势输入方法。
用于解决问题的手段
本公开的一个技术方案的姿势输入系统具备：传感器，检测用户身体的第一部分和第二部分的动作；控制器，根据所述第一部分的动作设定所述第二部分的基点，根据所述第二部分相对于所述基点的动作受理预定的输入；以及通知装置，以非接触方式向所述身体的第三部分通知已设定所述基点这一情况。
这些概括性且特定的技术方案可由系统、方法、计算机程序以及它们的组合来实现。
发明的效果
根据本公开的姿势输入系统和姿势输入方法，能简化用户进行输入所需的动作，提高用户的便利性。
附图说明
图1是表示第一实施方式的姿势输入系统的构成的框图。
图2是第一实施方式的姿势输入方法的流程图。
图3是表示在第一实施方式中设定起始位置时在实际空间中假想的平面的一例的示意图。
图4是表示第一实施方式中的假想空间与实际空间的关联的一例的示意图。
图5是表示第二实施方式中的姿势输入方法的一例的流程图。
图6是表示第二实施方式中的姿势输入方法的另一例的流程图。
图7是表示第三实施方式中的假想空间与实际空间的关联的一例的示意图。
具体实施方式
本公开的一个技术方案所涉及的姿势输入系统具备：传感器，检测用户的身体的第一部分和第二部分的动作；控制器，根据所述第一部分的动作设定所述第二部分的基点，根据所述第二部分相对于所述基点的动作受理预定的输入；以及通知装置，以非接触方式向所述身体的第三部分通知已设定所述基点这一情况。
“第二部分”是为了读取与进行预定的输入的操作关联了的预定的姿势而被检测的身体的一部分。“第一部分”是为了读取与设定第二部分的基点的操作关联了的预定的姿势而被检测的身体的一部分。“第三部分”是被通知已设定基点这一情况的身体的一部分。
“检测动作”例如是指检测从由作为检测对象的移动量、移动速度、移动方向以及静止时间构成的组中选择的至少一个。“检测动作”不仅包含检测出检测对象正在动作这一情况，也包含检测出检测对象没有在动作这一情况。
在以下各种实施方式中说明的“参照部位”、“追踪部位”以及“通知部位(或触感提示部位)”分别是“第一部分”、“第二部分”以及“第三部分”的一例。
在以下各种实施方式中说明的“起始位置”是“基点”的一例。
在以下各种实施方式中说明的“输入控制装置”是“控制器”的一例。控制器例如可以是半导体装置、半导体集成电路(IC)、LSI(large scale integration：大规模集成电路)或将它们组合而成的电子电路。LSI或IC既可以集成在一个芯片上，也可以组合有多个芯片。例如，在实施方式中说明的各功能块可以集成在一个芯片中。在这里，根据集成的程度，LSI或IC例如称为系统LSI、VLSI(very large scale integration：超大规模集成电路)或ULSI(ultra large scale integration：甚超大规模集成电路)。控制器包括存储器，所述存储器记录了用于执行预定的算法的程序。该算法例如包括：根据用户的身体的第一部分的动作，设定身体的第二部分的基点的步骤；以非接触方式向身体的第三部分通知已设定基点这一情况的步骤；以及根据第二部分相对于基点的动作受理预定的输入的步骤。
在一个技术方案所涉及的姿势输入系统中，例如，也可以是，所述通知装置通过刺激所述第三部分的皮肤感觉，通知已设定所述基点这一情况。
“皮肤感觉”是人体通过皮肤能够识别的感觉。作为皮肤感觉的例子，可列举触觉、振动觉、压觉、温觉、冷觉以及痛觉。“刺激皮肤感觉”例如既可以是利用振动和/或压力提供刺激，也可以给予温感和/或冷感。例如，通知装置可以利用振动件(例如超声波振动件)向用户给予振动和/或声辐射压力，也可以利用激光器(laser)在空中生成等离子体，并向与该等离子体接触的皮肤给予冲击，也可以利用空气炮向用户给予空气的压力波。或者，通知装置可以利用红外线源向用户给予温感，也可以利用珀耳帖元件向用户给予冷感。换句话说，通知装置可包括从振动件、激光器、空气炮、珀耳帖元件以及红外线源中选择的至少一个。此外，在以下的实施方式中，为了便于说明，有时将对皮肤感觉的刺激称为“触感”。但是，本公开中的“皮肤感觉”不限定于触觉。
在一个技术方案涉及的姿势输入系统中，例如，所述控制器可以取得实际空间内的坐标来作为所述第一部分、所述第二部分以及所述第三部分中的每一个的位置信息。
此外，在本公开中，有时将映射至实际空间的坐标称为“实际坐标”，将映射至与实际空间对应的假想空间的坐标称为“假想坐标”。
以下说明的各种实施方式均表示一具体例。以下的实施方式所示的数值、形状、构成要素、构成要素的配置、连接、步骤、步骤的顺序等仅为一例，并不限定本公开。以下说明的构成要素中的没有记载于独立权利要求的构成要素是任意的构成要素。另外，有时会省略在附图中标注相同的标号的构成的说明。
(成为本公开的基础的见解)
在专利文献1和2中记载的以往的系统中，由于可输入的位置限定于输入部的位置，所以用户为了进行输入而需要使手移动到输入部的位置。进而，在该以往的系统中，为了正确地进行意图的输入，用户需要将视线朝向显示部的方向，并通过视觉确认图像。这样，以往的系统对用户来说是不便的。
根据以下说明的各种实施方式所涉及的姿势输入系统和姿势输入方法，用户能够进行正确的输入，而无需使手移动到输入部的位置，且无需将视线朝向显示部的方向。以下说明的姿势输入系统采用姿势输入和非接触的通知。由此，用户能够高精度且快速地进行输入，而无需使手移动到输入部的位置。例如，在用户正在驾驶汽车的情况下，用户能够进行输入操作而不会降低对驾驶的注意力。
“姿势输入”是用户使用身体的一部分的动作，向电子设备等传递用户的操作的意思的输入方法。一般来说，在电子设备中，关联有姿势输入时的身体的动作、与电子设备的操作相关的用户的意思以及电子设备内的命令。电子设备分析由传感器检测到的身体的动作，判定与操作相关的用户的意思表示，并执行与判定结果关联的命令。
姿势输入使用身体的一部分(例如指尖)来进行。因此，传感器追踪身体的一部分的动作。在以下说明中，有时将为了姿势输入而追踪的身体的部分称为“追踪部位”。在姿势输入中，身体的动作例如被读取为以某时刻为起点的追踪部位的状态变化。追踪部位的状态变化通过追踪部位的移动量、移动速度、移动方向以及静止时间等的组合而成立。
在以下说明中，有时将空间内的姿势输入的基点(开始点)称为“起始位置”。实际空间中的起始位置例如是在追踪部位成为姿势输入的起点的时刻，追踪部位所处的实际坐标。
换句话说，姿势输入时的身体的动作通过追踪部位与起始位置的相对关系而成立。例如，姿势输入时的身体的动作通过追踪部位从起始位置起的移动量、移动速度、移动方向以及静止时间等的组合而成立。
在用户身体无中断地进行动作的情况下，难以判别用户身体的动作是否是有意图地进行姿势输入的动作。因此，为了可靠地进行该判别，需要使用户识别成为姿势输入的起点的时刻和起始位置的位置。
因此，在以下说明的各种实施方式涉及的姿势输入系统和姿势输入方法中，首先，在姿势输入之前设定起始位置，并向用户通知起始位置的位置。该通知通过以非接触方式对用户提示触感而进行。例如，将某时刻的用户的指尖的位置设定为起始位置，并向该指尖提供触感。由此，用户能够识别已设定起始位置这一情况，在此以后，能够进行意图的姿势输入。因此，能够将起始位置作为基点，高精度地判别用户意图进行的姿势输入。
(第一实施方式)
以下，参照附图说明第一实施方式。此外，在以后的说明中，按以下方式定义术语。
参照部位：在读取想设定起始位置这一用户的意思表示时所参照的身体的部分
追踪部位：为了姿势输入而追踪的身体的部分
触感提示部位：以非接触方式被提示触感的身体的部分
[1.姿势输入系统的构成]
在图1中示出本实施方式涉及的姿势输入系统的构成例。姿势输入系统100包括：检测用户身体的动作的传感器1、基于传感器1的输出受理用户的姿势输入的输入控制装置2以及根据输入控制装置2的控制对用户提示触感的触感提示装置3。
传感器1是能够检测人体的动作的传感器。传感器1包括相机等视觉传感器。例如，传感器1是能够以非接触方式三维地检测出人体的动作的距离图像传感器或激光传感器。传感器1能够检测人体的动作即可，例如可以是超声波传感器、红外线传感器或可见光传感器。
在本实施方式中，传感器1检测：作为用户身体的一部分的参照部位的动作、作为用户身体的一部分的追踪部位的动作以及作为用户身体的一部分的触感提示部位(或通知部位)的动作。例如，传感器1取得参照部位、追踪部位以及触感提示部位的三维坐标来作为与参照部位、追踪部位以及触感提示部位的动作相关的信息。输入控制装置2能够任意地决定参照部位、追踪部位以及触感提示部位。例如，参照部位、追踪部位以及触感提示部位是上半身、脸部、手、手指或指尖。参照部位、追踪部位以及触感提示部位可以是同一位置，也可以是不同的位置。传感器1输出与检测到的参照部位、追踪部位以及触感提示部位的动作相关的信息。
输入控制装置2包括：基于传感器1检测到的信息而设定起始位置并受理姿势输入的控制部21和存储设定的起始位置的存储部22。控制部21能够用半导体元件等实现，例如是微控制器。控制部21可以仅用硬件构成，也可以通过组合硬件和软件而实现。存储部22例如能够用DRAM、闪存或铁电存储器等来实现。控制部21根据受理的姿势输入，对控制对象4进行控制。控制对象4是任意的装置，例如是导航装置、空调装置或音响装置。
触感提示装置3是能够经由空气提示触感的通知装置。“触感”是指人体能够通过皮肤识别的感觉，包括振动和压力等力起作用的感觉、温暖和寒冷等冷热感。经由空气的触感的提示是不与人体接触而使人体感到触感的提示。在本实施方式中，作为经由空气的触感的提示，利用超声波的声辐射压力。
本实施方式的触感提示装置3包括排列多个超声波振动件而构成的超声波振动件阵列。超声波振动件阵列能够通过在空中的任意位置作出超声波的焦点，从而向人体的表面提示触觉。在超声波的焦点处，除了声压的振动外，还产生称为声辐射压力的静态压力。用与空气的声阻抗不同的物体遮挡在空气中传播的超声波时会产生声辐射压力。当成为声压级大的超声波时，超声波被身体表面遮挡，由此，产生人能够识别的推压身体表面的力。即，能够以非接触方式向身体提示力。一般来说，人能够将20Hz以上且20kHz以下的频率感受为声音，将该频带称为可听域。“超声波”是具有20kHz以上的频率的声波，人的耳朵听不到。为了不依靠听觉地提示触感，将频率设为20kHz以上即可。虽然超声波的频率没有上限的限制，但由于在空气中传播的超声波的衰减随着频率变高而变大，用于提示触感的超声波的频率优选20kHz～200kHz，更优选20kHz～100kH。能够向身体表面提示人能够识别的压力的超声波的声压级为140dB以上，优选150dB以上，更优选160dB以上。
可以通过间歇地驱动超声波振动件，和/或通过对超声波进行振动振幅调制，使声辐射压力按时间变化。由此，能够向用户提示振动。掌管振动觉的皮肤感觉的感受器官在特定的振动数下示出高的灵敏度。因此，可以使声辐射压力的调制频率与该振动数匹配。由此，即使声辐射压力相同，也能够提供更强的触感。该调制频率优选0～300Hz，更优选100Hz～300Hz。
[2.起始位置的设定]
在图2中示出本实施方式涉及的姿势输入方法。在图3中示出设定本实施方式中的起始位置时的实际空间的平面的一例。在图2中，姿势输入系统100首先进行起始位置的设定(S201～S206)。
姿势输入系统100启动后，传感器1根据控制部21的指示，开始取得作为用户身体的一部分的参照部位的动作(S201)。参照部位既可以是一个，也可以是多个。具体而言，作为一例，传感器1取得参照部位的实际坐标，来作为与参照部位的动作相关的信息。将参照部位的实际坐标称为“参照坐标”。传感器1向输入控制装置2输出与所取得的参照部位的动作相关的信息。
在输入控制装置2中，控制部21基于来自传感器1的信息，分析参照部位的动作(S202)。例如，基于参照坐标，分析参照部位的移动量、参照部位的移动速度、参照部位的移动方向以及参照部位的静止时间，由此分析参照部位的动作。控制部21基于分析的结果，判断是否检测到预定的动作(S203)。该预定的动作是用于表明用户设定起始位置的意思的动作，用参照部位的移动量、移动速度、移动方向以及静止时间等的任意组合预先决定。预定的动作的信息存储在存储部22中。例如，也可以将图3所示的右手食指(即参照部位)通过或横穿在实际空间中假想的平面31a这样的动作预先决定为预定的动作。由此，用户能够仅利用右手食指设定起始位置。
控制部21在没有检测到预定的动作的情况下(即，判断为用户没有示出设定起始位置的意思的情况下)(在S203中为否)，返回步骤S201，继续利用传感器1取得参照部位的动作。
控制部21在检测到预定的动作的情况下(即，判断为用户示出设定起始位置的意思的情况下)(在S203中为是)，设定为实际空间的基点的起始位置(S204)。具体而言，从传感器1取得检测到预定的动作的时间点的追踪部位的实际坐标，将其设定为起始位置。追踪部位既可以在设定起始位置前预先决定，也可以与起始位置的设定同时决定。控制部21将所设定的起始位置的坐标信息存储在存储部22中。起始位置作为姿势输入时的基点而被参照。
控制部21从传感器1取得触感提示部位的实际坐标(S205)。触感提示部位既可以在设定起始位置前预先决定，也可以与起始位置的设定同时决定。触感提示部位既可以是一个，也可以是多个。将触感提示部位的实际坐标称为“触感提示坐标”。控制部21将所取得的触感提示坐标存储在存储部22中。
在设定起始位置之后，触感提示装置3根据控制部21的指示，以非接触方式在用触感提示坐标表示的用户的触感提示部位提示触感，由此，向用户通知已设定起始位置这一情况(S206)。由此，用户能够识别已设定起始位置这一情况而无需依赖于视觉、听觉以及通过固体的触觉，能够将提示触感时的追踪部位的位置识别为起始位置的位置。
触感提示部位与追踪部位可以是同一个。在该情况下，用户能够通过触感，在该起始位置的位置识别已设定起始位置这一情况。因此，能够进行直接感觉更强烈的姿势输入。
[3.参照部位、触感提示部位以及追踪部位的组合]
参照部位、触感提示部位以及追踪部位能够设定在身体的任意部分。例如，可以将参照部位、触感提示部位以及追踪部位均预先设定在右手食指的指尖。例如，如图3所示，也可以是，当用户右手食指的指尖横穿在实际空间中假想的平面31a时，姿势输入系统100判断为用户示出设定起始位置的意思。在该情况下，姿势输入系统100可以将检测到用户右手食指的指尖横穿平面31a这一情况的时间点的右手食指的指尖的实际坐标设定为起始位置，可以以非接触方式向右手食指的指尖触感提示已设定起始位置这一情况。
作为另一例，可以将双眼的眼睑预先设定为参照部位，将右手食指的指尖预先设定为追踪部位，将额头预先设定为触感提示部位。例如，姿势输入系统100可以在用户的双眼连续眨眼两次时，判断为用户示出了设定起始位置的意思。在该情况下，姿势输入系统100可以将检测到双眼连续眨眼两次的时间点的右手食指的指尖的实际坐标设定为起始位置，可以以非接触方式向额头触感提示已设定起始位置这一情况。
另外，作为另一例，也可以将右手五根指尖分别预先设定为参照部位。例如，也可以是，当用户右手五根指尖中的某一根横穿在实际空间中假想的平面31a时，姿势输入系统100判断为用户示出设定起始位置的意思。在该情况下，姿势输入系统100可以将检测到右手五根指尖中的某一根横穿平面31a这一情况的时间点的该一根指尖的实际坐标设定为起始位置，可以以非接触方式向该一根指尖触感提示已设定起始位置这一情况。
[4.假想空间与实际空间的关联]
在图4中示出假想空间与实际空间的关联的例子。输入控制装置2预先将成为假想空间的基点的起始位置41b和图标42配置在假想空间中，并将假想空间中的起始位置41b和图标42的坐标存储在存储部22中。图标42是可选择部位，所述可选择部位是受理预定的输入的区域。输入控制装置2向各图标42分别分配对控制对象4的不同功能。在假想空间中定义的起始位置41b和图标42实际上用眼睛看不到。因此，用户不能够在姿势输入时观察、接触假想空间的起始位置41b和图标42。因此，用户能够预先识别在假想空间中定义的起始位置41b和图标42的配置关系。例如，在姿势输入系统100的启动时或用户进行了指示时，使起始位置41b和图标42视觉地在显示装置(未图示)等上显示预定时间。由此，用户能够预先识别在假想空间中定义的起始位置41b和图标42的配置关系。
在这里，将实际空间的坐标称为“全局坐标”，将假想空间的坐标称为“局部坐标”。在设定了实际空间的起始位置41a时，输入控制装置2将实际空间的起始位置41a的全局坐标与假想空间的起始位置41b的局部坐标进行关联。由此，用户在通过触感识别到已设定起始位置41a这一情况时，能够将实际空间的起始位置41a的位置识别为假想空间的起始位置41b的位置。因此，用户能够通过在实际空间中的身体的动作，选择假想空间的图标42。例如，在图4所示的假想空间中，设为“C”的图标42被预先定义在以起始位置41b为基点、右上45°且距离为30mm的位置。在该情况下，用户通过使作为追踪部位的右手食指的指尖移动到以实际空间的起始位置41a为基点、右上45°且距离为30mm的位置，从而能够选择假想空间的“C”图标42。进而，例如，通过使作为追踪部位的右手食指在与“C”图标42对应的位置静止预定时间以上，能够执行分配给“C”图标42的功能。例如，能够变更与图标42进行了关联的控制对象4所相关的参数。
与假想空间内的图标42的位置进行了关联的实际空间内的位置能够以起始位置41a、41b为共同点进行任意设定。例如，如图3所示，可以在垂直于轴32的平面31a、31b、31c上，设定与假想空间内的图标42的位置对应的实际空间内的位置，所述轴32是连结实际空间中的起始位置41a的位置与用户的脸部的轴。
[5.姿势输入]
在图2中，在设定起始位置41a之后，姿势输入系统100以起始位置为基点，进行姿势输入的受理(S207～S212)。
在设定起始位置之后，传感器1根据控制部21的指示，开始取得追踪部位的动作(S207)。追踪部位既可以是一个，也可以是多个。具体而言，作为一例，传感器1取得追踪部位的实际坐标，来作为与追踪部位的动作相关的信息。将追踪部位的实际坐标称为“追踪坐标”。传感器1向输入控制装置2输出与所取得的追踪部位的动作相关的信息。
在输入控制装置2中，控制部21基于来自传感器1的信息，分析追踪部位的动作(S208)。例如，控制部21通过分析起始位置41a与追踪坐标的相对关系，分析以起始位置41a为基点的追踪部位的状态变化，例如移动量、移动速度、移动方向以及静止时间的组合。控制部21基于分析的结果，判断是否检测到用于执行预定的功能的预定的姿势输入(S209)。用于执行预定的功能的操作与预定的姿势输入预先关联，该对应关系的信息存储在存储部22中。例如，在图4中，用户使右手食指的指尖移动到以实际空间的起始位置41a为基点、右上45°且距离为30mm的位置时，控制部21判断为选择了假想空间的“C”图标42。进而，在用户使右手食指在与“C”图标42对应的位置静止预定时间以上时，控制部21判断为指示了分配给“C”图标42的功能的执行，即进行了姿势输入。另一方面，用户没有使右手食指在与“C”图标42对应的位置静止预定时间以上而使右手食指从与“C”图标42对应的位置移动了时，控制部21判断为没有指示分配给“C”图标42的功能的执行，即，没有进行姿势输入。
如果控制部21没有检测到预定的姿势输入(在S209中为否)，则返回步骤S207，继续利用传感器1取得追踪部位的动作。
如果控制部21检测到预定的姿势输入(在S209中为是)，则从传感器1取得触感提示坐标(S210)。触感提示装置3根据控制部21的指示，以非接触方式向用触感提示坐标表示的触感提示部位通知已受理姿势输入这一情况(S211)。具体而言，例如，在图4中，触感提示装置3在追踪部位来到与图标42对应的位置时，向触感提示部位提示触感，进而在受理姿势输入并执行分配给图标42的功能时，再次向触感提示部位提示触感。也可以是，在追踪部位来到与图标42对应的位置时、和受理姿势输入并执行分配给图标42的功能时，改变压力的强弱和/或振动。另外，追踪部位来到与图标42对应的位置时的触感、和受理姿势输入并执行分配给图标42的功能时的触感既可以与设定起始位置时的触感相同，也可以不同。进而，提示触感的部位不限于与通知起始位置的设定时相同的触感提示部位，也可以是其他部位。
输入控制装置2受理姿势输入并对控制对象4进行控制(S212)。例如，在控制对象4为音响装置，且向所选择的图标42分配了增大音响装置的音量的功能的情况下，输入控制装置2增大音响装置的音量。
[6.效果和补充]
根据本实施方式的姿势输入系统100，由于利用姿势进行输入，所以只要是传感器1的检测范围内，就能够进行在任意位置的输入。因此，无需为了进行输入而使手移动到触摸面板等输入部的位置。进而，根据本实施方式的姿势输入系统100，由于以非接触方式向用户通知已设定起始位置这一情况，所以即使用户不将视线朝向显示部的方向，也能够识别起始位置的位置。因此，用户能够高精度且快速地进行输入。因此，根据本实施方式的姿势输入系统100，用户的便利性提高。用户能够设定起始位置并识别该位置，而无需依赖于视觉和听觉。因此，用户能够直接感觉地实施以起始位置为基点的姿势输入。
根据本实施方式的姿势输入系统100，由于以非接触方式通过触感提示起始位置，所以用户能够识别起始位置，而无需依赖于视觉、听觉以及通过固体的触觉。因此，例如，即使在用户不能注视显示部的状况下，也能够依赖触觉，快速且高精度地进行期望的输入操作。另外，例如，即使在用户不能倾听声音提示的状况下，也能够依赖触感，快速且高精度地进行期望的输入操作。根据本实施方式的姿势输入系统100，能够执行期望的功能，而不受机械地构成的按钮类等物体限制。
在本实施方式中，说明传感器1检测用户的身体的一部分的动作，分别取得参照坐标、追踪坐标以及触感提示坐标的例子。但是，控制部21可以解析来自传感器1的信息，取得参照坐标、追踪坐标以及触感提示坐标。例如，也可以是，传感器1输出包括参照部位、追踪部位以及触感提示部位的全部在内的区域的距离图像，输入控制装置2(控制部21)通过解析该距离图像，取得参照坐标、追踪坐标以及触感提示坐标。
此外，在本实施方式的姿势输入系统100中，也可以是，能够根据用户的喜好，预先自由地设定：成为起始位置的设定(S203)的判断基准的参照部位的动作、成为姿势输入(S209)的判断基准的追踪部位的动作。另外，也可以是，用户能够预先设定参照部位、追踪部位以及触感提示部位。
在本实施方式中，作为经由空气的触感提示，利用了超声波的声辐射压力，但不限定于此，作为经由空气的触感提示，可以利用空气的流动，也可以利用红外线。例如，能够通过使用红外线，以非接触方式向身体提示温感。另外，向用户的通知既可以以非接触方式向用户通知，也可以使用触感以外的方式。例如，也可以是，利用声音或光，向用户通知起始位置的设定和姿势输入的受理。
(第二实施方式)
在第二实施方式中，姿势输入系统100能够取消起始位置的设定。在图5中示出表示第二实施方式的姿势输入处理的流程图的一例。图5所示的流程图是在图2所示的流程图上追加了解除起始位置的步骤S501而成的图。在图5中，解除起始位置的步骤S501以外的各步骤与图2相同。
预先决定有用于解除起始位置的姿势，该姿势的信息存储在存储部22中。输入控制装置2的控制部21在设定起始位置之后，分析追踪部位的动作时(S208)，判断是否检测到用于解除起始位置的姿势(S501)。例如，基于追踪部位与起始位置的相对关系，判断是否进行了用于解除起始位置的姿势。在检测到用于解除起始位置的姿势时(在S501中为是)，取消起始位置的设定，返回参照部位的动作的取得(S201)。由此，能够进行基于参照部位的动作的、起始位置的再设定(S204)。如果没有检测到用于解除起始位置的姿势(在S501中为否)，则控制部21判断是否检测到用于执行分配给图标42的功能的姿势输入(S209)。
此外，也可以是，起始位置的再设定不是基于参照部位的动作进行，而是基于解除起始位置时分析出的追踪部位的位置进行。在图6中示出第二实施方式的姿势输入处理的另一例。图6所示的流程图与图5所示的流程图同样地，包括解除起始位置的步骤S601，但在图6中，控制部21在追踪部位的动作的分析期间(S208)，检测到用于解除起始位置的姿势时(在S601中为是)，基于分析出的追踪部位的实际空间的位置，再设定起始位置(S204)。
根据本实施方式，例如，在违反用户的意思而设定了起始位置时，能够再设定起始位置。此外，用于解除起始位置的姿势不限定于追踪部位的动作，也可以是与追踪部位不同的身体的一部分的动作。
(第三实施方式)
说明图1所示的姿势输入系统100搭载在汽车中、且控制对象4是安装在汽车中的装置的情况下的例子。
作为检测人体的动作的传感器1，使用如下传感器，即采用了根据投射的红外线反射回来的时间得到深度信息的“TOF(Time of Flight：飞行时间)”这一方式的传感器，三维地检测用户的动作。例如，可以使用微软公司的“Kinectv2”传感器。为了检测驾驶汽车的驾驶员的手的动作，该传感器1设置在驾驶席正面的前挡风玻璃之下。
触感提示装置3包括利用超声波的声辐射压力的超声波振动件阵列。例如，在超声波振动件阵列中，呈格子状排列有驱动频率为40kHz的249个超声波振动件。触感提示装置3通过分别独立地驱动超声波振动件，在空中的任意位置作出超声波的焦点。由此，能够在聚焦点形成无法用一个个超声波振动件输出的大小的声压。例如，准备单独驱动的情况下在测定距离为300mm处示出小于120dB的输出的249个超声波振动件，呈格子状排列这些超声波振动件以使得输出在300mm的位置形成焦点。在该情况下，在聚焦点得到159dB的声压级。在超声波的焦点处，产生声辐射压力这样的静态压力，通过用身体的表面遮挡该静态压力，产生推压身体表面的力。由此，能够以非接触方式向身体提示压力。进而，通过间歇地驱动超声波振动件，能够使声辐射压力按时间变化，并向用户提示振动。例如，通过在超声波振动件上施加200Hz矩形波的振幅调制使之驱动，能够向用户提示振动。为了向操作转向器的驾驶员的指尖提示触感，超声波振动件阵列设置在转向杆的上表面。
在驱动汽车的发动机时，姿势输入系统100启动。由此，传感器1开始取得驾驶员的动作。在本实施方式中，将驾驶员右手食指的指尖检测为参照部位。另外，提示触感的触感提示部位、进行姿势输入时的追踪部位也预先设定在驾驶员的右手食指的指尖。
在图7中示出姿势输入系统100搭载于汽车时的、假想空间与实际空间的关联的例子。在本实施方式中，作为为了表示用户想设定起始位置的意思而进行的动作，预先设定有作为参照部位的右手食指的指尖横穿从汽车的转向器离开50mm的面71的动作。由此，即使驾驶员正在驾驶，也能够通过在握着转向器的状态下立起右手的一根手指，示出想设定起始位置的意思。
在控制部21经由传感器1检测到右手食指的指尖横穿从汽车的转向器离开650mm的面71时，将该右手食指的指尖的位置设定为起始位置41a，并将该位置设定为触感提示坐标。这些设定存储在存储部22中。
为了向驾驶员通知已设定起始位置41a这一情况，控制部21将来自触感提示装置3的超声波的焦点与设定为起始位置41a的指尖匹配。此时，触感提示装置3在超声波上施加200Hz的振幅调制。由此，驾驶员能够感到振动。因此，驾驶员能够通过触感识别已设定起始位置41a这一情况和该起始位置41a的位置，而无需依赖于视觉、听觉以及通过固体的触觉。
传感器1取得设定起始位置41a时参照的驾驶员右手指尖的动作。输入控制装置2分析驾驶员右手指尖的动作与起始位置41a的相对关系并判定姿势。
例如，如图7所示，输入控制装置2将用于调节音响装置的音量的图标42的位置预先决定为假想坐标，并将其存储在存储部22中。输入控制装置2使假想空间的起始位置41b与实际空间的起始位置41a对应，且使假想空间的X轴、Y轴、Z轴分别与实际空间的X轴、Y轴、Z轴对应。输入控制装置2根据实际空间的起始位置41a与右手指尖的相对关系，分析驾驶员的右手指尖是否位于与图标42对应的位置。如果驾驶员的右手指尖位于与图标42对应的位置，则判断选择了该图标42。
用户基于实际空间的起始位置41a，假想为假想空间的图标42位于与实际空间的对应的位置。在控制对象4为搭载于汽车的音响装置，且用户想增大该音响装置的音量的情况下，用户使右手指尖从起始位置41a的位置起，向实际空间中的X轴的正方向移动。输入控制装置2基于用户的在实际空间中的右手指尖的移动，能够判断为用户的右手指尖从假想空间的起始位置41b向“+”图标42的方向进行了移动。在用户的右手指尖存在于与“+”图标42对应的区域预定时间以上时，输入控制装置2判断为指示了分配给“+”图标42的功能的执行，并将音响装置的音量增大一个刻度的量。也可以是，将指尖停留在“+”图标42的区域内的时间与音量的增加量关联，随着停留在“+”图标42的区域内的时间变长，增大音量。另外，也可以是，在指尖停留在图标42的区域期间，以非接触方式向该指尖提示触感。
通过该一连串步骤，用户能够快速且高精度地进行音响装置的音量变更，而无需依赖于视觉、听觉以及通过固体的触觉。根据本实施方式的姿势输入系统100，如果用户例如在从转向器离开50mm的面71内，则能够向系统100传递起始位置的设定的意思。因此，即使驾驶员正在驾驶，也能够通过在握着转向器的状态下立起右手的一根手指来设定起始位置。另外，由于姿势输入系统100通过触感提示起始位置的设定和姿势输入的受理，所以即使在驾驶汽车时，用户也无需将视线朝向显示部。因此，用户能够执行输入操作而不降低对驾驶的注意力。另外，由于没有进行使用了听觉的通知，所以与同乘者的会话、公司内音乐等都不会受到妨碍。
(实施方式的概要)
(1)本公开的姿势输入系统具有：传感器，检测作为用户身体的一部分的参照部位的动作和作为用户身体的一部分的追踪部位的动作；输入控制装置，基于由传感器检测到的参照部位的动作，设定空间内的基点，根据追踪部位从基点起的动作，受理预定的输入；以及通知装置，以非接触方式向作为用户身体的一部分的通知部位通知已利用输入控制装置设定基点这一情况。
这样，由于基于身体的动作，设定空间内的基点并受理预定的输入，并且以非接触方式向用户通知已设定基点这一情况，所以能够高精度且快速地进行输入。用户例如即使不使手移动到触摸面板等输入部的位置，也能够进行输入。另外，用户即使不将视线朝向显示部的方向，也能够高精度地进行输入。
(2)也可以是，在(1)的姿势输入系统中，输入控制装置将参照部位进行了预定的动作时的追踪部位的实际坐标设定为基点。
由此，用户能够直接感觉地进行利用从基点起的身体的动作的姿势输入。
(3)也可以是，在(1)或(2)的姿势输入系统中，参照部位、追踪部位以及通知部位中的至少两个是同一个部位。
由此，用户能够直接感觉地进行利用从基点起的身体的动作的姿势输入。
(4)也可以是，在(1)至(3)中任一项的姿势输入系统中，通知装置向用户身体的一部分通知输入控制装置已受理预定的输入这一情况。
由此，用户能够知道已执行基于姿势输入的控制这一情况。
(5)也可以是，在(1)至(4)中任一项的姿势输入系统中，输入控制装置根据追踪部位的动作，再设定基点。
由此，即使错误地设定基点，也能够重新进行基点的设定。
(6)也可以是，在(1)至(5)中任一项的姿势输入系统中，通知装置可以通过触感的提示进行通知。
由此，即使在用户不能注视显示部的状况下，也能够依赖触觉，高精度地进行期望的输入操作。
(7)也可以是，在(6)的姿势输入系统中，通知装置包括多个超声波振动件，并通过利用超声波振动件输出的声辐射压力进行通知。
由此，即使在用户不能注视显示部的状况下，也能够依赖触觉，高精度地进行期望的输入操作。
(8)本公开的姿势输入方法包括：检测作为用户身体的一部分的参照部位的动作的步骤；基于检测到的参照部位的动作设定空间内的基点的步骤；以非接触方式向作为用户身体的一部分的通知部位通知已设定基点这一情况的步骤；检测作为用户身体的一部分的追踪部位的动作的步骤；以及根据追踪部位从基点起的动作，受理预定的输入的步骤。
这样，基于身体的动作，设定空间内的基点并受理预定的输入，并且以非接触方式向用户通知已设定基点这一情况，因此，能够高精度且快速地进行输入。用户例如即使不使手移动到触摸面板等输入部的位置，也能够进行输入。另外，用户即使不将视线朝向显示部的方向，也能够进行正确的输入。
本公开的全部权利要求记载的姿势输入系统和姿势输入方法能够通过硬件资源，例如处理器、存储器以及程序的协作等而实现。
产业上的可利用性
本公开的姿势输入系统例如作为搭载在汽车中的导航装置、空调装置以及音响装置的输入控制装置是有用的。标号说明
1 传感器
2 输入控制装置
3 触感提示装置
4 控制对象
21 控制部
22 存储部
100 姿势输入系统

Claims (11)

1.一种姿势输入系统，具备：
传感器，检测用户身体的第一部分和第二部分的动作；
控制器，将所述传感器检测出所述第一部分的预定的动作的时间点的所述第二部分的位置设定为基点，根据所述第二部分相对于所述基点的动作来受理预定的输入；以及
通知装置，以非接触方式向所述身体的第三部分通知在所述时间点的所述第二部分的位置已设定所述基点这一情况，
所述通知装置通过在所述基点的位置刺激所述第二部分的皮肤感觉，通知已设定所述基点这一情况。
2.根据权利要求1所述的姿势输入系统，
所述通知装置包括从由超声波振动件、激光器、珀耳帖元件、空气炮以及红外线源中选择的至少一个。
3.根据权利要求1所述的姿势输入系统，
所述通知装置包括向所述第二部分给予声辐射压力的多个超声波振动件。
4.根据权利要求1至3中任一项所述的姿势输入系统，
所述第一部分、所述第二部分以及所述第三部分中的至少两个是所述身体中相同的部分。
5.根据权利要求1至3中任一项所述的姿势输入系统，
所述通知装置还以非接触方式向所述第三部分通知已受理所述预定的输入这一情况。
6.根据权利要求1至3中任一项所述的姿势输入系统，
所述通知装置还根据所述第二部分的动作来再设定所述基点。
7.根据权利要求1所述的姿势输入系统，
所述控制器取得实际空间中的坐标来作为所述第一部分、所述第二部分以及所述第三部分的每一个的位置信息。
8.一种姿势输入方法，包括：
将检测出用户的身体的第一部分的预定的动作的时间点的所述身体的第二部分的位置设定为基点的步骤；
以非接触方式向所述身体的第三部分通知在所述时间点的所述第二部分的位置已设定所述基点这一情况的步骤；以及
根据所述第二部分相对于所述基点的动作来受理预定的输入的步骤，
在所述通知的步骤中，通过在所述基点的位置刺激所述第二部分的皮肤感觉，通知已设定所述基点这一情况。
9.根据权利要求8所述的姿势输入方法，
所述第一部分、所述第二部分以及所述第三部分中的至少两个是所述身体中相同的部分。
10.根据权利要求8所述的姿势输入方法，
还包括以非接触方式向所述第三部分通知已受理所述预定的输入这一情况的步骤。
11.根据权利要求8所述的姿势输入方法，
还包括根据所述第二部分的动作来再设定所述基点的步骤。
CN201611244257.7A 2016-03-11 2016-12-29 姿势输入系统和姿势输入方法 Active CN107179826B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016048346 2016-03-11
JP2016-048346 2016-03-11

Publications (2)

Publication Number Publication Date
CN107179826A CN107179826A (zh) 2017-09-19
CN107179826B true CN107179826B (zh) 2021-08-31

Family

ID=57965770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611244257.7A Active CN107179826B (zh) 2016-03-11 2016-12-29 姿势输入系统和姿势输入方法

Country Status (4)

Country Link
US (1) US10481697B2 (zh)
EP (1) EP3217259A1 (zh)
JP (1) JP6788870B2 (zh)
CN (1) CN107179826B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
KR102524966B1 (ko) 2015-02-20 2023-04-21 울트라햅틱스 아이피 엘티디 햅틱 시스템에서의 알고리즘 개선
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US10747324B2 (en) * 2016-11-02 2020-08-18 Panasonic Intellectual Property Management Co., Ltd. Gesture input system and gesture input method
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
EP3729234B1 (en) * 2017-12-22 2023-06-07 Ultrahaptics IP Ltd Human interactions with mid-air haptic systems
SG11202010752VA (en) 2018-05-02 2020-11-27 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
JP2020052681A (ja) * 2018-09-26 2020-04-02 シュナイダーエレクトリックホールディングス株式会社 操作処理装置
JP7127592B2 (ja) * 2019-03-27 2022-08-30 オムロン株式会社 報知システム
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
US11067687B2 (en) 2019-04-25 2021-07-20 Elwha, Llc Multipath acoustic holography and virtual haptics
JP7172876B2 (ja) * 2019-06-26 2022-11-16 豊田合成株式会社 車両用警告システム
US10916107B1 (en) * 2019-07-29 2021-02-09 Elwha Llc Time-domain and frequency-domain enhancements for acoustic haptography
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
JP6935887B2 (ja) * 2020-02-14 2021-09-15 知能技術株式会社 端末操作システム、および、端末操作プログラム
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
GB2597492B (en) * 2020-07-23 2022-08-03 Nissan Motor Mfg Uk Ltd Gesture recognition system
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons
CN114047991B (zh) * 2021-11-15 2024-08-23 维沃移动通信有限公司 焦点移动顺序确定方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104321723A (zh) * 2012-12-19 2015-01-28 松下知识产权经营株式会社 触觉输入输出装置
CN104914989A (zh) * 2014-03-12 2015-09-16 欧姆龙株式会社 姿势辨识装置以及姿势辨识装置的控制方法
WO2016002872A1 (ja) * 2014-07-04 2016-01-07 クラリオン株式会社 情報処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000006687A (ja) 1998-06-25 2000-01-11 Yazaki Corp 車載機器スイッチ安全操作システム
JP3742951B2 (ja) * 2002-10-25 2006-02-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP2005063092A (ja) 2003-08-11 2005-03-10 Keio Gijuku ハンドパターンスイッチ装置
JP3933139B2 (ja) 2004-03-09 2007-06-20 日産自動車株式会社 コマンド入力装置
JP4389855B2 (ja) 2005-09-05 2009-12-24 トヨタ自動車株式会社 車両用操作装置
DE112008001396B4 (de) * 2007-06-05 2015-12-31 Mitsubishi Electric Corp. Fahrzeugbedienungsvorrichtung
JP5295839B2 (ja) * 2009-03-30 2013-09-18 株式会社東芝 情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラム
US9189072B2 (en) * 2011-02-08 2015-11-17 Lg Electronics Inc. Display device and control method thereof
JP6019947B2 (ja) 2012-08-31 2016-11-02 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US10585486B2 (en) 2014-01-03 2020-03-10 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
JP6167932B2 (ja) * 2014-02-20 2017-07-26 トヨタ自動車株式会社 入力装置および入力取得方法
US9939912B2 (en) * 2014-03-05 2018-04-10 Denso Corporation Detection device and gesture input device
DE102014204289A1 (de) 2014-03-10 2015-09-10 Bayerische Motoren Werke Aktiengesellschaft Erfassung von Freiraumgesten und Feedback

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104321723A (zh) * 2012-12-19 2015-01-28 松下知识产权经营株式会社 触觉输入输出装置
CN104914989A (zh) * 2014-03-12 2015-09-16 欧姆龙株式会社 姿势辨识装置以及姿势辨识装置的控制方法
WO2016002872A1 (ja) * 2014-07-04 2016-01-07 クラリオン株式会社 情報処理装置

Also Published As

Publication number Publication date
CN107179826A (zh) 2017-09-19
US20170262062A1 (en) 2017-09-14
JP2017168086A (ja) 2017-09-21
EP3217259A1 (en) 2017-09-13
JP6788870B2 (ja) 2020-11-25
US10481697B2 (en) 2019-11-19

Similar Documents

Publication Publication Date Title
CN107179826B (zh) 姿势输入系统和姿势输入方法
JP6788871B2 (ja) ジェスチャ入力システム及びジェスチャ入力方法
JP4921113B2 (ja) 接触提示装置及び方法
JP2021166058A (ja) 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム
Gil et al. Whiskers: Exploring the use of ultrasonic haptic cues on the face
CN104750247B (zh) 使用单个控制器和支持触觉的用户接口控制多个显示器的系统和方法
Yang et al. T-mobile: Vibrotactile display pad with spatial and directional information for hand-held device
US8553049B2 (en) Information-processing apparatus and information-processing method
JP2019527430A (ja) 触覚誘導システム
US10921899B2 (en) Interaction system using collocated visual, haptic, and/or auditory feedback
JP2016530740A (ja) 音場を生成するための方法及び装置
JP2006522397A (ja) マルチビュー・ディスプレイ
Takemura et al. Active bone-conducted sound sensing for wearable interfaces
Georgiou et al. Haptic in-vehicle gesture controls
JP2021515667A (ja) 超音波画像の動きベース制御のためのシステムおよび方法
JP6003860B2 (ja) 触覚提示装置
Wöckel et al. Haptics by time reversal of elastic waves
JP2016035645A (ja) 触覚ディスプレイ
US20220392320A1 (en) Tactile presentation device and tactile presentation method
CN112764593A (zh) 触控反馈控制方法、存储介质、触控反馈系统和终端设备
Ujitoko et al. Vibrotactile Spatiotemporal Pattern Recognition in Two-Dimensional Space Around Hand
JP2023113979A (ja) 音場生成装置、音場生成方法、および音場生成プログラム
KR101128628B1 (ko) 사용자 입력에 대한 감각 피드백을 발생하는 인터페이스 장치 및 방법
Pittera et al. “I See Where This is Going”: A Psychophysical Study of Directional Mid-Air Haptics and Apparent Tactile Motion
JP6981295B2 (ja) 操作認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240319

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Ri Ben

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Ri Ben