CN112783318A - 人机交互系统和人机交互方法 - Google Patents

人机交互系统和人机交互方法 Download PDF

Info

Publication number
CN112783318A
CN112783318A CN201911288545.6A CN201911288545A CN112783318A CN 112783318 A CN112783318 A CN 112783318A CN 201911288545 A CN201911288545 A CN 201911288545A CN 112783318 A CN112783318 A CN 112783318A
Authority
CN
China
Prior art keywords
sensor
image
motion
user
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911288545.6A
Other languages
English (en)
Inventor
林彦宏
王玠凯
柯士豪
严伟齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Future City Co ltd
Original Assignee
Future City Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Future City Co ltd filed Critical Future City Co ltd
Publication of CN112783318A publication Critical patent/CN112783318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明提供一种人机交互系统和人机交互方法。人机交互系统包含第一传感器、第二传感器以及处理器。处理器从第一传感器中获得第一操作部位的第一运动感测数据，从不同于第一操作部位的第二传感器中获得第二操作部位的第二运动感测数据，且根据第一运动感测数据和第二运动感测数据确定事件。因此，提供用于用户的多个操作部位的混合运动跟踪方法。

Description

人机交互系统和人机交互方法
技术领域
本发明大体上涉及一种用于跟踪用户的运动的方法，尤其涉及一种用户的人机交互系统和人机交互方法。
背景技术
为了在电子设备(诸如游戏机、计算机、智能手机、智能电器等)上提供直观的操作，可检测用户的运动，以根据用户的运动直接操作电子设备。
在传统方法中，一些电子设备可允许用户的多个人体部位(诸如手、腿、头等)来控制这些电子设备的操作，且可跟踪这些人体部位的运动。然而，这些电子设备仅提供一种同时检测多个人体部位的运动的方式。举例来说，虚拟现实(virtual reality；VR)产品提供手持型控制器，且每一手持型控制器包含惯性测量单元(inertial measurement unit；IMU)以跟踪用户的手的运动。有时，由于习惯或需要，一种运动跟踪方式对于一些用户来说可能是限制。
发明内容
仅有单一传感器将难以估测人体部位的动作。因此，本发明是针对人机交互系统和人机交互方法。
在示例性实施例中的一个中，人机交互方法包含(但不限于)以下步骤。获得第一运动感测数据，其中所述第一运动感测数据与用户的第一操作部位相关，且基于第一传感器生成。获得第二运动感测数据，其中第二运动感测数据与不同于第一操作部位的用户的第二操作部位相关且基于第二传感器生成。根据第一运动感测数据和第二运动感测数据触发事件。
在示例性实施例中的一个中，人机交互系统包含(但不限于)第一传感器、第二传感器以及处理器。第一传感器获得与用户的第一操作部位相关的第一运动感测数据。第二传感器获得与不同于所述第一操作部位的用户的第二操作部位相关的第二运动感测数据。处理器基于从第一传感器中获得的图像数据获得第一操作部位的第一运动感测数据，基于第二传感器的运动获得第二操作部位的第二运动感测数据，且根据第一运动感测数据和第二运动感测数据触发事件。
基于上述，根据本发明实施例的人机交互系统和人机交互方法，用户的操作部位的运动可藉由第一传感器跟踪，其另一操作部位的运动可藉由第二传感器跟踪。藉此，可提供弹性且方便的方式来操作电子装置。
然而，应理解，此概述可能不含有本发明的所有方面和实施例，不意图以任何方式具有限制性或局限性，且如本文中所发明的发明由且将由本领域普通技术人员理解为涵盖对其所作的明显改进和修改。
附图说明
包含附图以提供对本发明的进一步理解，且附图并入本说明书中并构成本说明书的一部分。所述附图示出本发明的实施例，且与描述一起用于解释本发明的原理。
图1为示出根据本发明的示例性实施例中的一个的人机交互系统的框图；
图2为示出根据本发明的示例性实施例中的一个的人机交互方法的流程图；
图3A为示出根据本发明的示例性实施例中的一个的人机交互系统的示意图；
图3B为示出根据本发明的示例性实施例中的一个的另一人机交互系统的示意图。
附图符号说明
100、200、300：人机交互系统；
110：第一传感器；
115：立体照相；
120：第二传感器；
121、123：IMU；
130：存储器；
140：HMD；
150：处理器；
160：手持型控制器；
180：脚踝传感器；
S210、S230、S250：步骤；
B1、B2、B3、B4、B5、B6：操作部位。
具体实施方式
现将详细参考本发明的优选实施例，其实例在附图中示出。只要可能，相同附图符号在附图和描述中用以指代相同或相似元件。
图1为示出根据本发明的示例性实施例中的一个的人机交互系统100的框图。参看图1，人机交互系统100包含(但不限于)一个或多个第一传感器110、一个或多个第二传感器120、存储器130以及处理器150。在一个实施例中，人机交互系统100可适用于VR、AR、MR、XR或其它现实相关技术。在一些实施例中，人机交互系统100可适用于操作外部设备(诸如计算机、游戏机、智能手机、内置式系统、智能电器等)。
在一个实施例中，第一传感器110可以是照相，诸如单色照相或彩色照相、深色照相、录像机或其它能够捕获图像的图像传感器。
在一些实施例中，第一传感器110可用于捕获朝向用户的一个或多个操作部位，以生成包含用户的操作部位的图像数据。举例来说，一个或多个操作部位可包含用户的脸、手、头、脚踝、腿、腰或其它人体部位。
在一个实施例中，人机交互系统100还包含头戴式显示器(head-mounteddisplay；HMD)，且第一传感器110嵌入于HMD中。在一些实施例中，第一传感器110可放置在第一传感器110可捕获目标操作部位的任何位置处。
在另一实施例中，第一传感器110可以是加速计、陀螺仪、磁力计、激光传感器、惯性测量单元(IMU)、红外线(infrared ray；IR)传感器或前述运动传感器的任何组合。第一传感器110用于感测自身运动，且与自身所处的操作部位一起作用。举例来说，第一传感器110检测三维空间中的位置和自身旋转情况。
在一些实施例中，人机交互系统100还包含一个或多个控制器(例如，手持型控制器、可穿戴设备(诸如可穿戴控制器、智能手表、脚踝传感器、HMD或类似物))，且第一传感器110嵌入于控制器中。用户的操作部位可握持、佩戴或携带控制器。第一传感器110可随着用户的操作部位移动或旋转。因此，第一传感器110的运动可表示操作部位的运动。
在再一实施例中，第一传感器110可包含前述的图像传感器和运动传感器。
类似地，第二传感器120可以是任何类型的前述图像传感器或任何类型的前述运动传感器。在一些实施例中，第二传感器120可包含图像传感器和运动传感器。应注意，第二传感器120与第一传感器110之间的差别为第二传感器120用于感测不同于由第一传感器110所感测的操作部位的用户的另一操作部位的运动。
存储器130可以是任何类型的固定或可移动随机存取存储器(Random-AccessMemory；RAM)、只读存储器(Read-Only Memory；ROM)、闪存存储器或类似装置或以上装置的组合。存储器130可用于存储程序码、装置配置、缓冲数据或永久性数据(诸如运动感测数据、图像数据、操作命令等)，且随后会介绍这些数据。
处理器150耦接到存储器130，且处理器150被配置成加载存储在所述存储器130中的程序码，从而执行本发明的示例性实施例的程序。在一些实施例中，处理器150的功能可通过使用可程式化单元诸如中央处理单元(central processing unit；CPU)、微处理器、微控制器、数字信号处理(digital signal processing；DSP)芯片、现场可编程门阵列(fieldprogrammable gate array；FPGA)等来实施。在一个实施例中，处理器150的功能也可通过独立电子装置或集成电路(integrated circuit；IC)来实施，且处理器150的操作也可由软件来实施。
应注意，处理器150可或可不与第一传感器110或第二传感器120安置在相同的设备上。然而，分别装配有第一传感器110、第二传感器120以及处理器150的设备可还包含具有兼容通信技术的通信收发器，诸如蓝芽、Wi-Fi、IR或物理传输线路，以彼此传输/接收数据。
为了更好理解在本发明的一个或多个实施例中提供的操作工艺，在下文将举例说明若干实施例以详细解释人机交互系统100的操作工艺。在以下实施例中施加人机交互系统100中的装置和模块以解释本文所提供的控制方法。控制方法的每一步骤可根据实际实施情况调整，且不应限于本文描述的内容。
图2为示出根据本发明的示例性实施例中的一个的人机交互方法的流程图。参看图2，处理器150可获得来自第一传感器110的第一运动感测数据(步骤S210)。确切地说，第一运动感测数据与用户的第一操作部位相关，且基于第一传感器110生成。处理器150可预定义用户的一个或多个人体部位，或根据用户的选择选择一个或多个人体部位，以确定为第一操作部位的类型。举例来说，右手将是默认的第一操作部位。对于另一实例，人机交互系统100提供显示器以呈现UI，UI显示若干人体部位，且UI上的用户的选择可确定为第一操作部位。
在一个实施例中，在接收从第一传感器110中获得的图像(可包含在不同时间点所捕获的捕获的图像序列)和/或数据(可包含在不同时间点获得的感测数据序列)之后，处理器150可检测在图像或数据中是否检测到第一操作部位。在一些实施例中，图像中的第一操作部位将通过机器学习技术(诸如深度学习、人工神经网络(artificial neural network；ANN)或支持向量机(support vector machine；SVM)等)来识别。在另一实施例中，第一操作部位可通过其它对象识别技术，诸如二进制分类器、自适应促进(adaptive boosting；Adaboost)等来识别。在再一实施例中，可确定在不同时间点从运动传感器获得的数据的变化。如果两个时间点之间的变化的值大于预定义阈值，那么处理器150可确定第一操作部位正在移动。另一方面，处理器150可确定第一操作部位没有移动或第一传感器110已从第一操作部位中离开。
在一个实施例中，响应于在图像中检测到第一操作部位，处理器150可根据图像中的第一操作部位的运动生成第一运动感测数据。在一些实施例中，对应于图像中的第一操作部位的感测强度和像素位置可用于估计第一操作部位的深度信息(即，相对于第一传感器110或其它参考设备的距离)且估计第一操作部位在平行于第一传感器110的平面上的2D位置。处理器150可根据第一操作部位的距离和2D位置在预定义坐标系统中生成3D位置。处理器150可根据在不同时间点处的多个位置进一步估计第一操作部位的位移和旋转数据，以生成6自由度(6-degree of freedom；6-DOF)数据(所述数据将视为第一运动感测数据)。在一些实施例中，2D/3D空间中的第一操作部位的3-DoF数据、相对位置和/或位移可为第一运动感测数据。
在另一实施例中，基于从其中第一传感器110为运动传感器的第一传感器110中获得的数据，第一运动感测数据可为3-DoF数据、6-DOF数据、第一操作部位在2D/3D空间中的相对位置和/或位移。
在再一实施例中，第一传感器110包含图像传感器和运动传感器，且第一运动感测数据可基于来自图像传感器中的图像的图像和来自运动传感器的数据生成。举例来说，图像可用于估计第一操作部位的位置，且数据可用于估计第一操作部位的旋转情况。对于另一实例，图像和数据都可用于确定第一操作部位的位置。
另一方面，处理器150可获得第二运动感测数据(步骤S230)。确切地说，第二运动感测数据与不同于第一操作部位的用户的第二操作部位相关。举例来说，第一操作部位为右手，且第二操作部位为左手。在一个实施例中，来自第二传感器120的第二运动感测数据的生成可指来自第一传感器110的第一运动感测数据的生成。这意味着可基于从第二传感器120中获得的图像和/或数据来生成第二运动感测数据。举例来说，第二传感器120为IMU且嵌入于左手手持型控制器中，且IMU可获得加速度、旋转(可包含定向和角速度)以及磁场。IMU的感测结果可用于估计左手的姿势和旋转数据，以确定为第二运动感测数据。
图3A为示出根据本发明的示例性实施例中的一个的人机交互系统200的示意图。参看图3A，人机交互系统200包含右手的HMD 140和手持型控制器160。立体照相115(即第一传感器110和/或第二传感器120)和处理器150嵌入于HMD 140中，且立体照相115可被配置成朝向操作部位B1(即用户的左手)和操作部位B2(即用户的右手)捕获照相图像，以确定操作部位B1的运动感测数据和/或操作部位B2的运动感测数据。另外，IMU 121(即第二传感器120)嵌入于手持型控制器160中，以获得操作部位B2的运动感测数据。
图3B为示出根据本发明的示例性实施例中的一个的另一人机交互系统300的示意图。参看图3B，人机交互系统300包含HMD 140和用于两个脚踝的两个脚踝传感器180。立体照相115可被配置成朝向操作部位B3和操作部位B4(即用户的左手和右手)捕获照相图像，以分别确定操作部位B3和操作部位B4的运动感测数据。IMU 123(即第一传感器110和/或第二传感器120)嵌入于脚踝传感器180中，以分别获得操作部位B5和操作部位B6(即用户的右脚踝和左脚踝)的运动感测数据。
应注意，可基于实际要求改变通过第一传感器110或第二传感器120跟踪的操作部位。
在一个实施例中，人机交互系统100可提供分别嵌入有第一传感器110和/或第二传感器120的多于一个控制器。处理器150可确定用户使用哪个控制器，以确定将跟踪用户的哪个操作部位。处理器150可根据第一传感器110和/或第二传感器120的感测结果来确定来自图像传感器的图像和/或来自运动传感器的数据是否可靠。
在一个实施例中，处理器150可确定与用户的第一操作部位/第二操作部位的运动相关的图像分析结果是否可靠。基于从第一传感器110/第二传感器120的图像传感器中所捕获的图像来确定图像分析结果。在一个实施例中，如果第一操作部位/第二操作部位存在于从第一传感器110/第二传感器120所捕获的图像中，那么处理器150可确定图像传感器的图像分析结果为可靠的，以将从图像传感器中所捕获的图像用作第一运动感测数据/第二运动感测数据。另一方面，在一个实施例中，如果第一操作部位/第二操作部位不存在于从图像传感器中所捕获的图像中，那么处理器150可确定图像传感器的图像分析结果为不可靠的，以将从第一传感器110/第二传感器120的运动传感器中获得的数据用作第一运动感测数据/第二运动感测数据。
在另一实施例中，处理器150可确定与用户的第一操作部位/第二操作部位的运动相关的数据分析结果是否可靠。基于从第一传感器110/第二传感器120的运动传感器中获得的数据来确定数据分析结果。在一个实施例中，如果运动传感器(即感测结果)的位置和定向是不相同的或其变化在一段时期内大于阈值，那么处理器150可确定运动传感器的数据分析结果为可靠的，以将从运动传感器中获得的数据用作第一运动感测数据/第二运动感测数据，或以使用来自运动传感器的数据和来自图像传感器的图像来确定第一运动感测数据/第二运动感测数据。另一方面，在一个实施例中，如果运动传感器的位置和定向是相同的或其变化在一段时期内小于阈值，那么处理器150可确定运动传感器的数据分析结果为不可靠的，以将从第一传感器110/第二传感器120的图像传感器中所捕获的图像用作第一运动感测数据/第二运动感测数据。
在一些实施例中，处理器150可确定与用户的第一操作部位的运动相关的图像分析结果为可靠的，且确定与用户的第二操作部位的运动相关的数据分析结果是否可靠。在一些实施例中，处理器150可确定与用户的第一操作部位的运动相关的数据分析结果为可靠的，且确定与用户的第二操作部位的运动相关的图像分析结果是否可靠。
在一个实施例中，处理器150可确定是否在嵌入有第一传感器110/第二传感器120的控制器上检测操作。控制器可包含诸如按钮、开关、触控面板等的输入设备。控制器可向处理器150报告由输入设备接收的用户操作的输入事件。输入事件可为例如按压按钮，推按开关或用户手指触摸触控面板上的特定位置。如果处理器150在第二时间段内没有接收输入事件，且第二时间段超过第二闲置时间阈值，那么处理器150可确定没有检测到用户的操作，以确定运动传感器的数据分析结果为不可靠的。另一方面，如果第二时间段小于第二闲置时间阈值，那么处理器150可确定检测到用户的操作，以确定运动传感器的数据分析结果为可靠的。
在一个实施例中，响应于运动传感器的数据分析结果为可靠的，处理器150可确定与运动传感器一起作用的用户的操作部位为跟踪目标。另一方面，响应于运动传感器的数据分析结果为不可靠的，处理器150可确定嵌入有第一传感器110/第二传感器120的运动传感器的控制器目前没有用户使用，且处理器150可基于从第一传感器110/第二传感器120的图像传感器中获得的图像来获得第一运动感测数据/第二运动感测数据。
应注意，在一些实施例中，即使第一传感器110/第二传感器120的运动为不活动的或在嵌入有第一传感器110/第二传感器120的控制器上有一段时间没有检测到操作(诸如时间超过第一闲置时间阈值或第二闲置时间阈值)，处理器150仍可基于第一传感器110/第二传感器120的运动获得第一运动感测数据/第二运动感测数据。
返回到图2，处理器150可根据第一运动感测数据和第二运动感测数据触发事件(步骤S250)。在一个实施例中，事件与用于控制虚拟环境中的虚拟对象或真实环境中的真实对象相关的一个或多个命令。命令可以是用户头像的对应身体部位的移动命令、与虚拟环境中的一个或多个虚拟对象(avatar)的交互行为(诸如接触、投掷、击打行为等)，或真实环境中的外部设备(诸如计算机、游戏机、智能手机、内置式系统、智能电器等)的操作功能(诸如关机、翻页、导航等)。
以图3A作为实例，用户头像的左手和右手可分别基于立体照相115的图像数据和IMU 121的运动，根据操作部位B1和操作部位B2的运动感测数据移动或旋转。以图3B作为一实例，用户头像的左手和右手可分别基于立体照相115的图像数据，根据操作部位B3和操作部位B4的运动感测数据移动或旋转。另外，用户头像的左脚踝和右脚踝可分别基于IMU 123的运动，根据操作部位B5和操作部位B6的运动感测数据移动或旋转。因此，可同时实施两种运动跟踪方式(图像感测和运动感测)。
应注意，多于一个命令可用于触发事件。举例来说，左手的波浪运动可分别对应于五个命令，以在VR模式中按顺序从虚拟环境中去除五个虚拟对象，可对应于在AR模式中同时控制两个真实对象的两个命令(例如，打开真实电视和关闭真实计算机)，或可对应于一连串命令(例如，打开真实记录器、等待十秒以及关闭真实记录器)。
在另一实施例中，事件与用于控制处理器150执行的应用或操作系统的设置、中断和/或操作相关的一个或多个命令。举例来说，事件可为场景的变化、操作模式的变化、存在于游戏中、终止游戏、关闭人机交互系统100等。然而，事件将基于实际需求而适用于其它应用，且本发明并不限于此。
综上所述，在本发明实施例的人机交互系统和人机交互方法中，可基于图像传感器的图像和/或运动传感器的数据分别跟踪不同身体部位的动作。在同一时间，可基于两种运动跟踪手段的运动感测数据来触发事件。藉此，用户可基于他/她的需求或习惯选择内嵌有传感器的控制器，以透过对应于一个或更多个身体部位的控制器来操作。在同一时间，用户亦可在没有控制器的情况下使用其他身体部位来产生指令。
本领域的技术人员将显而易见，可在不脱离本发明的范围或精神的情况下对本发明的结构作出各种修改和变化。鉴于以上内容，希望本发明涵盖本发明的修改和变化，只要所述修改和变化落入所附权利要求和其等效物的范围内。

Claims (20)

1.一种人机交互方法，包括：
获得第一运动感测数据，其中所述第一运动感测数据与用户的第一操作部位相关且基于第一传感器生成；
获得第二运动感测数据，其中所述第二运动感测数据与不同于所述第一操作部位的所述用户的第二操作部位相关，且基于第二传感器生成；以及
根据所述第一运动感测数据和所述第二运动感测数据触发事件。
2.根据权利要求1所述的人机交互方法，其中所述第一传感器为运动传感器，所述第二传感器为图像传感器，所述第一传感器与所述用户的所述第一操作部位一起作用，且所述第二传感器捕获所述用户的所述第二操作部位的图像。
3.根据权利要求1所述的人机交互方法，其中所述第一传感器包括第一运动传感器和第一图像传感器，所述第一运动传感器与所述用户的所述第一操作部位一起作用，所述第一图像传感器捕获所述用户的所述第一操作部位的图像，且从所述第一图像传感器中所捕获的图像和从所述第一运动传感器中获得的数据都用作所述第一运动感测数据。
4.根据权利要求3所述的人机交互方法，其中所述第二传感器包括第二运动传感器和第二图像传感器，所述第二运动传感器与所述用户的所述第二操作部位一起作用，所述第二图像传感器捕获所述用户的所述第二操作部位的图像，且从所述第二图像传感器中所捕获的图像和从所述第二运动传感器中获得的数据都用作所述第二运动感测数据。
5.根据权利要求1所述的人机交互方法，其中所述第一传感器包括第一运动传感器和第一图像传感器，所述第一运动传感器与所述用户的所述第一操作部位一起作用，所述第一图像传感器捕获所述用户的所述第一操作部位的图像，且获得所述第一运动感测数据的步骤包括：
确定第一图像分析结果是否为可靠的，其中所述第一图像分析结果与所述用户的所述第一操作部位的运动相关且基于从所述第一图像传感器中所捕获的所述图像而确定；
响应于所述用户的所述第一操作部位的所述第一图像分析结果为可靠的，将从所述第一图像传感器中所捕获的所述图像用作所述第一运动感测数据；以及
响应于所述用户的所述第一操作部位的所述第一图像分析结果为不可靠的，将从所述第一运动传感器中获得的数据用作所述第一运动感测数据。
6.根据权利要求5所述的人机交互方法，其中所述第二传感器包括第二运动传感器和第二图像传感器，所述第二运动传感器与所述用户的所述第二操作部位一起作用，所述第二图像传感器捕获所述用户的所述第二操作部位的图像，且获得所述第二运动感测数据的步骤包括：
确定第二图像分析结果是否为可靠的，其中所述第二图像分析结果与所述用户的所述第二操作部位的所述运动相关且基于从所述第二图像传感器中所捕获的所述图像而确定；
响应于所述用户的所述第二操作部位的所述第二图像分析结果为可靠的，将从所述第二图像传感器中所捕获的所述图像用作所述第二运动感测数据；以及
响应于所述用户的所述第二操作部位的所述第二图像分析结果为不可靠的，将从所述第二运动传感器中获得的数据用作所述第二运动感测数据。
7.根据权利要求5所述的人机交互方法，其中所述第二传感器包括第二运动传感器和第二图像传感器，所述第二运动传感器与所述用户的所述第二操作部位一起作用，所述第二图像传感器捕获所述用户的所述第二操作部位的图像，且获得所述第二运动感测数据的步骤包括：
确定第一数据分析结果是否为可靠的，其中所述第一数据图像分析结果与所述用户的所述第二操作部位的所述运动相关且基于从所述第二图像传感器中所捕获的所述图像而确定；
响应于所述用户的所述第二操作部位的所述第一数据分析结果为可靠的，将从所述第二运动传感器中所捕获的所述数据用作所述第二运动感测数据；以及
响应于所述用户的所述第二操作部位的所述第一数据分析结果为不可靠的，将从所述第二图像传感器中所捕获的所述图像用作所述第二运动感测数据。
8.根据权利要求1所述的人机交互方法，其中所述第一传感器包括第一运动传感器和第一图像传感器，所述第一运动传感器与所述用户的所述第一操作部位一起作用，所述第一图像传感器捕获所述用户的所述第一操作部位的图像，且获得所述第一运动感测数据的步骤包括：
确定第二数据分析结果是否为可靠的，其中所述第二数据分析结果与所述用户的所述第一操作部位的所述运动相关且基于从所述第一运动传感器中获得的数据而确定；
响应于所述用户的所述第一操作部位的所述第二数据分析结果，将从所述第一运动传感器中获得的所述数据用作所述第一运动感测数据；以及
响应于所述用户的所述第一操作部位的所述第二数据分析结果为不可靠的，将从所述第一图像传感器中所捕获的所述图像用作所述第一运动感测数据。
9.根据权利要求8所述的人机交互方法，其中所述第二传感器包括第二运动传感器和第二图像传感器，所述第二运动传感器与所述用户的所述第二操作部位一起作用，所述第二图像传感器捕获所述用户的所述第二操作部位的图像，且获得所述第二运动感测数据的步骤包括：
确定第三数据分析结果是否为可靠的，其中所述第三数据分析结果与所述用户的所述第二操作部位的所述运动相关且基于从所述第二运动传感器中获得的数据而确定；
响应于所述用户的所述第二操作部位的所述第三数据分析结果为可靠的，将从所述第二数据传感器中获得的数据用作所述第二运动感测数据；以及
响应于所述用户的所述第二操作部位的所述第三数据分析结果为不可靠的，将从所述第二图像传感器中所捕获的所述图像用作所述第二运动感测数据。
10.根据权利要求1所述的人机交互方法，其中所述事件与用于控制虚拟环境中的虚拟对象或真实环境中的真实对象的至少一个命令相关。
11.一种人机交互系统，包括：
第一传感器；
第二传感器；以及
处理器，经配置用以：
从所述第一传感器中获得用户的第一操作部位的第一运动感测数据；
从不同于所述第一操作部位的所述第二传感器中获得所述用户的第二操作部位的第二运动感测数据；以及
根据所述第一运动感测数据和所述第二运动感测数据触发事件。
12.根据权利要求11所述的人机交互系统，其中所述第一传感器为运动传感器，所述第二传感器为图像传感器，所述第一传感器与所述用户的所述第一操作部位一起作用，且所述第二传感器捕获所述用户的所述第二操作部位的图像。
13.根据权利要求11所述的人机交互系统，其中所述第一传感器包括第一运动传感器和第一图像传感器，所述第一运动传感器与所述用户的所述第一操作部位一起作用，所述第一图像传感器捕获所述用户的所述第一操作部位的图像，且从所述第一图像传感器中所捕获的图像和从所述第一运动传感器中获得的数据都用作所述第一运动感测数据。
14.根据权利要求13所述的人机交互系统，其中所述第二传感器包括第二运动传感器和第二图像传感器，所述第二运动传感器与所述用户的所述第二操作部位一起作用，所述第二图像传感器捕获所述用户的所述第二操作部位的图像，且从所述第二图像传感器中所捕获的图像和从所述第二运动传感器中获得的数据都用作所述第二运动感测数据。
15.根据权利要求11所述的人机交互系统，其中所述第一传感器包括第一运动传感器和第一图像传感器，所述第一运动传感器与所述用户的所述第一操作部位一起作用，所述第一图像传感器捕获所述用户的所述第一操作部位的图像，且所述处理器经配置用以：
确定第一图像分析结果是否为可靠的，其中所述第一图像分析结果与所述用户的所述第一操作部位的所述运动相关且基于从所述第一图像传感器中所捕获的所述图像而确定；
响应于所述用户的所述第一操作部位的所述第一图像分析结果为可靠的，将从所述第一图像传感器中所捕获的所述图像用作所述第一运动感测数据；以及
响应于所述用户的所述第一操作部位的所述第一图像分析结果为不可靠的，将从所述第一运动传感器中获得的数据用作所述第一运动感测数据。
16.根据权利要求15所述的人机交互系统，其中所述第二传感器包括第二运动传感器和第二图像传感器，所述第二运动传感器与所述用户的所述第二操作部位一起作用，所述第二图像传感器捕获所述用户的所述第二操作部位的图像，且所述处理器经配置用以：
确定第二图像分析结果是否为可靠的，其中所述第二图像分析结果与所述用户的所述第二操作部位的所述运动相关且基于从所述第二图像传感器中所捕获的所述图像而确定；
响应于所述用户的所述第二操作部位的所述第二图像分析结果为可靠的，将从所述第二图像传感器中所捕获的所述图像用作所述第二运动感测数据；以及
响应于所述用户的所述第二操作部位的所述第二图像分析结果为不可靠的，将从所述第二运动传感器中获得的数据用作所述第二运动感测数据。
17.根据权利要求15所述的人机交互系统，其中所述第二传感器包括第二运动传感器和第二图像传感器，所述第二运动传感器与所述用户的所述第二操作部位一起作用，所述第二图像传感器捕获所述用户的所述第二操作部位的图像，且所述处理器经配置用以：
确定第一数据分析结果是否为可靠的，其中所述第一数据图像分析结果与所述用户的所述第二操作部位的所述运动相关且基于从所述第二图像传感器中所捕获的所述图像而确定；
响应于所述用户的所述第二操作部位的所述第一数据分析结果为可靠的，将从所述第二运动传感器中所捕获的所述数据用作所述第二运动感测数据；以及
响应于所述用户的所述第二操作部位的所述第一数据分析结果为不可靠的，将从所述第二图像传感器中所捕获的所述图像用作所述第二运动感测数据。
18.根据权利要求11所述的人机交互系统，其中所述第一传感器包括第一运动传感器和第一图像传感器，所述第一运动传感器与所述用户的所述第一操作部位一起作用，所述第一图像传感器捕获所述用户的所述第一操作部位的图像，且所述处理器经配置用以：
确定第二数据分析结果是否为可靠的，其中所述第二数据分析结果与所述用户的所述第一操作部位的所述运动相关且基于从所述第一运动传感器中获得的数据而确定；
响应于所述用户的所述第一操作部位的所述第二数据分析结果，将从所述第一运动传感器中获得的所述数据用作所述第一运动感测数据；以及
响应于所述用户的所述第一操作部位的所述第二数据分析结果为不可靠的，将从所述第一图像传感器中所捕获的所述图像用作所述第一运动感测数据。
19.根据权利要求18所述的人机交互系统，其中所述第二传感器包括第二运动传感器和第二图像传感器，所述第二运动传感器与所述用户的所述第二操作部位一起作用，所述第二图像传感器捕获所述用户的所述第二操作部位的图像，且所述处理器经配置用以：
确定第三数据分析结果是否为可靠的，其中所述第三数据分析结果与所述用户的所述第二操作部位的所述运动相关且基于从所述第二运动传感器中获得的数据而确定；
响应于所述用户的所述第二操作部位的所述第三数据分析结果为可靠的，将从所述第二数据传感器中获得的数据用作所述第二运动感测数据；以及
响应于所述用户的所述第二操作部位的所述第三数据分析结果为不可靠的，将从所述第二图像传感器中所捕获的所述图像用作所述第二运动感测数据。
20.根据权利要求11所述的人机交互系统，其中所述事件与用于控制虚拟环境中的虚拟对象或真实环境中的真实对象的至少一个命令相关。
CN201911288545.6A 2019-11-05 2019-12-12 人机交互系统和人机交互方法 Pending CN112783318A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/673,987 2019-11-05
US16/673,987 US11029753B2 (en) 2019-11-05 2019-11-05 Human computer interaction system and human computer interaction method

Publications (1)

Publication Number Publication Date
CN112783318A true CN112783318A (zh) 2021-05-11

Family

ID=68731852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911288545.6A Pending CN112783318A (zh) 2019-11-05 2019-12-12 人机交互系统和人机交互方法

Country Status (5)

Country Link
US (1) US11029753B2 (zh)
EP (1) EP3819747A1 (zh)
JP (1) JP2021077311A (zh)
CN (1) CN112783318A (zh)
TW (1) TWI788607B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11320896B2 (en) * 2020-08-03 2022-05-03 Facebook Technologies, Llc. Systems and methods for object tracking using fused data
US11845001B2 (en) * 2021-01-14 2023-12-19 Htc Corporation Calibration system and method for handheld controller
CN113181619A (zh) * 2021-04-09 2021-07-30 青岛小鸟看看科技有限公司 一种运动训练方法、装置和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
CN104737098A (zh) * 2012-10-19 2015-06-24 英特飞斯公司 交互式显示系统中的运动补偿
CN104834917A (zh) * 2015-05-20 2015-08-12 北京诺亦腾科技有限公司 一种混合运动捕捉系统及方法
CN206411612U (zh) * 2016-12-23 2017-08-15 歌尔科技有限公司 一种虚拟现实系统的交互控制装置及虚拟现实设备
CN107850901A (zh) * 2015-05-23 2018-03-27 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
US20180285636A1 (en) * 2017-04-04 2018-10-04 Usens, Inc. Methods and systems for hand tracking
CN110163911A (zh) * 2019-04-10 2019-08-23 电子科技大学 一种图像与惯性结合的头部姿态检测系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101302138B1 (ko) * 2009-12-18 2013-08-30 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US8550905B2 (en) * 2011-04-11 2013-10-08 Sony Computer Entertainment Inc. Temperature feedback motion controller
US10048761B2 (en) * 2013-09-30 2018-08-14 Qualcomm Incorporated Classification of gesture detection systems through use of known and yet to be worn sensors
CN106575151A (zh) 2014-06-17 2017-04-19 奥斯特豪特集团有限公司 用于头戴式计算的外部用户接口
KR20160079664A (ko) 2014-12-26 2016-07-06 삼성전자주식회사 웨어러블 기기를 제어하는 디바이스 및 그 제어 방법
US10908681B2 (en) 2015-02-20 2021-02-02 Covidien Lp Operating room and surgical site awareness
US10908694B2 (en) 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US10112111B2 (en) 2016-03-18 2018-10-30 Sony Interactive Entertainment Inc. Spectator view perspectives in VR environments
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10249090B2 (en) 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
JP6601352B2 (ja) 2016-09-15 2019-11-06 株式会社デンソー 車両姿勢推定装置
JP2018206080A (ja) * 2017-06-05 2018-12-27 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US11089975B2 (en) 2017-03-31 2021-08-17 DePuy Synthes Products, Inc. Systems, devices and methods for enhancing operative accuracy using inertial measurement units
JP2018010665A (ja) * 2017-08-25 2018-01-18 株式会社コロプラ 仮想空間内オブジェクトへの動作指示方法、及びプログラム
KR102463176B1 (ko) * 2017-10-16 2022-11-04 삼성전자주식회사 위치 추정 장치 및 방법
US10996742B2 (en) 2017-10-17 2021-05-04 Logitech Europe S.A. Input device for AR/VR applications

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
CN104737098A (zh) * 2012-10-19 2015-06-24 英特飞斯公司 交互式显示系统中的运动补偿
CN104834917A (zh) * 2015-05-20 2015-08-12 北京诺亦腾科技有限公司 一种混合运动捕捉系统及方法
CN107850901A (zh) * 2015-05-23 2018-03-27 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
CN206411612U (zh) * 2016-12-23 2017-08-15 歌尔科技有限公司 一种虚拟现实系统的交互控制装置及虚拟现实设备
US20180285636A1 (en) * 2017-04-04 2018-10-04 Usens, Inc. Methods and systems for hand tracking
CN110163911A (zh) * 2019-04-10 2019-08-23 电子科技大学 一种图像与惯性结合的头部姿态检测系统

Also Published As

Publication number Publication date
US11029753B2 (en) 2021-06-08
TWI788607B (zh) 2023-01-01
JP2021077311A (ja) 2021-05-20
US20210132684A1 (en) 2021-05-06
TW202119175A (zh) 2021-05-16
EP3819747A1 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
US10761610B2 (en) Vehicle systems and methods for interaction detection
US9360944B2 (en) System and method for enhanced gesture-based interaction
CN107533373B (zh) 虚拟现实中经由手与对象的场境敏感碰撞的输入
US9268400B2 (en) Controlling a graphical user interface
TWI788607B (zh) 人機交互系統和人機交互方法
US20140022171A1 (en) System and method for controlling an external system using a remote device with a depth sensor
WO2021035646A1 (zh) 可穿戴设备及其控制方法、识别手势的方法和控制系统
US10025975B2 (en) Information processing device, storage medium storing information processing program, information processing system, and information processing method
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
WO2011127646A1 (en) An apparatus, method, computer program and user interface
US9864905B2 (en) Information processing device, storage medium storing information processing program, information processing system, and information processing method
US20220019288A1 (en) Information processing apparatus, information processing method, and program
US10948978B2 (en) Virtual object operating system and virtual object operating method
US20160232404A1 (en) Information processing device, storage medium storing information processing program, information processing system, and information processing method
US9824293B2 (en) Information processing device, storage medium storing information processing program, information processing system, and information processing method
JP7163526B1 (ja) 情報処理システム、プログラム及び情報処理方法
TWI730535B (zh) 虛擬物件操作系統及虛擬物件操作方法
JP2023016047A (ja) 情報処理システム、プログラム及び情報処理方法
JP2023015979A (ja) 情報処理システム、プログラム及び情報処理方法
JP2021089693A (ja) 行動ベースの構成方法及び行動ベースの構成システム
CN116166161A (zh) 基于多层级菜单的交互方法及相关设备
CN113031755A (zh) 基于行为的配置方法和基于行为的配置系统
CN117133045A (zh) 手势识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination