CN115315675A - 信息处理设备、信息处理方法和信息处理程序 - Google Patents

信息处理设备、信息处理方法和信息处理程序 Download PDF

Info

Publication number
CN115315675A
CN115315675A CN202180019332.2A CN202180019332A CN115315675A CN 115315675 A CN115315675 A CN 115315675A CN 202180019332 A CN202180019332 A CN 202180019332A CN 115315675 A CN115315675 A CN 115315675A
Authority
CN
China
Prior art keywords
contact
detection unit
information processing
timing
thumb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180019332.2A
Other languages
English (en)
Inventor
山野郁男
田岛大辅
福马洋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115315675A publication Critical patent/CN115315675A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

该信息处理设备包括：第一检测单元，该第一检测单元基于加速度传感器的输出波形来检测指尖的接触；第二检测单元，该第二检测单元基于静电电容的变化来检测指尖的接触；以及操作控制单元，该操作控制单元在指尖接触时操作第一检测单元，并且在指尖分离时操作第二检测单元。

Description

信息处理设备、信息处理方法和信息处理程序
技术领域
本发明涉及信息处理设备、信息处理方法和信息处理程序。
背景技术
用于手部交互的手指运动的示例包括指尖之间的接触，诸如食指和拇指之间的接触。作为检测这种指尖接触的方法的示例，已知用于根据静电电容变化检测指尖接触的静电触摸检测、用于根据加速度传感器的波形检测指尖接触的加速度波形检测等。
引用列表
专利文献
专利文献1：WO 2018/110432 A
发明内容
技术问题
然而，由于静电触摸检测和加速度波形检测两者都具有优点和缺点，因此存在难以鲁棒地检测指尖接触的一个方面。
因此，本发明提供了能够实现对指尖接触的鲁棒检测的信息处理设备、信息处理方法和信息处理程序。
问题的解决方案
根据本公开内容，一种信息处理设备包括：第一检测单元，该第一检测单元基于加速度传感器的输出波形来检测指尖的接触；第二检测单元，该第二检测单元基于静电电容的变化来检测指尖的接触；以及操作控制单元，该操作控制单元在检测指尖彼此接触的定时的情况下使第一检测单元操作，并且在检测指尖彼此分离的定时的情况下使第二检测单元操作。
附图说明
图1是示出根据一个实施方式的控制器的外观的示例的视图。
图2是示出根据一个实施方式的控制器的外观的示例的视图。
图3是手指部分的前视图。
图4是示出指尖接触的接通(ON)状态和断开(OFF)状态的示例的视图。
图5是示出手指姿势的示例的视图。
图6是示出根据一个实施方式的控制器主体的功能配置的示例的框图。
图7A是示出非接触时的测量数据的示例的曲线图。
图7B是示出接触时的测量数据的示例的曲线图。
图8是示出重置手指姿势的方法的示例的视图。
图9是示出根据一个实施方式的控制器1的处理过程的流程图(1)。
图10是示出根据一个实施方式的控制器1的处理过程的流程图(2)。
图11是示出将手指姿势的检测结果应用于指尖接触检测的应用示例的视图。
图12是示出实现信息处理设备的功能的计算机的示例的硬件配置图。
具体实施方式
在下文中，将基于附图详细描述本公开内容的实施方式。注意，在以下每个实施方式中，通过将相同的附图标记分配给相同的部分而省略重复的描述。
此外，将按照以下的项目顺序描述本公开内容。
1.控制器外观
2.手部交互
2-1.用于指尖接触检测的传感器
2-2.用于手指姿势检测的传感器
3.问题的一个方面
4.解决问题的方法的一个方面
5.控制器主体10的功能配置
5-1.姿势检测单元
5-2.操作控制单元
5-2-1.第一检测单元
5-2-2.第二检测单元
5-3.重置单元
5-4.输出单元
6.控制器1的处理过程
7.效果的一个方面
8.应用示例
9.修改示例
10.硬件配置
<<1.控制器外观>>
图1和图2是示出根据一个实施方式的控制器的外观的示例的视图。图1示出了从手的背侧观察的安装在右手上的控制器1的外观，图2示出了从手掌侧观察的控制器1的外观。
例如，图1和图2所示的控制器1用于实现操作由诸如增强现实(AugmentedReality，AR)或虚拟现实(Virtual Reality，VR)的技术再现的内容的手部交互。尽管本文描述了操作AR内容或VR内容的示例，但这仅仅是示例。另外，手部交互可以应用于三维模型的整体操作，诸如显示器上的三维对象、机器人操作或三维鼠标。
如图1和图2所示，控制器1可以包括控制器主体10、拇指部分30A、食指部分30B和食指部分30C。在下文中，在不需要单独标识的情况下，拇指部分30A、食指部分30B和食指部分30C可以被称为“手指部分30”。
这些控制器主体10和手指部分30可以被配置成任何连接形式，无论有线或无线方式，并且可以以例如使得能够经由输入/输出接口、通信接口或网络来执行传输的方式来配置。
此处，控制器1在包括使指尖和手掌侧自由的结构这一点上优于现有的数据手套等。因此，不仅使虚拟对象的操作成为可能，而且使真实对象的操作与虚拟对象的操作之间的兼容性成为可能。
例如，如图2所示，固定控制器主体10的带以使得覆盖小鱼际隆凸和钩骨的方式形成。因此，由于控制器主体10可以以鱼际隆凸暴露的状态安装，所以可以防止拇指的移动被控制器主体10妨碍。
另外，针对手指部分30采用使指尖自由并且不妨碍关节运动的结构。如图1所示，每个手指部分30以可以从手指的基节或中节的上部安装的方式形成。例如，拇指部分30A安装在拇指的基节上。并且，食指部分30B安装在食指的中节上。此外，食指部分30C安装在食指的基节上。
图3是手指部分的前视图。如图3所示，每个手指部分30包括C形锁定构件。例如，C形锁定构件在三个点处支承手指的基节或中节的上表面部分和侧表面部分，这三个点是在左右两端处的弹性构件31和32以及在中心处的弹性构件33。通过这种三点支承，手指部分30可以以暴露指腹的状态安装。
<<2.手部交互>>
从实现手部交互的方面来看，控制器1执行检测指尖之间的接触诸如食指和拇指之间的接触的“指尖接触检测”。图4是示出指尖接触的接通状态和断开状态的示例的视图。图4中并排示出了指尖接触的断开状态和接通状态。如图4所示，在拇指和食指接触的定时，指尖接触从断开状态转换至接通状态，在拇指和食指分离的定时，指尖接触从接通状态转换至断开状态。
另外，控制器1还执行检测手指姿势的“手指姿势检测”。图5是示出手指姿势的示例的视图。拇指和食指的姿势在图5中作为手指姿势的示例示出。如图5所示，手指的姿势由手指的每个关节的角度表示。例如，食指的姿势由第三关节弯曲的角度θ1_t，第二关节弯曲的角度θ2_t和第一关节弯曲的角度θ3_t表示。注意，第三关节也称为掌指关节(MetacarPophalangeal joint，MP)关节，第二关节也称为近端指间关节(ProximalInterPhalangeal joint，PIJ)关节，第一关节也称为远端指间关节(DistalInterphalangeal joint，DIJ)关节。
<2-1.用于指尖接触检测的传感器>
对于“指尖接触检测”，如背景技术中所述，应用诸如根据静电电容变化检测指尖接触的“静电接触检测”和根据加速度传感器的波形检测指尖接触的“加速度波形检测”的方法。
在根据本公开内容的实施方式的控制器1中，将描述其中“静电触摸检测”和“加速度波形检测”两种方法组合使用的示例。例如，对于“静电触摸检测”，使用设置在拇指部分30A上的GND侧电极35A和设置在食指部分30B上的电位检测侧电极35B。例如，在C形锁定构件所包括的中央弹性构件33的表面上布置导电垫圈，该表面与手指的基节或中节的上表面部分接触，由此当拇指和食指彼此接触时，电极35A和电极35B彼此电连接。另外，安装在食指部分30B上的惯性测量单元(Inertial Measurement Unit，IMU)的加速度传感器用于“加速度波形检测”。
<2-2.用于手指姿势检测的传感器>
对于“手指姿势检测”，使用安装在控制器主体10上的IMU、安装在拇指部分30A上的IMU 37A、安装在食指部分30B上的IMU 37B和安装在食指部分30C上的IMU 37C。在下文中，在不需要单独标识的情况下，IMU 37A、IMU 37B和IMU 37C可以被称为“IMU 37”。
<<3.问题的一个方面>>
如背景技术中所述，由于“静电触摸检测”和“加速度波形检测”两者都具有优点和缺点，因此存在难以鲁棒地检测指尖接触的一个方面。
例如，在“加速度波形检测”中，尽管可以鲁棒地检测指尖彼此接触的定时，但是难以鲁棒地检测指尖彼此分离的定时。这是因为尽管在指尖彼此接触的定时加速度的变化大并且容易检测指尖彼此接触的定时，但是在指尖彼此分离的定时加速度的变化小并且难以检测指尖彼此接触的定时。
另外，尽管“静电接触检测”是根据静电电容的变化来检测指尖接触，但是静电电容存在轻微的变化。因此，由于难以区分由于诸如控制器1的安装位置的偏差或对象的握持的干扰引起的值的变化和由于指尖之间的接触引起的值的变化，因此难以检测指尖彼此接触的定时。
<<4.解决问题的方法的一个方面>>
因此，在根据本公开内容的实施方式的控制器1中，执行“加速度波形检测”直至检测到指尖彼此接触的定时，并且执行“静电触摸检测”直至检测到指尖彼此分离的定时。
以这种方式，执行“加速度波形检测”，直至检测到指尖彼此接触的定时。因此，可以防止由于诸如控制器1的安装位置的偏差和对象的握持的干扰的影响而导致的检测准确度的降低，由此可以通过“静电触摸检测”的优点来补偿“加速度波形检测”的缺点。
此外，执行“静电触摸检测”直至检测到指尖彼此分离的定时。因此，可以防止产生由于加速度变化小而引起的对指尖彼此分离的定时的检测遗漏，由此可以通过“加速度波形检测”的优点来补偿“静电触摸检测”的缺点。
因此，根据本公开内容的实施方式的控制器1可以使得可以实现指尖接触的鲁棒检测。
<<5.控制器主体10的功能配置>>
图6是示出根据一个实施方式的控制器主体10的功能配置的示例的框图。在图6中，在控制器1所包括的设备中，控制器主体10和手指部分30所包括的部分功能被示意性地示出为实线块，并且控制器主体10所包括的功能单元之间交换的部分信息被示意性地示出为虚线块。注意，尽管在图6中手指部分30中食指部分30B所包括的功能块被示出为代表，但是除了不需要包括静电电容测量单元38的点之外，其它手指部分30是共同的。
如图6所示，控制器主体10包括姿势检测单元11、操作控制单元12、重置单元16和输出单元17。
图6所示的诸如姿势检测单元11、操作控制单元12、重置单元16和输出单元17的功能单元可以由诸如中央处理单元(Central Processing Unit,CPU)或微处理单元(MicroProcessing Unit,MPU)的硬件处理器虚拟地实现。例如，处理器从诸如只读存储器(ReadOnly Memory,ROM)的存储设备(未示出)读取除了操作系统(Operating System，OS)之外的诸如实现指尖接触检测、手指姿势检测等的功能的检测程序的程序。然后，处理器执行检测程序并在诸如随机存取存储器(Random Access Memory，RAM)的存储器上扩展与功能单元相应的处理。因此，功能单元被虚拟地实现为处理。此处，尽管CPU和MPU已经作为处理器的示例被例示，但是功能单元可以由任意处理器实现，而无论是通用类型还是专用类型。此外，上述功能单元可以通过诸如专用集成电路(Application Specific IntegratedCircuit，ASIC)或现场可编程门阵列(Field Programmable Gate Array，FPGA)的硬连线逻辑来实现。
包括手指的相应关节的角度θ1至θ3的姿势数据11A、与指尖接触的接通状态或断开状态的状态对应的接触状态数据14、以及测量数据15A被例示为将由功能单元参照或登记的数据。这些各种数据不一定存储在诸如RAM的主存储设备中，并且数据的部分或全部可以存储在存储装置中。
<5-1.姿势检测单元>
姿势检测单元11是检测手指的姿势的处理单元。
作为一个实施方式，姿势检测单元11从分别安装在手指部分30上的IMU 37获取IMU数据。此处，每个IMU 37是所谓的惯性测量设备，并且是其上安装有陀螺仪传感器、加速度传感器等的单元。例如，从IMU 37传输的IMU数据可以包括三个轴的角速度和三个轴的加速度。如上所述，每次获取最新的IMU数据时，姿势检测单元11基于最新的IMU数据所包括的角速度和加速度来更新手指的第三关节的角度θ1、第二关节的角度θ2和第一关节的角度θ3。注意，尽管本文已经描述了IMU 37包括陀螺仪传感器和加速度传感器的示例，但是这不是限制，并且可以包括地磁传感器。
例如，在更新食指的姿势的情况下，姿势检测单元11通过将从IMU37C获取的角速度与姿势数据11A所包括的第三关节的角度θ1_t-1进行积分来计算第三关节的角度θ1_t。此时，姿势检测单元11也可以基于加速度传感器的角度计算值校正第三关节的角度θ1_t的陀螺漂移，该角度计算值是基于加速度的积分值计算的，该积分值是通过对从IMU 37C获取的加速度进行积分而获取的。另外，姿势检测单元11基于从IMU 37B获取的角速度和加速度更新第二关节的角度θ2，与更新第三关节的角度θ1类似。在更新手指的第三关节的角度θ1和第二关节的角度θ2的情况下，可以对可从上次的第三关节的角度θ1_t-1或第二关节的角度θ2_t-1移动的角度范围设定限制，或者设置伸展和弯曲的可移动范围作为约束条件。
此外，姿势检测单元11可以基于手指的第二关节的角度θ2计算第一关节的角度θ3。例如，姿势检测单元11可以通过将手指的第二关节的角度θ2乘以基于手指的第三关节的角度θ1和第二关节的角度θ2与手指的第一关节的角度θ3的联动而设定的系数，例如即0.7，来计算第一关节的角度θ3的估计值。注意，尽管本文已经描述了更新食指的姿势的示例，然而不言而喻，可以以类似的方式更新拇指的姿势。
<5-2.操作控制单元>
操作控制单元12是自适应地切换和操作“加速度波形检测”和“静电触摸检测”的处理单元。例如，操作控制单元12执行“加速度波形检测”直至检测到指尖彼此接触的定时，并且执行“静电触摸检测”直至检测到指尖彼此分离的定时。
<5-2-1.第一检测单元>
第一检测单元13是执行“加速度波形检测”的处理单元。
作为一个实施方式，第一检测单元13操作，直至接触状态数据14在转换至指尖接触的断开状态之后转换至接通状态。例如，第一检测单元13可以将由安装在食指部分30B上的IMU 37B的加速度传感器测量的波形用于“加速度波形检测”。此处，对于“加速度波形检测”，可以使用接收三个轴中的加速度波形作为输入并输出接触状态的接通状态或断开状态的类别的标记的模型。诸如深度学习、逻辑分析、随机森林、支持向量机和决策树的学习算法可以应用于这种模型的学习。例如，每次获取最新的加速度时，第一检测单元13向模型输入加速度波形，该加速度波形是通过在从获取最新的加速度的时间开始，向过去追溯预定时段而获取的。因此，可以从模型获取标记——即接触状态的接通状态或断开状态——作为检测结果。然后，在从模型输出接触状态的接通状态的标记的情况下，第一检测单元13将接触状态数据14从指尖接触的断开状态更新为接通状态。
<5-2-2.第二检测单元>
第二检测单元15是执行“静电触摸检测”的处理单元。
作为一个实施方式，第二检测单元15操作，直至接触状态数据14在转换至指尖接触的接通状态之后转换至断开状态。例如，食指部分30B的静电电容测量单元38用电极35B测量的电压值的频谱可以用于“静电触摸检测”。例如，静电电容测量单元38可以被配置成通过在多频驱动时电压值的变化来检测拇指指尖和食指指尖之间的静电电容变化的电路。即，静电电容测量单元38在诸如100kHz到1200kHz的预定范围内扫描用于驱动检测电路(未示出)的频率。因此，对于每个扫描频率从电极35B获取测量的电压值。以这种方式获取的电压值的频谱在下文中称为“测量数据”。
此处，在将接触状态数据14从指尖接触的断开状态更新为接通状态的时间点，即，在指尖彼此接触的定时，第二检测单元15将该时间点之前和之后的测量数据存储为测量数据15A。因此，拇指与食指彼此接触之前的测量数据和拇指与食指彼此接触之后的测量数据被存储为测量数据15A。在下文中，拇指与食指彼此接触之前的测量数据可以被称为“非接触时的测量数据”，而拇指与食指彼此接触之后的测量数据可以被称为“接触时的测量数据”。以这种方式存储的测量数据15A用于识别指尖接触从接通状态至断开状态的转换。
例如，每次在将接触状态数据14从指尖接触的断开状态更新为接通状态之后从静电电容测量单元38获取最新的测量数据，第二检测单元15执行以下处理。即，第二检测单元15计算从静电电容测量单元38获取的最新的测量数据与测量数据15A所包括的两条测量数据之间的相似度。作为这种相似度的示例，可以计算这两条测量数据之间的相关系数。
图7A是示出非接触时的测量数据的示例的曲线图。此外，图7B是示出接触时的测量数据的示例的曲线图。图7A和图7B所示曲线图的纵轴表示电压值，横轴表示频率(kHz)。如图7A和图7B所示，在非接触时的测量数据和接触时的测量数据之间仅出现轻微的差异。例如，在接触时的测量数据中在200kHz附近观察到电压值的最小值，而在非接触时的测量数据中在300kHz附近观察到电压值的最小值，这表现为两者之间的差异。与此同时，在从300kHz至900kHz增加的斜率中也生成轻微的差异。
此处，第二检测单元15确定最新的测量数据与非接触时的测量数据之间的相似度是否高于最新的测量数据与接触时的测量数据之间的相似度。即，第二检测单元15确定最新的测量数据是与图7A所示的非接触时的测量数据相似还是与图7B所示的接触时的测量数据相似。此时，在最新的测量数据与图7A所示的非接触时的测量数据相似的情况下，可以识别拇指和食指分离。在这种情况下，第二检测单元15将接触状态数据14从指尖接触的接通状态更新为断开状态。另一方面，在最新的测量数据与图7B所示的接触时的测量数据相似的情况下，可以识别出拇指和食指没有分离。在这种情况下，第二检测单元15持续监测从静电电容测量单元38获取的最新的测量数据。
注意，尽管本文已经描述了将接触时的测量数据和非接触时的测量数据两者用于指尖接触检测的示例，但是不一定同时使用这两者。例如，在最新的测量数据与非接触时的测量数据之间的相似度等于或高于预定阈值的情况下，可以识别出拇指和食指分离。另外，在最新的测量数据与接触时的测量数据之间的相似度低于预定阈值的情况下，可以识别出拇指和食指分离。
此外，尽管本文描述了拇指部分30A的电极35A是GND电极并且食指部分30B的电极35B是检测电极的示例，但是这不是限制。例如，拇指部分30A的电极35A可以用作检测电极，食指部分30B的电极35B可以用作GND电极。此外，尽管已经描述了在拇指部分30A和食指部分30B上设置电极的示例，但是可以在控制器主体10上设置电极。在这种情况下，设置在控制器主体10上的电极可以是GND电极或检测电极。
<5-3.重置单元>
重置单元16是重置姿势数据11A的处理单元。
以下两条知识是重置的动机。首先，知道由于加速度传感器值不改变，所以在由IMU对食指的姿势检测中，相对于地面的偏航(Yaw)方向的变化很可能生成由陀螺仪引起的累积误差。此外，作为第二条知识，知道当进行指尖接触时手指姿势基本不变。基于这些知识，存储在指尖接触时食指的姿势，诸如图5所示的食指的第三关节至第一关节的角度，用于在陀螺仪导致的累积误差增加之前进行重置，例如，直至在偏航方向上的角速度的积分值达到预定值。
然后，每次接触状态数据14从指尖接触的断开状态更新为接通状态时，重置单元16将姿势数据11A所包括的食指的第三关节至第一关节的角度重置成被存储用于重置的食指的第三关节至第一关节的角度。
图8是示出重置手指姿势的方法的示例的视图。例如，在包括拇指和食指的平面与水平面(XY平面)之间的角度差在预定范围内的情况下，由于陀螺仪引起的累积误差可能增加。在这种情况下，如图8所示，通过“手指姿势检测”检测到的食指的第三关节至第一关节的角度与食指的第三关节至第一关节的实际角度之间的误差增加。即使当以这种方式生成陀螺仪的累积误差时，在通过“指尖接触检测”检测到指尖接触从断开状态转换至接通状态的阶段中，执行重置至食指的第三关节至第一关节的角度θ1_t至θ3_t，该角度被存储用于重置。因此，可以减小陀螺仪的累积误差。
尽管指尖接触从断开状态转换至接通状态的点在本文中已经被例示为重置条件的示例，但是还可以添加条件。例如，在包括拇指和食指的平面不接近水平面的情况下，由于陀螺仪引起的累积误差几乎不增加。因此，包括拇指和食指的平面与水平面之间的角度差在诸如±45度的预定范围内持续诸如30秒或更长的预定时段的状态也可以添加至重置条件。
<5-4.输出单元>
输出单元17是将姿势数据11A和接触状态数据14输出至预定输出目的地的处理单元。输出目的地的示例包括控制AR内容、VR内容等的应用程序等。这种输出目的地不限于控制器主体10的内部，其示例包括诸如AR眼镜/护目镜、VR眼镜/护目镜、智能电话、平板终端、可穿戴终端、个人计算机和各种服务器设备的外部设备。
<<6.控制器1的处理过程>>
图9和图10是示出根据一个实施方式的控制器1的处理过程的流程图。图9和图10所示的处理仅是示例，并且在控制器主体10的电源处于接通状态的情况下重复执行。
如图9所示，从安装在每个手指部分30上的IMU 37获取IMU数据，并且从食指部分30B的静电电容测量单元38获取电压值的频谱作为测量数据(步骤S101和步骤S102)。
然后，姿势检测单元11基于在步骤S101中获取的最新的IMU数据所包括的角速度和加速度来更新手指的第三关节的角度θ1、第二关节的角度θ2和第一关节的角度θ3(步骤S103)。
此时，在接触状态数据14被设定为指尖接触的断开状态的情况下(步骤S104为“是”)，第一检测单元13执行“加速度波形检测”(步骤S105)。例如，第一检测单元13可以通过向模型输入加速度波形来获取从模型输出的标记，即，作为检测结果的接触状态的接通状态或断开状态，该加速度波形是通过从获取最新的加速度的时间开始，向过去追溯预定时段而获取的。
然后，在从模型输出接触状态的接通状态的标记的情况下(步骤S106为“是”)，重置单元16确定包括拇指和食指的平面与水平面之间的角度差在诸如±45度的预定范围内的状态是否持续了诸如30秒或更长的预定时间(步骤S107和步骤S108)。
此处，在角度差在预定范围内的状态持续预定时段或更长的情况下(步骤S107为“是”和步骤S108为“是”)，将姿势数据11A所包括的食指的第三关节至第一关节的角度重置为存储的用于重置的食指的第三关节至第一关节的角度(步骤S109)。然后，第一检测单元13将接触状态数据14从指尖接触的断开状态更新为接通状态(步骤S110)，并转换至上述步骤S101的处理。
另一个方面，在角度差不在预定范围内的情况下，或者在角度差在预定范围内的状态没有持续预定时段或更长的情况下(步骤S107为“否”或步骤S108为“否”)，跳过上述步骤S109的处理。然后，第一检测单元13将接触状态数据14从指尖接触的断开状态更新为接通状态(步骤S110)，并转换至上述步骤S101的处理。
注意，尽管在图9中未示出，但是当接触状态数据14从指尖接触的断开状态更新为接通状态时(在执行步骤S110时)，非接触时的测量数据和接触时的测量数据被存储为测量数据15A。
另外，在接触状态数据14被设定为指尖接触的接通状态的情况下(步骤S104为“否”)，第二检测单元15执行“静电触摸检测”，如图10所示(步骤S111)。例如，第二检测单元15确定最新的测量数据与非接触时的测量数据之间的相似度是否高于最新的测量数据与接触时的测量数据之间的相似度。
此时，在最新的测量数据与非接触时的测量数据相似的情况下，可以识别拇指和食指分离。在这种情况下，第二检测单元15将接触状态数据14从指尖接触的接通状态更新为断开状态(步骤S112)，并转换至上述步骤S101的处理。
另一个方面，在最新的测量数据与图7B所示的接触时的测量数据相似的情况下，可以识别出拇指和食指没有分离。在这种情况下，跳过上述步骤S112的处理，并且处理转换至步骤S101中的处理。
<<7.效果的一个方面>>
如上所述，根据本公开内容的实施方式的控制器1执行“加速度波形检测”直至检测到指尖彼此接触的定时，并且执行“静电触摸检测”直至检测到指尖彼此分离的定时。
以这种方式，执行“加速度波形检测”直至检测到指尖彼此接触的定时。因此，可以防止由于诸如控制器1的安装位置的偏差和对象的握持的干扰的影响而导致的检测准确度的降低，由此可以通过“静电触摸检测”的优点来补偿“加速度波形检测”的缺点。
此外，执行“静电触摸检测”直至检测到指尖彼此分离的定时。因此，可以防止产生由于加速度变化小而引起的指尖彼此分离的定时的检测遗漏，由此可以通过“加速度波形检测”的优点来补偿“静电触摸检测”的缺点。
因此，根据本公开内容的实施方式的控制器1可以实现指尖接触的鲁棒检测。
<<8.应用示例>>
例如，手指姿势的检测结果可以用于“指尖接触检测”。即使当作为“指尖接触检测”的检测结果确定存在指尖接触时，在一些情况下，拇指和食指也不一定彼此接触。
图11是示出将手指姿势的检测结果应用于指尖接触检测的应用示例的视图。例如，如图11所示，在导体40被拇指和食指握持的情况下，例如，在拇指和食指经由导体40电连接的情况下，存在作为“指尖接触检测”的检测结果确定存在指尖接触的情况。如上所述，即使在仅通过“指尖接触检测”生成错误检测的情况下，也可以通过基于手指姿势的检测结果控制“指尖接触检测”的检测结果的有效或无效来防止错误检测的生成，如图11所示。
例如，在通过“手指姿势检测”获取的手指的每个关节的角度不在从存储在存储器中的指尖接触时食指的姿势，例如从图5所示的食指的第三关节至第一关节的角度的预定范围内的情况下，第二检测单元15使指示存在指尖接触的确定结果无效。在这种情况下，可以在每个关节处确定角度是否在从指尖接触时的角度的预定范围内，或者可以仅在部分关节处确定角度是否在从指尖接触时的角度的预定范围内。此外，第二检测单元15可以参照由拇指的姿势生成的拇指的骨架，以及由食指的姿势生成的食指的骨架。以及根据拇指的骨架的远端与食指的骨架的远端之间的距离是否在预定阈值内来控制指示存在指尖接触的确定结果的有效或无效。例如，在拇指骨架的远端与食指骨架的远端之间的距离不在预定阈值内的情况下，第二检测单元15可以使指示存在指尖接触的确定结果无效，而在拇指的骨架的远端与食指的骨架的远端之间的距离在预定阈值内的情况下，使指示存在指尖接触的确定结果有效。
<<9.修改示例>>
指尖接触检测、手指姿势检测等的功能不一定实现为控制器设备。例如，除了经由输入/输出接口、通信接口或网络连接至根据本公开内容的实施方式的控制器1的AR眼镜/护目镜、VR眼镜/护目镜等之外，图9和图10中示出的处理可以由诸如智能电话、平板终端、可佩戴终端、个人计算机或服务器设备的通用信息处理设备来执行。
此外，在上述实施方式中描述的处理中，描述为自动执行的处理的全部或部分可以手动执行，或者描述为手动执行的处理的全部或部分可以通过已知方法自动执行。此外，除非另有说明，否则可以任意地改变上述文件或附图中所示的处理过程、特定名称和包括各种数据或参数的信息。例如，在各附图中示出的各种信息不限于示出的信息。
此外，每个所示设备中的每个组件都是功能概念，并且不需要以所示方式进行物理配置。即，每个设备的分布/集成的特定形式不限于附图中所示的形式，并且其全部或部分可以根据各种负载和使用条件在功能上或物理上分布/集成在任意单元中。
此外，在本说明书中描述的每个实施方式中的效果仅仅是示例而不是限制，并且可以有不同的效果。
<<10.硬件配置>>
根据以上每个实施方式的信息处理设备例如由具有以图12所示的方式的配置的计算机1000来实现。在下文中，将作为示例描述根据实施方式的信息处理设备。图12是示出实现信息处理设备的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、只读存储器(Read Only Memory，ROM)1300、硬盘驱动器(Hard Disk Drive，HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并且控制每个单元。例如，CPU 1100在RAM 1200中扩展存储在ROM 1300或HDD 1400中的程序，并执行与各种程序对应的处理。
ROM 1300存储引导程序诸如在计算机1000的激活期间由CPU 1100执行的基本输入输出系统(Basic Input Output System,BIOS)、取决于计算机1000的硬件的程序等。
HDD 1400是非暂态地记录由CPU 1100执行的程序、由程序使用的数据等的计算机可读记录介质。具体地，HDD 1400是记录根据本公开内容的信息处理程序的记录介质，该程序是程序数据1450的示例。
通信接口1500是计算机1000连接至外部网络1550(例如因特网)的接口。例如，CPU1100经由通信接口1500从另一个设备接收数据或将CPU 1100生成的数据传输至另一个设备。
输入/输出接口1600是连接输入/输出设备1650和计算机1000的接口。例如，CPU1100经由输入/输出接口1600从诸如键盘或鼠标的输入设备接收数据。此外，CPU 1100经由输入/输出接口1600将数据传输至诸如显示器、扬声器或打印机的输出设备。此外，输入/输出接口1600可以用作读取记录在预定记录介质(介质)上的程序等的介质接口。该介质例如是诸如数字多功能盘(Digital Versatile Dics，DVD)或相变可重写盘(Phase changerewritable Disk,PD)的光记录介质、诸如磁光盘(Magneto-Optical disk，MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
例如，在计算机1000用作根据本实施方式的信息处理设备的情况下，计算机1000的CPU 1100通过执行加载在RAM 1200上的信息处理程序来实现控制器主体10所包括的每个功能单元。此外，HDD 1400将根据本公开内容的信息处理程序和数据存储在内容存储单元121中。注意，在另一个示例中，CPU 1100从HDD 1400读取程序数据1450并执行，但是可以经由外部网络1550从另一个设备获取这些程序。
注意，本技术还可以具有以下配置：
(1)
一种信息处理设备，包括：
第一检测单元，所述第一检测单元基于加速度传感器的输出波形来检测指尖的接触；
第二检测单元，所述第二检测单元基于静电电容的变化来检测指尖的接触；以及
操作控制单元，所述操作控制单元在检测指尖彼此接触的定时的情况下使所述第一检测单元操作，并且在检测指尖彼此分离的定时的情况下使所述第二检测单元操作。
(2)
根据权利要求(1)所述的信息处理设备，其中，
所述第二检测单元通过使用通过在预定范围内扫描用于测量安装在拇指侧的电极与安装在食指侧的电极之间的电位的频率而获取的测量数据，来检测所述拇指和所述食指分离的定时。
(3)
根据权利要求(2)所述的信息处理设备，其中，
所述第二检测单元通过使用在检测到所述拇指和所述食指彼此接触的定时之前测量的非接触时的测量数据和在检测到所述拇指和所述食指彼此接触的定时之后测量的接触时的测量数据，来检测所述拇指和所述食指分离的定时。
(4)
根据权利要求(3)所述的信息处理设备，其中，
所述第二检测单元根据最新测量数据与所述非接触时的测量数据之间的相似度是否高于所述最新测量数据与所述接触时的测量数据之间的相似度，来检测所述拇指和所述食指分离的定时。
(5)
根据权利要求(2)所述的信息处理设备，其中，
所述第二检测单元通过使用在检测到所述拇指和所述食指彼此接触的定时之前测量的非接触时的测量数据，来检测所述拇指和所述食指分离的定时。
(6)
根据权利要求(5)所述的信息处理设备，其中，
所述第二检测单元根据最新测量数据与所述非接触时的测量数据之间的相似度是否等于或高于预定阈值，来检测所述拇指和所述食指分离的定时。
(7)
根据权利要求(2)所述的信息处理设备，其中，
所述第二检测单元通过使用在检测到所述拇指和所述食指彼此接触的定时之后测量的接触时的测量数据，来检测所述拇指和所述食指分离的定时。
(8)
根据权利要求(7)所述的信息处理设备，其中，
所述第二检测单元根据最新测量数据与所述接触时的测量数据之间的相似度是否低于预定阈值，来检测所述拇指和所述食指分离的定时。
(9)
根据权利要求(1)至(8)中任一项所述的信息处理设备，还包括：
姿势检测单元，所述姿势检测单元基于运动传感器的数据来检测手指的姿势；以及
重置单元，所述重置单元在由所述第一检测单元检测到所述指尖彼此接触的定时的情况下，将由所述姿势检测单元检测到的手指的姿势重置为被存储用于重置的手指的姿势。
(10)
根据权利要求(9)所述的信息处理设备，其中，
所述重置单元在包括拇指和食指的平面与水平面之间的角度差在预定范围内的情况下执行重置。
(11)
根据权利要求(9)所述的信息处理设备，其中，
所述重置单元在包括拇指和食指的平面与水平面之间的角度差在预定范围内的状态持续预定时段或更长的情况下执行重置。
(12)
根据权利要求(9)至(11)中任一项所述的信息处理设备，其中，
所述手指的姿势是所述手指的每个关节的角度。
(13)
根据权利要求(9)至(12)中任一项所述的信息处理设备，其中，
所述第二检测单元基于所述姿势检测单元对所述手指的姿势的检测结果来检测所述指尖彼此分离的定时。
(14)
根据权利要求(2)所述的信息处理设备，其中，
以能够从手指的基节或中节的上部安装的方式形成锁定构件，所述锁定构件供安装所述拇指侧的电极或所述食指侧的电极。
(15)
根据权利要求(14)所述的信息处理设备，其中，
所述锁定构件在三个点处支承所述手指的基节或中节的上表面部分和侧表面部分，所述三个点是分别在C形的两个端部部分处形成的弹性构件以及所述拇指侧的电极或所述食指侧的电极在所述C形的中心部分处形成的弹性构件。
(16)
一种信息处理方法，包括：
由计算机执行以下处理：
在检测指尖彼此接触的定时的情况下使基于加速度传感器的输出波形检测指尖的接触的第一检测单元操作，并且在检测指尖彼此分离的定时的情况下使基于静电电容的变化检测指尖的接触的第二检测单元操作。
(17)
一种信息处理程序，使计算机执行以下处理：
在检测指尖彼此接触的定时的情况下使基于加速度传感器的输出波形检测指尖的接触的第一检测单元操作，并且在检测指尖彼此分离的定时的情况下使基于静电电容的变化检测指尖的接触的第二检测单元操作。
附图标记列表
1 控制器
10 控制器主体
11 姿势检测单元
12 操作控制单元
13 第一检测单元
15 第二检测单元
16 重置单元
17 输出单元
30A 拇指部分
30B、30C 食指部分

Claims (17)

1.一种信息处理设备，包括：
第一检测单元，所述第一检测单元基于加速度传感器的输出波形来检测指尖的接触；
第二检测单元，所述第二检测单元基于静电电容的变化来检测指尖的接触；以及
操作控制单元，所述操作控制单元在检测指尖彼此接触的定时的情况下使所述第一检测单元操作，并且在检测指尖彼此分离的定时的情况下使所述第二检测单元操作。
2.根据权利要求1所述的信息处理设备，其中，
所述第二检测单元通过使用通过在预定范围内扫描用于测量安装在拇指侧的电极与安装在食指侧的电极之间的电位的频率而获取的测量数据，来检测所述拇指和所述食指分离的定时。
3.根据权利要求2所述的信息处理设备，其中，
所述第二检测单元通过使用在检测到所述拇指和所述食指彼此接触的定时之前测量的非接触时的测量数据和在检测到所述拇指和所述食指彼此接触的定时之后测量的接触时的测量数据，来检测所述拇指和所述食指分离的定时。
4.根据权利要求3所述的信息处理设备，其中，
所述第二检测单元根据最新测量数据与所述非接触时的测量数据之间的相似度是否高于所述最新测量数据与所述接触时的测量数据之间的相似度，来检测所述拇指和所述食指分离的定时。
5.根据权利要求2所述的信息处理设备，其中，
所述第二检测单元通过使用在检测到所述拇指和所述食指彼此接触的定时之前测量的非接触时的测量数据，来检测所述拇指和所述食指分离的定时。
6.根据权利要求5所述的信息处理设备，其中，
所述第二检测单元根据最新测量数据与所述非接触时的测量数据之间的相似度是否等于或高于预定阈值，来检测所述拇指和所述食指分离的定时。
7.根据权利要求2所述的信息处理设备，其中，
所述第二检测单元通过使用在检测到所述拇指和所述食指彼此接触的定时之后测量的接触时的测量数据，来检测所述拇指和所述食指分离的定时。
8.根据权利要求7所述的信息处理设备，其中，
所述第二检测单元根据最新测量数据与所述接触时的测量数据之间的相似度是否低于预定阈值，来检测所述拇指和所述食指分离的定时。
9.根据权利要求1所述的信息处理设备，还包括：
姿势检测单元，所述姿势检测单元基于运动传感器的数据来检测手指的姿势；以及
重置单元，所述重置单元在由所述第一检测单元检测到所述指尖彼此接触的定时的情况下，将由所述姿势检测单元检测到的手指的姿势重置为被存储用于重置的手指的姿势。
10.根据权利要求9所述的信息处理设备，其中，
所述重置单元在包括拇指和食指的平面与水平面之间的角度差在预定范围内的情况下执行重置。
11.根据权利要求9所述的信息处理设备，其中，
所述重置单元在包括拇指和食指的平面与水平面之间的角度差在预定范围内的状态持续预定时段或更长的情况下执行重置。
12.根据权利要求9所述的信息处理设备，其中，
所述手指的姿势是所述手指的每个关节的角度。
13.根据权利要求9所述的信息处理设备，其中，
所述第二检测单元基于所述姿势检测单元对所述手指的姿势的检测结果来检测所述指尖彼此分离的定时。
14.根据权利要求2所述的信息处理设备，其中，
以能够从手指的基节或中节的上部安装的方式形成锁定构件，所述锁定构件供安装所述拇指侧的电极或所述食指侧的电极。
15.根据权利要求14所述的信息处理设备，其中，
所述锁定构件在三个点处支承所述手指的基节或中节的上表面部分和侧表面部分，所述三个点是分别在C形的两个端部部分处形成的弹性构件以及所述拇指侧的电极或所述食指侧的电极在所述C形的中心部分处形成的弹性构件。
16.一种信息处理方法，包括：
由计算机执行以下处理：
在检测指尖彼此接触的定时的情况下使基于加速度传感器的输出波形检测指尖的接触的第一检测单元操作，并且在检测指尖彼此分离的定时的情况下使基于静电电容的变化检测指尖的接触的第二检测单元操作。
17.一种信息处理程序，使计算机执行以下处理：
在检测指尖彼此接触的定时的情况下使基于加速度传感器的输出波形检测指尖的接触的第一检测单元操作，并且在检测指尖彼此分离的定时的情况下使基于静电电容的变化检测指尖的接触的第二检测单元操作。
CN202180019332.2A 2020-03-13 2021-03-02 信息处理设备、信息处理方法和信息处理程序 Pending CN115315675A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-044466 2020-03-13
JP2020044466 2020-03-13
PCT/JP2021/007885 WO2021182176A1 (ja) 2020-03-13 2021-03-02 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
CN115315675A true CN115315675A (zh) 2022-11-08

Family

ID=77670579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180019332.2A Pending CN115315675A (zh) 2020-03-13 2021-03-02 信息处理设备、信息处理方法和信息处理程序

Country Status (3)

Country Link
US (1) US11977681B2 (zh)
CN (1) CN115315675A (zh)
WO (1) WO2021182176A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073830A (ja) 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置
JP2015121979A (ja) * 2013-12-24 2015-07-02 株式会社東芝 装着型情報入力装置、情報入力システム、及び情報入力方法
US10055018B2 (en) * 2014-08-22 2018-08-21 Sony Interactive Entertainment Inc. Glove interface object with thumb-index controller
WO2016074087A2 (en) * 2014-11-11 2016-05-19 Helio Technology Inc. A method of detecting user input in a 3d space and a 3d input system employing same
JP6558717B2 (ja) * 2015-03-12 2019-08-14 株式会社ニコン 入力機器、入力方法及びコンピュータプログラム
US10275025B2 (en) * 2015-06-14 2019-04-30 Sony Interactive Entertainment Inc. Gloves that include haptic feedback for use with HMD systems
US10642356B1 (en) * 2016-06-26 2020-05-05 Apple Inc. Wearable interactive user interface
JP6799077B2 (ja) 2016-12-15 2020-12-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
KR102536546B1 (ko) * 2017-06-29 2023-05-30 애플 인크. 센서들 및 햅틱들을 갖는 핑거 장착형 디바이스
US10877557B2 (en) * 2017-09-29 2020-12-29 Apple Inc. IMU-based glove
JP6831475B2 (ja) * 2017-10-16 2021-02-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、及び情報処理装置
JP2019075034A (ja) * 2017-10-19 2019-05-16 株式会社ニコン 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
WO2021182176A1 (ja) 2021-09-16
US20230350491A1 (en) 2023-11-02
US11977681B2 (en) 2024-05-07

Similar Documents

Publication Publication Date Title
US10712835B2 (en) System and method for detecting hand gesture
US11481029B2 (en) Method for tracking hand pose and electronic device thereof
CN108700961B (zh) 坐标校正装置、坐标校正方法及计算机可读取的记录介质
US20130257781A1 (en) Touch sensor gesture recognition for operation of mobile devices
KR20200085358A (ko) 착용가능 무선 hmi 디바이스
EP3289435B1 (en) User interface control using impact gestures
CN105868821B (zh) 触摸传感器
Baek et al. Posture monitoring system for context awareness in mobile computing
US11237632B2 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
EP3139252B1 (en) Wearable touch control device and wearable touch control method
Gunawardane et al. Comparison of hand gesture inputs of leap motion controller & data glove in to a soft finger
CN107077284B (zh) 把持方式判断装置
US10649555B2 (en) Input interface device, control method and non-transitory computer-readable medium
US20210109606A1 (en) Automatic Switching between Different Modes of Tracking User Motions to Control Computer Applications
KR101983584B1 (ko) 플렉서블 센서를 이용한 손동작 인식 장치 및 그 방법
EP3115874B1 (en) Input device, method for controlling them and program, that adapt the filtering process according to the number of touches
CN115315675A (zh) 信息处理设备、信息处理方法和信息处理程序
CN107941236B (zh) 计步方法、装置及存储介质
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
KR102334543B1 (ko) 가상현실 기반 주행형 농업기계의 안전교육을 위한 손 동작 추적 시스템 및 방법
CN110209270B (zh) 一种数据手套、数据手套系统、校正方法及存储介质
KR20190131417A (ko) 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법
JP2017049696A (ja) 入力装置とその制御方法及びプログラム
JP6224543B2 (ja) 入力装置及び指判定方法並びにプログラム
US20170024051A1 (en) Multitouch frame matching with distance fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination