CN115777091A - 检测装置及检测方法 - Google Patents

检测装置及检测方法 Download PDF

Info

Publication number
CN115777091A
CN115777091A CN202180048229.0A CN202180048229A CN115777091A CN 115777091 A CN115777091 A CN 115777091A CN 202180048229 A CN202180048229 A CN 202180048229A CN 115777091 A CN115777091 A CN 115777091A
Authority
CN
China
Prior art keywords
finger
sensor
information
hand
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180048229.0A
Other languages
English (en)
Inventor
泽井邦仁
山野郁男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115777091A publication Critical patent/CN115777091A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

[问题]为了提供更可靠地检测用户的手指的姿势的检测装置和检测方法。[解决方案]根据本公开内容的检测装置设置有：第一传感器，该第一传感器被布置在拇指与食指之间的空间中，并且检测通过感测第一手指获得的第一信息，第一手指是包含在第一检测区域中的手指；以及第二传感器，该第二传感器被布置在手掌上，并且检测通过感测第二手指获得第二信息，第二手指是包含在第二检测区域中的手指。

Description

检测装置及检测方法
技术领域
本公开内容涉及检测装置及检测方法。
背景技术
已经提出了一种使用用户的手指的姿势来控制装置的技术。例如，以下专利文献1公开了基于由非接触传感器检测到的用户的手指(例如，食指、中指、无名指以及小指)的形状执行各种类型的控制。然而，根据手指如何弯曲，可能出现某一手指被另一手指隐藏，并且可能不能正确地检测到每个手指的形状的情况。例如，食指被拇指隐藏，因此不能正确地检测到食指的形状。另外，需要为每个手指提供接触传感器，并且传感器的数量增加。因此，用户移动手指或抓住物体是不方便的。
引文列表
专利文献
专利文献1：WO 2016/038953A
发明内容
本发明要解决的问题
本公开内容提供了一种更可靠地检测用户的手指的姿势的检测装置和检测方法。
问题的解决方法
本公开内容的检测装置包括：第一传感器，该第一传感器被布置在拇指与食指之间的空间中，并且检测通过感测第一手指获得的第一信息，第一手指是包括在第一检测区域中的手指；以及第二传感器，该第二传感器被布置在手掌上，并且检测通过感测第二手指获得的第二信息，第二手指是包括在第二检测区域中的手指。
在本公开内容的检测方法中，通过感测第一手指获得的第一信息由布置在拇指与食指之间的空间中的第一传感器检测，第一手指是包括在第一传感器的第一检测区域中的手指，并且通过感测第二手指获得的第二信息由布置在手掌上的第二传感器检测，第二手指是包括在第二传感器的第二检测区域中的手指。
附图说明
图1是包括根据本公开内容的第一实施方式的检测装置的控制器的框图。
图2是示出图1的控制器的手掌侧的图。
图3是示意性地示出手背侧上的传感器和手掌侧上的传感器的检测范围的示例的图。
图4是示出由手背侧上的传感器检测到的深度信息的示例的图。
图5是示出由手掌侧上的传感器检测到的深度信息的示例的图。
图6是根据本实施方式的控制器的功能框图。
图7是示出计算两个传感器的坐标系之间的相对位置姿势的操作的示例的流程图。
图8是示出两个传感器中的每一个的坐标系和食指的末节(distal phalanx)的坐标系的示例的图。
图9是包括右手用控制器、左手用控制器、计算机和头部装置的计算机系统的框图。
图10是示出其中用户佩戴右手用控制器、左手用控制器和头部装置的示例的图。
具体实施方式
在下文中，将参考附图描述本公开内容的实施方式。在本公开内容所示的一个或更多个实施方式中，每个实施方式中所包括的元件可以彼此组合，并且组合后的结果也形成本公开内容所示的实施方式的一部分。
图1和图2是作为根据本公开内容的第一实施方式的检测装置的实施方式的控制器100的框图。图1(A)是示出了在手背侧上的控制器100的图，并且图1(B)是示出了在拇指侧上的控制器100的侧表面的图。图2是示出了手掌侧上的控制器100的图。
图1和图2中所示的控制器100是右手用控制器。示出了其中控制器100佩戴在用户的右手上的状态。左手用控制器也具有与右手用控制器类似的配置，除了左与右形状的差异等。
控制器100包括手背侧上的主体单元11、手掌侧上的子单元21(见图2)和安装单元10。主体单元11通过布线17连接至作为稍后描述的控制装置(见图9和图10)的计算机，并且能够与计算机通信。计算机借助于使用控制器100和要佩戴在用户的头部上的头部装置(见图9和图10)来向用户提供应用的服务。这里，已经描述了其中主体单元11以有线方式与计算机通信的配置，但是其中主体单元11以无线方式与计算机通信的配置也是可能的。此外，控制器100可以具有能够以有线或无线方式与头部装置通信的配置。
安装单元10允许主体单元11和子单元21佩戴在用户的手上。安装单元10包括至少部分地覆盖手背和手掌的覆盖单元(安装盖)。作为示例，覆盖单元是由诸如布或弹性材料的软材料构成的带。这使得可以允许控制器100配合到手上，而不管诸如手的尺寸或形状的个体差异。安装单元10包括用于允许拇指穿过的开口。当将控制器100佩戴在手上时，用户可以通过将拇指穿过开口而容易地佩戴控制器100。可以在安装单元10中设置紧固件、按钮等，使得可以调节佩戴时的配合状态。
在图1(A)中，主体单元11被安装到手背侧上的安装单元10。主体单元11包括壳体(第一壳体)12、测量标记14和传感器1(第一传感器)。
壳体12被安装(固定)在手背侧上的安装单元10的表面上。例如，壳体12包括诸如树脂的介电材料。当用户佩戴控制器100并且张开手时，壳体12的一部分被包括在食指与拇指之间的空间中。在壳体12中，包括在该空间中的部分被称为突起12A。
在图2中，传感器1和测量标记14被设置在突起12A的表面中与手背相对的一侧的表面上。此外，如图1(A)和图1(B)所示，测量标记14分别被设置在壳体12的表面中与手背相对的表面和手的侧表面上。在图1(B)中，测量标记14被设置在拇指侧的侧表面上，但是测量标记也可以被设置在另一侧表面上。
在图2中，传感器1检测通过感测包括在传感器1的检测范围中的至少一个手指(第一手指)而获得的信息(第一信息)。作为示例，传感器1检测指示包括在检测范围中的到手指的距离(深度)的深度信息。更具体地，传感器1检测包括在至少一个手指中的每个关节部的深度信息。在本示例中，传感器1是深度传感器，并且传感器1检测每个关节部的深度信息。注意，由传感器1检测到的信息不限于深度信息，并且可以是任何信息，只要该信息对于指定手指(或者手指中包括的每个关节部的位置姿势)是有用的。例如，可以使用不包括距离的图像(由摄像机获取的RGB图像、黑白图像、红外图像等)。可能存在通过模式识别等分析图像来指定手指的姿势的情况。注意，在通过红外图像指定手指的姿势的情况下，通过将红外发光元件(例如，具有940nm波长的IRLED等)与传感器1一起布置，即使在暴露于直射阳光的暗处或亮处也能够稳定地获取手指的图像，并且可以指定姿势。可以仅在由诸如摄像机的传感器1进行的图像获取的成像定时执行发光元件的发光。
作为示例，飞行时间(time of flight，ToF)可以用作传感器1。另外，可以使用任意传感器，例如能够检测距离的传感器，例如光检测和测距、激光成像检测和测距(LaserImaging Detection and Ranging，LIDAR)、雷达或立体摄像机，或者单目摄像机、DVS摄像机或红外摄像机。此外，假设传感器1需要超过例如150度的水平视角的宽感测区域，但是为了满足该要求，代替使用单个传感器，还可以想到在具有角度差的相同位置处布置多个传感器，诸如两个或三个传感器。
传感器1在用户张开手的状态下被包括在食指与拇指之间的空间中。更具体地，传感器1被包括在食指的指根与拇指之间的空间中。
测量标记14是用于从要安装在用户的头部上的头部装置检测主体单元11的位置和姿势(位置姿势)的构件。作为测量标记14，可以根据从头部装置计算位置姿势的方法使用适当的构件。作为示例，用于光学感测的反射标记可以用作测量标记14。具体地，测量标记14是反射红外线的反射构件(例如，回射构件)。在这种情况下，头部装置通过发射红外线并检测来自测量标记14的反射光，可以以头部装置的坐标系为基准计算主体单元11的位置姿势。在基于图像分析而从头部装置计算位置姿势的情况下，可以使用具有通过图像分析而容易检测的颜色、形状等的构件。此外，测量标记14可以是发光标记。此外，测量标记14可以是二维标记或三维标记。在使用二维标记或三维标记的情况下，可以通过RGB摄像机或黑白摄像机检测不发光或发光，并且在使用发光标记的情况下，即使在黑暗的地方也可以执行检测。替选地，发射红外光的标记可以由红外摄像机检测。在使用红外摄像机的情况下，通过将用于摄像机的带通滤波器和用于标记发光的LED的波长设置成940nm左右，在获取的图像中几乎不出现诸如太阳光的外部光的影响，并且通过图像处理的标记检测变得容易。
在图1(A)中，接触传感器15被设置在手背侧上的安装单元10的背表面(面向手背的表面)上。接触传感器15是检测与手的接触的传感器。接触传感器15经由设置在安装单元10中的布线(例如，嵌入在带中的布线)电连接至主体单元11。通过由接触传感器15检测与手背的接触，可以检测到用户正佩戴控制器100。
作为接触传感器15的示例，可以使用电容传感器。例如，电容传感器包括电极和介电体。当佩戴控制器100时，介电体被夹在电极与手背之间，并且通过检测此时电容的变化，可以检测与手掌的接触。
接触传感器15也可以被设置在壳体12的表面上，更具体地，被设置在壳体12的表面中的手背侧的表面上。在这种情况下，可以在安装单元10中设置开口，并且接触传感器15可以经由该开口直接与手背接触。替选地，接触传感器15可以被夹在壳体12与安装单元10之间。在这种情况下，接触传感器15可以检测与手背的间接接触。
此外，作为使用接触传感器的感测的另一示例，可以检测食指的指尖与拇指的指尖之间的接触。在这种情况下，例如，两个电极以直接与手背、手掌或与手指的根部等接触的方式被布置在安装单元10等上。两个电极中的一个连接至电路的GND，并且交流电压等施加至另一个电极。然后，通过电极的电压值的变化等来检测由于指尖之间的接触而引起的电容变化和电阻值中的至少一个的变化。利用该配置，检测食指的指尖与拇指的指尖之间的接触。可以针对使食指的指尖和拇指的指尖彼此接触的操作来检测手势命令。
在图2中，子单元21被安装在安装单元10的手掌侧。作为示例，当用户将控制器100配戴在手上时，子单元21位于包括小鱼际的区域或钩骨上的区域。注意，子单元21可以被设置在除上述区域之外的区域中。子单元21包括壳体(第二壳体)22、测量标记24和传感器(第二传感器)2。
壳体22被安装(固定)在手掌侧上的安装单元10的表面上。作为示例，壳体22包括诸如树脂的介电材料。传感器2和测量标记24被设置在壳体22的表面中的、在与手掌相对的一侧上的壳体22的表面上。
传感器2检测通过感测包括在传感器2的检测范围中的至少一个手指(第二手指)而获得的信息(第二信息)。作为示例，传感器2检测指示包括在检测范围中的到手指的距离(深度)的深度信息。更具体地，传感器2检测包括在至少一个手指中的每个关节部的深度信息。在本示例中，传感器2是深度传感器，并且传感器2检测每个关节部的深度信息。注意，由传感器2检测到的信息不限于深度信息，并且可以是任何信息，只要该信息对于指定手指的姿势(或者手指中所包括的每个关节部的位置姿势)是有用的。例如，可以使用不包括距离的图像(由摄像机获取的RGB图像、黑白图像、红外图像等)。可能存在通过模式识别等分析图像来指定手指的姿势的情况。注意，在通过红外图像指定手指的姿势的情况下，通过将红外发光元件(例如，具有940nm波长的IRLED等)与传感器2一起布置，即使在暴露于直射阳光的暗处或亮处也可以稳定地获取手指的图像，并且可以指定姿势。可以仅在由诸如摄像机的传感器2进行的图像获取的成像定时执行发光元件的发光。传感器2经由设置在安装单元10中的布线(例如，嵌入在带中的布线)电连接至主体单元11。
传感器2例如位于包括小鱼际的区域(或钩骨上的区域)上。这使得可以有效地检测用户的所有或许多手指的深度信息，而不管每个手指的姿势如何。
作为传感器2的示例，可以使用飞行时间(ToF)。另外，可以使用任意传感器，例如能够检测距离的传感器，例如光检测和测距、激光成像检测和测距(LIDAR)、雷达或立体摄像机，或者单目摄像机、DVS摄像机或红外摄像机。此外，假设传感器2需要超过例如100度的水平视角的宽感测区域，但是为了满足该要求，代替使用单个传感器，还可以想到在相同位置以不同角度布置多个传感器，例如两个或三个传感器。
测量标记24是用于从要安装在用户头部上的头部装置检测子单元21的位置姿势(手的位置姿势)的构件。作为测量标记24，可以使用用于光学感测的反射标记。测量标记24的配置示例可以类似于测量标记14的配置示例。
接触传感器25被设置在手掌侧上的安装单元10的背表面(面向手掌的表面)上。接触传感器25是检测与手掌的接触的传感器。接触传感器25经由设置在安装单元10中的布线(例如，嵌入在带中的布线)电连接至主体单元11。通过由接触传感器25检测与手掌的接触，可以检测到用户正佩带控制器100。
接触传感器25的配置可以类似于接触传感器15的配置。例如，电容传感器可以用作接触传感器25。电容传感器包括电极和介电体。当控制器100被佩戴时，介电体被夹在电极与手掌之间，并且通过检测此时电容的变化，可以检测到与手掌的接触。除了电容传感器之外，可以使用诸如压力传感器的另一类型的传感器，当传感器与手掌接触时，该压力传感器检测压力的变化。
可以配置成使得在安装单元10中设置开口，并且接触传感器25经由该开口直接与手掌接触。此外，可以配置使得接触传感器25夹在壳体22与安装单元10之间。在这种情况下，接触传感器25可以检测经由安装单元10与手掌的间接接触。
此外，作为使用接触传感器25的感测的另一示例，如在接触传感器15的描述中所描述的，可以通过以直接与手掌等接触的方式在安装单元10上布置两个电极来检测食指的指尖与拇指的指尖之间的接触。通过检测食指的指尖与拇指的指尖之间的接触，可以检测关于使食指的指尖与拇指的指尖彼此接触的操作的手势命令。
图3示意性地示出了手背侧的传感器1和手掌侧的传感器2的检测范围的示例。传感器1的检测范围13A和传感器2的检测范围23A均具有大致四角锥的形状。注意，检测范围13A和检测范围23A的形状也可以是诸如锥形的其他形状。可以根据手指的姿势(形状)改变在检测范围13A和检测范围23A中可以检测到的手指(例如，每个手指中包括的每个关节部)。
图4(A)和图4(B)示出了由手背侧的传感器1检测到的深度信息的示例。图4(A)和图4(B)中的深度信息各自是其中在每个像素中存储深度值的深度图像。图4(A)是在拇指的指尖与食指的指尖之间的空间变宽的状态下捕获的深度图像的示例。图4(B)是在拇指指尖与食指指尖彼此接触的状态下捕获的深度图像的示例。在图4(A)和图4(B)两者中，拇指和食指被检测(成像)而不被另一个手指挡住。另一方面，在图4(A)和图4(B)两者中都没有检测到中指、无名指和小指的深度信息。也就是说，当捕获图4(A)和图4(B)的深度图像时，在每个手指的姿势(形状)下不能检测到中指、无名指和小指的深度信息。注意，可能存在这样的情况，其中，根据每个手指的姿势，通过传感器1检测中指、无名指和小指中的至少一个的深度信息(例如，手指中包括的至少一个关节部的深度信息)。
图5(A)和图5(B)示出了由手掌侧的传感器2检测到的深度信息的示例。图5(A)和图5(B)中的深度信息各自是其中在每个像素中存储深度值的深度图像。图5(A)是在手闭合的状态下捕获的深度图像的示例。图5(B)是在手张开的状态下捕获的深度图像的示例。在图5(B)中，检测所有手指的深度信息(每个手指中包括的至少一个关节部的深度信息)。在图5(A)中，拇指挡住了食指的大部分。根据图5(A)的深度信息，可能难以以高精度识别食指的姿势(例如，食指的每个关节的姿势)。
在手背侧的壳体12中，存储有诸如惯性测量单元(inertial measurement unit，IMU)的传感器、诸如振动器48的致动器和处理系统。处理系统基于由传感器1、传感器2、接触传感器15、接触传感器25、IMU等检测的信号和从计算机接收的信号执行处理。电池可以被存储在壳体12中。在这种情况下，电池向各种类型的传感器和壳体12中的每个元件提供工作电压。工作电压可以经由主体单元11与计算机之间的布线17(参见图1)提供。在本实施方式中，假设从计算机经由布线17提供操作电压。
图6是图1和图2所示的控制器100的功能框图。控制器100包括传感器1、传感器2、接触传感器15、接触传感器25、测量标记14、处理系统41、IMU 43和振动器48。处理系统41、IMU 43和振动器48被布置在壳体12中。
处理系统41包括处理单元49(信号处理电路42、计算单元44)、电容检测电路45、发送/接收单元46和放大器47。处理系统41包括硬件电路、存储装置等。硬件电路包括处理电路，例如CPU、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或其组合。存储装置包括任意记录介质，例如易失性存储器、可重写非易失性存储器、读出存储器(read on memory，ROM)、磁存储存储器、硬盘和光盘。作为示例，处理系统包括一个芯片或多个芯片。元件42、44、45、46、47和49的至少一个功能可以由诸如执行作为计算机程序的信息处理程序的CPU的处理器来实现。
信号处理电路42从传感器1获取检测信号(深度信息)。信号处理电路42从传感器2获取检测信号(深度信息)。信号处理电路42包括从传感器1获取作为第一信息的示例的深度信息的第一获取单元和从传感器2获取作为第二信息的示例的深度信息的第二获取单元。
信号处理电路42基于传感器1的深度信息计算用于指定五个手指或至少一个手指的姿势的信息(姿势信息)。更具体地，计算用于指定每个手指的每个关节部的位置姿势的位置姿势信息。基于传感器1的深度信息计算的每个手指的每个关节部的位置姿势信息被称为位置姿势信息1。位置姿势信息1是基于传感器1的位置的局部坐标系中的位置姿势信息。
信号处理电路42基于传感器2的深度信息计算用于指定五个手指或至少一个手指的姿势的信息(姿势信息)。更具体地，计算用于指定每个手指的每个关节部的位置姿势的位置姿势信息。基于传感器2的深度信息计算的每个手指的每个关节部的位置姿势信息被称为位置姿势信息2。位置姿势信息2是基于传感器2的位置的局部坐标系中的位置姿势信息。
为了基于传感器1的深度信息或传感器2的深度信息来计算每个手指的每个关节部的位置姿势信息，可以使用通过机器学习生成的模型。例如，可以使用从深度信息回归每个手指的每个关节部的位置姿势信息的回归模型。回归模型的示例包括神经网络(例如，深度神经网络(deep neural network，DNN))、非线性回归模型和支持向量机(supportvector machine，SVM)等。
信号处理电路42将每个手指的每个关节部的位置姿势信息1提供给计算单元44。信号处理电路42将每个手指的每个关节部的位置姿势信息2提供给计算单元44。注意，在存在不能计算位置姿势的手指的关节部的情况下，仅需要将指示不能计算位置姿势的信息包括在位置姿势信息1或位置姿势信息2中。注意，即使在传感器1和传感器2的深度信息都不包括某一手指的某一关节部的深度的情况下，也可以通过诸如神经网络标签的模型来估计关节部的位置姿势。
作为示例，惯性测量单元(inertial measurement unit，IMU)43包括陀螺仪传感器和加速度传感器。陀螺仪传感器检测三个轴相对于基准轴的角速度。加速度传感器检测三个轴相对于基准轴的加速度。IMU 43可以包括三轴磁传感器。
计算单元44基于IMU 43的检测信号计算主体单元11的位置(局部位置)和姿势(方向)。也就是说，计算用户的手的位置姿势。此外，计算单元44可以计算主体单元11的移动距离和速度中的至少一个。
计算单元44基于每个手指的每个关节部的位置姿势信息1和每个手指的每个关节部的位置姿势信息2来确定每个手指的每个关节部相对于主体单元11的位置姿势信息。主体单元11的位置由头部装置(或IMU 43)检测。作为示例，主体单元11的位置可以被视为传感器1的位置。传感器1被固定到壳体12，并且与壳体12的位置关系是恒定的。另一方面，由于传感器2经由安装单元10连接至传感器1(壳体12)，因此传感器1与传感器2的坐标系之间的相对位置姿势是不恒定的。具体地，在佩戴时，带的形状根据用户的手的尺寸和形状的差异以及带的佩戴位置的差异而改变。结果，传感器1与传感器2的坐标系之间的相对位置姿势改变。因此，计算传感器1与传感器2的坐标系之间的相对位置姿势，并且基于所计算的相对位置姿势将位置姿势信息2转换到传感器1的坐标系中。下面描述转化方法。
获得传感器1与传感器2的坐标系之间的相对位置姿势与以下被看作是同义的：获得使用旋转矩阵R和平移向量T将传感器2的坐标系的三维向量转换成传感器1的坐标系的三维向量的等式。
由于传感器1的检测范围和传感器2的检测范围彼此重叠，因此存在从传感器1和传感器2两者检测到的关节部(目标关节部)。例如，在食指的指尖处的关节(末节)经常由传感器1和2两者检测到。
传感器1的坐标系是坐标系1，传感器2的坐标系是坐标系2，并且食指的末节的坐标系是坐标系3。
图8示出了传感器1的坐标系1、传感器2的坐标系2和食指的末节51的坐标系3的示例。注意，在图8中，除了食指的末节51之外的关节部也由圆圈符号指示。
传感器1的坐标系1与食指的末节的坐标系3之间的关系由等式(1)表示。
[等式1]
Figure BDA0004040607430000101
传感器2的坐标系2与食指的末节的坐标系3之间的关系由等式(2)表示。
[等式2]
Figure BDA0004040607430000111
从等式(1)和等式(2)获得等式(3)。
[等式3]
Figure BDA0004040607430000112
等式(3)可以被变换成等式(4)。
[等式4]
Figure BDA0004040607430000113
当等式(4)中的Ra-1·Rb为R并且Ra-1·(Tb-Ta)为T时，获得以下等式(5)。
Figure BDA0004040607430000114
等式(5)是使用旋转矩阵R和平移向量T将传感器2的坐标系2的三维向量变换为传感器1的坐标系1的三维向量的等式。以此方式可以获得传感器1与传感器2的坐标系之间的相对位置姿势。
计算单元44基于等式(5)的关系将位置姿势信息2转换到传感器1的坐标系1中。然后，基于转换后的位置姿势信息2和位置姿势信息1来确定每个手指的每个关节部的位置姿势信息(例如，包括在由传感器1检测到的手指和由传感器2检测到的手指中的手指)。作为示例，对于仅包括在位置姿势信息1和转换后的位置姿势信息2之一中的手指的关节部，使用包括在该位置姿势信息中的手指的关节部的位置姿势信息。对于包括在两者中的手指的关节部，可以使用两条位置姿势信息的平均值，或者可以采用其中的任何一个。计算单元44将每个手指的每个关节部的位置姿势信息提供给发送/接收单元46。这里，计算单元44基于位置姿势信息1和位置姿势信息2确定每个手指的每个关节部的位置姿势信息，但是位置姿势信息1和位置姿势信息2可以被发送到计算机(见图9和图10)，并且每个手指的每个关节部的位置姿势信息可以在计算机侧确定。
由于传感器1与传感器2的坐标系之间的相对位置姿势随着手指的移动而时刻变化，因此可以以固定的时间间隔执行通过如上所述的等式(1)至(5)中的计算来获得参数的处理。
图7是示出以固定时间间隔计算传感器1与传感器2的坐标系之间的相对位置姿势的操作的示例的流程图。首先，将默认值Td和Rd设置为和传感器1与传感器2的坐标系之间的相对位置姿势相关联的参数Tp和Rp(S101)。基于传感器1和传感器2的检测信号(深度信息)检测每个手指的每个关节部的位置姿势(S102)。确定目标关节部(例如，食指的末节)的位置姿势是否包括在由传感器1检测到的每个关节部的位置姿势中(S103)。在包括目标关节部的位置姿势的情况下(是)，确定由传感器2检测到的每个关节部的位置姿势中是否包括目标关节部(例如，食指的末节)的位置姿势(S104)。在包括目标关节部的位置姿势的情况下(是)，参数Tp和Rp通过由等式(5)获得的T和R更新(S105)。此后，处理返回到步骤S102。在步骤S103或步骤S104中确定不包括目标关节部的位置姿势的情况下，处理返回到步骤S102而不更新参数Tp和Rp。
在控制器100的上述使用期间的相对位置姿势的变化量通常小于由用户的手的形状和尺寸、控制器100的安装位置的差异等引起的上述变化量。因此，一旦用户佩戴了控制器100，则可以认为相对位置姿势是恒定的。在这种情况下，在用户佩戴了控制器100之后，使用户采取传感器1和传感器2可以共同检测目标关节部(例如，食指的末节)的姿势。例如，在初始设置模式中，可以经由由头部装置提供的语音消息或图像来呈现用于使得用户采取姿势的消息。在用户采取姿势的同时，执行计算传感器1与传感器2的坐标系之间的相对位置姿势的处理。根据这一点，由于目标关节部可以被传感器1和2两者可靠地检测，因此不存在检测损失并且实现了效率。
在图2的配置中，传感器2被设置在与传感器1不同的壳体(结构)中，但是传感器2可以被设置在与传感器1相同的壳体中。这使得可以抑制传感器2相对于主体11的位置姿势的变化，具体地，例如，可以想到这样的配置，其中图1中的主体11的壳体从手背延伸到小指侧的手掌，并且传感器2被布置在在图2所示的位置处。由于传感器2被布置在与传感器1相同的壳体上，所以可以抑制传感器1与传感器2之间的相对位置姿势的变化。因此，不必使用将受到手指关节的错误感测影响的等式(5)来执行计算，并且因此，可以提高手指的每个关节的位置姿势的检测精度。
在图6中，电容检测电路45从接触传感器15获取检测信号。此外，电容检测电路45从接触传感器25获取检测信号。电容检测电路45基于接触传感器15和接触传感器25的检测信号中的至少一个来确定用户是否佩戴了控制器100。作为示例，在接触传感器15和接触传感器25中的两者或任何一个中的电容的变化量等于或大于阈值的情况下，确定用户已经佩戴了控制器100。替选地，在接触传感器15和接触传感器25中的两者或任何一个中的静电电容值变得等于或大于阈值的情况下，确定用户已经佩戴了控制器100。在确定用户已经佩戴了控制器100的情况下，静电电容检测电路45向发送/接收单元46提供佩戴检测信号。在确定用户没有佩戴控制器100的情况下，不向发送/接收单元46提供佩戴检测信号，或者向发送/接收单元46提供非佩戴检测信号。
发送/接收单元46将从计算单元44提供的主体单元11的位置姿势信息(手的位置姿势信息)发送到计算机(见图9和图10)。发送/接收单元46将从计算单元44提供的用于指定每个手指的姿势的信息(例如，每个手指的每个关节部的位置姿势信息)发送到计算机。发送/接收单元46将从计算单元44提供的佩戴检测信号发送到计算机。发送/接收单元46将从计算单元44提供的未佩戴检测信号发送到计算机。在从计算机接收到振动器48的控制信号的情况下，发送/接收单元46将控制信号提供给放大器47。
放大器47放大从发送/接收单元46提供的用于振动器48的控制信号，并且将放大的控制信号提供给振动器48。
振动器48是根据输入信号振动的振动器。振动器48根据从放大器47提供的控制信号振动。振动器48的振动被佩戴控制器100的用户的手感知为触感。由此，用户能够通过触觉来获取与作为使用手指和手生成的手势(手势)而进行的指示相对应的反馈。
图9是计算机系统的框图，该计算机系统包括右手用控制器100、左手用控制器100、计算机200和头部装置300。
图10示出了在图9的计算机系统的配置示例中佩戴右手用控制器100和左手用控制器100以及头部装置300的用户的状态的示例。
在图10中，在计算机200中，右手用控制器100和左手用控制器100以有线方式连接。计算机200以有线方式连接至头部装置300。右手用控制器100的布线和左手用控制器100的布线与头部装置300的布线在头部装置300的后部集成并且连接至计算机200。注意，计算机200和右手用控制器100以及左手用控制器100可以以无线方式连接。计算机200和头部装置300可以以无线方式连接。
右手用控制器100和左手用控制器100具有上述图6中所示的配置。在以下描述中，当描述控制器100时，可以指左手用控制器100和右手用控制器100中的任一个，或者指两个控制器100。此外，当描述为手时，它可以指左手和右手中的任一个，或者指左手和右手两者。
在图9的计算机系统中，预先设置以基准点为原点的真实坐标系，即，真实空间的坐标系。基准点可以是真实空间中的任意位置或预定位置，或者可以是包括在头部装置300中的任意位置或预定位置。
头部装置300包括红外照射单元301、红外摄像机单元302、右/左手位置姿势识别单元303、IMU 311、RGB摄像机单元312、头部位置姿势识别单元313、三维信息集成单元320、发送/接收单元330、显示驱动器340、左眼显示单元351和右眼显示单元352。元件303、313、320、330和340包括硬件电路、存储装置等。硬件电路包括处理电路，例如CPU、DSP、ASIC、FPGA或其组合。存储装置包括任意记录介质，例如易失性存储器、可重写非易失性存储器、ROM、磁存储存储器、硬盘和光盘。元件303、313、320、330和340的至少一个功能可以由诸如执行作为计算机程序的信息处理程序的CPU的处理器来实现。
头部装置300是佩戴在用户的头部上并且在操作期间经由左眼显示单元351和右眼显示单元352向用户提供信息的装置。在本实施方式中，假设头部装置300是一副增强现实(augmented reality，AR)眼镜，其输出通过将构成虚拟空间的图像的一部分与经由RGB摄像机单元312获得的真实世界的图像组合而获得的视场图像。
注意，头部装置300可以是一副虚拟现实(virtual reality，VR)眼镜，其分别在非透射显示单元351和352上显示右眼用图像和左眼用图像，并且基于用户的两眼的视差使得图像被识别为三维图像。此外，头部装置300可以是将数字信息呈现给非透射显示单元351和352的一副智能眼镜。显示单元351和352例如是诸如液晶显示器或有机EL监视器的显示装置。
在头部装置300中，设置有两个红外照射单元301和两个红外摄像单元302(见图10)。
红外照射单元301例如是发射红外线的发光二极管(light emitting diode，LED)。
两个红外摄像单元302读取由至少一个红外照射单元301发射并由控制器100的测量标记14反射的红外线。红外摄像机单元302基于所读取的红外线生成红外图像。右/左手位置姿势识别单元303使用两个红外摄像机单元302和目标手(主体单元11)的测量标记14通过三角测量来计算手的位置或位置姿势。通过使手主体的测量标记14的布置在左手与右手之间不同，可以区分右手与左手。由于使用红外线，因此即使在室外也能够获得来自测量标记14的反射。另外，通过设置多个红外线照射单元301，能够扩大手的检测范围。此外，作为另一操作示例，分别为右手和左手设置两个红外照射单元301，并且分别为右手和左手设置两个红外摄像机单元302。右手(或左手)的红外摄像机单元302可以通过分析由与右手(或左手)相对应的红外照射单元301的照射所获得的红外图像，来识别右手(或左手)的位置姿势。
IMU 311包括陀螺仪传感器和加速度传感器作为示例。IMU 311的配置类似于上述控制器100中的IMU的配置。
RGB摄像机单元312以规则的时间间隔对真实世界中的空间成像，并且获取RGB图像数据。RGB摄像机单元312例如被设置在头部装置300的壳体的前面。
头部位置姿势识别单元313基于IMU 311的检测信号识别头部(头部装置300)的位置姿势。头部位置姿势识别单元313使用基于识别的位置姿势的坐标系作为真实空间的坐标系，并且将RGB摄像机212的图像从摄像机坐标系转换到真实空间的坐标系中。
三维信息集成单元320基于转换后的真实空间的图像和从计算机200提供的信息(例如，要叠加在真实空间的图像上显示的虚拟图像等)来执行集成处理，并且生成要呈现给用户的左眼和右眼的三维图像信息。在集成处理中，可以使用由右/左手位置姿势识别单元303获得的左手和右手的位置或位置姿势。例如，可以在用户的手存在的位置处集成模仿手的虚拟图像。模仿手的虚拟图像可以被包括在从计算机200提供的信息中，或者可以被预先存储在头部装置300的存储装置中，并且可以从存储装置检索虚拟图像。可以根据手的姿势来改变虚拟图像的手的姿势。在这种情况下，可以准备与姿势相对应的手的多个虚拟图像，或者可以计算并绘制姿势的变化。
发送/接收单元330将由右/左手位置姿势识别单元303获取的右手和左手的位置或位置姿势信息发送到计算机200。此外，发送/接收单元330将由三维信息集成单元320生成的图像信息提供给显示驱动器340。发送/接收单元330可以将由三维信息集成单元320产生的图像信息发送到计算机200。
显示驱动器340基于左眼用图像信息生成用于在左眼显示单元351上显示图像的驱动信号。显示驱动器340基于右眼用图像信息生成用于在右眼显示单元352上显示图像的驱动信号。显示驱动器340将这些生成的驱动信号提供给左眼显示单元351和右眼显示单元352。
左眼显示单元351和右眼显示单元352基于从显示驱动器340提供的驱动信号在屏幕上显示图像。左眼显示单元351和右眼显示单元352上显示的图像由佩戴头部装置300的用户视觉识别。
计算机200是诸如个人计算机(台式、笔记本式)或智能电话的移动终端，或者诸如平板装置的信息装置终端。尽管示出了计算机200被设置在头部装置300外部的配置，但是计算机200和头部装置300可以一体地配置。例如，计算机200可以内置在头部装置300中。
计算机200包括发送/接收单元201、发送/接收单元202，手势识别单元230，命令生成单元240和应用单元250。另外，可以提供用户向其输入数据、指令等的输入单元、向用户输出信息的输出单元等。元件201、202、230、240和250包括例如硬件电路、存储装置等。硬件电路包括处理电路，例如CPU、DSP、ASIC、FPGA或其组合。存储装置包括任意记录介质，例如易失性存储器、可重写非易失性存储器、ROM、磁存储存储器、硬盘和光盘。元件201、202、230、240和250的至少一个功能可以由诸如CPU的处理器来实现，该处理器执行作为计算机程序的信息处理程序。计算机200可以被配置为单个计算机，或者可以被配置为包括彼此连接的多个计算机装置的系统。计算机200可以作为诸如云的广域网中的服务器存在。
发送/接收单元201根据预定的通信方案向控制器100发送信号和从控制器接收信号。发送/接收单元202根据预定通信方案向头部装置300发送和从头部装置300接收信号。作为每个预定的通信方法，可以使用任意方法，例如专用通信方法、串行通信例如通用串行总线(universal serial bus，USB)、无线局域网(wireless local area network，LAN)、蓝牙或红外通信。
计算机200经由发送/接收单元201从控制器100获取用于指定每个手指的姿势或移动的信息(每个手指的每个关节部的位置姿势信息或位置姿势信息的时间序列数据)，作为与用户的手指的姿势或移动相关联的信息。此外，计算机200经由发送/接收单元202从头部装置300获取关于手在真实空间的坐标系中的位置或位置姿势的信息或其时间序列数据。可能存在由于控制器100的主体单元11在红外照射单元301的照射范围之外而不能从头部装置300获取关于手的位置或位置姿势的信息的情况。在这种情况下，计算机200可以基于经由发送/接收单元201从控制器100获取的关于手(主体单元11)的位置或位置姿势的信息，掌握手(主体单元11)在真实空间的坐标系中的位置或位置姿势。更具体地，通过基于从控制器100接收的位置信息，根据从头部装置300接收的最新位置信息更新位置的变化量，来指定手(主体单元11)在真实空间的坐标系中的位置。使用从控制器100接收的姿势信息来指定手(主体单元11)的姿势。
手势识别单元230基于每个手指的每个关节部的位置姿势信息和手的位置或位置姿势信息来识别用户的手势(手势)。手指的姿势(形状)可以根据手指的每个关节部的位置姿势来指定。另外，如果多次为每个手指指定位置姿势，则可以指定每个手指的移动。
命令生成单元240响应于识别的手势生成用于应用的操作命令。例如，手势识别单元230基于每个手指的姿势(形状)和手的位置姿势来识别用户的手势。具体地，准备将每个手指的姿势、手的位置或位置姿势以及手势彼此相关联的表，并且根据该表指定对应的手势。手指的姿势(形状)和手的位置或位置姿势的组合、或者该组合的时间序列数据可以被识别为诸如指向、推动、打开、抓住、转动和投掷的各种动作的手势。
作为命令生成单元240响应于手势生成操作命令的示例，存在在识别出打开菜单的手势的情况下生成打开菜单的命令的情况。另外，在打开的菜单中识别出指示在特定项的位置处的选择的手势的情况下，可以生成打开该项的详细屏幕的命令。此外，在特定情况下识别出预定的手势的情况下，可以生成用于使用户的控制器100振动的命令。例如，在在头部装置300上显示杯子的虚拟图像或真实世界的图像的情况下，假设识别了持有杯子的手势。在这种情况下，为了通知用户已经抓住了杯子，可以生成命令以与用户已经对其执行了手势的目标(例如，杯子等)或手势相对应的模式振动。可以使用诸如语义分割的图像分析来执行真实世界图像中的杯子的显示。在这种情况下，命令生成单元240可以具有执行图像分析的功能。
应用单元250使用控制器100和头部装置300向用户提供应用服务(例如，诸如游戏的娱乐)。例如，在从用户接收到应用的执行指令数据的情况下，应用单元250确定是否从控制器100接收到针对接触传感器15和接触传感器25中的至少一个或两者的佩戴检测信号，并且在接收到佩戴检测信号的情况下，应用单元开始执行应用。执行指令数据可以由用户经由输入单元直接输入到计算机200。替选地，用户可以将执行指令数据输入到头部装置300或控制器100，并且从头部装置300或控制器100接收执行指令数据。
应用单元250从命令生成单元240获取针对应用的操作命令，并且执行所获取的操作命令。例如，在执行打开菜单的操作命令的情况下，指示显示表示菜单的虚拟图像的指令数据被发送到头部装置300的三维信息集成单元320。显示虚拟图像的位置可以是预定位置，或者可以是根据用户手指的姿势或当识别用户的手势时用户手的位置姿势确定的位置。指令数据可以包括显示虚拟图像的位置。此外，在执行使控制器100振动的命令的情况下，应用单元250使用振动器的驱动器产生用于使振动器振动的控制信号。应用单元250将产生的振动器的控制信号经由发送/接收单元201发送到控制器100。
图9所示的配置是示例，并且各种变化是可能的。例如，头部装置300可以设置有扬声器和声音驱动器。计算机200的应用单元250向声音驱动器发送指令数据，该指令数据指示输出与所识别的手势相对应的声音。声音驱动器基于指令数据产生控制信号，并且将该控制信号提供给扬声器。扬声器输出与该控制信号相对应的声音或语音。
此外，可以提供诸如LED灯的发光单元，其向控制器100提供视觉反馈。计算机200的应用单元250使用发光元件的驱动器产生用于发射与识别的手势相对应的光的控制信号，并且将该控制信号发送到控制器100。控制器100的发光元件响应于控制信号而发光。
如上所述，根据本实施方式，布置在拇指与食指之间的空间中的传感器1检测包括在检测区域中到手指的距离的深度信息，并且布置在手掌上的传感器2检测包括在检测区域中到手指的距离的深度信息。这增加了通过至少一个传感器检测用户的每个手指的可能性，使得可以更可靠地检测每个手指的姿势。例如，即使在传感器2检测出的深度信息中，食指被大拇指隐藏，在传感器1检测出的深度信息中，食指也不会被大拇指隐藏。由于第一传感器和第二传感器可以以这样的方式互补，因此可以提高正确地检测出每个手指的姿势的可能性。
此外，根据本实施方式，由用户佩戴的安装单元由柔性材料构成，并且如果在用户的手掌侧设置小的薄的子单元就足够了，使得用户可以容易地执行移动每个手指或抓住物体的动作。
此外，根据本实施方式，由于振动器被设置在主体单元11中，因此可以通过触觉向用户提供反馈。
注意，上述实施方式示出了用于实现本公开内容的示例，并且本公开内容可以以各种其他模式来实现。例如，在不脱离本公开内容的主旨的情况下，可以进行各种修改、替换、省略或其组合。这样的修改、替换、省略等也被包括在本公开内容的范围内，并且类似地被包括在权利要求书中描述的发明及其等效范围内。
此外，本说明书中描述的本公开内容的效果仅仅是示例，并且可以提供其他效果。
注意，本公开内容还可以具有以下配置。
[项1]
一种检测装置，包括：
第一传感器，所述第一传感器被布置在拇指与食指之间的空间中，并且检测通过感测第一手指获得的第一信息，所述第一手指是包括在第一检测区域中的手指；以及
第二传感器，所述第二传感器被布置在手掌上，并且检测通过感测第二手指获得的第二信息，所述第二手指是包括在第二检测区域中的手指。
[项2]
根据项1所述的检测装置，还包括处理单元，所述处理单元被配置成基于所述第一信息、所述第二信息以及所述第一传感器与所述第二传感器之间的相对位置姿势，获取用于指定所述第一手指和所述第二手指的姿势的信息。
[项3]
根据项2所述的检测装置，
其中，用于指定所述第一手指的姿势的信息包括所述第一手指中所包括的关节部的位置姿势，以及
用于指定所述第二手指的姿势的信息包括所述第二手指中所包括的关节部的位置姿势。
[项4]
根据项1至3中任一项所述的检测装置，
其中，所述第一传感器被布置在所述食指的指根与所述拇指之间的空间中。
[项5]
根据项1至4中任一项所述的检测装置，
其中，所述第二传感器被布置在所述手掌的小鱼际或钩骨上。
[项6]
根据项1至5中任一项所述的检测装置，还包括
安装单元，所述安装单元被配置成将所述第一传感器和所述第二传感器安装在手上。
[项7]
根据项6所述的检测装置，
其中，所述安装单元具有所述拇指所穿过的开口，并且包括至少部分地覆盖所述手掌和所述手背的覆盖单元，
包括所述第一传感器的第一壳体被设置在所述覆盖单元的手背侧上，以及
包括所述第二传感器的第二壳体被设置在所述覆盖单元的手掌侧上。
[项8]
根据项7所述的检测装置，
其中，在所述第一壳体的表面上设置用于从头部装置进行位置测量的标记。
[项9]
根据项7或8所述的检测装置，
其中，在所述第二壳体的表面上设置用于从头部装置进行位置测量的标记。
[项10]
根据项1至9中任一项所述的检测装置，还包括
接触传感器，所述接触传感器被配置成检测所述拇指与所述食指之间的接触。
[项11]
根据项7至9中任一项所述的检测装置，还包括
接触传感器，所述接触传感器被配置成检测与所述手掌和所述手背中的至少一个的接触。
[项12]
根据项3所述的检测装置，还包括
处理单元，所述处理单元基于所述第一手指和所述第二手指中共同包括的所述关节部的所述第一信息和所述第二信息，计算所述第一传感器与所述第二传感器之间的相对位置姿势。
[项13]
根据项12所述的检测装置，
其中，所述共同包括的所述关节部包括所述食指的末节。
[项14]
根据项12所述的检测装置，
其中，所述处理单元基于共同的手指的第一信息和共同的手指的第二信息，计算表示所述第一传感器的第一坐标系与所述第二传感器的第二坐标系之间的关系的参数，
基于所述第一信息获取所述第一手指中所包括的关节部的位置姿势信息，并且基于所述第二信息获取所述第二手指中所包括的关节部的位置姿势信息，
基于所述参数将所述第二手指中所包括的关节部的位置姿势信息转换到所述第一坐标系中，以及
基于所述第一手指中所包括的关节部的位置姿势信息和所述第二手指中所包括的关节部的位置姿势信息，确定所述第一手指和所述第二手指的每个关节部的位置姿势。
[项15]
根据项14所述的检测装置，
其中，所述参数包括旋转矩阵和平移向量。
[项16]
根据项1至15中任一项所述的检测装置，
其中，所述第一信息是包括到所述第一手指的距离的深度信息，以及
所述第二信息是包括到所述第二手指的距离的深度信息。
[项17]
一种检测方法，包括：
由布置在拇指与食指之间的空间中的第一传感器检测通过感测第一手指获得的第一信息，所述第一手指是包括在所述第一传感器的第一检测区域中的手指；以及
由布置在手掌上的第二传感器检测通过感测第二手指获得的第二信息，所述第二手指是包括在所述第二传感器的第二检测区域中的手指。
附图标记列表
1 传感器(第一传感器)
2 传感器(第二传感器)
10 安装单元
11 主体单元
12 壳体(第一壳体)
12A 突起
13A 检测范围
14 测量标记
15 接触传感器
21 子单元
22 壳体(第二壳体)
23A 检测范围
24 测量标记
25 接触传感器
41 处理系统
42 信号处理电路
43 IMU
44 计算单元
45 电容检测电路
46 发送/接收单元
47 放大器
48 振动器
49 处理单元
51 食指的末节
100 控制器
200 计算机
201 发送/接收单元
202 发送/接收单元
212 RGB 摄像机
230 手势识别单元
240 命令生成单元
250 应用单元
300 头部装置
301 红外照射单元
302 红外摄像机单元
303 左/右手位置姿势识别单元
311 IMU
312 RGB 摄像机单元
313 头部位置姿势识别单元
330 发送/接收单元
340 显示驱动器
351，352 显示单元

Claims (17)

1.一种检测装置，包括：
第一传感器，所述第一传感器被布置在拇指与食指之间的空间中，并且检测通过感测第一手指获得的第一信息，所述第一手指是包括在第一检测区域中的手指；以及
第二传感器，所述第二传感器被布置在手掌上，并且检测通过感测第二手指获得的第二信息，所述第二手指是包括在第二检测区域中的手指。
2.根据权利要求1所述的检测装置，还包括处理单元，所述处理单元被配置成基于所述第一信息、所述第二信息以及所述第一传感器与所述第二传感器之间的相对位置姿势，获取用于指定所述第一手指和所述第二手指的姿势的信息。
3.根据权利要求2所述的检测装置，
其中，用于指定所述第一手指的姿势的信息包括所述第一手指中所包括的关节部的位置姿势，以及
用于指定所述第二手指的姿势的信息包括所述第二手指中所包括的关节部的位置姿势。
4.根据权利要求1所述的检测装置，
其中，所述第一传感器被布置在所述食指的指根与所述拇指之间的空间中。
5.根据权利要求1所述的检测装置，
其中，所述第二传感器被布置在所述手掌的小鱼际或钩骨上。
6.根据权利要求1所述的检测装置，还包括
安装单元，所述安装单元被配置成将所述第一传感器和所述第二传感器安装在手上。
7.根据权利要求6所述的检测装置，
其中，所述安装单元具有所述拇指所穿过的开口，并且包括至少部分地覆盖所述手掌和所述手背的覆盖单元，
包括所述第一传感器的第一壳体被设置在所述覆盖单元的手背侧上，以及
包括所述第二传感器的第二壳体被设置在所述覆盖单元的手掌侧上。
8.根据权利要求7所述的检测装置，
其中，在所述第一壳体的表面上设置用于从头部装置进行位置测量的标记。
9.根据权利要求7所述的检测装置，
其中，在所述第二壳体的表面上设置用于从头部装置进行位置测量的标记。
10.根据权利要求1所述的检测装置，还包括
接触传感器，所述接触传感器被配置成检测所述拇指与所述食指之间的接触。
11.根据权利要求7所述的检测装置，还包括
接触传感器，所述接触传感器被配置成检测与所述手掌和所述手背中的至少一个的接触。
12.根据权利要求3所述的检测装置，还包括
处理单元，所述处理单元基于所述第一手指和所述第二手指中共同包括的所述关节部的所述第一信息和所述第二信息，计算所述第一传感器与所述第二传感器之间的相对位置姿势。
13.根据权利要求12所述的检测装置，
其中，所述共同包括的所述关节部包括所述食指的末节。
14.根据权利要求12所述的检测装置，
其中，所述处理单元基于共同的手指的第一信息和共同的手指的第二信息，计算表示所述第一传感器的第一坐标系与所述第二传感器的第二坐标系之间的关系的参数，
基于所述第一信息获取所述第一手指中所包括的关节部的位置姿势信息，并且基于所述第二信息获取所述第二手指中所包括的关节部的位置姿势信息，
基于所述参数将所述第二手指中所包括的关节部的位置姿势信息转换到所述第一坐标系中，以及
基于所述第一手指中所包括的关节部的位置姿势信息和所述第二手指中所包括的关节部的位置姿势信息，确定所述第一手指和所述第二手指的每个关节部的位置姿势。
15.根据权利要求14所述的检测装置，
其中，所述参数包括旋转矩阵和平移向量。
16.根据权利要求1所述的检测装置，
其中，所述第一信息是包括到所述第一手指的距离的深度信息，以及
所述第二信息是包括到所述第二手指的距离的深度信息。
17.一种检测方法，包括：
由布置在拇指与食指之间的空间中的第一传感器检测通过感测第一手指获得的第一信息，所述第一手指是包括在所述第一传感器的第一检测区域中的手指；以及
由布置在手掌上的第二传感器检测通过感测第二手指获得的第二信息，所述第二手指是包括在所述第二传感器的第二检测区域中的手指。
CN202180048229.0A 2020-07-14 2021-07-07 检测装置及检测方法 Pending CN115777091A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020120810 2020-07-14
JP2020-120810 2020-07-14
PCT/JP2021/025658 WO2022014445A1 (ja) 2020-07-14 2021-07-07 検出装置及び検出方法

Publications (1)

Publication Number Publication Date
CN115777091A true CN115777091A (zh) 2023-03-10

Family

ID=79554830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180048229.0A Pending CN115777091A (zh) 2020-07-14 2021-07-07 检测装置及检测方法

Country Status (4)

Country Link
US (1) US20230244312A1 (zh)
JP (1) JPWO2022014445A1 (zh)
CN (1) CN115777091A (zh)
WO (1) WO2022014445A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11872499B2 (en) * 2019-02-08 2024-01-16 Sony Interactive Entertainment Inc. Wearing member
US11959997B2 (en) * 2019-11-22 2024-04-16 Magic Leap, Inc. System and method for tracking a wearable device

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100156783A1 (en) * 2001-07-06 2010-06-24 Bajramovic Mark Wearable data input device
AU2003205391A1 (en) * 2002-03-12 2003-09-29 Senseboard, Inc. Data input device
JP4789087B2 (ja) * 2005-03-30 2011-10-05 長崎県 動作検出装置および手話動作検出システム
US7498956B2 (en) * 2006-01-04 2009-03-03 Iron Will Creations, Inc. Apparatus and method for inputting information
US20100023314A1 (en) * 2006-08-13 2010-01-28 Jose Hernandez-Rebollar ASL Glove with 3-Axis Accelerometers
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置
US10234941B2 (en) * 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US20150035743A1 (en) * 2013-07-31 2015-02-05 Plantronics, Inc. Wrist Worn Platform for Sensors
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US9710060B2 (en) * 2014-06-09 2017-07-18 BeBop Senors, Inc. Sensor system integrated with a glove
US10055018B2 (en) * 2014-08-22 2018-08-21 Sony Interactive Entertainment Inc. Glove interface object with thumb-index controller
WO2016074087A2 (en) * 2014-11-11 2016-05-19 Helio Technology Inc. A method of detecting user input in a 3d space and a 3d input system employing same
KR102647349B1 (ko) * 2014-12-08 2024-03-12 로힛 세스 착용가능 무선 hmi 디바이스
US9652038B2 (en) * 2015-02-20 2017-05-16 Sony Interactive Entertainment Inc. Magnetic tracking of glove fingertips
DE102015122281B4 (de) * 2015-12-18 2017-07-13 Christina Schannath Handschuh-artige Vorrichtung mit ergonomisch vorteilhaft auslösbarer integrierter Kamera
JP6810442B2 (ja) * 2016-06-20 2021-01-06 聖 星野 カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
US10168776B2 (en) * 2016-08-23 2019-01-01 International Business Machines Corporation Remote control via proximity data
WO2018079384A1 (ja) * 2016-10-28 2018-05-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、制御方法、及びプログラム
WO2018198272A1 (ja) * 2017-04-27 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 制御装置、情報処理システム、制御方法、及びプログラム
US10877557B2 (en) * 2017-09-29 2020-12-29 Apple Inc. IMU-based glove
US11681369B2 (en) * 2019-09-16 2023-06-20 Iron Will Innovations Canada Inc. Control-point activation condition detection for generating corresponding control signals

Also Published As

Publication number Publication date
WO2022014445A1 (ja) 2022-01-20
JPWO2022014445A1 (zh) 2022-01-20
US20230244312A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
CN210573659U (zh) 计算机系统、头戴式设备、手指设备和电子设备
US11150730B1 (en) Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
JP6669069B2 (ja) 検出装置、検出方法、制御装置、および制御方法
US11231786B1 (en) Methods and apparatus for using the human body as an input device
EP3542252B1 (en) Context-sensitive hand interaction
US11353967B2 (en) Interacting with a virtual environment using a pointing controller
US9367136B2 (en) Holographic object feedback
CN110647237A (zh) 在人工现实环境中基于手势的内容共享
CN110647239A (zh) 人工现实环境中的虚拟内容的基于手势的投射和操纵
US10775946B2 (en) Universal handheld controller of a computer system
WO2014093525A1 (en) Wearable multi-modal input device for augmented reality
WO2016189372A2 (en) Methods and apparatus for human centric "hyper ui for devices"architecture that could serve as an integration point with multiple target/endpoints (devices) and related methods/system with dynamic context aware gesture input towards a "modular" universal controller platform and input device virtualization
WO2022014445A1 (ja) 検出装置及び検出方法
US11237632B2 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
CN109669530A (zh) 用于触觉设备的振动触觉驱动器电路
US20230259207A1 (en) Apparatus, system, and method for detecting user input via hand gestures and arm movements
JP7135444B2 (ja) 情報処理装置及びプログラム
CN112449691A (zh) 通过物理接触细化虚拟网格模型
KR101530340B1 (ko) 모션 트래커 시스템 및 자세방위 시스템을 통합하여 3차원 가상공간에서 손의 위치 및 자세 정보를 구현하는 움직임 감지 시스템
CN115298646A (zh) 信息处理设备、信息处理方法、计算机程序和增强现实感测系统
CN109313483A (zh) 一种与虚拟现实环境进行交互的装置
US20230341936A1 (en) Information processing device, information processing method, computer program, and augmented reality system
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
US11662815B2 (en) Apparatus, system, and method for detecting user input via hand gestures and arm movements
WO2023042489A1 (ja) 触感生成装置、触感生成方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination