CN111563459A - 一种手指动作采集方法及手指动作采集设备 - Google Patents

Abstract

本发明提供一种手指动作采集方法及手指动作采集设备，涉及人机交互技术领域，该手指动作采集方法包括佩戴在用户小臂或手腕处的光源朝向手指发射光线；佩戴在用户小臂或手腕处的光学传感器感测反射光线，该反射光线为所述光线被手指反射后的光线；基于所述光学传感器感测到的反射光线来生成信息或指令；在本发明中，将光学传感器和光源佩戴在手腕或小臂的一侧，可以清晰地照射和感测到手指的部分或者全部，又因为手指末端相对于手腕的位置几乎完全决定了手指动作，所以使用该方法既解决了体外设备的便捷性问题，又解决了间接感测方法的准确性的问题，适用范围广。

Description

一种手指动作采集方法及手指动作采集设备

技术领域

本发明涉及人机交互技术领域，具体是一种手指动作采集方法及手指动作采集设备。

背景技术

通过识别手势动作来实现指令的输出，以此来实现人机交互是一个重要思路，但是在现有技术中，一部分技术方案是将设备放在体外，例如安装在电视机、空调、抽油烟机上的手势识别设备，可以保证识别精度和丰富性，但人需要停留在设备附近，不够便捷，适用范围小。

另一部分技术方案是采用可穿戴设备，但是在这些可穿戴设备中，都是通过间接方法来识别手指动作，例如：通过压力传感器感测手指动作引起的手腕皮肤起伏来识别手指动作、通过肌电传感器感测手指动作引起的手腕皮肤电信号变化来识别手指动作、通过光学传感器感测手指动作引起的腕部皮肤表面纹理和形状变化来识别手指动作、通过血管造影技术感测手指动作引起的腕部或小臂的皮下血管形状变化来识别手指动作等，上述的这些通过间接方法来识别手指动作的方法存在准确性差、通用性差等问题；例如在授权公告号为CN106062666B的中国专利中公开了一种具有光学传感器的可穿戴设备，光源可被定位在可穿戴设备的后侧或面向皮肤的一侧，并且光学传感器可被定位在该光源附近，在操作期间，光可从光源发射并使用光学传感器进行感测，所感测到的光的变化可用于识别用户手势；从光源发射的光可从穿戴者的皮肤反射，并且可使用光学传感器来感测反射光，在穿戴者以特定方式作出手势时，由于肌肉收缩、设备偏移、皮肤拉伸或光学传感器和穿戴者的皮肤之间的距离改变，该反射光可能发生可察觉的变化，可将所识别的手势解释为用于与可穿戴设备进行交互的命令，由此可知，该技术方案采用的是间接方法来识别手指动作，同样存在准确性差等问题。

发明内容

本发明的目的在于提供一种手指动作采集方法，旨在解决现有技术中的手指动作采集方法不能同时实现使用便捷、适用范围广、识别准确性高的问题。

为实现上述目的，本发明采用如下技术方案：所述手指动作采集方法包括佩戴在用户小臂或手腕处的光源朝向手指发射光线；佩戴在用户小臂或手腕处的光学传感器感测反射光线，该反射光线为所述光线被手指反射后的光线；基于所述光学传感器感测到的反射光线来生成信息或指令。

本发明的进一步的技术方案:所述光源和光学传感器设置在同一位置，或分开设置在不同位置。

本发明的进一步的技术方案:所述光线为可见光或不可见光。

本发明的进一步的技术方案:所述光学传感器感测到反射光线后，识别出所述反射光线对应的用户手指上某些点的空间位置信号，其中该空间位置信号包括三维位置信号、二维位置信号和/或一维位置信号，基于该空间位置信号来生成信息或指令；或者/和，识别出所述反射光线的光线强度信号，基于该光线强度信号来生成信息或指令；或者/和，识别出所述反射光线对应的手指皮肤的纹理图像信号，基于该手指皮肤的纹理图像信号来生成信息或指令；或者/和，识别出所述反射光线对应的手指皮肤的形状图像信号，基于该手指皮肤的形状图像信号来生成信息或指令。

本发明的进一步的技术方案:所述光学传感器感测反射光线的方法包括：采用单目摄像头、双目摄像头、多目摄像头采集、TOF摄像头或/和3D结构光摄像头采集反射光线。

本发明的进一步的技术方案:基于所述光学传感器感测到的反射光线来生成的信息为所述光学传感器可直接感测到的手指的信息，包括手指上某些点的空间位置信息、手指部分的形状信息、手指部分的纹理信息，该信息可用来被记录、显示在屏幕中或显示在VR场景中；或者，基于所述光学传感器感测到的反射光线来生成的信息为整个手部的信息，包括手部动作信息和手部各个部位的位置信息，通过数据库或者机器学习算法储存手指相对于手腕的位置和手部动作之间的对应关系，通过感测手指末端的位置来获得手部动作信息，该信息可用来被记录、显示在屏幕中或显示在VR场景中。

本发明的进一步的技术方案:基于所述光学传感器感测到的反射光线来生成的指令包括：离散指令、连续指令或组合指令；其中，离散指令包括按键指令、鼠标点击指令；连续指令包括鼠标移动；组合指令包括鼠标的移动和点击。

本发明的进一步的技术方案:所述光源和光学传感器设置在用户一侧的小臂或手腕上，且所述光学传感器感测该侧的手指的反射光线；或者，用户的两侧的小臂或手腕上分别设置有配套使用的光源和光学传感器，且相同侧的光学传感器感测该侧的手指的反射光线；或者，所述光源和光学传感器设置在用户一侧的小臂或手腕上，且所述光学传感器同时感测到用户该侧的手指的反射光线以及用户另一侧的手部皮肤的反射光线；或者，所述光源和光学传感器设置在用户一侧的小臂或手腕上，且所述光源和光学传感器设置有两套，分别用于感测到用户该侧以及另一侧的手部的反射光线；或者，用户的两侧的小臂或手腕上分别设置有配套使用的光源和光学传感器，且所述光学传感器同时感测到用户该侧以及另一侧的手部的反射光线。

本发明的进一步的技术方案:还包括让用户知道其手指动作与自己原来意图的相似程度的反馈方法，该反馈方法包括视觉反馈、听觉反馈或/和触觉反馈。

本发明的进一步的技术方案:所述视觉反馈包括：基于所述光学传感器感测到的反射光线来生成信号，识别该信号并在屏幕上显示一包括用户手指相对于键盘上各个按键位置的图像信息，用户使用手指做敲击键盘动作，所述光学传感器感测变化的反射光线来生成信号，持续识别该信号并在屏幕上同步显示出连续的用户手指的图像信息，当图像信息中手指敲击动作的信号与正确敲击键盘的预设信号的差值不超过一预设阈值时，屏幕上对应的键采用一种颜色显示；当图像信息中手指敲击动作的信号与正确敲击键盘的预设信号的差值超过一预设阈值时，屏幕上对应的键采用另一种颜色显示，且手指敲击动作与正确敲击键盘的预设动作的偏差方向不同时，颜色显示也不同。

本发明的进一步的技术方案:所述听觉反馈包括：基于所述光学传感器感测到的反射光线来生成手指敲击动作的信号，当该手指敲击动作的信号与正确敲击键盘的预设信号的差值不超过一预设阈值时，控制声音设备发出一种提示音；当该手指敲击动作的信号与正确敲击键盘的预设信号的差值超过一预设阈值时，控制声音设备发出另一种提示音，且手指敲击动作与正确敲击键盘的预设动作的偏差方向不同时，提示音也不同。

本发明的进一步的技术方案:所述触觉反馈包括：基于所述光学传感器感测到的反射光线来生成手指敲击动作的信号，当该手指敲击动作的信号与正确敲击键盘的预设信号的差值不超过一预设阈值时，控制触觉设备发出一种振动信号；当该手指敲击动作的信号与正确敲击键盘的预设信号的差值超过一预设阈值时，控制触觉设备发出另一种振动信号，且手指敲击动作与正确敲击键盘的预设动作的偏差方向不同时，振动信号也不同。

本发明的进一步的技术方案:所述视觉反馈中当手指敲击动作相对于正确敲击键盘的预设动作的偏差方向分别朝向左侧、右侧、上侧、下侧时，屏幕上对应的键分别采用不同的颜色A、颜色B、颜色C、颜色D显示。

本发明的进一步的技术方案:所述听觉反馈中当手指敲击动作相对于正确敲击键盘的预设动作的偏差方向分别朝向左侧、右侧、上侧、下侧时，控制声音设备分别发出不同的提示音A、提示音B、提示音C、提示音D。

本发明的进一步的技术方案:所述触觉反馈中当手指敲击动作相对于正确敲击键盘的预设动作的偏差方向分别朝向左侧、右侧、上侧、下侧时，控制触觉设备分别发出不同的振动信号A、振动信号B、振动信号C、振动信号D。

本发明的进一步的技术方案:还包括佩戴在用户小臂或手腕处的位置传感器、加速度传感器或速度传感器。

本发明的目的在于提供一种使用上述手指动作采集方法的手指动作采集设备，包括可佩戴在用户小臂或手腕处的壳体；安装在壳体上且可朝向用户手指发射光线的光源；安装在壳体上且可感测用户手指的反射光线的光学传感器。

本发明的进一步的技术方案:所述壳体上设置有腕带，用户通过佩戴腕带以使壳体设置在用户小臂或手腕上，且壳体位于用户小臂或手腕朝向手掌面的一侧。

本发明的有益效果是：在本发明中，将光学传感器和光源佩戴在手腕或小臂的一侧，可以清晰地照射和感测到手指的部分或者全部，又因为手指末端相对于手腕的位置几乎完全决定了手指动作，所以使用该方法既解决了体外设备的便捷性问题，又解决了间接感测方法的准确性的问题，适用范围广。

附图说明

图1是本发明中手指动作采集设备的具体实施例的示意图。

图2是本发明中手指动作采集设备的具体实施例中触觉反馈的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明。

通过识别手势动作来实现指令的输出，以此来实现人机交互是一个重要思路，但是在现有技术中，一部分技术方案是将设备放在体外，可以保证识别精度和丰富性，但人需要停留在设备附近，不够便捷；另一部分技术方案是采用可穿戴设备，但是在这些可穿戴设备中，都是通过间接方法来识别手指动作，例如：通过压力传感器感测手指动作引起的手腕皮肤起伏来识别手指动作、通过肌电传感器感测手指动作引起的手腕皮肤电信号变化来识别手指动作、通过光学传感器感测手指动作引起的腕部皮肤表面纹理和形状变化来识别手指动作、通过血管造影技术感测手指动作引起的腕部或小臂的皮下血管形状变化来识别手指动作等；上述的这些通过间接方法来识别手指动作的方法存在准确性差等问题。

因此在本发明中，如图1所示，一种手指动作采集方法，包括佩戴在用户小臂或手腕处的光源2朝向手指发射光线；佩戴在用户小臂或手腕处的光学传感器感测反射光线，该反射光线为所述光线被手指反射后的光线；基于所述光学传感器感测到的反射光线来生成信息或指令。

该手指动作采集方法用于确定识别用户手指动作，输出信息或指令，在本具体实施例中，将光学传感器和光源2佩戴在用户手腕或小臂朝向手掌的一侧，如图1所示，光源朝向手指发射光线，光学传感器感测手指反射的光线，根据感测到的光线，生成信息或指令。

当然，光学传感器和光源也可以佩戴在用户手腕或小臂的其它侧，只要能够使光学传感器感测手指反射的光源发出的光线即可，更具体的，所述光源和光学传感器设置在同一位置，例如将光源和光学传感器佩戴在用户手腕或小臂朝向手掌的一侧中间位置，或分开设置在不同位置，例如将光源佩戴在用户手腕或小臂朝向大拇指或小拇指一侧的位置，将光学传感器对应的佩戴在用户手腕或小臂朝向小拇指或大拇指一侧的位置。

一种使用上述手指动作采集方法的手指动作采集设备，包括可佩戴在用户小臂或手腕处的壳体1；安装在壳体1上且可朝向用户手指发射光线的光源2；安装在壳体1上且可感测用户手指的反射光线的光学传感器，通过佩戴该设备，可用于实现人和其它设备之间的人机交互，例如实现设备的开关操作、设备画面切换、声音调整、文字输入、游戏控制等，也可以将该可穿戴设备作为信号或者指令输出的对象，来控制该设备上一些功能，例如设备开关操作、设备中应用的打开或关闭、应用中画面的切换、应用中声音的调整等。

在本发明中，将光学传感器和光源2佩戴在手腕或小臂的一侧，可以清晰地照射和感测到手指的部分或者全部，又因为手指末端相对于手腕的位置几乎完全决定了手指动作，所以使用该方法既解决了体外设备的便捷性问题，又解决了间接感测方法的准确性的问题，适用范围广。

优选的，所述壳体1上设置有腕带3，用户通过佩戴腕带3以使壳体1设置在用户小臂或手腕上，且壳体位于用户小臂或手腕朝向手掌面的一侧，如图1所示，光源发射光线照射手指，传感器感测手指反射的光线，生成信号或者指令；在另一具体实施例中，可以因使用场景或者用户习惯不同，将设备佩戴在小臂朝向手掌的一侧，光源和光学传感器在设备的朝向手指的一侧。

具体的，本发明提供的方法和设备一个重要的使用场景是将设备与智能眼镜连接，并通过手指动作向智能眼镜输出信号或指令。

具体的，光源发射的光线，可以是可见光，也可以是不可见光；可以是单一光源，也可以是多个光源组合；可以是简单的均质的光，也可以是经过调制后具备一定结构的光。

可选的，所述光学传感器感测反射光线的方法包括：采用单目摄像头、双目摄像头、多目摄像头采集、TOF摄像头或/和3D结构光摄像头采集反射光线，等等。

进一步来说，在一具体实施例中，使用结构光深度视觉设备来实现光线的发射和感测，该设备包含光源2和光学传感器，其原理为通过调制使得射出的光线具备某种结构，通过传感器感测被物体反射的上述光线，根据反射光线的结构变化来确定物体表面的形状信息；在另一具体实施例中，可以使用TOF设备实现光线的发射和感测，该设备包含光源2和光学传感器，其原理为通过光源2照射手指，通过光学传感器感测反射光，计算光线从发射到被感测到所用的时间，来确定光源2、传感器和手指上某些点的距离；在另一具体实施例中，可以使用光源2加摄像头来获取手指反射的光线，并根据反射光线来生成信息或者指令，可以是单个摄像头，也可以是多个摄像头，增加摄像头个数，可以提高识别精度；上述方案可以单独使用，也可以某几个结合在一起使用。

具体的，所述光学传感器感测到反射光线后，识别出所述反射光线对应的用户手指上某些点的空间位置信号，其中该空间位置信号包括三维位置信号、二维位置信号和/或一维位置信号，基于该空间位置信号来生成信息或指令；或者，识别出所述反射光线的光线强度信号，基于该光线强度信号来生成信息或指令；或者，识别出所述反射光线对应的手指皮肤的纹理图像信号，基于该手指皮肤的纹理图像信号来生成信息或指令；或者，识别出所述反射光线对应的手指皮肤的形状图像信号，基于该手指皮肤的形状图像信号来生成信息或指令，等等，设备可以依据其中某一种信息来生成信息或者指令，也可以依据其中某几种信息的组合来生成信息或者指令。

一具体实施例中，基于所述光学传感器感测到的反射光线来生成的信息为所述光学传感器可直接感测到的手指的信息，包括手指上某些点的空间位置信息、手指部分的形状信息、手指部分的纹理信息，该信息可用来被记录、显示在屏幕中或显示在VR场景中；

另一具体实施例中，基于所述光学传感器感测到的反射光线来生成的信息为整个手部的信息，包括手部动作信息和手部各个部位的位置信息，通过数据库或者机器学习算法储存手指相对于手腕的位置和手部动作之间的对应关系，通过感测手指末端的位置来获得手部动作信息，该信息可用来被记录、显示在屏幕中或显示在VR场景中；虽然传感器只能感测到手指或部分手指，但手指相对于手腕的位置和手部动作之间存在强相关性，通过数据库或者机器学习算法储存手指相对于手腕的位置和手部动作之间的对应关系，就可以通过感测手指信息来获得手部信息。

基于所述光学传感器感测到的反射光线来生成的指令包括：离散指令、连续指令或组合指令；其中，离散指令包括按键指令、鼠标点击指令；连续指令包括鼠标移动；组合指令包括鼠标的移动和点击。

一具体实施例中，手指凌空或者在桌面上做敲击键盘动作，通过设备感测手指反射光来理解手指动作，并输出对应的按键指令，设备可以获得手指末端空间位置信息，通过和键盘布局对照，可以理解手指敲击键盘的意图，设备在手腕佩戴时会有挪动，但手指末端组成的点之间的拓扑关系，在单个使用者中有较强的稳定性，可以通过上述拓扑关系修正设备佩戴位置挪动对识别结果的影响。

一具体实施例中，可以使用机器学习算法来实现手指运动信息和敲键指令之间的关联，佩戴设备后做敲击键盘动作，将设备采集到的一段时间内的手指信息和一个敲击按键指令作为一组数据，收集多组上述数据，同时编辑机器学习算法，使用上述数据来训练算法，待算法的识别准确率达到预期要求后，即可使用该算法来实现指令输出；上述数据可以采集自同一人，也可以采集自不同人，采集的范围越广，采集的数据越多，训练出的算法通用性和准确性越高。

一具体实施例中，佩戴设备后，先将设备调整为输出鼠标指令的状态，然后通过移动某一根或者某几根手指，来实现移动光标的指令输出，通过某个指头敲击来实现单击鼠标左键的指令，通过另一个指头敲击来实现单击鼠标右键的指令。

具体的，所述光源和光学传感器设置在用户一侧的小臂或手腕上，且所述光学传感器感测该侧的手指的反射光线；或者，用户的两侧的小臂或手腕上分别设置有配套使用的光源和光学传感器，且相同侧的光学传感器感测该侧的手指的反射光线；或者，所述光源和光学传感器设置在用户一侧的小臂或手腕上，且所述光学传感器同时感测到用户该侧的手指的反射光线以及用户另一侧的手部皮肤的反射光线；或者，所述光源和光学传感器设置在用户一侧的小臂或手腕上，且所述光源和光学传感器设置有两套，分别用于感测到用户该侧以及另一侧的手部的反射光线；或者，用户的两侧的小臂或手腕上分别设置有配套使用的光源和光学传感器，且所述光学传感器同时感测到用户该侧以及另一侧的手部的反射光线。

需要说明的是，设备是单手佩戴还是双手佩戴，设备佩戴时是感测单手还是感测双手，两个设备是单独工作还是联动工作，上述列举的为非限制性示例，在上述方法的启发下可存在其它多种组合方式，可根据需求灵活采用。

可选地，除了光源2、光学传感器外，设备可以集成主板、处理器、电池、显示屏、蜂鸣器、声音设备、有线传输接口、无线传输模块等，当然，显示屏可以设置在手腕的手掌一测，也可以设置在手腕的手背一侧，蜂鸣器通过触觉或听觉来反馈信息，声音设备通过听觉或触觉来反馈信息，有线传输接口和无线传输模块用来与其它设备进行交互。

在一具体实施例中，为了让用户知道其手指动作与自己原来意图的相似程度，加入反馈方法，该反馈方法包括视觉反馈、听觉反馈或/和触觉反馈。

其中，可选的，基于所述光学传感器感测到的反射光线来生成信号，识别该信号并在屏幕上显示一包括用户手指相对于键盘上各个按键位置的图像信息，用户使用手指做敲击键盘动作，所述光学传感器感测变化的反射光线来生成信号，持续识别该信号并在屏幕上同步显示出连续的用户手指的图像信息，当图像信息中手指敲击动作的信号与正确敲击键盘的预设信号的差值不超过一预设阈值时，屏幕上对应的键采用一种颜色显示，如绿色；当图像信息中手指敲击动作的信号与正确敲击键盘的预设信号的差值超过一预设阈值时，屏幕上对应的键采用另一种颜色显示，如红色，且手指敲击动作与正确敲击键盘的预设动作的偏差方向不同时，颜色显示也不同，如：

手指敲击动作相对于正确敲击键盘的预设动作偏向按键左侧时，屏幕上对应按键显示为自右向左逐渐加深的渐变红色；

手指敲击动作相对于正确敲击键盘的预设动作偏向按键右侧时，屏幕上对应按键显示为自左向右逐渐加深的渐变红色；

手指敲击动作相对于正确敲击键盘的预设动作偏向按键上侧时，屏幕上对应按键显示为自下向上逐渐加深的渐变红色；

手指敲击动作相对于正确敲击键盘的预设动作偏向按键下侧时，屏幕上对应按键显示为自上向下逐渐加深的渐变红色。

其中，可选的，所述听觉反馈包括：基于所述光学传感器感测到的反射光线来生成手指敲击动作的信号，当该手指敲击动的信号与正确敲击键盘的预设信号的差值不超过一预设阈值时，控制声音设备发出一种提示音，如清脆、短促和令人愉悦的一种声音；当该手指敲击动作的信号与正确敲击键盘的预设信号的差值超过一预设阈值时，控制声音设备发出另一种提示音，如混浊、相对较长的一种声音，且手指敲击动作与正确敲击键盘的预设动作的偏差方向不同时，提示音也不同，如：

手指敲击动作相对于正确敲击键盘的预设动作偏向按键左侧时，将一种可以让人分辨出从右向左的声音设置为提示音；

手指敲击动作相对于正确敲击键盘的预设动作偏向按键右侧时，将一种可以让人分辨出从左向右的声音设置为提示音；

手指敲击动作相对于正确敲击键盘的预设动作偏向按键上侧时，将一种可以让人分辨出从近向远的声音设置为提示音；

手指敲击动作相对于正确敲击键盘的预设动作偏向按键下侧时，将一种可以让人分辨出从远向近的声音设置为提示音；

上述提示音可以由设备上的声音设备发出，也可以由其它设备发出。

其中，可选的，如图2所示，所述触觉反馈包括：基于所述光学传感器感测到的反射光线来生成手指敲击动作的信号，当该手指敲击动作的信号与正确敲击键盘的预设信号的差值不超过一预设阈值时，控制触觉设备发出一种振动信号，如一种清脆短促的振动；当该手指敲击动作的信号与正确敲击键盘的预设信号的差值超过一预设阈值时，控制触觉设备发出另一种振动信号，如一种混浊、时间较长的振动，且手指敲击动作与正确敲击键盘的预设动作的偏差方向不同时，振动信号也不同如，将5个微型蜂鸣器按照十字型排列在设备中：

手指敲击动作相对于正确敲击键盘的预设动作偏向按键左侧时，让中间蜂鸣器和左侧蜂鸣器依次振动；

手指敲击动作相对于正确敲击键盘的预设动作偏向按键右侧时，让中间蜂鸣器和右侧蜂鸣器依次振动；

手指敲击动作相对于正确敲击键盘的预设动作偏向按键上侧时，让中间蜂鸣器和上侧蜂鸣器依次振动；

手指敲击动作相对于正确敲击键盘的预设动作偏向按键下侧时，让中间蜂鸣器和下侧蜂鸣器依次振动；

需要说明的是，上述反馈方法可以单独使用，也可以组合使用。

在一具体实施例中，可以在设备中设置位置传感器、加速度传感器或速度传感器。

更具体的，设备上可以集成按钮、触摸板、触摸屏、滚轮、语音识别模块等，用以辅助操作设备，设备的开启和关闭，可以用按键、触摸、滚动、语音等方式操作设备，也可以通过某种特殊的手部动作来实现，例如用手指做出OK的动作时，设备启动，握紧拳头时，设备关闭，设备从一种功能切换到另一种功能时，可以用按键、触摸、滚动、语音等方式实现，也可以通过某种特殊的手部动作来实现，例如食指和中指同时敲击两次，就可以从实现键盘输出的功能切换到实现鼠标输出的功能，设备可以通过有线或无线的方式与一个或多个设备连接，实现向设备输出信息或指令的功能，要实现从向一个设备输出信息或指令的状态，切换至向另一个设备输出信息或指令的状态，可以用按键、触摸、滚动、语音等方式实现，也可以通过某种特殊的手部动作来实现，例如食指连续敲击4次，就可以从连接电视的状态切换至连接音箱的状态。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其它实施方式。

Claims (14)

1.一种手指动作采集方法，其特征在于，包括：

佩戴在用户小臂或手腕处的光源朝向手指发射光线；

佩戴在用户小臂或手腕处的光学传感器感测反射光线，该反射光线为所述光线被手指反射后的光线；

基于所述光学传感器感测到的反射光线来生成信息或指令。

2.根据权利要求1所述的手指动作采集方法，其特征在于，所述光源和光学传感器设置在同一位置，或分开设置在不同位置。

3.根据权利要求1所述的手指动作采集方法，其特征在于，所述光线为可见光或不可见光。

4.根据权利要求1所述的手指动作采集方法，其特征在于，所述光学传感器感测到反射光线后，

识别出所述反射光线对应的用户手指上某些点的空间位置信号，其中该空间位置信号包括三维位置信号、二维位置信号和/或一维位置信号，基于该空间位置信号来生成信息或指令；

或者/和，识别出所述反射光线的光线强度信号，基于该光线强度信号来生成信息或指令；

或者/和，识别出所述反射光线对应的手指皮肤的纹理图像信号，基于该手指皮肤的纹理图像信号来生成信息或指令；

或者/和，识别出所述反射光线对应的手指皮肤的形状图像信号，基于该手指皮肤的形状图像信号来生成信息或指令。

5.根据权利要求1所述的手指动作采集方法，其特征在于，所述光学传感器感测反射光线的方法包括：采用单目摄像头、双目摄像头、多目摄像头采集、TOF摄像头或/和3D结构光摄像头采集反射光线。

6.根据权利要求1所述的手指动作采集方法，其特征在于，基于所述光学传感器感测到的反射光线来生成的信息为所述光学传感器可直接感测到的手指的信息，包括手指上某些点的空间位置信息、手指部分的形状信息、手指部分的纹理信息，该信息可用来被记录、显示在屏幕中或显示在VR场景中；

或者，基于所述光学传感器感测到的反射光线来生成的信息为整个手部的信息，包括手部动作信息和手部各个部位的位置信息，通过数据库或者机器学习算法储存手指相对于手腕的位置和手部动作之间的对应关系，通过感测手指末端的位置来获得手部动作信息，该信息可用来被记录、显示在屏幕中或显示在VR场景中。

7.根据权利要求1所述的手指动作采集方法，其特征在于，基于所述光学传感器感测到的反射光线来生成的指令包括：

离散指令、连续指令或组合指令；

其中，离散指令包括按键指令、鼠标点击指令；

连续指令包括鼠标移动；

组合指令包括鼠标的移动和点击。

8.根据权利要求1-7任一项所述的手指动作采集方法，其特征在于，所述光源和光学传感器设置在用户一侧的小臂或手腕上，且所述光学传感器感测该侧的手指的反射光线；

或者，用户的两侧的小臂或手腕上分别设置有配套使用的光源和光学传感器，且相同侧的光学传感器感测该侧的手指的反射光线；

或者，所述光源和光学传感器设置在用户一侧的小臂或手腕上，且所述光学传感器同时感测到用户该侧的手指的反射光线以及用户另一侧的手部皮肤的反射光线；

或者，所述光源和光学传感器设置在用户一侧的小臂或手腕上，且所述光源和光学传感器设置有两套，分别用于感测到用户该侧以及另一侧的手部皮肤的反射光线；

或者，用户的两侧的小臂或手腕上分别设置有配套使用的光源和光学传感器，且所述光学传感器同时感测到用户该侧以及另一侧的手部皮肤的反射光线。

9.根据权利要求1-7任一项所述的手指动作采集方法，其特征在于，还包括让用户知道其手指动作与自己原来意图的相似程度的反馈方法，该反馈方法包括视觉反馈、听觉反馈或/和触觉反馈。

10.根据权利要求9所述的手指动作采集方法，其特征在于，

所述视觉反馈包括：基于所述光学传感器感测到的反射光线来生成信号，识别该信号并在屏幕上显示一包括用户手指相对于键盘上各个按键位置的图像信息，用户使用手指做敲击键盘动作，所述光学传感器感测变化的反射光线来生成信号，持续识别该信号并在屏幕上同步显示出连续的用户手指的图像信息，当图像信息中手指敲击动作的信号与正确敲击键盘的预设信号的差值不超过一预设阈值时，屏幕上对应的键采用一种颜色显示；当图像信息中手指敲击动作的信号与正确敲击键盘的预设信号的差值超过一预设阈值时，屏幕上对应的键采用另一种颜色显示，且手指敲击动作与正确敲击键盘的预设动作的偏差方向不同时，颜色显示也不同；

所述听觉反馈包括：基于所述光学传感器感测到的反射光线来生成手指敲击动作的信号，当该手指敲击动作的信号与正确敲击键盘的预设信号的差值不超过一预设阈值时，控制声音设备发出一种提示音；当该手指敲击动作的信号与正确敲击键盘的预设信号的差值超过一预设阈值时，控制声音设备发出另一种提示音，且手指敲击动作与正确敲击键盘的预设动作的偏差方向不同时，提示音也不同；

所述触觉反馈包括：基于所述光学传感器感测到的反射光线来生成手指敲击动作的信号，当该手指敲击动作的信号与正确敲击键盘的预设信号的差值不超过一预设阈值时，控制触觉设备发出一种振动信号；当该手指敲击动作的信号与正确敲击键盘的预设信号的差值超过一预设阈值时，控制触觉设备发出另一种振动信号，且手指敲击动作与正确敲击键盘的预设动作的偏差方向不同时，振动信号也不同。

11.根据权利要求10所述的手指动作采集方法，其特征在于，

所述视觉反馈中当手指敲击动作相对于正确敲击键盘的预设动作的偏差方向分别朝向左侧、右侧、上侧、下侧时，屏幕上对应的键分别采用不同的颜色A、颜色B、颜色C、颜色D显示；

所述听觉反馈中当手指敲击动作相对于正确敲击键盘的预设动作的偏差方向分别朝向左侧、右侧、上侧、下侧时，控制声音设备分别发出不同的提示音A、提示音B、提示音C、提示音D；

所述触觉反馈中当手指敲击动作相对于正确敲击键盘的预设动作的偏差方向分别朝向左侧、右侧、上侧、下侧时，控制触觉设备分别发出不同的振动信号A、振动信号B、振动信号C、振动信号D。

12.根据权利要求1-7任一项所述的手指动作采集方法，其特征在于，还包括佩戴在用户小臂或手腕处的位置传感器、加速度传感器或速度传感器。

13.一种使用如权利要求1-12任一项所述的手指动作采集方法的手指动作采集设备，其特征在于，包括：

可佩戴在用户小臂或手腕处的壳体；

安装在壳体上且可朝向用户手指发射光线的光源；

安装在壳体上且可感测用户手指的反射光线的光学传感器。

14.根据权利要求13所述的手指动作采集设备，其特征在于，所述壳体上设置有腕带，用户通过佩戴腕带以使壳体设置在用户小臂或手腕上，且壳体位于用户小臂或手腕朝向手掌面的一侧。

Images