CN114578989A - 基于指纹变形的人机交互方法和装置 - Google Patents
基于指纹变形的人机交互方法和装置 Download PDFInfo
- Publication number
- CN114578989A CN114578989A CN202210053627.8A CN202210053627A CN114578989A CN 114578989 A CN114578989 A CN 114578989A CN 202210053627 A CN202210053627 A CN 202210053627A CN 114578989 A CN114578989 A CN 114578989A
- Authority
- CN
- China
- Prior art keywords
- finger
- fingerprint
- displacement
- information
- sliding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002452 interceptive effect Effects 0.000 claims abstract description 5
- 238000006073 displacement reaction Methods 0.000 claims description 65
- 230000036961 partial effect Effects 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 14
- 230000035945 sensitivity Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000005057 finger movement Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007474 system interaction Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Abstract
本申请提出了一种基于指纹变形的人机交互方法，涉及人机交互技术领域，其中，该方法包括：采集指纹图像序列；提取指纹图像序列中相邻两帧的指纹图像的特征点，对相邻两帧的指纹图像的特征点进行匹配以获取对应的指纹变形信息；根据指纹变形信息生成对应的控制指令，并根据控制指令进行交互控制。采用上述方案的本申请实现对手指输入的精准控制，以及对传统交互方式的拓展。
Description
技术领域
本申请涉及人机交互技术领域，尤其涉及基于指纹变形的人机交互方法和装置。
背景技术
随着智能电子设备性能的提升和生产工艺的进步，触控输入设备已经广泛应用于各类消费电子产品中，如笔记本电脑、智能手机、智能手表及虚拟现实(VR)设备等。传统的触控输入设备通过低分辨率的电容图像确定手指与传感器的接触点，依据接触点位置的变化移动光标，或识别手势操作。然而由于手指表面易变形，与传感器接触面变化大，使得接触点位置判断存在误差，导致手指触控精度降低。另一方面，出于对以上产品易用性的考虑，触控输入设备往往面积较小，用户需要在传感器上多次滑动手指，才能将光标或画面移动到特定位置，降低了操作效率。另外，传统触控输入设备生成的电容图像分辨率低，包含的信息有限，往往只用来确定接触点位置坐标，极大的限制了交互方式。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于指纹变形的人机交互方法，实现对手指输入的精准控制，以及对传统交互方式的拓展。
本申请的第二个目的在于提出一种基于指纹变形的人机交互装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种基于指纹变形的人机交互方法，包括：采集指纹图像序列；提取指纹图像序列中相邻两帧的指纹图像的特征点，对相邻两帧的指纹图像的特征点进行匹配以获取对应的指纹变形信息；根据指纹变形信息生成对应的控制指令，并根据控制指令进行交互控制。
本申请实施例的基于指纹变形的人机交互方法，通过传感器可以收集到指纹的详细变形信息，并利用算法据此计算出相对位移、变形区域占比等信息，进而确定手指动作，完成系统交互。因为使用指纹图像作为输入，在进行人机交互的同时，可以完成用户身份识别，提高系统安全性，并可对不同用户、不同手指提供不同操作权限或交互方式。
可选地，在本申请的一个实施例中，指纹变形信息包括手指局部位移信息、手指整体位移信息、手指旋转角度和手指动作分类中的一种或者多种，对相邻两帧的指纹图像的特征点进行匹配以获取对应的指纹变形信息，包括：
获取相邻两帧的指纹图像的特征点中匹配点对的相对位移，根据匹配点对的相对位移计算手指局部位移信息和/或手指整体位移信息；
获取相邻两帧的指纹图像的特征点中匹配点对的旋转角度，根据匹配点对的旋转角度计算手指旋转角度；
根据手指局部位移信息和/或手指整体位移信息，以及手指旋转角度确定手指动作分类。
可选地，在本申请的一个实施例中，手指动作分类包括手指局部滑动或手指整体滑动，根据指纹变形信息生成对应的控制指令，包括：
根据手指动作分类确定对应的灵敏度；
根据灵敏度确定光标控制参数，根据光标控制参数控制光标的移动位置。
可选地，在本申请的一个实施例中，还包括：
根据手指局部位移信息获取手指局部滑动的位移量；
根据手指局部滑动的位移量确定光标控制参数，根据光标控制参数控制光标的移动方向和移动速度。
可选地，在本申请的一个实施例中，还包括：
当手指动作分类为手指局部滑动时，触发转盘菜单开启，根据手指局部位移信息获取手指局部滑动的位移量，根据手指局部滑动的位移量控制光标指向转盘菜单上的目标对象，并触发目标对象对应的次级菜单；
获取手指旋转角度，根据手指旋转角度控制次级菜单上的操作旋钮旋转至对应的操作选项。
可选地，在本申请的一个实施例中，还包括：
根据手指局部位移信息获取手指局部滑动的位移量；
根据手指局部滑动的位移量确定手指局部滑动的方向，根据手指局部滑动的方向获取对应的选择操作，其中，不同的滑动方向对应不同的选择操作。
可选地，在本申请的一个实施例中，还包括：
当手指动作分类为手指局部滑动时，触发对拖动对象的拖动操作，根据手指局部滑动的位移量确定拖动距离和拖动方向，根据拖动距离和拖动方向对拖动对象进行拖动操作。
可选地，在本申请的一个实施例中，还包括：
获取至少两个手指中每个手指的手指局部滑动的位移量，根据每个手指的手指局部滑动的位移量确定每个手指对应的抓取力度，根据每个手指对应的抓取力度实现对三维物体的抓取操作。
可选地，在本申请的一个实施例中，还包括：
获取两个手指中每个手指的位移量和旋转角度，根据每个手指的不同方向的位移量和旋转角度控制物体的位姿；
获取至少一个手指指纹信息与预存储的指纹信息进行匹配，若匹配成功，提供对应的自定义操作方式；
获取至少一个手指指纹信息与预存储的指纹信息进行匹配，根据匹配结果得到权限等级，之后根据权限等级提供不同的交互方式。
为达上述目的，本申请第二方面实施例提出了一种基于指纹变形的人机交互装置，包括采集模块、获取模块、交互控制模块，其中，
采集模块，用于采集指纹图像序列；
获取模块，用于提取指纹图像序列中相邻两帧的指纹图像的特征点，对相邻两帧的指纹图像的特征点进行匹配以获取对应的指纹变形信息；
交互控制模块，用于根据指纹变形信息生成对应的控制指令，并根据控制指令进行交互控制。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例的手指按压指纹扭曲示例图；
图2为本申请实施例一所提供的一种基于指纹变形的人机交互方法的流程示意图；
图3为本申请实施例的指纹图像相邻帧特征点匹配示例图；
图4为本申请实施例的多级转盘菜单交互示例图；
图5为本申请实施例的自定义手势操作示例图；
图6为本申请实施例的调色板示例图；
图7为本申请实施例的画笔粗细选择示例图；
图8为本申请实施例的根据用户身份提供服务示例图；
图9为本申请实施例的完整流程图；
图10为本申请实施例提供的一种基于指纹变形的人机交互装置的结构示意图；
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
随着对指纹变形研究的不断深入，研究者发现在按压手指的同时施加平行于传感器表面的力，手指会产生局部滑动，接触面的边缘位置首先产生变形。随着力度的增加，变形区域的面积增加，直到手指出现整体滑动。如图1所示，图中椭圆形区域为手指向上滑动过程中不产生变形的中心区域。根据此特性，提出本申请的基于指纹变形的人机交互方法，使用传感器收集到指纹的详细变形信息，并利用算法据此计算出相对位移、变形区域占比等信息，进而确定手指动作，完成系统交互。
本申请实施例使用的符号说明
X、Y：X、Y方向的坐标；
ΔX、ΔY：X、Y方向的匹配点位移量；
dX、dY：X、Y方向的指纹整体位移量；
θ：手指旋转角度；
Dx、Dy：X、Y方向的光标位移量；
Vx、Vy：X、Y方向的移动速度；
α、β：手指滑动类型：整体滑动、局部滑动；
Sα、Sβ：整体滑动、局部滑动的光标灵敏度。
下面参考附图描述本申请实施例的基于指纹变形的人机交互方法和装置。
图2为本申请实施例一所提供的一种基于指纹变形的人机交互方法的流程示意图。
如图2所示，该基于指纹变形的人机交互方法包括以下步骤：
步骤201，采集指纹图像序列；
步骤202，提取指纹图像序列中相邻两帧的指纹图像的特征点，对相邻两帧的指纹图像的特征点进行匹配以获取对应的指纹变形信息；
步骤203，根据指纹变形信息生成对应的控制指令，并根据控制指令进行交互控制。
本申请实施例的基于指纹变形的人机交互方法，分为三个阶段，分别为指纹图像采集、获取指纹变形信息和交互控制。在指纹图像采集阶段，需要从指纹传感器中实时获取指纹图像。在获取指纹变形信息阶段，根据指纹序列图像计算指纹变形，进行手指动作分类。在交互控制阶段，根据不同场景和需求，提供不同的人机交互方式。因为使用指纹图像作为输入，在进行人机交互的同时，可以完成用户身份识别，提高系统安全性，并可对不同用户、不同手指提供不同操作权限或交互方式。
进一步地，在本申请实施例中，指纹图像采集阶段：
相比传统触控设备使用的低像素电容图像，指纹图像包含丰富的整体形状及局部细节信息，因此可以用来精确计算指纹变形信息。指纹图像可由指纹传感器获取，常见的指纹传感器有：光学指纹传感器、电容指纹传感器及超声波指纹传感器等。各种指纹传感器均可用于为本申请提供指纹图像。人机交互具有连续性和实时性的特点，因此本申请需要实时获取连续的指纹图像。
获取指纹变形信息阶段：指纹变形信息包括手指局部和整体的位移、旋转角度及动作分类等。本申请不包含以上信息的提取方法(已在部分文献有描述)，以下仅叙述一种典型的算法，以辅助对本申请中该阶段算法的理解：
由于指纹图像变化的连续性，相邻帧之间的相对变形较小，可以使用特征点检测算法得到许多特征点，利用特征描述算法得到特征点的特征描述，并通过相邻帧特征点的匹配得到如图3所示的对应的匹配点对。特征点的定义很多，包括普通采样点、角点、斑点、线的端点、线的分叉点等。这些特征点相应的检测技术也非常多。特征点描述方面的技术也很多，包括图像灰度、图像梯度、SIFT、SURF、ORB、LBP等；特征点匹配方面的技术也存在很多，例如图匹配、谱聚类等。以上这些技术的组合都可以用于计算匹配点。
通过计算匹配点对的相对位移Δx、Δy，可以得到图像整体和局部的位移。同时，根据相邻帧图像的匹配点可以得到图像整体的旋转角度θ。进而可以将手指动作分为不动、局部滑动、整体滑动、旋转等。
根据获取指纹变形信息阶段中计算出的指纹位移量、旋转角度和手指动作，本申请设计了多种交互方式：
具体地，在本申请实施例中，上述交互方式包括双灵敏度等级的光标控制：
传统的触控交互方式均使用单一光标灵敏度，使用小面积触控输入设备时，若使用高灵敏度，会导致用户难以将光标准确指向小目标；若使用低灵敏度，则需要用户进行多次滑动操作来进行大范围光标移动。本申请为手指的局部滑动和整体滑动分配不同的灵敏度Sα、Sβ，同时提高了控制速度和控制精度：
Dx，α＝Sα×dx
Dy，α＝Sα×dy
Dx，β＝Sβ×dx
Dy，β＝Sβ×dy
用户先使用整体滑动将光标大范围移动到目标区域，再使用局部滑动精确控制光标指向小目标。
具体地，在本申请实施例中，上述交互方式还包括模拟摇杆：
传统摇杆依靠机械结构实现对输入的控制，随着内部结构的磨损，常常出现故障。本申请提出了一种通过指纹变形模拟摇杆的操作方式，使用指纹传感器取代机械摇杆，在保持控制精度的基础上，简化结构，降低故障率。通过X、Y方向的指纹局部滑动的位移量，模拟推动摇杆的方向和距离，映射到系统中的光标或视角移动速度：
Vx，β＝Sβ×dx
Vy，β＝Sβ×dy
具体地，在本申请实施例中，上述交互方式还包括快捷菜单：
在人机交互中，经常用到菜单操作。电脑和手机中的菜单一般通过页面顶部的菜单栏、点击右键、或长按屏幕调出，再通过依次点击不同条目完成操作。本申请提出一种可自定义项目的快捷菜单，在减少操作步骤的基础上，增加自由度。当系统检测到手指移动类型为部分移动时，打开转盘菜单，使用指纹位移量dx、dy控制指针，当指针指向相应选项时，打开次级菜单。当次级菜单支持旋钮操作时(亮度、音量、温度等数字的调节)，旋转手指可实现连续变化的调整(见图4)，另外，该菜单在绘画程序中可自定义为调色板(见图5)。
具体地，在本申请实施例中，上述交互方式还包括自定义手势操作：
在传统手势操作的基础上，本申请设计了一种基于局部滑动的可自定义手势操作。相比菜单操作，不需要移动光标并连续点击菜单，减少了误操作，提高了效率。通过指纹位移量dx、dy，可计算出指纹位移方向，出于易用性及减少误操作的考虑，将移动方向分为上下左右4类。用户可以根据需求和场景自定义4种手势操作，例如在编辑文档时：向上滑动进行复制，向下滑动进行粘贴，向右滑动进行文字选择，向左滑动进行删除。(见图6)另外，在使用绘画程序时，可通过上下滑动选择画笔类型，左右滑动选择画笔粗细(见图7)。
具体地，在本申请实施例中，上述交互方式还包括拖动操作：
使用笔记本电脑触控板进行文件拖动操作时，需要多个手指同时在触控板上滑动，需要大面积的触控板；在手机中拖动文件时，一般需要长按图标来触发移动。利用手指变形来操作文件移动时，既可以实现小面积传感器上的操作，又保证了操作的流畅性。当系统检测到手指移动类型为部分移动时，触发拖动操作，指纹位移量dx、dy控制拖动距离，松开手指时停止拖动。拖动操作可用于移动文件、移动图标、拖动网页以及拖动地图等。
具体地，在本申请实施例中，上述交互方式还包括多指操作：
一般移动设备中使用的压力传感器在多指操作中无法区分每个手指的用力。本申请支持多手指同时进行交互。当用户使用多个手指同时操作时，系统会对每个手指单独进行位移量计算。例如，在虚拟现实(VR)中控制三维物体，进行抓取操作时，位移量可映射为抓取力度，实现对三维物体的精确控制。
具体地，在本申请实施例中，上述交互方式还包括：
2D、3D物体位姿控制：
2D、3D物体位姿控制一般通过键盘、鼠标或者手指移动的二维信号输入控制。此种操作方式不符合人类的直观感受，操作精准程度低。本申请通过使用指纹变形的X、Y方向位移量和整体旋转角度，可实现3个自由度的精准控制。例如：在2D地图中，X、Y方向位移量控制地图上下左右的平移，旋转角度控制地图方位的旋转。在控制3D物体时，X、Y方向位量移和旋转角度分别控制物体沿X、Y、Z轴的旋转。通过组合两个手指(例如左手食指和右手食指)的变形信息，可以进行6自由度的控制。
根据用户习惯提供个性化操作：
因为本申请使用指纹图像作为输入，在实现各种人机交互方式的同时，可以对用户进行身份识别，用户可以根据习惯自定义操作方式。例如：调整光标灵敏度Sα、Sβ，自定义手势操作等。系统根据用户身份自动调用其设置。用户还可以对不同的手指采取不同的灵敏度设置(见图8)。
根据用户权限提供操作方式：
系统可以设定为根据不同用户权限提供不同交互方式。在对用户身份进行识别后，可以阻止未注册用户进行任何操作、允许特定用户进行查看操作、允许特定用户进行查看及修改操作等。以此提高系统安全性(见图8)。
除上述交互方式外，使用获取指纹变形信息阶段中计算出的指纹位移量和手指动作，可以根据需求设计其他交互方式。
本申请的基于指纹变形的人机交互的完整流程如图9所示，包括采集指纹图像，提取图像特征点、相邻帧特征点匹配、计算相对位移，手指动作分类，交互控制，本申请的方法用于人机交互的触控输入设备，如笔记本电脑触控板、控制手柄中的触控板、智能手机及智能手表的屏幕等，受限于较小的触控面积，导致控制精度不高且交互方式有限，影响了用户的使用效率和使用体验，本申请的方法可以显著提高用户在上述设备上进行人机交互的效率，并提升用户体验满意度。
为了实现上述实施例，本申请还提出一种基于指纹变形的人机交互装置，
图10为本申请实施例提供的一种基于指纹变形的人机交互装置的结构示意图。
如图10所示，该基于指纹变形的人机交互装置包括：采集模块、获取模块、交互控制模块，其中，
采集模块，用于采集指纹图像序列；
获取模块，用于提取指纹图像序列中相邻两帧的指纹图像的特征点，对相邻两帧的指纹图像的特征点进行匹配以获取对应的指纹变形信息；
交互控制模块，用于根据指纹变形信息生成对应的控制指令，并根据控制指令进行交互控制。
需要说明的是，前述对基于指纹变形的人机交互方法实施例的解释说明也适用于该实施例的基于指纹变形的人机交互装置，此处不再赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于指纹变形的人机交互方法，其特征在于，包括以下步骤：
采集指纹图像序列；
提取所述指纹图像序列中相邻两帧的指纹图像的特征点，对所述相邻两帧的指纹图像的特征点进行匹配以获取对应的指纹变形信息；
根据所述指纹变形信息生成对应的控制指令，并根据所述控制指令进行交互控制。
2.如权利要求1所述的方法，其特征在于，所述指纹变形信息包括手指局部位移信息、手指整体位移信息、手指旋转角度和手指动作分类中的一种或者多种，对所述相邻两帧的指纹图像的特征点进行匹配以获取对应的指纹变形信息，包括：
获取所述相邻两帧的指纹图像的特征点中匹配点对的相对位移，根据所述匹配点对的相对位移计算所述手指局部位移信息和/或所述手指整体位移信息；
获取所述相邻两帧的指纹图像的特征点中匹配点对的旋转角度，根据所述匹配点对的旋转角度计算所述手指旋转角度；
根据所述手指局部位移信息和/或所述手指整体位移信息，以及所述手指旋转角度确定所述手指动作分类。
3.如权利要求2所述的方法，其特征在于，所述手指动作分类包括手指局部滑动或手指整体滑动，根据所述指纹变形信息生成对应的控制指令，包括：
根据所述手指动作分类确定对应的灵敏度；
根据所述灵敏度确定光标控制参数，根据所述光标控制参数控制光标的移动位置。
4.如权利要求3所述的方法，其特征在于，还包括：
根据所述手指局部位移信息获取所述手指局部滑动的位移量；
根据所述手指局部滑动的位移量确定所述光标控制参数，根据所述光标控制参数控制光标的移动方向和移动速度。
5.如权利要求3所述的方法，其特征在于，还包括：
当所述手指动作分类为手指局部滑动时，触发转盘菜单开启，根据所述手指局部位移信息获取所述手指局部滑动的位移量，根据所述手指局部滑动的位移量控制光标指向所述转盘菜单上的目标对象，并触发所述目标对象对应的次级菜单；
获取手指旋转角度，根据所述手指旋转角度控制所述次级菜单上的操作旋钮旋转至对应的操作选项。
6.如权利要求3所述的方法，其特征在于，还包括：
根据所述手指局部位移信息获取所述手指局部滑动的位移量；
根据所述手指局部滑动的位移量确定手指局部滑动的方向，根据所述手指局部滑动的方向获取对应的选择操作，其中，不同的滑动方向对应不同的选择操作。
7.如权利要求3所述的方法，其特征在于，还包括：
当所述手指动作分类为手指局部滑动时，触发对拖动对象的拖动操作，根据手指局部滑动的位移量确定拖动距离和拖动方向，根据所述拖动距离和拖动方向对所述拖动对象进行拖动操作。
8.如权利要求3所述的方法，其特征在于，还包括：
获取至少两个手指中每个手指的手指局部滑动的位移量，根据每个手指的手指局部滑动的位移量确定每个手指对应的抓取力度，根据所述每个手指对应的抓取力度实现对三维物体的抓取操作。
9.如权利要求3所述的方法，其特征在于，还包括：
获取两个手指中每个手指的位移量和旋转角度，根据每个手指的不同方向的位移量和旋转角度控制物体的位姿；
获取至少一个手指指纹信息与预存储的指纹信息进行匹配，若匹配成功，提供对应的自定义操作方式；
获取至少一个手指指纹信息与预存储的指纹信息进行匹配，根据匹配结果得到权限等级，之后根据权限等级提供不同的交互方式。
10.一种基于指纹变形的人机交互装置，其特征在于，包括采集模块、获取模块、交互控制模块，其中，
所述采集模块，用于采集指纹图像序列；
所述获取模块，用于提取所述指纹图像序列中相邻两帧的指纹图像的特征点，对所述相邻两帧的指纹图像的特征点进行匹配以获取对应的指纹变形信息；
所述交互控制模块，用于根据所述指纹变形信息生成对应的控制指令，并根据所述控制指令进行交互控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210053627.8A CN114578989A (zh) | 2022-01-18 | 2022-01-18 | 基于指纹变形的人机交互方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210053627.8A CN114578989A (zh) | 2022-01-18 | 2022-01-18 | 基于指纹变形的人机交互方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114578989A true CN114578989A (zh) | 2022-06-03 |
Family
ID=81772773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210053627.8A Pending CN114578989A (zh) | 2022-01-18 | 2022-01-18 | 基于指纹变形的人机交互方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114578989A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1694118A (zh) * | 2005-05-26 | 2005-11-09 | 上海交通大学 | 扩展相位相关的滑动指纹序列无缝拼接方法 |
| KR20060134547A (ko) * | 2005-06-23 | 2006-12-28 | 엘지전자 주식회사 | 지문 인식 장치 및 방법 |
| CN103679122A (zh) * | 2012-09-18 | 2014-03-26 | 成都方程式电子有限公司 | 基于图像灰度信息进行手指检测实现架构 |
| CN105468195A (zh) * | 2015-11-17 | 2016-04-06 | 中国联合网络通信集团有限公司 | 一种实现人机交互的方法及装置 |
| CN106020671A (zh) * | 2016-05-27 | 2016-10-12 | 努比亚技术有限公司 | 指纹传感器响应灵敏度的调节方法和装置 |
| CN106462348A (zh) * | 2015-03-31 | 2017-02-22 | 华为技术有限公司 | 设备的可调参数的调整方法和设备 |
| CN106547338A (zh) * | 2015-09-22 | 2017-03-29 | 小米科技有限责任公司 | 指令生成方法及装置 |
| CN107894861A (zh) * | 2017-10-31 | 2018-04-10 | 广州视源电子科技股份有限公司 | 触摸屏控制方法及装置、智能终端 |
| CN110705481A (zh) * | 2019-10-08 | 2020-01-17 | Oppo广东移动通信有限公司 | 一种光学指纹防伪方法、装置及计算机可读存储介质 |
| CN111338489A (zh) * | 2020-02-21 | 2020-06-26 | 维沃移动通信有限公司 | 参数调整方法、电子设备 |
-
2022
- 2022-01-18 CN CN202210053627.8A patent/CN114578989A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1694118A (zh) * | 2005-05-26 | 2005-11-09 | 上海交通大学 | 扩展相位相关的滑动指纹序列无缝拼接方法 |
| KR20060134547A (ko) * | 2005-06-23 | 2006-12-28 | 엘지전자 주식회사 | 지문 인식 장치 및 방법 |
| CN103679122A (zh) * | 2012-09-18 | 2014-03-26 | 成都方程式电子有限公司 | 基于图像灰度信息进行手指检测实现架构 |
| CN106462348A (zh) * | 2015-03-31 | 2017-02-22 | 华为技术有限公司 | 设备的可调参数的调整方法和设备 |
| CN106547338A (zh) * | 2015-09-22 | 2017-03-29 | 小米科技有限责任公司 | 指令生成方法及装置 |
| CN105468195A (zh) * | 2015-11-17 | 2016-04-06 | 中国联合网络通信集团有限公司 | 一种实现人机交互的方法及装置 |
| CN106020671A (zh) * | 2016-05-27 | 2016-10-12 | 努比亚技术有限公司 | 指纹传感器响应灵敏度的调节方法和装置 |
| CN107894861A (zh) * | 2017-10-31 | 2018-04-10 | 广州视源电子科技股份有限公司 | 触摸屏控制方法及装置、智能终端 |
| CN110705481A (zh) * | 2019-10-08 | 2020-01-17 | Oppo广东移动通信有限公司 | 一种光学指纹防伪方法、装置及计算机可读存储介质 |
| CN111338489A (zh) * | 2020-02-21 | 2020-06-26 | 维沃移动通信有限公司 | 参数调整方法、电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 陈小光，封举富: "基于稳定区域的形变指纹匹配算法", 中国图像图形学报, vol. 15, no. 8, 16 August 2010 (2010-08-16), pages 1220 - 1229 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180059928A1 (en) | Detecting and interpreting real-world and security gestures on touch and hover sensitive devices | |
| US8115732B2 (en) | Virtual controller for visual displays | |
| EP1774429B1 (en) | Gestures for touch sensitive input devices | |
| US9348458B2 (en) | Gestures for touch sensitive input devices | |
| US20110227947A1 (en) | Multi-Touch User Interface Interaction | |
| CN112488059B (zh) | 一种基于深度学习模型级联的空间手势控制方法 | |
| CN114578989A (zh) | 基于指纹变形的人机交互方法和装置 | |
| WO2021223536A1 (en) | Using a touch input tool to modify content rendered on touchscreen displays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |