CN114356103A - 基于指纹图像的三维位姿增量控制方法及装置 - Google Patents
基于指纹图像的三维位姿增量控制方法及装置 Download PDFInfo
- Publication number
- CN114356103A CN114356103A CN202210114729.6A CN202210114729A CN114356103A CN 114356103 A CN114356103 A CN 114356103A CN 202210114729 A CN202210114729 A CN 202210114729A CN 114356103 A CN114356103 A CN 114356103A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- finger
- fingerprint
- pose
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 66
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000002708 enhancing effect Effects 0.000 claims abstract description 7
- 230000011664 signaling Effects 0.000 claims abstract description 7
- 230000036544 posture Effects 0.000 claims description 91
- 238000012795 verification Methods 0.000 claims description 58
- 238000006073 displacement reaction Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 3
- 206010034719 Personality change Diseases 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002789 length control Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于指纹图像的三维位姿增量控制方法及装置，其中方法包括，实时采集当前手指的指纹图像；对指纹图像进行预处理，去除背景噪声并对指纹脊线进行增强；根据邻近的若干张指纹图像预测当前手指的三维姿态变化量；将当前手指三维姿态变化量映射为输入信号，根据输入信号控制目标物体在三维空间中的位姿变化。本发明的三维位姿增量控制方法可以有效拓展现有的人机交互方式，为三维空间中的物体位姿控制提供便利。
Description
技术领域
本发明涉及人机交互领域，尤其涉及三维位姿控制问题。
背景技术
随着人机交互系统的不断发展，人与机器之间的交互方式有了不断的变化与进步。在游戏、虚拟现实(VR)、安防监控、三维设计、车辆控制、机器人控制、航天器控制等领域中，精确地对摄像机、3D模型、机械臂、汽车、飞机等这些位于三维空间的物体进行位姿控制是一个关键问题。现有技术中，直接输入三维信号的位姿控制系统较少，常用的控制输入设备为传统鼠标，通过控制鼠标在二维平面上的移动速度与位移来控制目标物体的位移与姿态变化，而控制物体的三维位姿需要将二维输入信号通过复杂的映射变为三维的控制信号。而直接使用三维控制信号对目标物体进行位姿控制更加符合人类的直观感受，同时能够进一步提高位姿控制的效率与精确程度。
在三维物体的位姿控制方面已存在一些解决方案，但是这些控制方式仍存在以下的局限性和不足：
基于2D输入信号的三维位姿控制不符合人类的直观感受，需要用户在使用前进行一定时间的练习，并且在使用过程中时刻监视物体的位姿变化以获取控制反馈；
除传统鼠标外，也出现了专门为三维位姿控制设计的3D鼠标来应对较为复杂的三维位姿控制场景，而这类设备大多需要复杂的机械结构设计，其造价也较为昂贵，不利于大面积普及。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于指纹图像的三维位姿增量控制方法，用于拓展现有的人机交互方式，为三维空间中的物体位姿控制提供便利。
本发明的第二个目的在于提出一种基于指纹图像的三维位姿增量控制装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种基于指纹图像的三维位姿增量控制方法，包括：实时采集当前手指的指纹图像；对指纹图像进行预处理，去除背景噪声并对指纹脊线进行增强；根据邻近的若干张指纹图像预测当前手指的三维姿态变化量；将所述当前手指三维姿态变化量映射为输入信号，根据输入信号控制目标物体在三维空间中的位姿变化。
本发明实施例提出的基于指纹图像的三维位姿增量控制方法，给定某交互设备上采集的某手指的指纹图像序列，能够连续预测出该手指的三维姿态变化量，并可以作为一种新型人机交互系统，用于控制现实世界或者虚拟世界中的目标物体。本发明中，首先根据邻近的2D指纹图像预测手指的三维姿态变化量，然后将这一姿态变化量作为输入信号，控制现实世界中或者虚拟世界中目标物体的位姿变化。本发明中，三维姿态控制系统的输入是邻近的2D的指纹图像，输出为当前手指的三维姿态变化量，用于控制目标物体的三维位姿变化。本发明的三维位姿增量控制系统可以有效拓展现有的人机交互方式，为三维空间中的物体位姿控制提供便利。
另外，根据本发明上述实施例的基于指纹图像的三维位姿增量控制方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，当前手指三维姿态变化量与输入信号之间的映射方式根据不同应用进行单独设计，包括：
将手指的三维姿态变化量映射为目标物体的三维姿态控制信号；
将手指姿态变化量映射为目标物体的三维位移控制信号；
将手指姿态变化量映射为目标物体的位姿控制信号，其中，混合多根手指的操作，将部分手指姿态映射为位移控制信号，另一部分映射为姿态控制信号。
进一步地，在本发明的一个实施例中，在根据输入信号控制目标物体在三维空间中的位姿变化之前，还包括：
对指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物体位姿控制；首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物体位姿控制。
进一步地，在本发明的一个实施例中，还包括：
对不同的指纹图像设置各自的角度映射函数，基于指纹识别的结果调用对应的角度映射函数。
为达上述目的，本发明第二方面实施例提出了一种基于指纹图像的三维位姿增量控制装置，包括：采集模块，用于实时采集当前手指的指纹图像；预测模块，用于对指纹图像进行预处理，去除背景噪声并对指纹脊线进行增强；预测模块，用于根据邻近的若干张指纹图像预测当前手指的三维姿态变化量；控制模块，用于将当前手指三维姿态变化量映射为输入信号，根据输入信号控制目标物体在三维空间中的位姿变化。
进一步地，在本发明的一个实施例中，控制模块还用于，将当前手指三维姿态变化量与输入信号之间的映射方式根据不同应用进行单独设计，包括：
将手指的三维姿态变化量映射为目标物体的三维姿态控制信号；
将手指姿态变化量映射为目标物体的三维位移控制信号；
将手指姿态变化量映射为目标物体的位姿控制信号，其中，混合多根手指的操作，部分手指姿态映射为位移控制信号，另一部分映射为姿态控制信号。
进一步地，在本发明的一个实施例中，控制模块还用于：
在根据输入信号控制目标物体在三维空间中的位姿变化之前，对指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物体位姿控制；首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物体位姿控制。
进一步地，在本发明的一个实施例中，控制模块还用于：
对不同的指纹图像设置各自的角度映射函数，基于指纹识别的结果调用对应的角度映射函数。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述基于指纹图像的三维位姿增量控制方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于指纹图像的三维位姿增量控制方法。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于指纹图像的三维位姿增量控制方法的流程示意图。
图2为本发明实施例所提供的一种基于指纹图像的三维位姿增量控制装置的流程示意图。
图3为本发明实施例所提供的一种基于指纹图像的三维位姿增量控制方法流程图。
图4为本发明实施例所提供的手指姿态定义示意图。
图5为本发明实施例所提供的一种控制信号曲线示意图。
图6为本发明实施例所提供的逐帧验证的三维位姿增量控制系统示意图。
图7为本发明实施例所提供的首帧验证的三维位姿增量控制系统示意图。
图8为本发明实施例所提供的基于指纹验证的自适应三维位姿增量控制系统示意图
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于指纹图像的三维位姿增量控制方法和装置。
图1为本发明实施例所提供的一种基于指纹图像的三维位姿增量控制方法的流程示意图。
如图1所示，该基于指纹图像的三维位姿增量控制方法包括以下步骤：
S1：实时采集当前手指的指纹图像；
随着指纹传感技术的不断发展，除了传统的光学指纹采集方式，在现有的各种触摸屏设备中也可以获取到指纹图像数据。指纹的脊线信息蕴含了丰富的手指姿态与形状信息，同时由于指纹图像较高的分辨率，可以观察到指纹轮廓等特征更为细致的变化，根据这类变化信息可以估计出手指的姿态变化量，将这一姿态变化量作为三维输入信号，从而可以方便、直观地对目标物体的三维位姿进行控制，例如摄像机、3D模型、机械臂、航天器等需要多自由度控制的物体。同时，基于指纹图像的手指姿态信号还可以与基于触摸屏的手势信号进行结合，进一步拓展手势操作的多样性，结合了指纹身份信息的控制系统也具有更高的安全性与个性化设置。
本发明需要实时采集指纹图像，相比于传统触摸屏设备中的电容图像，指纹图像包含有更多的手指形状以及姿态信息，并且高分辨率的图像中更容易观察到指纹脊线、轮廓等特征的变化，因此可以用于精确估计手指在三维空间中的姿态变化量。获取的指纹图像的传感技术有很多，例如光学指纹采集仪、光学屏下指纹采集仪以及超声波屏下指纹采集仪等，本发明可应用于各种指纹传感技术。由于需要根据指纹图像实时估计手指的三维姿态变化量进而控制目标物体的运动，因此需要对指纹图像数据进行实时采集，即采集指纹序列图像数据。
S2：对指纹图像进行预处理，去除背景噪声并对指纹脊线进行增强；
由于不同传感器得到的指纹图像模态与质量存在较大差异，因此需要首先对采集得到的指纹图像进行预处理，去除背景噪声并对指纹脊线进行增强。
S3：根据邻近的若干张指纹图像预测当前手指的三维姿态变化量；
根据邻近指纹图像中脊线的走向、指纹轮廓形状等特征的变化情况，可以推测出当前手指在三维空间中的姿态变化量。以下仅叙述一种典型的手指姿态变化量估计算法，以辅助对本发明中该阶段算法的理解。具体来说，本发明中根据采集得到邻近的若干张指纹图像，估计当前手指的三维姿态变化量，来作为后续的控制信号。本发明中以基于深度学习的姿态变化量估计算法为例，算法同时输入两张经过图像预处理步骤后的指纹图像，输出为预测的手指三维姿态变化量，这里所提到的手指三维姿态定义在固定在采集仪上的坐标系上，具体定义见附图4，由三个角度表示，分别为横滚角α、俯仰角β和偏航角γ。
S4：将当前手指三维姿态变化量映射为输入信号，根据输入信号控制目标物体在三维空间中的位姿变化。
进一步地，在本发明的一个实施例中，当前手指三维姿态变化量与输入信号之间的映射方式根据不同应用进行单独设计，包括：
将手指的三维姿态变化量映射为目标物体的三维姿态控制信号；
将手指姿态变化量映射为目标物体的三维位移控制信号；
将手指姿态变化量映射为目标物体的位姿控制信号，其中，混合多根手指的操作，将部分手指姿态映射为位移控制信号，另一部分映射为姿态控制信号。
根据邻近的指纹图像得到手指的三维姿态变化量ΔP＝(Δpα，Δpβ，Δpγ)后，可以将这一姿态变化量映射为三维控制信号，用来控制目标物体(例如摄像机、3D模型等)在三维空间中的位姿变化。手指三维姿态变化量与控制信号之间的映射方式可以根据具体应用的不同而进行单独设计，本发明中以三种典型的映射方式为例，对相对位姿控制系统进行说明。
将手指的三维姿态变化量映射为目标物体的三维姿态控制信号。设定Sα、Sβ和Sγ分别为对目标物体在横滚、俯仰和偏航角度上的姿态控制信号：
Sα＝g(Δpα)
Sβ＝g(Δpβ)
Sγ＝g(Δpγ)
其中，g(·)等为将手指三维姿态映射为目标物体三维姿态的控制信号函数,一种控制信号曲线的定义以附图5为例，x为手指三维姿态变化量，S为控制信号。根据映射后的姿态控制信号Sα、Sβ和Sγ，目标物体在当前位姿Q＝(qx，qy，qz，qα，qβ，qγ)的基础上进行改变得到新的位姿Q′＝(q′x，q′y，q′z，q′α，q′β，q′γ)：
(q′α，q′β，q′γ)＝R(Δpα，Δpβ，Δpγ)·(qα，qβ，qγ)
其中R(·)为姿态变化量(Δpα，Δpβ，Δpγ)所对应的旋转矩阵。
将手指姿态变化量映射为目标物体的三维位移控制信号。设定Sx、Sy和Sz分别为对目标物体在X、Y以及Z方向上的位移控制信号：
Sx＝g(Δpα)
Sy＝g(Δpβ)
Sz＝g(Δpγ)
一种控制信号曲线的定义以附图5为例，但控制信号曲线的设定可以和姿态控制信号映射不同。根据位移控制信号Sx、Sy和Sz，目标物体在当前位姿Q＝(qx，qy，qz，qα，qβ，qγ)的基础上进行改变得到新的位姿Q′＝(q′x，q′y，q′z，q′α，q′β，q′γ)：
(q′x，q′y，q′z)＝(Sx，Sy，Sz)+(qx，qy，qz)
将手指姿态变化量映射为目标物体的位姿控制信号，即混合多根手指的操作，部分手指姿态映射为位移控制信号，另一部分映射为姿态控制信号。一种典型应用场景为一根手指控制物体的三维朝向，另一根手指控制物体的三维位移。
需要注意的是，对于不同手指或者同一根手指的不同角度，映射函数的定义都可以有所不同，本发明中以简单朴素的线性映射函数g(x)＝sx为例(如附图5所示)进行说明：
当|s|＝1时，g(·)为恒等映射，将估计得到的手指三维姿态变化量直接作为被控制物体的位姿变化量；
当|s|＜1时，g(·)为压缩映射，将估计得到的手指三维姿态变化量数值缩小后作为被控制物体的位姿变化量，在这种映射方式下，大范围剧烈的手指姿态变化会使被控制物体的位姿发生小范围的变化，因此可以对物体的位姿进行更加精细的控制；
当|s|＞1时，g(·)为放大映射，将估计得到的手指三维姿态变化量数值放大后作为被控制物体的位姿变化量，在这种映射方式下，小范围的手指姿态变化会使被控制物体的位姿发生大范围的变化，因此可以对物体的位姿进行大范围、快速地粗略控制。
手指姿态与被控制物体的位姿映射关系有很多种，不需要保持名称上的一致，而是可以根据需要灵活选择映射关系。例如手指的横滚角可以映射为物体的偏航角、手指的俯仰角映射为物体的横滚角、手指的偏航角映射为物体的上下位移，甚至可以将手指的两个角度同时映射为物体的同一个角度或者同一个方向上的位移，但是使用不同精度的映射函数，从而通过一根手指实现不同精度的位姿控制。
下面对几种常见的目标物体控制应用本发明的三维位姿增量控制系统进行举例说明。对于车辆控制，可以将手指的横滚角映射为车辆的左右转向控制、俯仰角映射为加减速控制；对于摄像机控制，可以将手指的横滚角映射为摄像机的左右旋转、俯仰角映射为摄像机的上下俯仰、而偏航角映射为摄像机的焦距控制；对于四旋翼飞机控制，可以将手指的横滚角映射为飞机的左右位移、俯仰角映射为飞机的前后位移、而偏航角映射为飞机的上下位移；对于固定翼飞机控制，映射方式更为直接，可以将手指的横滚角映射为飞机的横滚控制、俯仰角映射为俯仰控制、而偏航角映射为加减速控制等。
进一步地，在本发明的一个实施例中，在根据输入信号控制目标物体在三维空间中的位姿变化之前，还包括：
对指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物体位姿控制；首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物体位姿控制。
除了上述基于手指姿态的三维位姿增量控制，还可以与基于触摸屏或基于指纹图像的手势信号相结合，进一步拓展三维控制方式的多样性。此外，也可以通过将现有的指纹识别技术与基于指纹的三维位姿增量控制系统相结合，进一步拓宽控制系统的安全性与隐私权限控制。例如在高机密性的控制系统中，仅允许合法的注册用户进行控制。下面说明两种引入指纹识别的方法。附图6是逐帧验证方式的示意图，此时每帧图像都需要经过指纹识别系统验证通过后才允许进行后续的物体位姿控制。附图7是首帧验证方式的示意图，此时仅需要对手指按下时的首帧图像进行指纹识别，验证通过后只要手指不离开控制设备，就可以持续进行后续的物体位姿控制，而手指一旦离开，则需要重新进行身份验证。
进一步地，在本发明的一个实施例中，还包括：
对不同的指纹图像设置各自的角度映射函数，基于指纹识别的结果调用对应的角度映射函数。通过将指纹识别技术与基于指纹的三维位姿增量控制进行结合，可以实现个性化的控制参数。例如，对于多个注册的指纹(不同用户的指纹或者一个用户的不同指纹)，分别设置各自的角度映射函数。基于指纹识别的结果调用对应的角度映射函数，而未注册的手指则使用默认的角度映射函数(如附图8所示)。
本发明实施例提出的基于指纹图像的三维位姿增量控制方法，给定某交互设备上采集的某手指的指纹图像序列，能够连续预测出该手指的三维姿态变化量，并可以作为一种新型人机交互系统，用于控制现实世界或者虚拟世界中的目标物体。本发明中，首先根据邻近的2D指纹图像预测手指的三维姿态变化量，然后将这一姿态变化量作为输入信号，控制现实世界中或者虚拟世界中目标物体的位姿变化。本发明中，三维姿态控制系统的输入是邻近的2D的指纹图像，输出为当前手指的三维姿态变化量，用于控制目标物体的三维位姿变化。本发明的三维位姿增量控制系统可以有效拓展现有的人机交互方式，为三维空间中的物体位姿控制提供便利。
为了实现上述实施例，本发明还提出一种基于指纹图像的三维位姿增量控制装置。
图2为本发明实施例提供的一种基于指纹图像的三维位姿增量控制装置的结构示意图。
如图2所示，该基于指纹图像的三维位姿增量控制装置包括：采集模块10，预处理模块20，预测模块30，控制模块40，其中，采集模块，用于实时采集当前手指的指纹图像；预处理模块，用于对指纹图像进行预处理，去除背景噪声并对指纹脊线进行增强；预测模块，用于根据邻近的若干张指纹图像预测当前手指的三维姿态变化量；控制模块，用于将当前手指三维姿态变化量映射为输入信号，根据输入信号控制目标物体在三维空间中的位姿变化。
进一步地，在本发明的一个实施例中，控制模块还用于，将当前手指三维姿态变化量与输入信号之间的映射方式根据不同应用进行单独设计，包括：
将手指的三维姿态变化量映射为目标物体的三维姿态控制信号；
将手指姿态变化量映射为目标物体的三维位移控制信号；
将手指姿态变化量映射为目标物体的位姿控制信号，其中，混合多根手指的操作，部分手指姿态映射为位移控制信号，另一部分映射为姿态控制信号。
进一步地，在本发明的一个实施例中，控制模块还用于：
在根据输入信号控制目标物体在三维空间中的位姿变化之前，对指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物体位姿控制；首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物体位姿控制。
进一步地，在本发明的一个实施例中，控制模块还用于：
对不同的指纹图像设置各自的角度映射函数，基于指纹识别的结果调用对应的角度映射函数。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述基于指纹图像的三维位姿增量控制方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于指纹图像的三维位姿增量控制方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于指纹图像的三维位姿增量控制方法，其特征在于，包括以下步骤：
实时采集当前手指的指纹图像；
对所述指纹图像进行预处理，去除背景噪声并对指纹脊线进行增强；
根据邻近的若干张指纹图像预测所述当前手指的三维姿态变化量；
将所述当前手指三维姿态变化量映射为输入信号，根据所述输入信号控制目标物体在三维空间中的位姿变化。
2.根据权利要求1所述的方法，其特征在于，所述当前手指三维姿态变化量与输入信号之间的映射方式根据不同应用进行单独设计，包括：
将手指的三维姿态变化量映射为目标物体的三维姿态控制信号；
将手指姿态变化量映射为目标物体的三维位移控制信号；
将手指姿态变化量映射为目标物体的位姿控制信号，其中，混合多根手指的操作，将部分手指姿态映射为位移控制信号，另一部分映射为姿态控制信号。
3.根据权利要求1所述的方法，其特征在于，在根据所述输入信号控制目标物体在三维空间中的位姿变化之前，还包括：
对所述指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，所述逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物体位姿控制；所述首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物体位姿控制。
4.根据权利要求1或3所述的方法，其特征在于，还包括：
对不同的指纹图像设置各自的角度映射函数，基于所述指纹识别的结果调用对应的角度映射函数。
5.一种基于指纹图像的三维位姿增量控制装置，其特征在于，包括：
采集模块，用于实时采集当前手指的指纹图像；
预处理模块，用于对所述指纹图像进行预处理，去除背景噪声并对指纹脊线进行增强；
预测模块，用于根据邻近的若干张指纹图像预测所述当前手指的三维姿态变化量；
控制模块，用于将所述当前手指三维姿态变化量映射为输入信号，根据所述输入信号控制目标物体在三维空间中的位姿变化。
6.根据权利要求5所述的装置，其特征在于，所述控制模块，还用于，将当前手指三维姿态变化量与输入信号之间的映射方式根据不同应用进行单独设计，包括：
将手指的三维姿态变化量映射为目标物体的三维姿态控制信号；
将手指姿态变化量映射为目标物体的三维位移控制信号；
将手指姿态变化量映射为目标物体的位姿控制信号，其中，混合多根手指的操作，部分手指姿态映射为位移控制信号，另一部分映射为姿态控制信号。
7.根据权利要求5所述的装置，其特征在于，所述控制模块，还用于：
在根据所述输入信号控制目标物体在三维空间中的位姿变化之前，对所述指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，所述逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物体位姿控制；所述首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物体位姿控制。
8.根据权利要求5所述的装置，其特征在于，所述控制模块，还用于：
对不同的指纹图像设置各自的角度映射函数，基于所述指纹识别的结果调用对应的角度映射函数。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4中任一所述的基于指纹图像的三维位姿增量控制方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任意一项所述的基于指纹图像的三维位姿增量控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114729.6A CN114356103A (zh) | 2022-01-30 | 2022-01-30 | 基于指纹图像的三维位姿增量控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114729.6A CN114356103A (zh) | 2022-01-30 | 2022-01-30 | 基于指纹图像的三维位姿增量控制方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114356103A true CN114356103A (zh) | 2022-04-15 |
Family
ID=81093287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210114729.6A Pending CN114356103A (zh) | 2022-01-30 | 2022-01-30 | 基于指纹图像的三维位姿增量控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114356103A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010036299A1 (en) * | 1998-05-15 | 2001-11-01 | Andrew William Senior | Combined fingerprint acquisition and control device |
| CN106066991A (zh) * | 2015-04-23 | 2016-11-02 | 三星电子株式会社 | 指纹验证方法和设备 |
| CN106462348A (zh) * | 2015-03-31 | 2017-02-22 | 华为技术有限公司 | 设备的可调参数的调整方法和设备 |
| CN106547338A (zh) * | 2015-09-22 | 2017-03-29 | 小米科技有限责任公司 | 指令生成方法及装置 |
| CN111695386A (zh) * | 2019-03-15 | 2020-09-22 | 虹软科技股份有限公司 | 一种指纹图像增强、指纹识别和应用程序启动方法 |
| CN113569638A (zh) * | 2021-06-24 | 2021-10-29 | 清华大学 | 由平面指纹估计手指三维姿态的方法和装置 |
-
2022
- 2022-01-30 CN CN202210114729.6A patent/CN114356103A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010036299A1 (en) * | 1998-05-15 | 2001-11-01 | Andrew William Senior | Combined fingerprint acquisition and control device |
| CN106462348A (zh) * | 2015-03-31 | 2017-02-22 | 华为技术有限公司 | 设备的可调参数的调整方法和设备 |
| CN106066991A (zh) * | 2015-04-23 | 2016-11-02 | 三星电子株式会社 | 指纹验证方法和设备 |
| CN106547338A (zh) * | 2015-09-22 | 2017-03-29 | 小米科技有限责任公司 | 指令生成方法及装置 |
| CN111695386A (zh) * | 2019-03-15 | 2020-09-22 | 虹软科技股份有限公司 | 一种指纹图像增强、指纹识别和应用程序启动方法 |
| CN113569638A (zh) * | 2021-06-24 | 2021-10-29 | 清华大学 | 由平面指纹估计手指三维姿态的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jadooki et al. | Fused features mining for depth-based hand gesture recognition to classify blind human communication | |
| EP3629129A1 (en) | Method and apparatus of interactive display based on gesture recognition | |
| KR101907077B1 (ko) | 자세 인식 방법 및 장치 | |
| CN107430776B (zh) | 模板制作装置和模板制作方法 | |
| WO2023000119A1 (zh) | 手势识别方法、装置、系统及车辆 | |
| CN112750198B (zh) | 一种基于非刚性点云的稠密对应预测方法 | |
| CN105929947B (zh) | 一种基于场景态势感知的人机交互方法 | |
| CN111062263A (zh) | 手部姿态估计的方法、设备、计算机设备和存储介质 | |
| CN111566700B (zh) | 用于借助多任务学习确定对象在对象的周围环境中的姿势的方法和控制设备 | |
| Palleja et al. | Implementation of a robust absolute virtual head mouse combining face detection, template matching and optical flow algorithms | |
| CN114663488A (zh) | 一种基于深度学习的火箭助推器分离运动参数测量方法 | |
| CN114066984A (zh) | 基于二维关键点的三维姿态分类方法以及相关装置 | |
| WO2021167189A1 (ko) | 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치 | |
| CN114356103A (zh) | 基于指纹图像的三维位姿增量控制方法及装置 | |
| Dai et al. | Federated filter algorithm with positioning technique based on 3D sensor | |
| CN116909393A (zh) | 基于手势识别的虚拟现实输入系统 | |
| CN109214295B (zh) | 基于Kinect v2和Leap Motion的数据融合的手势识别方法 | |
| Zhang et al. | Self-calibrating gaze estimation with optical axes projection for head-mounted eye tracking | |
| CN114356102A (zh) | 基于指纹图像的三维物体绝对姿态控制方法及装置 | |
| CN114625244A (zh) | 基于指纹图像的三维物体相对位姿控制方法及装置 | |
| Stark et al. | Video based gesture recognition for human computer interaction | |
| CN116079727A (zh) | 基于3d人体姿态估计的人形机器人动作模仿方法及装置 | |
| CN112129272B (zh) | 视觉里程计的实现方法和实现装置 | |
| Lee | Implementation of an interactive interview system using hand gesture recognition | |
| Maidi et al. | Interactive media control using natural interaction-based Kinect |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |