CN113867540A - 指尖点击位置检测方法及装置 - Google Patents

指尖点击位置检测方法及装置 Download PDF

Info

Publication number
CN113867540A
CN113867540A CN202111217525.7A CN202111217525A CN113867540A CN 113867540 A CN113867540 A CN 113867540A CN 202111217525 A CN202111217525 A CN 202111217525A CN 113867540 A CN113867540 A CN 113867540A
Authority
CN
China
Prior art keywords
fingertip
click
current
image
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111217525.7A
Other languages
English (en)
Inventor
姚凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202111217525.7A priority Critical patent/CN113867540A/zh
Publication of CN113867540A publication Critical patent/CN113867540A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种指尖点击位置检测方法及装置，该指尖点击位置检测方法包括：获取当前指尖点击图像；基于所述当前指尖点击图像，确定当前指尖位置以及定位置信度；基于所述当前指尖位置、历史指尖位置以及所述定位置信度，确定指尖有效点击位置，所述历史指尖位置为基于历史指尖点击图像确定的。本发明提供的指尖点击位置检测方法及装置，通过获取当前指尖点击图像，并从当前指尖点击图像中识别出当前指尖位置和定位置信度，通过当前指尖位置、历史指尖位置和定位置信度，确定指尖有效点击位置，能够在缺失触摸屏的场景下实现对指尖位置的检测，扩大指尖交互的应用场景，降低数据处理功耗。

Description

指尖点击位置检测方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种指尖点击位置检测方法及装置。
背景技术
随着计算机技术的发展，人机交互过程在各种各样的设备上都得到了广泛应用，指尖点击是人机交互的一种形式，用户可以通过指尖点击设备的目标面板，设备能够对用户的点击操作进行响应，那么对用户的指尖点击位置进行检测就是这种人机交互过程中的重要一环。
目前，对用户的指尖点击位置进行检测的方式往往是通过设备的触摸屏内置的触摸检测传感器识别到的，这种方式计算量较大，能耗较高，设备发热较大，而且在某些缺失触摸屏的场景下就无法检测，对应用场景的限制较大。
发明内容
本发明提供一种指尖点击位置检测方法及装置，用以解决现有技术中计算量较大，能耗较高，设备发热较大，而且在某些缺失触摸屏的场景下就无法检测，对应用场景的限制较大的缺陷，实现在缺失触摸屏的场景下实现对指尖位置的检测，扩大指尖交互的应用场景，降低数据处理功耗。
本发明提供一种指尖点击位置检测方法，该指尖点击位置检测方法包括：获取当前指尖点击图像；基于所述当前指尖点击图像，确定当前指尖位置以及定位置信度；基于所述当前指尖位置、历史指尖位置以及所述定位置信度，确定指尖有效点击位置，所述历史指尖位置为基于历史指尖点击图像确定的。
根据本发明提供的一种指尖点击位置检测方法，所述基于所述当前指尖位置、历史指尖位置以及所述定位置信度，确定指尖有效点击位置，包括：基于所述当前指尖位置与所述历史指尖位置的比较结果、所述定位置信度与置信度阈值的比较结果、以及所述当前指尖位置与有效位置范围的比较结果，确定所述指尖有效点击位置。
根据本发明提供的一种指尖点击位置检测方法，所述基于所述当前指尖位置与所述历史指尖位置的比较结果、所述定位置信度与置信度阈值的比较结果、以及所述当前指尖位置与有效位置范围的比较结果，确定所述指尖有效点击位置，包括：确认所述定位置信度大于所述置信度阈值，则确定所述当前指尖位置与距离当前时刻之前目标时段内的多个历史指尖位置的参考位移；确认所述参考位移小于位移阈值，且所述当前指尖位置处于所述有效位置范围，将所述当前指尖位置作为所述指尖有效点击位置。
根据本发明提供的一种指尖点击位置检测方法，所述基于所述当前指尖点击图像，确定当前指尖位置以及定位置信度，包括：将所述当前指尖点击图像输入到位置匹配模型，输出所述当前指尖位置以及所述定位置信度；其中，所述位置匹配模型为预先以指尖点击样本图像为样本，以与所述指尖点击样本图像对应的指尖位置样本数据以及定位置信度样本数据为样本标签训练得到的。
根据本发明提供的一种指尖点击位置检测方法，所述获取当前指尖点击图像包括：获取指尖点击彩色图像；对所述指尖点击彩色图像进行预处理，得到所述当前指尖点击图像。
根据本发明提供的一种指尖点击位置检测方法，所述对所述指尖点击彩色图像进行预处理，得到所述当前指尖点击图像包括：对所述指尖点击彩色图像进行颜色转换和去噪处理，得到所述当前指尖点击图像。
根据本发明提供的一种指尖点击位置检测方法，所述对所述指尖点击彩色图像进行颜色转换和去噪处理，得到所述当前指尖点击图像，包括：将所述指尖点击彩色图像映射到HSV颜色模型，得到指尖点击二值化图像；去除所述指尖点击二值化图像中的噪点，得到所述当前指尖点击图像。
本发明还提供一种指尖点击位置检测装置，该指尖点击位置检测装置包括：获取装置，用于获取当前指尖点击图像；第一确定装置，用于基于所述当前指尖点击图像，确定当前指尖位置以及定位置信度；第二确定装置，用于基于所述当前指尖位置、历史指尖位置以及所述定位置信度，确定指尖有效点击位置，所述历史指尖位置为基于历史指尖点击图像确定的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述指尖点击位置检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述指尖点击位置检测方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述指尖点击位置检测方法的步骤。
本发明提供的指尖点击位置检测方法及装置，通过获取当前指尖点击图像，并从当前指尖点击图像中识别出当前指尖位置和定位置信度，通过当前指尖位置、历史指尖位置和定位置信度，确定指尖有效点击位置，能够在缺失触摸屏的场景下实现对指尖位置的检测，扩大指尖交互的应用场景，降低数据处理功耗。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的指尖点击位置检测方法的流程示意图之一；
图2是本发明提供的指尖点击位置检测方法的流程示意图之二；
图3是本发明提供的执行指尖点击位置检测方法的电子设备的结构示意图之一；
图4是本发明提供的执行指尖点击位置检测方法的电子设备的结构示意图之二；
图5是本发明提供的执行指尖点击位置检测方法的电子设备的结构示意图之三；
图6是本发明提供的执行指尖点击位置检测装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图7描述本发明的指尖点击位置检测方法及装置。
如图1所示，本发明提供一种指尖点击位置检测方法，该指尖点击位置检测方法包括如下步骤110至步骤130。
其中，步骤110、获取当前指尖点击图像。
可以理解的是，如图2、图3和图4所示，该指尖点击位置检测方法可以由电子设备的处理器来执行，电子设备可以具有处理器和目标面板20，可以在电子设备上安装外置的摄像头，当然摄像头也可以是电子设备自带的，此处不具体限定，摄像头与处理器电连接，摄像头的镜头可以朝向目标面板20，摄像头可以拍摄到目标面板20的全部图像。
此处的摄像头可以包括定制的光学镜片10，摄像头能够拍摄到目标面板20的界面全景，当然，可以采用电子设备的自带摄像头和添加光学镜片10的组合，比如，电子设备的自带摄像头的拍摄方向垂直于目标面板20，此处可以添加光学镜片10，来转换摄像头的拍摄视角，保证摄像头能够拍摄到目标面板20的大部分区域，比如可以将光学镜片10磁性吸附在电子设备上，
用户可以用手指的指尖点击目标面板20，摄像头就能够实时拍摄到当前指尖点击图像，当前指尖点击图像是当前时刻摄像头拍摄到的用户用指尖点击目标面板20的图像。
该电子设备可以为点读机、学习机、平板电脑、笔记本电脑或者手机等终端设备，比如电子设备为点读机，点读机可能没有触摸屏，用户可以在点读机的目标面板20上用手指进行点击操作，点读机的目标面板20可以是点读机的显示面板，目标面板20也可以是在点读机上放置的书本或者报刊，比如可以将书本展开放置到点读机上，用户可以用指尖点击书本上的特定内容，这样摄像头就可以拍摄到用户手指在点读机上的目标面板20上的指尖点击图像。
步骤120、基于当前指尖点击图像，确定当前指尖位置以及定位置信度。
可以理解的是，可以对当前指尖点击图像进行图像识别，检测出当前指尖点击图像中的指尖在图像中的位置，也就是进行目标检测，这样可以得到当前指尖位置，当前指尖位置为用户的指尖相对于目标面板20的位置，定位置信度指的是当前指尖位置的可信程度，也就是当前指尖位置与指尖相对于目标面板20的真实位置的偏差程度。
如图2、图3和图4所示，在实际应用时，可以通过摄像头拍摄视角进行3D坐标系建模，以摄像头拍摄到的指尖点击图像的左上角为坐标系原点，平行于目标面板20下边沿和侧边沿分别为x轴和y轴，垂直目标面板20向上为z轴。计算指尖在坐标系的3D位置，从而确认当前指尖位置。
当然，可以利用神经网络模型来从当前指尖点击图像中识别出当前指尖位置，神经网络模型可以为卷积神经网络或者残差神经网络，还可以为其他类型的神经网络，可以利用训练样本对神经网络模型进行训练，比如可以采用有监督学习的方式，也可以采用无监督学习的方式，来训练神经网络模型，提高神经网络模型的检测精度。
如何根据当前指尖点击图像，得到当前指尖位置以及定位置信度，此处不具体限定，本领域技术人员可以根据实际情况来选定一种可行的方法实现。
步骤130、基于当前指尖位置、历史指尖位置以及定位置信度，确定指尖有效点击位置，历史指尖位置为基于历史指尖点击图像确定的。
可以理解的是，历史指尖位置是从历史指尖点击图像中检测到的，历史指尖点击图像为在当前时刻之前的目标时段内拍摄到的用户的指尖点击目标面板20得到的图像，历史指尖点击图像与当前指尖点击图像的区别仅在于拍摄时间点不相同。
指尖有效点击位置可以是对当前指尖位置进行筛选得到的，在实际的交互场景中，用户指尖的每一次点击不一定是有效的，比如用户可能只是用手指从目标面板20上划过，或者用户的手指可能在目标面板20的边缘处握持目标面板20，用户并不是通过点击目标面板20实现人机交互，指尖有效点击位置指的是用户意图用指尖点击目标面板20来实现人机交互所产生的点击位置。
可以将当前指尖位置与历史指尖位置进行比较，并结合定位置信度来确定指尖有效点击位置，比如可以判断当前指尖位置和历史指尖位置的偏差程度，以及将定位置信度与置信度阈值进行比较，来筛选出指尖有效点击位置。
值得注意的是，目前对用户的指尖点击位置进行检测的方式往往是通过设备的触摸屏内置的触摸检测传感器识别到的，这种方式计算量较大，能耗较高，设备发热较大，而且在某些缺失触摸屏的场景下就无法检测，对应用场景的限制较大。
本实施例采用摄像头拍摄当前指尖点击图像，并从当前指尖点击图像中识别出当前指尖位置和定位置信度，通过当前指尖位置、历史指尖位置和定位置信度，确定指尖有效点击位置，不需要依赖电子设备的触摸屏，可以应用于缺失触摸屏的场景中，能够扩大指尖交互的应用场景，且采用摄像头拍摄的方式能够降低成本，降低数据处理的功耗。
本发明提供的指尖点击位置检测方法，通过获取当前指尖点击图像，并从当前指尖点击图像中识别出当前指尖位置和定位置信度，通过当前指尖位置、历史指尖位置和定位置信度，确定指尖有效点击位置，能够在缺失触摸屏的场景下实现对指尖位置的检测，扩大指尖交互的应用场景，降低数据处理功耗。
如图5所示，在一些实施例中，上述步骤110、获取当前指尖点击图像包括如下步骤111和步骤112。
步骤111、获取指尖点击彩色图像。
可以理解的是，摄像头拍摄到的原始图像为彩色的图像，也就是指尖点击彩色图像，这是一种RGB颜色模型的图像，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。
步骤112、对指尖点击彩色图像进行预处理，得到当前指尖点击图像。
可以理解的是，可以对指尖点击彩色图像进行预处理，比如可以对指尖点击彩色图像进行颜色转换，也可以对指尖点击彩色图像去除噪点，还可以对指尖点击彩色图像进行压缩处理，预处理的目的主要是去除冗余特征，保留对目标识别而言的有效特征，此处不对预处理的过程进行具体限定，本领域技术人员可以采用可行的方案来实现预处理过程。
在一些实施例中，上述步骤112、对指尖点击彩色图像进行预处理，得到当前指尖点击图像包括：对指尖点击彩色图像进行颜色转换和去噪处理，得到当前指尖点击图像。
可以理解的是，对指尖点击彩色图像进行颜色转换为去除指尖点击彩色图像中与位置检测无关的色彩特征，保留与位置检测相关的颜色特征，比如可以将肤色特征进行加强，将其他颜色特征进行淡化。
去噪处理主要是去除图像中的噪点，去除与位置检测无关的特征，降低噪点对位置检测的干扰。
通过颜色转换和去噪处理，可以进一步排除无关特征的干扰，提高位置检测的准确率和效率。
在一些实施例中，对指尖点击彩色图像进行颜色转换和去噪处理，得到当前指尖点击图像，包括：
将指尖点击彩色图像映射到HSV颜色模型，得到指尖点击二值化图像。
可以理解的是，HSV(Hue，Saturation，Value)是根据颜色的直观特性创建的一种颜色模型，也称六角锥体模型(Hexcone Model)，HSV颜色模型中颜色的参数分别是：色调(H)，饱和度(S)和明度(V)。
色调H用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°。它们的补色是：黄色为60°，青色为180°，紫色为300°；
饱和度S表示颜色接近光谱色的程度。一种颜色可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例越大，颜色接近光谱色的程度就越高，颜色的饱和度也就越高。饱和度高，颜色则深而艳。光谱色的白光成分为0，饱和度达到最高。通常取值范围为0％～100％，值越大，颜色越饱和。
明度V表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有关。通常取值范围为0％(黑)到100％(白)。
RGB和CMY颜色模型都是面向硬件的，而HSV(Hue Saturation Value)颜色模型是面向用户的。
HSV模型的三维表示从RGB立方体演化而来。设想从RGB沿立方体对角线的白色顶点向黑色顶点观察，就可以看到立方体的六边形外形。六边形边界表示色彩，水平轴表示纯度，明度沿垂直轴测量。
在HSV颜色模型中，H分量能够很好地反映肤色。为了较好地利用拍摄的指尖点击彩色图像，实现对指尖位置的有效检测，本实施例将拍摄到的RGB颜色模型的彩色图像映射到HSV颜色模型，具体方式如下：
色调(H)转换：
Figure BDA0003311303510000091
饱和度(S)转换：
Figure BDA0003311303510000101
明度(V)转换：
V＝Cmax；
其中，R为指尖点击彩色图像在RGB颜色空间中红色的分量，G为指尖点击彩色图像在RGB颜色空间中绿色的分量，B为指尖点击彩色图像在RGB颜色空间中蓝色的分量，mod的是模运算，也就是数学上的取余数。
在一些实施例中，可以使用基于Android的NPU(Neural network ProcessingUnit，嵌入式神经网络处理器)调用肤色模型，将指尖点击彩色图像映射到HSV颜色模型，得到指尖点击二值化图像。
第一方面，可以设计实现基于Android的NPU效果优化实现方案。Android的NPU实现基于Google的TensorFlow Lite有固定的接入标准，需要保障相同输入情况下每个算子的定点化结果差异不超过正负1。本实施例采用Pytorch框架进行肤色模型的训练，通过Tensorflow Lite实现进行fine tune获取更加契合NPU设备的定点化肤色模型，保障肤色模型的效果与训练一致。
第二方面，可以实现基于Android NNAPI(Neural Networks API)的NPU模型调用。Android的NPU实现基于Google的设备接入有统一的API接口，也就是Android NNAPI。基于该接口实现Android系统统一的肤色模型的调用实现方式，并基于Android系统和NPU的设备特性完成三点功能：算子融合优化以提升运算性能、模型cache存储以避免重复优化以及资源文件映射减少内存占用。
可以通过Android NNAPI调用ResNet50肤色模型进行二值化分类，得到基于HSV颜色模型的指尖点击二值化图像。
去除指尖点击二值化图像中的噪点，得到当前指尖点击图像。
可以理解的是，经过肤色模型处理后的二值化图像边缘轮廓以及中心位置可能存在部分噪点，会对指尖位置定位产生一定的干扰，可以采用开闭运算模型，开闭运算模型通过depthwise卷积和普通卷积的开闭运算，去除二值化图像中的噪点。首先通过开运算，去除孤立的小点和毛刺，再通过闭运算，填充裂缝，从而去除指尖点击二值化图像中的噪点，得到当前指尖点击图像。
在一些实施例中，上述步骤120、基于当前指尖点击图像，确定当前指尖位置以及定位置信度，包括：将当前指尖点击图像输入到位置匹配模型，输出当前指尖位置以及定位置信度。
可以理解的是，可以采用位置匹配模型来进行目标检测，也就是将当前指尖点击图像输入到位置匹配模型，位置匹配模型可以输出当前指尖位置和定位置信度。
位置匹配模型可以将经过开闭运算模型处理后得到的当前指尖点击图像先通过两层conv层进行指尖位置特征提取，再送入两层fully connect层进行指尖位置坐标运算，得到当前指尖位置和定位置信度。
其中，位置匹配模型为预先以指尖点击样本图像为样本，以与指尖点击样本图像对应的指尖位置样本数据以及定位置信度样本数据为样本标签训练得到的，指尖点击样本图像、指尖位置样本数据以及定位置信度样本数据可以为人为获取的，也可以为位置匹配模型根据摄像头历史拍摄的历史指尖点击图像获取到的。
在一些实施例中，肤色模型、开闭运算模型和位置匹配模型可以融合为指尖位置检测模型，由于肤色模型、开闭运算模型和位置匹配模型都采用神经网络运算，可以融合为一个指尖位置检测模型进行处理，这样对NPU处理更加友好，运算效率更好。
值得注意的是，可以保证当前时刻摄像头的拍摄角度与训练指尖位置检测模型采用的历史时刻的历史指尖点击图像对应的拍摄角度一致。同时调整摄像头的参数设置，保障当前时刻的摄像头参数与训练指尖位置检测模型采用的历史时刻的历史指尖点击图像对应的摄像头参数一致，减少由于参数设置差异带来的干扰。
在一些实施例中，上述步骤130、基于当前指尖位置、历史指尖位置以及定位置信度，确定指尖有效点击位置，包括：基于当前指尖位置与历史指尖位置的比较结果、定位置信度与置信度阈值的比较结果、以及当前指尖位置与有效位置范围的比较结果，确定指尖有效点击位置。
可以理解的是，可以将当前指尖位置和历史指尖位置进行比较，得到第一比较结果，将定位置信度和置信度阈值进行比较，得到第二比较结果，将当前指尖位置和有效位置范围进行比较，得到第三比较结果，根据第一比较结果、第二比较结果和第三比较结果，来确定指尖有效点击位置。
比如，可以是在第一比较结果、第二比较结果和第三比较结果都满足设定规则的情况下，将当前指尖位置作为指尖有效点击位置，当然还可自由设定在第一比较结果、第二比较结果和第三比较结果中满足某一个或者某两个设定规则时，将当前指尖位置作为指尖有效点击位置，此处不具体限定比较的方式，也不限定具体的设定规则以及设定规则的数量，本领域技术人员可以根据实际情况自由设定。
在一些实施例中，基于当前指尖位置与历史指尖位置的比较结果、定位置信度与置信度阈值的比较结果、以及当前指尖位置与有效位置范围的比较结果，确定指尖有效点击位置，包括：
确认定位置信度大于置信度阈值，则确定当前指尖位置与距离当前时刻之前目标时段内的多个历史指尖位置的参考位移。
可以理解的是，位置置信度要超过设定的置信度阈值才认为找到了手指指尖，否则判定从当前指尖点击图像中未找到手指指尖，此时计算当前指尖位置与距离当前时刻之前目标时段内的多个历史指尖位置的参考位移。
需要说明的是，摄像头可以以预设频率来实时拍摄目标面板20，从而在每一个时刻均得到一个指尖点击图像，当前时刻对应得到当前指尖点击图像，在当前时刻之前的目标时段内可以有多张历史指尖点击图像，当前指尖点击图像对应识别出当前指尖位置，历史指尖点击图像中对应识别出历史指尖位置，将当前指尖位置与多个历史指尖位置来计算参考位移，参考位移为在目标时段内每两个指尖位置的距离。
比如，目标时段可以为1秒，那么当摄像头的拍摄频率为50fps时，就可以得到49张历史指尖点击图像和1张当前指尖点击图像，可以计算这50张指尖点击图像的参考位移。
确认参考位移小于位移阈值，且当前指尖位置处于有效位置范围，将当前指尖位置作为指尖有效点击位置。
可以理解的是，可以设定位移阈值，将参考位移和位移阈值进行比较，当参考位移小于位移阈值时，判断当前指尖位置是否处于有效位置范围，有效位置范围可以为目标面板20的表面所限定的位置范围，当当前指尖位置处于有效位置范围时，则认为符合以上设定的三个条件，这样就可以将当前指尖位置作为指尖有效点击位置。
在具体的实例中，第一方面，定位置信度大于置信度阈值95％。第二方面，在当前时刻的前1秒内，根据当前指尖点击图像和历史指尖点击图像判定指尖在目标面板20上保持基本静止，即在摄像头以50fps的频率拍摄时，连续50个图像帧的指尖位置移动不超过坐标200(大约2cm)。当然可以允许有5帧的偏差。第三方面，当前指尖位置(x，y，z)对应的三维位置不超过约定的目标界面的有效位置范围限制。目标面板20可以设计为x范围为坐标0-2436，y范围为坐标0-1700，z范围为为坐标0-400。当满足以上三个方面的条件时，可以将当前指尖位置作为指尖有效点击位置。
值得注意的是，发明人在研发过程中发现，可以通过基于CPU的视觉神经网络来得到指尖有效点击位置，但是这种方式受限于CPU的计算能力，通常只能选择非计算密集型模型结构，包含更少的资源参数量，这样会导致识别效果差，且占用其他软件的CPU计算资源，会带来更高的耗电量和发热水平。
此处，可以采用NPU来执行该指尖点击位置检测方法，该指尖点击位置检测方法从训练到引擎实现做了一次全新的匹配和流程变更。从训练角度来说，本方案基于Pytorch完成浮点训练的同时，通过模拟NNAPI(Android Neural Networks ApplicationProgramming Interface，安卓神经网络应用程序接口)定点前后向运算过程，完成适配设备NPU前向运算定点化训练，保障训练和推理的效果一致性。同时前向运算采用Android设备通用的NNAPI接口进行匹配推理，无需实现复杂的基于设备芯片架构的推理算子代码。借助于NPU芯片用于AI运算更加快速高效低功耗的特性，可以选择计算密集型的模型结构，更大的模型参数量。从而提升识别效果，减少其他软件的CPU资源占用，减低耗电量与发热水平。
下面对本发明提供的指尖点击位置检测装置进行描述，下文描述的指尖点击位置检测装置与上文描述的指尖点击位置检测方法可相互对应参照。
如图6所示，本发明提供一种指尖点击位置检测装置，该指尖点击位置检测装置包括：获取装置610、第一确定装置620和第二确定装置630。
获取装置610获取当前指尖点击图像。
第一确定装置620基于当前指尖点击图像，确定当前指尖位置以及定位置信度。
第二确定装置630基于当前指尖位置、历史指尖位置以及定位置信度，确定指尖有效点击位置，历史指尖位置为基于历史指尖点击图像确定的。
本发明提供的指尖点击位置检测装置，通过获取当前指尖点击图像，并从当前指尖点击图像中识别出当前指尖位置和定位置信度，通过当前指尖位置、历史指尖位置和定位置信度，确定指尖有效点击位置，能够在缺失触摸屏的场景下实现对指尖位置的检测，扩大指尖交互的应用场景。
在一些实施例中，第二确定装置还用于基于当前指尖位置与历史指尖位置的比较结果、定位置信度与置信度阈值的比较结果、以及当前指尖位置与有效位置范围的比较结果，确定指尖有效点击位置。
在一些实施例中，第二确定装置还用于：确认定位置信度大于置信度阈值，则确定当前指尖位置与距离当前时刻之前目标时段内的多个历史指尖位置的参考位移；确认参考位移小于位移阈值，且当前指尖位置处于有效位置范围，将当前指尖位置作为指尖有效点击位置。
在一些实施例中，第一确定装置还用于将当前指尖点击图像输入到位置匹配模型，输出当前指尖位置以及定位置信度；其中，位置匹配模型为预先以指尖点击样本图像为样本，以与指尖点击样本图像对应的指尖位置样本数据以及定位置信度样本数据为样本标签训练得到的。
在一些实施例中，获取装置还用于：获取指尖点击彩色图像；对指尖点击彩色图像进行预处理，得到当前指尖点击图像。
在一些实施例中，获取装置还用于：对指尖点击彩色图像进行颜色转换和去噪处理，得到当前指尖点击图像。
在一些实施例中，获取装置还用于：将指尖点击彩色图像映射到HSV颜色模型，得到指尖点击二值化图像；去除指尖点击二值化图像中的噪点，得到当前指尖点击图像。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行指尖点击位置检测方法，该方法包括：获取当前指尖点击图像；基于当前指尖点击图像，确定当前指尖位置以及定位置信度；基于当前指尖位置、历史指尖位置以及定位置信度，确定指尖有效点击位置，历史指尖位置为基于历史指尖点击图像确定的。
本发明提供的指尖点击位置检测方法，通过获取当前指尖点击图像，并从当前指尖点击图像中识别出当前指尖位置和定位置信度，通过当前指尖位置、历史指尖位置和定位置信度，确定指尖有效点击位置，能够在缺失触摸屏的场景下实现对指尖位置的检测，扩大指尖交互的应用场景，降低数据处理功耗。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的指尖点击位置检测方法，该方法包括：获取当前指尖点击图像；基于当前指尖点击图像，确定当前指尖位置以及定位置信度；基于当前指尖位置、历史指尖位置以及定位置信度，确定指尖有效点击位置，历史指尖位置为基于历史指尖点击图像确定的。
本发明提供的指尖点击位置检测方法，通过获取当前指尖点击图像，并从当前指尖点击图像中识别出当前指尖位置和定位置信度，通过当前指尖位置、历史指尖位置和定位置信度，确定指尖有效点击位置，能够在缺失触摸屏的场景下实现对指尖位置的检测，扩大指尖交互的应用场景，降低数据处理功耗。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的指尖点击位置检测方法，该方法包括：获取当前指尖点击图像；基于当前指尖点击图像，确定当前指尖位置以及定位置信度；基于当前指尖位置、历史指尖位置以及定位置信度，确定指尖有效点击位置，历史指尖位置为基于历史指尖点击图像确定的。
本发明提供的指尖点击位置检测方法，通过获取当前指尖点击图像，并从当前指尖点击图像中识别出当前指尖位置和定位置信度，通过当前指尖位置、历史指尖位置和定位置信度，确定指尖有效点击位置，能够在缺失触摸屏的场景下实现对指尖位置的检测，扩大指尖交互的应用场景，降低数据处理功耗。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种指尖点击位置检测方法，其特征在于，包括：
获取当前指尖点击图像；
基于所述当前指尖点击图像，确定当前指尖位置以及定位置信度；
基于所述当前指尖位置、历史指尖位置以及所述定位置信度，确定指尖有效点击位置，所述历史指尖位置为基于历史指尖点击图像确定的。
2.根据权利要求1所述的指尖点击位置检测方法，其特征在于，所述基于所述当前指尖位置、历史指尖位置以及所述定位置信度，确定指尖有效点击位置，包括：
基于所述当前指尖位置与所述历史指尖位置的比较结果、所述定位置信度与置信度阈值的比较结果、以及所述当前指尖位置与有效位置范围的比较结果，确定所述指尖有效点击位置。
3.根据权利要求2所述的指尖点击位置检测方法，其特征在于，所述基于所述当前指尖位置与所述历史指尖位置的比较结果、所述定位置信度与置信度阈值的比较结果、以及所述当前指尖位置与有效位置范围的比较结果，确定所述指尖有效点击位置，包括：
确认所述定位置信度大于所述置信度阈值，则确定所述当前指尖位置与距离当前时刻之前目标时段内的多个历史指尖位置的参考位移；
确认所述参考位移小于位移阈值，且所述当前指尖位置处于所述有效位置范围，将所述当前指尖位置作为所述指尖有效点击位置。
4.根据权利要求1所述的指尖点击位置检测方法，其特征在于，所述基于所述当前指尖点击图像，确定当前指尖位置以及定位置信度，包括：
将所述当前指尖点击图像输入到位置匹配模型，输出所述当前指尖位置以及所述定位置信度；
其中，所述位置匹配模型为预先以指尖点击样本图像为样本，以与所述指尖点击样本图像对应的指尖位置样本数据以及定位置信度样本数据为样本标签训练得到的。
5.根据权利要求1至4中任一项所述的指尖点击位置检测方法，其特征在于，所述获取当前指尖点击图像包括：
获取指尖点击彩色图像；
对所述指尖点击彩色图像进行预处理，得到所述当前指尖点击图像。
6.根据权利要求5所述的指尖点击位置检测方法，其特征在于，所述对所述指尖点击彩色图像进行预处理，得到所述当前指尖点击图像包括：对所述指尖点击彩色图像进行颜色转换和去噪处理，得到所述当前指尖点击图像。
7.根据权利要求6所述的指尖点击位置检测方法，其特征在于，所述对所述指尖点击彩色图像进行颜色转换和去噪处理，得到所述当前指尖点击图像，包括：
将所述指尖点击彩色图像映射到HSV颜色模型，得到指尖点击二值化图像；
去除所述指尖点击二值化图像中的噪点，得到所述当前指尖点击图像。
8.一种指尖点击位置检测装置，其特征在于，包括：
获取装置，用于获取当前指尖点击图像；
第一确定装置，用于基于所述当前指尖点击图像，确定当前指尖位置以及定位置信度；
第二确定装置，用于基于所述当前指尖位置、历史指尖位置以及所述定位置信度，确定指尖有效点击位置，所述历史指尖位置为基于历史指尖点击图像确定的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述指尖点击位置检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述指尖点击位置检测方法的步骤。
CN202111217525.7A 2021-10-19 2021-10-19 指尖点击位置检测方法及装置 Pending CN113867540A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111217525.7A CN113867540A (zh) 2021-10-19 2021-10-19 指尖点击位置检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111217525.7A CN113867540A (zh) 2021-10-19 2021-10-19 指尖点击位置检测方法及装置

Publications (1)

Publication Number Publication Date
CN113867540A true CN113867540A (zh) 2021-12-31

Family

ID=79000349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111217525.7A Pending CN113867540A (zh) 2021-10-19 2021-10-19 指尖点击位置检测方法及装置

Country Status (1)

Country Link
CN (1) CN113867540A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834417A (zh) * 2014-02-07 2015-08-12 财团法人工业技术研究院 触控装置、处理器及其触控信号读取方法
CN109074216A (zh) * 2017-04-21 2018-12-21 华为技术有限公司 一种触摸控制方法及装置
CN113033256A (zh) * 2019-12-24 2021-06-25 武汉Tcl集团工业研究院有限公司 一种指尖检测模型的训练方法和设备
CN113359995A (zh) * 2021-07-02 2021-09-07 北京百度网讯科技有限公司 人机交互方法、装置、设备以及存储介质
CN113407066A (zh) * 2017-07-20 2021-09-17 原相科技股份有限公司 手持装置的触摸控制器及其控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834417A (zh) * 2014-02-07 2015-08-12 财团法人工业技术研究院 触控装置、处理器及其触控信号读取方法
CN109074216A (zh) * 2017-04-21 2018-12-21 华为技术有限公司 一种触摸控制方法及装置
CN113407066A (zh) * 2017-07-20 2021-09-17 原相科技股份有限公司 手持装置的触摸控制器及其控制方法
CN113033256A (zh) * 2019-12-24 2021-06-25 武汉Tcl集团工业研究院有限公司 一种指尖检测模型的训练方法和设备
CN113359995A (zh) * 2021-07-02 2021-09-07 北京百度网讯科技有限公司 人机交互方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
JP6710426B2 (ja) 障害物検出方法及び装置
US10719937B2 (en) Automated detection and trimming of an ambiguous contour of a document in an image
CN110032271B (zh) 对比度调节装置及其方法、虚拟现实设备及存储介质
TWI395145B (zh) 手勢辨識系統及其方法
TWI499966B (zh) 互動式操作方法
CN108351961A (zh) 图像及特征质量、用于眼部血管及面部识别的图像增强及特征提取及针对生物识别系统融合眼部血管与面部及/或子面部信息
CN110209273A (zh) 手势识别方法、交互控制方法、装置、介质与电子设备
WO2014137806A2 (en) Visual language for human computer interfaces
CN112669197A (zh) 图像处理方法、装置、移动终端及存储介质
CN107209556B (zh) 用于对捕获对象相对于交互平面的交互的深度图像进行处理的系统及方法
CN109214996A (zh) 一种图像处理方法及装置
CN113569708A (zh) 活体识别方法、装置、电子设备以及存储介质
CN107808109A (zh) 一种二维码图像识别方法及移动终端
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
CN111444555A (zh) 一种测温信息显示方法、装置及终端设备
CN113052923B (zh) 色调映射方法、装置、电子设备和存储介质
WO2022199395A1 (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
CN107133932A (zh) 视网膜图像预处理方法、装置和计算设备
CN114170653A (zh) 一种人脸特征的提取方法及装置、终端设备和存储介质
CN109726613B (zh) 一种用于检测的方法和装置
CN111831123B (zh) 一种适用于桌面混合现实环境的手势交互方法及系统
Manaf et al. Color recognition system with augmented reality concept and finger interaction: Case study for color blind aid system
CN110442242B (zh) 一种基于双目空间手势交互的智能镜系统及控制方法
CN108491820B (zh) 图像中肢体表示信息的识别方法、装置及设备、存储介质
CN113867540A (zh) 指尖点击位置检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination