CN107515714A - 一种手指触控识别方法、装置和触控投影设备 - Google Patents

一种手指触控识别方法、装置和触控投影设备 Download PDF

Info

Publication number
CN107515714A
CN107515714A CN201710624857.4A CN201710624857A CN107515714A CN 107515714 A CN107515714 A CN 107515714A CN 201710624857 A CN201710624857 A CN 201710624857A CN 107515714 A CN107515714 A CN 107515714A
Authority
CN
China
Prior art keywords
coordinate
finger
finger tip
confidence level
arm regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710624857.4A
Other languages
English (en)
Other versions
CN107515714B (zh
Inventor
宋林东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201710624857.4A priority Critical patent/CN107515714B/zh
Publication of CN107515714A publication Critical patent/CN107515714A/zh
Application granted granted Critical
Publication of CN107515714B publication Critical patent/CN107515714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了手指触控识别方法、装置和触控投影设备。该方法包括：根据深度相机预先获取投影平面的基准深度图像获得投影平面的深度信息；利用深度相机实时获取投影平面的当前深度图像，并将当前深度图像与基准深度图像进行比较，获得当前深度图像中的手部深度信息；根据手部深度信息和投影平面的深度信息获得手部与投影平面的深度差值，将深度差值在第一预设区域阈值范围内的区域，确定为指尖区域；将深度差值在第二预设区域阈值范围内的区域，确定为手臂区域；根据指尖区域和手臂区域的相对位置，确定手指触控位置坐标。可见，本发明结合指尖区域和手臂区域进行手指触控识别，准确确定手指触控位置坐标，提高识别准确度，提高用户体验。

Description

一种手指触控识别方法、装置和触控投影设备
技术领域
本发明涉及触控识别技术领域，特别涉及一种手指触控识别方法、装置和触控投影设备。
背景技术
触控技术可以简化用户对电子产品的操作，给用户生活带来极大的便捷。特别是，在投影过程中，使用触控技术可以便于投影者直接对投影图像进行控制操作，节省投影笔等硬件设备的配置，操作简单，降低成本。
在投影触控中，用户可以使用手指对所述投影平面做触控动作，控制投影操作，因此需要对用户的手指触控进行精确的识别，才可以完成准确的控制操作，特别是在用户快速移动手指进行操作控制的情况下。
发明内容
鉴于上述问题，提出了本发明的一种手指触控识别方法、装置和触控投影设备，可以实现对手指触控的准确识别。
根据本发明的一个方面，提供了一种手指触控识别方法，所述方法包括：
利用深度相机预先获取投影平面的基准深度图像，根据所述基准深度图像获得所述投影平面的深度信息；
利用所述深度相机实时获取所述投影平面的当前深度图像，并将所述当前深度图像与所述基准深度图像进行比较，当手指对所述投影平面做触控动作时，获得所述当前深度图像中的手部深度信息；
根据所述手部深度信息和所述投影平面的深度信息获得所述手部与所述投影平面的深度差值，将所述深度差值在第一预设区域阈值范围内的区域，确定为指尖区域；将所述深度差值在第二预设区域阈值范围内的区域，确定为手臂区域；
根据所述指尖区域和所述手臂区域的相对位置，确定手指触控位置坐标。
可选地，所述根据所述指尖区域和所述手臂区域的相对位置，确定手指触控位置坐标包括：
将所述指尖区域中的所有像素点组成的指尖形状与预设标准指尖形状进行匹配，根据所述指尖形状与预设标准指尖形状的匹配程度，确定指尖坐标的可信度；
根据所述指尖区域中的所有像素点的坐标确定所述指尖区域的中心点坐标，作为第一指尖坐标；
对所述手臂区域中的所有像素点坐标进行一次线性回归，确定所述手臂区域的中轴线以及中轴线方程；使用预设侦测框沿所述中轴线移动，当所述侦测框移动至靠近所述指尖区域的所述手臂区域边界，且所述侦测框内有一半的像素点是所述手臂区域中的像素点时，将所述侦测框的中心确定为原点，获取所述原点坐标；
根据所述原点坐标、所述中轴线方程和指尖区域与手臂区域的预设相对距离和预设相对角度，计算第二指尖坐标；
根据所述指尖坐标的可信度、所述第一指尖坐标、所述第二指尖坐标，确定手指触控位置坐标。
可选地，所述根据所述指尖坐标的可信度、所述第一指尖坐标、所述第二指尖坐标，确定手指触控位置坐标包括：
判断所述指尖坐标的可信度是否介于预设可信度区间，
若判断所述可信度介于预设可信度区间，则根据所述可信度在所述预设可信度区间内的权重，确定所述第一指尖坐标的权重以及所述第二指尖坐标的权重，使用所述第一指尖坐标和第一指尖坐标的权重、所述第二指尖坐标和第二指尖坐标的权重计算第三指尖坐标，将所述第三指尖坐标确定为手指触控位置坐标；
若判断所述可信度大于所述预设可信度区间的上限值，则将所述第一指尖坐标确定为手指触控位置坐标；
若判断所述可信度小于所述预设可信度区间的下限值，则将所述第二指尖坐标确定为手指触控位置坐标。
可选地，所述方法进一步包括：
若判断所述可信度大于所述预设可信度区间的上限值，
计算所述第一指尖坐标与所述原点坐标之间的距离和斜率，将所述距离作为指尖区域与手臂区域的相对距离，根据所述斜率和所述中轴线方程的斜率确定指尖区域与手臂区域的相对角度；
使用确定的所述相对位置和所述相对角度更新所述指尖区域与手臂区域的预设相对位置和预设相对角度。
根据本发明的另一个方面，提供了一种手指触控识别装置，所述装置包括：
获取单元，用于利用深度相机预先获取投影平面的基准深度图像，根据所述基准深度图像获得所述投影平面的深度信息；
计算单元，用于利用所述深度相机实时获取所述投影平面的当前深度图像，并将所述当前深度图像与所述基准深度图像进行比较，当手指对所述投影平面做触控动作时，获得所述当前深度图像中的手部深度信息；
区域确定单元，用于根据所述手部深度信息和所述投影平面的深度信息获得所述手部与所述投影平面的深度差值，将所述深度差值在第一预设区域阈值范围内的区域，确定为指尖区域；将所述深度差值在第二预设区域阈值范围内的区域，确定为手臂区域；
坐标确定单元，用于根据所述指尖区域和所述手臂区域的相对位置，确定手指触控位置坐标。
可选地，所述坐标确定单元具体用于，
将所述指尖区域中的所有像素点组成的指尖形状与预设标准指尖形状进行匹配，根据所述指尖形状与预设标准指尖形状的匹配程度，确定所述指尖坐标的可信度；
根据所述指尖区域中的所有像素点的坐标确定所述指尖区域的中心点坐标，作为第一指尖坐标；
对所述手臂区域中的所有像素点坐标进行一次线性回归，确定所述手臂区域的中轴线以及中轴线方程；使用预设侦测框沿所述中轴线移动，当所述侦测框移动至靠近所述指尖区域的所述手臂区域边界，且所述侦测框内有一半的像素点是所述手臂区域中的像素点时，将所述侦测框的中心确定为原点，，获取所述原点坐标；
根据所述原点坐标、所述中轴线方程和指尖区域与手臂区域的预设相对距离和预设相对角度，计算第二指尖坐标；
根据所述指尖坐标的可信度、所述第一指尖坐标、所述第二指尖坐标，确定手指触控位置坐标。
可选地，所述坐标确定单元还用于，
判断所述指尖坐标的可信度是否介于预设可信度区间，
若判断所述可信度介于预设可信度区间，则根据所述可信度在所述预设可信度区间内的权重，确定所述第一指尖坐标的权重以及所述第二指尖坐标的权重，使用所述第一指尖坐标和第一指尖坐标的权重、所述第二指尖坐标和第二指尖坐标的权重计算第三指尖坐标，将所述第三指尖坐标确定为手指触控位置坐标；
若判断所述可信度大于所述预设可信度区间的上限值，则将所述第一指尖坐标确定为手指触控位置坐标；
若判断所述可信度小于所述预设可信度区间的下限值，则将所述第二指尖坐标确定为手指触控位置坐标。
可选地，所述装置进一步包括：
更新单元，用于若判断所述可信度大于所述预设可信度区间的上限值，计算所述第一指尖坐标与所述原点坐标之间的距离和斜率，将所述距离作为指尖区域与手臂区域的相对距离，根据所述斜率和所述中轴线方程的斜率确定指尖区域与手臂区域的相对角度；使用确定的所述相对位置和所述相对角度更新所述指尖区域与手臂区域的预设相对位置和预设相对角度。
根据本发明的又一个方面，提供了一种手指触控识别装置，所述装置包括存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时能够实现如前所述的方法步骤。
根据本发明的再一个方面，提供了一种触控投影设备，所述触控投影设备包括投影仪和如前所述的手指触控识别装置；
所述手指触控识别装置，用于利用深度相机预先获取投影平面的基准深度图像，利用深度相机实时获取所述投影平面的当前深度图像；根据所述基准深度图像以及所述当前深度图像确定所述当前深度图像中的指尖区域和手臂区域，根据所述指尖区域和所述手臂区域的相对位置，确定手指触控位置坐标；
所述投影仪，用于显示与所述手指触控位置坐标对应的操作。
综上所述，本发明的技术方案，在获得投影平面和手部深度信息后，根据手部深度信息和投影平面的深度信息获得手部与投影平面的深度差值，确定手指区域和手臂区域，根据指尖区域和手臂区域的相对位置，确定手指触控位置坐标。可见，本发明结合指尖区域和手臂区域进行手指触控识别，可以准确识别到手指触控位置坐标，提高识别准确度，提高用户体验。
附图说明
图1为本发明一个实施例提供的一种手指触控识别方法的流程示意图；
图2为本发明一个实施例提供的一种手指触控示意图；
图3为本发明一个实施例提供的一种确定的手指区域和手臂区域的示意图；
图4为本发明一个实施例提供的一种手指区域和手臂区域的相对位置的示意图；
图5为本发明一个实施例提供的一种手指触控识别装置的功能结构示意图；
图6为本发明另一个实施例提供的一种手指触控识别装置的功能结构示意图；
图7为本发明另一个实施例提供的一种触控投影设备的功能结构示意图。
具体实施方式
本发明的设计思路是：当用户进行手指触控时，指尖区域较小，在识别过程中不易被识别，相比较指尖区域，手臂区域较大，容易识别，本发明利用投影平面的基准深度图像和投影平面的当前深度图像，确定指尖区域和手臂区域，根据指尖区域和手臂区域的相对位置，准确确定手指触控位置坐标。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1为本发明一个实施例提供的一种手指触控识别方法的流程示意图。如图1所示，该方法包括：
步骤S110，利用深度相机预先获取投影平面的基准深度图像，根据基准深度图像获得投影平面的深度信息。
深度相机，可以获取相机视野内目标的深度信息，主流的深度相机技术有TOF技术、结构光技术、双目视觉技术。深度相机可以输出目标深度点云图，即深度图像。深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。在本实施例中，深度信息是指投影平面距离深度相机摄像头的距离。
步骤S120，利用深度相机实时获取投影平面的当前深度图像，并将当前深度图像与基准深度图像进行比较，当手指对投影平面做触控动作时，获得当前深度图像中的手部深度信息。
本实施例中，将当前深度图像与基准深度图像进行比较，当手指对投影平面做触控动作时，当前深度图像中手部部分的深度信息与基准深度图像中对应部分的深度信息不一样，通过比较可以去除背景信息，获得手部深度信息。
步骤S130，根据手部深度信息和投影平面的深度信息获得手部与投影平面的深度差值，将深度差值在第一预设区域阈值范围内的区域，确定为指尖区域；将深度差值在第二预设区域阈值范围内的区域，确定为手臂区域。
本实施例中，手部与投影平面的深度差值即为手部各处与投影平面的距离，将距离在第一预设区域阈值范围内的区域确定为之间区域，将距离在第二预设区域阈值范围内的区域确定为手臂区域。
图2为本发明一个实施例提供的一种手指触控示意图。如图2所示，手部210触控到投影平面220上时，手部210与投影平面220的距离不同。将第一预设区域阈值范围设定为5mm-15mm，将第二预设区域阈值范围设定为100mm-150mm。图3为本发明一个实施例提供的一种确定的手指区域和手臂区域的示意图。如图3所示，是根据图2所示的预设区域阈值范围确定的手指区域310和手臂区域320。
步骤S140，根据指尖区域和手臂区域的相对位置，确定手指触控位置坐标。
在现有技术中如果只识别指尖区域，受到误差的影响，识别结果会不准确，特别是手指快速移动时，无法准确识别到较小的指尖区域。从图3可知，手臂区域相比较指尖区域要大很多，即使手指快速移动时，手臂区域是可以识别到的，在进行手指触控识别时，根据指尖区域和手臂区域的相对位置，可以获得准确的手指触控位置坐标，提高识别准确度。
在本发明的一个实施例中，步骤S140中的根据指尖区域和手臂区域的相对位置，确定手指触控位置坐标包括：
步骤S141，将指尖区域中的所有像素点组成的指尖形状与预设标准指尖形状进行匹配，根据指尖形状与预设标准指尖形状的匹配程度，确定指尖坐标的可信度。
本实施例中的可信度可以设定为0-9不同的等级，且随着匹配程度越来越大，可信度等级也越来越来高。例如，指尖形状与预设标准指尖形状的匹配程度是90％，则可确定可信度等级为8。
步骤S142，根据指尖区域中的所有像素点的坐标确定指尖区域的中心点坐标，作为第一指尖坐标。例如，第一指尖坐标A(X，Y)。
本实施例中确定中心点坐标可以采用现有技术中拟合的方法进行，在这里不进行详细说明。
步骤S143，对手臂区域中的所有像素点坐标进行一次线性回归，确定手臂区域的中轴线以及中轴线方程；使用预设侦测框沿中轴线移动，当侦测框移动至靠近指尖区域的手臂区域边界，且侦测框内有一半的像素点是手臂区域中的像素点时，将所述侦测框的中心确定为原点，，获取原点坐标。
图4为本发明一个实施例提供的一种手指区域和手臂区域的相对位置的示意图。如图4所示，预设侦测框420沿手臂区域320的中轴线410移动，预测侦测框420的中轴线与手臂区域320的中轴线410重合，当预设侦测框420移动至靠近指尖区域310的手臂区域320边界，且预设侦测框420内有一半的像素点是手臂区域320中的像素点时(图4所示位置处)，将侦测框420的中心确定为原点O，获取原点坐标O(X0，Y0)。本实施例中的预设侦测框420的大小可根据需求进行设定，例如，10像素点的正方形。
步骤S144，根据原点坐标、中轴线方程和指尖区域与手臂区域的预设相对距离和预设相对角度，通过三角运算可以计算第二指尖坐标。
例如，图4所示，根据原点坐标O(X0，Y0)、中轴线410的方程f(x)、和指尖区域与手臂区域的预设相对距离L0和预设相对角度θ0，通过三角运算计算第二指尖坐标A1(X1，Y1)。
这里指尖区域与手臂区域的预设相对距离和预设相对角度是经验值。
步骤S145，根据指尖坐标的可信度、第一指尖坐标、第二指尖坐标，确定手指触控位置坐标。
确定手指触控位置坐标时，可以根据可信度分为三种不同的情况。具体地，上述根据指尖坐标的可信度、第一指尖坐标、第二指尖坐标，确定手指触控位置坐标包括：判断指尖坐标的可信度是否介于预设可信度区间。
例如，在上述说明中，可信度的等级可以是0-9，那么，预设可信度区间为3-6，则预设可信度区间的上限值为6，预设可信度区间的下限值为3。
(1)若判断可信度介于预设可信度区间，则根据可信度在预设可信度区间内的权重，确定第一指尖坐标的权重以及第二指尖坐标的权重，使用第一指尖坐标和第一指尖坐标的权重、第二指尖坐标和第二指尖坐标的权重计算第三指尖坐标，将第三指尖坐标确定为手指触控位置坐标。
例如，可信度在3-6区间内，根据第一指尖坐标和第一指尖坐标的权重、第二指尖坐标和第二指尖坐标的权重计算第三指尖坐标，将第三指尖坐标确定为手指触控位置坐标。
(2)若判断可信度大于预设可信度区间的上限值，则将第一指尖坐标确定为手指触控位置坐标。
例如，可信度大于6，则说明确定的第一指尖坐标是准确的，则将第一指尖坐标确定为手指触控位置坐标。
(3)若判断可信度小于预设可信度区间的下限值，则将第二指尖坐标确定为手指触控位置坐标。
例如，可信度小于3，则说明确定的第一指尖坐标是不准确的，则将计算的第二指尖坐标确定为手指触控位置坐标。
在一个具体的例子中，预设可信度区间为3-6，第一指尖坐标为A(X，Y)，第二指尖坐标为A1(X1，Y1)。若确定可信度为2，小于3，则将A1(X1，Y1)确定为手指触控位置坐标；若确定可信度为8，大于6，则将A(X，Y)确定为手指触控位置坐标；若确定可信度为3，则可信度3在预设可信度区间内的权重为25％，确定第一指尖坐标的权重为25％以及第二指尖坐标的权重75％，使用第一指尖坐标A(X，Y)和第一指尖坐标的权重25％、第二指尖坐标A1(X1，Y1)和第二指尖坐标的权重75％计算第三指尖坐标A2(X2，Y2)，具体是，X2＝25％*X+75％*X1，Y2＝25％*Y+75％*Y1。将A2(X2，Y2)确定为手指触控位置坐标。
这样，当指尖区域无法识别或者识别不准确时，可以通过手臂区域和其与指尖区域的相对位置进行手指触控位置坐标的确定，识别更加准确。
上述指尖区域与手臂区域的预设相对距离和预设相对角度是经验值，这是在进行初始计算时使用的，为了进行准确识别，当可信度大于预设可信度区间的上限值，可以使用指尖区域与手臂区域的当前相对距离和当前相对角度更新该预设相对距离和预设相对角度。所以，图1所示的方法进一步包括：
在上述的判断中，若判断可信度大于预设可信度区间的上限值时，例如，可信度大于6时，
计算第一指尖坐标与原点坐标之间的距离和斜率，将距离作为指尖区域与手臂区域的相对距离，根据斜率和中轴线方程的斜率确定指尖区域与手臂区域的相对角度；使用确定的相对位置和相对角度更新指尖区域与手臂区域的预设相对位置和预设相对角度。
例如，指尖区域与手臂区域的预设相对位置和预设相对角度分别为L0和θ0，确定的相对位置L和相对角度θ，使用L和θ更新L0和θ0，并存储。
在本发明的一个实施例中，在根据指尖区域和手臂区域的相对位置，确定手指触控位置坐标之前，对指尖区域和手臂区域进行先腐蚀后膨胀的去噪处理，以获得边缘平滑的指尖区域和手臂区域。
图5为本发明一个实施例提供的一种手指触控识别装置的功能结构示意图。如图5所示，该手指触控识别装置500包括：
获取单元510，用于利用深度相机预先获取投影平面的基准深度图像，根据基准深度图像获得投影平面的深度信息。
计算单元520，用于利用深度相机实时获取投影平面的当前深度图像，并将当前深度图像与基准深度图像进行比较，当手指对投影平面做触控动作时，获得当前深度图像中的手部深度信息。
区域确定单元530，用于根据手部深度信息和投影平面的深度信息获得手部与投影平面的深度差值，将深度差值在第一预设区域阈值范围内的区域，确定为指尖区域；将深度差值在第二预设区域阈值范围内的区域，确定为手臂区域。
坐标确定单元540，用于根据指尖区域和手臂区域的相对位置，确定手指触控位置坐标。
在本发明的一个实施例中，坐标确定单元540具体用于，
将指尖区域中的所有像素点组成的指尖形状与预设标准指尖形状进行匹配，根据指尖形状与预设标准指尖形状的匹配程度，确定指尖坐标的可信度；
根据指尖区域中的所有像素点的坐标确定指尖区域的中心点坐标，作为第一指尖坐标；
对手臂区域中的所有像素点坐标进行一次线性回归，确定手臂区域的中轴线以及中轴线方程；使用预设侦测框沿中轴线移动，当侦测框移动至靠近指尖区域的手臂区域边界，且侦测框内有一半的像素点是手臂区域中的像素点时，将侦测框的中心确定为原点，获取原点坐标；
根据原点坐标、中轴线方程和指尖区域与手臂区域的预设相对距离和预设相对角度，计算第二指尖坐标；
根据指尖坐标的可信度、第一指尖坐标、第二指尖坐标，确定手指触控位置坐标。
具体地，坐标确定单元540还用于，
判断指尖坐标的可信度是否介于预设可信度区间，
若判断可信度介于预设可信度区间，则根据可信度在预设可信度区间内的权重，确定第一指尖坐标的权重以及第二指尖坐标的权重，使用第一指尖坐标和第一指尖坐标的权重、第二指尖坐标和第二指尖坐标的权重计算第三指尖坐标，将第三指尖坐标确定为手指触控位置坐标；
若判断可信度大于预设可信度区间的上限值，则将第一指尖坐标确定为手指触控位置坐标；
若判断可信度小于预设可信度区间的下限值，则将第二指尖坐标确定为手指触控位置坐标。
在本发明的一个实施例中，图5所示的装置进一步包括：
更新单元，用于若判断可信度大于预设可信度区间的上限值，计算第一指尖坐标与原点坐标之间的距离和斜率，将距离作为指尖区域与手臂区域的相对距离，根据斜率和中轴线方程的斜率确定指尖区域与手臂区域的相对角度；使用确定的相对位置和相对角度更新指尖区域与手臂区域的预设相对位置和预设相对角度。
在本发明的一个实施例中，图5所示的装置进一步包括：
去噪单元，用于在坐标确定单元540根据指尖区域和手臂区域的相对位置，确定手指触控位置坐标之前，对指尖区域和手臂区域进行先腐蚀后膨胀的去噪处理。
图6为本发明又一个实施例提供的一种手指触控识别装置的结构示意图。如图6所示，手指触控识别装置600包括存储器610和处理器620，存储器610和处理器620之间通过内部总线630通讯连接，存储器610存储有能够被处理器620执行的手指触控识别的计算机程序611，该手指触控识别的计算机程序611被处理器620执行时能够实现图1中所示的方法步骤。
在不同的实施例中，存储器610可以是内存或者非易失性存储器。其中非易失性存储器可以是：存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。内存可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存。进一步，非易失性存储器和内存作为机器可读存储介质，其上可存储由处理器620执行的手指触控识别的计算机程序611。
图7为本发明另一个实施例提供的一种触控投影设备的功能结构示意图。如图7所示，该触控投影设备700包括投影仪710和如图5或图6所示的手指触控识别装置720，手指触控识别装置720中包括深度相机721。
手指触控识别装置730，用于利用深度相机721预先获取投影平面的基准深度图像，利用深度相机721实时获取所述投影平面的当前深度图像；根据基准深度图像以及当前深度图像确定当前深度图像中的指尖区域和手臂区域，根据指尖区域和手臂区域的相对位置，确定手指触控位置坐标。
投影仪710，用于显示与手指触控位置坐标对应的操作。
本发明还提供了一种触控投影设备，该触控投影设备中包括投影仪、深度相机和数据处理单元，数据处理单元可以根据深度相机采集的投影平面的基准深度图像和当前深度图像确定手指触控位置坐标，并根据坐标生成相应的操作指令，以便投影仪根据操作指令进行操作显示。
需要说明的是，图5或图6所示的装置、图7所示的设备的各实施例与图1所示方法的各实施例对应相同，上文已有详细说明，在此不再赘述。
综上所述，本发明的技术方案，在获得投影平面和手部深度信息后，根据手部深度信息和投影平面的深度信息获得手部与投影平面的深度差值，确定手指区域和手臂区域，根据指尖区域和手臂区域的相对位置，确定手指触控位置坐标。可见，本发明结合指尖区域和手臂区域进行手指触控识别，可以准确识别到手指触控位置坐标，提高识别准确度，提高用户体验。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种手指触控识别方法，其特征在于，所述方法包括：
利用深度相机预先获取投影平面的基准深度图像，根据所述基准深度图像获得所述投影平面的深度信息；
利用所述深度相机实时获取所述投影平面的当前深度图像，并将所述当前深度图像与所述基准深度图像进行比较，当手指对所述投影平面做触控动作时，获得所述当前深度图像中的手部深度信息；
根据所述手部深度信息和所述投影平面的深度信息获得所述手部与所述投影平面的深度差值，将所述深度差值在第一预设区域阈值范围内的区域，确定为指尖区域；将所述深度差值在第二预设区域阈值范围内的区域，确定为手臂区域；
根据所述指尖区域和所述手臂区域的相对位置，确定手指触控位置坐标。
2.如权利要求1所述的方法，其特征在于，所述根据所述指尖区域和所述手臂区域的相对位置，确定手指触控位置坐标包括：
将所述指尖区域中的所有像素点组成的指尖形状与预设标准指尖形状进行匹配，根据所述指尖形状与预设标准指尖形状的匹配程度，确定指尖坐标的可信度；
根据所述指尖区域中的所有像素点的坐标确定所述指尖区域的中心点坐标，作为第一指尖坐标；
对所述手臂区域中的所有像素点坐标进行一次线性回归，确定所述手臂区域的中轴线以及中轴线方程；使用预设侦测框沿所述中轴线移动，当所述侦测框移动至靠近所述指尖区域的所述手臂区域边界，且所述侦测框内有一半的像素点是所述手臂区域中的像素点时，将所述侦测框的中心确定为原点，获取所述原点坐标；
根据所述原点坐标、所述中轴线方程和指尖区域与手臂区域的预设相对距离和预设相对角度，计算第二指尖坐标；
根据所述指尖坐标的可信度、所述第一指尖坐标、所述第二指尖坐标，确定手指触控位置坐标。
3.如权利要求2所述的方法，其特征在于，所述根据所述指尖坐标的可信度、所述第一指尖坐标、所述第二指尖坐标，确定手指触控位置坐标包括：
判断所述指尖坐标的可信度是否介于预设可信度区间，
若判断所述可信度介于预设可信度区间，则根据所述可信度在所述预设可信度区间内的权重，确定所述第一指尖坐标的权重以及所述第二指尖坐标的权重，使用所述第一指尖坐标和第一指尖坐标的权重、所述第二指尖坐标和第二指尖坐标的权重计算第三指尖坐标，将所述第三指尖坐标确定为手指触控位置坐标；
若判断所述可信度大于所述预设可信度区间的上限值，则将所述第一指尖坐标确定为手指触控位置坐标；
若判断所述可信度小于所述预设可信度区间的下限值，则将所述第二指尖坐标确定为手指触控位置坐标。
4.如权利要求3所述的方法，其特征在于，所述方法进一步包括：
若判断所述可信度大于所述预设可信度区间的上限值，
计算所述第一指尖坐标与所述原点坐标之间的距离和斜率，将所述距离作为指尖区域与手臂区域的相对距离，根据所述斜率和所述中轴线方程的斜率确定指尖区域与手臂区域的相对角度；
使用确定的所述相对位置和所述相对角度更新所述指尖区域与手臂区域的预设相对位置和预设相对角度。
5.一种手指触控识别装置，其特征在于，所述装置包括：
获取单元，用于利用深度相机预先获取投影平面的基准深度图像，根据所述基准深度图像获得所述投影平面的深度信息；
计算单元，用于利用所述深度相机实时获取所述投影平面的当前深度图像，并将所述当前深度图像与所述基准深度图像进行比较，当手指对所述投影平面做触控动作时，获得所述当前深度图像中的手部深度信息；
区域确定单元，用于根据所述手部深度信息和所述投影平面的深度信息获得所述手部与所述投影平面的深度差值，将所述深度差值在第一预设区域阈值范围内的区域，确定为指尖区域；将所述深度差值在第二预设区域阈值范围内的区域，确定为手臂区域；
坐标确定单元，用于根据所述指尖区域和所述手臂区域的相对位置，确定手指触控位置坐标。
6.如权利要求5所述的装置，其特征在于，
所述坐标确定单元具体用于，
将所述指尖区域中的所有像素点组成的指尖形状与预设标准指尖形状进行匹配，根据所述指尖形状与预设标准指尖形状的匹配程度，确定所述指尖坐标的可信度；
根据所述指尖区域中的所有像素点的坐标确定所述指尖区域的中心点坐标，作为第一指尖坐标；
对所述手臂区域中的所有像素点坐标进行一次线性回归，确定所述手臂区域的中轴线以及中轴线方程；使用预设侦测框沿所述中轴线移动，当所述侦测框移动至靠近所述指尖区域的所述手臂区域边界，且所述侦测框内有一半的像素点是所述手臂区域中的像素点时，将所述侦测框的中心确定为原点，，获取所述原点坐标；
根据所述原点坐标、所述中轴线方程和指尖区域与手臂区域的预设相对距离和预设相对角度，计算第二指尖坐标；
根据所述指尖坐标的可信度、所述第一指尖坐标、所述第二指尖坐标，确定手指触控位置坐标。
7.如权利要求6所述的装置，其特征在于，所述坐标确定单元还用于，判断所述指尖坐标的可信度是否介于预设可信度区间，
若判断所述可信度介于预设可信度区间，则根据所述可信度在所述预设可信度区间内的权重，确定所述第一指尖坐标的权重以及所述第二指尖坐标的权重，使用所述第一指尖坐标和第一指尖坐标的权重、所述第二指尖坐标和第二指尖坐标的权重计算第三指尖坐标，将所述第三指尖坐标确定为手指触控位置坐标；
若判断所述可信度大于所述预设可信度区间的上限值，则将所述第一指尖坐标确定为手指触控位置坐标；
若判断所述可信度小于所述预设可信度区间的下限值，则将所述第二指尖坐标确定为手指触控位置坐标。
8.如权利要求7所述的装置，其特征在于，所述装置进一步包括：
更新单元，用于若判断所述可信度大于所述预设可信度区间的上限值，计算所述第一指尖坐标与所述原点坐标之间的距离和斜率，将所述距离作为指尖区域与手臂区域的相对距离，根据所述斜率和所述中轴线方程的斜率确定指尖区域与手臂区域的相对角度；使用确定的所述相对位置和所述相对角度更新所述指尖区域与手臂区域的预设相对位置和预设相对角度。
9.一种手指触控识别装置，其特征在于，所述装置包括存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时能够实现权利要求1-4任意一项所述的方法步骤。
10.一种触控投影设备，其特征在于，所述触控投影设备包括投影仪和如权利要求5-9任一项所述的手指触控识别装置；
所述手指触控识别装置，用于利用深度相机预先获取投影平面的基准深度图像，利用深度相机实时获取所述投影平面的当前深度图像；根据所述基准深度图像以及所述当前深度图像确定所述当前深度图像中的指尖区域和手臂区域，根据所述指尖区域和所述手臂区域的相对位置，确定手指触控位置坐标；
所述投影仪，用于显示与所述手指触控位置坐标对应的操作。
CN201710624857.4A 2017-07-27 2017-07-27 一种手指触控识别方法、装置和触控投影设备 Active CN107515714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710624857.4A CN107515714B (zh) 2017-07-27 2017-07-27 一种手指触控识别方法、装置和触控投影设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710624857.4A CN107515714B (zh) 2017-07-27 2017-07-27 一种手指触控识别方法、装置和触控投影设备

Publications (2)

Publication Number Publication Date
CN107515714A true CN107515714A (zh) 2017-12-26
CN107515714B CN107515714B (zh) 2020-08-28

Family

ID=60721924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710624857.4A Active CN107515714B (zh) 2017-07-27 2017-07-27 一种手指触控识别方法、装置和触控投影设备

Country Status (1)

Country Link
CN (1) CN107515714B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288276A (zh) * 2017-12-29 2018-07-17 安徽慧视金瞳科技有限公司 一种投影交互系统中触摸模式下的干扰滤除方法
CN108509837A (zh) * 2018-01-29 2018-09-07 上海数迹智能科技有限公司 一种基于深度图像的具有旋转不变性的指尖识别方法
CN108931202A (zh) * 2018-07-13 2018-12-04 Oppo广东移动通信有限公司 检测方法和装置、电子装置、计算机设备和可读存储介质
CN109460077A (zh) * 2018-11-19 2019-03-12 深圳博为教育科技有限公司 一种自动跟踪方法、自动跟踪设备及自动跟踪系统
CN109600594A (zh) * 2019-01-03 2019-04-09 歌尔科技有限公司 基于投影的触控点定位方法、投影设备及存储介质
WO2019228471A1 (zh) * 2018-06-01 2019-12-05 中兴通讯股份有限公司 指纹识别方法、设备及计算机可读存储介质
CN110888552A (zh) * 2019-11-27 2020-03-17 深圳市康冠商用科技有限公司 一种红外触摸屏画线处理方法及装置
CN111652182A (zh) * 2020-06-17 2020-09-11 广东小天才科技有限公司 一种悬空手势识别的方法、装置、电子设备和存储介质
CN114581535A (zh) * 2022-03-03 2022-06-03 北京深光科技有限公司 图像中用户骨关键点标注方法、装置、存储介质及设备
CN114756162A (zh) * 2021-01-05 2022-07-15 成都极米科技股份有限公司 触控系统及方法、电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN102855461A (zh) * 2011-07-01 2013-01-02 株式会社理光 在图像中检测手指的方法及设备
CN103383731A (zh) * 2013-07-08 2013-11-06 深圳先进技术研究院 一种基于指尖定位的投影交互方法、系统及计算设备
CN104978012A (zh) * 2014-04-03 2015-10-14 华为技术有限公司 一种指向交互方法、装置及系统
CN106095199A (zh) * 2016-05-23 2016-11-09 广州华欣电子科技有限公司 一种基于投影屏幕的触控定位方法及系统
CN106529480A (zh) * 2016-11-14 2017-03-22 江汉大学 一种基于深度信息的指尖检测和手势识别方法与系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855461A (zh) * 2011-07-01 2013-01-02 株式会社理光 在图像中检测手指的方法及设备
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN103383731A (zh) * 2013-07-08 2013-11-06 深圳先进技术研究院 一种基于指尖定位的投影交互方法、系统及计算设备
CN104978012A (zh) * 2014-04-03 2015-10-14 华为技术有限公司 一种指向交互方法、装置及系统
CN106095199A (zh) * 2016-05-23 2016-11-09 广州华欣电子科技有限公司 一种基于投影屏幕的触控定位方法及系统
CN106529480A (zh) * 2016-11-14 2017-03-22 江汉大学 一种基于深度信息的指尖检测和手势识别方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王劲东 等: "一种基于Kinect的指尖检测算法", 《计算机技术与发展》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288276A (zh) * 2017-12-29 2018-07-17 安徽慧视金瞳科技有限公司 一种投影交互系统中触摸模式下的干扰滤除方法
CN108288276B (zh) * 2017-12-29 2021-10-19 安徽慧视金瞳科技有限公司 一种投影交互系统中触摸模式下的干扰滤除方法
CN108509837A (zh) * 2018-01-29 2018-09-07 上海数迹智能科技有限公司 一种基于深度图像的具有旋转不变性的指尖识别方法
WO2019228471A1 (zh) * 2018-06-01 2019-12-05 中兴通讯股份有限公司 指纹识别方法、设备及计算机可读存储介质
CN108931202A (zh) * 2018-07-13 2018-12-04 Oppo广东移动通信有限公司 检测方法和装置、电子装置、计算机设备和可读存储介质
CN109460077B (zh) * 2018-11-19 2022-05-17 深圳博为教育科技有限公司 一种自动跟踪方法、自动跟踪设备及自动跟踪系统
CN109460077A (zh) * 2018-11-19 2019-03-12 深圳博为教育科技有限公司 一种自动跟踪方法、自动跟踪设备及自动跟踪系统
CN109600594A (zh) * 2019-01-03 2019-04-09 歌尔科技有限公司 基于投影的触控点定位方法、投影设备及存储介质
CN110888552A (zh) * 2019-11-27 2020-03-17 深圳市康冠商用科技有限公司 一种红外触摸屏画线处理方法及装置
CN110888552B (zh) * 2019-11-27 2023-07-07 深圳市康冠商用科技有限公司 一种红外触摸屏画线处理方法及装置
CN111652182A (zh) * 2020-06-17 2020-09-11 广东小天才科技有限公司 一种悬空手势识别的方法、装置、电子设备和存储介质
CN114756162A (zh) * 2021-01-05 2022-07-15 成都极米科技股份有限公司 触控系统及方法、电子设备及计算机可读存储介质
CN114756162B (zh) * 2021-01-05 2023-09-05 成都极米科技股份有限公司 触控系统及方法、电子设备及计算机可读存储介质
CN114581535A (zh) * 2022-03-03 2022-06-03 北京深光科技有限公司 图像中用户骨关键点标注方法、装置、存储介质及设备
CN114581535B (zh) * 2022-03-03 2023-04-18 北京深光科技有限公司 图像中用户骨关键点标注方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN107515714B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN107515714A (zh) 一种手指触控识别方法、装置和触控投影设备
CN110322500A (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
WO2022078467A1 (zh) 机器人自动回充方法、装置、机器人和存储介质
KR20200111617A (ko) 제스처 인식 방법, 장치, 전자 기기 및 저장 매체
JP7036400B2 (ja) 自車位置推定装置、自車位置推定方法、及び自車位置推定プログラム
JP6405778B2 (ja) 対象追跡方法及び対象追跡装置
US11995536B2 (en) Learning device, estimating device, estimating system, learning method, estimating method, and storage medium to estimate a state of vehicle-occupant with respect to vehicle equipment
US20200143154A1 (en) Method and device for detecting a user input on the basis of a gesture
US20130120250A1 (en) Gesture recognition system and method
US20120319945A1 (en) System and method for reporting data in a computer vision system
CN107240104B (zh) 点云数据分割方法和终端
CN109492688B (zh) 焊缝跟踪方法、装置及计算机可读存储介质
CN109213363B (zh) 预测指示器触摸位置或确定3d空间中指向的系统和方法
US11995254B2 (en) Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses
JPWO2018083910A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2018076720A1 (zh) 单手操控方法及操控系统
US11430267B2 (en) Method and device for detecting a user input on the basis of a gesture
CN106611443B (zh) 三维地形点拾取方法及装置
US9544736B2 (en) Techniques for improving location accuracy for virtual maps
WO2018098771A1 (zh) 确定方位角或姿态的方法、触控输入装置、触控屏及系统
CN112598736A (zh) 一种基于地图构建的视觉定位方法及装置
Jacob et al. Hand gesture recognition for driver vehicle interaction
CN108805121B (zh) 一种车牌检测定位方法、装置、设备及计算机可读介质
TW201248456A (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features
JP2020013348A (ja) ジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201013

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268

Patentee before: GOERTEK Inc.

TR01 Transfer of patent right