CN108255352A - 一种投影交互系统中多点触摸实现方法及系统 - Google Patents

一种投影交互系统中多点触摸实现方法及系统 Download PDF

Info

Publication number
CN108255352A
CN108255352A CN201711498308.3A CN201711498308A CN108255352A CN 108255352 A CN108255352 A CN 108255352A CN 201711498308 A CN201711498308 A CN 201711498308A CN 108255352 A CN108255352 A CN 108255352A
Authority
CN
China
Prior art keywords
touch point
image
touch
point
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711498308.3A
Other languages
English (en)
Other versions
CN108255352B (zh
Inventor
汪俊锋
邓宏平
潘扬
叶鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Wisdom Gold Tong Technology Co Ltd
Original Assignee
Anhui Wisdom Gold Tong Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Wisdom Gold Tong Technology Co Ltd filed Critical Anhui Wisdom Gold Tong Technology Co Ltd
Priority to CN201711498308.3A priority Critical patent/CN108255352B/zh
Publication of CN108255352A publication Critical patent/CN108255352A/zh
Application granted granted Critical
Publication of CN108255352B publication Critical patent/CN108255352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种投影交互系统中多点触摸实现方法及系统，属于数据处理技术领域，包括基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；根据所述满足平滑性的轨迹序列，进行多触摸点识别。通过平均建模的方法，实现更新当前背景图，准确的检测出触摸点，并对触摸点的轨迹进行更新、平滑性处理，最终提高了多触摸点识别的准确率。

Description

一种投影交互系统中多点触摸实现方法及系统
技术领域
本发明涉及数据处理技术领域，特别涉及一种投影交互系统中多点触摸实现方法及系统。
背景技术
人机交互技术是计算机科学中至关重要的一个领域，其发展历史基本上代表了计算机的发展历史。从最早的大型机上笨拙的开关系统，到早期键盘和鼠标的出现，以及当下非常流行的触摸屏，人机交互技术的发展速度日新月异。投影交互系统是一种便捷的人机交互方式，利用投影交互系统实现多点触摸，实现在大尺寸投影画面下的触摸交互功能，如多人互动游戏，幼儿教学中多人互动操作等。这种方式比传统的触摸型手机/pad/具有更大的触控尺寸，可以进一步提高用户体验。
目前，多点触摸的过程一般为是根据前后帧，同一个触摸轨迹的触摸点连通域是否有交叠，来实现对多点触摸轨迹的跟踪。其存在的缺陷在于：仅仅根据位置上的交叠来判断，容易受到某一帧触摸点检测失败的影响，导致跟踪轨迹的断裂，影响交互效果。
发明内容
本发明的目的在于提供一种投影交互系统中多点触摸实现方法及系统，以提高多点触摸的准确率。
为实现以上目的，本发明采用的技术方案为：
采用一种投影交互系统中多点触摸实现方法，包括如下步骤：
基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；
将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；
在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；
对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；
根据所述满足平滑性的轨迹序列，进行多触摸点识别。
优选地，所述背景图像为实时采集的投影屏幕，并对所述背景图像进行更新，包括：
获取当前帧背景图像与上一帧背景图像；
在当前帧背景图像与上一帧背景图像的变化幅度满足给定条件时，逐像素点将当前帧背景图像加入上一帧背景图像中，以实现背景图像的更新。
优选地，所述对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，具体包括：
对当前帧图像进行二值化处理，得到二值化图像；
逐像素点遍历二值化图像，得到二值化图像中所有的连通域；
对二值化图像中所有连通区域进行噪声点过滤处理，将噪声点过滤处理后保留下的连通域作为当前帧图像中的触摸点。
优选地，所述对二值化图像中所有连通区域进行噪声点过滤处理，将噪声点过滤处理后保留下的连通域作为当前帧图像中的触摸点，具体包括：
遍历二值化图像中所有的连通域，得到每个连通域的外接矩形；
将每个连通区域的外接矩形尺寸与设定的尺寸阈值进行比较；
将符合设定尺寸阈值的连通区域作为初步触摸点，不符合设定尺寸阈值的连通区域过滤掉；
将初步触摸点外接矩形的长宽比与设定比例进行比较；
将符合设定比例的初步触摸点作为最终检测到的触摸点，将不符合设定比例的初步触摸点过滤掉。
优选地，所述将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配，具体包括：
(a)逐一遍历当前帧中的所有触摸点；
(b)逐一判断当前帧中某个触摸点与上一帧图像中的所有触摸点的重合系数是否大于0.05，若是则执行步骤(c)，若否则执行步骤(e)；
(c)在所有重合系数大于0.05的连通区域中，选择重合系数最大的连通区域作为与当前帧图像中该触摸点重合的触摸点；
(d)将当前帧中该触摸点更新到上一帧图像中重合触摸点位置对应的轨迹序列中；
(e)判断当前帧图像的该触摸点与上一帧图像中的所有未匹配的触摸点之间的距离是否小于10个像素；
(f)若是则将距离小于10个像素的相邻两帧图像的触摸点作为候选匹配触摸点对，并检测匹配触摸点的信息相似程度；
(g)若否则将当前帧中该触摸点忽略掉；
(h)对信息相似度程度符合条件的匹配触摸点对，执行步骤(d)。
优选地，所述检测匹配触摸点的信息相似程度，具体包括：
针对每一个候选匹配触摸点对，分别从触摸点对应的帧图像中，提取到背景图像中对应的区域部分图像，分别记当前帧图像中的区域部分图像为ki、上一帧图像中的区域部分图像为li，其中i表示第几组候选匹配对；
将图像ki和li进行归一化，得到归一化后的图像，分别记为kci和lci；
分别对kci和lci提取分块HOG特征，得到两个特征向量kti与lti；
计算两个特征向量kti与lti之间的欧式距离di，并判断该欧式距离di是否小于20；
若是则执行步骤(h)，若否则将当前帧中该触摸点忽略掉。
优选地，所述对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列，具体包括：
在得到的轨迹序列中，将某一触摸点与前后两个触摸点连线构成的夹角与设定夹角阈值比较，并判断比较结果是否满足平滑性条件；
若是，则将该触摸点保留；
若否，则该触摸点对应的轨迹区间不满足平滑性，滤除该触摸点。
优选地，在进行所述触摸点匹配时，出现某个触摸点消失的现象时，还包括：
针对当前帧图像中某一触摸点，未检测到与上一帧图像中任一触摸点相匹配时，将当前帧图像中该触摸点的轨迹临时清除掉；
对当前帧之后的帧图像中的触摸点进行匹配检测，判断在连续5帧图像的检测中，是否存在新的触摸点来更新轨迹序列；
若是，则根据该新的触摸点来更新所述临时清除掉的轨迹；
若否，则将所述临时清除掉的轨迹彻底清楚。
优选地，在进行所述触摸点匹配时，出现某个新增触摸点时，还包括：
以新增的触摸点作为轨迹的起点，建立新的轨迹队列；
判断该新的轨迹队列后面连续的5帧图像内，是否有新的触摸点更新进来；
若是，则将该新的轨迹队列加入当前投影交互系统中；
若否，则确定该新增触摸点是噪声点导致的，直接将该新增触摸点删除。
另外，采用一种投影交互系统中多点触摸实现系统，包括：
触摸点检测模块，用于基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；
匹配模块，用于将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；
轨迹序列更新模块，用于在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；
平滑性处理模块，用于对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；
触摸点识别模块，用于根据所述满足平滑性的轨迹序列，进行多触摸点识别
与现有技术相比，本发明存在以下技术效果：由于光照等影响，背景图中会存在一些噪声，从而影响后期的投影区域检测，对手指触摸点识别存在影响。本方案中通过平均建模的方法，实现更新当前背景图，获取一个稳定的噪声较少的背景图，从而准确的检测出触摸点，并对触摸点的轨迹进行更新、平滑性处理，最终提高了多触摸点识别的准确率。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种投影交互系统中多点触摸实现方法的流程示意图；
图2是相邻像素定义示意图；
图3是基于内容触摸点匹配流程示意图；
图4是轨迹夹角模型示意图；
图5是另一种投影交互系统中多点触摸实现方法的流程示意图；
图6是一种投影交互系统中多点触摸实现系统的结构示意图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种投影交互系统中多点触摸实现方法，包括如下步骤S101至S105：
S101、基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；
S102、将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；
S103、在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；
S104、对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；
S105、根据所述满足平滑性的轨迹序列，进行多触摸点识别。
需要说明的是，本实施例中在正对着投影屏幕的方向布置一个摄像机，其用于实时采集投影屏幕的画面，并以采集到的图像作为基础，从而检测是否已经有手指触摸到投影屏幕。当没有手指触摸到投影屏幕的时候，摄像机采集到的图像将作为背景图。
由于光照等影响，背景图中会存在一些噪声，从而为后期的检测投影区域是否存在手指触摸点存在影响，因此，获取一个稳定的噪声较少的背景图也非常重要。为了得到稳定的背景图像，本方案中采用平均建模的方法，实现更新当前背景图。在投影交互系统整体工作的过程中，背景图都要实现实时地更新，具体如下：
(1)获取当前帧Si+1与上一帧Si的图像(i≥0)。
(2)如果当前帧与上一帧的变化幅度较小，则将当前帧加入进来实现背景图P的更新。
(3)采用逐像素点的方法进行更新，公式如下：
P(x,y)＝a×P(x,y)+(1-a)×Si+1(x,y)，
其中，P(x,y)表示在背景图中，点(x,y)对应的像素值，Si+1(x,y)表示在当前帧的图像中，点(x,y)对应的像素值，a表示一个更新率，其值一般取0.9。
作为进一步优选的方案，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，具体包括：
对当前帧图像进行二值化处理，得到二值化图像，其具体过程为：
(1)手指触摸投影屏幕的任意一点；
(2)获取此刻计算机采集的投影屏幕的画面，记为T，即在该图T中，包含手指区域部分；
(3)对图像T进行二值化操作，阈值设置为30(经验阈值)，二值化后的图像记为B。执行二值化操作的原理如下：
对于图像T中的每个像素点(x,y)，如果该点对应的像素值大于30，则将该点(x,y)作为前景像素保留下来，并将该点的像素值置为1，如果该点对应的像素值小于30，将该点的像素值变成0。在二值化图像B中，像素值为1点的坐标点将会显示为白色，否则，则会显示为黑色。
逐像素点遍历二值化图像，得到二值化图像中所有的连通域；
需要说明的是，逐像素点遍历二值化图像B，如果相邻的两个像素其像素值都不为0，则将这两个像素划入到同一个连通域中，最终我们可得多个连通域。两个像素相邻的定义如图2所示。对于像素x，像素1-8均是其相邻的像素。
对二值化图像中所有连通区域进行噪声点过滤处理，将噪声点过滤处理后保留下的连通域作为当前帧图像中的触摸点。
需要说明的是，多个连通域中，可能包含一些噪声区域(光线照射导致的以及衣服袖口引入到投影界面中)以及手指触摸点的区域。需要将手指触摸点的区域从中提取出来。本实施例中通过对连通区域的尺寸和形状来进行噪声点判断，具体过程为：
(1)连通区域尺寸判断：
手指的触摸点区域是符合一定的尺寸大小的，因此，本实施例首先通过尺寸来筛选部分区域。对于图像B的每个连通域进行求取连通域的外接矩形。对于某一个连通域的外接矩形来说，如果外界矩形的长度和宽度均大于20个像素(经验阈值)，则认为不是指尖触摸点区域(指尖触摸点区域的尺寸不可能过小)，将其过滤。否则，继续进行下一步的形状分析判断。
(2)连通区域形状判断：
由于手指触摸点的区域形状接近正方形，故对于任何一个连通域的外接矩形来说，如果其外接矩形的长宽比大于1.5，则可以将其作为噪声，然后过滤，否则将其保留。
需要说明的是，最终保留下来的连通域区域，都视作为触摸点进行处理。
作为进一步优选的方案，上述步骤S102：将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配，具体包括：
(1)逐一遍历当前帧中的所有触摸点。
(2)针对当前帧中的某一个触摸点，使其与上一帧图像中的所有触摸点进行逐一匹配操作。
(3)对于匹配过程中的两个触摸点区域，如果两个区域相交的像素点个数记为n1，两个区域并集的像素点个数记为n2，则当重合系数的时候，则认为这两个区域是重合的，否则认为是暂时不重合。
(4)如果在匹配的过程中，当前帧的某一个触摸点区域与上一帧的多个触摸点的区域的重复系数都大于0.05，则选择重合系数最大的那个区域，作为是最可能的重合点，将其余的区域忽略。
(5)对应重合的触摸点，可以直接更新到上一帧位置对应的轨迹中。即，在当前帧中，触摸点区域记为E，如果其与上一帧的触摸点区域F重合，则认为区域E和区域是F位于同一条轨迹序列的，且区域E是区域F的下一个运动时刻的轨迹体现。
在上述步骤(3)中认为两个区域是暂时不重合时，判断其是或能够找到新的重合区域，具体为：
由于投影交互系统所用的摄像机的帧率很高(高达100帧每秒)，而人的手指在投影介质上的移动速度往往每秒不超过1cm，因此可以设定相邻帧之间的同一个手指触摸点中心距离不超过10个像素。
对当前帧的所有的尚未完成匹配的触摸点，与上一帧的所有的未匹配的触摸点进行距离比较。如果两个触摸点的距离小于10个像素(由于所有图像帧的尺寸大小都是一样的，故将相邻两帧置于同一个坐标系下，可以求取出，分别位于两帧中两个触摸点之间的距离)，则可以作为候选匹配对。否则，该两个触摸点真正不满足重合条件，不进行匹配，将其忽略。
假设当前帧有M个触摸点，上一帧有N个触摸点，且触摸点R1与触摸点Q1已经判定为重合，则点Ri(2≤i≤M)被称为当前帧中所有的尚未完成匹配的触摸点，点Qi(2≤i≤N)称为上一帧的所有的未匹配的触摸点，其中Ri(2≤i≤M)与R1共构成了当前帧中所有的M个触摸点，Qi(2≤i≤N)与Q1共构成了上一帧中所有的N个触摸点。
作为进一步优选方案，对于相邻两帧来说，如果是位于同一轨迹的两个触摸点，其信息内容(灰度，以及梯度等信息)变化不会太大，因此，可以通过检测分别位于相邻两帧的两个触摸点的信息相似程度，从而判断这两个触摸点是否位于同一条轨迹中。本方案采用分块HOG(梯度方向直方图)特征来对候选匹配对进行分析，从而判断候选匹配是否是真正的匹配区域，真正的重合。对上述候选匹配对进行基于内容的触摸点匹配，如图3所示：
(1)对候选匹配触摸点对，分别提取图像内容。针对每一个候选匹配对，分别从触摸点对应的图像帧中，根据其位置，提取到原始图像帧(摄像头采集到的图像)中对应的区域部分图像，分别记为ki和li，其中i表示第几组候选匹配对。
(2)将图像ki和li进行归一化，使两张图像具有相同的尺寸大小，本步骤中，将其归一化为36*36大小，归一化后的图像，分别记为kci和lci。
(3)分别对kci和lci提取分块HOG特征，具体如下：
将kci和lci分别平均划分成4个子块，故每个子块包含18*18个像素
构建9个bin的梯度方向直方图，即直方图的横坐标有9个，第一个bin的横坐标范围是0-39°，最后一个(第九个)bin的横坐标是320-359°。
对于kci中每一个子块，统计其HOG直方图信息，每一个直方图便可以得到一个特征向量，故对于整个kci来说，我们可以得到4个9维的特征向量，然后将其拼接，可以得到一个36维的特征向量kti。
对于lci中每一个子块，同样统计其HOG直方图信息，每一个直方图便可以得到一个特征向量，故对于整个lci来说，我们可以得到4个9维的特征向量，然后将其拼接，可以得到一个36维的特征向量lti。
其中，统计直方图信息是指，对于每一子块中的像素，计算其梯度方向和梯度大小，其中梯度方向对应直方图的横坐标，然后将一个子块中，所有像素点的梯度方向位于同一个bin范围下的像素点所对应的梯度值的大小进行累加，累加之后的结果即为该bin下对应的纵坐标的值。
对于图像中的任意一点(x,y)，假设该点对应的像素值为f(x,y)，则该点对应的水平方向梯度值的大小可利用如下公式计算：
GX(x,y)＝f(x+1,y)-f(x,y)，
该点对应的竖直方向梯度可利用如下公式计算：
GY(x,y)＝f(x,y+1)-f(x,y)，
该点对应的总的梯度值大小利用如下公式计算：
该点梯度方向利用如下公式计算：
(4)计算两个特征向量kti与lti的欧氏距离di，计算公式下：
其中，ktij和ltij分别代表向量kti和lti的第j个分量。
(5)如果欧式距离di小于20，则认为该两个触摸点相似度较大，满足重合条件，属于同一条轨迹，并更新轨迹序列，否则认为该两个触摸点相似度太小，不属于同一条轨迹中，将其忽略。
作为进一步优选方案，步骤S105：对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列，具体包括：
(1)计算轨迹中，某一个触摸点与前后两个触摸点构成的夹角的度数，可如图4所示，其中圆形代表触摸点区域，θ代表夹角度数。
(2)设定夹角阈值为150°(经验阈值)。
(3)如果存在某个触摸点的夹角θ小于150°，则该触摸点对应的轨迹区间比较尖锐，不满足平滑性。
(4)对于不满足平滑性的轨迹，需要滤除。
(5)如果轨迹满足平滑性，则该轨迹是正确的，将其保留，可以进行后续的对计算机的操作。
如图5所示，在实际应用中，在对触摸点进行匹配和轨迹更新时，出现某个触摸点消失的现象时，需要额外处理。
在当前帧的情况下，没有检测新的符合要求的触摸点点，从而进行更新某一条轨迹。此时，该条轨迹需要被临时清除掉，同时继续对后面的帧进行检测操作，如果在连续5帧的情况下，该条轨迹都没有新的触摸点来更新轨迹序列，则认为该条轨迹对应的手指操作已经结束，故需要将该条轨迹彻底清除。
如果在5帧以内，会有新的触摸点出现，从而更新该条轨迹，则这属于瞬时断裂现象，很可能是因为临时性的触摸点检测失误造成的，所以需要将该条轨迹重新载入到系统中，并且参与到对投影交互的操控中。
在实际应用中，对于当前帧来说，如果某个触摸点连通域没有找到对重合的轨迹点，从而无法去更新轨迹，则有可能该触摸是新出来的触摸点。此时，建立新的轨迹队列，并把这个触摸点作为这条新轨迹的起点，但是该新的触摸点不能立即对计算机的电脑屏幕进行操作，因为其可能是噪声点，所以需要继续进行判断：对于这条新的轨迹来说，如果后面的连续的5帧图像内，有新的触摸点加入进来，从而更新这条轨迹序列，那么这条轨迹就可以作为正式的轨迹加入到系统中，并且参与对投影交互的操控中。如果连续5帧内没有出现新的触摸点，实现对轨迹的更新，则认为其是噪声点导致的，直接将其删除即可。
如图6所示，本实施例公开了一种投影交互系统中多点触摸实现系统，包括：
触摸点检测模块10，用于基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；
匹配模块20，用于将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；
轨迹序列更新模块30，用于在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；
平滑性处理模块40，用于对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；
触摸点识别模块50，用于根据所述满足平滑性的轨迹序列，进行多触摸点识别。
需要说明的是，本实施例公开的投影交互系统中多点触摸实现系统，其公开的各功能模块用于实现投影交互系统中多点触摸实现方法中的各个流程，具有相同的技术效果，为描述简洁，该处不再赘述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种投影交互系统中多点触摸实现方法，其特征在于，包括：
基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；
将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；
在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；
对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；
根据所述满足平滑性的轨迹序列，进行多触摸点识别。
2.如权利要求1所述的投影交互系统中多点触摸实现方法，其特征在于，所述背景图像为实时采集的投影屏幕，并对所述背景图像进行更新，包括：
获取当前帧背景图像与上一帧背景图像；
在当前帧背景图像与上一帧背景图像的变化幅度满足给定条件时，逐像素点将当前帧背景图像加入上一帧背景图像中，以实现背景图像的更新。
3.如权利要求1所述的投影交互系统中多点触摸实现方法，其特征在于，所述对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，具体包括：
对当前帧图像进行二值化处理，得到二值化图像；
逐像素点遍历二值化图像，得到二值化图像中所有的连通域；
对二值化图像中所有连通区域进行噪声点过滤处理，将噪声点过滤处理后保留下的连通域作为当前帧图像中的触摸点。
4.如权利要求3所述的投影交互系统中多点触摸实现方法，其特征在于，所述对二值化图像中所有连通区域进行噪声点过滤处理，将噪声点过滤处理后保留下的连通域作为当前帧图像中的触摸点，具体包括：
遍历二值化图像中所有的连通域，得到每个连通域的外接矩形；
将每个连通区域的外接矩形尺寸与设定的尺寸阈值进行比较；
将符合设定尺寸阈值的连通区域作为初步触摸点，不符合设定尺寸阈值的连通区域过滤掉；
将初步触摸点外接矩形的长宽比与设定比例进行比较；
将符合设定比例的初步触摸点作为最终检测到的触摸点，将不符合设定比例的初步触摸点过滤掉。
5.如权利要求1所述的投影交互系统中多点触摸实现方法，其特征在于，所述将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配，具体包括：
(a)逐一遍历当前帧中的所有触摸点；
(b)逐一判断当前帧中某个触摸点与上一帧图像中的所有触摸点的重合系数是否大于0.05，若是则执行步骤(c)，若否则执行步骤(e)；
(c)在所有重合系数大于0.05的连通区域中，选择重合系数最大的连通区域作为与当前帧图像中该触摸点重合的触摸点；
(d)将当前帧中该触摸点更新到上一帧图像中重合触摸点位置对应的轨迹序列中；
(e)判断当前帧图像的该触摸点与上一帧图像中的所有未匹配的触摸点之间的距离是否小于10个像素；
(f)若是则将距离小于10个像素的相邻两帧图像的触摸点作为候选匹配触摸点对，并检测匹配触摸点的信息相似程度；
(g)若否则将当前帧中该触摸点忽略掉；
(h)对信息相似度程度符合条件的匹配触摸点对，执行步骤(d)。
6.如权利要求5所述的投影交互系统中多点触摸实现方法，其特征在于，所述检测匹配触摸点的信息相似程度，具体包括：
针对每一个候选匹配触摸点对，分别从触摸点对应的帧图像中，提取到背景图像中对应的区域部分图像，分别记当前帧图像中的区域部分图像为ki、上一帧图像中的区域部分图像为li，其中i表示第几组候选匹配对；
将图像ki和li进行归一化，得到归一化后的图像，分别记为kci和lci；
分别对kci和lci提取分块HOG特征，得到两个特征向量kti与lti；
计算两个特征向量kti与lti之间的欧式距离di，并判断该欧式距离di是否小于20；
若是则执行步骤(h)，若否则将当前帧中该触摸点忽略掉。
7.如权利要求1所述的投影交互系统中多点触摸实现方法，其特征在于，所述对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列，具体包括：
在得到的轨迹序列中，将某一触摸点与前后两个触摸点连线构成的夹角与设定夹角阈值比较，并判断比较结果是否满足平滑性条件；
若是，则将该触摸点保留；
若否，则该触摸点对应的轨迹区间不满足平滑性，滤除该触摸点。
8.如权利要求4所述的投影交互系统中多点触摸实现方法，其特征在于，在进行所述触摸点匹配时，出现某个触摸点消失的现象时，还包括：
针对当前帧图像中某一触摸点，未检测到与上一帧图像中任一触摸点相匹配时，将当前帧图像中该触摸点的轨迹临时清除掉；
对当前帧之后的帧图像中的触摸点进行匹配检测，判断在连续5帧图像的检测中，是否存在新的触摸点来更新轨迹序列；
若是，则根据该新的触摸点来更新所述临时清除掉的轨迹；
若否，则将所述临时清除掉的轨迹彻底清楚。
9.如权利要求4所述的投影交互系统中多点触摸实现方法，其特征在于，在进行所述触摸点匹配时，出现某个新增触摸点时，还包括：
以新增的触摸点作为轨迹的起点，建立新的轨迹队列；
判断该新的轨迹队列后面连续的5帧图像内，是否有新的触摸点更新进来；
若是，则将该新的轨迹队列加入当前投影交互系统中；
若否，则确定该新增触摸点是噪声点导致的，直接将该新增触摸点删除。
10.一种投影交互系统中多点触摸实现系统，其特征在于，包括：
触摸点检测模块，用于基于背景图像，对采集的每帧图像进行检测，得到投影屏幕图像中的触摸点，其中帧图像为包含手指区域的投影屏幕图像；
匹配模块，用于将当前帧图像中检测出的所有触摸点与上一帧图像中的所有触摸点进行匹配；
轨迹序列更新模块，用于在触摸点匹配时，将当前帧图像中的触摸点更新到上一帧图像中与其匹配的触摸点位置对应的轨迹序列中；
平滑性处理模块，用于对得到的轨迹序列进行平滑性处理，得到满足平滑性的轨迹序列；
触摸点识别模块，用于根据所述满足平滑性的轨迹序列，进行多触摸点识别。
CN201711498308.3A 2017-12-29 2017-12-29 一种投影交互系统中多点触摸实现方法及系统 Active CN108255352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711498308.3A CN108255352B (zh) 2017-12-29 2017-12-29 一种投影交互系统中多点触摸实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711498308.3A CN108255352B (zh) 2017-12-29 2017-12-29 一种投影交互系统中多点触摸实现方法及系统

Publications (2)

Publication Number Publication Date
CN108255352A true CN108255352A (zh) 2018-07-06
CN108255352B CN108255352B (zh) 2021-02-19

Family

ID=62725599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711498308.3A Active CN108255352B (zh) 2017-12-29 2017-12-29 一种投影交互系统中多点触摸实现方法及系统

Country Status (1)

Country Link
CN (1) CN108255352B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703956A (zh) * 2018-07-09 2020-01-17 北京仁光科技有限公司 一种基于光影像的交互系统和交互方法
CN111627039A (zh) * 2020-05-09 2020-09-04 北京小狗智能机器人技术有限公司 一种基于图像识别的交互系统及交互方法
CN114296621B (zh) * 2021-12-23 2023-06-09 天翼视讯传媒有限公司 一种触摸屏三点触摸识别计算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354624A (zh) * 2008-05-15 2009-01-28 中国人民解放军国防科学技术大学 一种四路摄像头协同工作的表面计算平台及多触点检测方法
CN201489503U (zh) * 2009-08-27 2010-05-26 广东威创视讯科技股份有限公司 表面多点触摸装置
CN101739178A (zh) * 2008-11-05 2010-06-16 北京威亚视讯科技有限公司 一种触控交互面板、交互系统及其交互方法
CN102841733A (zh) * 2011-06-24 2012-12-26 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
CN104407746A (zh) * 2014-12-01 2015-03-11 湖北印象光电信息产业有限公司 一种基于红外光电技术的多点触摸系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354624A (zh) * 2008-05-15 2009-01-28 中国人民解放军国防科学技术大学 一种四路摄像头协同工作的表面计算平台及多触点检测方法
CN101739178A (zh) * 2008-11-05 2010-06-16 北京威亚视讯科技有限公司 一种触控交互面板、交互系统及其交互方法
CN201489503U (zh) * 2009-08-27 2010-05-26 广东威创视讯科技股份有限公司 表面多点触摸装置
CN102841733A (zh) * 2011-06-24 2012-12-26 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
CN104407746A (zh) * 2014-12-01 2015-03-11 湖北印象光电信息产业有限公司 一种基于红外光电技术的多点触摸系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703956A (zh) * 2018-07-09 2020-01-17 北京仁光科技有限公司 一种基于光影像的交互系统和交互方法
CN110703956B (zh) * 2018-07-09 2021-08-17 北京仁光科技有限公司 一种基于光影像的交互系统和交互方法
CN111627039A (zh) * 2020-05-09 2020-09-04 北京小狗智能机器人技术有限公司 一种基于图像识别的交互系统及交互方法
CN114296621B (zh) * 2021-12-23 2023-06-09 天翼视讯传媒有限公司 一种触摸屏三点触摸识别计算方法

Also Published As

Publication number Publication date
CN108255352B (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
CN103941866B (zh) 一种基于Kinect深度图像的三维手势识别方法
CN103065134B (zh) 一种具有提示信息的指纹识别装置和方法
CN103984928B (zh) 基于景深图像的手指手势识别方法
US20130050076A1 (en) Method of recognizing a control command based on finger motion and mobile device using the same
CN102096471B (zh) 一种基于机器视觉的人机交互方法
CN103164022B (zh) 多指触摸方法和装置、便携式终端设备
Wu et al. Robust fingertip detection in a complex environment
CN102831439A (zh) 手势跟踪方法及系统
CN103870071B (zh) 一种触摸源识别方法及系统
CN108255352A (zh) 一种投影交互系统中多点触摸实现方法及系统
CN104966016A (zh) 移动终端儿童用户协作式判断及限制操作权限的方法
CN105261038B (zh) 基于双向光流和感知哈希的指尖跟踪方法
WO2013016995A1 (zh) 一种红外触摸屏的多点识别方法及系统
CN104866826A (zh) 一种基于knn和像素比梯度特征的静态手语识别方法
CN104407746A (zh) 一种基于红外光电技术的多点触摸系统
CA2806149C (en) Method and system for gesture-based human-machine interaction and computer-readable medium thereof
CN107918507A (zh) 一种基于立体视觉的虚拟触摸板方法
CN108255298B (zh) 一种投影交互系统中的红外手势识别方法及设备
Shaker et al. Real-time finger tracking for interaction
CN110609616B (zh) 一种具有智能交互功能的立体投影沙盘系统
Cheng et al. Fingertip-based interactive projector–camera system
Yang et al. Football referee gesture recognition algorithm based on YOLOv8s
TW201401187A (zh) 指尖偵測虛擬觸控之方法及其系統
KR20120071287A (ko) 웹캠을 이용하여 위치를 추적하는 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 230000 Yafu Park, Juchao Economic Development Zone, Chaohu City, Hefei City, Anhui Province

Applicant after: ANHUI HUISHI JINTONG TECHNOLOGY Co.,Ltd.

Address before: 102, room 602, C District, Hefei National University, Mount Huangshan Road, 230000 Hefei Road, Anhui, China

Applicant before: ANHUI HUISHI JINTONG TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant