CN108920088A - 一种基于隔空触摸操作的桌面投影交互方法及系统 - Google Patents

一种基于隔空触摸操作的桌面投影交互方法及系统 Download PDF

Info

Publication number
CN108920088A
CN108920088A CN201810793358.2A CN201810793358A CN108920088A CN 108920088 A CN108920088 A CN 108920088A CN 201810793358 A CN201810793358 A CN 201810793358A CN 108920088 A CN108920088 A CN 108920088A
Authority
CN
China
Prior art keywords
image
data
touch operation
submodule
operation interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810793358.2A
Other languages
English (en)
Inventor
吴琴
王嘉元
王思睿
尹杨茂竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN201810793358.2A priority Critical patent/CN108920088A/zh
Publication of CN108920088A publication Critical patent/CN108920088A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种基于隔空触摸操作的桌面投影交互方法及系统,所述方法包括:获取隔空触摸操作界面所对应的位置跟踪数据;依据所述位置跟踪数据投影出对应的隔空触摸操作界面;获取用户在隔空触摸操作界面上进行操作时的指尖跟踪数据并判断是否存在点击操作;是则进行交互效果渲染。系统包括:数据输出单元,其能够获取隔空触摸操作界面所对应的位置跟踪数据;数据投影单元,其能够对依据所述位置跟踪数据投影出对应的隔空触摸操作界面;数据处理单元,其能够获取用户在隔空触摸操作界面上进行操作时的指尖跟踪数据并判断是否存在点击操作,是则进行交互效果渲染。本发明提供的投影交互的新媒体技术具有交互方式多样化,交互灵敏性极高的特点。

Description

一种基于隔空触摸操作的桌面投影交互方法及系统
技术领域
本发明涉及数字媒体技术领域,具体的说是涉及一种基于隔空触摸操作的 桌面投影交互方法及系统。
背景技术
在新媒体行业中,投影触控技术得到了广泛的应用,利用手指在指定的表 面进行触控操作,由投影仪反馈互动效果。但是现有投影触控技术多基于固定 的场景,即操作均在墙面,地板上实现或是作为已经组装完成的装置在其自备 的硬件上进行交互;且无法使投影画面跟随载体移动选择,也无法实现在立体 空间中进行隔空交互。总而言之这类基于固定场景的做法,首先限制了使用者 的使用环境,增加了技术的投放难度,导致使用者操作的不方便,其次也增加 了需要设置并隐藏的传感器。
发明内容
鉴于已有技术存在的缺陷,本发明的目的是要提供一种基于隔空触摸操作 的桌面投影交互方法,以实现投影追踪纸面和依赖深度信息定位指尖的新型隔 空触摸桌面投影技术且同时解决现有技术中无法实现投影追踪载体和缺少对深 度信息追踪的现状。
为了实现上述目的,本发明的技术方案:一种基于隔空触摸操作的桌面投 影交互方法,包括以下步骤:
S1、获取隔空触摸操作界面所对应的位置跟踪数据;
S2、依据所述位置跟踪数据投影出对应的隔空触摸操作界面;
S3、获取用户在隔空触摸操作界面上进行操作时的指尖跟踪数据并判断是 否存在点击操作;
S4、是则进行交互效果渲染。
所述S1包括如下步骤:
S11、获取承载所述隔空触摸操作界面的交互载体的图像数据;
S12、计算所述交互载体的旋转角度以及位置以获取对应的位置跟踪数据。
所述S12包括如下步骤:
S121、对所述图像数据进行镜面翻转处理;
S122、搜索镜面翻转后图像的特征点;
S123、计算每一特征点的特征矢量并获取隔空触摸操作界面的各个界面角 点的旋转量以及位置。
所述S3包括如下步骤:
S31、获取用户在隔空触摸操作界面上进行操作时的操作图像;
S32、获取所述操作图像的图像深度信息;
S33、对所述操作图像进行初步降噪获取图像兴趣区域,以标记出手指指尖 所对应的图像区域;
S34、对所述操作图像进行二次降噪确定手指指尖位置。
所述S3还包括如下步骤:
S35、通过比较桌面高度与指尖高度的差值是否小于阈值判断是否存在点击 操作。
本发明还要提供一种基于隔空触摸操作的桌面投影交互系统,其特征在于: 包括
数据输出单元,该数据输出单元能够获取隔空触摸操作界面所对应的位置 跟踪数据;
数据投影单元,该数据投影单元能够对依据所述位置跟踪数据投影出对应 的隔空触摸操作界面;
数据处理单元,该数据处理单元能够获取用户在隔空触摸操作界面上进行 操作时的指尖跟踪数据并判断是否存在点击操作,是则进行交互效果渲染。
所述数据输出单元包括:
操作界面跟踪模块,该操作界面跟踪模块能够获取承载所述隔空触摸操作 界面的交互载体的图像数据;
第一计算模块,该第一计算模块能够计算所述交互载体的旋转角度以及位 置以获取对应的位置跟踪数据。
所述第一计算模块包括:
镜面翻转子模块,该镜面翻转子模块能够对所述图像数据进行镜面翻转处 理;
搜索子模块,该搜索子模块能够搜索镜面翻转后图像的特征点;
位置跟踪子模块,该位置跟踪子模块能够计算每一特征点的特征矢量并获 取隔空触摸操作界面的各个界面角点的旋转量以及位置。
所述数据处理单元包括:
图像获取子模块,该图像获取子模块能够获取用户在隔空触摸操作界面上 进行操作时的操作图像;
图像深度获取子模块,该图像深度获取子模块能够获取所述操作图像的图 像深度信息;
初步降噪子模块,该初步降噪子模块能够对所述操作图像进行初步降噪获 取图像兴趣区域,以标记出手指指尖所对应的图像区域;
二次降噪子模块,该二次降噪子模块能够对所述操作图像进行二次降噪确 定手指指尖位置。
所述数据处理单元还包括:
判断子模块,该判断子模块能够通过比较桌面高度与指尖高度的差值是否 小于阈值判断是否存在点击操作。
与现有技术相比,本发明的有益效果:
本发明提供的投影交互的新媒体技术具有交互方式多样化,交互灵敏性极 高的特点。使用者可以通过隔空触摸、隔空点击、隔空拖拽等方式实现互动。 在移动纸面时,投影内容会随之移动,使用者不再需要像传统投影模式一样去 手动调整投影画面。相比于传统投影触控效果更加吸引人,交互的形式也可以 让使用者融入其中,给使用者带来参与式的视觉冲击,增强了趣味性和互动性。
附图说明
图1为本发明所述的方法对应的步骤流程图;
图2为本发明所述系统各个模块连接结构示意例图;
图3为本发明所述的操作模块结构示意图;
图4为本发明所述的指尖追踪降噪算法的效果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例 中的附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施 例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本 领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都 属于本发明保护的范围。
一种基于隔空触摸操作的桌面投影交互方法,如图1所示,包括以下步骤:
S1、获取隔空触摸操作界面所对应的位置跟踪数据;
S2、依据所述位置跟踪数据投影出对应的隔空触摸操作界面;
S3、获取用户在隔空触摸操作界面上进行操作时的指尖跟踪数据并判断是 否存在点击操作;
S4、是则进行交互效果渲染。
进一步的,作为本发明的优选方案,所述S1包括如下步骤:
S11、获取承载所述隔空触摸操作界面的交互载体的图像数据;
S12、计算所述交互载体的旋转角度以及位置以获取对应的位置跟踪数据。
进一步的,作为本发明的优选方案,所述S12包括如下步骤:
S121、对所述图像数据进行镜面翻转处理;
S122、搜索镜面翻转后图像的特征点;
S123、计算每一特征点的特征矢量并获取隔空触摸操作界面的各个界面角 点的旋转量以及位置。
进一步的,作为本发明的优选方案,所述S3包括如下步骤:
S31、获取用户在隔空触摸操作界面上进行操作时的操作图像;
S32、获取所述操作图像的图像深度信息;
S33、对所述操作图像进行初步降噪获取图像兴趣区域,以标记出手指指尖 所对应的图像区域;
S34、对所述操作图像进行二次降噪确定手指指尖位置。
进一步的,作为本发明的优选方案,所述S3还包括如下步骤:
S35、通过比较桌面高度与指尖高度的差值是否小于阈值判断是否存在点击 操作。
为了解决现有技术中所存在的弊端,本发明的系统构成如图2所示,通过 将纸面追踪模、隔空触摸模块与系统核心模块进行连接,从而达到系统核心获 取指尖数据和获取纸面数据的目的,在获取输入数据后,再经过指尖追踪算法、 指尖触摸算法与纸面追踪算法对原始输入数据进行分析与处理,若识别到交互 模块并且检测到手指在隔空触摸区域内,则应用游戏引擎,生成交互内容后经 由投影模块将画面投影至交互模块上。
具体的,所述一种基于隔空触摸操作的桌面投影交互系统,包括:
数据输出单元,该数据输出单元能够获取隔空触摸操作界面所对应的位置 跟踪数据;
数据投影单元,该数据投影单元能够对依据所述位置跟踪数据投影出对应 的隔空触摸操作界面;
数据处理单元,该数据处理单元能够获取用户在隔空触摸操作界面上进行 操作时的指尖跟踪数据并判断是否存在点击操作,是则进行交互效果渲染。
进一步的,作为本发明的优选方案,所述数据输出单元包括:
操作界面跟踪模块,该操作界面跟踪模块能够获取承载所述隔空触摸操作 界面的交互载体的图像数据;
第一计算模块,该第一计算模块能够计算所述交互载体的旋转角度以及位 置以获取对应的位置跟踪数据。
进一步的,作为本发明的优选方案,所述第一计算模块包括:
镜面翻转子模块,该镜面翻转子模块能够对所述图像数据进行镜面翻转处 理;
搜索子模块,该搜索子模块能够搜索镜面翻转后图像的特征点;
位置跟踪子模块,该位置跟踪子模块能够计算每一特征点的特征矢量并获 取隔空触摸操作界面的各个界面角点的旋转量以及位置。
进一步的,作为本发明的优选方案,所述数据处理单元包括:
图像获取子模块,该图像获取子模块能够获取用户在隔空触摸操作界面上 进行操作时的操作图像;
图像深度获取子模块,该图像深度获取子模块能够获取所述操作图像的图 像深度信息;
初步降噪子模块,该初步降噪子模块能够对所述操作图像进行初步降噪获 取图像兴趣区域,以标记出手指指尖所对应的图像区域;
二次降噪子模块,该二次降噪子模块能够对所述操作图像进行二次降噪确 定手指指尖位置。
进一步的,作为本发明的优选方案,所述数据处理单元还包括:
判断子模块,该判断子模块能够通过比较桌面高度与指尖高度的差值是否 小于阈值判断是否存在点击操作。
具体实例:为了应用上述技术设计一套展示系统,所述系统包括隔空触摸 模块101,投影模块102,纸面追踪模块103,系统控制模块104,交互模块105 及承载模块106共六个模块;其中,所述系统控制模块用于连接和使用其他功 能模块,并利用已有算法将数据进行分析处理;投影模块用于将交互画面投影至 交互模块上供使用者交互。
具体的,可隔空触摸操作的桌面投影交互系统的工作过程如下:
首先通过民用220V交流电实现对隔空触摸模块101,投影模块102以及系 统控制模块104的供电,其中隔空触摸模块101通过数据线3使用USB3.0接口 与系统控制模块104相连以传输数据,投影模块102通过数据线2使用HDMI 接口与系统控制模块104相连以传输图像,传输纸面追踪模块103通过数据线1 使用USB3.0接口与系统控制模块相连以达到供电和数据传输的需求。
其次接通电源后,纸面追踪模块103会对交互模块105进行照相,系统 控制模块104获取摄像头数据,进行镜面翻转获取正确的图像,镜面翻转需利 用反射矩阵计算图像中每个像素点的镜像点,
反射矩阵反射矩阵的计算是基于平 面的,因为任何反射都需要一个反射面,反射平面向量化表示为(nx,ny,nz,d),d为反射平面到坐标原点的距离。计算某点Q(Qx,Qy,Qz)的镜像点Q’(Q’x,Q’y.Q’z) 公式为
此处使用了OpenCV提供的SIFT(尺度不变特征变换)算法,通过构建高斯差分金字塔, 用组与层的结构构建了一个具有线性关系的金字塔结构,通过此结构可以在连 续的高斯核尺度上查找特征点。
其次搜索SIF特征点,对离散点的缝隙位置进行插值,然后再求极值点的 坐标位置,删除边缘效应的点,这是因为只忽略那些DoG响应不够的点是不够 的,DoG的值会受到边缘的影响,那些边缘上的点,虽然不是斑点,但是它的 DoG响应也很强。所以要把这部分点删除。
利用横跨边缘的地方,在沿边缘方向与垂直边缘方向表现出极大与极小的 主曲率这一特性。所以通过计算特征点处主曲率的比值即可以区分其是否在边 缘上。最后描述特征点。需要对特征点邻域内的点的梯度方向进行直方图统计, 选取直方图中比重最大的方向为特征点的主方向。在计算特征矢量时,需要对 局部图像进行沿主方向旋转,然后再进邻域内的梯度直方图统计(4x4x8)。在 画面中通过上述SIFT算法即可找到纸面的四个角,其四角拥有不同的旋转量, 即可区分出左上角和右上角,用作定位和测算选择角,找出交互模块105的左 上坐标A和右上坐标B两个位置,此时通过左上角坐标A即可定位交互模块105 的坐标,再使用左上右上两个坐标点连接得到线段AB,计算AB线段与水平面 的夹角,空间直线与平面夹角公式计算,即
(为平面的法向量,为直线的向量表示),可以计算得到交互模块105的旋转角 度。结合交互模块105旋转角度与交互模块105位置即可实现对交互模块105 的追踪。
实现对纸面的追踪后,投影模块102会根据结果在交互模块105上投影出供 使用者交互的画面。
参阅图3所示,隔空触摸模块101会对使用者的手指指尖进行追踪。首先 隔空触摸模块101会获得整个桌面上方物体和手指的深度信息,根据手指指尖 在获取到的像素图中的数学结构(即y轴上方一行深度大于下方一行),标记出 兴趣区域,进行初步降噪(指尖追踪降噪算法过程示意图1,2),清除桌面坡度 带来的噪点和绝大部分深度摄像头产生的噪点。接着根据手指指尖的另一个特 征(手指连接着手掌),通过搜索手掌的算法判断点是否落在手掌区域,经系统 检验,出现在兴趣区域中的噪点表现为在桌面范围内随机出现,于是兴趣区域 当中连接成块的部分则为手掌区域。兴趣区域中与手掌不连通的像素即为噪点, 通过这种方法可以去除深度摄像头带来的部分噪点,进行二次降噪。(指尖追踪 降噪算法示意图3,4)最后根据指尖必定是最远端来找到指尖的顶点,实现指尖 的追踪(指尖追踪降噪算法示意图4)。
指尖触摸模块通过手指指尖点向左右延伸求深度信息的平均值作为桌面高 度,获取指尖点的深度信息,作为指尖的高度。桌面高度与指尖高度求差值, 若小于差值阈值则认为存在点击操作。经反复测试该阀值在为5时效果最佳(深 度值为int整型)。
最后系统控制模块104会通过纸面追踪模块103及隔空触摸模块101传输的 数据,通过使用游戏引擎中的物理模拟、粒子系统等功能来增强交互效果,然 后将手指与卡纸的交互交由光影进行视觉反馈和声音进行听觉反馈进行反馈。 跟踪卡纸获得的坐标,Unity3D引擎中场景的坐标,深度摄像头跟踪手指的坐 标。三部分位于各自的坐标系内,通过对坐标系的位置和缩放调整,实现统一 各个坐标系。最后通过投影仪投射到卡纸上,实现在卡纸上进行触控操作。
这样该系统便实现了在桌面上进行可隔空触摸操作的交互。
根据一种优选的实施方式,所述隔空触摸模块设置在所述投影模块的同一 侧。
根据一种优选的实施方式,所述投影模块以水平或竖直方向设置。
根据一种优选的实施方式,所述隔空触摸模块与所述系统控制模块通过 USB连接。
所述隔空触摸模块为kinect for windows V2及内置的TOF摄像机,所述投 影模块为1080P高流明投影机,所述纸面追踪模块为720p摄像头,所述系统核 心模块为计算机,所述交互模块为风琴式折页纸,所述电源为220V交流电源。
其中,通用串行总线(以下称为USB)接口模块用于接入USB设备,即接 入纸面追踪模块,隔空触摸模块。USB接头提供一组5伏特的电压,可作为相 连接USB设备的电源。USB规范要求在任何情形下,电压均不能超过5.25V; 在最坏情形下(经由USB供电HUB所连接的LOW POWER设备)电压均不能 低于4.375V,一般情形电压会接近5V。由于一个端点只能单向(进/出)传输 数据,自然管道也是单向的。每个USB设备至少有两个端点/管道:它们分别是进出方向的,编号为0,用于控制总线上的设备。按照各自的传输类型,管道分 为几类,由于纸面追踪模块,隔空触摸模块需要保证尽快反应,需使用等时传 输。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局 限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本 发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护 范围之内。

Claims (10)

1.一种基于隔空触摸操作的桌面投影交互方法,其特征在于,包括以下步骤:
S1、获取隔空触摸操作界面所对应的位置跟踪数据;
S2、依据所述位置跟踪数据投影出对应的隔空触摸操作界面;
S3、获取用户在隔空触摸操作界面上进行操作时的指尖跟踪数据并判断是否存在点击操作;
S4、是则进行交互效果渲染。
2.根据权利要求1所述的方法,其特征在于,所述S1包括如下步骤:
S11、获取承载所述隔空触摸操作界面的交互载体的图像数据;
S12、计算所述交互载体的旋转角度以及位置以获取对应的位置跟踪数据。
3.根据权利要求2所述的方法,其特征在于,所述S12包括如下步骤:
S121、对所述图像数据进行镜面翻转处理;
S122、搜索镜面翻转后图像的特征点;
S123、计算每一特征点的特征矢量并获取隔空触摸操作界面的各个界面角点的旋转量以及位置。
4.根据权利要求1所述的方法,其特征在于,所述S3包括如下步骤:
S31、获取用户在隔空触摸操作界面上进行操作时的操作图像;
S32、获取所述操作图像的图像深度信息;
S33、对所述操作图像进行初步降噪获取图像兴趣区域,以标记出手指指尖所对应的图像区域;
S34、对所述操作图像进行二次降噪确定手指指尖位置。
5.根据权利要求4所述的方法,其特征在于,所述S3还包括如下步骤:
S35、通过比较桌面高度与指尖高度的差值是否小于阈值判断是否存在点击操作。
6.一种基于隔空触摸操作的桌面投影交互系统,其特征在于,包括:
数据输出单元,该数据输出单元能够获取隔空触摸操作界面所对应的位置跟踪数据;
数据投影单元,该数据投影单元能够对依据所述位置跟踪数据投影出对应的隔空触摸操作界面;
数据处理单元,该数据处理单元能够获取用户在隔空触摸操作界面上进行操作时的指尖跟踪数据并判断是否存在点击操作,是则进行交互效果渲染。
7.根据权利要求6所述的系统,其特征在于,所述数据输出单元包括:
操作界面跟踪模块,该操作界面跟踪模块能够获取承载所述隔空触摸操作界面的交互载体的图像数据;
第一计算模块,该第一计算模块能够计算所述交互载体的旋转角度以及位置以获取对应的位置跟踪数据。
8.根据权利要求7所述的系统,其特征在于,所述第一计算模块包括:
镜面翻转子模块,该镜面翻转子模块能够对所述图像数据进行镜面翻转处理;
搜索子模块,该搜索子模块能够搜索镜面翻转后图像的特征点;
位置跟踪子模块,该位置跟踪子模块能够计算每一特征点的特征矢量并获取隔空触摸操作界面的各个界面角点的旋转量以及位置。
9.根据权利要求6所述的系统,其特征在于,所述数据处理单元包括:
图像获取子模块,该图像获取子模块能够获取用户在隔空触摸操作界面上进行操作时的操作图像;
图像深度获取子模块,该图像深度获取子模块能够获取所述操作图像的图像深度信息;
初步降噪子模块,该初步降噪子模块能够对所述操作图像进行初步降噪获取图像兴趣区域,以标记出手指指尖所对应的图像区域;
二次降噪子模块,该二次降噪子模块能够对所述操作图像进行二次降噪确定手指指尖位置。
10.根据权利要求9所述的系统,其特征在于,所述数据处理单元还包括:
判断子模块,该判断子模块能够通过比较桌面高度与指尖高度的差值是否小于阈值判断是否存在点击操作。
CN201810793358.2A 2018-07-18 2018-07-18 一种基于隔空触摸操作的桌面投影交互方法及系统 Pending CN108920088A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810793358.2A CN108920088A (zh) 2018-07-18 2018-07-18 一种基于隔空触摸操作的桌面投影交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810793358.2A CN108920088A (zh) 2018-07-18 2018-07-18 一种基于隔空触摸操作的桌面投影交互方法及系统

Publications (1)

Publication Number Publication Date
CN108920088A true CN108920088A (zh) 2018-11-30

Family

ID=64413972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810793358.2A Pending CN108920088A (zh) 2018-07-18 2018-07-18 一种基于隔空触摸操作的桌面投影交互方法及系统

Country Status (1)

Country Link
CN (1) CN108920088A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918074A (zh) * 2021-10-12 2022-01-11 成都信息工程大学 一种用于自闭症儿童认知教学的光影实体交互装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技(厦门)有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN102566829A (zh) * 2010-12-31 2012-07-11 上海优熠电子科技有限公司 设有摄像头的触摸检测系统
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
CN103092437A (zh) * 2012-12-13 2013-05-08 同济大学 一种基于图像处理技术的便捷式触控交互系统
CN103383731A (zh) * 2013-07-08 2013-11-06 深圳先进技术研究院 一种基于指尖定位的投影交互方法、系统及计算设备
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与系统
CN104793731A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566829A (zh) * 2010-12-31 2012-07-11 上海优熠电子科技有限公司 设有摄像头的触摸检测系统
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技(厦门)有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
CN103092437A (zh) * 2012-12-13 2013-05-08 同济大学 一种基于图像处理技术的便捷式触控交互系统
CN103383731A (zh) * 2013-07-08 2013-11-06 深圳先进技术研究院 一种基于指尖定位的投影交互方法、系统及计算设备
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与系统
CN104793731A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918074A (zh) * 2021-10-12 2022-01-11 成都信息工程大学 一种用于自闭症儿童认知教学的光影实体交互装置及方法

Similar Documents

Publication Publication Date Title
TWI690842B (zh) 基於手勢辨認的互動顯示方法和裝置
TW452723B (en) Method and apparatus for three-dimensional input entry
US6594616B2 (en) System and method for providing a mobile input device
CN102799318B (zh) 一种基于双目立体视觉的人机交互方法及系统
Wilson PlayAnywhere: a compact interactive tabletop projection-vision system
Schlattman et al. Simultaneous 4 gestures 6 dof real-time two-hand tracking without any markers
CN102508574A (zh) 基于投影屏幕的多点触控检测方法及多点触控系统
Zeng et al. A hand gesture based interactive presentation system utilizing heterogeneous cameras
Katz et al. A multi-touch surface using multiple cameras
CN112363629B (zh) 一种新的非接触式人机交互方法及系统
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
CN102364419B (zh) 一种摄像式触摸控制方法及其系统
Guan et al. Real-time 3D pointing gesture recognition for natural HCI
CN108920088A (zh) 一种基于隔空触摸操作的桌面投影交互方法及系统
Riemann et al. Flowput: Environment-aware interactivity for tangible 3d objects
Huang et al. 3d virtual-reality interaction system
CN102346605B (zh) 一种摄像式触摸控制方法及其系统
Zhang et al. Transforming a regular screen into a touch screen using a single webcam
CN109871178A (zh) 一种基于图像识别的虚拟触摸屏系统
CN115494938A (zh) 非接触式交互方法及装置
Gui et al. Finger detection in video sequences using a new sparse representation
Schlegel et al. Airtouch: Interacting with computer systems at a distance
Kim et al. ThunderPunch: A bare-hand, gesture-based, large interactive display interface with upper-body-part detection in a top view
KR20160031968A (ko) 전방 프로젝션 환경에서 그림자를 제거하기 위한 방법
Zhenying et al. Research on human-computer interaction with laser-pen in projection display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130