CN102968222A - 一种基于深度摄像机的多点触摸设备 - Google Patents

一种基于深度摄像机的多点触摸设备 Download PDF

Info

Publication number
CN102968222A
CN102968222A CN2012104410025A CN201210441002A CN102968222A CN 102968222 A CN102968222 A CN 102968222A CN 2012104410025 A CN2012104410025 A CN 2012104410025A CN 201210441002 A CN201210441002 A CN 201210441002A CN 102968222 A CN102968222 A CN 102968222A
Authority
CN
China
Prior art keywords
information
contact
module
image
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012104410025A
Other languages
English (en)
Inventor
程洪
罗军
刘雅齐
代仲君
杨路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Buffalo Robot Technology Suzhou Co ltd
University of Electronic Science and Technology of China
Original Assignee
Buffalo Robot Technology Suzhou Co ltd
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Buffalo Robot Technology Suzhou Co ltd, University of Electronic Science and Technology of China filed Critical Buffalo Robot Technology Suzhou Co ltd
Priority to CN2012104410025A priority Critical patent/CN102968222A/zh
Publication of CN102968222A publication Critical patent/CN102968222A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种基于深度摄像机的多点触摸设备，该设备包括：图像采集模块，用于采集彩色图像信息和手部触点深度图像信息，并将其传送给触点处理模块；触点处理模块，用于对接收到的信息进行处理，得到投影平面的图像信息，进而得到手指的触点信息，将投影平面上的触点坐标转换为图形界面坐标，将触点信息转化为操作信息并传输到应用程序中；投影显示模块，用于将接收到的信息投影到指定平面上。采用该设备不会对人体造成伤害，对使用者的操作动态捕捉准确，对于图像的触摸控制还原度高，并且便于携带，提高了使用者在应用过程中的互动体验感。

Description

一种基于深度摄像机的多点触摸设备
技术领域
本发明涉及触摸显示领域，特别涉及一种基于深度摄像机的多点触摸设备。
背景技术
随着技术的进步，人机交互不再满足传统的对键盘、鼠标的操作，更自然、更符合人们生活习惯的交互方式陆续出现。声控、手势识别、多点触摸等正改变着人们传统的交互方式。尤其是多点触摸，近年来发展迅猛。电阻式触摸屏、电容式触摸屏、红外感应等都是多点触摸的常用的实现方式。
中国专利申请号为201110182527.7的发明专利申请公开了一种多点触摸显示屏装置，其主要技术方案为：在触摸显示屏角落安装至少两个线型红外激光光源，在触摸屏各条边上安装红外接收模块，在触摸屏的背面安装红外摄像头以及主控模块。主控模块分别连接红外接收模块，线型红外激光光源以及红外摄像头，并控制它们进行工作。各个线型红外激光光源轮流发射红外激光，红外摄像头拍摄整个触摸屏的图像并获取触摸点范围，红外接收模块接收红外激光获取遮挡线信息，主控模块读取遮挡线信息并计算遮挡线交点坐标，并根据触摸点范围和遮挡线交点坐标判断出触摸点坐标。这种方法需要采用红外激光作为介质进行触摸点的获取和定位，红外激光如处理不好对人眼有很大的危害，严重的可导致失明。此装置必须事先固定，红外摄像头轻微的移动也会导致触摸点无法获取或定位错误，不便于搬运和携带。同时此方法仅能用于从屏幕背面投影，在无法进行背投（如墙面）的情况下无法应用。
发明内容
（一）要解决的技术问题
本发明要解决的技术问题是：
在操作过程中设备容易对人体造成伤害，容易受到场地的限制，不便于携带，对使用者操作的动态捕捉不够准确，用户体验效果不佳。
（二）技术方案
为解决上述技术问题，本发明提供了一种基于深度摄像机的多点触摸设备，该设备包括：
图像采集模块，用于采集彩色图像信息和手部触点深度图像信息，并将其传送给触点处理模块；
触点处理模块，用于对接收到的信息进行处理，得到投影平面的图像信息，进而得到手部的触点信息，将投影平面上的触点坐标转换为图形界面坐标，将触点信息转化为操作信息并传输到应用程序中；
投影显示模块，用于将应用程序处理的信息投影到指定平面上。
所述图像采集模块为深度摄像机。
所述深度摄像机通过AUX端口转USB接口与所述触点处理模块连接。
所述触点处理模块具体包括：
图像处理模块，用于对图像所述深度图像信息和彩色图像信息进行处理，得到投影平面图像信息，从而得到触点信息；
标定模块，用于将投影平面的坐标系映射到图形界面的坐标系中；
手势识别模块，用于将触点信息转化为应用程序的操作信息；
数据通信模块，用于将转换成的应用程序操作信息传输到应用程序中。
所述图像处理模块通过设定深度阈值过滤图像采集模块的深度图像和彩色图像，得到投影平面图像信息和触点信息。
所述投影显示模块为正投式投影仪，所述正投式投影仪通过视频输出接口与触点处理模块连接。
所述图像采集模块、触点处理模块、投影显示模块集成为一体。
（三）有益效果
采用该设备不会对人体造成伤害，对使用者的操作动态捕捉准确，对于图像的触摸控制还原度高，并且便于携带，提高了使用者在应用过程中的互动体验感。
附图说明
图1是本发明一种基于深度摄像机的多点触摸设备的流程图。
图2是本发明一种基于深度摄像机的多点触摸设备的操作方式示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在使用设备时先选择进行多点触摸操作的物理平面，即投影平面。将设备放置在合适的位置，调整投影仪使投影图像合适。然后设置深度摄像机的深度阈值，用于滤除掉除了操作平面以外的其他背景干扰信息，从而得到操作平面上的手指触点信息。然后进行标定，将操作平面上的坐标系与微处理器内部的坐标系一一对应。
设置完成后设备开始工作，其工作流程如图1所述。图像采集模块通过深度摄像机采集彩色图像信息和手部触点深度图像信息，深度摄像机通过AUX端口转USB接口与触点处理模块连接进行通信。
触点处理模块对深度摄像机传输来的深度图像信息和彩色图像信息进行处理。触点处理模块中的图像处理模块利用预先设置好的深度阈值过滤掉大部分的背景信息，得到只含有投影平面（触摸操作平面）的图像信息，从而得到触点信息；标定模块将投影平面（触摸操作平面）的坐标系投影到图形界面的坐标系上，实现触点坐标到图形界面坐标的转换；再利用手势识别模块将得到的触点信息转化为应用程序的操作信息，通过数据通讯模块得到的操作信息传输到应用程序中,进行相应的操作。
投影显示模块通过正投式投影仪将图像信息投影在所要投影的平面内，正投式投影仪通过视频输出接口与触点处理模块连接进行数据图像传输。
图2为本发明一种基于深度摄像机的多点触摸设备的操作方式示意图，图中1为触点处理模块，2为图像采集模块，3为投影显示模块。使用者可在投影区域内进行自由控制和操作不会受到空间和场地的限制，提高了用户体验感，并且设备中的图像采集模块、触点处理模块、投影显示模块集成为一体，提高了设备的便携性。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (7)

1.一种基于深度摄像机的多点触摸设备，其特征在于，该设备包括：
图像采集模块，用于采集彩色图像信息和手部触点深度图像信息，并将其传送给触点处理模块；
触点处理模块，用于对接收到的信息进行处理，得到投影平面的图像信息，进而得到手部的触点信息，将投影平面上的触点坐标转换为图形界面坐标，将触点信息转化为操作信息并传输到应用程序中；
投影显示模块，用于将应用程序处理的信息投影到指定平面上。
2.如权利要求1所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述图像采集模块为深度摄像机。
3.如权利要求2所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述深度摄像机通过AUX端口转USB接口与所述触点处理模块连接。
4.如权利要求1所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述触点处理模块具体包括：
图像处理模块，用于对图像所述深度图像信息和彩色图像信息进行处理，得到投影平面图像信息，从而得到触点信息；
标定模块，用于将投影平面的坐标系映射到图形界面的坐标系中；
手势识别模块，用于将触点信息转化为应用程序的操作信息；
数据通信模块，用于将转换成的应用程序操作信息传输到应用程序中。
5.如权利要求4所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述图像处理模块通过设定深度阈值过滤图像采集模块的深度图像和彩色图像，得到投影平面图像信息和触点信息。
6.如权利要求1所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述投影显示模块为正投式投影仪，所述正投式投影仪通过视频输出接口与触点处理模块连接。
7.如权利要求4所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述图像采集模块、触点处理模块、投影显示模块集成为一体。
CN2012104410025A 2012-11-07 2012-11-07 一种基于深度摄像机的多点触摸设备 Pending CN102968222A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012104410025A CN102968222A (zh) 2012-11-07 2012-11-07 一种基于深度摄像机的多点触摸设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012104410025A CN102968222A (zh) 2012-11-07 2012-11-07 一种基于深度摄像机的多点触摸设备

Publications (1)

Publication Number Publication Date
CN102968222A true CN102968222A (zh) 2013-03-13

Family

ID=47798393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012104410025A Pending CN102968222A (zh) 2012-11-07 2012-11-07 一种基于深度摄像机的多点触摸设备

Country Status (1)

Country Link
CN (1) CN102968222A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793784A (zh) * 2015-03-23 2015-07-22 中国科学技术大学先进技术研究院 一种基于深度数据的模拟触摸操作系统及操作方法
CN105389005A (zh) * 2015-10-27 2016-03-09 武汉体育学院 一种二十四式太极拳三维互动展示方法
CN106095199A (zh) * 2016-05-23 2016-11-09 广州华欣电子科技有限公司 一种基于投影屏幕的触控定位方法及系统
CN106963197A (zh) * 2017-06-01 2017-07-21 电子科技大学中山学院 一种信息显示位置可动态调整的智能镜子
WO2017181728A1 (zh) * 2016-04-19 2017-10-26 华为技术有限公司 一种背投系统及屏幕
WO2022116281A1 (zh) * 2020-12-03 2022-06-09 深圳技术大学 一种新的非接触式人机交互方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859203A (zh) * 2009-04-07 2010-10-13 李鑫 一种可以实现多点控制的触屏系统
CN102184021A (zh) * 2011-05-27 2011-09-14 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
CN102221887A (zh) * 2011-06-23 2011-10-19 康佳集团股份有限公司 互动投影系统及方法
CN102272773A (zh) * 2008-12-30 2011-12-07 诺基亚公司 提供手分割用于手势分析的方法、装置和计算机程序产品
CN102622182A (zh) * 2012-04-16 2012-08-01 李波 具备近接感测投影点坐标指示的离屏触控交互系统
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102272773A (zh) * 2008-12-30 2011-12-07 诺基亚公司 提供手分割用于手势分析的方法、装置和计算机程序产品
CN101859203A (zh) * 2009-04-07 2010-10-13 李鑫 一种可以实现多点控制的触屏系统
CN102184021A (zh) * 2011-05-27 2011-09-14 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
CN102221887A (zh) * 2011-06-23 2011-10-19 康佳集团股份有限公司 互动投影系统及方法
CN102622182A (zh) * 2012-04-16 2012-08-01 李波 具备近接感测投影点坐标指示的离屏触控交互系统
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793784A (zh) * 2015-03-23 2015-07-22 中国科学技术大学先进技术研究院 一种基于深度数据的模拟触摸操作系统及操作方法
CN104793784B (zh) * 2015-03-23 2018-11-20 中国科学技术大学先进技术研究院 一种基于深度数据的模拟触摸操作系统及操作方法
CN105389005A (zh) * 2015-10-27 2016-03-09 武汉体育学院 一种二十四式太极拳三维互动展示方法
WO2017181728A1 (zh) * 2016-04-19 2017-10-26 华为技术有限公司 一种背投系统及屏幕
CN106095199A (zh) * 2016-05-23 2016-11-09 广州华欣电子科技有限公司 一种基于投影屏幕的触控定位方法及系统
CN106963197A (zh) * 2017-06-01 2017-07-21 电子科技大学中山学院 一种信息显示位置可动态调整的智能镜子
CN106963197B (zh) * 2017-06-01 2018-03-23 电子科技大学中山学院 一种信息显示位置可动态调整的智能镜子
WO2022116281A1 (zh) * 2020-12-03 2022-06-09 深圳技术大学 一种新的非接触式人机交互方法及系统

Similar Documents

Publication Publication Date Title
CN110310288B (zh) 用于混合现实环境中的对象分割的方法和系统
CN102968222A (zh) 一种基于深度摄像机的多点触摸设备
CN104969148B (zh) 基于深度的用户界面手势控制
US20180365086A1 (en) Method for Processing Data Collected by Touch Panel, and Terminal Device
EP2790089A1 (en) Portable device and method for providing non-contact interface
US10203760B2 (en) Display device and control method thereof, gesture recognition method, and head-mounted display device
CN103809880A (zh) 人机交互系统及方法
CN102662462A (zh) 电子装置、手势识别方法及手势应用方法
WO2013188069A1 (en) Input method designed for augmented reality goggles
US20150002475A1 (en) Mobile device and method for controlling graphical user interface thereof
CN105224069A (zh) 一种增强现实虚拟键盘输入方法及使用该方法的装置
CN103176667A (zh) 基于Android系统的投影屏幕触摸终端设备
CN105094675B (zh) 一种人机交互方法及触屏可穿戴设备
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
CN103838365A (zh) 穿透型头部穿戴式显示系统与互动操作方法
CN105468209A (zh) 输入设备的虚拟二维定位模块及虚拟输入设备
CN104363345A (zh) 一种显示方法和电子设备
EP2767888A3 (en) Method for user input from alternative touchpads of a handheld computerized device
CN105807989A (zh) 一种手势触控方法和系统
TWI521387B (zh) 三維空間中之可重置式虛擬觸控板
CN203386146U (zh) 基于红外视频定位的人机交互装置
WO2014084634A1 (ko) 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법
CN103713387A (zh) 电子设备和采集方法
CN103729097B (zh) 在电子白板投影区内和投影区外同时支持书写的方法
CN203606780U (zh) 多点触摸和手势识别融合系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130313