CN104536575A - 一种基于3d传感的大屏互动系统实现方法 - Google Patents
一种基于3d传感的大屏互动系统实现方法 Download PDFInfo
- Publication number
- CN104536575A CN104536575A CN201510001570.7A CN201510001570A CN104536575A CN 104536575 A CN104536575 A CN 104536575A CN 201510001570 A CN201510001570 A CN 201510001570A CN 104536575 A CN104536575 A CN 104536575A
- Authority
- CN
- China
- Prior art keywords
- gesture
- event
- touch
- depth data
- modeled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于3D传感的大屏互动系统实现方法，包括以下步骤：(1)创建互动区域：通过3D传感装置创建桌面式互动平台，并得到该桌面式互动平台的初始深度数据，根据初始深度数据对应调整投影仪在桌面式互动平台上显示的图像；(2)确定触摸事件：通过3D传感装置逐帧确定触摸点对应的深度数据，并与步骤(1)中得到的初始深度数据比较，确定触摸事件，所述触摸事件的触摸方式包括移动手势，放大、缩小手势，手掌手势，以及三手指手势；(3)将上述触摸事件模拟成鼠标和/或键盘事件，并在投影仪显示的图像上显示出来，以一种直观化、立体式、多人实时互动性的方式传递一种全新互动新感觉和新体验，并能够达到良好的人机互动效果。
Description
技术领域
本发明涉及一种大屏互动系统实现方法，具体涉及一种基于3D传感的大屏互动系统实现方法。
背景技术
人机交互技术已在我们生活中得到广泛应用，同时触屏技术被视作通往理想人机交互途中的一个节点。以苹果iPhone手机为代表，触屏技术为我们带来了新奇的、简单易用的人机接口，也带来了梦幻般的操控体验。科学家预言，在不久的未来，人类只要通过语言、手势、表情等输入，机器就知道该做什么，这就是人机交互的理想状态，就像《阿凡达》电影里，人类一按启动键，一幅全息立体的操作界面即呈现在眼前，随手一点，程序就打开了，随手一划，数据就按意愿移动。但是现有技术中的触屏技术，是采用实体的触摸屏配合识别软件来代替鼠标或键盘，而不能采用虚拟屏幕来完成上述功能，因此本发明是最新人机互动领域研究的一个重要方向，并符合互动技术向大屏互动领域发展的研究趋势。
发明内容
本发明目的是：提供一种基于3D传感的大屏互动系统实现方法，以一种直观化、立体式、多人实时互动性的方式传递一种全新互动新感觉和新体验，并能够达到良好的人机互动效果。
本发明的技术方案是：一种基于3D传感的大屏互动系统实现方法，包括以下步骤：
(1)创建互动区域：通过3D传感装置创建桌面式互动平台，并得到该桌面式互动平台的初始深度数据，根据初始深度数据对应调整投影仪在桌面式互动平台上显示的图像；
(2)确定触摸事件：通过3D传感装置逐帧确定触摸点对应的深度数据，并与步骤(1)中得到的初始深度数据比较，确定触摸事件，所述触摸事件的触摸方式包括移动手势，放大、缩小手势，手掌手势，以及三手指手势；
(3)将上述触摸事件模拟成鼠标和/或键盘事件，并在投影仪显示的图像上显示出来。
作为优选的技术方案，所述移动手势包括同向移动手势和左右移动手势，所述同向移动手势模拟成鼠标左击并按住事件，所述左右移动手势模拟成键盘删除事件。
作为优选的技术方案，所述放大、缩小手势模拟成键盘按住Ctrl键+鼠标中键滑动事件。
作为优选的技术方案，所述手掌手势包括静态手掌手势和动态手掌手势，所述静态手掌手势模拟成鼠标光标事件，所述动态手掌手势模拟成鼠标右击并按住事件。
作为优选的技术方案，所述三手指手势模拟成键盘按住Shift键+鼠标左击并按住事件，其中所述三手指分别为食指、中指和大拇指。
作为优选的技术方案，所述3D传感装置为3D体感摄影机，该3D体感摄影机的深度摄像头覆盖整个桌面式互动平台。
作为优选的技术方案，所述3D体感摄影机设于所述桌面式互动平台顶部，且其到该桌面式互动平台的最小垂直距离为0.75m，最大垂直距离为1m。
作为优选的技术方案，步骤(2)中确定触摸事件后，将对应深度数据放入具有去除外界噪声干扰功能的滤波模块。
本发明的优点是：本发明基于3D传感的大屏互动系统实现方法，采用3D传感装置的视觉、红外感应、动感捕捉、图像处理等多种混合技术，识别人体手势，精准多点互动，实现移动手势，放大、缩小手势，手掌手势，以及三手指手势操作，同时模拟鼠标和/或键盘事件，并在投影仪显示的图像上显示出来，以一种直观化、立体式、多人实时互动性的方式给参与者传递一种全新互动新感觉和新体验，并达到良好的人机互动效果。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明基于3D传感的大屏互动系统的示意图；
其中：13D体感摄影机，2桌面式互动平台。
具体实施方式
实施例：一种基于3D传感的大屏互动系统实现方法，包括以下步骤：
(1)创建互动区域：通过3D体感摄影机1创建桌面式互动平台2，并得到该桌面式互动平台2的初始深度数据，根据初始深度数据对应调整投影仪在桌面式互动平台2上显示的图像，该3D体感摄影机1设于所述桌面式互动平台2顶部，同时该3D体感摄影机1的深度摄像头覆盖整个桌面式互动平台2，且其到该桌面式互动平台2的最小垂直距离为0.75m，最大垂直距离为1m，还要保证3D体感摄影机1安装后不会被移动且不会被其他因素干扰到，因为即使是微小的振动都会对深度数据造成干扰，降低互动的准确性，若将一面墙作为桌面式互动平台2，以上的规则依旧适用，但需要非常小心的确认3D体感摄影机1的安装位置，保证3D体感摄影机1面对互动平面的视野不能完全被站立着的使用者所遮挡，总而言之，互动实现的核心基础是3D体感摄影机1头顶安装，覆盖整个桌面式互动平台2，对于互动墙面也是最佳的方式；
(2)确定触摸事件：通过3D体感摄影机1逐帧确定触摸点对应的深度数据，这些深度数据被存储在深度缓冲区内，并与步骤(1)中得到的初始深度数据比较，确定是否存在触摸事件和触摸点在桌面式互动平台2内所对应的位置，采用对触摸点进行仿射变换，将桌面式互动平台2内的触摸点转变为投影仪显示的图像范围内的触摸点，采用连通区域算法，将每一个手指之间进行区分，采用质点分析算法确认哪些点是真正的触摸，哪些则是干扰，所述触摸事件的触摸方式包括移动手势，放大、缩小手势，手掌手势，以及三手指手势，确定触摸事件后，将对应深度数据放入具有去除外界噪声干扰功能的滤波模块，以此来去除外界噪声干扰的影响；
(3)将上述触摸事件模拟成鼠标和/或键盘事件，并在投影仪显示的图像上显示出来。
本发明的移动手势包括同向移动手势和左右移动手势，所述同向移动手势模拟成鼠标左击并按住事件，所述左右移动手势模拟成键盘删除事件；对于同向移动手势来说，图像被移动在实现过程中是相反的，首先检查当前和之前触摸点的各自坐标位置是否有差值，并且该差值要大于开关阈值，才确定该同向移动手势模拟成鼠标左击并按住事件；对于左右移动手势来说，首先检查当前和之前触摸点的各自坐标位置是否有差值，并且该差值大于一个删除阈值，在经过3次成功的左右移动手势之后，确定该同向移动手势模拟成键盘删除事件。
本发明的放大、缩小手势模拟成键盘按住Ctrl键+鼠标中键滑动事件；若前后触摸点之间距离的差值是正值，就判断为放大手势；若前后触摸点之间距离的差值是负值，就判断为缩小手势，且每次放大、缩小手势发生时，有对应的放大、缩小计数器会依次增加1。
本发明的手掌手势包括静态手掌手势和动态手掌手势，所述静态手掌手势模拟成鼠标光标事件，所述动态手掌手势模拟成鼠标右击并按住事件；手掌手势是一个5个手指的手势，然而实际情况中，2个相邻的手指往往会合并成一个触摸点，被当作一个手指表示，这种情况下，手掌手势就变成4个触摸点的手势了，由于上述情况的存在，将这些情况归类成同一类手掌手势，将4个触摸点或者5个触摸点的平均x和y轴位置作为实际的鼠标光标位置。由于手掌操作手势对时间噪声很敏感，不能稳定的决定鼠标光标的坐标位置，为了消除这个问题，我们计算2坐标位置之间的平均坐标，并且将该均值作为最终的手掌坐标；一旦当前触摸点移动了坐标位置，我们要计算x和y方向上的移动差值，若移动差值超过阈值，动态手掌手势将被转化成鼠标右击并按住事件。
本发明的三手指手势模拟成键盘按住Shift键+鼠标左击并按住事件，其中所述三手指分别为食指、中指和大拇指；使用食指、中指和大拇指作为自然的互动媒介，并且将中指的坐标作为手势的实际坐标位置。为了确保该条件计算的有效性，对3个手指的坐标做条件检测，并且将结果传递给函数，依照分类触摸点的步骤，最终的触摸点(中指的坐标)被提取出来，并且根据在移动手势中所采用的相同方法在每帧内检测出动作。
本发明定义了一个深度数据值上限Dmax，超出该上限的所有深度数据均被认为不属于触摸范围内，同时定义了一个深度数据值的下限Dmin，低于该下限的所有深度数据均被认为无意义的触摸，也就是只有在Dmax和Dmin之间的狭小区域被定义为触摸点的有效区域，此处上限Dmax和下限Dmin是依据具体桌面式互动平台2大小而定。(注意：为了避免虚假校正值被计入，任何深度数据值＝0或者大于1200的均被认为是无效触摸)。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于3D传感的大屏互动系统实现方法，其特征在于，包括以下步骤：
(1)创建互动区域：通过3D传感装置创建桌面式互动平台，并得到该桌面式互动平台的初始深度数据，根据初始深度数据对应调整投影仪在桌面式互动平台上显示的图像；
(2)确定触摸事件：通过3D传感装置逐帧确定触摸点对应的深度数据，并与步骤(1)中得到的初始深度数据比较，确定触摸事件，所述触摸事件的触摸方式包括移动手势，放大、缩小手势，手掌手势，以及三手指手势；
(3)将上述触摸事件模拟成鼠标和/或键盘事件，并在投影仪显示的图像上显示出来。
2.根据权利要求1所述的基于3D传感的大屏互动系统实现方法，其特征在于，所述移动手势包括同向移动手势和左右移动手势，所述同向移动手势模拟成鼠标左击并按住事件，所述左右移动手势模拟成键盘删除事件。
3.根据权利要求1所述的基于3D传感的大屏互动系统实现方法，其特征在于，所述放大、缩小手势模拟成键盘按住Ctrl键+鼠标中键滑动事件。
4.根据权利要求1所述的基于3D传感的大屏互动系统实现方法，其特征在于，所述手掌手势包括静态手掌手势和动态手掌手势，所述静态手掌手势模拟成鼠标光标事件，所述动态手掌手势模拟成鼠标右击并按住事件。
5.根据权利要求1所述的基于3D传感的大屏互动系统实现方法，其特征在于，所述三手指手势模拟成键盘按住Shift键+鼠标左击并按住事件，其中所述三手指分别为食指、中指和大拇指。
6.根据权利要求1所述的基于3D传感的大屏互动系统实现方法，其特征在于，所述3D传感装置为3D体感摄影机，该3D体感摄影机的深度摄像头覆盖整个桌面式互动平台。
7.根据权利要求6所述的基于3D传感的大屏互动系统实现方法，其特征在于，所述3D体感摄影机设于所述桌面式互动平台顶部，且其到该桌面式互动平台的最小垂直距离为0.75m，最大垂直距离为1m。
8.根据权利要求1所述的基于3D传感的大屏互动系统实现方法，其特征在于，步骤(2)中确定触摸事件后，将对应深度数据放入具有去除外界噪声干扰功能的滤波模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510001570.7A CN104536575A (zh) | 2015-01-04 | 2015-01-04 | 一种基于3d传感的大屏互动系统实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510001570.7A CN104536575A (zh) | 2015-01-04 | 2015-01-04 | 一种基于3d传感的大屏互动系统实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104536575A true CN104536575A (zh) | 2015-04-22 |
Family
ID=52852115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510001570.7A Pending CN104536575A (zh) | 2015-01-04 | 2015-01-04 | 一种基于3d传感的大屏互动系统实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104536575A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104991684A (zh) * | 2015-07-23 | 2015-10-21 | 京东方科技集团股份有限公司 | 触控设备及其工作方法 |
| CN109887580A (zh) * | 2019-02-25 | 2019-06-14 | 宁波江丰生物信息技术有限公司 | 一种基于手势遥感的数字切片的阅读方法 |
| CN114245093A (zh) * | 2022-02-25 | 2022-03-25 | 北京深光科技有限公司 | 基于红外和热感的投影操作方法、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102253713A (zh) * | 2011-06-23 | 2011-11-23 | 康佳集团股份有限公司 | 面向三维立体影像显示系统 |
| CN102789312A (zh) * | 2011-12-23 | 2012-11-21 | 乾行讯科（北京）科技有限公司 | 一种用户交互系统和方法 |
| CN103677240A (zh) * | 2012-09-24 | 2014-03-26 | 株式会社理光 | 虚拟触摸交互方法和虚拟触摸交互设备 |
-
2015
- 2015-01-04 CN CN201510001570.7A patent/CN104536575A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102253713A (zh) * | 2011-06-23 | 2011-11-23 | 康佳集团股份有限公司 | 面向三维立体影像显示系统 |
| CN102789312A (zh) * | 2011-12-23 | 2012-11-21 | 乾行讯科（北京）科技有限公司 | 一种用户交互系统和方法 |
| CN103677240A (zh) * | 2012-09-24 | 2014-03-26 | 株式会社理光 | 虚拟触摸交互方法和虚拟触摸交互设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104991684A (zh) * | 2015-07-23 | 2015-10-21 | 京东方科技集团股份有限公司 | 触控设备及其工作方法 |
| US10209797B2 (en) | 2015-07-23 | 2019-02-19 | Boe Technology Group Co., Ltd. | Large-size touch apparatus having depth camera device |
| CN109887580A (zh) * | 2019-02-25 | 2019-06-14 | 宁波江丰生物信息技术有限公司 | 一种基于手势遥感的数字切片的阅读方法 |
| CN114245093A (zh) * | 2022-02-25 | 2022-03-25 | 北京深光科技有限公司 | 基于红外和热感的投影操作方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9857868B2 (en) | Method and system for ergonomic touch-free interface | |
| JP6350261B2 (ja) | オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法 | |
| JP6165485B2 (ja) | 携帯端末向けａｒジェスチャユーザインタフェースシステム | |
| CN103105930A (zh) | 一种基于视频图像的非接触式智能输入方法及装置 | |
| JP6524589B2 (ja) | クリック動作検出装置，方法およびプログラム | |
| KR20120068253A (ko) | 사용자 인터페이스의 반응 제공 방법 및 장치 | |
| CN102306053B (zh) | 一种基于虚拟触摸屏的人机交互方法、装置及电子设备 | |
| US20210117078A1 (en) | Gesture Input Method for Wearable Device and Wearable Device | |
| CN112506340A (zh) | 设备控制方法、装置、电子设备及存储介质 | |
| CN104679416A (zh) | 移动终端及其屏幕控制方法 | |
| CN108008868A (zh) | 界面控制方法及电子装置 | |
| US20130342441A1 (en) | Character input method and information processing apparatus | |
| CN103761011B (zh) | 一种虚拟触摸屏的方法、系统及计算设备 | |
| JP2024508566A (ja) | 動的ジェスチャー認識方法、装置、可読記憶媒体及びコンピュータ機器 | |
| CN104536575A (zh) | 一种基于3d传感的大屏互动系统实现方法 | |
| JP2014029656A (ja) | 画像処理装置および画像処理方法 | |
| KR101426378B1 (ko) | 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법 | |
| US20120249468A1 (en) | Virtual Touchpad Using a Depth Camera | |
| KR101019255B1 (ko) | 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리방법 및 스크린장치 | |
| CN106990900A (zh) | 一种书写实现方法和装置 | |
| KR101564089B1 (ko) | 손동작 인식을 이용한 프리젠테이션 실행시스템 | |
| KR20160011451A (ko) | 가상 키보드와 손동작 인식을 이용한 문자 입력장치 및 이를 이용한 문자 입력방법 | |
| KR101535738B1 (ko) | 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법 | |
| Posner et al. | A single camera based floating virtual keyboard with improved touch detection | |
| KR101289883B1 (ko) | 영역 별로 임계치를 다르게 적용한 마스크 이미지 생성 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150422 |