CN102750046A - 基于双结构光红外识别的快速三维显示交互装置及方法 - Google Patents
基于双结构光红外识别的快速三维显示交互装置及方法 Download PDFInfo
- Publication number
- CN102750046A CN102750046A CN2012101724980A CN201210172498A CN102750046A CN 102750046 A CN102750046 A CN 102750046A CN 2012101724980 A CN2012101724980 A CN 2012101724980A CN 201210172498 A CN201210172498 A CN 201210172498A CN 102750046 A CN102750046 A CN 102750046A
- Authority
- CN
- China
- Prior art keywords
- infrared light
- light supply
- infrared
- quick
- image capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000004044 response Effects 0.000 claims abstract description 5
- 230000002452 interceptive effect Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 7
- 230000004069 differentiation Effects 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000007639 printing Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 8
- 239000002131 composite material Substances 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000009977 dual effect Effects 0.000 abstract 5
- 238000005516 engineering process Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010009696 Clumsiness Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种基于双结构光红外识别的快速三维显示交互装置及方法。装置包括附加有红外滤光片的图像捕捉系统、双红外光源、双图样模板，图像捕捉系统设置于双红外光源之间并对准双光源照亮的重叠区域。方法主要步骤包括：双光源经各自图样模板投射出复合的图案到交互者的手部，并由图像捕捉系统拍摄获取，计算机实时处理图像捕捉系统获取的图像，进行前景和后景的区分以获得手部的大致轮廓，将得到的轮廓与事先储存的资料库中的形状进行匹配，最为匹配且相似度超过阈值的即判定为当前交互者做出的手势，并对该手势做出相应的响应。本发明可以应用在现有三维显示设备上，以更快速的算法、更紧凑的硬件结构实现徒手三维交互功能。
Description
技术领域
本发明涉及多媒体交互设计方法，尤其涉及一种基于双结构光红外识别的快速三维显示交互装置及方法。
背景技术
随着三维显示技术的迅猛发展，人们对三维虚拟场景下的交互诉求愈加迫切。三维交互技术可以让使用者在虚拟立体场景中进行各种操作，可以大幅度提高交互的真实感，使交互体验更加自然。与二维显示系统的交互不同（该交互形式只有三个自由度），三维空间的交互存在6个自由度，即X、Y、Z方向的位移以及围绕三个轴的旋转。这使得研究者们必须开发出新型的交互形式。长期以来研究者们提出了各种方法以实现尽可能自然的三维交互。从早期的使用键盘等非直观式控制，到后来的借助笨拙的手持辅助设备，再到使用轻便一些的辅助设备如手套等进行交互。然而这些技术并不能完全解放双手，实现自由、直观、简单的交互体验。通常意义上的徒手三维交互技术的核心是基于计算机视觉手部追踪。目前大部分的研究成果都是基于双摄像机的立体视觉原理，并工作在可见光源下，只是在图像处理的技术上各有不同。也有研究者开发出使用一对正交的摄像机拍摄人手部动作的系统。
然而这些研究依然存在不足。首先，双摄像机需要更强大的运算处理能力，在处理速度上，明显单摄像机更具有优势，而且单摄像机系统的成本较低。其次，这些系统都是使用复合结构光探测手部的空间姿态，对可见光下的彩色图像进行处理（使用肤色识别技术检测出人手），这对环境照明条件提出了较高的要求，而目前三维全视差显示设备的亮度较低，因此现场的照明不能太亮。即使是现有基于单摄像机的追踪技术也存在各种不足，单纯地将手指图像的宽度与空间距离相对应的方法十分不精确。因此，使用红外光源，基于单摄像机的徒手交互设计方案开始进入人们的视野。
鉴于目前三维显示技术的发展特性，其对于交互设计的要求重点在于快速实现包括选择、移动和旋转等基本的交互应用。本发明的主要目的在于为已有的全视差三维显示系统设计并构建一个与之匹配的交互方案，通过该系统使用者可以与虚拟三维场景进行交互，即对虚拟三维物体进行操控。其优点在于以更快速的算法、更紧凑的硬件结构实现徒手三维交互功能。
发明内容
本发明的目的是克服现有技术和交互方法的不足，提供一种基于双结构光红外识别的快速三维显示交互装置及方法。
基于双结构光红外识别的快速三维显示交互装置包括图像捕捉系统、第一红外光源、第二红外光源、红外滤光片、第一图样模板、第二图样模板、计算机；图像捕捉系统、第一红外光源、第二红外光源设置于同一基准面上，图像捕捉系统设置于第一红外光源、第二红外光源之间，并对准第一红外光源和第二红外光源照亮的重叠区域，图像捕捉系统前方设有红外滤光片，图像捕捉系统与计算机连接，第一红外光源前方设置有第一图样模板，第二红外光源前方设置有第二图样模板。
所述的第一图样模板、第二图样模板是印制有设定透光与不透光特性的图样结构，实现对出射的红外光进行空间上的调制。
基于双结构光红外识别的快速三维显示交互方法的步骤如下：
1)采用基于双结构光红外识别的快速三维显示交互装置，使图像捕捉系统对准第一红外光源和第二红外光源照亮的重叠区域进行拍摄；
2)第一红外光源经第一图样模板，第二红外光源经第二图样模板投射出复合的图案到交互者的手部，并由图像捕捉系统拍摄获取；
3)计算机实时处理图像捕捉系统获取的图像，进行前景和后景的区分以获得手部的大致轮廓，将得到的轮廓与事先储存的资料库中的形状进行匹配，最为匹配且相似度超过阈值的即判定为当前交互者做出的手势，并对该手势做出相应的响应；
4)当手部在平行基准面的平面内运动时，程序会对手势的中心进行跟踪，得到实时的XY坐标；当手部在垂直基准面的方向上运行时，程序会根据图案相对位置的变化进行判定；当手部转动轴线平行或垂直基准面时，程序会根据手部图像在X方向或Y方向的宽度变化探测出手掌的动态；
5)实时获取的三维场景空间坐标送入相应的三维显示装置。
本发明可以构建一个拓展性强、成本可控，并且能应用于现有三维显示设备上满足快速、实时徒手交互诉求的交互装置。其优点在于，首先，基于单摄像机视觉的系统有效降低了成本、增强了通用性与可移植性，并且处理速度也将更快。其次，采用红外光源作为照明光源，使得系统将不受环境照明条件的影响，同时这也是出于对用户友好的考虑。再次，使用者可以不借助辅助设备（如手套等）完成交互。最后，该系统可以对使用者手部的运动和姿态改变进行实时探测，实现包括对三维场景三个维度的位移控制、缩放、旋转等动作。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是基于双结构光红外识别的快速三维显示交互装置结构示意图；
图2（a）是本发明的第一图样模板设计图例；
图2（b）是本发明的第二图样模板设计图例；
图中，图像捕捉系统1、第一红外光源2、第二红外光源3、红外滤光片4，、第一图样模板5、第二图样模板6、计算机7。
具体实施方式
下面结合实施例说明本发明的工作过程如下：
如图1所示，基于双结构光红外识别的快速三维显示交互装置，包括图像捕捉系统1、第一红外光源2、第二红外光源3、红外滤光片4、第一图样模板5、第二图样模板6、计算机7；图像捕捉系统1、第一红外光源2、第二红外光源3设置于同一基准面上，图像捕捉系统1设置于第一红外光源2、第二红外光源3之间，并对准第一红外光源2和第二红外光源3照亮的重叠区域，图像捕捉系统1前方设有红外滤光片4，图像捕捉系统1与计算机7连接，第一红外光源2前方设置有第一图样模板5，第二红外光源3前方设置有第二图样模板6。
如图2所示，第一图样模板5、第二图样模板6是印制有设定透光与不透光特性的图样结构，实现对对出射的红外光进行空间上的调制。这里只是设计了一组图样结构，实际应用可视不同应用场合和精度要求设计相应的图样结构。
基于双结构光红外识别的快速三维显示交互方法的步骤如下：
1)采用基于双结构光红外识别的快速三维显示交互装置，使图像捕捉系统1对准第一红外光源2和第二红外光源3照亮的重叠区域进行拍摄；
2)第一红外光源2经第一图样模板5，第二红外光源3经第二图样模板6投射出复合的图案到交互者的手部，并由图像捕捉系统1拍摄获取；
3)计算机7实时处理图像捕捉系统1获取的图像，进行前景和后景的区分以获得手部的大致轮廓，将得到的轮廓与事先储存的资料库中的形状进行匹配，最为匹配且相似度超过阈值的即判定为当前交互者做出的手势，并对该手势做出相应的响应；
4)当手部在平行基准面的平面内运动时，程序会对手势的中心进行跟踪，得到实时的XY坐标；当手部在垂直基准面的方向上运行时，程序会根据图案相对位置的变化进行判定；当手部转动轴线平行或垂直基准面时，程序会根据手部图像在X方向或Y方向的宽度变化探测出手掌的动态；
5)实时获取的三维场景空间坐标送入相应的三维显示装置。
具体的图像处理方法上，计算机7实时处理图像捕捉系统1获取的图像，进行前景和后景的区分。这里将主要依据图案的亮度和连贯度将前景提取并进行二值化。二值化后通过图像形态学的方法滤除噪点，并使彼此隔离但距离很近的亮部连通，此时得到前景的大致轮廓，对此轮廓进行分析，通过图像匹配和特征检测的方法对前景轮廓进行筛选，匹配度超过判定阈值的即可判断为手势，将判断为手势的轮廓保留，再将这些轮廓与原图按位进行与操作，此时得到完整、干净的前景图像，图像中仍保留着两组横条纹信息，这时将条纹图案抽象成线，排除掉距离太远的线条，保留下距离合适的线条，将这些线条的位置存储以用于判断手部的前后位移。此时已经对手势进行了识别，因此系统将对该手势做出相应的响应。
当手部在平行基准面的平面内运动时，程序会对手势的中心进行跟踪，得到实时的XY坐标；当手部在垂直基准面的方向上运行时，程序会根据图案相对位置的变化进行判定。当使用者的手部垂直基准面的方向上前后移动时，两个图案的相对位置也将发生改变。具体的变化是：当手部向前移动时，第一红外光源2投射的图案向上平移，第二红外光源3投射的图案向下平移；当手部向后移动时，第一红外光源2投射的图案向下平移，第二红外光源3投射的图案向上平移。由于两种图案的特别设计，这两个图案不存在相互遮挡的情况，因此可以通过图像处理分别提取出来，再分别跟踪两个图案的位置变化，此时使用了之前存储的抽象出的线条的位置，对前后两帧图像抽象出的线条的位置进行匹配，距离最近且不大于阈值的可判定为同一线条，将两组线条的上下位置差取平均值，即可算出图案在两帧图像里平移的距离，从而得到手部与屏幕之间的距离变化。当手部转动轴平行或垂直基准面时，程序会根据手部图像在X方向或Y方向的宽度变化探测出手掌的动态。实时获取的三维场景空间坐标送入三维显示装置。
虽然这里是通过示意和举例的方式对本发明进行进一步描述的，但应该认识到，本发明并不局限于上述实施方式和实施例，前文的描述只被认为是说明性的，而非限制性的，本领域技术人员可以做出多种变换或修改，只要没有离开所附权利要求中所确立的范围和精神实质，均视为在本发明的保护范围之内。
Claims (3)
1.一种基于双结构光红外识别的快速三维显示交互装置，其特征在于包括图像捕捉系统（1）、第一红外光源（2）、第二红外光源（3）、红外滤光片（4）、第一图样模板（5）、第二图样模板（6）、计算机（7）；图像捕捉系统（1）、第一红外光源（2）、第二红外光源（3）设置于同一基准面上，图像捕捉系统（1）设置于第一红外光源（2）、第二红外光源（3）之间，并对准第一红外光源（2）和第二红外光源（3）照亮的重叠区域，图像捕捉系统（1）前方设有红外滤光片（4），图像捕捉系统（1）与计算机（7）连接，第一红外光源（2）前方设置有第一图样模板（5），第二红外光源（3）前方设置有第二图样模板（6）。
2.根据权利要求1所述的一种基于双结构光红外识别的快速三维显示交互装置，其特征在于所述的第一图样模板（5）、第二图样模板（6）是印制有设定透光与不透光特性的图样结构，实现对出射的红外光进行空间上的调制。
3.一种使用如权利要求1所述装置的基于双结构光红外识别的快速三维显示交互方法，其特征在于它的步骤如下：
1)采用基于双结构光红外识别的快速三维显示交互装置，使图像捕捉系统（1）对准第一红外光源（2）和第二红外光源（3）照亮的重叠区域进行拍摄；
2)第一红外光源（2）经第一图样模板（5），第二红外光源（3）经第二图样模板（6）投射出复合的图案到交互者的手部，并由图像捕捉系统（1）拍摄获取；
3)计算机（7）实时处理图像捕捉系统（1）获取的图像，进行前景和后景的区分以获得手部的大致轮廓，将得到的轮廓与事先储存的资料库中的形状进行匹配，最为匹配且相似度超过阈值的即判定为当前交互者做出的手势，并对该手势做出相应的响应；
4)当手部在平行基准面的平面内运动时，程序会对手势的中心进行跟踪，得到实时的XY坐标；当手部在垂直基准面的方向上运行时，程序会根据图案相对位置的变化进行判定；当手部转动轴线平行或垂直基准面时，程序会根据手部图像在X方向或Y方向的宽度变化探测出手掌的动态；
5)实时获取的三维场景空间坐标送入相应的三维显示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210172498.0A CN102750046B (zh) | 2012-05-30 | 2012-05-30 | 基于双结构光红外识别的快速三维显示交互装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210172498.0A CN102750046B (zh) | 2012-05-30 | 2012-05-30 | 基于双结构光红外识别的快速三维显示交互装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102750046A true CN102750046A (zh) | 2012-10-24 |
| CN102750046B CN102750046B (zh) | 2015-09-09 |
Family
ID=47030289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210172498.0A Active CN102750046B (zh) | 2012-05-30 | 2012-05-30 | 基于双结构光红外识别的快速三维显示交互装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102750046B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514437A (zh) * | 2012-12-24 | 2014-01-15 | Tcl集团股份有限公司 | 一种三维手势识别装置及三维手势识别方法 |
| CN106773509A (zh) * | 2017-03-28 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 一种光度立体三维重建方法及分光式光度立体相机 |
| CN107492146A (zh) * | 2017-07-25 | 2017-12-19 | 深圳市魔眼科技有限公司 | 三维模型构建方法、装置、移动终端、存储介质及设备 |
| CN108334246A (zh) * | 2017-12-11 | 2018-07-27 | 北京硬壳科技有限公司 | 悬浮触控方法及相关装置 |
| WO2019213862A1 (zh) * | 2018-05-09 | 2019-11-14 | 深圳阜时科技有限公司 | 图案投射装置、图像获取装置、身份识别装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6549288B1 (en) * | 1998-05-14 | 2003-04-15 | Viewpoint Corp. | Structured-light, triangulation-based three-dimensional digitizer |
| US20090190139A1 (en) * | 2008-01-25 | 2009-07-30 | Fisher Lance K | Multi-source sensor for three-dimensional imaging using phased structured light |
| CN201876656U (zh) * | 2010-09-02 | 2011-06-22 | 姚征远 | 多角度单色光三维投影测量用投影装置 |
-
2012
- 2012-05-30 CN CN201210172498.0A patent/CN102750046B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6549288B1 (en) * | 1998-05-14 | 2003-04-15 | Viewpoint Corp. | Structured-light, triangulation-based three-dimensional digitizer |
| US20090190139A1 (en) * | 2008-01-25 | 2009-07-30 | Fisher Lance K | Multi-source sensor for three-dimensional imaging using phased structured light |
| CN201876656U (zh) * | 2010-09-02 | 2011-06-22 | 姚征远 | 多角度单色光三维投影测量用投影装置 |
Non-Patent Citations (1)
| Title |
|---|
| 吴平等: "《近代物理与高新技术》", 30 September 2004, 北京市：国防工业出版社 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514437A (zh) * | 2012-12-24 | 2014-01-15 | Tcl集团股份有限公司 | 一种三维手势识别装置及三维手势识别方法 |
| CN106773509A (zh) * | 2017-03-28 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 一种光度立体三维重建方法及分光式光度立体相机 |
| WO2018176534A1 (zh) * | 2017-03-28 | 2018-10-04 | 成都通甲优博科技有限责任公司 | 一种光度立体三维重建方法及分光式光度立体相机 |
| CN107492146A (zh) * | 2017-07-25 | 2017-12-19 | 深圳市魔眼科技有限公司 | 三维模型构建方法、装置、移动终端、存储介质及设备 |
| CN108334246A (zh) * | 2017-12-11 | 2018-07-27 | 北京硬壳科技有限公司 | 悬浮触控方法及相关装置 |
| CN108334246B (zh) * | 2017-12-11 | 2021-06-22 | 北京硬壳科技有限公司 | 悬浮触控方法及相关装置 |
| WO2019213862A1 (zh) * | 2018-05-09 | 2019-11-14 | 深圳阜时科技有限公司 | 图案投射装置、图像获取装置、身份识别装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102750046B (zh) | 2015-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101952818B (zh) | 基于姿态的用户交互的处理 | |
| CN204465706U (zh) | 终端装置 | |
| CN107340853B (zh) | 一种基于虚拟现实与手势识别的远程呈现交互方法和系统 | |
| Hackenberg et al. | Lightweight palm and finger tracking for real-time 3D gesture control | |
| CN103336575B (zh) | 一种人机交互的智能眼镜系统及交互方法 | |
| CN102750046A (zh) | 基于双结构光红外识别的快速三维显示交互装置及方法 | |
| CN105264572A (zh) | 信息处理设备、信息处理方法和程序 | |
| CN107741782B (zh) | 一种设备虚拟漫游方法和装置 | |
| Starck et al. | The multiple-camera 3-d production studio | |
| CN103019377A (zh) | 基于头戴式可视显示设备的输入方法及装置 | |
| CN102221887A (zh) | 互动投影系统及方法 | |
| CN106791778A (zh) | 一种基于ar虚拟现实技术的室内装修设计系统 | |
| CN102945079A (zh) | 一种基于智能识别与控制的立体投影系统与方法 | |
| CN103995595A (zh) | 一种基于手势的游戏体感控制方法 | |
| CN108153502B (zh) | 基于透明屏幕的手持式增强现实显示方法及装置 | |
| CN202159302U (zh) | 具有用户交互和输入功能的增强现实系统 | |
| TWI659279B (zh) | 基於擴充實境的加工規劃設備 | |
| Tang et al. | GrabAR: Occlusion-aware grabbing virtual objects in AR | |
| CN104516492A (zh) | 一种基于3d全息投影的人机交互技术 | |
| CN109683718A (zh) | 一种交互显示装置及方法 | |
| CN107589628A (zh) | 一种基于手势识别的全息投影装置及其工作方法 | |
| CN102375564A (zh) | 使用光学指示器的交互方法、光学指示器、展示方法和系统 | |
| US20130127704A1 (en) | Spatial touch apparatus using single infrared camera | |
| Kim et al. | Dual autostereoscopic display platform for multi‐user collaboration with natural interaction | |
| CN204808201U (zh) | 基于视觉的手势识别控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170609 Address after: 518000 Guangdong city of Shenzhen province Nanshan District Keyuan Road financial base 2 5E Patentee after: Kechaung Digital-Display Technology Co., Ltd., Shenzhen Address before: 310027 Hangzhou, Zhejiang Province, Xihu District, Zhejiang Road, No. 38, No. Patentee before: Zhejiang University |