CN106952348A - 一种基于红外手势识别的数字建筑模型展示方法及系统 - Google Patents

Abstract

本发明属于数据处理技术领域，公开了一种基于红外手势识别的数字建筑模型展示方法及系统，模型展示方法利用全息投影技术，展示建筑物模型立体效果；并通过红外手势识别的交互形式实现建筑物模型的放大、缩小、旋转和其建设过程的分阶段演示效果；系统包括多媒体播放模块，手部识别和映射模块，WPF图形界面模块，手势控制模块和全息幻影成像模块。本发明利用BIM的特点可以在今后的改进中对设计中或者建筑中的建筑物进行展示、布局和设计，结合本发明的系统便于操作的特点以对于相应范围内的建筑或建筑群，方便建筑从业者的设计实施和调整，同时其具备的多媒体播放器模块可以提供更多的拓展功能。

Description

一种基于红外手势识别的数字建筑模型展示方法及系统

技术领域

本发明属于数据处理技术领域，尤其涉一种基于红外手势识别的数字建筑模型展示方法及系统。

背景技术

手势识别：目前，国内对手势识别的研究，起步较晚。在2000年，由哈工大的吴江琴等人发表的一篇文章中，他们利用Cyberglove型号的数据手套作为手势输入的设备，使用动态高斯混合模型作为识别系统的模型，然后使用高斯N元混合密度来模拟手语信号，对于随时间变化的M元分量进行建模，能够对中国手语词典的两百多个词条进行识别，识别率可以达到98％。HMM和的识别系统相比，该模型的辨识精度与HMM的识别精确度相当，同时，该模型的HMM训练和识别速率较的训练和识别速度有显著改善。此外，清华大学的祝远新、徐光佑等人给出了一种基于机器视觉的动态孤立词手势识别技术，他们借助图形边界参数和健壮回归分析，构造出多种变化模型作为手势的特征，接着，利用最小最大化理论来创建手势识别的参考模板，利用基于模板的手势分类技术进行手势识别。在接下来的研究当中，他们提出了一种基于动态手势的时空表现模型，并抽取基于色彩、运动和形状等多模式的信息参数。最后使用动态时空规整(DSTW)进行手势识别，对于给定的十多种手势，其率别率达到了97％；2006年底，TCL公司开发出一款使用闪联标准方法的人机交互平台。该平台采用了手势的动态跟踪，粒子滤波以及手势识别与行为分析等技术，用户能够通过手势控制鼠标，操纵家电产品等。

基于人手的信息交互广泛存在于人们的日常生活当中。然而，同一个手势由不同的人来表现，得到的结果很可能差别很大。这主要是因为人手高度的灵活性、严重的自我遮挡和尺度变化所造成的。此外，影响手势识别的还有光照变化，复杂的室内/外环境，不同人种肤色的差异等等。尽管存在很多不确定性，但人类视觉系统却可以很轻易的排除掉各种干扰，准确地分辨出不同手势。但这对当前基于计算机视觉的手势识别系统来说还是遥不可及的。到目前为止，还没有哪一个计算机系统可以接近人类视觉系统的识别能力。此外，由于人手本身结构的复杂性，系统还要具有可以区分相似手势的能力。目前，基于计算机视觉的手势识别系统依然存在很多缺陷，主要包括：

1).特征提取运算效率低。要提高基于计算机视觉的手势识别系统的准确率，就一定要利用相应的计算模型(Computational Model)提取最具稳定性、最具判别性的图像特征。然而，图像特征提取的计算复杂度高、运行速度慢，严重影响系统的实用性。

2).特征数据量大。计算模型提取的图像特征数据量很大。多特征数据集的分类是非常复杂的过程。而且从不同类别提取出来的特征很相似，这会严重限制系统的识别能力。为了解决这个问题，就需要从更多的样本中提取更多的图像特征，对大量的特征进行分析从而构建分类模型，然而这也加重了整个系统的处理负担。此外，特征数据的高维度也影响了系统的运算效率。

3).环境的复杂。复杂的室内/外环境，多变的光照条件是另一个严重影响系统识别率的重要因素。一般来说，可以利用肤色模型来减少环境的影响。然而对于不同肤色或具有类肤色的背景来说，传统的肤色模型无法准确检测到人手的空间分布，从而影响了不同手势的识别。

4).人手结构的复杂性。由于人手属于三维关节体结构，它在二维平面的投影为大量的具有遮盖特点的形状。这个特点导致手部区域分割和提取有用特征的过程非常困难。目前最常用的解决自我遮挡的方法是令手掌与摄像头平行，这样做可以避免人手存在的自我遮挡问题，同时也可以达到减低维度的目的。不管采用何种方式进行手势识别，能够准确的从背景中分割出手势都是关键的一步。

对此，本发明提出了的改进方法：采用套件作为手势识别装置。

项目基于Realsense进行红外手势识别，并针对红外手势识别对温度要求严格的情况选择了RGB井深红外三摄像头进行手势识别定位，具有着较高的精度和使用价值，完美实现了预设功能。

简单的说，RealSense技术相当于给你的电脑安了一双眼睛。Intel RealSense技术带来更加直观的沉浸式体验，加上Intel处理器强大的性能，为我们重新定义了人机交互方式。RealSense3D是一套感知计算解决方案，通过一个比一元硬币还小的3D摄像头，加入红外传感组件以及实感图像处理芯片，电脑能够精确识别人的手势动作、面部特征、前景和背景，让电脑理解人的动作和情感。

比于同领域的成熟软件Kinect，RealSense和Kinect的原理相同，都是激光散斑编码(light coding)，不过RealSense投的是高速变化的编码散斑，因此RealSense输出深度图的帧率明显更高。Kinect只有每秒30帧，RealSense高达每秒100多帧。RealSense和Kinect的原理不同，是静态散斑辅助的双目视觉技术。优势主要体现在使用环境和工作距离上。Kinect只能在室内用，而RealSense可以兼容室内室外。Kinect工作距离为0.8-4m，而RealSense为0.7-40m。

BIM模型：

(1)、国内外应用现状

无论政府还是行业巨头，对BIM的发展预期远不如上述国家明确乐观，对数字化目标和标准制定表述暧昧，但BIM趋势已经明朗。相比前些年，中国BIM普及率超过10％，BIM试点提高近6％。

中国第一高楼——上海中心、北京第一高楼——中国尊、华中第一高楼——武汉中心等应用BIM的中国工程项目层出不穷。其中，中国博览会会展综合体工程证明：通过应用BIM可以排除90％图纸错误，减少60％返工，缩短10％施工工期，提高项目效益。

更多招标项目要求工程建设的BIM模式。部分企业开始加速BIM相关的数据挖掘，聚焦BIM在工程量计算、投标决策等方面的应用，并实践BIM的集成项目管理。

(2)、业务模式

一方面，使用BIM在建模阶段就要预测实施阶段的问题和方案，并确定各参与方的对接标准与协调机制，前期需要投入比传统模式大得多的时间和人力成本。

国外注重长期发展，行业市场化、专业化、标准化、规范化程度高，项目规划有成熟环境和机制，一旦启动，很少变动，本身体现一以贯之的BIM作风。

但国内偏重短期利益，工程管理粗放。赶设计、抢工期、临场变阵的工程节奏，与BIM有明显冲突。

目前，IPD模式也开始在国内工程普及了。在该模式下，业主开工前即召集设计单位、施工单位、材料供应商等项目参与方，共同确定统一的BIM模型。一旦模型确立，既不允许施工过程的设计改图，也不允许材料应用的方案变更。

另一方面，国内甲方的地位远比国外的强势，对BIM应用的驱动效应更明显；但其需求的频繁更改，往往导致设计单位、施工单位等额外的BIM工作量；其对BIM管理的不熟悉，某种程度上削弱了BIM应用动力。

再者，BIM应用是否提升了设计单位和施工单位的利润？我国国情下，这一问题仍无明确答案。

但设计单位工作成本增加，和施工单位的变更利润等“灰色收入”缩减却是必然的。同时国内项目很多是总价合同，设计单位和施工单位因为应用BIM导致的工时增加，甲方不一定买单。

(3)、人力支持

BIM应用必然导致工作量大幅度向设计单位倾斜，同时对与设计对接的BIM人才有旺盛需求。

在国外，业主成立专业的咨询团队，一对一对接设计团队；并对项目启动全过程的软件类型、数据接口、信息规范等细节严格规定。

在国内，很多设计单位正在组建自己的BIM团队。但进度不理想：工程经验丰富的，受困于传统图纸思维和固有工具操作习惯，难以快速掌握BIM；可以快速掌握BIM的，又往往工程经验不足。

(4)、技术支持

BIM意味着海量二维数据的加工与三维数据的创建，对数据采集和处理有很高技术要求。但相比国外，国内建设行业的信息化基础还很薄弱。

目前很多企业的数据采集仍然依靠人工查询、手动上传到系统。这种方法不仅周期长，而且精度低，对后续数据与数据的交互、数据与模型的对接也很不利。要知道，每一家企业的数据需求、数据格式和表格形式都是不一样的。

而且BIM应用很关键的一点是实景模拟，这对工程数据与温度、光照、人流等环境信息的即时整合分析提出更高要求。

相比国外以BIM为平台的定位，现在国内对BIM主要作为软件来应用，对BIM的项目管理较少涉足。这是由国内工程软件的发展现状决定的。

目前国内工程软件局限于工程量计算、套价等独立环节，解决的问题偏离散、技术，难以满足集成化的项目管理和方案设计需求。同时围绕BIM的核心软件如建模软件、模型分析软件、设计模拟软件等国内还在研发阶段，实际应用时需要从国外引进。短期内更符合中国国情的项目管理软件没有相应的技术基础和技术准备时间。

(5)、政策支持

相比国外，国内对BIM的政策支持更有力。前者是市场推进政策，后者是政策推进市场。

2011年，住建部在《2011-2015中国建筑业信息化发展纲要》中，将BIM、协同技术列为“十二五”中国建筑业重点推广技术。

2013年9月，住建部发布《关于推进BIM技术在建筑领域内应用的指导意见》(征求意见稿)，明确指出“2016年，所有政府投资的2万平米以上的建筑的设计、施工必须使用BIM技术”。

2015年，政府正式公布《关于推进建筑业发展和改革的若干意见》，把BIM和工程造价大数据应用正式纳入重要发展项目。

2015年7月1日，《国家安全法》出台，其中第二十五条强调信息核心技术、关键基础设施和重要领域信息系统的数据安全。7月8日，全国人大常委会公开《网络安全法(草案)》并征求意见，其中第三十条规定：关键信息基础设施的运营者采购网络产品或者服务，可能影响国家安全的，应当通过国家网信部门会同国务院有关部门组织的安全审查。根据上述法案，境外BIM技术公司可能被纳入国家安全审查，将BIM模型存放于境外服务器或由境外提供的行为，可能涉嫌违法。

2016年9月30日，国务院办公厅红头文件首次提到积极应用建筑信息模型(BIM)技术。

2016年12月2日，住房与城乡结合部批注《建筑信息模型应用统一标准》为国家标准，编号为GB/T51212-2016，自2017年7月1日期实施。上述政策无不表明政府对BIM、尤其对国内BIM发展的高度重视。

综上，BIM模型虽然处在快速发展过程中，但是其缺点——平台限制——仍然不可忽视。仅仅局限于电脑平台的BIM模型系统，虽然可以较常规模型系统更为直观，但是并没有完全发挥BIM模型系统带来的便利和直观的感受。

对此，本发明提出了的改进方法：使BIM模型系统与手势识别模块进行结合，利用手势识别系统带来的交互的便利性，充分发挥BIM模型的直观性特点，方便操作者的观察和演示。

全系投影技术：

全息学(Holography)自20世纪60年代激光器问世后得到了迅速的发展。其基本机理是利用光波干涉法同时记录物光波的振幅与相位。由于全息再现象光波保留了原有物光波的全部振幅与相位的信息，故再现象与原物有着完全相同的三维特性。换句话说，人们观看全息像时会得到与观看原物时完全相同的视觉效果，其中包括各种位置视差，这即是全息三维显示的理论依据。从这种意义上来说，全息才是真正的三维图像，而上述的各种由体视对合成的图像充其量仅是准三维图像(并无垂直视差的感觉)。20世纪80年代后，激光全息技术的迅速发展，成为一种异军突起的高新技术产业。在激光全息技术中，全息显示技术由于更接近于人们的日常生活而倍受关注。它不仅可制出惟妙惟肖的立体三维图片美化人们的生活，还可将其用于证券、商品防伪、商品广告、促销、艺术图片、展览、图书插图与美术装潢、包装、室内装潢、医学、刑侦、物证照相与鉴别、建筑三维成像、科研、教学、信息交流、人像三维摄影及三维立体影视等众多领域，近年来还发展成为宽幅全息包装材料而得到了广泛的应用。由于白光再现全息技术可在白昼自然环境中或在普通白光照射条件下观看物体的三维图像，一直研究全息技术的最新发展及运用，期待自身的努力使得全息显示技术得到了迅速的发展。

全息学的原理适用于各种形式的波动，如X射线、微波、声波、电子波等。只要这些波动在形成干涉花样时具有足够的相干性即可。光学全息术可望在立体电影、电视、展览、显微术、干涉度量学、投影光刻、军事侦察监视、水下探测、金属内部探测、保存珍贵的历史文物、艺术品、信息存储、遥感，研究和记录物理状态变化极快的瞬时现象、瞬时过程(如爆炸和燃烧)等各个方面获得广泛应用。

在生活中，也常常能看到全息摄影技术的运用。比如，在一些信用卡和纸币上，就有运用了俄国物理学家尤里·丹尼苏克在20世纪60年代发明的全彩全息图像技术制作出的聚酯软胶片上的“彩虹”全息图像。但这些全息图像更多只是作为一种复杂的印刷技术来实现防伪目的，它们的感光度低，色彩也不够逼真，远不到乱真的境界。研究人员还试着使用重铬酸盐胶作为感光乳剂，用来制作全息识别设备。在一些战斗机上配备有此种设备，它们可以使驾驶员将注意力集中在敌人身上。把一些珍贵的文物用这项技术拍摄下来，展出时可以真实地立体再现文物，供参观者欣赏，而原物妥善保存，防失窃，大型全息图既可展示轿车、卫星以及各种三维广告，亦可采用脉冲全息术再现人物肖像、结婚纪念照。小型全息图可以戴在颈项上形成美丽装饰，它可再现人们喜爱的动物，多彩的花朵与蝴蝶。迅猛发展的模压彩虹全息图，既可成为生动的卡通片、贺卡、立体邮票，也可以作为防伪标识出现在商标、证件卡、银行信用卡，甚至钞票上。装饰在书籍中的全息立体照片，以及礼品包装上闪耀的全息彩虹，使人们体会到21世纪印刷技术与包装技术的新飞跃。模压全息标识，由于它的三维层次感，并随观察角度而变化的彩虹效应，以及千变万化的防伪标记，再加上与其他高科技防伪手段的紧密结合，把新世纪的防伪技术推向了新的辉煌顶点。

全息投影技术绚丽的外衣背后，是其备受阻碍的发展之路，其最大的制约条件便是环境问题和设备价格问题。

相比VR设备此类穿戴即可不限时间不限环境的3D体验，3D全息投影的使用条件可以用苛刻来形容。使用3D全息投影设备时必须保持黑暗状态，不能出现任何强光源。另外对于周围环境也是如此，由于3D全息投影呈现时必须以投影的方式进行，所以所在场地必须有专门的呈现舞台。

对此，本发明提出了的改进方法：使用“金字塔”全息幻影成像模块代替传统的3D全息投影模块对BIM模型进行全息投影，在具备一定的3D全息投影质量的同时，极大地降低了成本和环境要求，并进一步发挥出了BIM模型系统的巨大潜力。

综上所述，现有技术存在的问题是：传统的手势识别由于采用单一摄像头，并无法具备较高精度；现有系统无法发挥BIM模型的潜力，即无法充分发挥其展示直观、操作方便等优点；现有3D全息成像系统由于环境原因和造价原因难以普及。

发明内容

针对现有技术存在的问题，本发明提供了一种基于红外手势识别的数字建筑模型展示方法及系统。

本发明是这样实现的，一种基于红外手势识别的数字建筑模型展示方法，所述基于红外手势识别的数字建筑模型展示方法利用全息投影技术，展示建筑物模型立体效果；并通过红外手势识别的交互形式实现建筑物模型的放大、缩小、旋转和其建设过程的分阶段演示效果；

本发明另一目的在于提供一种基于红外手势识别的数字建筑模型展示系统，所述基于红外手势识别的数字建筑模型展示系统包括：

多媒体播放模块，用于各种多媒体文件的播放和操作；

手部识别和映射模块，与多媒体播放模块连接，用于从摄像头获取数字红外图像、深度数据、RGB彩色数据，映射成为光标信息，产生手部位置、状态数据；对计算机中的建筑物模型进行放大、缩小、旋转的操作，再将委托线程提交给WPF图形界面模块；

WPF图形界面模块，与手部识别和映射模块连接，利用手势控制图片浏览模块、音频播放模块、视频播放模块、分面渲染模块之间的跳转；

手势控制模块，与WPF图形界面模块连接，用于提供手形、位置和方向手势信息；

全息幻影成像模块，与WPF图形界面模块连接，用于通过投影设备将不同角度的影像投射到全息投影膜上面，全息投影膜呈现出清晰的图像。

进一步，建筑物模型为BIM模型，将4个不同方向的影像集中到投影设备的全息投影膜上，利用光线的折射进行360度全息幻影成像展示在3D展示柜中。

进一步，WPF图形界面模块，包括：图片浏览模块，用于图片浏览；

音频播放模块，用于音频播放；

视频播放模块，用于视频播放；

分面渲染模块，用于建筑模型展示。

所述图片浏览模块、音频播放模块、视频播放模块、分面渲染模块均通过信号线与手部识别和映射模块连接。

进一步，音频播放模块包括：

音乐获取子模块，用于获取音乐；

文件管理子模块，用于识别文件的管理，读取音乐内容并予以显示，查看和播放音乐；

音乐播放展示子模块，用于读取文件信息；

分面渲染模块包括：编码模式子模块、流媒体技术子模块、数据压缩子模块、格式转换子模块；所述编码模式子模块、流媒体技术子模块、数据压缩子模块、格式转换子模块均集成在分面渲染模块的电路板上。所述音乐获取子模块、文件管理子模块、音乐播放展示子模块、分面渲染模块均通过信号线与手部识别和映射模块连接。

本发明的优点及积极效果为：

比较于传统的实体沙盘模型，本发明具有着低成本、可重用、交互友好、效果直观等优点。使用者在实际观察模型过程中可以领略模型的动态交互效果，再辅以建筑过程的动态呈现，使本发明具有着较广泛的适用范围和较好的使用效果。

本发明使用了全息投影技术，即利用金字塔式四棱镜对光线的反射与折射，达到了较好的全息投影效果，较一般概念上利用烟雾等作为载体的全息投影技术具有着价格低廉、易于实现等优点，并且其效果达到了展示的预期标准。

本发明以红外手势识别作为人机交互方式，较鼠标键盘、触摸屏等传统交互设备具有着较大的优越性。

本发明通过将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，以实现对真实场景的“增强”。本发明还将增强现实技术结合红外感知进行分析语应用，这在软件与硬件迅速发展的今天也有重要的应用价值。

本发明利用全息投影技术，使得建筑物以增强现实的效果立体地展示在用户面前，并通过红外手势识别的交互形式实现了建筑物的放大、缩小、旋转和其建设过程的分阶段演示效果，而BIM的特点可以在今后的改进中对设计中或者建筑中的建筑物进行展示、布局和设计，结合本发明的系统便于操作的特点以对于相应范围内的建筑或建筑群，方便建筑从业者的设计实施和调整。

附图说明

图1是本发明实施例提供的基于红外手势识别的数字建筑模型展示方法中手势区域分割方法流程图。

图2是本发明实施例提供的基于红外手势识别的数字建筑模型展示系统示意图。

图中：1、多媒体播放模块；2、手部识别和映射模块；3、WPF图形界面模块；4、手势控制模块；5、全息幻影成像模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细描述。

本发明实施例提供的基于红外手势识别的数字建筑模型展示方法，所述基于红外手势识别的数字建筑模型展示方法利用全息投影技术，展示建筑物模型立体效果；并通过红外手势识别的交互形式实现建筑物模型的放大、缩小、旋转和其建设过程的分阶段演示效果；

如图1所示，红外手势识别的交互中，手势区域分割方法包括以下步骤：

S101:从视频的深度数据流中提取一帧深度图像信息，并将其转换为灰度图像；

S102:计算出灰度图像的直方图并统计出每个灰度级的像素数Ni与整幅图像像素数N，求出δi＝Ni/N；其中，0≤i≤30；

S103:提取当前图像中灰度值最大的像素点距离摄像头的距离D；手势区域距离摄像头最近，灰度值最大；在一幅图像中，手势区域占整幅图像区域的多少是与手势区域距摄像头的距离用ε＝α/D表示；其中ε为手势区域占整个图像区域的比例，α为比例系数，取不同手势α的平均值，其中，α＝0.018；

S104:根据灰度值由大到小的顺序判定δi，若δi≥ε取Ni处的灰度值作为阈值；若δi＜ε则判断δi的递减序列和，直至其大于ε，取最终递减数作为阈值。

进一步，将灰度等级划分为255，直方图灰度级划分为30等分时，最佳的分割出手势区域。

进一步，手势区域分割方法中，划分手势特征方法包括：

划分有效凸缺陷数DCD、有效凸缺陷特征夹角DC与DA、轮廓与其外接圆面积比CCR和凸包有效外接圆顶点数CD与VC四个特征参数；E，F为无效凸缺陷，A，B，C，D为有效凸缺陷；

根据所得凸包，利用公式(1)所示，计算其凸缺陷最深距离点其坐标以及距凸包边界距离；根据凸缺陷距离D与外接圆半径R之比为有效凸缺陷判定比DCDR：

当且仅当DCDR＞ε时，该凸缺陷被判定为有效；ε不小于0.25；当判定完成后储存有效凸缺陷关键信息，包括该凸缺陷起始点、最深点及终点，留备后续参数使用；

在获得有效凸缺陷后，设起始点坐标S为(x₁，y₁)，最深点D坐标为(x₂，y₂)终点坐标E为(x₃，y₃)，得到一个△SDE，三条边SD、DE、SE分别等于：

有效凸缺陷起始点至最深点线段SD与终点至最深点线段DE夹角θ为有效凸缺陷特征夹角DC与DA，其计算公式为：

除大拇指外的手指间的夹角只能为锐角，若设有效凸缺陷特征角为锐角的凸缺陷数量N，N+1即为手势中食指、中指、无名指、小拇指这几个手指在手势中竖起的个数；

根据已经得出的手势轮廓求出该轮廓包围面积值为Scontour，单位为像素；根据该轮廓最小外接圆的半径R得出外接圆面积Scircle，则轮廓与其外接圆面积比为

轮廓与其外接圆面积比在某些手势缺乏有效凸缺陷时有效区别手势；此时，用轮廓与其外接圆面积比参数来有效确定该2种手势，由于握拳的表观特征面积更集中，所以其轮廓更接近凸多边形并且与外接圆面积之比大于手掌，设置阈值σ来判定该2种手势：当CCR＞σ时，机器识别为握拳手势；当CCR＜σ时，机器识别为五指并拢的出掌手势；

当有效凸缺陷的起始点相邻的轮廓顶点位于外接圆上时，该顶点为有效顶点数；记录有效顶点数M，则与外接圆相切手指数等于M+1；

根据四种特性参数的连判，类识别手势特征。

进一步，在Ycgcr颜色空间上进行肤色分割；具体包括：首先，YCgCr颜色空间对光照变化不敏感；其次，Y通道代表图像的亮度信息，若提取手势灰度图像的特征，直接在Y通道上进行，最后，Cg及Cr分量有效区分肤色及非肤色；

采用固定阈值的方法进行肤色检测，当图像在YCgCr颜色空间中的像素值同时满足Y∈[35，230]，Cg∈[80，127]，Cr∈[133，173]条件时，判断其为肤色像素，重置为255；否则判断为非肤色像素，重置为O；对于得到的包含噪声的分割结果的二值图像F(z，y)，进行预处理，去除非手势区域，进而得到手势分割结果。

进一步，对于得到的包含噪声的分割结果的二值图像F(z，y)，由以下几个条件进行预处理，包括：

(1)去除肤色区域面积小于400像素的区域；因为若肤色区域面积太小，进行肤色检测及预处理时就会丢失特征，难以保证正确检测指尖，所以将其当作噪声去掉。

(2)肤色区域的宽、高必须大于20像素，防止某些满足条件(1)的狭长区域被误判为人手。

(3)手掌及手指部分完整出现在视频窗口中；

(4)由(3)可知肤色区域的重心必在肤色区域内部，即重心在手掌上；重心(z，，y。)的计算公式为：

(5)计算肤色区域的高度及宽度比例，其值为：

如图2所示，本发明实施例提供的基于红外手势识别的数字建筑模型展示系统，包括：

多媒体播放模块1，用于各种多媒体文件的播放和操作；

手部识别和映射模块2，与多媒体播放模块连接，用于从摄像头获取数字红外图像、深度数据、RGB彩色数据，映射成为光标信息，产生手部位置、状态数据；对计算机中的建筑物模型进行放大、缩小、旋转的操作，再将委托线程提交给WPF图形界面模块；

WPF图形界面模块3，与手部识别和映射模块连接，利用手势控制图片浏览模块、音频播放模块、视频播放模块、分面渲染模块之间的跳转；

手势控制模块4，与WPF图形界面模块连接，用于提供手形、位置和方向手势信息；

全息幻影成像模块5，与WPF图形界面模块连接，用于通过投影设备将不同角度的影像投射到全息投影膜上面，全息投影膜呈现出清晰的图像。

进一步，建筑物模型为BIM模型，将4个不同方向的影像集中到投影设备的全息投影膜上，利用光线的折射进行360度全息幻影成像展示在3D展示柜中。

进一步，WPF图形界面模块，包括：图片浏览模块，用于图片浏览；

音频播放模块，用于音频播放；

视频播放模块，用于视频播放；

分面渲染模块，用于建筑模型展示。所述图片浏览模块、音频播放模块、视频播放模块、分面渲染模块均通过信号线与手部识别和映射模块连接。

进一步，音频播放模块包括：

音乐获取子模块，用于获取音乐；

文件管理子模块，用于识别文件的管理，读取音乐内容并予以显示，查看和播放音乐；

音乐播放展示子模块，用于读取文件信息；

分面渲染模块包括：编码模式子模块、流媒体技术子模块、数据压缩子模块、格式转换子模块；所述编码模式子模块、流媒体技术子模块、数据压缩子模块、格式转换子模块均集成在分面渲染模块的电路板上。所述音乐获取子模块、文件管理子模块、音乐播放展示子模块、分面渲染模块均通过信号线与手部识别和映射模块连接。

下面结合具体实施例对本发明的应用原理作进一步描述。

本发明实施例提供的手势控制模块；

手势集定义：

手势集，顾名思义是手势的集合，由多种手势组成。手势，由于本身的多义性、多样性和不确定性，没有固定统一的定义，一般将手势理解为手或者手和手臂一起所形成的各种姿态、形状和动作，用以表达某种含义。可根据自己的应用场景、环境，自定义手势。手势信息包括手形、位置和方向三个方面。本发明针对用户与智能家居设备的互动需求，自定义手势动作，且具备这些特点：

(1)手势简单，易被用户记忆和操作，即使是老年人或者孩童也可以自由操作。

(2)手势易被系统可靠识别。各类手势在运动空间必须有明显的特征差异，才能保证算法能够准确的识别手势类型。基于以上两条基本手势定义原则，共举6种常用手势并按照动作语义、特征量的相似性分为两大类别，水平操作手势和z轴操作手势。

音频播放模块：

手势识别系统中音频播放器的系统设计，本发明应用于手势识别系统中的音频播放，提供软件接口，使用户以手势方式对音乐播放器进行相应操作。

根据功能的不同可以将本系统划分为两个子模块，包括：音乐获取子模块和文件管理子模块；

音乐播放展示子模块；

音乐获取子模块，用于

文件管理子模块，便于识别文件的管理，读取音乐内容显示并予以显示，支持查看和播放音乐。

音乐播放展示子模块，用于读取文件信息。

分面渲染模块：

该模块是基于手势识别的图片播放展示系统。基于手势识别的多媒体展示系统是总项目，图片播放器是该项目下的子项目，用来扩展展示系统的多样性。该软件基于window平台，通过realsense的相关动作识别，自定义组建WPF，来对图片视频音频进行编辑查看。

模块包括：编码模式子模块、流媒体技术子模块、数据压缩子模块、格式转换子模块。

视频播放模块：

视频播放模块拟达到的目标：能够实现对多种视频格式的播放，调整播放时间，调整音量，可以与手势识别模块进行交互。该模块上线后，可以使展示系统不需要第三方播放器的调用，使用Windows Media Player为播放器核心，使用WPF封装，制作出新的用户控件。实现直接播放视频，同时增强了对手势识别模块的支持。

视频播放模块能够播放多种格式的视频，为手势识别模块预留出了接口，并能够自动添加需要播放的视频。视频播放模块达到播放视频流畅不卡顿，对手势识别的支持无延迟，能流畅切换到其他展示性模块。

由于展示系统所运行的硬件环境不确定，在播放界面分辨率调整上一定的限制。播放器支持格式如下：

AVI MP4 WMV MKV。

全息幻影成像模块：

光从一种介质斜射入另一种介质时，传播方向发生改变，从而使光线在不同介质的交界处发生偏折。光的折射与光的反射一样都是发生在两种介质的交界处，只是反射光返回原介质中，而折射光线则进入到另一种介质中。由于光在在两种不同的物质里传播速度不同，故在两种介质的交界处传播方向发生变化，这就是光的折射。

通过投影设备将不同角度的影像投射到全息投影膜上面，全息投影膜具备相当高的透明性，不仅呈现出清晰的图像，可以让观众透过这层全息投影膜看到多个角度的图像。

特定建筑的BIM模型，在unity中进行特殊的摄像机布置，截取不同方向的摄影片段，将4个不同方向的影像集中到投影设备的屏幕，利用光线的折射进行360度全息幻影成像展示在特殊的3D展示柜当中。

通过红外手势识别模块中的交互形式对计算机中的建筑物模型进行放大、缩小、旋转的操作，投射影像同步变化，在展示柜中显示相同变化效果。

全息幻影成像方法包括：

第一步：利用干涉原理记录物体光波信息，此即拍摄过程。被摄物体在激光辐照下形成漫射式的物光束；另一部分激光作为参考光束射到全息底片上，和物光束叠加产生干涉，把物体光波上各点的位相和振幅转换成在空间上变化的强度，从而利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。记录着干涉条纹的底片经过显影、定影等处理程序后，便成为一张全息图，或称全息照片；分别用四个摄像机各渲染一次动画。

第二步：利用衍射原理再现物体光波信息，这是成象过程。全息图犹如一个复杂的光栅，在相干激光照射下，一张线性记录的正弦型全息图的衍射光波一般可给出两个象，即原始象和共轭象。再现的图像立体感强，具有真实的视觉效应。全息图的每一部分都记录了物体上各点的光信息，故原则上它的每一部分都能再现原物的整个图像，通过多次曝光还可以在同一张底片上记录多个不同的图像，而且能互不干扰地分别显示出来。

将摄像机渲染的动画合成后输出，利用投影设备展示在展示柜中，得到3D投影效果。

本发明使用了全息投影技术，即利用金字塔式四棱镜对光线的反射与折射，达到了较好的全息投影效果，较一般概念上利用烟雾等作为载体的全息投影技术具有着价格低廉、易于实现等优点，并且其效果达到了展示的预期标准。

本发明以红外手势识别作为人机交互方式，较鼠标键盘、触摸屏等传统交互设备具有着较大的优越性。

本发明通过将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，以实现对真实场景的“增强”。本发明还将增强现实技术结合红外感知进行分析语应用，这在软件与硬件迅速发展的今天也有重要的应用价值。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于红外手势识别的数字建筑模型展示系统，其特征在于，所述基于红外手势识别的数字建筑模型展示系统包括：

多媒体播放模块，用于各种多媒体文件的播放和操作；

手部识别和映射模块，与多媒体播放模块连接，用于从摄像头获取数字红外图像、深度数据、RGB彩色数据，映射成为光标信息，产生手部位置、状态数据；对计算机中的建筑物模型进行放大、缩小、旋转的操作，再将委托线程提交给WPF图形界面模块；

WPF图形界面模块，与手部识别和映射模块连接，利用手势控制图片浏览模块、音频播放模块、视频播放模块、分面渲染模块之间的跳转；

手势控制模块，与WPF图形界面模块连接，用于提供手形、位置和方向手势信息；

全息幻影成像模块，与WPF图形界面模块连接，用于通过投影设备将不同角度的影像投射到全息投影膜上面，全息投影膜呈现出清晰的图像。

2.如权利要求1所述的基于红外手势识别的数字建筑模型展示系统，其特征在于，所述建筑物模型为BIM模型，将4个不同方向的影像集中到投影设备的全息投影膜上，利用光线的折射进行360度全息幻影成像展示在3D展示柜中。

3.如权利要求1所述的基于红外手势识别的数字建筑模型展示系统，其特征在于，所述WPF图形界面模块，包括：图片浏览模块，用于图片浏览；

音频播放模块，用于音频播放；

视频播放模块，用于视频播放；

分面渲染模块，用于建筑模型展示；

所述图片浏览模块、音频播放模块、视频播放模块、分面渲染模块均通过信号线与手部识别和映射模块连接。

4.如权利要求3所述的基于红外手势识别的数字建筑模型展示系统，其特征在于，音频播放模块包括：

音乐获取子模块，用于获取音乐；

文件管理子模块，用于识别文件的管理，读取音乐内容并予以显示，查看和播放音乐；

音乐播放展示子模块，用于读取文件信息；

分面渲染模块包括：编码模式子模块、流媒体技术子模块、数据压缩子模块、格式转换子模块；所述编码模式子模块、流媒体技术子模块、数据压缩子模块、格式转换子模块均集成在分面渲染模块的电路板上；

所述音乐获取子模块、文件管理子模块、音乐播放展示子模块、分面渲染模块均通过信号线与手部识别和映射模块连接。

5.一种如权利要求1所述基于红外手势识别的数字建筑模型展示系统的基于红外手势识别的数字建筑模型展示方法，其特征在于，所述基于红外手势识别的数字建筑模型展示方法利用全息投影技术，展示建筑物模型立体效果；并通过红外手势识别的交互形式实现建筑物模型的放大、缩小、旋转和其建设过程的分阶段演示效果。