CN110161700A - 一种城市增强现实展示应用眼镜及其展示方法 - Google Patents

Abstract

本发明公开了一种城市增强现实展示应用眼镜及其展示方法，属于虚拟现实技术领域。其中，城市增强现实展示应用眼镜包括：眼镜壳体、设置于眼镜壳体前端面的第一摄像头和第二摄像头、设置于眼镜壳体内部的透镜、显示屏以及处理器；通过设置关于眼镜壳体的竖直中心面对称的第一摄像头和第二摄像头，使拍摄的实景图像的范围更广，处理器对实景图像进行处理后形成展示图像并通过显示屏显示，用户通过透镜可以观看到显示屏上的展示图像。本发明提供的城市增强现实展示应用眼镜能够拍摄范围更广的实景图像并展示范围更广的展示图像，提高增强现实眼镜的沉浸效果，提升用户的体验。

Description

一种城市增强现实展示应用眼镜及其展示方法

技术领域

本发明属于虚拟现实技术领域，尤其是一种城市增强现实展示应用眼镜及其展示方法。

背景技术

增强现实技术是一种将真实世界信息和虚拟世界信息集成的新技术，在当前快速发展的国际互联网和全球卫星定位等技术支持下，增强现实技术在信息领域的发展空间越来越广泛，它在展示真实世界信息的同时，还将虚拟信息显示出来，这两种信息相互补充和叠加，形成一个具有视觉、听觉、触觉的逼真的感官世界，给人们提供了超越电子屏幕的视觉体验，并在日常生活中为人们带来诸多便利。

在城市发展的过程中，城市规划扮演了相当重要的角色，控制并指导这整个城市发展的方向。目前我国城市规划的展示方式主要通过实体模型和渲染效果图等，这些展示方式要么造价昂贵，要么显示形式不够立体，不能直观显示，在很大程度上限制了城市规划方案的展示效果。而增强现实技术可以通过计算机或移动终端等设备虚拟出现实世界，将城市的规划方案以及效果通过显示屏和目视系统投射到人眼视中，使用户有身临其境的感觉，在展示城市规划方案的同时，还能对方案进行讲解和说明，提升了城市规划方案的展示效果，因此增强现实技术在城市展示方面有着良好的应用前景。

但是现有增强现实眼镜中，主要采用单摄像头取景，由于摄像头参数的限制使得取景图像的范围较小，经过处理器处理后并通过显示屏上显示的场景小于人眼视角观察到的实际场景范围，降低了增强现实眼镜的沉浸效果，降低了用户体验。

发明内容

本发明提供了城市增强现实展示应用眼镜及其展示方法，以优化现有增强现实眼镜的性能。

为实现上述目的，本发明采用以下技术方案：

一种城市增强现实展示应用眼镜，包括：眼镜壳体、设置于眼镜壳体前端面的摄像头、设置于眼镜壳体内部的透镜、显示屏以及处理器；所述眼镜壳体的后端面开设有关于眼镜壳体中心面对称的两个安装孔；所述摄像头包括关于眼镜壳体的竖直中心面对称设置的第一摄像头和第二摄像头；所述透镜设置于所述安装孔内，所述透镜的轴线和安装孔的轴线重合；所述显示屏嵌入眼镜壳体前端面，所述透镜位于人眼和显示屏之间，用户透过透镜观察显示屏上面的图像；所述处理器包括图像处理器、模型数据库以及滤波器，所述图像处理器对摄像头获取的实景图像进行目标识别，并根据识别结果从模型数据库中调用与识别目标相适应的模型，通过将调用的模型和实景图像叠加形成叠加展示图像，滤波器用于对图像进行降噪处理，形成展示图像，并通过显示屏显示；所述摄像头、处理器以及显示屏之间通讯连接。

在进一步的实施例中，所述第一摄像头和第二摄像头均具有广角镜头，所述广角镜头的角度为110°，通过设置广角镜头可以增加摄像头的取景范围，使得摄像头获取的实景图像的范围更广，符合人眼的视角需求。

在进一步的实施例中，所述第一摄像头和第二摄像头的中心轴线的角度为20~30°，第一摄像头和第二摄像头拍摄时所获取的第一实景图像和第二实景图像存在较多的重合的部分，通过使第一摄像和第二摄像头的中心轴线形成一定的角度即第一摄像头和第二摄像头不共面，可以减小第一实景图像和第二实景图像的重合的部分，扩大第一实景图像和第二实景图像总的范围，进一步符合人眼的视角需求。

在进一步的实施例中，所述眼镜壳体的安装孔内还设有偏光镜，所述偏光镜位于透镜和人眼之间，所述偏光镜和透镜同轴设置，偏光镜是根据光线的偏振原理制造的镜片，可以用来用于排除和滤除光束中的直射光线，通过设置偏光镜可以过滤掉漫反射中的偏振光，使光线能投入眼镜视觉的影像清晰自然。

在进一步的实施例中，所述显示屏为LCD液晶屏，所述显示屏的表面为圆周面结构，所述显示屏的周面轴线位于眼镜壳体的后侧，使得显示屏的周面弧指向透镜方向，在透镜中心位置到显示屏中心位置一定的情况下，曲面结构的显示屏相较于平面结构的显示屏具有更大展示屏幕。

在进一步的实施例中，所述眼镜壳体的靠近人眼一侧的端面沿端面的外边设有防护罩，所述防护罩采用弹性材料制成，在佩戴眼镜时，用户面部和眼镜壳体靠近人眼一侧的端面贴合，通过防护罩可以使眼镜和人面部更好的贴合，避免光线透过眼镜和人脸之间的缝隙影响用户的观看效果，同时将防护罩采用弹性材料制成，增加用户佩戴眼镜时的舒适感，避免因眼镜壳体材质过硬，长时间抵触人面部造成不适。

为实现上述目的，本发明采用以下技术方案：

一种城市增强现实展示应用眼镜的展示方法，包括：

步骤1：摄像头通过拍摄获取眼镜前方的实景图像，并将拍摄的实景图像传输至处理器；

步骤2：图像处理器对实景图像进行目标识别，并根据识别结果从模型数据库中调用与识别目标相适应的建筑/设施/绿化模型；

步骤3：图像处理器根据建立屏幕坐标系和实景坐标系的映射关系，并将调用的模型叠加至实景图像中形成叠加图像；

步骤4：滤波器对叠加图像进行降噪处理，提升图像的质量形成最终的展示图像并通过显示屏显示。

在进一步的实施例中，上述步骤1中的摄像头通过拍摄获取眼镜前方的实景图像，并将拍摄的实景图像传输至处理器的过程还包括以下步骤：

步骤101：第一摄像头拍摄获取眼镜前方的第一实景图像，并将第一实景图像传输至处理器；

步骤102：第二摄像头拍摄获取眼镜前方的第二实景图像，并将第二实景图像传输至处理器；

步骤103：处理器将第一实景图像和第二实景图像进行叠加形成完整的实景图像。

有益效果：本发明提供的城市增强现实展示应用眼镜，眼镜壳体、设置于眼镜壳体前端面的第一摄像头和第二摄像头、设置于眼镜壳体内部的透镜、显示屏以及处理器；通过设置关于眼镜壳体的竖直中心面对称的第一摄像头和第二摄像头，并使第一摄像头和第二摄像头的中心轴线形成夹角，使第一摄像头和第二摄像头的拍摄的实景图像的范围更广，处理器对实景图像进行处理后形成展示图像并通过显示屏显示，用户通过透镜可以观看到处理后的展示图像。与现有技术相比，本发明提供的城市增强现实展示应用眼镜能够拍摄范围更广的实景图像和显示出范围更广的展示图像，提高增强现实眼镜的沉浸效果，提升用户的体验。

附图说明

图1是本发明的结构示意图。

图2是本发明的眼镜壳体的结构示意图

图3是本发明的内部结构示意图

图4是本发明的处理器的原理图。

图5是本发明的图像展示的流程图。

图6是本发明的图像处理器的图像坐标映射图。

图7是本发明的滤波器降噪原理图。

图8是本发明的摄像头位置关系示意图。

图9是本发明的显示屏的对比图。

图1至图9中的各标注为：眼镜壳体10、安装孔101、散热孔102、佩戴部103、连接部104、透镜20、第一摄像头31、第二摄像头32、广角镜头311、显示屏40、处理器50、滚轮60、偏光镜70 、防护罩80。

具体实施方式

下面将结合附图和实施例，对本发明技术方案进行清楚、完整的描述。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1至图3所示，本发明提供一种城市增强现实展示应用眼镜，包括：眼镜壳体10、设置于眼镜壳体10前端面的摄像头、设置于眼镜壳体10内部的透镜20、显示屏40以及处理器50；

具体的，摄像头包括第一摄像头31和第二摄像头32，第一摄像头31和第二摄像头32关于眼镜壳体10竖直中心面对称设置，第一摄像头31和第二摄像头32固定连接于眼镜壳体10的前端面上，第一摄像头31和第二摄像头32之间的中心距离设置为80~100mm，实际运用中，可以根据眼镜壳体10的尺寸调整第一摄像头31和第二摄像头32之间的距离，以便第一摄像头31和第二摄像头32可以拍摄更广的范围，第一摄像头31和第二摄像头32可以通过拍摄获得眼镜前方的实景图像。

处理器50包括图像处理器5、模型数据库以及滤波器，其中图像处理器用于对摄像头拍摄的实景图像进行目标识别，识别出实景图像中的标记的城市建筑，并根据识别结果调用模型数据库中存储的城市建筑的三维设计模型，通过将调用的模型和实景图像叠加形成叠加图像，然后通过滤波器对叠加图像进行降噪处理形成展示图像，本实施例中的图像处理器采用华为海思麒麟955处理器，麒麟955处理器的图形单元GPU采用ARM的Mali-T880，运行频率达到900MHz，支持OpenGL ES3.2、Vulkan 1.0和DirectX 11，同时麒麟955处理器50配套音频 CODEC 为 HI6402，支持 24bit 96kHz 高音音频。

显示屏40嵌入眼镜壳体10前端面，用于接收处理器50传输的展示图像，并将其显示在显示屏40上，并且摄像头、处理器50以及显示屏40之间通讯连接，用于传输图像信号。

眼镜壳体10的后端面开设有关于眼镜壳体10中心面对称的两个安装孔101，所述透镜20设置于所述安装孔101内，所述透镜20的轴线和安装孔101的轴线重合，透镜20位于人眼和显示屏40之间，用户可以通过透镜20观看到显示屏40上的展示图像，本实施例中的透镜20的周向固定，透镜20可以沿安装孔101的轴线方向移动，因为不同用户的眼睛的度数不一样，通过调节透镜20到显示屏40之间的距离可以方便不同眼睛度数的用户能够看清楚显示屏40上的展示图像，眼镜壳体10的两侧有调节透镜20移动的滚轮60，滚轮60和透镜20之间通过传动机构连接，具体的传动机构可以采用齿轮齿条，实际运用中可以采用其他的传动方式，就不在赘述。

结合图4和图5，本发明提供的城市增强现实展示应用眼镜的展示方法，包括如下步骤：

首先，摄像头通过拍摄获取眼镜前方的实景图像，并将拍摄的实景图像传输至处理器50；其中第一摄像头31拍摄获取眼镜前方的第一实景图像，并将第一实景图像传输至处理器50，第二摄像头32拍摄获取眼镜前方的第二实景图像，并将第二实景图像传输至处理器50，由于第一摄像头31和第二摄像头32拍摄的实景图像存在重合的部分，图像处理器将第一实景图像和第二实景图像进行叠加形成完整的实景图像，本方法中摄像头拍摄的实景图像可以是城市规划设计图纸、场地实景照片以及规划模型等。

其次，图像处理器对实景图像进行目标识别，并根据识别结果从模型数据库中调用与识别目标相适应的模型；其中目标识别主要是针对实景图像中的建筑物、图纸中的规划模型以及照片中的建筑物平面图等可以作为标识的结构单元，使得图像处理器能够根据识别的结果调用模型数据库中的与识别目标相对应的建筑模型，模型数据库中的建筑模型需通过三维软件构建，并预先存储至模型数据库中。

然后，图像处理器根据建立标记坐标系、屏幕坐标系以及视点坐标系的映射关系，并将调用模型叠加至实景图像中形成叠加图像；如图6所示，标记坐标系识别目标，并建立识别目标和调用模型的空间方位及比例尺关系，并根据标记目标的形状与颜色属性，建立以标记中心为原点并符合右手螺旋法则的局部坐标系，在标记坐标系中的坐标被确定后转换到视点坐标系中，视点坐标系是以观察者的视觉中心为原点，视线的方向为Z方向，并满足右手螺旋法则的局部坐标系，随着观察者视点的移动或者变向，该坐标系的原点和Z方向将发生相应的变化，坐标系中识别目标的坐标也将被重新计算，确定识别目标及调用模型在视点坐标系中的坐标后，该三维坐标系将被投影到二维坐标系上，由于存在图像变形，调用模型和识别目标在理想屏幕坐标系中的坐标需通过影像变换方程转换到实际屏幕坐标系中，通过上述方式可以建立标记坐标系、屏幕坐标系以及视点坐标系之间的映射关系，并将调用模型进行空间方向调整和比例调整后叠加至有识别目标的实景图像中形成叠加图像。

最后，滤波器对叠加图像进行降噪处理，提升图像的质量形成最终的展示图像并通过显示屏40显示。如图7所示，在图像数字化和传输的过程中，常会受到成像设备以及外部环境的噪声干扰，使得图像的质量下降，因此，需要通过设置滤波器对叠加图像进行降噪提升图像的质量，本发明采用自适应维纳滤波器进行降噪，维纳滤波器根据图像的局部方差来调整滤波器的输出，局部方差越大，滤波器的平滑作用越强，维纳滤波器通过使恢复图像f^(x,y)与原图像f(x,y)的均方误差e2=E[(f(x,y)-f^(x,y)2] 最小来对图像进行恢复。

在进一步的实施例中，为了扩大摄像头的视角范围，第一摄像头31和第二摄像头32均具有广角镜头311，所述广角镜头311的角度为110°，由于广角镜头311的焦距短，视角大，在较短的拍摄距离范围内，能拍摄到较大面积的景物，普通的广角镜头311视角为60~84°，超广角镜头311的视角在94~118°之间，由于人单眼的视角最大可达到156°，为了扩大摄像头的拍摄范围，使拍摄的图像和人眼观测到的实际实景范围相近，本发明采用110°视角超广角镜头311，使得摄像头拍摄的实景图像的范围更广，符合人眼的视角需求。

如图8所示，本实施例中的第一摄像头31和第二摄像头32的中心轴线的角度α为20~30°，第一摄像头31和第二摄像头32拍摄时所获取的第一实景图像和第二实景图像存在较多的重合的部分，为充分利用第一摄像头31和第二摄像头32获取更广范围内的图像，使第一摄像和第二摄像头32相互倾斜，来减小第一实景图像和第二实景图像的重合的部分，扩大第一实景图像和第二实景图像总的范围，在广角镜头311的角度为110°的情况下，第一摄像头31和第二摄像头32的广角镜头311累计拍摄范围的视角β的角度为130~140°，而人眼的双目的最大视角为188°，双眼重合视角为124°，为使人眼重合视角内的图像具有立体感，则摄像头拍摄的视角范围应超过124°，如果摄像头拍摄的视角范围小于124°，则最终在显示屏40上显示的图像与人眼双目观测的图像不能完全重合，影响眼镜的沉浸效果，降低用户的体验。

为了显示屏40上的展示图像投射到人眼中的图像清晰自然，本实施例中，所述眼镜壳体10的安装孔101内还设有偏光镜70 ，所述偏光镜70 位于透镜20和人眼之间，所述偏光镜70 和透镜20同轴设置，偏光镜70 是根据光线的偏振原理制造的镜片，可以用来用于排除和滤除光束中的直射光线，通过设置偏光镜70 可以过滤掉漫反射中的偏振光，使显示屏40中的图像的光线能投入人眼中图像更加清晰自然。

如图9所示，本实施例中的显示屏40为LCD液晶屏，所述显示屏40的表面为圆周面结构，显示屏40的周面轴线位于眼镜壳体10的后侧，所述显示屏40的周面弧指向透镜20方向，显示屏40圆周面的弧度根据眼镜的大小和内部空间来设定，在透镜20中心位置到显示屏40中心位置一定的情况下，曲面结构的显示屏40相较于平面结构的显示屏40具有更大展示屏幕，使用户在观看显示屏40上的图像时沉浸效果更加明显，体验感更强。

在进一步的实施例中，所述眼镜壳体10的靠近人眼一侧的端面沿端面的外边设有防护罩80，所述防护罩80的形状与人面部结构匹配，在佩戴眼镜时，用户面部和眼镜壳体10靠近人眼一侧的端面贴合，通过防护罩80可以使眼镜和人面部更好的贴合，避免光线透过眼镜和人脸之间的缝隙影响用户的观看效果，并且防护罩80采用弹性材料制成，具体的可以采用发泡树脂材料制成，并在发泡树脂的外面包覆皮质膜，以此来增加用户佩戴眼镜时的舒适感，避免因眼镜壳体10材质过硬，长时间抵触人面部造成不适。

在进一步的实施例中，眼镜壳体10的前端面还开设有多个散热孔102，在眼镜使用过程中，显示屏40以及处理器50会产生热量，若不及时将热量散发出去会导致眼镜内部热量聚积，使用户眼部产生干涩的情况，造成用户眼部不适，通过设置散热孔102可以及时将眼镜内部的热量散发出去，提升用户的使用体验。

在进一步的实施例中，城市增强现实展示应用眼镜还包括佩戴部103，所述佩戴部103包括3条带状绑带，3条绑带远离眼镜壳体10的一端固定连接一个统一的端部，3条绑带的另一端分别于眼镜壳体10的上端面以及两侧面的连接部104可拆卸连接，用户可以通过这3条绑带将眼镜固定在人体的头部，并且绑带的长度可调，可以适应不同头型的用户佩戴。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种城市增强现实展示应用眼镜，其特征在于，包括：眼镜壳体、设置于眼镜壳体前端面的摄像头、设置于眼镜壳体内部的透镜、显示屏以及处理器；

所述眼镜壳体的后端面开设有关于眼镜壳体中心面对称的两个安装孔；

所述摄像头包括关于眼镜壳体竖直中心面对称设置的第一摄像头和第二摄像头；

所述透镜设置于所述安装孔内，所述透镜的轴线和安装孔的轴线重合；

所述显示屏嵌入眼镜壳体前端面，所述透镜位于人眼和显示屏之间，用户透过透镜观察显示屏上面的图像；

所述处理器包括图像处理器、模型数据库以及滤波器，所述图像处理器对摄像头获取的实景图像进行目标识别，并根据识别结果从模型数据库中调用与识别目标相适应的模型，通过将调用的模型和实景图像叠加形成叠加图像，滤波器用于对叠加图像进行降噪处理形成展示图像，并通过显示屏显示；

所述摄像头、处理器以及显示屏之间通讯连接。

2.根据权利要求1所述的城市增强现实展示应用眼镜，其特征在于，所述第一摄像头和第二摄像头均具有广角镜头，所述广角镜头的角度为110°。

3.根据权利要求1所述的城市增强现实展示应用眼镜，其特征在于，所述第一摄像头和第二摄像头的中心轴线的角度为20～30°。

4.根据权利要求1所述的城市增强现实展示应用眼镜，其特征在于，所述眼镜壳体的安装孔内还设有偏光镜，所述偏光镜位于透镜和人眼之间，所述偏光镜和透镜同轴设置。

5.根据权利要求1所述的城市增强现实展示应用眼镜，其特征在于，所述显示屏为LCD液晶屏，所述显示屏的表面为周面结构，所述显示屏的周面轴线位于眼镜壳体的后侧。

6.根据权利要求1所述的城市增强现实展示应用眼镜，其特征在于，所述眼镜壳体的靠近人眼一侧的端面沿端面的外边设有防护罩，所述防护罩采用弹性材料制成。

7.一种城市增强现实展示应用眼镜的展示方法，其特征在于，包括：

步骤1：摄像头通过拍摄获取眼镜前方的实景图像，并将拍摄的实景图像传输至处理器；

步骤2：图像处理器对实景图像进行目标识别，并根据识别结果从模型数据库中调用与识别目标相适应的建筑/设施/绿化模型；

步骤3：图像处理器建立标记坐标系、屏幕坐标系以及视点坐标系的映射关系，并将调用的模型叠加至实景图像中形成叠加图像；

步骤4：滤波器对叠加图像进行降噪处理，提升图像的质量形成最终的展示图像并通过显示屏显示。

8.根据权利要求7所述的城市增强现实展示应用眼镜的展示方法，其特征在于，所述步骤1中的摄像头通过拍摄获取眼镜前方的实景图像，并将拍摄的实景图像传输至处理器还包括以下步骤：

步骤101：第一摄像头拍摄获取眼镜前方的第一实景图像，并将第一实景图像传输至处理器；

步骤102：第二摄像头拍摄获取眼镜前方的第二实景图像，并将第二实景图像传输至处理器；

步骤103：处理器将第一实景图像和第二实景图像进行叠加形成完整的实景图像。