CN112714304A - 基于增强现实的大屏显示方法及装置 - Google Patents

Abstract

本发明增强现实技术领域，具体涉及基于增强现实的大屏显示方法及装置。所述方法执行以下步骤：步骤1：通过三个图像采集单元，对当前场景中的实物进行图像采集，得到三个场景图像；步骤2：对三个场景图像分别进行图像去噪处理，然后进行图像色彩通道分离，分别得到红色通道图像、蓝色通道图像和黄色通道图像；步骤3：对三个场景图像进行图像融合，得到融合后的场景图像。其通过对场景中的图像进行多次采集和多次识别，完成了对场景的多角度采集，再根据多采集结果进行图像通道分离和融合，以此最大化还原场景中的细节，在识别后调取相关数据进行反馈和投影，结合增强现实，实现了场景和图像的对应显示，提升了显示的真实性。

Description

基于增强现实的大屏显示方法及装置

技术领域

本发明属于增强现实技术领域，具体涉及基于增强现实的大屏显示方法及装置。

背景技术

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来，这些细腻内容相互补充和叠加。在视觉化的增强现实中，用户需要在头盔显示器的基础上，促使真实世界能够和电脑图形之间重合在一起，在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段，增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。

大屏显示，指通过多个普通的显示墙组合成一个M*N的大显示系统，用于显示视频图像、文字、图片等信息，每个显示墙又称为一个大屏，M和N为自然数。

将大屏显示和虚拟现实进行结合，不仅可以实现对场景中物体的增强现实，还能将场景和显示进行对应展示，提升了显示效果。

专利号为CN201410416171.2A的专利公开了进行大屏显示的方法及装置，其中，该方法包括：获取当前进行大屏显示所采用的大屏排布方式；按照大屏排布方式，在本地的窗口显示区域显示组合窗口，所述组合窗口内显示的子窗口排布方式与大屏的排布方式相同；获取各大屏所显示内容对应的描述信息，将描述信息在组合窗口中对应的子窗口中进行显示。本发明方案能够实现在本地直观地显示出大屏上的信息。

该方法实现了传统的大屏显示，即将多个小屏进行排列组合，形成一个大屏，但其显示效果依然与传统显示没有差别，且无法针对具体的场景进行对应显示。

发明内容

有鉴于此，本发明的主要目的在于提供基于增强现实的大屏显示方法及装置，其通过对场景中的图像进行多次采集和多次识别，完成了对场景的多角度采集，再根据多采集结果进行图像通道分离和融合，以此最大化还原场景中的细节，在识别后调取相关数据进行反馈和投影，结合增强现实，实现了场景和图像的对应显示，提升了显示的真实性。

为达到上述目的，本发明的技术方案是这样实现的：

基于增强现实的大屏显示方法，所述方法执行以下步骤：

步骤1：通过三个图像采集单元，对当前场景中的实物进行图像采集，得到三个场景图像；

步骤2：对三个场景图像分别进行图像去噪处理，然后进行图像色彩通道分离，分别得到红色通道图像、蓝色通道图像和黄色通道图像；

步骤3：对三个场景图像进行图像融合，得到融合后的场景图像；

步骤4：对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果；

步骤5：基于识别结果，在数据库中调取该实物对应的数据信息；

步骤6：将实物和对应的数据信息，发送到大屏显示器中，进行显示；同时将每个数据信息，叠加在对应的实物的相应位置处进行显示。

进一步的，所述步骤6中，将每个数据信息，叠加在对应的实物的相应位置处进行显示包括：根据场景图像确定所述图像采集单元相对所述实物的实时姿态信息；根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，并将所述三维显示信息叠加在所述场景图像的相应位置处进行显示，所述三维显示信息包括用于模拟所述实物的三维显示信息。

进一步的，根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，包括：根据所述实时姿态信息以及所述图像采集单元的图像采集参数，得到投影矩阵；

对预先存储的对应于所述实物的三维素材信息中的每一个顶点，根据所述投影矩阵计算所述顶点在成像平面上对应的像素成像位置，根据所述顶点的色彩信息确定所述像素成像位置处对应的色彩信息。

进一步的，所述步骤2中对三个场景图像分别进行图像去噪处理的方法包括：提取场景图像中的3-5次谐波；对提取的谐波的幅频特性曲线进行拟合，得到幅值增益与频率的关系，进行幅值补偿；然后将提取的谐波进行差分滤波，所述差分滤波是指将差分序列直接作为滤波信号对谐波进行滤波；其中所述谐波使用如下公式表示为：

signal(t)＝Acos(sinω0t+cosB∫c(t)dt)，0≤t≤T；其中A为幅值，c(t)为：Acos(ω0t+B∫dt)；其中，T为s(t)的时间长度，ω0为中心频率，B为调制指数，x_n为长度为N的差分序列，差分序列中的每个码元占用的调频时间为T0＝T/N，u(t)为阶跃函数；r(t)为斜坡函数，是u(t)的积分结果。

进一步的，所述步骤4：对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果的方法包括：对融合后的场景图像进行阈值分割，得到二值化图像，将二值化图像进行一次开闭运算，得到分割后的图像；针对每个分割后的图像分别进行图像识别，然后将针对每个分割后的图像的识别结果作为一个集合，该集合为该场景图像的识别结果。

一种基于增强现实的大屏显示装置，所述装置包括：图像采集模块，包括：三个图像采集单元，所述三个图像采集单元对当前场景中的实物进行图像采集，得到三个场景图像；图像处理单元，配置用于对三个场景图像分别进行图像去噪处理，然后进行图像色彩通道分离，分别得到红色通道图像、蓝色通道图像和黄色通道图像；图像融合单元，配置用于对三个场景图像进行图像融合，得到融合后的场景图像；图像识别单元，配置用于对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果；基于识别结果，在数据库中调取该实物对应的数据信息；显示单元，配置用于将实物和对应的数据信息，发送到大屏显示器中，进行显示；同时将每个数据信息，叠加在对应的实物的相应位置处进行显示。

进一步的，所述显示单元，将每个数据信息，叠加在对应的实物的相应位置处进行显示的方法包括：根据场景图像确定所述图像采集单元相对所述实物的实时姿态信息；根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，并将所述三维显示信息叠加在所述场景图像的相应位置处进行显示，所述三维显示信息包括用于模拟所述实物的三维显示信息。

进一步的，根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，包括：根据所述实时姿态信息以及所述图像采集单元的图像采集参数，得到投影矩阵；对预先存储的对应于所述实物的三维素材信息中的每一个顶点，根据所述投影矩阵计算所述顶点在成像平面上对应的像素成像位置，根据所述顶点的色彩信息确定所述像素成像位置处对应的色彩信息。

进一步的，所述图像处理单元对三个场景图像分别进行图像去噪处理的方法包括：提取场景图像中的3-5次谐波；对提取的谐波的幅频特性曲线进行拟合，得到幅值增益与频率的关系，进行幅值补偿；然后将提取的谐波进行差分滤波，所述差分滤波是指将差分序列直接作为滤波信号对谐波进行滤波；其中所述谐波使用如下公式表示为：signal(t)＝Acos(sinω0t+cosB∫c(t)dt)，0≤t≤T；其中A为幅值，c(t)为：Acos(ω0t+B∫dt)；其中，T为s(t)的时间长度，ω0为中心频率，B为调制指数，x_n为长度为N的差分序列，差分序列中的每个码元占用的调频时间为T0＝T/N，u(t)为阶跃函数；r(t)为斜坡函数，是u(t)的积分结果。

进一步的，所述图像识别单元对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果的方法包括：对融合后的场景图像进行阈值分割，得到二值化图像，将二值化图像进行一次开闭运算，得到分割后的图像；针对每个分割后的图像分别进行图像识别，然后将针对每个分割后的图像的识别结果作为一个集合，该集合为该场景图像的识别结果。

本发明的基于增强现实的大屏显示方法及装置，具有如下有益效果：其通过对场景中的图像进行多次采集和多次识别，完成了对场景的多角度采集，再根据多采集结果进行图像通道分离和融合，以此最大化还原场景中的细节，在识别后调取相关数据进行反馈和投影，结合增强现实，实现了场景和图像的对应显示，提升了显示的真实性。主要通过以下过程实现：

1.多图像采集，本发明在采集目标场景的图像时，使用多图像采集，通过三个图像采集单元，对当前场景中的实物进行图像采集，得到三个场景图像，这样可以在后续的图像处理过程中，得到更为全面的图像细节，保证对目标场景的完整还原，提升后续的投影和显示效果；

2.图像去噪，本发明针对采集到的目标场景的图像进行了去噪，其去噪方法通过提取图像的谐波，进行谐波补偿后，再进行差分滤波，这样的方式得到的图像效果更好，虽然与现有技术相比，其去噪效果由于使用差分滤波的方式，效果稍差一些，但能保证图像更多的细节，而本发明使用了多图像的融合处理，弥补了未能处理的噪声对图像的干扰，保证后续的显示效果；

3.图像识别方法：本发明在进行图像识别之前，首先对图像进行了阈值分割，再对分割后的图像进行识别，这样可以使得识别效果更好，虽然效率降低了，但更能保证识别的准确率，相较于对整张图像进行识别，对子图像进行识别获得结果更加准确。

附图说明

图1为本发明实施例提供的基于增强现实的大屏显示方法的方法流程示意图；

图2为本发明实施例提供的基于增强现实的大屏显示装置的装置结构示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

实施例1

如图1所示，基于增强现实的大屏显示方法，所述方法执行以下步骤：

步骤1：通过三个图像采集单元，对当前场景中的实物进行图像采集，得到三个场景图像；

步骤2：对三个场景图像分别进行图像去噪处理，然后进行图像色彩通道分离，分别得到红色通道图像、蓝色通道图像和黄色通道图像；

步骤3：对三个场景图像进行图像融合，得到融合后的场景图像；

步骤4：对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果；

步骤5：基于识别结果，在数据库中调取该实物对应的数据信息；

步骤6：将实物和对应的数据信息，发送到大屏显示器中，进行显示；同时将每个数据信息，叠加在对应的实物的相应位置处进行显示。

具体的，本发明通过对场景中的图像进行多次采集和多次识别，完成了对场景的多角度采集，再根据多采集结果进行图像通道分离和融合，以此最大化还原场景中的细节，在识别后调取相关数据进行反馈和投影，结合增强现实，实现了场景和图像的对应显示，提升了显示的真实性。主要通过以下过程实现：

1.多图像采集，本发明在采集目标场景的图像时，使用多图像采集，通过三个图像采集单元，对当前场景中的实物进行图像采集，得到三个场景图像，这样可以在后续的图像处理过程中，得到更为全面的图像细节，保证对目标场景的完整还原，提升后续的投影和显示效果；

2.图像去噪，本发明针对采集到的目标场景的图像进行了去噪，其去噪方法通过提取图像的谐波，进行谐波补偿后，再进行差分滤波，这样的方式得到的图像效果更好，虽然与现有技术相比，其去噪效果由于使用差分滤波的方式，效果稍差一些，但能保证图像更多的细节，而本发明使用了多图像的融合处理，弥补了未能处理的噪声对图像的干扰，保证后续的显示效果；

3.图像识别方法：本发明在进行图像识别之前，首先对图像进行了阈值分割，再对分割后的图像进行识别，这样可以使得识别效果更好，虽然效率降低了，但更能保证识别的准确率，相较于对整张图像进行识别，对子图像进行识别获得结果更加准确

实施例2

在上一实施例的基础上，所述步骤6中，将每个数据信息，叠加在对应的实物的相应位置处进行显示包括：根据场景图像确定所述图像采集单元相对所述实物的实时姿态信息；根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，并将所述三维显示信息叠加在所述场景图像的相应位置处进行显示，所述三维显示信息包括用于模拟所述实物的三维显示信息。

具体的，现有的大屏幕显示系统包括大屏工作站、大屏控制器和多个显示单元，该系统的显示方式为通过大屏工作站获取需要显示的内容，并由大屏工作站的显卡将内容信号传输到大屏控制器后，再输出到显示单元，并由该多个显示单元拼接成的大屏幕显示出来。大屏幕通常由M*N个显示单元拼接而成，其每个显示单元由不同信号源提供显示内容，由于大屏控制器所支持图像的分辨率一般比每个显示单元所支持图像的分辨率低，因此不同信号源提供的显示内容均能够在大屏中采用最合适的分辨率进行显示。

实施例3

在上一实施例的基础上，根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，包括：根据所述实时姿态信息以及所述图像采集单元的图像采集参数，得到投影矩阵；

对预先存储的对应于所述实物的三维素材信息中的每一个顶点，根据所述投影矩阵计算所述顶点在成像平面上对应的像素成像位置，根据所述顶点的色彩信息确定所述像素成像位置处对应的色彩信息。

具体的，图像的二值化处理就是将图像上的点的灰度值为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。在数字图像处理中，二值图像占有非常重要的地位，特别是在实用的图像处理中，以二值图像处理实现而构成的系统是很多的，要进行二值图像的处理与分析，首先要把灰度图像二值化，得到二值化图像，这样子有利于在对图像做进一步处理时，图像的集合性质只与像素值为0或255的点的位置有关，不再涉及像素的多级值，使处理变得简单，而且数据的处理和压缩量小。为了得到理想的二值图像，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。

实施例4

在上一实施例的基础上，所述步骤2中对三个场景图像分别进行图像去噪处理的方法包括：提取场景图像中的3-5次谐波；对提取的谐波的幅频特性曲线进行拟合，得到幅值增益与频率的关系，进行幅值补偿；然后将提取的谐波进行差分滤波，所述差分滤波是指将差分序列直接作为滤波信号对谐波进行滤波；其中所述谐波使用如下公式表示为：signal(t)＝Acos(sinω0t+cosB∫c(t)dt)，0≤t≤T；其中A为幅值，c(t)为：Acos(ω0t+B∫dt)；其中，T为s(t)的时间长度，ω0为中心频率，B为调制指数，x_n为长度为N的差分序列，差分序列中的每个码元占用的调频时间为T0＝T/N，u(t)为阶跃函数；r(t)为斜坡函数，是u(t)的积分结果。

实施例5

在上一实施例的基础上，所述步骤4：对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果的方法包括：对融合后的场景图像进行阈值分割，得到二值化图像，将二值化图像进行一次开闭运算，得到分割后的图像；针对每个分割后的图像分别进行图像识别，然后将针对每个分割后的图像的识别结果作为一个集合，该集合为该场景图像的识别结果。

具体的，阈值分割法是一种基于区域的图像分割技术，原理是把图像象素点分为若干类。图像阈值化分割是一种传统的最常用的图像分割方法，因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。它特别适用于目标和背景占据不同灰度级范围的图像。它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤，因此在很多情况下，是进行图像分析、特征提取与模式识别之前的必要的图像预处理过程。图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。

实施例6

一种基于增强现实的大屏显示装置，所述装置包括：图像采集模块，包括：三个图像采集单元，所述三个图像采集单元对当前场景中的实物进行图像采集，得到三个场景图像；图像处理单元，配置用于对三个场景图像分别进行图像去噪处理，然后进行图像色彩通道分离，分别得到红色通道图像、蓝色通道图像和黄色通道图像；图像融合单元，配置用于对三个场景图像进行图像融合，得到融合后的场景图像；图像识别单元，配置用于对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果；基于识别结果，在数据库中调取该实物对应的数据信息；显示单元，配置用于将实物和对应的数据信息，发送到大屏显示器中，进行显示；同时将每个数据信息，叠加在对应的实物的相应位置处进行显示。

具体的，图像的二值化处理就是将图像上的点的灰度值为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。在数字图像处理中，二值图像占有非常重要的地位，特别是在实用的图像处理中，以二值图像处理实现而构成的系统是很多的，要进行二值图像的处理与分析，首先要把灰度图像二值化，得到二值化图像，这样子有利于在对图像做进一步处理时，图像的集合性质只与像素值为0或255的点的位置有关，不再涉及像素的多级值，使处理变得简单，而且数据的处理和压缩量小。为了得到理想的二值图像，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。

实施例7

在上一实施例的基础上，所述显示单元，将每个数据信息，叠加在对应的实物的相应位置处进行显示的方法包括：根据场景图像确定所述图像采集单元相对所述实物的实时姿态信息；根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，并将所述三维显示信息叠加在所述场景图像的相应位置处进行显示，所述三维显示信息包括用于模拟所述实物的三维显示信息。

实施例8

在上一实施例的基础上，根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，包括：根据所述实时姿态信息以及所述图像采集单元的图像采集参数，得到投影矩阵；对预先存储的对应于所述实物的三维素材信息中的每一个顶点，根据所述投影矩阵计算所述顶点在成像平面上对应的像素成像位置，根据所述顶点的色彩信息确定所述像素成像位置处对应的色彩信息。

具体的，本发明在采集目标场景的图像时，使用多图像采集，通过三个图像采集单元，对当前场景中的实物进行图像采集，得到三个场景图像，这样可以在后续的图像处理过程中，得到更为全面的图像细节，保证对目标场景的完整还原，提升后续的投影和显示效果。

实施例9

在上一实施例的基础上，所述图像处理单元对三个场景图像分别进行图像去噪处理的方法包括：提取场景图像中的3-5次谐波；对提取的谐波的幅频特性曲线进行拟合，得到幅值增益与频率的关系，进行幅值补偿；然后将提取的谐波进行差分滤波，所述差分滤波是指将差分序列直接作为滤波信号对谐波进行滤波；其中所述谐波使用如下公式表示为：signal(t)＝Acos(sinω0t+cosB∫c(t)dt)，0≤t≤T；其中A为幅值，c(t)为：Acos(ω0t+B∫dt)；其中，T为s(t)的时间长度，ω0为中心频率，B为调制指数，x_n为长度为N的差分序列，差分序列中的每个码元占用的调频时间为T0＝T/N，u(t)为阶跃函数；r(t)为斜坡函数，是u(t)的积分结果。

具体的，本发明针对采集到的目标场景的图像进行了去噪，其去噪方法通过提取图像的谐波，进行谐波补偿后，再进行差分滤波，这样的方式得到的图像效果更好，虽然与现有技术相比，其去噪效果由于使用差分滤波的方式，效果稍差一些，但能保证图像更多的细节，而本发明使用了多图像的融合处理，弥补了未能处理的噪声对图像的干扰，保证后续的显示效果。

在上一实施例的基础上，所述图像识别单元对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果的方法包括：对融合后的场景图像进行阈值分割，得到二值化图像，将二值化图像进行一次开闭运算，得到分割后的图像；针对每个分割后的图像分别进行图像识别，然后将针对每个分割后的图像的识别结果作为一个集合，该集合为该场景图像的识别结果。

具体的，本发明在进行图像识别之前，首先对图像进行了阈值分割，再对分割后的图像进行识别，这样可以使得识别效果更好，虽然效率降低了，但更能保证识别的准确率，相较于对整张图像进行识别，对子图像进行识别获得结果更加准确。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“另一部分”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术标记作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。

Claims (10)

1.基于增强现实的大屏显示方法，其特征在于，所述方法执行以下步骤：

步骤1：通过三个图像采集单元，对当前场景中的实物进行图像采集，得到三个场景图像；

步骤2：对三个场景图像分别进行图像去噪处理，然后进行图像色彩通道分离，分别得到红色通道图像、蓝色通道图像和黄色通道图像；

步骤3：对三个场景图像进行图像融合，得到融合后的场景图像；

步骤4：对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果；

步骤5：基于识别结果，在数据库中调取该实物对应的数据信息；

步骤6：将实物和对应的数据信息，发送到大屏显示器中，进行显示；同时将每个数据信息，叠加在对应的实物的相应位置处进行显示。

2.如权利要求1所述的方法，其特征在于，所述步骤6中，将每个数据信息，叠加在对应的实物的相应位置处进行显示包括：根据场景图像确定所述图像采集单元相对所述实物的实时姿态信息；根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，并将所述三维显示信息叠加在所述场景图像的相应位置处进行显示，所述三维显示信息包括用于模拟所述实物的三维显示信息。

3.如权利要求2所述的方法，其特征在于，根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，包括：根据所述实时姿态信息以及所述图像采集单元的图像采集参数，得到投影矩阵；对预先存储的对应于所述实物的三维素材信息中的每一个顶点，根据所述投影矩阵计算所述顶点在成像平面上对应的像素成像位置，根据所述顶点的色彩信息确定所述像素成像位置处对应的色彩信息。

4.如权利要求3所述的方法，其特征在于，所述步骤2中对三个场景图像分别进行图像去噪处理的方法包括：提取场景图像中的3-5次谐波；对提取的谐波的幅频特性曲线进行拟合，得到幅值增益与频率的关系，进行幅值补偿；然后将提取的谐波进行差分滤波，所述差分滤波是指将差分序列直接作为滤波信号对谐波进行滤波；其中所述谐波使用如下公式表示为：signal(t)＝Acos(sinω0t+cosB∫c(t)dt)，0≤t≤T；其中A为幅值，c(t)为：Acos(ω0t+B∫dt)；其中，T为s(t)的时间长度，ω0为中心频率，B为调制指数，x_n为长度为N的差分序列，差分序列中的每个码元占用的调频时间为T0＝T/N，u(t)为阶跃函数；r(t)为斜坡函数，是u(t)的积分结果。

5.如权利要求4所述的方法，其特征在于，所述步骤4：对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果的方法包括：对融合后的额场景图像进行阈值分割，得到二值化图像，将二值化图像进行一次开闭运算，得到分割后的图像；针对每个分割后的图像分别进行图像识别，然后将针对每个分割后的图像的识别结果作为一个集合，该集合为该场景图像的识别结果。

6.一种用于实现权利要求1至5之一所述方法的基于增强现实的大屏显示装置，其特征在于，所述装置包括：图像采集模块，包括：三个图像采集单元，所述三个图像采集单元对当前场景中的实物进行图像采集，得到三个场景图像；图像处理单元，配置用于对三个场景图像分别进行图像去噪处理，然后进行图像色彩通道分离，分别得到红色通道图像、蓝色通道图像和黄色通道图像；图像融合单元，配置用于对三个场景图像进行图像融合，得到融合后的场景图像；图像识别单元，配置用于对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果；基于识别结果，在数据库中调取该实物对应的数据信息；显示单元，配置用于将实物和对应的数据信息，发送到大屏显示器中，进行显示；同时将每个数据信息，叠加在对应的实物的相应位置处进行显示。

7.如权利要求6所述的装置，其特征在于，所述显示单元，将每个数据信息，叠加在对应的实物的相应位置处进行显示的方法包括：根据场景图像确定所述图像采集单元相对所述实物的实时姿态信息；根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，并将所述三维显示信息叠加在所述场景图像的相应位置处进行显示，所述三维显示信息包括用于模拟所述实物的三维显示信息。

8.如权利要求7所述的装置，其特征在于，根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，包括：根据所述实时姿态信息以及所述图像采集单元的图像采集参数，得到投影矩阵；对预先存储的对应于所述实物的三维素材信息中的每一个顶点，根据所述投影矩阵计算所述顶点在成像平面上对应的像素成像位置，根据所述顶点的色彩信息确定所述像素成像位置处对应的色彩信息。

9.如权利要求8所述的装置，其特征在于，所述图像处理单元对三个场景图像分别进行图像去噪处理的方法包括：提取场景图像中的3-5次谐波；对提取的谐波的幅频特性曲线进行拟合，得到幅值增益与频率的关系，进行幅值补偿；然后将提取的谐波进行差分滤波，所述差分滤波是指将差分序列直接作为滤波信号对谐波进行滤波；其中所述谐波使用如下公式表示为：signal(t)＝Acos(sinω0t+cosB∫c(t)dt)，0≤t≤T；其中A为幅值，c(t)为：Acos(ω0t+B∫dt)；其中，T为s(t)的时间长度，ω0为中心频率，B为调制指数，x_n为长度为N的差分序列，差分序列中的每个码元占用的调频时间为T0＝T/N，u(t)为阶跃函数；r(t)为斜坡函数，是u(t)的积分结果。

10.如权利要求9所述的装置，其特征在于，所述图像识别单元对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果的方法包括：对融合后的场景图像进行阈值分割，得到二值化图像，将二值化图像进行一次开闭运算，得到分割后的图像；针对每个分割后的图像分别进行图像识别，然后将针对每个分割后的图像的识别结果作为一个集合，该集合为该场景图像的识别结果。

Images