CN117369233A - 一种全息显示方法、装置、设备及存储介质 - Google Patents
一种全息显示方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117369233A CN117369233A CN202311312573.3A CN202311312573A CN117369233A CN 117369233 A CN117369233 A CN 117369233A CN 202311312573 A CN202311312573 A CN 202311312573A CN 117369233 A CN117369233 A CN 117369233A
- Authority
- CN
- China
- Prior art keywords
- building
- holographic
- data
- user
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000000007 visual effect Effects 0.000 claims abstract description 182
- 238000005286 illumination Methods 0.000 claims abstract description 88
- 230000002452 interceptive effect Effects 0.000 claims abstract description 46
- 230000033001 locomotion Effects 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 238000012937 correction Methods 0.000 claims abstract description 18
- 230000004044 response Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000003993 interaction Effects 0.000 claims description 62
- 239000013598 vector Substances 0.000 claims description 59
- 230000009471 action Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 23
- 238000009877 rendering Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims 5
- 230000000694 effects Effects 0.000 abstract description 23
- 230000008859 change Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 230000008447 perception Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Holo Graphy (AREA)
Abstract
本发明涉及全息显示技术领域,公开了一种全息显示方法、装置、设备及存储介质,用于提升全息显示的显示效果并提高全息建筑投影的显示准确率。方法包括:对目标建筑区域图像数据进行建筑物提取和三维建筑模型重构并进行位置校正和全息影像生成,得到初始化全息建筑投影数据;进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据;进行交互响应,得到第一全息建筑投影数据并进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域;进行视角移动轨迹跟踪,得到第二用户视角位置数据并进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域;进行投影预加载,生成第二全息建筑投影数据。
Description
技术领域
本发明涉及全息显示技术领域,尤其涉及一种全息显示方法、装置、设备及存储介质。
背景技术
全息技术能够实现真实感和立体感的显示,因为它能够模拟光的干涉和衍射现象,使得观察者可以从多个角度观察到立体图像。随着扫描技术和图像处理算法的不断发展,研究人员开始探索如何利用多角度扫描和图像增强技术来获取更精确的建筑图像数据。通过对建筑物的提取和三维建模重构,可以生成更真实的三维建筑模型。
但是现有方案在对三维建筑模型进行重构显示时,无法根据用户的移动轨迹实时调整建筑物之间的光影显示效果,进而导致现有方案的显示准确率低。
发明内容
本发明提供了一种全息显示方法、装置、设备及存储介质,用于提升全息显示的显示效果并提高全息建筑投影的显示准确率。
本发明第一方面提供了一种全息显示方法,所述全息显示方法包括:
对目标建筑区域进行多角度扫描,得到初始建筑区域图像数据,并对所述初始建筑区域图像数据进行图像增强处理,得到目标建筑区域图像数据;
对所述目标建筑区域图像数据进行建筑物提取和三维建筑模型重构,得到离散三维建筑模型集群,并对所述离散三维建筑模型集群进行位置校正和全息影像生成,得到初始化全息建筑投影数据;
对目标用户进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据;
根据所述用户交互动作数据对所述初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据,并根据所述第一用户视角位置数据对所述第一全息建筑投影数据进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域;
对所述目标用户进行视角移动轨迹跟踪,得到第二用户视角位置数据,并根据所述第二用户视角位置数据对所述第一视觉光照区域和所述第一视觉阴影区域进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域;
根据所述第二视觉光照区域和所述第二视觉阴影区域对所述第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据。
结合第一方面,在本发明第一方面的第一种实现方式中,所述对目标建筑区域进行多角度扫描,得到初始建筑区域图像数据,并对所述初始建筑区域图像数据进行图像增强处理,得到目标建筑区域图像数据,包括:
通过预置的无人机集群对目标建筑区域进行多角度扫描,得到多个原始建筑区域图像;
对所述多个原始建筑区域图像进行重叠区域识别,得到目标重叠区域图像;
根据所述目标重叠区域图像对所述多个原始建筑区域图像进行图像融合,得到所述目标建筑区域的全局建筑区域图像;
对所述全局建筑区域图像进行建筑信息标注,得到初始建筑区域图像数据;
将所述初始建筑区域图像数据输入预置的图像增强模型,其中,所述图像增强模型包括:卷积层、激活层和残差层;
通过所述图像增强模型对所述初始建筑区域图像数据进行图像增强处理,得到目标建筑区域图像数据。
结合第一方面,在本发明第一方面的第二种实现方式中,所述对所述目标建筑区域图像数据进行建筑物提取和三维建筑模型重构,得到离散三维建筑模型集群,并对所述离散三维建筑模型集群进行位置校正和全息影像生成,得到初始化全息建筑投影数据,包括:
通过预置的图像分割模型对所述目标建筑区域图像数据进行建筑物提取,得到建筑物轮廓信息;
基于预置的立体匹配算法计算所述建筑物轮廓信息中每个像素的视差图;
根据所述视差图,计算所述建筑物轮廓信息中每个像素的深度信息;
根据所述深度信息和所述目标建筑区域图像数据中的建筑标注信息,对所述建筑物轮廓信息中每个像素进行三维空间映射,得到建筑物点云信息;
对所述建筑物点云信息进行三维网格化,得到多个初始三维网格模型,并对所述多个初始三维网格模型进行网格平滑处理,得到离散三维建筑模型集群;
基于预置的全息投影屏构建全息投影坐标系,对所述离散三维建筑模型集群进行位置校正,并对所述离散三维建筑模型集群进行全息影像生成,得到初始化全息建筑投影数据。
结合第一方面,在本发明第一方面的第三种实现方式中,所述对目标用户进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据,包括:
采集所述目标用户的用户头部图像,并对所述用户头部图像进行噪声和背景去除,得到标准头部图像;
通过预置的特征分类器对所述标准头部图像进行眼部特征点提取,得到多个眼部特征点;
根据所述全息投影坐标系,对所述多个眼部特征点进行坐标转换,得到多个眼部特征坐标;
根据所述多个眼部特征坐标,计算所述多个眼部特征点的法向量和坐标系方向向量;
根据所述法向量和所述坐标系方向向量计算每个眼部特征点的位置数据,并对所述位置数据进行均值运算,得到第一用户视角位置数据;
对所述目标用户进行手部动态跟踪识别,得到手部连续动态图像集合;
对所述手部连续动态图像集合进行手势动作编码,生成手势特征向量;
获取预设的交互动作定义集合,并对所述交互动作定义集合中的每个交互动作进行特征提取和编码,得到手势交互动作编码向量集合;
对所述手势特征向量与手势交互动作编码向量集合中的多个手势编码向量进行相似度计算,得到所述手势编码向量对应的目标相似度;
根据所述目标相似度生成所述目标用户的用户交互动作数据。
结合第一方面,在本发明第一方面的第四种实现方式中,所述根据所述用户交互动作数据对所述初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据,并根据所述第一用户视角位置数据对所述第一全息建筑投影数据进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域,包括:
根据所述用户交互动作数据对所述初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据;
对所述第一全息建筑投影数据进行投影特征信息提取,得到建筑模型特征数据;
根据所述建筑模型特征数据对所述第一全息建筑投影数据中的多个三维建筑模型进行关联关系分析,得到目标关联关系;
基于所述目标关联关系,并根据预设的竞争机制算法对所述第一全息建筑投影数据进行光影区域焦点映射,确定光照区域和阴影区域的多个交界点;
对所述光照区域和阴影区域的多个交界点进行光影区域连通,得到第一视觉光照区域和第一视觉阴影区域。
结合第一方面,在本发明第一方面的第五种实现方式中,所述对所述目标用户进行视角移动轨迹跟踪,得到第二用户视角位置数据,并根据所述第二用户视角位置数据对所述第一视觉光照区域和所述第一视觉阴影区域进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域,包括:
对所述目标用户进行视角移动轨迹跟踪并构建所述目标用户的状态空间模型;
根据所述状态空间模型对预置的卡尔曼滤波器进行初始化,并通过所述卡尔曼滤波器计算所述目标用户的位置和速度信息,得到第二用户视角位置数据;
根据所述第二用户视角位置数据,对所述光照区域和阴影区域的多个交界点进行交界点更新和光影区域生成,生成第二视觉光照区域和第二视觉阴影区域。
结合第一方面,在本发明第一方面的第六种实现方式中,所述根据所述第二视觉光照区域和所述第二视觉阴影区域对所述第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据,包括:
根据所述目标用户的位置和速度信息计算所述第一全息建筑投影数据的预加载时长数据;
根据所述预加载时长数据,对所述第二视觉光照区域和所述第二视觉阴影区域进行渲染参数运算,得到预加载渲染参数集合;
根据所述预加载渲染参数集合,对所述第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据。
本发明第二方面提供了一种全息显示装置,所述全息显示装置包括:
扫描模块,用于对目标建筑区域进行多角度扫描,得到初始建筑区域图像数据,并对所述初始建筑区域图像数据进行图像增强处理,得到目标建筑区域图像数据;
校正模块,用于对所述目标建筑区域图像数据进行建筑物提取和三维建筑模型重构,得到离散三维建筑模型集群,并对所述离散三维建筑模型集群进行位置校正和全息影像生成,得到初始化全息建筑投影数据;
识别模块,用于对目标用户进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据;
划分模块,用于根据所述用户交互动作数据对所述初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据,并根据所述第一用户视角位置数据对所述第一全息建筑投影数据进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域;
分析模块,用于对所述目标用户进行视角移动轨迹跟踪,得到第二用户视角位置数据,并根据所述第二用户视角位置数据对所述第一视觉光照区域和所述第一视觉阴影区域进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域;
加载模块,用于根据所述第二视觉光照区域和所述第二视觉阴影区域对所述第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据。
本发明第三方面提供了一种全息显示设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述全息显示设备执行上述的全息显示方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的全息显示方法。
本发明提供的技术方案中,对目标建筑区域图像数据进行建筑物提取和三维建筑模型重构并进行位置校正和全息影像生成,得到初始化全息建筑投影数据;进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据;进行交互响应,得到第一全息建筑投影数据并进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域;进行视角移动轨迹跟踪,得到第二用户视角位置数据并进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域;进行投影预加载,生成第二全息建筑投影数据,本发明通过多角度扫描和图像增强技术获取的目标建筑区域图像数据能够提供更真实的显示效果。进而使得生成的离散三维建筑模型集群能够呈现建筑物的真实形态和细节,使目标用户获得更加逼真的感知体验,通过用户视角位置感知和交互动作识别,可以与全息投影进行交互。观察者可以通过移动视角或执行交互动作来操纵全息投影,进一步增强用户体验和参与感。此外,根据用户视角位置对光影区域进行划分和更新,能够提供更准确的光照和阴影效果。这种逼真的光照效果可以增强全息显示的真实感和立体感,使目标用户感受到更加真实的环境,进而提升了全息显示的显示效果并提高了全息建筑投影的显示准确率。
附图说明
图1为本发明实施例中全息显示方法的一个实施例示意图;
图2为本发明实施例中光影区域划分的流程图;
图3为本发明实施例中光影区域分析的流程图;
图4为本发明实施例中投影预加载的流程图;
图5为本发明实施例中全息显示装置的一个实施例示意图;
图6为本发明实施例中全息显示设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种全息显示方法、装置、设备及存储介质,用于提升全息显示的显示效果并提高全息建筑投影的显示准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中全息显示方法的一个实施例包括:
S101、对目标建筑区域进行多角度扫描,得到初始建筑区域图像数据,并对初始建筑区域图像数据进行图像增强处理,得到目标建筑区域图像数据;
可以理解的是,本发明的执行主体可以为全息显示装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的,服务器首先收集目标建筑区域的图像数据。这可以通过使用预置的无人机集群来实现。这些无人机可以从不同的角度和高度拍摄建筑物,生成多个原始建筑区域图像。例如,无人机可以在不同高度上空中飞行,以获得不同视角的图像。得到多个原始建筑区域图像后,下一步是识别它们之间的重叠区域。这是为了确保后续的图像融合过程能够无缝地合并这些图像。现代计算机视觉技术可以用于自动检测和标记重叠区域。有了重叠区域的信息,服务器对多个原始建筑区域图像进行图像融合。这个过程涉及将这些图像合并成一个全局的建筑区域图像,其中包含了所有的细节和角度。图像融合技术可以确保重叠区域的平滑过渡,以获得高质量的全局图像。生成全局建筑区域图像后,服务器使用计算机视觉技术对图像中的建筑物进行信息标注。这可以包括建筑物的轮廓、高度、材质等信息的识别和标记。例如,自动化的算法可以识别建筑物的边界并生成标签。将初始建筑区域图像数据输入预置的图像增强模型。这个模型通常包括卷积层、激活层和残差层等,它们被设计用来对图像进行各种处理,以提高图像的质量和逼真度。通过图像增强模型的处理,服务器得到了目标建筑区域图像数据。这些数据已经经过增强,包含更多的细节、清晰度和视觉效果,以适应后续的全息显示投影。例如,假设服务器要在一个城市规划项目中使用全息显示技术来展示一座新建的高层建筑物。服务器首先派遣一组预置的无人机,它们在不同的时间和角度对建筑物进行了多次扫描。这些扫描生成了多个原始建筑区域图像,其中一些在角度和光照条件上略有不同。然后,服务器使用计算机视觉技术自动识别了这些图像之间的重叠区域,以确保它们可以顺利地融合在一起。服务器将这些图像合并成一个全局的建筑区域图像,包含了所有可见的细节。在生成的全局图像上,服务器使用计算机视觉算法自动识别并标注建筑物的各个部分,如窗户、楼层和外观特征。这些标注可以提供给城市规划师和设计师更多的信息。服务器将这个全局建筑区域图像输入到图像增强模型中,该模型通过多层处理提高了图像的质量。
S102、对目标建筑区域图像数据进行建筑物提取和三维建筑模型重构,得到离散三维建筑模型集群,并对离散三维建筑模型集群进行位置校正和全息影像生成,得到初始化全息建筑投影数据;
具体的,服务器通过使用预置的图像分割模型,对目标建筑区域的图像数据进行处理,提取出建筑物的轮廓信息。这个模型经过训练,可以识别出图像中的建筑物部分,从而生成建筑物轮廓的边界。服务器利用预置的立体匹配算法计算建筑物轮廓信息中每个像素的视差图。这个视差图表示不同视角下像素之间的差异,可以用来计算每个像素的深度信息,即其距离相机的远近。借助计算出的深度信息和图像中的建筑标注信息,服务器将建筑物轮廓信息中的每个像素映射到三维空间中,生成建筑物的点云信息。这个点云表示建筑物的真实三维形状。服务器对生成的建筑物点云信息进行三维网格化,将点云数据转换为多个初始三维网格模型。为了提高模型的光滑度和准确性,服务器对这些初始模型进行了网格平滑处理,得到了离散的三维建筑模型集群。在获得离散三维建筑模型集群后,服务器根据预置的全息投影屏,构建了全息投影的坐标系。这个坐标系为后续的位置校正和全息影像生成提供了准确的框架。借助构建好的坐标系,服务器对离散三维建筑模型集群进行位置校正,确保它们在全息投影中的位置和方向是准确的,以便在投影中展现出真实的效果。基于经过校正的离散三维建筑模型集群,服务器进行全息影像的生成。这个过程将三维模型的信息转化为适合于全息投影的数据,以便用户能够观看逼真的建筑物投影。例如,假设服务器利用全息显示技术来创建一个虚拟建筑导览,让游客可以在没有实际建筑物的情况下,逼真地体验未来景点的样貌。服务器选择了一座即将兴建的高科技博物馆作为示例场景。服务器首先通过预置的图像分割模型处理了博物馆的概念设计图像。这个模型识别出博物馆的轮廓信息,提取出建筑物的形状。利用预置的立体匹配算法,服务器计算了建筑物轮廓信息中每个像素的视差图。这样,服务器根据视差图计算出每个像素到相机的距离,得到深度信息。利用深度信息和建筑标注,服务器将每个像素从图像中映射到三维空间,生成了建筑物的点云数据。这个点云表示博物馆的三维形状。服务器将点云数据转化为初始的三维网格模型,然后对这些模型进行网格平滑处理,以确保建筑物模型的光滑性和准确性。基于预置的全息投影屏构建了全息投影坐标系。服务器将离散三维建筑模型集群进行位置校正,确保在投影中能够准确显示。服务器根据校正后的离散三维建筑模型集群生成了全息影像。
S103、对目标用户进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据;
需要说明的是,首先采集目标用户的头部图像,并经过噪声和背景去除处理,得到标准化的头部图像。服务器通过预先设定的特征分类器,从标准头部图像中提取眼部特征点,这些点在后续的计算中具有重要作用。然后,根据全息投影坐标系,服务器对这些眼部特征点的位置进行坐标转换,得到相应的眼部特征坐标。这些坐标随后用于计算每个眼部特征点的法向量和坐标系方向向量。基于法向量和坐标系方向向量,服务器计算每个眼部特征点的位置数据,并对这些数据进行均值运算,从而得到第一用户视角位置数据。这一数据将为后续全息投影的视角确定提供依据。另一方面,对目标用户的手部动态进行跟踪识别,以获取连续的手部动态图像集合。这些图像集合随后被编码成手势特征向量,这将为用户与全息投影之间的交互行为提供基础。获取预设的交互动作定义集合,并对每个交互动作进行特征提取和编码,生成相应的手势交互动作编码向量集合。这些向量用于分析用户的手势与预设交互动作之间的相似度。通过计算手势特征向量与手势交互动作编码向量集合中的向量的相似度,服务器确定了与每个预设交互动作相对应的目标相似度。这一相似度值用于生成目标用户的用户交互动作数据,从而实现与全息投影的实时交互体验。例如,考虑一个虚拟展示场景,用户站在一幅全息投影的画面前,想要查看画面中的细节。通过摄像头捕捉用户的头部姿势,识别出他们的视线方向。如果用户转动头部并将目光集中在画面的右上角,服务器将根据眼部特征点的位置数据,计算出用户的视角位置。同时,摄像头还能够追踪用户手部的动作,记录下用户划过空中的手势。如果用户在画面前放大手势,服务器将通过手势动作编码识别出用户的意图。通过结合头部姿势和手势动作,服务器能够生成一个与用户互动的全息投影,使用户能够自然地浏览和探索虚拟环境中的内容。
S104、根据用户交互动作数据对初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据,并根据第一用户视角位置数据对第一全息建筑投影数据进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域;
具体的,根据用户交互动作数据对初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据。根据用户的手势、动作或其他交互行为,调整全息投影的内容,使用户能够与投影进行互动。对第一全息建筑投影数据进行投影特征信息提取,以获取建筑模型的特征数据。这些特征数据包括建筑物的几何信息、材质属性等。基于建筑模型特征数据,对第一全息建筑投影数据中的多个三维建筑模型进行关联关系分析。通过分析模型之间的位置、形状等关系,可以确定它们之间的关联性,例如建筑物之间的相对位置。在获得目标关联关系后,采用预设的竞争机制算法对第一全息建筑投影数据进行光影区域焦点映射。目的是根据建筑模型之间的关系和用户的交互,确定光照和阴影区域的焦点,以便更好地突出关键部分。根据目标关联关系,确定光照区域和阴影区域的多个交界点。这些交界点是光照和阴影区域的边界,也是后续光影区域连通的关键点。对光照区域和阴影区域的多个交界点进行光影区域连通,以得到第一视觉光照区域和第一视觉阴影区域。通过将交界点相连接,可以形成连续的光照和阴影区域,从而使投影更加逼真和真实。例如,考虑一个虚拟城市的全息投影展示。用户可以通过手势交互选择特定的建筑物,并将其放大以查看细节。当用户将手势放大到某个建筑物时,服务器会根据用户交互动作对初始全息建筑投影数据进行响应,将被选中的建筑物放大显示。服务器会从这个建筑物的特征数据中提取几何信息,并分析与其他建筑物之间的关联关系,例如其位置关系。服务器会根据用户的交互和建筑物关联关系,使用竞争机制算法确定光照和阴影区域的焦点,以突出建筑物的特定部分。最终,通过连通交界点,服务器生成第一视觉光照区域和阴影区域,为用户呈现出更加逼真的投影效果。
S105、对目标用户进行视角移动轨迹跟踪,得到第二用户视角位置数据,并根据第二用户视角位置数据对第一视觉光照区域和第一视觉阴影区域进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域;
具体的,服务器对目标用户进行视角移动轨迹跟踪并构建状态空间模型。监测用户的头部或眼部运动,以了解用户视角的变化。通过记录用户的视角移动轨迹,可以建立用户的状态空间模型,描述其位置和速度的变化规律。根据状态空间模型,对预置的卡尔曼滤波器进行初始化,并利用卡尔曼滤波器计算目标用户的位置和速度信息,从而得到第二用户视角位置数据。卡尔曼滤波器是一种用于估计动态系统状态的方法,可以准确预测用户的位置和速度。根据第二用户视角位置数据,对第一视觉光照区域和阴影区域的多个交界点进行交界点更新和光影区域生成。在用户的视角移动过程中,光照和阴影区域的交界点会发生变化。通过更新交界点的位置,可以准确反映用户在不同视角下的光影变化。基于更新后的交界点,生成第二视觉光照区域和阴影区域。这些区域将根据用户的视角移动和光照条件进行调整,确保投影在不同视角下的逼真效果。例如,考虑一个全息城市模型投影,用户可以通过头部运动来改变视角,从不同角度欣赏城市的景观。服务器会对用户的视角移动进行跟踪,并根据建立的状态空间模型,使用卡尔曼滤波器预测用户的位置和速度。当用户从一个角度转向另一个角度时,投影中的光照和阴影区域也会随之变化。服务器会根据用户的视角移动,更新光影区域的交界点,并生成新的光照区域和阴影区域,以确保投影的逼真度和一致性。
S106、根据第二视觉光照区域和第二视觉阴影区域对第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据。
具体的,根据目标用户的位置和速度信息计算第一全息建筑投影数据的预加载时长数据。根据用户的当前位置和速度,预测用户未来一段时间内的视角变化。通过这个时长数据,服务器预先加载适当的光照和阴影信息,以确保用户在视角变化时投影保持流畅和逼真。根据预加载时长数据,对第二视觉光照区域和阴影区域进行渲染参数运算,得到预加载渲染参数集合。这个步骤涉及计算光源位置、光照强度、阴影效果等参数,以适应用户预计的视角变化。这些参数将用于在投影中模拟逼真的光照和阴影。基于预加载渲染参数集合,对第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据。服务器会根据用户的预测视角变化,提前加载光照和阴影信息,以便在用户实际改变视角时无需等待重新渲染,从而提供更流畅的交互体验。例如,考虑一个全息虚拟博物馆展示。用户可以通过头部运动改变视角,观看不同的展品。服务器会根据用户当前的位置和速度信息,预测用户未来几秒内的视角变化。例如,如果用户正朝向一个装饰艺术展品,服务器预测用户会向左或向右转头以查看其他展品。服务器会计算出预加载时长数据,例如2秒,然后根据这个时长计算出适当的光照和阴影参数。当用户实际改变视角时,投影已经包含了所需的光照和阴影信息,因此展示会保持流畅和逼真。
本发明实施例中,对目标建筑区域图像数据进行建筑物提取和三维建筑模型重构并进行位置校正和全息影像生成,得到初始化全息建筑投影数据;进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据;进行交互响应,得到第一全息建筑投影数据并进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域;进行视角移动轨迹跟踪,得到第二用户视角位置数据并进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域;进行投影预加载,生成第二全息建筑投影数据,本发明通过多角度扫描和图像增强技术获取的目标建筑区域图像数据能够提供更真实的显示效果。进而使得生成的离散三维建筑模型集群能够呈现建筑物的真实形态和细节,使目标用户获得更加逼真的感知体验,通过用户视角位置感知和交互动作识别,可以与全息投影进行交互。观察者可以通过移动视角或执行交互动作来操纵全息投影,进一步增强用户体验和参与感。此外,根据用户视角位置对光影区域进行划分和更新,能够提供更准确的光照和阴影效果。这种逼真的光照效果可以增强全息显示的真实感和立体感,使目标用户感受到更加真实的环境,进而提升了全息显示的显示效果并提高了全息建筑投影的显示准确率。
在一具体实施例中,执行步骤S101的过程可以具体包括如下步骤:
(1)通过预置的无人机集群对目标建筑区域进行多角度扫描,得到多个原始建筑区域图像;
(2)对多个原始建筑区域图像进行重叠区域识别,得到目标重叠区域图像;
(3)根据目标重叠区域图像对多个原始建筑区域图像进行图像融合,得到目标建筑区域的全局建筑区域图像;
(4)对全局建筑区域图像进行建筑信息标注,得到初始建筑区域图像数据;
(5)将初始建筑区域图像数据输入预置的图像增强模型,其中,图像增强模型包括:卷积层、激活层和残差层;
(6)通过图像增强模型对初始建筑区域图像数据进行图像增强处理,得到目标建筑区域图像数据。
具体的,服务器预置的无人机集群对目标建筑区域进行多角度扫描。无人机可以从不同高度和角度对建筑物进行拍摄,获取多个原始建筑区域图像,每个图像都代表着建筑物的不同视角。通过对多个原始建筑区域图像进行重叠区域识别,可以确定它们之间的重叠部分。这些重叠区域是不同角度图像的交叠区域,它们有助于后续的图像融合。基于目标重叠区域图像,进行图像融合操作。目的是将多个原始图像融合为一个全局建筑区域图像,以呈现建筑物的整体外观和细节。融合过程可以利用图像处理算法,如图像叠加、混合等。在获得目标建筑区域的全局建筑区域图像后,对图像进行建筑信息标注。这包括在图像上标记建筑物的边界、特征、位置等信息,以为后续处理提供参考。将标注后的初始建筑区域图像数据输入预置的图像增强模型中。图像增强模型通常采用深度学习技术,其中包括卷积层、激活层和残差层等,可以提高图像的质量、对比度和细节,增强图像的观感效果。通过图像增强模型对初始建筑区域图像数据进行处理,得到目标建筑区域图像数据。经过增强的图像数据更适合用于后续的建筑物提取、三维重建等步骤,从而为全息显示的继续处理提供优质数据基础。例如,考虑一个旅游景点的全息展示。通过预置的无人机集群,从不同的角度捕捉景点建筑物的图像。这些图像包括不同侧面、不同高度的视角。通过对这些图像进行重叠区域识别和图像融合,可以生成一个全景图像,展示出景点的完整外观。对全景图像进行建筑信息标注,将各个建筑物的位置和特点标注出来。将这些标注后的图像数据输入图像增强模型,可以改善图像质量,使得建筑物更加清晰可见。
在一具体实施例中,执行步骤S102的过程可以具体包括如下步骤:
(1)通过预置的图像分割模型对目标建筑区域图像数据进行建筑物提取,得到建筑物轮廓信息;
(2)基于预置的立体匹配算法计算建筑物轮廓信息中每个像素的视差图;
(3)根据视差图,计算建筑物轮廓信息中每个像素的深度信息;
(4)根据深度信息和目标建筑区域图像数据中的建筑标注信息,对建筑物轮廓信息中每个像素进行三维空间映射,得到建筑物点云信息;
(5)对建筑物点云信息进行三维网格化,得到多个初始三维网格模型,并对多个初始三维网格模型进行网格平滑处理,得到离散三维建筑模型集群;
(6)基于预置的全息投影屏构建全息投影坐标系,对离散三维建筑模型集群进行位置校正,并对离散三维建筑模型集群进行全息影像生成,得到初始化全息建筑投影数据。
具体的,通过预置的图像分割模型对目标建筑区域图像数据进行建筑物提取,以获得建筑物的轮廓信息。图像分割模型可以识别出图像中建筑物与背景之间的边界,从而生成建筑物的轮廓。基于预置的立体匹配算法,计算建筑物轮廓信息中每个像素的视差图。这个过程涉及计算不同图像视角之间的位移差异,从而获得视差图。根据视差图,可以计算建筑物轮廓信息中每个像素的深度信息。视差与深度之间存在一定的关系,可以通过立体几何原理推导出建筑物各部分的深度信息。利用深度信息和目标建筑区域图像数据中的建筑标注信息,对建筑物轮廓信息中的每个像素进行三维空间映射,得到建筑物点云信息。这些点云表示了建筑物表面的三维坐标信息。将建筑物点云信息进行三维网格化,以生成多个初始的三维网格模型。然后,对这些初始模型进行网格平滑处理,以获得更精细和平滑的离散三维建筑模型集群。基于预置的全息投影屏,构建全息投影坐标系。通过对离散三维建筑模型集群进行位置校正,将其投影到全息投影坐标系中,并进行全息影像生成,从而获得初始化的全息建筑投影数据。例如,考虑一个古老城市的建筑物全息展示。利用图像分割模型,从城市照片中提取出建筑物的轮廓信息。然后,通过立体匹配算法计算视差图,进而计算出建筑物各部分的深度信息。结合建筑物标注,将每个像素映射到三维空间,生成建筑物点云信息。这些点云被转化为三维网格模型,并经过平滑处理。构建全息投影坐标系,对离散三维建筑模型集群进行位置校正,最终生成全息影像,实现初始化的全息建筑投影数据。
在一具体实施例中,执行步骤S103的过程可以具体包括如下步骤:
(1)采集目标用户的用户头部图像,并对用户头部图像进行噪声和背景去除,得到标准头部图像;
(2)通过预置的特征分类器对标准头部图像进行眼部特征点提取,得到多个眼部特征点;
(3)根据全息投影坐标系,对多个眼部特征点进行坐标转换,得到多个眼部特征坐标;
(4)根据多个眼部特征坐标,计算多个眼部特征点的法向量和坐标系方向向量;
(5)根据法向量和坐标系方向向量计算每个眼部特征点的位置数据,并对位置数据进行均值运算,得到第一用户视角位置数据;
(6)对目标用户进行手部动态跟踪识别,得到手部连续动态图像集合;
(7)对手部连续动态图像集合进行手势动作编码,生成手势特征向量;
(8)获取预设的交互动作定义集合,并对交互动作定义集合中的每个交互动作进行特征提取和编码,得到手势交互动作编码向量集合;
(9)对手势特征向量与手势交互动作编码向量集合中的多个手势编码向量进行相似度计算,得到手势编码向量对应的目标相似度;
(10)根据目标相似度生成目标用户的用户交互动作数据。
具体的,采集目标用户的用户头部图像,并对图像进行噪声和背景去除,以得到清晰的标准头部图像。这可以通过图像处理技术,如降噪算法和背景分割算法来实现。使用预置的特征分类器对标准头部图像进行眼部特征点提取,以获得用户眼部位置的信息。这些眼部特征点可以包括眼睛的轮廓、虹膜等。利用全息投影坐标系,对提取出的多个眼部特征点进行坐标转换,将其映射到全息投影坐标系中,以获取眼部特征点在全息投影中的位置。根据多个眼部特征坐标,计算每个眼部特征点的法向量和坐标系方向向量。法向量可以表征眼睛的朝向,坐标系方向向量则表示眼部特征点在全息投影坐标系中的朝向。通过法向量和坐标系方向向量,计算每个眼部特征点的位置数据,并对这些位置数据进行均值运算,以得到第一用户视角位置数据。这些位置数据可以用来确定用户的视角位置,从而实现视角感知。同时,对目标用户进行手部动态跟踪识别,获取手部连续动态图像集合。这可以通过使用传感器技术,如摄像头或深度传感器,来捕获用户手部的动态变化。对手部连续动态图像集合进行手势动作编码,生成手势特征向量。这涉及将手部动态变化转化为数值化的特征向量,以便后续的分析和识别。获取预设的交互动作定义集合,并对集合中的每个交互动作进行特征提取和编码,得到手势交互动作编码向量集合。这些编码向量用于表示不同的手势交互动作。对手势特征向量与手势交互动作编码向量集合中的多个手势编码向量进行相似度计算,以确定用户的手势与预设动作之间的相似度。这可以使用各种相似度计算方法,如余弦相似度或欧氏距离等。最终,根据计算得到的相似度,生成目标用户的用户交互动作数据。这些数据可以用来触发相应的交互响应,从而实现用户与全息投影的互动。例如,假设有一个全息展示系统,用户站在前方。服务器采集用户头部图像,并通过图像处理技术去除噪声和背景,得到标准头部图像。然后,使用特征分类器提取眼部特征点,并将其映射到全息投影坐标系中。根据法向量和坐标系方向向量,计算眼部特征点的位置数据,得到第一用户视角位置数据。同时,服务器捕获用户的手部动态图像,将其编码为手势特征向量。服务器还预设了一组交互动作定义,将其特征提取并编码为手势交互动作编码向量集合。通过计算手势特征向量与交互动作编码向量的相似度,确定用户的手势与哪种交互动作相符,最终生成用户交互动作数据,如展示下一幅图像或放大投影中的细节。
在一具体实施例中,如图2所示,执行步骤S104的过程可以具体包括如下步骤:
S201、根据用户交互动作数据对初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据;
S202、对第一全息建筑投影数据进行投影特征信息提取,得到建筑模型特征数据;
S203、根据建筑模型特征数据对第一全息建筑投影数据中的多个三维建筑模型进行关联关系分析,得到目标关联关系;
S204、基于目标关联关系,并根据预设的竞争机制算法对第一全息建筑投影数据进行光影区域焦点映射,确定光照区域和阴影区域的多个交界点;
S205、对光照区域和阴影区域的多个交界点进行光影区域连通,得到第一视觉光照区域和第一视觉阴影区域。
具体的,服务器根据用户交互动作数据对初始化全息建筑投影数据进行交互响应,以调整投影内容。例如,用户通过手势或语音指令要求服务器显示特定建筑物的不同视角或详细信息。服务器根据交互动作数据,解析用户意图并调整投影内容,生成第一全息建筑投影数据。对第一全息建筑投影数据进行投影特征信息提取,以获取建筑模型的特征数据。这涉及提取建筑物的轮廓、纹理、颜色等信息,用于后续的分析和处理。基于建筑模型特征数据,对第一全息建筑投影数据中的多个三维建筑模型进行关联关系分析。这可以通过检测建筑物之间的相对位置、尺寸、距离等来实现,以获得建筑物之间的关联性信息。根据预设的竞争机制算法,对第一全息建筑投影数据进行光影区域焦点映射,以确定光照区域和阴影区域的多个交界点。这个步骤可以让服务器根据算法规则调整投影中的光照和阴影,以增强建筑物的真实感和逼真度。对光照区域和阴影区域的多个交界点进行光影区域连通,以获得第一视觉光照区域和第一视觉阴影区域。这可以通过将交界点连接起来,形成连续的光照和阴影区域来实现。例如,考虑一个全息建筑展示系统,用户可以通过手势控制投影中的建筑物。用户举起手势表示想要查看特定建筑物的侧面,这会被识别为一个交互动作。服务器根据这个动作,调整投影角度并生成第一全息建筑投影数据。然后,服务器提取投影中各建筑物的特征信息,比如高楼的轮廓和纹理。服务器分析建筑物之间的关联关系,例如建筑物的相对位置和大小。根据预设的竞争机制算法,服务器调整投影中的光照和阴影,以使建筑物看起来更真实。服务器将光照区域和阴影区域连接起来,生成第一视觉光照区域和第一视觉阴影区域,使投影更加逼真。
在一具体实施例中,如图3所示,执行步骤S105的过程可以具体包括如下步骤:
S301、对目标用户进行视角移动轨迹跟踪并构建目标用户的状态空间模型;
S302、根据状态空间模型对预置的卡尔曼滤波器进行初始化,并通过卡尔曼滤波器计算目标用户的位置和速度信息,得到第二用户视角位置数据;
S303、根据第二用户视角位置数据,对光照区域和阴影区域的多个交界点进行交界点更新和光影区域生成,生成第二视觉光照区域和第二视觉阴影区域。
具体的,服务器对目标用户进行视角移动轨迹跟踪并构建目标用户的状态空间模型。实时追踪用户的头部位置和姿态变化,以及构建一个状态空间模型来描述用户的运动。可以使用深度摄像头、传感器等设备来获取用户的位置、方向和运动信息。基于构建的状态空间模型,使用预置的卡尔曼滤波器进行初始化。卡尔曼滤波器是一种常用于估计系统状态的方法,它能够通过融合传感器测量数据和模型预测来获得更准确的状态估计。通过卡尔曼滤波器计算目标用户的位置和速度信息,得到第二用户视角位置数据。这意味着可以实时地估计用户的头部位置以及头部的运动速度,从而获取用户视角的变化。根据第二用户视角位置数据,对光照区域和阴影区域的多个交界点进行交界点更新和光影区域生成,生成第二视觉光照区域和第二视觉阴影区域。这个过程中,根据用户视角的变化,调整投影中的光照和阴影分布,使投影更加逼真。例如,考虑一个全息展示系统,用户站在展示区前,通过头部的运动来控制视角。当用户左右转动头部时,深度摄像头捕捉用户头部的位置和姿态,并构建状态空间模型。卡尔曼滤波器通过传感器数据实时计算用户的头部位置和速度。根据计算得到的第二用户视角位置数据,服务器调整全息投影中的光照和阴影分布,使得光线的投射角度和强度随着用户的视角变化而变化,生成逼真的第二视觉光照区域和第二视觉阴影区域。
在一具体实施例中,如图4所示,执行步骤S106的过程可以具体包括如下步骤:
S401、根据目标用户的位置和速度信息计算第一全息建筑投影数据的预加载时长数据;
S402、根据预加载时长数据,对第二视觉光照区域和第二视觉阴影区域进行渲染参数运算,得到预加载渲染参数集合;
S403、根据预加载渲染参数集合,对第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据。
具体的,服务器根据目标用户的位置和速度信息计算第一全息建筑投影数据的预加载时长数据。预加载时长数据指的是根据用户的位置和速度,预先计算出投影数据需要多久才能到达用户的视角位置,以确保投影数据在用户视角变化时能够及时更新。这涉及到投影数据的传输速度、用户与投影的距离等因素。基于预加载时长数据,对第二视觉光照区域和第二视觉阴影区域进行渲染参数运算,得到预加载渲染参数集合。渲染参数集合包括光照强度、投影角度、阴影效果等信息,这些信息会随着用户视角的变化而变化,以确保投影在用户移动时保持逼真。根据预加载渲染参数集合,对第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据。在投影预加载过程中,使用预先计算的渲染参数对投影数据进行处理,以生成适应用户当前视角的投影。这样,当用户移动视角时,投影数据能够及时更新并提供更加一致的观感。例如,考虑一个全息显示系统,用户站在前方观看投影。服务器根据用户的位置和速度信息,计算出投影数据的传输时长,以确保投影数据在用户移动视角时能够及时到达。基于计算得到的传输时长,服务器根据用户的视角变化计算出渲染参数,如光照角度、阴影效果等。最终,投影数据会根据预先计算的渲染参数进行处理,生成适应当前用户视角的投影数据,使得投影始终保持与用户视角一致。
上面对本发明实施例中全息显示方法进行了描述,下面对本发明实施例中全息显示装置进行描述,请参阅图5,本发明实施例中全息显示装置一个实施例包括:
扫描模块501,用于对目标建筑区域进行多角度扫描,得到初始建筑区域图像数据,并对所述初始建筑区域图像数据进行图像增强处理,得到目标建筑区域图像数据;
校正模块502,用于对所述目标建筑区域图像数据进行建筑物提取和三维建筑模型重构,得到离散三维建筑模型集群,并对所述离散三维建筑模型集群进行位置校正和全息影像生成,得到初始化全息建筑投影数据;
识别模块503,用于对目标用户进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据;
划分模块504,用于根据所述用户交互动作数据对所述初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据,并根据所述第一用户视角位置数据对所述第一全息建筑投影数据进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域;
分析模块505,用于对所述目标用户进行视角移动轨迹跟踪,得到第二用户视角位置数据,并根据所述第二用户视角位置数据对所述第一视觉光照区域和所述第一视觉阴影区域进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域;
加载模块506,用于根据所述第二视觉光照区域和所述第二视觉阴影区域对所述第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据。
通过上述各个组成部分的协同合作,对目标建筑区域图像数据进行建筑物提取和三维建筑模型重构并进行位置校正和全息影像生成,得到初始化全息建筑投影数据;进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据;进行交互响应,得到第一全息建筑投影数据并进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域;进行视角移动轨迹跟踪,得到第二用户视角位置数据并进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域;进行投影预加载,生成第二全息建筑投影数据,本发明通过多角度扫描和图像增强技术获取的目标建筑区域图像数据能够提供更真实的显示效果。进而使得生成的离散三维建筑模型集群能够呈现建筑物的真实形态和细节,使目标用户获得更加逼真的感知体验,通过用户视角位置感知和交互动作识别,可以与全息投影进行交互。观察者可以通过移动视角或执行交互动作来操纵全息投影,进一步增强用户体验和参与感。此外,根据用户视角位置对光影区域进行划分和更新,能够提供更准确的光照和阴影效果。这种逼真的光照效果可以增强全息显示的真实感和立体感,使目标用户感受到更加真实的环境,进而提升了全息显示的显示效果并提高了全息建筑投影的显示准确率。
上面图5从模块化功能实体的角度对本发明实施例中的全息显示装置进行详细描述,下面从硬件处理的角度对本发明实施例中全息显示设备进行详细描述。
图6是本发明实施例提供的一种全息显示设备的结构示意图,该全息显示设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)610(例如,一个或一个以上处理器)和存储器620,一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对全息显示设备600中的一系列指令操作。更进一步地,处理器610可以设置为与存储介质630通信,在全息显示设备600上执行存储介质630中的一系列指令操作。
全息显示设备600还可以包括一个或一个以上电源640,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口660,和/或,一个或一个以上操作系统631,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图6示出的全息显示设备结构并不构成对全息显示设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种全息显示设备,所述全息显示设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述全息显示方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述全息显示方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种全息显示方法,其特征在于,所述全息显示方法包括:
对目标建筑区域进行多角度扫描,得到初始建筑区域图像数据,并对所述初始建筑区域图像数据进行图像增强处理,得到目标建筑区域图像数据;
对所述目标建筑区域图像数据进行建筑物提取和三维建筑模型重构,得到离散三维建筑模型集群,并对所述离散三维建筑模型集群进行位置校正和全息影像生成,得到初始化全息建筑投影数据;
对目标用户进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据;
根据所述用户交互动作数据对所述初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据,并根据所述第一用户视角位置数据对所述第一全息建筑投影数据进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域;
对所述目标用户进行视角移动轨迹跟踪,得到第二用户视角位置数据,并根据所述第二用户视角位置数据对所述第一视觉光照区域和所述第一视觉阴影区域进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域;
根据所述第二视觉光照区域和所述第二视觉阴影区域对所述第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据。
2.根据权利要求1所述的全息显示方法,其特征在于,所述对目标建筑区域进行多角度扫描,得到初始建筑区域图像数据,并对所述初始建筑区域图像数据进行图像增强处理,得到目标建筑区域图像数据,包括:
通过预置的无人机集群对目标建筑区域进行多角度扫描,得到多个原始建筑区域图像;
对所述多个原始建筑区域图像进行重叠区域识别,得到目标重叠区域图像;
根据所述目标重叠区域图像对所述多个原始建筑区域图像进行图像融合,得到所述目标建筑区域的全局建筑区域图像;
对所述全局建筑区域图像进行建筑信息标注,得到初始建筑区域图像数据;
将所述初始建筑区域图像数据输入预置的图像增强模型,其中,所述图像增强模型包括:卷积层、激活层和残差层;
通过所述图像增强模型对所述初始建筑区域图像数据进行图像增强处理,得到目标建筑区域图像数据。
3.根据权利要求1所述的全息显示方法,其特征在于,所述对所述目标建筑区域图像数据进行建筑物提取和三维建筑模型重构,得到离散三维建筑模型集群,并对所述离散三维建筑模型集群进行位置校正和全息影像生成,得到初始化全息建筑投影数据,包括:
通过预置的图像分割模型对所述目标建筑区域图像数据进行建筑物提取,得到建筑物轮廓信息;
基于预置的立体匹配算法计算所述建筑物轮廓信息中每个像素的视差图;
根据所述视差图,计算所述建筑物轮廓信息中每个像素的深度信息;
根据所述深度信息和所述目标建筑区域图像数据中的建筑标注信息,对所述建筑物轮廓信息中每个像素进行三维空间映射,得到建筑物点云信息;
对所述建筑物点云信息进行三维网格化,得到多个初始三维网格模型,并对所述多个初始三维网格模型进行网格平滑处理,得到离散三维建筑模型集群;
基于预置的全息投影屏构建全息投影坐标系,对所述离散三维建筑模型集群进行位置校正,并对所述离散三维建筑模型集群进行全息影像生成,得到初始化全息建筑投影数据。
4.根据权利要求3所述的全息显示方法,其特征在于,所述对目标用户进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据,包括:
采集所述目标用户的用户头部图像,并对所述用户头部图像进行噪声和背景去除,得到标准头部图像;
通过预置的特征分类器对所述标准头部图像进行眼部特征点提取,得到多个眼部特征点;
根据所述全息投影坐标系,对所述多个眼部特征点进行坐标转换,得到多个眼部特征坐标;
根据所述多个眼部特征坐标,计算所述多个眼部特征点的法向量和坐标系方向向量;
根据所述法向量和所述坐标系方向向量计算每个眼部特征点的位置数据,并对所述位置数据进行均值运算,得到第一用户视角位置数据;
对所述目标用户进行手部动态跟踪识别,得到手部连续动态图像集合;
对所述手部连续动态图像集合进行手势动作编码,生成手势特征向量;
获取预设的交互动作定义集合,并对所述交互动作定义集合中的每个交互动作进行特征提取和编码,得到手势交互动作编码向量集合;
对所述手势特征向量与手势交互动作编码向量集合中的多个手势编码向量进行相似度计算,得到所述手势编码向量对应的目标相似度;
根据所述目标相似度生成所述目标用户的用户交互动作数据。
5.根据权利要求1所述的全息显示方法,其特征在于,所述根据所述用户交互动作数据对所述初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据,并根据所述第一用户视角位置数据对所述第一全息建筑投影数据进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域,包括:
根据所述用户交互动作数据对所述初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据;
对所述第一全息建筑投影数据进行投影特征信息提取,得到建筑模型特征数据;
根据所述建筑模型特征数据对所述第一全息建筑投影数据中的多个三维建筑模型进行关联关系分析,得到目标关联关系;
基于所述目标关联关系,并根据预设的竞争机制算法对所述第一全息建筑投影数据进行光影区域焦点映射,确定光照区域和阴影区域的多个交界点;
对所述光照区域和阴影区域的多个交界点进行光影区域连通,得到第一视觉光照区域和第一视觉阴影区域。
6.根据权利要求5所述的全息显示方法,其特征在于,所述对所述目标用户进行视角移动轨迹跟踪,得到第二用户视角位置数据,并根据所述第二用户视角位置数据对所述第一视觉光照区域和所述第一视觉阴影区域进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域,包括:
对所述目标用户进行视角移动轨迹跟踪并构建所述目标用户的状态空间模型;
根据所述状态空间模型对预置的卡尔曼滤波器进行初始化,并通过所述卡尔曼滤波器计算所述目标用户的位置和速度信息,得到第二用户视角位置数据;
根据所述第二用户视角位置数据,对所述光照区域和阴影区域的多个交界点进行交界点更新和光影区域生成,生成第二视觉光照区域和第二视觉阴影区域。
7.根据权利要求6所述的全息显示方法,其特征在于,所述根据所述第二视觉光照区域和所述第二视觉阴影区域对所述第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据,包括:
根据所述目标用户的位置和速度信息计算所述第一全息建筑投影数据的预加载时长数据;
根据所述预加载时长数据,对所述第二视觉光照区域和所述第二视觉阴影区域进行渲染参数运算,得到预加载渲染参数集合;
根据所述预加载渲染参数集合,对所述第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据。
8.一种全息显示装置,其特征在于,所述全息显示装置包括:
扫描模块,用于对目标建筑区域进行多角度扫描,得到初始建筑区域图像数据,并对所述初始建筑区域图像数据进行图像增强处理,得到目标建筑区域图像数据;
校正模块,用于对所述目标建筑区域图像数据进行建筑物提取和三维建筑模型重构,得到离散三维建筑模型集群,并对所述离散三维建筑模型集群进行位置校正和全息影像生成,得到初始化全息建筑投影数据;
识别模块,用于对目标用户进行用户视角位置感知和交互动作识别,得到第一用户视角位置数据和用户交互动作数据;
划分模块,用于根据所述用户交互动作数据对所述初始化全息建筑投影数据进行交互响应,得到第一全息建筑投影数据,并根据所述第一用户视角位置数据对所述第一全息建筑投影数据进行光影区域划分,得到第一视觉光照区域和第一视觉阴影区域;
分析模块,用于对所述目标用户进行视角移动轨迹跟踪,得到第二用户视角位置数据,并根据所述第二用户视角位置数据对所述第一视觉光照区域和所述第一视觉阴影区域进行光影区域分析,得到第二视觉光照区域和第二视觉阴影区域;
加载模块,用于根据所述第二视觉光照区域和所述第二视觉阴影区域对所述第一全息建筑投影数据进行投影预加载,生成第二全息建筑投影数据。
9.一种全息显示设备,其特征在于,所述全息显示设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述全息显示设备执行如权利要求1-7中任一项所述的全息显示方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-7中任一项所述的全息显示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311312573.3A CN117369233A (zh) | 2023-10-11 | 2023-10-11 | 一种全息显示方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311312573.3A CN117369233A (zh) | 2023-10-11 | 2023-10-11 | 一种全息显示方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117369233A true CN117369233A (zh) | 2024-01-09 |
Family
ID=89397596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311312573.3A Pending CN117369233A (zh) | 2023-10-11 | 2023-10-11 | 一种全息显示方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117369233A (zh) |
-
2023
- 2023-10-11 CN CN202311312573.3A patent/CN117369233A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220207849A1 (en) | Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications | |
CN112771539B (zh) | 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用 | |
CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
EP3798801A1 (en) | Image processing method and apparatus, storage medium, and computer device | |
KR101135186B1 (ko) | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 | |
CN111710036B (zh) | 三维人脸模型的构建方法、装置、设备及存储介质 | |
KR100727034B1 (ko) | 3차원 공간상에서 2차원 인간형 캐릭터의 표현 및애니메이션 방법 | |
CA3134440A1 (en) | System and method for virtual modeling of indoor scenes from imagery | |
EP3533218B1 (en) | Simulating depth of field | |
KR20120014925A (ko) | 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법 | |
JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
CN116097316A (zh) | 用于非模态中心预测的对象识别神经网络 | |
Huang et al. | Network algorithm real-time depth image 3D human recognition for augmented reality | |
WO2014170757A2 (en) | 3d rendering for training computer vision recognition | |
JP7475022B2 (ja) | 室内空間の3次元地図生成方法及び装置 | |
Zhuang | Film and television industry cloud exhibition design based on 3D imaging and virtual reality | |
US20140306953A1 (en) | 3D Rendering for Training Computer Vision Recognition | |
EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
CN117369233A (zh) | 一种全息显示方法、装置、设备及存储介质 | |
KR102388715B1 (ko) | 문화유적복원 실감 장치 | |
Jian et al. | Realistic face animation generation from videos | |
McClean | An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model | |
US20240020901A1 (en) | Method and application for animating computer generated images | |
US20220335675A1 (en) | Physical phenomena expressing method for expressing the physical phenomeana in mixed reality, and mixed reality apparatus that performs the method | |
WO2023009113A1 (en) | Interactive guidance for mapping and relocalization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |