CN116915963A - 一种基于观察视线的全息投影方法、装置及电子设备 - Google Patents
一种基于观察视线的全息投影方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116915963A CN116915963A CN202311119767.1A CN202311119767A CN116915963A CN 116915963 A CN116915963 A CN 116915963A CN 202311119767 A CN202311119767 A CN 202311119767A CN 116915963 A CN116915963 A CN 116915963A
- Authority
- CN
- China
- Prior art keywords
- projection
- picture content
- carrier
- content
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000000007 visual effect Effects 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 27
- 239000000969 carrier Substances 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 abstract description 26
- 230000000694 effects Effects 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
Abstract
本申请提供一种基于观察视线的全息投影方法、装置及电子设备,方法应用于全息投影设备,包括:获取用户的视觉位置;获取位于第一投影载体上的第一画面内容,第一画面内容处于用户的视野范围,第一画面内容为全息投影设备在第一投影载体上的投影内容;构建投影区域,投影区域是以视觉位置的点光源,对第一画面内容在第二投影载体进行投影得到的区域,第一投影载体位于第二投影载体与用户之间;判断投影区域是否覆盖第二画面内容,第二画面内容为全息投影设备在第二投影载体上的投影内容;若投影区域覆盖第二画面内容,则继续投影第一画面内容,停止投影第二画面内容。本申请具有降低全息投影所带来的计算负担的效果。
Description
技术领域
本申请涉及虚拟现实的技术领域,具体涉及一种基于观察视线的全息投影方法、装置及电子设备。
背景技术
全息投影技术(front-projected holographic display)属于虚拟现实技术的一种,通过利用光的干涉和衍射原理,以三维的方式呈现出真实感强烈、逼真的图像或场景。与传统的平面显示不同,全息投影技术能够捕捉并再现物体的所有维度和深度,使观众可以从多个角度感受到虚拟影像的存在,仿佛真实物体悬浮在空中。
受制于技术的发展,目前难以将影像投影到空气中,因此有采用全息光栅膜进行全息投影的做法。通过全息光栅膜也能使观看者无需借助3D眼镜,裸眼观看3D显示效果的影像。全息光栅膜通过将物体的光场信息记录在薄膜中的光栅结构上,利用光的干涉原理,使得当适当的光照照射到膜上时,可以重现出逼真的三维立体图像,仿佛物体本身存在于空间中。
将全息投影技术应用于游戏中,可以将三维游戏场景内容投影到全息光栅膜上,使用户能够直接观看具有立体效果的游戏画面,从而极大地提升用户体验。然而,在处理较为复杂的游戏场景时,可能需要通过多层全息光栅膜投影不同的场景内容。通常情况下,游戏画面内容需要进行实时计算,并且投影内容也需要实时计算,这导致计算量较大,从而可能引起画面卡顿。因此,需要一种方法来降低全息投影所带来的计算负担,以提高流畅的游戏体验。
发明内容
本申请提供一种基于观察视线的全息投影方法、装置及电子设备,具有降低全息投影所带来的计算负担的效果。
在本申请的第一方面提供了一种基于观察视线的全息投影方法,所述方法应用于全息投影设备,包括:
获取用户的视觉位置,所述视觉位置为所述用户双目连接线中点的位置;
获取位于第一投影载体上的第一画面内容,所述第一画面内容处于所述用户的视野范围,所述第一画面内容为所述全息投影设备在所述第一投影载体上的投影内容;
构建投影区域,所述投影区域是以所述视觉位置的点光源,对所述第一画面内容在第二投影载体进行投影得到的区域,所述第一投影载体位于所述第二投影载体与所述用户之间;
判断所述投影区域是否覆盖第二画面内容,所述第二画面内容为所述全息投影设备在所述第二投影载体上的投影内容;
若所述投影区域覆盖所述第二画面内容,则继续投影第一画面内容,停止投影第二画面内容。
通过采用上述技术方案,根据用户双目的视觉位置,构建点光源模拟用户的视线,对第一画面内容在第二投影载体上进行投影,得到投影区域。由于第二画面内容需要在第二投影载体上投影,若投影内容覆盖了第二画面内容,表明若用户从当前位置看投影内容,第一画面内容会遮挡第二画面内容。则可以仅投影第一画面内容,停止投影第二画面内容。在进行全息投影游戏,由于第二画面内容不需要进行全息投影,从而减少实时计算第二画面内容造成的计算量消耗,降低全息投影所带来的计算负担,进而提高了流畅的游戏体验。
可选的,所述判断所述投影区域是否覆盖第二画面内容,具体包括:
获取所述第一画面内容的多个第一特征点,所述第一特征点为所述第一画面内容的顶点;
获取各个所述第一特征点的第一坐标;
对各个所述第一特征点进行坐标映射,得到投影点的投影点坐标,所述投影点为所述投影区域的顶点;
获取所述第二画面内容的多个第二特征点,所述第二特征点为所述第二画面内容的顶点;
获取各个所述第二特征点的第二坐标;
基于多个所述投影点坐标和多个所述第二坐标,判断所述投影区域与所述第二画面内容的相对位置,从而判断所述投影区域是否覆盖所述第二画面内容。
通过采用上述技术方案,通过使用第一画面内容的特征点和坐标映射,以及第二画面内容的特征点,可以更精确地判断投影区域与第二画面内容的相对位置,有助于确定投影区域是否遮挡了第二画面内容。通过使用特征点和坐标映射计算,可以避免对整个画面进行复杂的相交检测或图像处理,从而提高了计算效率。仅针对特征点进行计算,可以减少计算量。
可选的,在所述判断所述投影区域是否覆盖第二画面内容之后,所述方法还包括:
若所述投影区域未覆盖所述第二画面内容,则获取CPU占用率;
判断所述CPU占用率是否小于或等于预设占用率,若所述CPU占用率小于或等于所述预设占用率,则继续投影所述第一画面内容和所述第二画面内容。
通过采用上述技术方案,引入CPU占用率的监测可以动态地管理计算资源的分配。如果投影区域未覆盖第二画面内容,根据当前CPU占用率决定是否继续投影两个画面的内容。这有助于在资源受限的情况下保持游戏运行的稳定性和流畅性。在CPU占用率合理的情况下,继续投影第一和第二画面内容,可以保证用户能够获得完整的投影体验。在资源充足的情况下,用户能够观看到更多的投影内容,增强了全息投影的观看体验。
可选的,在所述判断所述CPU占用率是否小于或等于预设占用率之后,所述方法还包括:
若所述CPU占用率大于所述预设占用率,则获取所述第二画面内容的第一清晰度;
设定所述第二画面内容的清晰度为第二清晰度,所述第二清晰度小于第一清晰度。
通过采用上述技术方案,当CPU占用率超过预设阈值时,在CPU占用率较高的情况下,通过降低第二画面内容的清晰度,可以减少计算负担,从而降低CPU的负载,这有助于保持游戏运行的稳定性和流畅性。
可选的,在所述判断所述CPU占用率是否小于或等于预设占用率,若所述CPU占用率小于或等于所述预设占用率,则继续投影所述第一画面内容和所述第二画面内容之后,所述方法还包括:
获取多个画面内容,所述多个画面内容包括所述第一画面内容和所述第二画面内容,所述第一画面内容和所述第二画面内容为所述多个画面内容中的任意两个画面内容;
确定多个投影载体,所述多个投影载体包括所述第一投影载体和所述第二投影载体,所述第一投影载体和所述第二投影载体为多个所述投影载体中的任意两个投影载体;
确定所述第一画面内容和所述第二画面内容的相对层次,若所述第一画面内容位于第一层次,所述第二画面内容位于第二层次;
确定所述第一投影载体和所述第二投影载体的相对层次,若所述第一投影载体位于第一层次,所述第二投影载体位于第二层次;
则在所述第一投影载体投影所述第一画面内容,在所述第二投影载体投影所述第二画面内容。
通过采用上述技术方案,通过确定画面内容和投影载体的相对层次,可以实现多个画面内容在不同投影载体上的投影。这种多层次投影能够在不同的载体上呈现不同的画面内容,创造更加丰富的投影体验。在不同层次的投影中,第一画面内容和第二画面内容可以交叉叠加,使得不同的投影内容在视觉上产生叠加效果。这可以在投影画面中创造出更加立体、多样的效果。
可选的,所述获取用户的视觉位置,具体包括:
获取所述用户的视线方向;
基于所述视线方向,将所述用户的视线进行延长,直至与投影载体相交,得到视线落点,所述投影载体包括所述第一投影载体与所述第二投影载体;
获取所述用户双目连接线的中点,得到中心点;
确定所述中心点的位置,得到所述视觉位置。
通过采用上述技术方案,通过获取用户的视线方向并延长到投影载体,得到视线落点,再结合用户双目连接线的中点,可以精确地确定用户的视觉位置。确定了用户的视觉位置,有助于后续根据视觉位置获取用户的视野范围。
可选的,在所述获取位于第一投影载体上的第一画面内容之前,所述方法还包括:
将所述中心点与所述视线落点进行连接,得到中心线;
获取空间视野区域,所述空间视野区域为以所述中心线为中轴线,所述中心点为顶点,所述视线落点为底面的圆心,预设长度为半径的斜圆锥区域;
获取所述视野范围,所述视野范围为所述投影载体对所述斜圆锥区域进行截取得到区域范围。
通过采用上述技术方案,通过构建斜圆锥区域,可以模拟用户的视野范围。有助于后续根据视野范围判断用户的可以看到的投影画面的范围,从而对用户看不到的内容进行停止投影处理。
在本申请的第二方面提供了一种基于观察视线的全息投影装置,所述装置为全息投影设备,包括获取模块、处理模块、判断模块以及投影控制模块,其中:
所述获取模块,用于获取用户的视觉位置,所述视觉位置为所述用户双目连接线中点的位置;
所述获取模块,用于获取位于第一投影载体上的第一画面内容,所述第一画面内容处于所述用户的视野范围,所述第一画面内容为所述全息投影设备在所述第一投影载体上的投影内容;
所述处理模块,用于构建投影区域,所述投影区域是以所述视觉位置的点光源,对所述第一画面内容在第二投影载体进行投影得到的区域,所述第一投影载体位于所述第二投影载体与所述用户之间;
所述判断模块,用于判断所述投影区域是否覆盖第二画面内容,所述第二画面内容为所述全息投影设备在所述第二投影载体上的投影内容;
所述投影控制模块,用于若所述投影区域覆盖所述第二画面内容,则继续投影第一画面内容,停止投影第二画面内容。
在本申请的第三方面提供了一种电子设备,包括处理器、存储器、用户接口以及网络接口,所述存储器用于存储指令,所述用户接口和所述网络接口均用于与其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使所述电子设备执行如上述任意一项所述的方法。
在本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行如上述任意一项所述的方法。
综上所述,本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1.根据用户双目的视觉位置,构建点光源模拟用户的视线,对第一画面内容在第二投影载体上进行投影,得到投影区域。由于第二画面内容需要在第二投影载体上投影,若投影内容覆盖了第二画面内容,表明若用户从当前位置看投影内容,第一画面内容会遮挡第二画面内容。则可以仅投影第一画面内容,停止投影第二画面内容。在进行全息投影游戏,由于第二画面内容不需要进行全息投影,从而减少实时计算第二画面内容造成的计算量消耗,降低全息投影所带来的计算负担,进而提高了流畅的游戏体验。
2.引入CPU占用率的监测可以动态地管理计算资源的分配。如果投影区域未覆盖第二画面内容,根据当前CPU占用率决定是否继续投影两个画面的内容。这有助于在资源受限的情况下保持游戏运行的稳定性和流畅性。在CPU占用率合理的情况下,继续投影第一和第二画面内容,可以保证用户能够获得完整的投影体验。在资源充足的情况下,用户能够观看到更多的投影内容,增强了全息投影的观看体验。
3.通过使用第一画面内容的特征点和坐标映射,以及第二画面内容的特征点,可以更精确地判断投影区域与第二画面内容的相对位置,有助于确定投影区域是否遮挡了第二画面内容。通过使用特征点和坐标映射计算,可以避免对整个画面进行复杂的相交检测或图像处理,从而提高了计算效率。仅针对特征点进行计算,可以减少计算量。
附图说明
图1是本申请实施例公开的一种基于观察视线的全息投影方法的流程示意图;
图2是本申请实施例公开的一种基于观察视线的全息投影方法的应用场景示意图;
图3是本申请实施例公开的另一种基于观察视线的全息投影方法的应用场景示意图;
图4是本申请实施例公开的一种基于观察视线的全息投影装置的结构示意图;
图5是本申请实施例公开的一种电子设备的结构示意图。
附图标记说明:401、获取模块;402、处理模块;403、判断模块;404、投影控制模块;501、处理器;502、通信总线;503、用户接口;504、网络接口;505、存储器。
具体实施方式
为了使本领域的技术人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
在本申请实施例的描述中,“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,术语“多个”的含义是指两个或两个以上。例如,多个系统是指两个或两个以上的系统,多个屏幕终端是指两个或两个以上的屏幕终端。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
全息投影技术(front-projected holographic display)属于虚拟现实技术的一种,通过利用光的干涉和衍射原理,以三维的方式呈现出真实感强烈、逼真的图像或场景。与传统的平面显示不同,全息投影技术能够捕捉并再现物体的所有维度和深度,使观众可以从多个角度感受到虚拟影像的存在,仿佛真实物体悬浮在空中。
受制于技术的发展,目前难以将影像投影到空气中,因此有采用全息光栅膜进行全息投影的做法。通过全息光栅膜也能使观看者无需借助3D眼镜,裸眼观看3D显示效果的影像。全息光栅膜通过将物体的光场信息记录在薄膜中的光栅结构上,利用光的干涉原理,使得当适当的光照照射到膜上时,可以重现出逼真的三维立体图像,仿佛物体本身存在于空间中。
将全息投影技术应用于游戏中,可以将三维游戏场景内容投影到全息光栅膜上,使用户能够直接观看具有立体效果的游戏画面,从而极大地提升用户体验。然而,在处理较为复杂的游戏场景时,可能需要通过多层全息光栅膜投影不同的场景内容。通常情况下,游戏画面内容需要进行实时计算,并且投影内容也需要实时计算,这导致计算量较大,从而可能引起画面卡顿。因此,需要一种方法来降低全息投影所带来的计算负担,以确保流畅的游戏体验。
本实施例公开了一种基于观察视线的全息投影方法,参照图1,包括如下步骤S110-S150:
S110,获取用户的视觉位置。
本申请实施例公开的一种基于观察视线的全息投影方法应用于全息投影设备,全息投影设备至少包括全息投影仪、眼动追踪装置、多层全息光栅膜。其中,全息投影仪是一种高级光学装置,利用光的相位和振幅来创造出逼真的三维图像。它通过实时计算和精密的光学元件,将计算机生成的图像或视频以投射到全息光栅膜中,使用户能够看到似乎悬浮在空中的立体影像。
本申请的技术方案适用于单个用户使用全息投影设备的场景,当用户使用全息投影设备时,眼动追踪装置通过使用摄像头或传感器等设备来捕捉用户眼部的实时图像以及双目的位置。通过计算机视觉技术对实时图像进行处理和分析,以获取瞳孔的运动信息。通过采用瞳孔跟踪算法来跟踪瞳孔的运动,以及检测并跟踪瞳孔的位置和大小,并在瞳孔运动时更新其位置。通过分析瞳孔的运动模式,可以确定用户的双目视线方向,将观察视线延长直至与投影载体相交得到相交点,将相交点设为视线落点。其中,投影载体包括第一投影载体和第二投影载体,投影载体优选为全息光栅膜。
而将双目瞳孔的中心点进行连接,得到一条连接线,再取连接线的中点,得到中心点。根据双目瞳孔的位置计算出中心点的位置,即可得到视觉位置。需要说明的是,上述提到的眼动追踪以及视觉位置的计算过程中,所涉及的技术仅为相关领域的常规技术手段,在此不再做进一步赘述。通过获取用户的视线方向并延长到投影载体,得到视线落点,再结合用户双目连接线的中点,可以精确地确定用户的视觉位置。确定了用户的视觉位置,有助于后续根据视觉位置获取用户的视野范围。
S120,获取位于第一投影载体上的第一画面内容。
将中心点与视线落点进行连接,得到中心线。以视线落点为圆心,预设长度为半径,做垂直中心线的圆形,得到一个面。其中,设定预设长度,需要确保半径的非视线落点的另外一点与中心点连接后的线段,与中心线组成的夹角的角度小于或等于七十度。通常情况下,在水平内的视野是,双眼区域大约在左右60度以内的区域,在垂直平面视野是,最大视区为标准视线以下70度,颜色辨别界限在标准视线以上30度和标准视线以下40度。因此需要确保半径的非视线落点的另外一点与中心点连接后的线段,与中心线组成的夹角的角度小于或等于七十度。
再以中心线为中轴线,中心点为顶点,以上述步骤得到的圆形为底面,建立斜圆锥区域,得到空间视野区域。任意投影载体对空间视野区域进行截取得到区域范围为视野范围。通过构建斜圆锥区域,可以模拟用户的视野范围。有助于后续根据视野范围判断用户的可以看到的投影画面的范围,从而对用户看不到的内容进行停止投影处理。
通过全息投影仪在第一投影载体上投影时,投影内容为第一画面内容。参照图2,第一画面内容处于用户的视野范围,即用户能够看到第一画面内容。
S130,构建投影区域。
参照图2,在上述视觉位置构建一个点光源,将第一画面内容看作一个实体,通过该点光源对第一画面内容进行照射,第一画面内容在第二载体上得到一片阴影区域,即投影区域。其中,第一投影载体位于第二投影载体与用户之间。
S140,判断投影区域是否覆盖第二画面内容。
根据步骤S130构建投影区域后,若物体处于投影区域内,由于第一画面内容的遮挡,导致用户处于当前位置时无法观看到位于投影区域内的物体。同理,参照图3,判断第二画面内容是否处于投影区域内,从而判断投影区域是否覆盖第二画面内容。
具体来说,获取第一画面内容的四个顶点,标记为第一特征点,并获取各个第一特征点的第一坐标。接着采用透视投影,根据上述点光源的具体位置、各个第一坐标,对第一特征点在第二投影载体上进行坐标映射。坐标映射时,根据第一坐标对第一特征点进行平移和缩放等操作,以便正确地将第一特征点投影到第二投影载体上,得到投影点,并获取投影点的投影点坐标。投影点也是投影区域的顶点。
同时获取第二画面内容的四个顶点,标记为第二特征点,并获取各个第二特征点的第二坐标。基于多个投影点坐标和多个第二坐标,使用点位置关系来判断投影区域与第二画面内容之间的相交关系。例如,通过射线法判断一个第二特征点是否在投影区域内部,从而判断投影区域与第二画面内容是否相交。进而得到投影区域与第二画面内容的相对位置,以确定投影区域是否覆盖第二画面内容。
通过使用第一画面内容的特征点和坐标映射,以及第二画面内容的特征点,可以更精确地判断投影区域与第二画面内容的相对位置,有助于确定投影区域是否遮挡了第二画面内容。通过使用特征点和坐标映射计算,可以避免对整个画面进行复杂的相交检测或图像处理,从而提高了计算效率。仅针对特征点进行计算,可以减少计算量。
S150,若投影区域覆盖第二画面内容,则继续投影第一画面内容,停止投影第二画面内容。
参照图3,由于用户观看第一画面内容导致从当前视角无法看到第二画面内容,从而继续投影第二画面内容时,需要计算机继续实时渲染第二画面内容对应的游戏画面,以及还需要在实时计算中动态生成和更新全息投影的内容,从而实现实时的三维图像或动画效果。因此造成较大的计算资源浪费,特别是在游戏场景较为复杂时,在计算机计算机资源不足的情况下,很容易造成游戏画面卡顿。因此在投影区域覆盖第二画面内容的情况下,计算机停止渲染第二画面内容对应的游戏画面,同时全息投影设备停止投影第二画面内容对应的第二画面内容,仅继续投影第一画面内容对应的第一画面内容。
通过采用上述技术方案,根据用户双目的视觉位置,构建点光源模拟用户的视线,对第一画面内容在第二投影载体上进行投影,得到投影区域。由于第二画面内容需要在第二投影载体上投影,若投影内容覆盖了第二画面内容,表明若用户从当前位置看投影内容,第一画面内容会遮挡第二画面内容。则可以仅投影第一画面内容,停止投影第二画面内容。在进行全息投影游戏,由于第二画面内容不需要进行全息投影,从而减少实时计算第二画面内容造成的计算量消耗,降低全息投影所带来的计算负担,进而提高了流畅的游戏体验。
进一步地,若投影区域未覆盖第二画面内容,则获取计算机的CPU占用率。计算机与全息投影设备连接,计算机通过CPU对游戏模型进行处理后,将处理的模型传输至全息投影仪,全息投影仪根据三维模型计算投影角度、亮度等参数并进行投影。在计算机处理游戏模型时,全息投影设备实时获取计算机的CPU占用率,并判断CPU占用率是否小于或等于设占用率,其中预设占用率需要根据不同CPU的性能来设定,当CPU的性能越强,预设占用率越大,因此本实施例对于预设占用率的具体数值不做限定。
当CPU占用率小于或等于预设占用率,表明计算机处理器性能剩余空间较大,则全息投影设备投影多个画面内容,以其中任意两个画面内容,第一画面内容和第二画面内容为例。同时确定包含的多个投影载体,以其中任意两个投影载体,第一投影载体和第二投影载体为例。首先确定第一画面内容和第二画面内容的相对层次。在全息投影游戏中,为了提高互不相连的任意多个模型的立体感,可以采用两个全息投影仪在两个不同的全息光栅膜上投影。而这多个模型根据距离用户的远近,设定不同的层次,以其中任意两个模型,第一模型和第二模型为例。若第一模型相对第二模型距离用户更近,且第一投影载体同样相对第二投影载体距离用户更近,则第一模型作为第一画面内容投影至第一投影载体,第二模型作为第二画面内容投影至第二投影载体。
通过确定画面内容和投影载体的相对层次,可以实现多个画面内容在不同投影载体上的投影。这种多层次投影能够在不同的载体上呈现不同的画面内容,创造更加丰富的投影体验。在不同层次的投影中,第一画面内容和第二画面内容可以交叉叠加,使得不同的投影内容在视觉上产生叠加效果。这可以在投影画面中创造出更加立体、多样的效果。
引入CPU占用率的监测可以动态地管理计算资源的分配。如果投影区域未覆盖第二画面内容,根据当前CPU占用率决定是否继续投影两个画面的内容。这有助于在资源受限的情况下保持游戏运行的稳定性和流畅性。在CPU占用率合理的情况下,继续投影第一和第二画面内容,可以保证用户能够获得完整的投影体验。在资源充足的情况下,用户能够观看到更多的投影内容,增强了全息投影的观看体验。
当CPU占用率大于预设占用率时,则获取第二画面内容的第一清晰度,第一清晰度即全息投影仪接收第二画面内容时,第二画面内容的清晰度。设定第二画面内容的清晰度为第二清晰度,其中,第二清晰度小于第一清晰度,并以第二清晰度在投影载体投影第二画面内容。当CPU占用率超过预设阈值时,在CPU占用率较高的情况下,通过降低第二画面内容的清晰度,可以减少计算负担,从而降低CPU的负载,这有助于保持游戏运行的稳定性和流畅性。
本实施例还公开了一种基于观察视线的全息投影装置,装置为全息投影设备,参照图4,包括获取模块401、处理模块402、判断模块403以及投影控制模块404,其中:
获取模块401,用于获取用户的视觉位置,视觉位置为用户双目连接线中点的位置;
获取模块401,用于获取位于第一投影载体上的第一画面内容,第一画面内容处于用户的视野范围,第一画面内容为全息投影设备在第一投影载体上的投影内容;
处理模块402,用于构建投影区域,投影区域是以视觉位置的点光源,对第一画面内容在第二投影载体进行投影得到的区域,第一投影载体位于第二投影载体与用户之间;
判断模块403,用于判断投影区域是否覆盖第二画面内容,第二画面内容为全息投影设备在第二投影载体上的投影内容;
投影控制模块404,用于若投影区域覆盖第二画面内容,则继续投影第一画面内容,停止投影第二画面内容。
在一种可能的实施方式中,获取模块401,用于获取第一画面内容的多个第一特征点,第一特征点为第一画面内容的顶点;
获取模块401,用于获取各个第一特征点的第一坐标;
处理模块402,用于对各个第一特征点进行坐标映射,得到投影点的投影点坐标,投影点为投影区域的顶点;
获取模块401,用于获取第二画面内容的多个第二特征点,第二特征点为第二画面内容的顶点;
获取模块401,用于获取各个第二特征点的第二坐标;
判断模块403,用于基于多个投影点坐标和多个第二坐标,判断投影区域与第二画面内容的相对位置,从而判断投影区域是否覆盖第二画面内容。
在一种可能的实施方式中,获取模块401,用于若投影区域未覆盖第二画面内容,则获取CPU占用率;
判断模块403,用于判断CPU占用率是否小于或等于预设占用率,若CPU占用率小于或等于预设占用率,则继续投影第一画面内容和第二画面内容。
在一种可能的实施方式中,获取模块401,用于若CPU占用率大于预设占用率,则获取第二画面内容的第一清晰度;
投影控制模块404,用于设定第二画面内容的清晰度为第二清晰度,第二清晰度小于第一清晰度。
在一种可能的实施方式中,获取模块401,用于获取多个画面内容,多个画面内容包括第一画面内容和第二画面内容,第一画面内容和第二画面内容为多个画面内容中的任意两个画面内容;
处理模块402,用于确定多个投影载体,多个投影载体包括第一投影载体和第二投影载体,第一投影载体和第二投影载体为多个投影载体中的任意两个投影载体;
投影控制模块404,用于确定第一画面内容和第二画面内容的相对层次,若第一画面内容位于第一层次,第二画面内容位于第二层次;
投影控制模块404,用于确定第一投影载体和第二投影载体的相对层次,若第一投影载体位于第一层次,第二投影载体位于第二层次;
投影控制模块404,用于则在第一投影载体投影第一画面内容,在第二投影载体投影第二画面内容。
在一种可能的实施方式中,获取模块401,用于获取用户的视线方向;
处理模块402,用于基于视线方向,将用户的视线进行延长,直至与投影载体相交,得到视线落点,投影载体包括第一投影载体与第二投影载体;
获取模块401,用于获取用户双目连接线的中点,得到中心点;
处理模块402,用于确定中心点的位置,得到视觉位置。
在一种可能的实施方式中,处理模块402,用于将中心点与视线落点进行连接,得到中心线;
处理模块402,用于获取空间视野区域,空间视野区域为以中心线为中轴线,中心点为顶点,视线落点为底面的圆心,预设长度为半径的斜圆锥区域;
处理模块402,用于获取视野范围,视野范围为投影载体对斜圆锥区域进行截取得到区域范围。
需要说明的是:上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置和方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本实施例还公开了一种电子设备,参照图5,电子设备可以包括:至少一个处理器501,至少一个通信总线502,用户接口503,网络接口504,至少一个存储器505。
其中,通信总线502用于实现这些组件之间的连接通信。
其中,用户接口503可以包括显示屏(Display)、摄像头(Camera),可选用户接口503还可以包括标准的有线接口、无线接口。
其中,网络接口504可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器501可以包括一个或者多个处理核心。处理器501利用各种接口和线路连接整个服务器内的各个部分,通过运行或执行存储在存储器505内的指令、程序、代码集或指令集,以及调用存储在存储器505内的数据,执行服务器的各种功能和处理数据。可选的,处理器501可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器501可集成中央处理器501(CentralProcessing Unit,CPU)、图像处理器501(Graphics Processing Unit,CPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;CPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器501中,单独通过一块芯片进行实现。
其中,存储器505可以包括随机存储器505(Random Access Memory,RAM),也可以包括只读存储器505(Read-Only Memory)。可选的,该存储器505包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器505可用于存储指令、程序、代码、代码集或指令集。存储器505可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及的数据等。存储器505可选的还可以是至少一个位于远离前述处理器501的存储装置。如图所示,作为一种计算机存储介质的存储器505中可以包括操作系统、网络通信模块、用户接口503模块以及一种基于观察视线的全息投影方法的应用程序。
在图5所示的电子设备中,用户接口503主要用于为用户提供输入的接口,获取用户输入的数据;而处理器501可以用于调用存储器505中存储一种基于观察视线的全息投影方法的应用程序,当由一个或多个处理器501执行时,使得电子设备执行如上述实施例中一个或多个的方法。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所披露的装置,可通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器505中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器505中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器505包括:U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后,将容易想到本公开的其他实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。
Claims (10)
1.一种基于观察视线的全息投影方法,其特征在于,所述方法应用于全息投影设备,包括:
获取用户的视觉位置,所述视觉位置为所述用户双目连接线中点的位置;
获取位于第一投影载体上的第一画面内容,所述第一画面内容处于所述用户的视野范围,所述第一画面内容为所述全息投影设备在所述第一投影载体上的投影内容;
构建投影区域,所述投影区域是以所述视觉位置的点光源,对所述第一画面内容在第二投影载体进行投影得到的区域,所述第一投影载体位于所述第二投影载体与所述用户之间;
判断所述投影区域是否覆盖第二画面内容,所述第二画面内容为所述全息投影设备在所述第二投影载体上的投影内容;
若所述投影区域覆盖所述第二画面内容,则继续投影第一画面内容,停止投影第二画面内容。
2.根据权利要求1所述的一种基于观察视线的全息投影方法,其特征在于,所述判断所述投影区域是否覆盖第二画面内容,具体包括:
获取所述第一画面内容的多个第一特征点,所述第一特征点为所述第一画面内容的顶点;
获取各个所述第一特征点的第一坐标;
对各个所述第一特征点进行坐标映射,得到投影点的投影点坐标,所述投影点为所述投影区域的顶点;
获取所述第二画面内容的多个第二特征点,所述第二特征点为所述第二画面内容的顶点;
获取各个所述第二特征点的第二坐标;
基于多个所述投影点坐标和多个所述第二坐标,判断所述投影区域与所述第二画面内容的相对位置,从而判断所述投影区域是否覆盖所述第二画面内容。
3.根据权利要求1所述的一种基于观察视线的全息投影方法,其特征在于,在所述判断所述投影区域是否覆盖第二画面内容之后,所述方法还包括:
若所述投影区域未覆盖所述第二画面内容,则获取CPU占用率;
判断所述CPU占用率是否小于或等于预设占用率,若所述CPU占用率小于或等于所述预设占用率,则继续投影所述第一画面内容和所述第二画面内容。
4.根据权利要求3所述的一种基于观察视线的全息投影方法,其特征在于,在所述判断所述CPU占用率是否小于或等于预设占用率之后,所述方法还包括:
若所述CPU占用率大于所述预设占用率,则获取所述第二画面内容的第一清晰度;
设定所述第二画面内容的清晰度为第二清晰度,所述第二清晰度小于第一清晰度。
5.根据权利要求3所述的一种基于观察视线的全息投影方法,其特征在于,在所述判断所述CPU占用率是否小于或等于预设占用率,若所述CPU占用率小于或等于所述预设占用率,则继续投影所述第一画面内容和所述第二画面内容之后,所述方法还包括:
获取多个画面内容,所述多个画面内容包括所述第一画面内容和所述第二画面内容,所述第一画面内容和所述第二画面内容为所述多个画面内容中的任意两个画面内容;
确定多个投影载体,所述多个投影载体包括所述第一投影载体和所述第二投影载体,所述第一投影载体和所述第二投影载体为多个所述投影载体中的任意两个投影载体;
确定所述第一画面内容和所述第二画面内容的相对层次,若所述第一画面内容位于第一层次,所述第二画面内容位于第二层次;
确定所述第一投影载体和所述第二投影载体的相对层次,若所述第一投影载体位于第一层次,所述第二投影载体位于第二层次;
则在所述第一投影载体投影所述第一画面内容,在所述第二投影载体投影所述第二画面内容。
6.根据权利要求1所述的一种基于观察视线的全息投影方法,其特征在于,所述获取用户的视觉位置,具体包括:
获取所述用户的视线方向;
基于所述视线方向,将所述用户的视线进行延长,直至与投影载体相交,得到视线落点,所述投影载体包括所述第一投影载体与所述第二投影载体;
获取所述用户双目连接线的中点,得到中心点;
确定所述中心点的位置,得到所述视觉位置。
7.根据权利要求6所述的一种基于观察视线的全息投影方法,其特征在于,在所述获取位于第一投影载体上的第一画面内容之前,所述方法还包括:
将所述中心点与所述视线落点进行连接,得到中心线;
获取空间视野区域,所述空间视野区域为以所述中心线为中轴线,所述中心点为顶点,所述视线落点为底面的圆心,预设长度为半径的斜圆锥区域;
获取所述视野范围,所述视野范围为所述投影载体对所述斜圆锥区域进行截取得到区域范围。
8.一种基于观察视线的全息投影装置,其特征在于,所述装置为全息投影设备,包括获取模块(401)、处理模块(402)、判断模块(403)以及投影控制模块(404),其中:
所述获取模块(401),用于获取用户的视觉位置,所述视觉位置为所述用户双目连接线中点的位置;
所述获取模块(401),用于获取位于第一投影载体上的第一画面内容,所述第一画面内容处于所述用户的视野范围,所述第一画面内容为所述全息投影设备在所述第一投影载体上的投影内容;
所述处理模块(402),用于构建投影区域,所述投影区域是以所述视觉位置的点光源,对所述第一画面内容在第二投影载体进行投影得到的区域,所述第一投影载体位于所述第二投影载体与所述用户之间;
所述判断模块(403),用于判断所述投影区域是否覆盖第二画面内容,所述第二画面内容为所述全息投影设备在所述第二投影载体上的投影内容;
所述投影控制模块(404),用于若所述投影区域覆盖所述第二画面内容,则继续投影第一画面内容,停止投影第二画面内容。
9.一种电子设备,其特征在于,包括处理器(501)、存储器(505)、用户接口(503)以及网络接口(504),所述存储器(505)用于存储指令,所述用户接口(503)和所述网络接口(504)均用于与其他设备通信,所述处理器(501)用于执行所述存储器(505)中存储的指令,以使所述电子设备执行如权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行如权利要求1-7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311119767.1A CN116915963A (zh) | 2023-08-31 | 2023-08-31 | 一种基于观察视线的全息投影方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311119767.1A CN116915963A (zh) | 2023-08-31 | 2023-08-31 | 一种基于观察视线的全息投影方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116915963A true CN116915963A (zh) | 2023-10-20 |
Family
ID=88353343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311119767.1A Pending CN116915963A (zh) | 2023-08-31 | 2023-08-31 | 一种基于观察视线的全息投影方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116915963A (zh) |
-
2023
- 2023-08-31 CN CN202311119767.1A patent/CN116915963A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11580705B2 (en) | Viewpoint dependent brick selection for fast volumetric reconstruction | |
JP7209777B2 (ja) | 表面モデル化システムおよび方法 | |
US11538229B2 (en) | Image processing method and apparatus, electronic device, and computer-readable storage medium | |
EP3332565B1 (en) | Mixed reality social interaction | |
JP4764305B2 (ja) | 立体画像生成装置、方法およびプログラム | |
US20190355170A1 (en) | Virtual reality content display method and apparatus | |
JP7201869B1 (ja) | 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成 | |
CN105264478A (zh) | 全息锚定和动态定位 | |
CN107168534B (zh) | 一种基于cave系统的渲染优化方法及投影方法 | |
US11704883B2 (en) | Methods and systems for reprojection in augmented-reality displays | |
US20230147759A1 (en) | Viewpoint dependent brick selection for fast volumetric reconstruction | |
CN114341943A (zh) | 使用平面提取的简单环境求解器 | |
CN109640070A (zh) | 一种立体显示方法、装置、设备及存储介质 | |
CN107810634A (zh) | 用于立体增强现实的显示器 | |
US20080204834A1 (en) | Displaying holographic images | |
JP2022543593A (ja) | 深度情報を用いた高速3d再構築 | |
Soares et al. | Designing a highly immersive interactive environment: The virtual mine | |
CN116915963A (zh) | 一种基于观察视线的全息投影方法、装置及电子设备 | |
CN112891940A (zh) | 图像数据处理方法及装置、存储介质、计算机设备 | |
CN113476835B (zh) | 一种画面显示的方法及装置 | |
CN117173314B (zh) | 一种图像处理方法、装置、设备、介质及程序产品 | |
CN114840160A (zh) | 文件展示方法、装置、存储介质以及电子设备 | |
CN117170206A (zh) | 一种全息成像方法、装置及电子设备 | |
CN118262072A (zh) | 信息提示方法、扩展现实设备、装置、介质和程序产品 | |
CN115914607A (zh) | 一种基于OsgEarth的全息智能沙盘的渲染方法及装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |