CN111491152B - 全息投影装置和方法 - Google Patents

全息投影装置和方法 Download PDF

Info

Publication number
CN111491152B
CN111491152B CN202010280536.9A CN202010280536A CN111491152B CN 111491152 B CN111491152 B CN 111491152B CN 202010280536 A CN202010280536 A CN 202010280536A CN 111491152 B CN111491152 B CN 111491152B
Authority
CN
China
Prior art keywords
image data
background environment
image
projection terminal
compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010280536.9A
Other languages
English (en)
Other versions
CN111491152A (zh
Inventor
王鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202010280536.9A priority Critical patent/CN111491152B/zh
Publication of CN111491152A publication Critical patent/CN111491152A/zh
Application granted granted Critical
Publication of CN111491152B publication Critical patent/CN111491152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)
  • Projection Apparatus (AREA)

Abstract

本公开实施例提供一种全息投影装置和方法。其中，若干全息膜围绕投射体支设，投影终端的若干显示屏朝内并围绕若干全息膜设置，且每块显示屏均对应一张全息膜；投影终端的摄像头用于拍摄背景环境的影像并发送至服务器，以使得服务器取出背景环境中的被标记物体信息，再根据被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据；投影终端的处理器还用于将原始3D图像数据和全局光照补偿图像数据分别发送至不同的显示屏成像；若干全息膜用于将各自对应的显示屏显示的图像投出以叠加成最终3D图像。本公开实施例所述装置的体积小，移动性和便携性好，还提高了最终形成在投射背景上的3D影像的逼真度。

Description

全息投影装置和方法
技术领域
本公开涉及投影装置技术领域，尤其涉及一种全息投影装置，以及一种全息投影方法。
背景技术
全息投影技术(front-projected holographic display)也称虚拟成像技术，是利用干涉和衍射原理记录并再现物体真实的三维图像的记录和再现的技术。
其第一步是利用干涉原理记录物体光波信息，此即拍摄过程：被摄物体在一部分激光辐照下形成漫射式的物光束；另一部分激光作为参考光束射到全息底片上，与物光束叠加产生干涉，把物体光波上各点的位相和振幅转换成在空间上变化的强度，从而利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来，形成全息图，或称全息照片。
其第二步是利用衍射原理再现物体光波信息，此即成象过程：全息图犹如一个复杂的光栅，在相干激光照射下，一张线性记录的正弦型全息图的衍射光波一般可给出两个象，即原始象(又称初始象)和共轭象。再现的图像立体感强，具有真实的视觉效应。
然而，目前全息投影的实现需要配备巨大的投影设备，移动性、便捷性较差；而且，现有的全息投影设备所投射的影像都是提前预置好的3D影像，该3D影像已记录了物体光波信息，但并未考虑背景环境中各类材质的反射、折射对全息影像造成的影响，例如背景环境中的光源经过各种材料的反射、折射，对某些物体的亮度、阴影区域、颜色产生一定影响，这样提前预置好的3D影像的逼真度就会大打折扣。
因此，提出一种体积小、逼真度高的全息投影装置是目前亟待解决的问题。
发明内容
为了至少部分解决现有技术中存在的技术问题而完成了本公开。
根据本公开实施例的一方面，提供一种全息投影装置，包括：投影终端和若干全息膜，所述投影终端包括处理器、若干显示屏和摄像头；
所述若干全息膜围绕投射体支设，所述投影终端的若干显示屏朝内并围绕所述若干全息膜设置，且每块显示屏均对应一张全息膜；
所述投影终端的摄像头用于拍摄背景环境的影像，并发送至服务器，以使得所述服务器基于所述摄像头拍摄的影像提取出背景环境中的被标记物体信息，再根据所述被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至所述投影终端的处理器；
所述投影终端的处理器还用于将所述原始3D图像数据和所述全局光照补偿图像数据分别发送至不同的显示屏；
所述若干显示屏用于将接收到的图像数据在各自的屏幕上成像；
所述若干全息膜用于将各自对应的显示屏显示的图像投出以叠加成最终3D图像。
根据本公开实施例的另一方面，提供另一种全息投影装置，包括：服务器；所述服务器包括第一提取模块和第一补偿模块；
所述第一提取模块用于接收投影终端发送的背景环境的影像，并基于所述背景环境的影像提取出背景环境中的被标记物体信息；
所述第一补偿模块用于根据所述第一提取模块提取出的背景环境中的被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至所述投影终端。
根据本公开实施例的又一方面，提供一种全息投影方法，包括：
围绕投射体支设若干全息膜，再围绕所述若干全息膜设置投影终端的若干显示屏，每块显示屏朝内放置并对应一张全息膜；
所述投影终端的摄像头拍摄背景环境的影像，并发送至服务器，以使得所述服务器基于所述摄像头拍摄的影像提取出背景环境中的被标记物体信息，再根据所述被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至所述投影终端的处理器；
所述投影终端的处理器还将所述原始3D图像数据和所述全局光照补偿图像数据分别发送至不同的显示屏；
所述若干显示屏将接收到的图像数据在各自的屏幕上成像，并分别通过各自对应的全息膜投出后叠加成最终3D图像。
根据本公开实施例的再一方面，提供另一种全息投影方法，应用于服务器，所述方法包括：
接收投影终端发送的背景环境的影像，并基于所述背景环境的影像提取出背景环境中的被标记物体信息；
根据所述背景环境中的被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至所述投影终端。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供的全息投影装置和方法，仅通过围绕投射体支设若干全息膜和围绕若干全息膜设置若干显示屏，再通过投影终端的处理器与服务器的数据交互，就能实现全息投影，整套装置的体积小，移动性和便携性好；而且，通过将原始3D图像数据和全局光照补偿图像数据叠加后形成最终3D图像，充分考虑了背景环境中各类材质的反射、折射对全息影像造成的影响，提高了最终形成在投射背景上的3D影像的逼真度。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。
图1为本公开实施例提供的一种全息投影装置的原理图之一；
图2为本公开实施例提供的一种全息投影装置的原理图之二；
图3为本公开实施例提供的另一种全息投影装置的结构框图；
图4为本公开实施例提供的一种全息投影方法的流程图；
图5为本公开实施例提供的另一种全息投影方法的流程图。
图中：1－第一显示屏；2－第二显示屏；3－第三显示屏；4－第一全息膜；5－第二全息膜；6－第三全息膜；7－投射体；8－投射背景；9－服务器；91－第一提取模块；92－第一补偿模块。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1为本公开实施例提供的一种全息投影装置的原理图之一；图2为本公开实施例提供的一种全息投影装置的原理图之二。如图1和图2所示，所述全息投影装置包括：投影终端和若干全息膜；投影终端包括处理器、若干显示屏和摄像头。
其中，若干全息膜围绕投射体7支设，投影终端的若干显示屏朝内并围绕若干全息膜设置，且每块显示屏均对应一张全息膜；
投影终端的摄像头用于拍摄背景环境的影像，并发送至服务器，以使得服务器基于摄像头拍摄的影像提取出背景环境中的被标记物体信息，再根据被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至投影终端的处理器；
投影终端的处理器还用于将原始3D图像数据和全局光照补偿图像数据分别发送至不同的显示屏；
若干显示屏用于将接收到的图像数据在各自的屏幕上成像；
若干全息膜用于将各自对应的显示屏显示的图像投出以叠加成最终3D图像，并显示在投射背景8上，一般地，投射背景8默认为暗光环境。
本实施例中，投影终端可采用现有的智能手机、平板电脑等具有显示、摄像及处理功能的终端。在一种实施方式中，投影终端采用屏幕可折叠的智能手机和/或平板电脑；在另一种实施方式中，投影终端包括若干屏幕不可折叠的智能手机和/或平板电脑，其中每个智能手机/平板电脑均包括处理器、显示屏和摄像头；在又一种实施方式中，投影终端既包括屏幕可折叠的智能手机和/或平板电脑，又包括屏幕不可折叠的智能手机和/或平板电脑。
需要进行全息投影的原始3D图像数据，可以通过在相关网站上下载的方式获取，并存储在投影终端或服务器中，当然也可以通过其他渠道获取，本公开对此不作限制。若原始3D图像数据预存在投影终端处，则需要将其发送至服务器，以使得服务器能够对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据；若原始3D图像数据预存在服务器处，则需要将其连同全局光照补偿图像数据一起发送至投影终端。
本公开实施例提供的全息投影装置，仅通过围绕投射体支设若干全息膜和围绕若干全息膜设置若干显示屏，再通过投影终端的处理器与服务器的数据交互，就能实现全息投影，整套装置的体积小，移动性和便携性好；而且，通过将原始3D图像数据和全局光照补偿图像数据叠加后形成最终3D图像，充分考虑了背景环境中各类材质的反射、折射对全息影像造成的影响，提高了最终形成在投射背景上的3D影像的逼真度。
在一些实施方式中，投影终端的处理器还用于接收服务器发送的色彩重构补偿图像数据，并将色彩重构补偿图像数据连同原始3D图像数据和全局光照补偿图像数据一起分别发送至不同的显示屏；
其中，色彩重构补偿图像数据为服务器基于投影终端的摄像头拍摄的影像提取出背景环境中的色彩信息，再根据色彩信息对原始3D图像数据进行色彩重构补偿而得到的。
并且，原始3D图像数据、全局光照补偿图像数据和色彩重构补偿图像数据分别发送至不同的显示屏后，由这些显示屏进行投射时，应保证图像的同步，具体可采用现有的分屏、多屏技术，本公开对此不再赘述。
本实施例中，除了全局光照补偿图像数据之外，还获取了色彩重构补偿图像数据，并将原始3D图像数据和全局光照补偿图像数据、色彩重构补偿图像数据一起叠加后形成最终3D图像，不仅充分考虑了背景环境中各类材质的反射、折射对全息影像造成的影响，还考虑了背景环境中的色彩对全息影像造成的影响，对原始3D图像数据进行逼真的全局渲染补偿及色彩重构补偿，进一步提高了最终形成在投射背景上的3D影像的逼真度，让预置的3D影像与投射背景更好地融合。
在一些实施方式中，还可以仅获取色彩重构补偿图像数据，而不获取全局光照补偿图像数据，并且将原始3D图像数据和色彩重构补偿图像数据叠加后形成最终3D图像，即仅考虑背景环境中的色彩对全息影像造成的影响。
需要说明的是，图1和图2仅示出了采用三块显示屏(即第一显示屏1、第二显示屏2和第三显示屏3)和三张全息膜(即第一全息膜4、第二全息膜5和第三全息膜6)的方案，其中三块显示屏分别用于显示原始3D图像数据、全局光照补偿图像数据和色彩重构补偿图像数据，但本公开并不限制于此，更多数量的显示屏和全息膜也应在本公开的保护范围内。并且，三块显示屏的屏幕朝内围成三角形区域，有利于图像隐私保护。
图3为本公开实施例提供的另一种全息投影装置的结构框图。如图3所示，所述全息投影装置包括服务器9；服务器9包括第一提取模块91和第一补偿模块92。
其中，第一提取模块91用于接收投影终端发送的背景环境的影像，并基于背景环境的影像提取出背景环境中的被标记物体信息；
第一补偿模块92用于根据第一提取模块提取出的背景环境中的被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至投影终端。
本公开实施例提供的全息投影装置，在服务器侧基于投影终端提供的背景环境的影像提取出背景环境中的被标记物体信息，再基于背景环境中的被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至投影终端，从而减轻了投影终端侧的计算压力，也减小了投影终端侧的装置体积。
进一步地，第一提取模块91具体用于，基于背景环境的影像提取出所有所占面积超过整个画面面积第一预设百分比的物体并进行标记，再获取各被标记物体的表面材料反射系数、在整个画面中的占据面积和分布位置；
服务器还包括：第一获取模块，用于接收投影终端发送的观察者与投影终端之间的距离，再结合第一提取模块得出的各被标记物体在整个画面中的占据面积和分布位置，得到各被标记物体反射、漫射光入射至观察者眼睛的夹角；以及，
模型建立模块，用于接收投影终端发送的背景环境的光照强度，再结合第一提取模块得出的各被标记物体的表面材料反射系数、在整个画面中的占据面积和分布位置，以及第一获取模块得出的各被标记物体反射、漫射光入射至观察者眼睛的夹角，计算3D图像的全局光照反射模型；
第一补偿模块92具体用于，利用模型建立模块得出的全局光照反射模型对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据。
本实施例中，第一提取模块可通过现有的图像识别技术从背景环境的影像中提取出被标记物体。所述第一预设百分比可以为3％-8％，例如5％，即所占面积超过整个画面面积5％的物体就会被标记出来，然后获取各被标记物体的表面材料反射系数s、各被标记物体在整个画面中的占据面积和分布位置。其中，被标记物体的材质信息可通过向用户征集的方式获得，即用户对被标记物体的材质进行反馈，则服务器就可根据被标记物体的材质和现有经验数据得出各被标记物体的表面材料反射系数s。
一般地，智能手机都具有红外扫描功能，可以很容易地得出目标物与智能手机之间的距离，因此也能获得观察者与投影终端之间的距离。而且，智能手机还具有感光传感器，可以很容易地得出背景环境的光照强度Q。
第一获取模块在接收到投影终端发送的观察者与投影终端之间的距离后，再结合第一提取模块得出的各被标记物体在整个画面中的占据面积和分布位置，就可以计算出各被标记物体反射、漫射光入射至观察者眼睛的夹角M，具体的计算过程为现有技术，本公开对此不再赘述。
模型建立模块在接收到投影终端发送的背景环境的光照强度后，再结合第一提取模块得出的各被标记物体的表面材料反射系数s、在整个画面中的占据面积和分布位置，以及第一获取模块得出的各被标记物体反射、漫射光入射至观察者眼睛的夹角M，就可以计算出3D图像的全局光照反射模型。至于具体的模型算法，可以是光线追踪反射模型算法，也可以是直接光照模型算法，当然也可以采用其他公知的模型算法，本公开对此不作限定。
此处以某光照追踪反射模型算法为例，其中反射光的能量需要考虑入射光线强度L和背景环境的光照强度Q。
各被标记物体表面的高光反射功率P采用如下公式计算得出：
P＝s*L(r*l)a
其中，s为被标记物体的表面材料反射系数；L为入射光线强度；r为反射方向；a为调节系数，调节系数越大，光照范围越大、光强就越弱，调节系数越小，光照范围越小、光强就越强。
各被标记物体表面对每个光源的每个颜色分量反射光功率I采用如下公式计算得出：
I＝Q+(s/RGB矩阵)*M+P
其中，Q为背景环境的光照强度，即光源直接光照强度；s为被标记物体的表面材料反射系数；RGB矩阵可以由后续第二提取模块得出，即色度色温信息；M为被标记物体反射、漫射光入射至观察者眼睛的夹角；P为被标记物体表面的高光反射功率。
基于各被标记物体表面对每个光源的每个颜色分量反射光功率I，就可以得出3D图像的全局光照反射模型。这属于本领域公知常识，本公开对此不再赘述。
第一补偿模块根据3D图像的全局光照反射模型，就可以构建出符合该3D图像的全局光照补偿图像。
由于原始3D图像的成像只是具备立体形状，并未考虑背景环境中各类材质的反射、折射对全息影像造成的影响，而本实施例根据背景环境对原始3D图像进行实时的全局光照增强与渲染，提高了全息影像的逼真度。
在一些实施方式中，服务器还包括：第二提取模块和第二补偿模块。
其中，第二提取模块用于接收投影终端发送的背景环境的影像，并基于背景环境的影像提取出背景环境中的色彩信息；
第二补偿模块用于根据第二提取模块提取出的背景环境中的色彩信息对原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据，并发送至投影终端。
本实施例中，在服务器侧还基于投影终端侧提供的背景环境的影像提取出背景环境中的色彩信息，再基于背景环境中的色彩信息对原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据，并发送至投影终端，从而减轻了投影终端侧的计算压力，也减小了投影终端侧的装置体积。
进一步地，第二提取模块具体用于，基于背景环境的影像提取出所有主要色彩，主要色彩为所占面积超过整个画面面积第二预设百分比的色彩，并记录所有主要色彩在整个画面中的占据面积和分布位置，以及色度色温信息；
第二补偿模块具体用于，接收所述投影终端发送的背景环境的光照强度，再结合第二提取模块得出的所有主要色彩在整个画面中的占据面积和分布位置，以及色度色温信息，对原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据。
本实施例中，第二提取模块可通过现有的图像识别技术从背景环境的影像中提取出主要色彩。所述第二预设百分比可以为8％-15％，例如10％，即所占面积超过整个画面面积10％的色彩被认定为主要色彩，同时记录该主要色彩在整个画面中的占据面积和分布位置，以及色度色温信息，其中色度色温信息可以为RGB矩阵或者灰度矩阵，本公开对此不作限定。
第二补偿模块利用投影终端发送的背景环境的光照强度和第二提取模块提供的色彩信息进行色彩重构，本公开对具体的重构方案不作限定。
在一种可选的重构方案中，第二补偿模块利用RBG矩阵和背景环境的光照强度Q进行重构。
具体地，若背景环境的光照强度Q大于阈值1，且RGB矩阵极大值、平均值都小于阈值2，则将色度、色温等参数进行色彩饱和度、色度、色温的上调，且上调幅度为f1(x)。本公开对上调幅度不作具体数值限定，只推荐f1函数为关于色度、色温、色彩饱和度参数的区间正函数；
若背景环境的光照强度Q大于阈值3，且RGB矩阵极小值、平均值都大于阈值3，则将色度、色温等参数进行色彩饱和度、色度、色温的下调，且下调幅度为f2(x)。本公开对下调幅度不作具体数值限定，只推荐f2函数为关于色度、色温、色彩饱和度参数的区间反函数。
由于原始3D图像的成像只是具备立体形状，并未考虑背景环境中的色彩对全息影像造成的影响，而本实施例根据背景环境对原始3D图像进行实时的颜色渲染重构，同时兼顾投射背景为暗光环境，提高了全息影像的逼真度。
基于相同的技术构思，本公开实施例相应还提供一种全息投影方法。图4为本公开实施例提供的一种全息投影方法的流程图。如图3所示，所述全息投影方法包括如下步骤S1至S4。
S1.围绕投射体支设若干全息膜，再围绕若干全息膜设置投影终端的若干显示屏，每块显示屏朝内放置并对应一张全息膜；
S2.投影终端的摄像头拍摄背景环境的影像，并发送至服务器，以使得服务器基于摄像头拍摄的影像提取出背景环境中的被标记物体信息，再根据被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至投影终端的处理器；
S3.投影终端的处理器还将原始3D图像数据和全局光照补偿图像数据分别发送至不同的显示屏；
S4.若干显示屏将接收到的图像数据在各自的屏幕上成像，并分别通过各自对应的全息膜投出后叠加成最终3D图像。
本公开实施例提供的全息投影方法，仅通过围绕投射体支设若干全息膜和围绕若干全息膜设置若干显示屏，再通过投影终端的处理器与服务器的数据交互，就能实现全息投影；而且，通过将原始3D图像数据和全局光照补偿图像数据叠加后形成最终3D图像，充分考虑了背景环境中各类材质的反射、折射对全息影像造成的影响，提高了最终形成在投射背景上的3D影像的逼真度。
在一些实施方式中，在步骤S2中，服务器在接收到投影终端的摄像头拍摄背景环境的影像后，还基于摄像头拍摄的影像提取出背景环境中的色彩信息，再根据色彩信息对原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据，并发送至投影终端的处理器。
则步骤S3中，投影终端的处理器接收到服务器发送的色彩重构补偿图像数据后，将原始3D图像数据、全局光照补偿图像数据和色彩重构补偿图像数据分别发送至不同的显示屏。
本实施例中，除了全局光照补偿图像数据之外，还获取了色彩重构补偿图像数据，并将原始3D图像数据和全局光照补偿图像数据、色彩重构补偿图像数据一起叠加后形成最终3D图像，不仅充分考虑了背景环境中各类材质的反射、折射对全息影像造成的影响，还考虑了背景环境中的色彩对全息影像造成的影响，对原始3D图像数据进行逼真的全局渲染补偿及色彩重构补偿，进一步提高了最终形成在投射背景上的3D影像的逼真度，让预置的3D影像与投射背景更好地融合。
基于相同的技术构思，本公开实施例相应还提供另一种全息投影方法。图5为本公开实施例提供的另一种全息投影方法的流程图。如图5所示，所述全息投影方法应用于服务器，包括如下步骤S5和S6。
S5.接收投影终端发送的背景环境的影像，并基于背景环境的影像提取出背景环境中的被标记物体信息；
S6.根据背景环境中的被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至投影终端。
本公开实施例提供的全息投影方法，在服务器侧基于投影终端提供的背景环境的影像提取出背景环境中的被标记物体信息，再基于背景环境中的被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至投影终端，从而减轻了投影终端侧的计算压力。
进一步地，步骤S5具体包括：基于背景环境的影像提取出所有所占面积超过整个画面面积第一预设百分比的物体并进行标记，再获取各被标记物体的表面材料反射系数、在整个画面中的占据面积和分布位置。
所述全息投影方法还包括如下步骤S7和S8。
S7.接收投影终端发送的观察者与投影终端之间的距离，再结合各被标记物体在整个画面中的占据面积和分布位置，得到各被标记物体反射、漫射光入射至观察者眼睛的夹角；
S8.接收投影终端发送的背景环境的光照强度，再结合各被标记物体的表面材料反射系数、在整个画面中的占据面积和分布位置，以及各被标记物体反射、漫射光入射至观察者眼睛的夹角，计算3D图像的全局光照反射模型。
则步骤S6具体包括：利用全局光照反射模型对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据。
由于原始3D图像的成像只是具备立体形状，并未考虑背景环境中各类材质的反射、折射对全息影像造成的影响，而本实施例根据背景环境对原始3D图像进行实时的全局光照增强与渲染，提高了全息影像的逼真度。
在一些实施方式中，所述全息投影方法还包括如下步骤S9和S10。
S9.接收投影终端发送的背景环境的影像，并基于背景环境的影像提取出背景环境中的色彩信息；
S10.根据背景环境中的色彩信息对原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据，并发送至投影终端。
本实施例中，在服务器侧还基于投影终端侧提供的背景环境的影像提取出背景环境中的色彩信息，再基于背景环境中的色彩信息对原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据，并发送至投影终端，从而减轻了投影终端侧的计算压力。
进一步地，步骤S9具体为：基于背景环境的影像提取出所有主要色彩，主要色彩为所占面积超过整个画面面积第二预设百分比的色彩，并记录所有主要色彩在整个画面中的占据面积和分布位置，以及色度色温信息。
步骤S10具体为：接收投影终端发送的背景环境的光照强度，再结合所有主要色彩在整个画面中的占据面积和分布位置，以及色度色温信息，对原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据。
需要说明的是，上述步骤的顺序只是为了说明本实施例而提出的一个具体实例，本公开对上述步骤的顺序不做限定，本领域技术人员在实际应用中可按需对其进行调整。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (12)

1.一种全息投影装置，其特征在于，包括：投影终端和若干全息膜，所述投影终端包括处理器、若干显示屏和摄像头；
所述若干全息膜围绕投射体支设，所述投影终端的若干显示屏朝内并围绕所述若干全息膜设置，且每块显示屏均对应一张全息膜；
所述投影终端的摄像头用于拍摄背景环境的影像，并发送至服务器，以使得所述服务器基于所述摄像头拍摄的影像提取出背景环境中的被标记物体信息，再根据所述被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至所述投影终端的处理器；
所述投影终端的处理器还用于将所述原始3D图像数据和所述全局光照补偿图像数据分别发送至不同的显示屏；
所述若干显示屏用于将接收到的图像数据在各自的屏幕上成像；
所述若干全息膜用于将各自对应的显示屏显示的图像投出以叠加成最终3D图像。
2.根据权利要求1所述的装置，其特征在于，
所述投影终端的处理器还用于接收所述服务器发送的色彩重构补偿图像数据，并将所述色彩重构补偿图像数据连同所述原始3D图像数据和所述全局光照补偿图像数据一起分别发送至不同的显示屏；
其中，所述色彩重构补偿图像数据为所述服务器基于所述投影终端的摄像头拍摄的影像提取出背景环境中的色彩信息，再根据所述色彩信息对所述原始3D图像数据进行色彩重构补偿而得到的。
3.一种全息投影装置，其特征在于，包括：服务器；所述服务器包括第一提取模块和第一补偿模块；
所述第一提取模块用于接收投影终端的摄像头拍摄并发送的背景环境的影像，并基于所述背景环境的影像提取出背景环境中的被标记物体信息；
所述第一补偿模块用于根据所述第一提取模块提取出的背景环境中的被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至所述投影终端的处理器，以使所述投影终端的处理器将所述原始3D图像数据和所述全局光照补偿图像数据分别发送至投影终端不同的显示屏上成像，每块显示屏均对应一张全息膜，各全息膜围绕投射体支设，各显示屏朝内并围绕各全息膜设置，使得各全息膜将各自对应的显示屏显示的图像投出以叠加成最终3D图像。
4.根据权利要求3所述的装置，其特征在于，所述服务器还包括：第二提取模块和第二补偿模块；
所述第二提取模块用于接收所述投影终端发送的背景环境的影像，并基于所述背景环境的影像提取出背景环境中的色彩信息；
所述第二补偿模块用于根据所述第二提取模块提取出的背景环境中的色彩信息对所述原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据，并发送至所述投影终端。
5.根据权利要求3所述的装置，其特征在于，
所述第一提取模块具体用于，基于所述背景环境的影像提取出所有所占面积超过整个画面面积第一预设百分比的物体并进行标记，再获取各被标记物体的表面材料反射系数、在整个画面中的占据面积和分布位置；
所述服务器还包括：第一获取模块，用于接收所述投影终端发送的观察者与所述投影终端之间的距离，再结合所述第一提取模块得出的各被标记物体在整个画面中的占据面积和分布位置，得到各被标记物体反射、漫射光入射至观察者眼睛的夹角；以及，
模型建立模块，用于接收所述投影终端发送的所述背景环境的光照强度，再结合所述第一提取模块得出的各被标记物体的表面材料反射系数、在整个画面中的占据面积和分布位置，以及所述第一获取模块得出的各被标记物体反射、漫射光入射至观察者眼睛的夹角，计算3D图像的全局光照反射模型；
所述第一补偿模块具体用于，利用所述模型建立模块得出的全局光照反射模型对所述原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据。
6.根据权利要求4所述的装置，其特征在于，所述第二提取模块具体用于，基于所述背景环境的影像提取出所有主要色彩，所述主要色彩为所占面积超过整个画面面积第二预设百分比的色彩，并记录所有主要色彩在整个画面中的占据面积和分布位置，以及色度色温信息；
所述第二补偿模块具体用于，接收所述投影终端发送的所述背景环境的光照强度，再结合所述第二提取模块得出的所有主要色彩在整个画面中的占据面积和分布位置，以及色度色温信息，对所述原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据。
7.一种全息投影方法，其特征在于，包括：
围绕投射体支设若干全息膜，再围绕所述若干全息膜设置投影终端的若干显示屏，每块显示屏朝内放置并对应一张全息膜；
所述投影终端的摄像头拍摄背景环境的影像，并发送至服务器，以使得所述服务器基于所述摄像头拍摄的影像提取出背景环境中的被标记物体信息，再根据所述被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至所述投影终端的处理器；
所述投影终端的处理器还将所述原始3D图像数据和所述全局光照补偿图像数据分别发送至不同的显示屏；
所述若干显示屏将接收到的图像数据在各自的屏幕上成像，并分别通过各自对应的全息膜投出后叠加成最终3D图像。
8.根据权利要求7所述的方法，其特征在于，还包括：
所述投影终端的处理器接收所述服务器发送的色彩重构补偿图像数据，并将所述色彩重构补偿图像数据连同所述原始3D图像数据和所述全局光照补偿图像数据一起分别发送至不同的显示屏；
其中，所述色彩重构补偿图像数据为所述服务器基于所述投影终端的摄像头拍摄的影像提取出背景环境中的色彩信息，再根据所述色彩信息对所述原始3D图像数据进行色彩重构补偿而得到的。
9.一种全息投影方法，应用于服务器，其特征在于，所述方法包括：
接收投影终端的摄像头拍摄并发送的背景环境的影像，并基于所述背景环境的影像提取出背景环境中的被标记物体信息；
根据所述背景环境中的被标记物体信息对原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，并发送至所述投影终端的处理器，以使所述投影终端的处理器将所述原始3D图像数据和所述全局光照补偿图像数据分别发送至投影终端不同的显示屏上成像，每块显示屏均对应一张全息膜，各全息膜围绕投射体支设，各显示屏朝内并围绕各全息膜设置，使得各全息膜将各自对应的显示屏显示的图像投出以叠加成最终3D图像。
10.根据权利要求9所述的方法，其特征在于，还包括：
接收所述投影终端发送的背景环境的影像，并基于所述背景环境的影像提取出背景环境中的色彩信息；
根据所述背景环境中的色彩信息对所述原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据，并发送至所述投影终端。
11.根据权利要求9所述的方法，其特征在于，
所述基于所述背景环境的影像提取出背景环境中的被标记物体信息，包括：
基于所述背景环境的影像提取出所有所占面积超过整个画面面积第一预设百分比的物体并进行标记，再获取各被标记物体的表面材料反射系数、在整个画面中的占据面积和分布位置；
所述方法还包括：接收所述投影终端发送的观察者与所述投影终端之间的距离，再结合所述各被标记物体在整个画面中的占据面积和分布位置，得到各被标记物体反射、漫射光入射至观察者眼睛的夹角；以及，
接收所述投影终端发送的所述背景环境的光照强度，再结合所述各被标记物体的表面材料反射系数、在整个画面中的占据面积和分布位置，以及所述各被标记物体反射、漫射光入射至观察者眼睛的夹角，计算3D图像的全局光照反射模型；
所述基于所述背景环境中的被标记物体信息对所述原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据，包括：
利用所述全局光照反射模型对所述原始3D图像数据进行全局光照补偿以得到全局光照补偿图像数据。
12.根据权利要求10所述的方法，其特征在于，
所述基于所述背景环境的影像提取出背景环境中的色彩信息，包括：
基于所述背景环境的影像提取出所有主要色彩，所述主要色彩为所占面积超过整个画面面积第二预设百分比的色彩，并记录所有主要色彩在整个画面中的占据面积和分布位置，以及色度色温信息；
所述基于所述背景环境中的色彩信息对所述原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据，包括：
接收所述投影终端发送的所述背景环境的光照强度，再结合所述所有主要色彩在整个画面中的占据面积和分布位置，以及色度色温信息，对所述原始3D图像数据进行色彩重构补偿以得到色彩重构补偿图像数据。
CN202010280536.9A 2020-04-10 2020-04-10 全息投影装置和方法 Active CN111491152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010280536.9A CN111491152B (zh) 2020-04-10 2020-04-10 全息投影装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010280536.9A CN111491152B (zh) 2020-04-10 2020-04-10 全息投影装置和方法

Publications (2)

Publication Number Publication Date
CN111491152A CN111491152A (zh) 2020-08-04
CN111491152B true CN111491152B (zh) 2022-01-21

Family

ID=71812712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010280536.9A Active CN111491152B (zh) 2020-04-10 2020-04-10 全息投影装置和方法

Country Status (1)

Country Link
CN (1) CN111491152B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114003092B (zh) * 2021-10-29 2024-09-03 深圳康佳电子科技有限公司 一种虚拟现实的智能显示设备及虚拟现实方法
CN114995082B (zh) * 2022-07-08 2023-03-31 华夏城视网络电视股份有限公司 一种基于光反射虚拟投影成像的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658338A (zh) * 2017-10-10 2019-04-19 三星电子株式会社 使用外部电子装置处理原始图像的方法和电子装置
CN110651296A (zh) * 2017-05-22 2020-01-03 三星电子株式会社 处理通过使用照相机获取的图像的电子设备及其操作方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9645386B2 (en) * 2011-12-10 2017-05-09 Dolby Laboratories Licensing Corporation Calibration and control of displays incorporating MEMS light modulators

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110651296A (zh) * 2017-05-22 2020-01-03 三星电子株式会社 处理通过使用照相机获取的图像的电子设备及其操作方法
CN109658338A (zh) * 2017-10-10 2019-04-19 三星电子株式会社 使用外部电子装置处理原始图像的方法和电子装置

Also Published As

Publication number Publication date
CN111491152A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
Grundhöfer et al. Recent advances in projection mapping algorithms, hardware and applications
Maimone et al. Holographic near-eye displays for virtual and augmented reality
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
Jones et al. Achieving eye contact in a one-to-many 3D video teleconferencing system
Matsushima et al. Full-color digitized holography for large-scale holographic 3D imaging of physical and nonphysical objects
CN107390379B (zh) 一种近眼全息三维显示系统和显示方法
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
TWI394017B (zh) 用以檢視一重建景象的全像投影裝置及方法
CN111491152B (zh) 全息投影装置和方法
Zaperty et al. Multi-SLM color holographic 3D display based on RGB spatial filter
Yamamoto et al. Real-time color holography system for live scene using 4K2K video system
Zhong et al. Reproducing reality with a high-dynamic-range multi-focal stereo display
CN113763301B (zh) 一种减小错切概率的三维图像合成方法和装置
Hamasaki et al. Hysar: Hybrid material rendering by an optical see-through head-mounted display with spatial augmented reality projection
Yoo et al. Volumetric head-mounted display with locally adaptive focal blocks
Zhao et al. Multiple-camera holographic system featuring efficient depth grids for representation of real 3D objects
CN103995454B (zh) 一种单空间光调制器实现彩色全息实时三维显示的方法
KR20180069622A (ko) 홀로그램 실감 콘텐츠 제작 방법 및 장치
Yan et al. Implementation of the real–virtual 3D scene-fused full-parallax holographic stereogram
CN113222868A (zh) 图像合成方法及装置
Zhou et al. Light field projection for lighting reproduction
KR20140037430A (ko) 수직리그 기반 고화질 디지털 홀로그래픽 비디오 생성 시스템
Guo et al. Low-light color imaging via cross-camera synthesis
Oi et al. Electronic generation of holograms by using depth maps of real scenes
JP6430420B2 (ja) 情報呈示システム、および情報呈示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant