CN116193095A - 一种基于单色图像实现彩色3d显示的方法 - Google Patents

一种基于单色图像实现彩色3d显示的方法 Download PDF

Info

Publication number
CN116193095A
CN116193095A CN202310200786.0A CN202310200786A CN116193095A CN 116193095 A CN116193095 A CN 116193095A CN 202310200786 A CN202310200786 A CN 202310200786A CN 116193095 A CN116193095 A CN 116193095A
Authority
CN
China
Prior art keywords
color
image
micro
array
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310200786.0A
Other languages
English (en)
Inventor
李小伟
郭俊峰
刘寿鑫
张重阳
王慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202310200786.0A priority Critical patent/CN116193095A/zh
Publication of CN116193095A publication Critical patent/CN116193095A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了一种基于单色图像实现彩色3D显示的方法，单色图像通过色彩估计网络模型预测出与之对应的彩色RGB图像，彩色RGB图像通过深度估计网络模型预测出对应的深度图，深度图中每一个像素的值表示彩色RGB图像中每一个对应像素的相对空间距离，由深度图和彩色RGB图像可以生成一个彩色三维物体点云，再通过微透镜阵列将彩色三维物体点云的每一个点映射到微图像阵列平面得到彩色的微图像阵列，该微图像阵列通过光学显示系统重建出彩色3D场景。本发明实现了单色场景的彩色3D显示，可以突破单色图像的信息表达界限，增强单色图像的信息显示范围，提升人们对单色图像的观看体验。

Description

一种基于单色图像实现彩色3D显示的方法
技术领域
本发明涉及3D显示技术领域，具体涉及一种基于单色图像实现彩色3D显示的方法。
背景技术
对于人眼来说，分辨彩色图像的能力要比单色图像高很多，而彩色三维(3D)显示因其真实感强，显示效果逼真，一直是人们追求的理想显示方式。然而，在许多情况下，彩色图像并不总是容易获取的，如单光谱成像和医学成像，只能得到单色图像或灰度图像。目前，单色图像的彩色化已有研究，然而，这些研究都是针对单色图像的二维(2D)着色，而对单色图像的彩色三维(3D)显示的研究却很少。使用单色图像实现生动的彩色3D显示效果，可以突破单色图像的信息表达界限，增强单色图像的信息显示范围，提升人们对单色图像的观看体验。
发明内容
本发明提出一种基于单色图像实现彩色3D显示的方法。所述方法首先将单色图像通过色彩估计网络模型预测出与之对应的彩色RGB图像，彩色RGB图像通过深度估计网络模型预测出对应的深度图，深度图中每一个像素的值表示了RGB图像中每一个对应像素的相对空间距离，由深度图和彩色RGB图像可以生成一个彩色三维物体点云，再通过微透镜阵列将彩色三维物体点云的每一个点映射到微图像阵列平面得到彩色的微图像阵列，该微图像阵列通过光学显示系统重建出彩色3D场景。所述方法可使用单色图像实现逼真的彩色3D显示效果。所述方法包括色彩估计、深度估计、像素映射和光学重建四个过程。
所述色彩估计过程，采用基于GAN的深度学习网络模型，其中，生成器使用U-Net网络架构，该网络模型的输入为单色图像，输出为彩色RGB图像。
所述深度估计过程，采用基于CNN的深度学习网络模型，输入为彩色RGB图像，输出为对应的深度图。彩色RGB图像和深度图的像素一一对应。深度图中每一个像素的值表示了RGB图像中每一个对应像素的相对空间距离。
所述像素映射过程基于透镜成像原理，将三维物体图像平面的像素通过微透镜阵列映射到微图像阵列平面，得到微图像阵列图像，如附图3所示。该像素映射系统的中心深度d可以通过高斯成像公式计算出，公式计算如下：
Figure BDA0004108969780000011
其中，f是微透镜阵列的焦距，g是中心深度平面和微透镜阵列平面之间的距离。L(i,j)表示坐标为(i,j)的物体与微透镜阵列平面之间的距离。根据附图3中的几何关系，L(i,j)可由以下公式定义：
Figure BDA0004108969780000021
/>
其中，Z表示深度图，Z(i,j)是像素(i,j)处的真实深度。最后，物体像素A(i,j)的光线通过透镜中心后，将位于微图像阵列平面A'(u,v)处。像素坐标(u,v)由以下公式给出：
Figure BDA0004108969780000022
其中，PL是元素透镜的间距，PI是要显示的物体图像的像素大小。
所述光学重建过程，将上述微图像阵列输入到光学显示系统，可显示出具有立体视觉的彩色3D图像。所述光学显示系统包括：
LCD，用于发出不同颜色的光线从而显示出图像；
微透镜阵列，用于使LCD产生的光线发生偏折；
光学扩散屏，用于使经过微透镜阵列的光线分布均匀。
本发明解决的技术问题是单色图像的彩色3D显示技术。提供了一种行之有效的基于单色图像实现彩色3D显示方法，该方法通过结合色彩估计网络和深度估计网络，提取单色图像的彩色3D信息，通过像素映射和光学显示系统，完成彩色3D信息的重建，实现了从单色图像到彩色3D显示的技术突破。
附图说明
图1为本发明的基于单色图像实现彩色3D显示的方法流程示意图。
图2为本发明中色彩估计和深度估计流程图。
图3为从三维物体平面到微图像阵列平面的像素映射示意图。
图4为本发明实施例中采用本发明方法得到的简单场景的彩色3D显示结果。
图5为本发明实施例中采用本发明方法得到的复杂场景的彩色3D显示结果。
具体实施方式
下面结合附图和具体实施例对本发明做进一步说明。
一种单色图像实现彩色3D显示的方法，包括色彩估计、深度估计、像素映射和光场显示四个过程，整体流程如附图1所示。首先单色图像经过色彩估计网络，输出一个彩色RGB图像，彩色RGB图像作为深度估计网络的输入，通过该网络后得到对应的深度图，深度图和彩色RGB图像经过像素映射算法得到用于3D显示的图像源微图像阵列，该微图像阵列通过光场显示器重建有逼真立体效果的彩色3D图像。
所述的色彩估计网络和深度估计网络如附图2所示，其中，色彩估计网络为基于U-net架构的生成式对抗网络，生成器使用一个34层的ResNet，在U-Net的下采样部分作为编码器。具有编码器架构的Fastai，其动态的U-Net学习器将自动建立U-Net架构的解码器端，在这种情况下将ResNet-34编码器转换为具有交叉连接的U-Net。鉴别器是基于VGG-16模型激活的，采用了像素损失和克矩阵损失函数，这可以更快地收敛到给定架构的近似最佳训练模型。为了让模型学会如何提高图像的质量并加快模型的训练时间，使用在ImageNet上预训练的模型和权重作为初始值，最终训练出来的模型可以实现自然场景的真实着色。深度估计网络采用基于卷积神经网络的架构，使用一系列基于ResNet-50的卷积层和池化层来提取输入的特征图，并逐渐降低输入图像的分辨率。ResNet-50直接插入跳连接，跳过两个或更多的卷积层，对其输出进行求和，并引入了四个空洞卷积层，以增加感受野，从而更有效地进行深度估计。
彩色RGB图像和深度图的像素一一对应，深度图中每一个像素的值表示了RGB图像中每一个对应像素的相对空间距离。深度图可以离散化出一个没有颜色信息的三维物体点云，RGB图像中每一个像素值决定了三维物体点云中每一个点的颜色信息，由深度图和彩色RGB图像可以生成一个彩色三维物体点云，再通过微透镜阵列将彩色三维物体点云的每一个点映射到微图像阵列平面得到彩色的微图像阵列，附图3表示了从三维物体平面到微图像阵列平面的像素映射示意图。该像素映射系统的中心深度d可以通过高斯成像公式计算出，公式计算如下：
Figure BDA0004108969780000031
其中，f是微透镜阵列的焦距，g是中心深度平面和微透镜阵列平面之间的距离。L(i,j)表示坐标为(i,j)的物体与微透镜阵列平面之间的距离。根据图3中的几何关系，L(i,j)可由以下公式定义：
Figure BDA0004108969780000032
其中，Z表示深度图，Z(i,j)是像素(i,j)处的真实深度。物体像素A(i,j)的光线通过透镜中心后，将位于微图像阵列平面A'(u,v)处。像素坐标(u,v)由以下公式给出：
Figure BDA0004108969780000041
其中，PL是元素透镜的间距，PI是要显示的物体图像的像素大小。
经过像素映射后的微图像阵列，通过光场显示装置重建出具有立体感的彩色3D图像。所述光场显示装置包括：LCD，用于发出不同颜色的光线从而显示出图像；微透镜阵列，用于使LCD产生的光线发生偏折；光学扩散屏，用于使经过微透镜阵列的光线分布均匀。其中LCD的分辨率为3840×3840pixels，单个像素的尺寸为0.09mm×0.09mm。透镜阵列单个透镜的尺寸为2.54mm×2.54mm，透镜的个数为136(w)×76(h)，光学扩散屏的扩散角度为10°。
为了说明本发明方法的有效性，分别对简单的单色场景图像和复杂的单色场景图像进行了测试，简单场景的彩色3D显示效果如附图4所示，附图4给出了原始单色图像、原始单色图像对应的微图像阵列和五个不同视角拍摄到的彩色3D显示结果。从附图4可以看出，本发明方法可以实现30°视角大的3D显示。附图5展示了复杂场景的彩色3D显示效果，在复杂场景下，本发明方法同样可以实现多视角逼真的彩色3D显示。

Claims (5)

1.一种基于单色图像实现彩色3D显示的方法，其特征在于，单色图像通过色彩估计网络模型预测出与之对应的彩色RGB图像，彩色RGB图像通过深度估计网络模型预测出对应的深度图，深度图中每一个像素的值表示彩色RGB图像中每一个对应像素的相对空间距离，由深度图和彩色RGB图像可以生成一个彩色三维物体点云，再通过微透镜阵列将彩色三维物体点云的每一个点映射到微图像阵列平面得到彩色的微图像阵列，该微图像阵列通过光学显示系统重建出彩色3D场景，具体的包括以下步骤：
步骤1：单色图像通过色彩估计网络得到彩色RGB图像；
步骤2：彩色RGB图像通过深度估计网络得到对应的深度图；
步骤3：基于透镜成像原理，将RGB图像和深度图决定的空间中每一个有颜色信息的点映射到微图像阵列平面得到彩色的微图像阵列；
步骤4：彩色的微图像阵列通过光学显示系统重建出彩色3D场景。
2.根据权利要求1所述的一种基于单色图像实现彩色3D显示的方法，其特征在于，步骤1中的色彩估计网络基于GAN网络框架设计，生成器使用U-Net网络结构，输入为单色图像，输出为彩色RGB图像。
3.根据权利要求1所述的一种基于单色图像实现彩色3D显示的方法，其特征在于，步骤2中的深度估计网络基于CNN网络框架设计，输入为彩色RGB图像，输出为对应的深度图；彩色RGB图像和深度图的像素一一对应，深度图中每一个像素的值表示了RGB图像中每一个对应像素的相对空间距离。
4.根据权利要求1所述的一种基于单色图像实现彩色3D显示的方法，其特征在于，步骤4中的光学显示系统包括：
LCD，用于发出不同颜色的光线从而显示出图像；
微透镜阵列，用于使LCD产生的光线发生偏折；
光学扩散屏，用于使经过微透镜阵列的光线分布均匀。
5.根据权利要求4所述的单色图像的彩色3D显示方法，其特征在于，所述微透镜阵列由两片柱透镜光栅相向堆叠而成。
CN202310200786.0A 2023-01-18 2023-01-18 一种基于单色图像实现彩色3d显示的方法 Pending CN116193095A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310200786.0A CN116193095A (zh) 2023-01-18 2023-01-18 一种基于单色图像实现彩色3d显示的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310200786.0A CN116193095A (zh) 2023-01-18 2023-01-18 一种基于单色图像实现彩色3d显示的方法

Publications (1)

Publication Number Publication Date
CN116193095A true CN116193095A (zh) 2023-05-30

Family

ID=86452172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310200786.0A Pending CN116193095A (zh) 2023-01-18 2023-01-18 一种基于单色图像实现彩色3d显示的方法

Country Status (1)

Country Link
CN (1) CN116193095A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1941843A2 (en) * 2004-06-17 2008-07-09 Cadent Ltd. Method and apparatus for colour imaging a three-dimensional structure
US20110188773A1 (en) * 2010-02-04 2011-08-04 Jianing Wei Fast Depth Map Generation for 2D to 3D Conversion
KR101089344B1 (ko) * 2010-07-26 2011-12-02 주식회사 에이스엠이 이퀄라이징 깊이지도 생성 기법을 이용한 단일영상의 입체영상 변환 방법
WO2012091273A1 (ko) * 2010-12-27 2012-07-05 주식회사 넥시아 디바이스 2차원 영상을 스테레오 영상으로 변환하는 방법
KR20140052792A (ko) * 2012-10-23 2014-05-07 한국전자통신연구원 깊이 영상 및 칼라 영상을 이용한 3차원 전신 형상 복원 장치 및 그 방법
CN104167016A (zh) * 2014-06-16 2014-11-26 西安工业大学 一种基于rgb彩色与深度图像的三维运动重建方法
CN104835196A (zh) * 2015-05-12 2015-08-12 东华大学 一种车载红外图像彩色化三维重建方法
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN109218706A (zh) * 2018-11-06 2019-01-15 浙江大学 一种由单张图像生成立体视觉图像的方法
CN110443883A (zh) * 2019-07-08 2019-11-12 杭州电子科技大学 一种基于dropblock的单张彩色图片平面三维重建方法
CN112381942A (zh) * 2020-11-03 2021-02-19 华南理工大学 基于无人机红外图像的建筑三维温度模型的建立方法
CN114520906A (zh) * 2022-04-21 2022-05-20 北京影创信息科技有限公司 基于单目相机的三维人像补全方法和补全系统
CN115375838A (zh) * 2022-07-31 2022-11-22 南京理工大学紫金学院 一种基于无人机的双目灰度图像的三维重建方法
CN115438357A (zh) * 2022-08-30 2022-12-06 四川大学 一种基于单目深度渲染的3d加密方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1941843A2 (en) * 2004-06-17 2008-07-09 Cadent Ltd. Method and apparatus for colour imaging a three-dimensional structure
US20110188773A1 (en) * 2010-02-04 2011-08-04 Jianing Wei Fast Depth Map Generation for 2D to 3D Conversion
KR101089344B1 (ko) * 2010-07-26 2011-12-02 주식회사 에이스엠이 이퀄라이징 깊이지도 생성 기법을 이용한 단일영상의 입체영상 변환 방법
WO2012091273A1 (ko) * 2010-12-27 2012-07-05 주식회사 넥시아 디바이스 2차원 영상을 스테레오 영상으로 변환하는 방법
KR20140052792A (ko) * 2012-10-23 2014-05-07 한국전자통신연구원 깊이 영상 및 칼라 영상을 이용한 3차원 전신 형상 복원 장치 및 그 방법
CN104167016A (zh) * 2014-06-16 2014-11-26 西安工业大学 一种基于rgb彩色与深度图像的三维运动重建方法
CN104835196A (zh) * 2015-05-12 2015-08-12 东华大学 一种车载红外图像彩色化三维重建方法
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN109218706A (zh) * 2018-11-06 2019-01-15 浙江大学 一种由单张图像生成立体视觉图像的方法
CN110443883A (zh) * 2019-07-08 2019-11-12 杭州电子科技大学 一种基于dropblock的单张彩色图片平面三维重建方法
CN112381942A (zh) * 2020-11-03 2021-02-19 华南理工大学 基于无人机红外图像的建筑三维温度模型的建立方法
CN114520906A (zh) * 2022-04-21 2022-05-20 北京影创信息科技有限公司 基于单目相机的三维人像补全方法和补全系统
CN115375838A (zh) * 2022-07-31 2022-11-22 南京理工大学紫金学院 一种基于无人机的双目灰度图像的三维重建方法
CN115438357A (zh) * 2022-08-30 2022-12-06 四川大学 一种基于单目深度渲染的3d加密方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
孙韶媛等: ""车载红外图像彩色化的立体感实现方法"", 《东华大学学报（自然科学版）》, no. 3, 16 August 2013 (2013-08-16) *
朱育正等: ""基于深度学习的单视图彩色三维重建"", 《激光与光电子学进展》, vol. 58, no. 14, 6 July 2021 (2021-07-06) *
杨金晓: ""多视点采集的集成成像三维显示内容生成技术研究"", 《硕士电子期刊出版》, no. 02, 15 February 2022 (2022-02-15), pages 3 *
赵敏等: ""采用双目立体相机的实时集成成像拍摄系统"", 《红外与激光工程》, vol. 46, no. 11, 25 November 2017 (2017-11-25) *

Similar Documents

Publication Publication Date Title
US10715782B2 (en) 3D system including a marker mode
US11961431B2 (en) Display processing circuitry
KR20220155970A (ko) 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이
CN107105216B (zh) 一种基于针孔阵列的连续视差、广视角的三维光场显示装置
CN108765333A (zh) 一种基于深度卷积神经网络的深度图完善方法
US20240040098A1 (en) 3d system
US10122987B2 (en) 3D system including additional 2D to 3D conversion
CN111064945B (zh) 一种裸眼3d图像采集及生成方法
CN111447431A (zh) 一种应用于车载环视摄像的裸眼3d显示方法及系统
US10277879B2 (en) 3D system including rendering with eye displacement
CN116193095A (zh) 一种基于单色图像实现彩色3d显示的方法
US10121280B2 (en) 3D system including rendering with three dimensional transformation
US10148933B2 (en) 3D system including rendering with shifted compensation
US20170140571A1 (en) 3d system including rendering with curved display
CN115236871A (zh) 基于人眼跟踪和双向背光的桌面式光场显示系统及方法
Zhang et al. An interactive multiview 3D display system
CN114339191A (zh) 一种基于多视点重建的裸眼三维显示方法
US10225542B2 (en) 3D system including rendering with angular compensation
WO2017083509A1 (en) Three dimensional system
JP2001175885A (ja) 立体画像表示装置用２ｄー３ｄ画像変換方式および装置
US10284837B2 (en) 3D system including lens modeling
WO2023200936A1 (en) Scaling neural representations for multi-view reconstruction of scenes
CN117635455A (zh) 一种用于视频会议的图像处理方法和系统
CN116051746A (zh) 一种三维重建和神经渲染网络的改进方法
CN101655986B (zh) 平面图像转伪立体图像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination