CN110324606B - 一种集成成像正交视图的计算重构方法 - Google Patents

一种集成成像正交视图的计算重构方法 Download PDF

Info

Publication number
CN110324606B
CN110324606B CN201910564047.3A CN201910564047A CN110324606B CN 110324606 B CN110324606 B CN 110324606B CN 201910564047 A CN201910564047 A CN 201910564047A CN 110324606 B CN110324606 B CN 110324606B
Authority
CN
China
Prior art keywords
image
image block
follows
orthogonal view
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910564047.3A
Other languages
English (en)
Other versions
CN110324606A (zh
Inventor
王宇
孟涛涛
朴燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201910564047.3A priority Critical patent/CN110324606B/zh
Publication of CN110324606A publication Critical patent/CN110324606A/zh
Application granted granted Critical
Publication of CN110324606B publication Critical patent/CN110324606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种集成成像正交视图的计算重构方法。主要包括两个步骤：根据集成成像系统参数，确定每个元素图像中提取的图像块位置和尺寸；将提取的每个图像块里的像素旋转180度并依次拼接，即可重构出高分辨率的正交视图。传统的计算重构方法是在每个元素图像中抽取相同位置的像素来合成正交视图，正交视图中像素数等于微透镜的个数，因此重构的正交视图分辨率比较低。本发明根据集成成像正交视图的计算重构原理，从每个元素图像中提取多个像素组成的图像块进行合成，从而有效提高计算重构正交视图的分辨率。

Description

一种集成成像正交视图的计算重构方法
技术领域
本发明属于三维图像处理技术领域，涉及一种集成成像正交视图的计算重构方法，可以用于集成成像系统中计算机显示目标场景的不同视角的正交图像。
背景技术
裸眼立体显示技术是当前显示领域的研究热点。基于集成成像(IntegralImaging)的三维显示技术能够让观察者在不佩戴辅助观看设备的条件下，观看到连续无跳变的真三维立体场景，并且没有视觉疲劳，因此，集成成像技术在真三维立体显示、三维图像可视化等领域具有广阔的应用前景和重要的研究价值。
集成成像技术是利用微透镜阵列对空间场景进行记录和再现的一种三维显示技术。其成像过程包括采集和重构两个阶段，如图1所示。图1(a)的采集阶段包括微透镜阵列和CCD相机，三维场景通过微透镜阵列被CCD相机采集形成元素图像阵列。重构包括光学重构和计算重构两种方式。图1(b)所示的为光学重构阶段，把二维元素图像阵列放在与采集微透镜阵列具有同样参数的显示微透镜阵列后，即可还原出原来的三维场景。集成成像的计算重构是通过计算机模拟微透镜阵列，从元素图像阵列中提取三维信息，计算重构出三维场景。
传统的集成成像正交视图的计算重构方法是根据重构视角，在每个元素图像中抽取相同位置的像素来合成正交视图，正交视图像素数目等于微透镜的个数，因此重构的正交视图分辨率较低。
如果在计算重构过程中，从每个元素图像中提取多个像素组成的图像块来重构图像，即可提高重构图像的分辨率。本发明在给定的视角下，根据集成成像正交视图的计算重构原理，从每个元素图像中提取出能够无丢失、不重叠地重构3D图像的图像块，然后进行拼接处理，从而重构出高分辨率的正交视图。
发明内容
本发明提出了一种从元素图像阵列计算重构出高分辨率正交视图的方法。如图2所示，以一维情况为例，元素图像阵列记录了三维物体信息，不同元素图像记录了三维物体表面的部分区域。假设视角为θ，每个元素图像经过对应的微透镜映射到投影平面上，形成投影区域，可以重构出三维物体的部分区域。投影平面上的投影区域合成在一起，就得到了该视角的正交视图。如果选取的各个投影区域能够无丢失、不重叠的重构3D物体图像，即可完成该视角的正交视图的计算重构过程。从图2可以看出，第1行n列元素图像中的图像块I1,n经过对应的微透镜映射到投影平面上，其投影区域可以重构出物体上C'1,n与C1,n之间的区域。第m行n列元素图像中的图像块Im,n，经过对应的微透镜映射到投影平面上，其投影区域可以重构出物体上Cm-1,n与Cm,n之间的区域。因此，如果恰当提取每个元素图像中的图像块，使其对应的投影区域能够无丢失、不重叠的重构3D物体图像，即可完成该视角的正交视图的计算重构过程。本发明给出了从每个元素图像中提取图像块位置和大小的计算方法，然后将提取的每个图像块所包含的像素旋转180度并依次进行拼接，即可重构出该视角的高分辨率正交视图。
本发明采取的技术方案包括下列步骤：
(一)根据集成成像系统参数，确定每个元素图像中提取的图像块位置和尺寸；
设元素图像阵列包括M(行)×N(列)元素图像，每个元素图像为u×u个像素，由焦距为f的微透镜记录得到。在计算重构过程中，虚拟的显示微透镜阵列由M×N个微透镜组成，每个微透镜为方形紧密排列，宽度为P，微透镜尺寸和元素图像相等。元素图像阵列与微透镜阵列距离为g，在微透镜阵列和三维物体之间需选择合适的投影平面，投影平面与微透镜阵列的距离为l，l需要大于g，且小于三维物体的最小深度。从第m行n列元素图像中提取的像素块表示为Im,n，如果垂直方向上视角为θ1，水平方向上视角为θ2，则从每个元素图像中提取的图像块Im,n的位置和大小分为以下四种情况计算(以像素为单位，像素取值为整数)：
(1)图像块I1,1中第(1,1)个像素的行坐标
Figure BDA0002111241140000027
列坐标
Figure BDA0002111241140000028
分别为：
Figure BDA0002111241140000021
Figure BDA0002111241140000022
图像块I1,1的高度
Figure BDA0002111241140000029
宽度
Figure BDA00021112411400000210
分别为：
Figure BDA0002111241140000023
Figure BDA0002111241140000024
(2)图像块I1,n(n≠1)中第(1,1)个像素的行坐标
Figure BDA0002111241140000025
列坐标
Figure BDA0002111241140000026
分别为：
Figure BDA0002111241140000031
Figure BDA0002111241140000032
图像块I1,n的高度
Figure BDA0002111241140000033
宽度
Figure BDA0002111241140000034
分别为：
Figure BDA0002111241140000035
Figure BDA0002111241140000036
(3)图像块Im,1(m≠1)中第(1,1)个像素的行坐标
Figure BDA0002111241140000037
列坐标
Figure BDA0002111241140000038
分别为：
Figure BDA0002111241140000039
Figure BDA00021112411400000310
图像块Im,1的高度
Figure BDA00021112411400000311
宽度
Figure BDA00021112411400000312
分别为：
Figure BDA00021112411400000313
Figure BDA00021112411400000314
(4)图像块Im,n(m≠1，且n≠1)中第(1,1)个像素的行坐标
Figure BDA00021112411400000315
列坐标
Figure BDA00021112411400000316
分别为：
Figure BDA00021112411400000317
Figure BDA00021112411400000318
图像块Im,n的高度
Figure BDA00021112411400000319
宽度
Figure BDA00021112411400000320
分别为：
Figure BDA00021112411400000321
Figure BDA00021112411400000322
(二)将提取的每个图像块里的像素旋转180度并依次拼接，即可重构出高分辨率的正交视图。
本发明根据集成成像正交视图的计算重构原理，从每个元素图像中提取多个像素组成的图像块进行合成，从而有效提高计算重构正交视图的分辨率。
附图说明
图1a是集成成像系统的采集部分示意图。
图1b是集成成像系统的重构部分示意图。
图2是重构高分辨率正交视图的原理示意图。
图3a是3D物体。
图3b是采集的元素图像阵列。
图4是计算重构的正交视图。
图5a是传统方法计算重构的正交视图，视角为(3°,-5°)。
图5b是传统方法计算重构的正交视图，视角为(3°,0°)。
图5c是传统方法计算重构的正交视图，视角为(3°,5°)。
图6a是本发明计算重构的正交视图，视角为(3°,-5°)。
图6b是本发明计算重构的正交视图，视角为(3°,0°)。
图6c是本发明计算重构的正交视图，视角为(3°,5°)。
上述附图中的图示标号为：
1.元素图像阵列，2.微透镜阵列，3.投影平面，4.重构的3D物体。
应该理解上述附图只是示意性的，并没有按比例绘制。
具体实施方式
本发明实例中，3D物体的彩色图像和3dsmax采集的元素图像阵列如图3所示。元素图像阵列包括19行×19列元素图像阵列。每个元素图像的分辨率为41×41像素，采集微透镜阵列的微透镜焦距f＝3mm，每个方形微透镜的宽度P＝1mm。计算重构时，g＝3.3mm，投影平面位置为l＝15mm，设垂直方向上视角为θ1＝3°，水平方向上视角为θ2＝5°。
本发明采取的技术方案包括下列步骤：
(一)根据集成成像系统参数，确定每个元素图像中提取的图像块位置和尺寸；
(1)图像块I1,1中第(1,1)个像素的行坐标
Figure BDA0002111241140000041
列坐标
Figure BDA0002111241140000042
分别为：
Figure BDA0002111241140000051
图像块I1,1的高度
Figure BDA0002111241140000052
宽度
Figure BDA0002111241140000053
分别为：
Figure BDA0002111241140000054
(2)图像块I1,n(n≠1)中第(1,1)个像素的行坐标
Figure BDA0002111241140000055
列坐标
Figure BDA0002111241140000056
分别为：
Figure BDA0002111241140000057
图像块I1,n的高度
Figure BDA0002111241140000058
宽度
Figure BDA0002111241140000059
分别为：
Figure BDA00021112411400000510
(3)图像块Im,1(m≠1)中第(1,1)个像素的行坐标
Figure BDA00021112411400000511
列坐标
Figure BDA00021112411400000512
分别为：
Figure BDA00021112411400000513
图像块Im,1的高度
Figure BDA00021112411400000514
宽度
Figure BDA00021112411400000515
分别为：
Figure BDA00021112411400000516
(4)图像块Im,n(m≠1，且n≠1)中第(1,1)个像素的行坐标
Figure BDA00021112411400000517
列坐标
Figure BDA00021112411400000518
分别为：
Figure BDA00021112411400000519
图像块Im,n的高度
Figure BDA00021112411400000520
宽度
Figure BDA00021112411400000521
分别为：
Figure BDA00021112411400000522
(二)将提取的每个图像块里的像素旋转180度并依次拼接，即可重构出高分辨率的正交视图。如图4所示。
图5(a)、(b)、(c)为采用传统方法在视角分别为(3°,-5°)、(3°,0°)、(3°,5°)情况下计算重构的正交视图。图6(a)、(b)、(c)为本发明方法在视角分别为(3°,-5°)、(3°,0°)、(3°,5°)情况下计算重构的正交视图。传统方法计算重构的正交视图分辨率为19×19，本发明计算重构的正交视图分辨率为81×81。所以，与传统方法相比，本发明可以计算重构出高分辨率的3D图像。

Claims (1)

1.一种集成成像正交视图的计算重构方法，其特征在于包括下列步骤：
(一)根据集成成像系统参数，确定每个元素图像中提取的图像块位置和尺寸；
设元素图像阵列包括M行×N列元素图像，每个元素图像为u×u个像素，由焦距为f的微透镜记录得到；在计算重构过程中，虚拟的显示微透镜阵列由M×N个微透镜组成，每个微透镜为方形紧密排列，宽度为P，微透镜尺寸和元素图像相等；微透镜阵列与元素图像阵列距离为g，在微透镜阵列的另一侧选择合适的投影平面，投影平面与微透镜阵列之间的距离为l，l大于g，且小于3D物体的最小深度；从第m行n列元素图像中提取的像素块表示为Im,n，如果垂直方向上视角为θ1，水平方向上视角为θ2，则从每个元素图像中提取的图像块Im,n的位置和大小分为以下四种情况计算，此处的计算以像素为单位，像素取值为整数：
(1)图像块I1,1中第(1,1)个像素的行坐标
Figure FDA0002763856340000011
列坐标
Figure FDA0002763856340000012
分别为：
Figure FDA0002763856340000013
Figure FDA0002763856340000014
图像块I1,1的高度
Figure FDA0002763856340000015
宽度
Figure FDA0002763856340000016
分别为：
Figure FDA0002763856340000017
Figure FDA0002763856340000018
(2)n≠1时，图像块I1,n中第(1,1)个像素的行坐标
Figure FDA0002763856340000019
列坐标
Figure FDA00027638563400000110
分别为：
Figure FDA00027638563400000111
Figure FDA00027638563400000112
图像块I1,n的高度
Figure FDA00027638563400000113
宽度
Figure FDA00027638563400000114
分别为：
Figure FDA0002763856340000021
Figure FDA0002763856340000022
(3)m≠1时，图像块Im,1中第(1,1)个像素的行坐标
Figure FDA0002763856340000023
列坐标
Figure FDA0002763856340000024
分别为：
Figure FDA0002763856340000025
Figure FDA0002763856340000026
图像块Im,1的高度
Figure FDA0002763856340000027
宽度
Figure FDA0002763856340000028
分别为：
Figure FDA0002763856340000029
Figure FDA00027638563400000210
(4)m≠1，且n≠1时，图像块Im,n中第(1,1)个像素的行坐标
Figure FDA00027638563400000211
列坐标
Figure FDA00027638563400000212
分别为：
Figure FDA00027638563400000213
Figure FDA00027638563400000214
图像块Im,n的高度
Figure FDA00027638563400000215
宽度
Figure FDA00027638563400000216
分别为：
Figure FDA00027638563400000217
Figure FDA00027638563400000218
(二)将提取的每个图像块里的像素旋转180度并依次拼接，即可重构出高分辨率的正交视图。
CN201910564047.3A 2019-06-28 2019-06-28 一种集成成像正交视图的计算重构方法 Active CN110324606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910564047.3A CN110324606B (zh) 2019-06-28 2019-06-28 一种集成成像正交视图的计算重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910564047.3A CN110324606B (zh) 2019-06-28 2019-06-28 一种集成成像正交视图的计算重构方法

Publications (2)

Publication Number Publication Date
CN110324606A CN110324606A (zh) 2019-10-11
CN110324606B true CN110324606B (zh) 2021-04-13

Family

ID=68121194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910564047.3A Active CN110324606B (zh) 2019-06-28 2019-06-28 一种集成成像正交视图的计算重构方法

Country Status (1)

Country Link
CN (1) CN110324606B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102647610A (zh) * 2012-04-18 2012-08-22 四川大学 基于像素提取的集成成像方向性显示方法
CN103021014A (zh) * 2012-11-29 2013-04-03 长春理工大学 一种提高计算机集成图像重构分辨率的方法
KR20180069272A (ko) * 2016-12-15 2018-06-25 한국전자통신연구원 집적영상 디스플레이 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102647610A (zh) * 2012-04-18 2012-08-22 四川大学 基于像素提取的集成成像方向性显示方法
CN103021014A (zh) * 2012-11-29 2013-04-03 长春理工大学 一种提高计算机集成图像重构分辨率的方法
KR20180069272A (ko) * 2016-12-15 2018-06-25 한국전자통신연구원 집적영상 디스플레이 장치 및 방법

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
COMPUTER VIRTUAL RECONSTRUCTION OF A THREE DIMENSIONAL SCENE IN INTEGRAL IMAGING;Min Guo;《2016 International Conference on Audio, Language and Image Processing (ICALIP)》;20160712;全文 *
Super-Resolution Processing of Computational Reconstructed Images;Yu Wang;《IEEE 10th INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING PROCEEDINGS》;20101028;全文 *
基于元素图像阵列采样的集成成像重构方法;王宇;《光学学报》;20140510;全文 *
基于光线追迹的LED裸眼三维显示技术准直性研究;佀同岭;《红外与激光工程》;20180625;全文 *
基于多视差函数拟合的集成成像深度提取方法;王宇;《光学学报》;20150410;全文 *

Also Published As

Publication number Publication date
CN110324606A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN102164298B (zh) 全景成像系统中基于立体匹配的元素图像获取方法
JP4942221B2 (ja) 高解像度仮想焦点面画像生成方法
Venkataraman et al. Picam: An ultra-thin high performance monolithic camera array
US8581961B2 (en) Stereoscopic panoramic video capture system using surface identification and distance registration technique
CN108513123B (zh) 一种集成成像光场显示的图像阵列生成方法
US10419669B2 (en) Omnistereoscopic panoramic video
JP5966256B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
CN108234989B (zh) 一种基于棋盘格标定板的会聚式集成成像拍摄方法
JP4928476B2 (ja) 立体像生成装置、その方法およびそのプログラム
KR101600681B1 (ko) 집적 영상시스템의 3차원 영상 표시깊이변환방법
Xing et al. Optical arbitrary-depth refocusing for large-depth scene in integral imaging display based on reprojected parallax image
CN111064945B (zh) 一种裸眼3d图像采集及生成方法
Li et al. Large-scale elemental image array generation in integral imaging based on scale invariant feature transform and discrete viewpoint acquisition
Bergamasco et al. Adopting an unconstrained ray model in light-field cameras for 3d shape reconstruction
CN102024272A (zh) 一种获取三维运动物体计算全息图的装置和方法
US20200408519A1 (en) 3d scene modelling system by multi-view photogrammetry
CN110324606B (zh) 一种集成成像正交视图的计算重构方法
Aggoun Pre-processing of integral images for 3-D displays
Swash et al. Pre-processing of holoscopic 3D image for autostereoscopic 3D displays
CN110290373B (zh) 一种增大视角的集成成像计算重构方法
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
CN103873850A (zh) 基于集成成像的多视点图像重建方法及装置
Fatah et al. Depth mapping of integral images using a hybrid disparity analysis algorithm
Wang et al. Elemental image array generation based on object front reference point of optical axis of camera array for integral imaging
KR101657373B1 (ko) 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant