CN110418125B - 一种集成成像系统的元素图像阵列快速生成方法 - Google Patents

一种集成成像系统的元素图像阵列快速生成方法 Download PDF

Info

Publication number
CN110418125B
CN110418125B CN201910714931.0A CN201910714931A CN110418125B CN 110418125 B CN110418125 B CN 110418125B CN 201910714931 A CN201910714931 A CN 201910714931A CN 110418125 B CN110418125 B CN 110418125B
Authority
CN
China
Prior art keywords
scene
image
element image
pixel
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910714931.0A
Other languages
English (en)
Other versions
CN110418125A (zh
Inventor
朴燕
谷岳佳楠
王宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201910714931.0A priority Critical patent/CN110418125B/zh
Publication of CN110418125A publication Critical patent/CN110418125A/zh
Application granted granted Critical
Publication of CN110418125B publication Critical patent/CN110418125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种用深度信息和场景2D图片实现集成成像显示的元素图像快速生成方法。现有的元素图像生成方法是从场景到元素图像建立多对一映射，存在大量冗余计算。本发明的方法是建立从元素图像到场景的单点映射，元素图像中的每个像素只对应唯一的场景像素，匹配精度高，而且消除了深度阶跃处的空洞。本发明方法的时间复杂度主要受控于元素图像阵列像素总和，元素图像的计算生成速度是其它传统方法的7倍以上，且场景的像素总数越大，本发明方法的速度优势越明显。

Description

一种集成成像系统的元素图像阵列快速生成方法
技术领域
本发明涉及集成成像技术，特别涉及一种集成成像系统的元素图像阵列快速生成方法。
背景技术
集成立体成像是一种通过透镜阵列再现3D场景的立体显示技术，主要有两个环节：对3D场景的信息采集和立体光场再现。元素图像阵列是影响再现光场质量的关键因素之一。生成元素图像阵列的技术主要分为两种，光学设备采集和计算机生成。使用微透镜阵列或相机阵列采集数据，存在设备复杂、信号串扰等诸多问题。利用计算机生成元素图像的方式需要建立3D场景模型，难以满足实时显示的需求。此外可以使用深度相机采集的深度数据和场景彩图生成元素图像，此类方法是建立从3D场景到元素图像阵列的函数映射，是多对一的匹配关系，导致计算速度偏慢，而且元素图像对应场景深度不连续处会出现空洞，元素图像质量偏低。
发明内容
本发明针对现有元素图像阵列生成技术的技术缺陷，提出一种基于单幅彩色场景图片和深度信息快速生成元素图像的方法，该方法建立从元素图像到场景的单点映射，避免现有技术中存在的多选一的冗余计算，消除图像空洞，能够同时解决成像质量和生成速度两个问题。
为实现以上技术目的，本发明采用以下技术方案：
第一步：建立元素图像到场景的映射函数
3D场景本质就是一个有限曲面，可用4维向量数组(x,y,z,c)表示。其中(x,y,z)对应场景坐标系，c是相应点的像素值。对一个3D场景，(x,y,z,c)中的(x,y,c)可以通过CCD摄像获取，(x,y)为场景的2D图像的像素坐标，深度值z可以通过双目立体匹配方法、深度相机等技术获取。
参照附图1，为叙述方便，场景深度z的零点设在透镜光心位置(1)。z＝z(x,y)为(x,y)点深度，对应一个深度矩阵。透镜光心记为L(x0,y0,0)。
现有的方法通常是针对每个虚拟透镜L，求出场景中每个离散后的点A(x,y,z)在元素图像采集面上的位置IA(xA,yA)，从而得到透镜L对应的元素图像。因为三维场景通过虚拟透镜投射到采集平面的像素数量是元素图像像素数量的数倍，所以依据场景到元素图像的映射关系生成元素图像是复杂的多对一的冗余映射。本发明改变映射方向，建立元素图像到场景的一对一映射。
将元素图像上的每个像素点映射到场景中的对应点，原理如附图1所示，即元素图像上的每个点IA穿过透镜光心，与场景曲面的交点为A(x,y,z)。(x,y)与(xi,yj)满足：
Figure BDA0002154920070000021
Figure BDA0002154920070000022
其中xi,yj是IA在元素图像采集面(2)上的像素坐标。约定z已完成深度反转和范围调整。PI为场景2D图像的像素直径，PD为元素图像像素直径，g为透镜阵列到元素图像采集面的距离。
但(1)(2)式无法直接求出。原因是，x,y未求出之前，式中的z＝z(x,y)是未知的。这就涉及到第二步，如何查找最佳的匹配点A(x,y,z)。
第二步：查找最佳的匹配点
根据费马原理，对沿光线方向重叠的点或线，如附图1中的EF处，根据现有的场景到元素图像建立映射的方法，寻找匹配点，在元素图像上会出现多点(线)堆叠，即对于场景中不同的像素点E和F，对应于元素图像上的像素点IE＝IF。而且真实场景中深度发生阶跃变化的边界线，如附图1中的HD处，映射时成为不连续点，会导致元素图像产生空洞(黑斑)。
本发明的方法是在改变映射方向的基础上，沿光路反向搜索，选择场景中离观察者最近的点作为映射的匹配点，不仅解决了堆叠问题，避免了元素图像中空洞(漏点)的出现，而且使得重现的场景有深度连续的视觉效果。
选择最佳匹配点的方法如下：
参照附图1，延长IAL，与Zmax平面(3)交于B(xB,yB,zB)，再将B点在BL上沿BL方向向右移动，用移动后的zB替换公式(1)(2)中的z，求出(xB,yB),直到ZB≤Z(xB,yB)。
这时的B点刚好是光线IAL与场景曲面的交点。
Z(xB,yB)是深度矩阵对应值(场景在(xB,yB)点的深度)。则(xB,yB,zB)点就是所求的IA(xi,yj)的最佳匹配点A(x,y,z)。
为保证对B点搜索的连续性，B点每次只能移动一个长度单位，这样才能保证B点坐标的增量|Δx|≤1，|Δy|≤1。
本发明所提出的快速生成元素图像阵列方法，因其计算时间只受控于元素图像阵列像素和，而不是场景像素和，基本不受场景分辨率影响，极大提高了生成速度和匹配精度。
当
Figure BDA0002154920070000031
时，可以直接用B点深度坐标z迭代。迭代过程为zB(new)＝zB(old)-1，zB(old)是当前B点深度坐标，zB(new)是移动后的B点深度坐标。用每次计算出的zB(new)替换公式(1)(2)中的z，算出(xB,yB),直到ZB≤Z(xB,yB)。这样不仅搜索步长更大，迭代次数更少，而且(xB,yB)的计算也更简单，进而加生成速度。
计算过程以显示屏(5)的像素直径为一个计量单位，可以有效提高运算效率。按VCD标准(352×240分辨率)，基于intel(R)Core(TM)i7-7500U@2.70GHZ配置，用本发明的方法生成元素图像阵列可以保证30帧/s以上的更新速率。
附图说明
图1是元素图像生成的原理示意图；
图2是本发明方法再现3D光场的示意图；
图3是本发明具体实施中，用本发明方法生成的元素图像；
图4是本发明具体实施中，用本发明方法产生的实际立体显示效果图；
图5是本发明具体实施中，用传统方法产生的实际立体显示效果图；
图4中，所述传统方法产生的实际立体显示效果图是利用文献"Li,Gang.Simplified Integral Imaging Pickup Method for Real Objects Using a DepthCamera[J].J OPT SOC KOREA,2012,16(4):381-385所披露的方法
上述附图中的图示标号为：
1透镜光心，2元素图像采集平面，3场景最大深度平面，4场景最小深度平面，5显示立体成像的LED显示屏。
应该理解上述附图只是示意性的，并没有按比例绘制。
具体实施方式
下面将结合附图对本发明“一种集成成像系统的元素图像阵列快速生成方法”实施方式进行详细描述。为了避免过多不必要的细节，在以下实施例中对属于公知的结构或功能将不进行详细描述。以下实施例中所使用的近似性语言可用于定量表述，表明在不改变基本功能的情况下可允许数量有一定的变动。除有定义外，以下实施例中所用的技术和科学术语具有与本发明所属领域技术人员普遍理解的相同含义。
图2为本发明再现3D光场示意图。根据式(1)(2)，沿光路从元素图像的每个像素到场景查找唯一的同时也是最佳的匹配点。镜头阵列由100×100个紧密排列的方形孔径微透镜构成。每个微透镜都是1mm×1mm，焦距为3mm。透镜到元素图像平面的间距g是3.25mm，透镜间距PL＝1mm,场景像素直径PI＝0.059375mm，元素图像像素直径PD＝0.059375mm。
透镜到中心深度平面CDP的距离为L，在本实例中，计算出L为39mm，深度范围Δd为55.575mm。原始图像分辨率为269×184.每个元素图像分辨率为17*17。
Figure BDA0002154920070000041
Figure BDA0002154920070000042
Figure BDA0002154920070000043
实例使用http://vision.middlebury.edu/stereo/data/提供的拍摄图片的一部分及其视差图作为检测显示效果的单幅场景图像和深度信息来源。
从Zmax(3)向Zmin(4)搜索元素图像上的对应场景中的每一个匹配点。之所以从Zmax向Zmin搜索IA的匹配点，是考虑观察者观看重现的光场时所应该看到的场景。重现光场中的显示屏(5)在右侧,观察者位于光场左侧。
为突出细节，图3是本发明用放大5倍的原始图像生成的元素图像阵列。显示屏(5)的分辨率为1920×1080，该元素图像阵列包含63(H)×84(V)个元素图像，每个元素图像包含17×17个像素。
图4为将本发明生成的图3放置于对应的立体成像显示平台，进行多视点拍摄所得实际立体显示效果图。从上，下，中，左，右5个方向观察到的视图表明，不同视角间存在明显视差。例如玩具房子的房顶有明显的移位。上下视点间小熊的相对高度不同。立体显示良好。
为了突出本发明的改进之处，图5为在同参数下，场景到元素图像映射方法的实际立体显示效果图。通过对比可以发现，通过本发明的方法重现的场景避免了空洞，还原的光场更加真实。认真观察图5中黄色方框标出的区域，背景中因深度阶跃出现了黑色裂痕，而真实的背景应该是连续的整体，不应该被撕裂。出现空洞会降低还原光场的显示质量。本发明的方法则完全避免了空洞问题。
针对元素图像阵列的生成速度，对本发明的方法和传统方法做出比较评价，用Delphi编程，在PC机上运行编译后的可执行程序，在不同配置的PC机上用不同分辨率的场景图片，评价结果如表1所示。
表1两种方法生成元素图像阵列速度比较
Figure BDA0002154920070000051
表中数据均为单线程模式下采用缓冲区写屏的测试结果。未包含读取场景信息和深度信息的时间。
从表中可以看出，本发明的方法耗时与场景图像像素总和接近正比例关系，而且对于不同尺寸的场景图像，传统方法的耗时都在本发明的方法的8倍以上。
利用本发明的方法，使用分辨率为352×240的场景图片和深度图生成VCD标准的元素图像阵列。用计数器累加生成帧数，使用4线程并行运算的本发明的方法，在CPU主频不低于2.70GHZ的PC机上可满足352*240分辨率30帧/s的针对集成成像的立体视频显示的需要。如果使用更快的硬件配置(如8核CPU)，数据采集和深度转换均使用独立线程实现，通过本发明的方法生成元素图像的速度完全可以支持720×480的DVD标准视频。
以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，并不用以限制本发明。凡在本发明的申请范围内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种集成成像系统的元素图像阵列快速生成方法，其特征在于，该方法利用三维场景的单幅图片和对应的深度信息，建立从元素图像到场景的单点映射，使元素图像中的每个像素只对应唯一的场景像素，并且沿光路从元素图像的每个像素到场景反向查找唯一的同时也是最佳的匹配点，查找方法是，从深度最大平面向深度最小平面，沿深度z轴取1个像素的步长，迭代求解，在沿光路方向具有多点匹配时，选择场景中离观察者最近的点作为映射的匹配点，建立一对一的点点匹配，最后生成元素图像阵列，用于集成成像立体显示；其中所建立的元素图像到场景的单点映射是依据式（1）、式（2）计算出的。
Figure DEST_PATH_IMAGE002
(1)
Figure 174633DEST_PATH_IMAGE002
(1)
x,y是场景的2D图像的像素坐标，xi, yj是元素图像上的点IA在采集面上的像素坐标，x0, y0为透镜光心的坐标，z为深度距离，PI为场景2D图像的像素直径，PD为元素图像像素直径，g为透镜阵列到元素图像采集面的距离。
2.根据权利要求1所述的一种集成成像系统的元素图像阵列快速生成方法，其特征在于，元素图像通过虚拟透镜投射到场景采集平面的像素数量受控于元素图像的分辨率，而元素图像相对场景具有极低的分辨率。
CN201910714931.0A 2019-08-05 2019-08-05 一种集成成像系统的元素图像阵列快速生成方法 Active CN110418125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910714931.0A CN110418125B (zh) 2019-08-05 2019-08-05 一种集成成像系统的元素图像阵列快速生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910714931.0A CN110418125B (zh) 2019-08-05 2019-08-05 一种集成成像系统的元素图像阵列快速生成方法

Publications (2)

Publication Number Publication Date
CN110418125A CN110418125A (zh) 2019-11-05
CN110418125B true CN110418125B (zh) 2021-06-15

Family

ID=68365643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910714931.0A Active CN110418125B (zh) 2019-08-05 2019-08-05 一种集成成像系统的元素图像阵列快速生成方法

Country Status (1)

Country Link
CN (1) CN110418125B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300113A (zh) * 2011-09-03 2011-12-28 四川大学 基于稀疏摄像机阵列的集成成像微图像阵列生成方法
CN102523462A (zh) * 2011-12-06 2012-06-27 南开大学 基于相机阵列的元素图像阵列快速获取方法和装置
CN104063843A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种基于中心投影的集成立体成像元素图像生成的方法
CN108965853A (zh) * 2018-08-15 2018-12-07 张家港康得新光电材料有限公司 一种集成成像三维显示方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868893B2 (en) * 2006-03-07 2011-01-11 Graphics Properties Holdings, Inc. Integration of graphical application content into the graphical scene of another application
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300113A (zh) * 2011-09-03 2011-12-28 四川大学 基于稀疏摄像机阵列的集成成像微图像阵列生成方法
CN102523462A (zh) * 2011-12-06 2012-06-27 南开大学 基于相机阵列的元素图像阵列快速获取方法和装置
CN104063843A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种基于中心投影的集成立体成像元素图像生成的方法
CN108965853A (zh) * 2018-08-15 2018-12-07 张家港康得新光电材料有限公司 一种集成成像三维显示方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
COMPUTER VIRTUAL RECONSTRUCTION OF A THREE DIMENSIONAL SCENE IN INTEGRAL IMAGING;Min Guo;《2016 International Conference on Audio, Language and Image Processing (ICALIP)》;20160712;全文 *
Super-Resolution Processing of Computational Reconstructed Images;Yu Wang;《IEEE 10th INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING PROCEEDINGS》;20101028;全文 *
基于元素图像阵列采样的集成成像重构方法;王宇;《光学学报》;20140510;全文 *
基于多视差函数拟合的集成成像深度提取方法;王宇;《光学学报》;20150410;全文 *

Also Published As

Publication number Publication date
CN110418125A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN106802138B (zh) 一种三维扫描系统及其扫描方法
KR101629479B1 (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP4435867B2 (ja) 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
CN108513123B (zh) 一种集成成像光场显示的图像阵列生成方法
CN103562963A (zh) 用于角切片真3d显示器的对准、校准和渲染的系统和方法
JP6300346B2 (ja) Ｉｐ立体映像推定装置及びそのプログラム
US11754975B2 (en) System and method for holographic image display
Deng et al. Realization of undistorted and orthoscopic integral imaging without black zone in real and virtual fields
CN108234994B (zh) 一种人眼位置确定方法及装置
CN106169179A (zh) 图像降噪方法以及图像降噪装置
KR101289283B1 (ko) 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법
CN101686407A (zh) 一种采样点信息的获取方法和装置
Park et al. 48.2: Light field rendering of multi‐view contents for high density light field 3D display
CN110418125B (zh) 一种集成成像系统的元素图像阵列快速生成方法
CN110149508A (zh) 一种基于一维集成成像系统的阵列图生成及填补方法
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム
Gu et al. Elemental image generation algorithm using reverse iteration along optical path
JPH07220113A (ja) 画像記録再生装置
Liang et al. An efficient hole-filling method based on depth map in 3D view generation
WO2023092545A1 (zh) 显示方法及显示装置
Huang et al. P‐4.15: Multi‐Viewpoint Glasses‐Free 3D Display Technology Based on Representation Fusion NeRF
Gao et al. Integrated imaging research based on lenticular lens and projection equipment
CN118250451A (zh) 一种支持多视点观测的连续视场角立体视觉显示方法
Xu et al. Multi-view stereo depth-map merging for the Three-Dimensional Swept Volume Display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant