CN113222868B - 图像合成方法及装置 - Google Patents
图像合成方法及装置 Download PDFInfo
- Publication number
- CN113222868B CN113222868B CN202110448429.7A CN202110448429A CN113222868B CN 113222868 B CN113222868 B CN 113222868B CN 202110448429 A CN202110448429 A CN 202110448429A CN 113222868 B CN113222868 B CN 113222868B
- Authority
- CN
- China
- Prior art keywords
- image
- parallax
- images
- matrix
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims description 125
- 238000005070 sampling Methods 0.000 claims description 23
- 239000002131 composite material Substances 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 22
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像合成方法及装置，方法包括：根据预设三维模型对待合成图像进行分层，获取预设数量个分层子图像；根据填充路径将经预处理后的每幅视差图像中的像素值填充到每个分层子图像中，以获取每个分层的合成子图像；根据每个分层子图像的前后位置关系，将合成子图像进行叠加，获取目标合成图像。所述装置用于执行上述方法。本发明提供的图像合成方法，通过对待合成图像进行分层处理，并利用多视点拟合法对分层后的子图像进行叠加以生成目标合成图像，减弱了大深度三维模型再现时的错切现象，提高了图像还原的精度，提升了图像显示质量。
Description
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种图像合成方法及装置。
背景技术
现有的集成成像技术采用二维显示面板加载图像信息，并用透镜阵列来记录和再现三维场景。分辨率、视角和显示深度是三维显示技术的三个基础评价指标。在基于透镜阵列的光场显示技术中，错切现象是限制系统显示深度的主要原因。
首先明确两个概念：重构平面和参考平面。重构平面指的是采集过程中三维模型所处的平面，参考平面指的是三维模型再现时的平面，也称为中心深度平面。通过对成像模式下显示过程的分析，当这两个平面位置不一致时就会出现“错切”问题。如图1所示，包括无错切现象(如图1(a)所示)和错切现象，其中，错切现象分为两种情况，一种是当重构平面位于透镜阵列和参考平面中间时出现的错切现象(如图1(b)所示)，另一种是当重构平面远离参考平面时出现的错切现象(如图1(c)所示)。图中的参考平面也称为透镜的共轭平面，从透镜阵列出射的光线只有在重构平面上才能相交汇聚成与原三维模型一致的三维图像。人眼透过不同的透镜可以获取到不同的子图像块，视点处看到的图像是由这一系列子图像块拼接而成的。对于一个固定参数的集成成像系统，在采集过程中，如果三维场景是在远离参考平面处被拍摄，那么人眼通过每个透镜获取到的子图像块是无法完整地拼接成理想的三维图像的，这个现象就称为错切现象，由于错切现象的存在，集成成像系统的景深和显示质量将会下降。
因此，如何减弱由于大深度三维模型带来的错切问题，成为亟需解决的问题。
发明内容
本发明提供的图像合成方法，用于克服现有技术中存在的上述问题，能够通过对待合成图像进行分层处理，并利用多视点拟合法对分层后的子图像进行叠加以生成目标合成图像，减弱了大深度三维模型再现时的错切现象，提高了图像还原的精度，提升了图像显示质量。
本发明提供一种图像合成方法，包括：
根据预设三维模型对待合成图像进行分层，获取预设数量个分层子图像；
根据填充路径将经预处理后的每幅视差图像中的像素值填充到每个分层子图像中，以获取每个分层的合成子图像；
根据每个分层子图像的前后位置关系，将所述合成子图像进行叠加，获取目标合成图像；
其中，所述填充路径是根据视差图像中的像素点与透镜光轴之间的距离确定的；
所述视差图像是根据不同角度拍摄的每个分层子图像确定的。
根据本发明提供的一种图像合成方法，所述预处理后的每幅视差图像中的像素值通过如下方式获取：
根据合成图像素矩阵对每幅视差图像中的像素点的像素值进行加权，以获取所述预处理后的每幅视差图像中的像素值。
根据本发明提供的一种图像合成方法，所述合成图像素矩阵通过如下方式确定：
根据所述预设三维模型的前后边界深度坐标、横向的视差图像数量、纵向的视差图像数量、视差图像素矩阵、权值矩阵、消除深度反转的变换矩阵和上采样矩阵，确定所述合成图像素矩阵。
根据本发明提供的一种图像合成方法，所述权值矩阵、视差图像素矩阵、消除深度反转的变换矩阵和上采样矩阵通过如下方式获取：
根据所述分层子图像与所述预设三维模型的中心深度平面之间的距离、透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、横向的透镜数量、纵向的透镜数量、所述横向的视差图像数量和纵向的视差图像数量，获取所述权值矩阵；
根据所述透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述视差图像素矩阵；
根据所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述消除深度反转的变换矩阵；
根据所述透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述上采样矩阵。
本发明还提供一种图像合成装置，包括：分层图像获取模块、合成子图像获取模块和目标图像合成模块；
所述分层图像获取模块，用于根据预设三维模型对待合成图像进行分层，获取预设数量个分层子图像；
所述合成子图像获取模块，用于根据填充路径将经预处理后的每幅视差图像中的像素值填充到每个分层子图像中，以获取每个分层的合成子图像；
所述目标图像合成模块，用于根据每个分层子图像的前后位置关系，将所述合成子图像进行叠加，获取目标合成图像；
其中，所述填充路径是根据视差图像中的像素点与透镜光轴之间的距离确定的；
所述视差图像是根据不同角度拍摄的每个分层子图像确定的。
根据本发明提供的一种图像合成装置，还包括：像素值获取模块，用于根据合成图像素矩阵对每幅视差图像中的像素点的像素值进行加权，以获取所述预处理后的每幅视差图像中的像素值。
根据本发明提供的一种图像合成装置，所述像素值获取模块，包括：合成图像素获取子模块，用于根据所述预设三维模型的前后边界深度坐标、横向的视差图像数量、纵向的视差图像数量、视差图像素矩阵、权值矩阵、消除深度反转的变换矩阵和上采样矩阵，确定所述合成图像素矩阵。
根据本发明提供的一种图像合成装置，所述合成图像素获取子模块，包括：权值矩阵获取单元、视差图像素矩阵获取单元、变换矩阵获取单元和上采样矩阵获取单元；
所述权值矩阵获取单元，用于根据所述分层子图像与所述预设三维模型的中心深度平面之间的距离、透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、横向的透镜数量、纵向的透镜数量、所述横向的视差图像数量和纵向的视差图像数量，获取所述权值矩阵；
所述视差图像素矩阵获取单元，用于根据所述透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述视差图像素矩阵；
所述变换矩阵获取单元，用于根据所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述消除深度反转的变换矩阵；
所述上采样矩阵获取单元，用于根据所述透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述上采样矩阵。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像合成方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像合成方法的步骤。
本发明提供的图像合成方法及装置，通过对待合成图像进行分层处理，并利用多视点拟合法对分层后的子图像进行叠加以生成目标合成图像，减弱了大深度三维模型再现时的错切现象，提高了图像还原的精度，提升了图像显示质量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中错切现象的示意图；
图2是本发明提供的图像合成方法的流程示意图；
图3是本发明提供的图像分层示意图；
图4是本发明提供的图像合成装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
近年来，光场三维显示技术引起了人们的广泛关注，其利用圆透镜阵列对物空间场景进行记录和再现，能够重建真实的三维光场分布。相较于自由立体显示和全息显示，光场三维显示技术为观众提供了更加真实自然的三维感知，再现的图像清晰细腻，而且不会带来立体观看视疲劳的问题。
圆透镜阵列具有空间控光的作用，使位于焦平面处不同位置点发出的光线，以光心的连线方向射出。在集成成像中，单位圆透镜下覆盖的子图像放置在其焦平面处。通过圆透镜对空间光的调制，组成子图像的像素点发出的光线都以光心的连线方向射出，而后汇聚在全息功能屏上，并通过全息功能屏的扩散作用还原全视差的三维立体场景。基于此，本发明提供一种图像合成方法，具体地：
图2是本发明提供的图像合成方法的流程示意图，如图2所示，方法包括：
S1、根据预设三维模型对待合成图像进行分层，获取预设数量个分层子图像；
S2、根据填充路径将经预处理后的每幅视差图像中的像素值填充到每个分层子图像中，以获取每个分层的合成子图像；
S3、根据每个分层子图像的前后位置关系，将合成子图像进行叠加，获取目标合成图像；
其中，填充路径是根据视差图像中的像素点与透镜光轴之间的距离确定的；
视差图像是根据不同角度拍摄的每个分层子图像确定的。
需要说明的是，上述方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明不作具体限定。
具体地，本发明提供的图像合成方法中，视差图像：模拟人眼立体视觉，对同一场景从不同角度拍摄时，所获得的两幅或多幅有视差的图像称为视差图像。
合成图像：将视差图像的像素按照透镜阵列的光学结构，以一定规律排列生成的图像称为合成图像。
合成子图像：合成图像中被单个圆透镜覆盖的像素组成的图像。
视点：视差图像在空间中形成的可正确观看的位置。
由于三维场景可以看作由没有深度信息的平面层叠加而成，为了保证模型小深度内容再现三维影像的锐度，可以采用分层处理的方法，具体地，根据预设三维模型对待合成的图像进行分层，得到预设数量个分层子图像，例如，如图3所示，通过采用3DMAX对待合成的图像分层，得到3个分层子图像(平面1、平面2和中心深度平面)。需要说明的是，分层子图像的数量可以根据实际场景进行设置，本发明对此作具体限定。
获取分层后得到的每个分层子图像对应的多幅视图像，例如，从不同角度拍摄如图3中所示的平面1、中心深度平面和平面2，分别得到平面1、中心深度平面和平面2对应的视差图像。其中，可以通过采用相机阵列从不同角度进行拍摄，获取视差图像。
根据每幅视差图像每个像素点与设置的透镜阵列中对应透镜光轴的距离，得到每幅视图图像中每个像素点的像素值的填充路径，并根据填充路径将每幅视图图像中的每个像素点的像素值填充到对应的分层子图像中，得到每个分层子图像的合成子图像。
根据按照预设三维模型分层后，每个分层子图像的前后位置关系或者遮挡关系将得到的每个分层的合成子图像进行叠加，得到目标合成图像。
例如，如图3所示，按照三维模型对三维场景进行分层，得到3个分层子图像，其中，平面2在中心深度平面的前面，中心深度平面在平面1的前面，因此，在对平面1、平面2以及中心深度平面对应的合成子图像进行叠加时，仍旧按照平面2->中心深度平面->平面1的前后位置进行叠加，生成目标合成图像。
本发明提供的图像合成方法，通过对待合成图像进行分层处理，并利用多视点拟合法对分层后的子图像进行叠加以生成目标合成图像，减弱了大深度三维模型再现时的错切现象，提高了图像还原的精度，提升了图像显示质量。
进一步地，在一个实施例中，步骤S2中预处理后的每幅视差图像中的像素值通过如下方式获取：
S21、根据合成图像素矩阵对每幅视差图像中的每个像素点的像素值进行加权，以获取预处理后的每幅视差图像中的像素值。
进一步地，在一个实施例中，步骤S21中合成图像素矩阵通过如下方式确定：
S211、根据预设三维模型的前后边界深度坐标、横向的视差图像数量、纵向的视差图像数量、视差图像素矩阵、权值矩阵、消除深度反转的变换矩阵和上采样矩阵，确定合成图像素矩阵。
具体地，多视点拟合的图像合成方法在有效减弱了错切问题的同时，也降低了观看图像的锐度，使观看到的图像变得模糊。而离参考平面较近深度范围内的部分模型内容再现时所产生的错切问题是微乎其微的，若采用多视点拟合的图像合成方法，再现该部分模型时带来的模糊问题反而会造成负面的影响，使得这部分模型的再现图像锐度下降。为了在保证上述深度范围内再现图像锐度的前提下，需要通过合成图像素矩阵对每个分层子图像对应的每幅视差图像中的每个像素点的像素值进行加权，得到每幅视差图像的像素值。
其中，合成图像素矩阵可以根据预设三维模型的前后边界深度坐标、横向的视差图像数量、纵向的视差图像数量、视差图像素矩阵、权值矩阵、消除深度反转的变换矩阵和上采样矩阵，并基于如下公式计算得到：
式中，a代表预设三维模型的前边界深度坐标，b代表预设三维模型的后边界深度坐标，M代表横向的视差图像数量，N代表纵向的视差图像数量，Glh代表视差图像素矩阵，Q(x)代表权值矩阵，T1代表消除深度反转的变换矩阵，Ulh代表上采样矩阵。
本发明提供的图像合成方法，通过获取合成图像素矩阵并对视差图像的像素点的像素值进行加权，能够在有效减弱错切现象的同时，降低了合成图像的锐度，使得图像显示更加清晰。
进一步地，在一个实施例中，步骤S211中权值矩阵、视差图像素矩阵、消除深度反转的变换矩阵和上采样矩阵可以通过如下方式获取：
S2111、根据分层子图像与预设三维模型的中心深度平面之间的距离、透镜观测到的视差图像的像素点数与每个透镜覆盖的视差图像像素点数的比值、横向的透镜数量、纵向的透镜数量、横向的视差图像数量和纵向的视差图像数量，获取权值矩阵；
S2112、根据透镜观测到的所述视差图像的像素点数与每个透镜覆盖的视差图像像素点数的比值、横向的透镜数量、纵向的透镜数量、横向的视差图像数量和纵向的视差图像数量，确定视差图像素矩阵；
S2113、根据横向的透镜数量、纵向的透镜数量、横向的视差图像数量和纵向的视差图像数量，确定消除深度反转的变换矩阵；
S2114、根据透镜观测到的视差图像的像素点数与每个透镜覆盖的视差图像像素点数的比值、横向的透镜数量、纵向的透镜数量、横向的视差图像数量和所述纵向的视差图像数量，确定上采样矩阵。
具体地，通过对多视点拟合法过程的分析可知，其权值矩阵中心点周围的值为0时，图像的合成过程等同于视点合成法，此时再现三维影像的锐度是不受影响的。权值矩阵中心点参数值相对于其周围参数值的比例越高，再现三维影像的锐度降低程度越小。
而多视点拟合法中的权值矩阵是固定不变的，其权值矩阵中心点周围是分布有参数的，这种图像合成方法虽然减弱了模型大深度内容再现时的错切问题，但同样的权值矩阵作用于模型小深度内容时，会使其再现三维影像锐度降低。
基于此，对每个分层子图像采用不同参数的权值矩阵，得到每个分层子图像的合成子图像，权值矩阵的参数根据每层离中心深度平面的距离做相应的调整，具体地：
根据每个分层子图像与预设三维模型的中心深度平面之间的距离x、人眼透过透镜观测到的视差图像的像素点数与每个透镜覆盖的视差图像像素点数的比值α、横向的透镜数量U、纵向的透镜数量V、横向的视差图像数量M和纵向的视差图像数量N，根据传统的权值矩阵[α2MNUV×α2MNUV]与距离x的关系得到权值矩阵Q(x)。
例如，如图3所示的分层子图像，中心深度平面与参考平面重合，即中心深度平面与三维模型的中心深度平面之间的距离x＝0，则获得的权值矩阵Q(x)为：
假设平面1与三维模型的中心深度平面之间的距离为x1，平面1与三维模型的中心深度平面之间的距离为x2，且x1＞x2，则平面1的权值矩阵Q1(x)和平面2的权值矩阵Q2(x)，且Q1(x)的中心点周围的参数数值大于Q2(x)的中心点周围的参数数值，例如：
根据人眼透过透镜观测到的视差图像的像素点数与每个透镜覆盖的视差图像像素点数的比值α、横向的透镜数量U、纵向的透镜数量V、横向的视差图像数量M和纵向的视差图像数量N，得到视差图像素矩阵Glh＝[α2MNUV×1]。
根据横向的透镜数量U、纵向的透镜数量V、横向的视差图像数量M和纵向的视差图像数量N，得到消除深度反转的变换矩阵如下所示：T1＝[MNUV×MNUV]。
根据人眼透过透镜观测到的视差图像的像素点数与每个透镜覆盖的视差图像像素点数的比值α、横向的透镜数量U、纵向的透镜数量V、横向的视差图像数量M和纵向的视差图像数量N，得到上采样矩阵Ulh＝[MNUV×α2MNUV]。
本发明提供的图像合成方法，通过对权值矩阵的参数进行调整，使得后续生成的目标合成图像的锐度降低程度尽可能小，进而提升了图形显示的质量。
下面对本发明提供的图像合成装置进行描述，下文描述的图像合成装置与上文描述的图像合成方法可相互对应参照。
图4是本发明提供的图像合成装置的结构示意图，如图4所示，包括：分层图像获取模块410、合成子图像获取模块411和目标图像合成模块412；
分层图像获取模块410，用于根据预设三维模型对待合成图像进行分层，获取预设数量个分层子图像；
合成子图像获取模块411，用于根据填充路径将经预处理后的每幅视差图像中的像素值填充到每个分层子图像中，以获取每个分层的合成子图像；
目标图像合成模块412，用于根据每个分层子图像的前后位置关系，将合成子图像进行叠加，获取目标合成图像；
其中，填充路径是根据视差图像中的像素点与透镜光轴之间的距离确定的；
视差图像是根据不同角度拍摄的每个分层子图像确定的。
本发明提供的图像合成装置，通过对待合成图像进行分层处理，并利用多视点拟合法对分层后的子图像进行叠加以生成目标合成图像，减弱了大深度三维模型再现时的错切现象，提高了图像还原的精度，提升了图像显示质量。
进一步地，在一个实施例中，还包括：像素值获取模块413，用于根据合成图像素矩阵对每幅视差图像中的像素点的像素值进行加权，以获取预处理后的每幅视差图像中的像素值。
进一步地，在一个实施例中，像素值获取模块413，可以具体包括：合成图像素获取子模块，用于根据预设三维模型的前后边界深度坐标、横向的视差图像数量、纵向的视差图像数量、视差图像素矩阵、权值矩阵、消除深度反转的变换矩阵和上采样矩阵，确定合成图像素矩阵。
本发明提供的图像合成装置，通过获取合成图像素矩阵并对视差图像的像素点的像素值进行加权，能够在有效减弱错切现象的同时，降低了合成图像的锐度，使得图像显示更加清晰。
进一步地，在一个实施例中，合成图像素获取子模块，可以具体包括：权值矩阵获取单元、视差图像素矩阵获取单元、变换矩阵获取单元和上采样矩阵获取单元；
权值矩阵获取单元，用于根据分层子图像与预设三维模型的中心深度平面之间的距离、透镜观测到的视差图像的像素点数与每个透镜覆盖的视差图像像素点数的比值、横向的透镜数量、纵向的透镜数量、横向的视差图像数量和纵向的视差图像数量，获取权值矩阵；
视差图像素矩阵获取单元，用于根据透镜观测到的视差图像的像素点数与每个透镜覆盖的视差图像像素点数的比值、横向的透镜数量、纵向的透镜数量、横向的视差图像数量和纵向的视差图像数量，确定视差图像素矩阵；
变换矩阵获取单元，用于根据横向的透镜数量、纵向的透镜数量、横向的视差图像数量和纵向的视差图像数量，确定消除深度反转的变换矩阵；
上采样矩阵获取单元，用于根据透镜观测到的视差图像的像素点数与每个透镜覆盖的视差图像像素点数的比值、横向的透镜数量、纵向的透镜数量、横向的视差图像数量和纵向的视差图像数量，确定上采样矩阵。
本发明提供的图像合成装置，通过对权值矩阵的参数进行调整，使得后续生成的目标合成图像的锐度降低程度尽可能小，进而提升了图形显示的质量。
图5是本发明提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communication interface)511、存储器(memory)512和总线(bus)513，其中，处理器510，通信接口511，存储器512通过总线513完成相互间的通信。处理器510可以调用存储器512中的逻辑指令，以执行如下方法：
根据预设三维模型对待合成图像进行分层，获取预设数量个分层子图像；
根据填充路径将经预处理后的每幅视差图像中的像素值填充到每个分层子图像中，以获取每个分层的合成子图像；
根据每个分层子图像的前后位置关系，将合成子图像进行叠加，获取目标合成图像；
其中，填充路径是根据视差图像中的像素点与透镜光轴之间的距离确定的；
视差图像是根据不同角度拍摄的每个分层子图像确定的。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的图像合成方法，例如包括：
根据预设三维模型对待合成图像进行分层，获取预设数量个分层子图像；
根据填充路径将经预处理后的每幅视差图像中的像素值填充到每个分层子图像中，以获取每个分层的合成子图像；
根据每个分层子图像的前后位置关系，将合成子图像进行叠加，获取目标合成图像；
其中，填充路径是根据视差图像中的像素点与透镜光轴之间的距离确定的；
视差图像是根据不同角度拍摄的每个分层子图像确定的。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的图像合成方法，例如包括：
根据预设三维模型对待合成图像进行分层，获取预设数量个分层子图像；
根据填充路径将经预处理后的每幅视差图像中的像素值填充到每个分层子图像中，以获取每个分层的合成子图像；
根据每个分层子图像的前后位置关系，将合成子图像进行叠加，获取目标合成图像；
其中，填充路径是根据视差图像中的像素点与透镜光轴之间的距离确定的；
视差图像是根据不同角度拍摄的每个分层子图像确定的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种图像合成方法，其特征在于，包括：
根据预设三维模型对待合成图像进行分层，获取预设数量个分层子图像；
根据填充路径将经预处理后的每幅视差图像中的像素值填充到每个分层子图像中，以获取每个分层的合成子图像；
根据每个分层子图像的前后位置关系，将所述合成子图像进行叠加，获取目标合成图像；
其中，所述填充路径是根据视差图像中的像素点与透镜光轴之间的距离确定的；
所述视差图像是根据不同角度拍摄的每个分层子图像确定的；
所述预处理后的每幅视差图像中的像素值通过如下方式获取：
根据合成图像素矩阵对每幅视差图像中的像素点的像素值进行加权，以获取所述预处理后的每幅视差图像中的像素值；
所述合成图像素矩阵通过如下方式确定：
根据所述预设三维模型的前后边界深度坐标、横向的视差图像数量、纵向的视差图像数量、视差图像素矩阵、权值矩阵、消除深度反转的变换矩阵和上采样矩阵，确定所述合成图像素矩阵；
所述权值矩阵、视差图像素矩阵、消除深度反转的变换矩阵和上采样矩阵通过如下方式获取：
根据所述分层子图像与所述预设三维模型的中心深度平面之间的距离、透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、横向的透镜数量、纵向的透镜数量、所述横向的视差图像数量和纵向的视差图像数量，获取所述权值矩阵；
根据所述透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述视差图像素矩阵；
根据所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述消除深度反转的变换矩阵；
根据所述透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述上采样矩阵。
2.一种图像合成装置，其特征在于，包括：分层图像获取模块、合成子图像获取模块和目标图像合成模块；
所述分层图像获取模块，用于根据预设三维模型对待合成图像进行分层，获取预设数量个分层子图像；
所述合成子图像获取模块，用于根据填充路径将经预处理后的每幅视差图像中的像素值填充到每个分层子图像中，以获取每个分层的合成子图像；
所述目标图像合成模块，用于根据每个分层子图像的前后位置关系，将所述合成子图像进行叠加，获取目标合成图像；
其中，所述填充路径是根据视差图像中的像素点与透镜光轴之间的距离确定的；
所述视差图像是根据不同角度拍摄的每个分层子图像确定的；
还包括：像素值获取模块，用于根据合成图像素矩阵对每幅视差图像中的每个像素点的像素值进行加权，以获取所述预处理后的每幅视差图像中的像素值；
所述像素值获取模块，包括：合成图像素获取子模块，用于根据所述预设三维模型的前后边界深度坐标、横向的视差图像数量、纵向的视差图像数量、视差图像素矩阵、权值矩阵、消除深度反转的变换矩阵和上采样矩阵，确定所述合成图像素矩阵；
所述合成图像素获取子模块，包括：权值矩阵获取单元、视差图像素矩阵获取单元、变换矩阵获取单元和上采样矩阵获取单元；
所述权值矩阵获取单元，用于根据所述分层子图像与所述预设三维模型的中心深度平面之间的距离、透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、横向的透镜数量、纵向的透镜数量、所述横向的视差图像数量和纵向的视差图像数量，获取所述权值矩阵；
所述视差图像素矩阵获取单元，用于根据所述透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述视差图像素矩阵；
所述变换矩阵获取单元，用于根据所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述消除深度反转的变换矩阵；
所述上采样矩阵获取单元，用于根据所述透镜观测到的所述视差图像的像素点数与每个透镜覆盖的所述视差图像像素点数的比值、所述横向的透镜数量、所述纵向的透镜数量、所述横向的视差图像数量和所述纵向的视差图像数量，确定所述上采样矩阵。
3.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1所述图像合成方法的步骤。
4.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述图像合成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110448429.7A CN113222868B (zh) | 2021-04-25 | 2021-04-25 | 图像合成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110448429.7A CN113222868B (zh) | 2021-04-25 | 2021-04-25 | 图像合成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113222868A CN113222868A (zh) | 2021-08-06 |
| CN113222868B true CN113222868B (zh) | 2023-04-25 |
Family
ID=77088835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110448429.7A Active CN113222868B (zh) | 2021-04-25 | 2021-04-25 | 图像合成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113222868B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763301B (zh) * | 2021-09-08 | 2024-03-29 | 北京邮电大学 | 一种减小错切概率的三维图像合成方法和装置 |
| WO2023173330A1 (zh) * | 2022-03-16 | 2023-09-21 | 深圳市大疆创新科技有限公司 | 无人机的飞行控制方法、装置、无人机以及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106154567A (zh) * | 2016-07-18 | 2016-11-23 | 北京邮电大学 | 一种三维光场显示系统的成像方法及装置 |
| CN111768484A (zh) * | 2020-05-20 | 2020-10-13 | 北京邮电大学 | 基于合成图像编码的电子沙盘显示方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107847214B (zh) * | 2015-08-04 | 2021-01-01 | 深圳迈瑞生物医疗电子股份有限公司 | 三维超声流体成像方法及系统 |
| US20170148145A1 (en) * | 2015-11-24 | 2017-05-25 | Gopro, Inc. | Sharpening Algorithm For Images based on Polar Coordinates |
| WO2018218643A1 (en) * | 2017-06-02 | 2018-12-06 | Shanghaitech University | Method and apparatus for estimating depth of field information |
| CN111438941B (zh) * | 2020-03-30 | 2022-03-22 | 上海联泰科技股份有限公司 | 三维数据处理系统、方法及所适用的3d打印设备 |
-
2021
- 2021-04-25 CN CN202110448429.7A patent/CN113222868B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106154567A (zh) * | 2016-07-18 | 2016-11-23 | 北京邮电大学 | 一种三维光场显示系统的成像方法及装置 |
| CN111768484A (zh) * | 2020-05-20 | 2020-10-13 | 北京邮电大学 | 基于合成图像编码的电子沙盘显示方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113222868A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Stewart et al. | A new reconstruction filter for undersampled light fields | |
| US8878896B2 (en) | Apparatus method and system for imaging | |
| US9031356B2 (en) | Applying perceptually correct 3D film noise | |
| CN113222868B (zh) | 图像合成方法及装置 | |
| CN105637415B (zh) | 全息三维信息采集、还原装置及方法 | |
| US20030210461A1 (en) | Image processing apparatus and method, printed matter production apparatus and method, and printed matter production system | |
| CN113763301B (zh) | 一种减小错切概率的三维图像合成方法和装置 | |
| JP2011523306A (ja) | 立体視画像のブラー強化 | |
| JP2021518701A (ja) | Ｄｉｂｒシステムにおいて立体的視点を生じさせるための、多焦点面ベースの方法（ｍｆｐ−ｄｉｂｒ） | |
| JP2014056466A (ja) | 画像処理装置及び方法 | |
| CN108141578A (zh) | 呈现相机 | |
| KR101600681B1 (ko) | 집적 영상시스템의 3차원 영상 표시깊이변환방법 | |
| CN111954896A (zh) | 光场图像生成系统、图像显示系统、形状信息取得服务器、图像生成服务器、显示装置、光场图像生成方法及图像显示方法 | |
| Berretty et al. | Real-time rendering for multiview autostereoscopic displays | |
| CN110958442B (zh) | 用于处理全息图像数据的方法和装置 | |
| JPWO2012098607A1 (ja) | 立体画像処理装置および立体画像処理方法 | |
| CN116503536A (zh) | 一种基于场景分层的光场渲染方法 | |
| JPWO2013069171A1 (ja) | 画像処理装置、及び画像処理方法 | |
| KR101321895B1 (ko) | 디지털 홀로그램 비디오를 위한 인터랙티브 디지털 홀로그램 서비스 시스템 | |
| Owczarczyk et al. | Evaluation of true 3 D display systems for visualizing medical volume data | |
| Kao | Stereoscopic image generation with depth image based rendering | |
| Aggoun | Pre-processing of integral images for 3-D displays | |
| Yamaguchi | Ray-based and wavefront-based holographic displays for high-density light-field reproduction | |
| CN108833893A (zh) | 一种基于光场显示的3d图像校正方法 | |
| CN114879377B (zh) | 水平视差三维光场显示系统的参数确定方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |