CN113763301B - 一种减小错切概率的三维图像合成方法和装置 - Google Patents
一种减小错切概率的三维图像合成方法和装置 Download PDFInfo
- Publication number
- CN113763301B CN113763301B CN202111052398.XA CN202111052398A CN113763301B CN 113763301 B CN113763301 B CN 113763301B CN 202111052398 A CN202111052398 A CN 202111052398A CN 113763301 B CN113763301 B CN 113763301B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- parallax
- model
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 22
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 94
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 94
- 239000011159 matrix material Substances 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 33
- 239000011165 3D composite Substances 0.000 claims abstract description 31
- 238000013210 evaluation model Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 54
- 239000002131 composite material Substances 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种减小错切概率的三维图像合成方法、装置、计算机设备和存储介质。所述方法包括：获取初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像；基于预设拟合度评测模型，确定各个光场显示图像和对应的视差图像之间的最小差值；基于最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像。因此，由于引入了预设显示图像合成模型，这样，将人眼观看到的图像从带有错切的图像变为视差图，从而大大地减少了错切概率，三维显示景深也会相应提升，此外，预设拟合度评测模型，能够精准地确定出各个光场显示图像和对应的视差图像之间的最小差值，在该最小差值的前提下，生成的优化三维合成图像具有最小错切，显示深度最大。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种减小错切概率的三维图像合成方法和装置。
背景技术
光场三维显示技术可以模拟真实光场光线分布，再现的图像生动细腻，具有强大的生命力。光场三维显示技术相较于自由立体显示和全息显示，具有真彩色、全视差、视角细腻的良好特性。由于光场技术的优良特性，其在医学、军事、工业、教育等方面都有独特的应用价值。
透镜阵列中的单位圆透镜作为控光元件，能够将透镜一侧的入射光线按照透镜的光学特性在透镜另一侧重新排布。在集成成像中，单位圆透镜下覆盖的子图像通过圆形凸透镜的空间光调制，使放在焦面上的不同空间位置排列的像素发出的发散光线都以光心的连线方向射出，汇聚在全息功能屏上，经过全息功能屏的扩散实现了全视差的三维立体图像。
现有的集成成像技术，采用二维显示面板进行信息输入，用透镜阵列来记录和再现三维场景。分辨率、视角和显示深度是评价三维显示技术的三个基础指标。在基于透镜阵列的光场显示技术中，错切现象是限制系统显示深度的主要原因。错切现象如图1所示，在采集过程中，重构平面的物体通过透镜映射到CCD上，再通过编码在LCD上显示。LCD上对应区域的像素发光，穿过透镜到达全息功能屏，人眼即可通过透镜观察到三维图像。当重构平面位于中心深度平面后方时，如1中的a)所示，图像到达全息功能屏会按照几何关系放大。经过人眼采样(人眼连接的两条虚线)之后，人眼通过透镜看到的三维图像会缺失边缘部分，通过不同透镜看到的不完整错切图像拼接到一起如图1中的a)左上所示，严重影响三维图像质量。当重构平面位于中心深度平面前方时，如图1中的b)所示，图像到达全息功能屏会按照几何关系缩小。经过人眼采样(人眼连接的两条虚线)之后，人眼通过透镜看到的三维图像在边缘区域会有冗余图像进入人眼，通过不同透镜看到的错切图像拼接到一起如图1中的b)左上所示。只有重构平面位于中心深度平面时，才不会发生错切。重构平面越远离中心深度平面，错切越严重。将人眼所能忍受最大错切的重构面定义为最大深度平面，中心深度平面后方最大深度平面与中心深度前方最大深度平面之间的差值即为显示深度。由此可以看出，错切现象限制着三维光场成像的显示深度，严重影响再现三维场景质量。
因此，如何提供一种能够减小错切的三维图像合成方法，以提升显示深度，是待解决的技术问题。
发明内容
基于此，有必要针对现有技术的三维图像合成方法所存在的因错切现象而影响三维场景质量的问题，提供一种减小错切概率的三维图像合成方法、装置、计算机设备和存储介质。
第一方面，本申请实施例提供了一种减小错切概率的三维图像合成方法，所述方法包括：
基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像；
获取所述初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像；
基于预设拟合度评测模型，确定各个光场显示图像和对应的视差图像之间的最小差值；
基于所述最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像，所述优化三维合成图像能够减少初始三维合成图像的错切概率。
在一种实施方式中，所述预设显示图像合成模型包括高斯权重矩阵子模型，所述基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理包括：
基于所述高斯权重矩阵子模型，对每一张视差图像对应的视差图像二维矩阵均进行高斯分布加权处理，得到第一图像处理结果，所述第一图像处理结果中包括不同视点的相对位置信息和第一图像矩阵。
在一种实施方式中，所述预设显示图像合成模型包括上采样矩阵子模型，所述基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理包括：
读取所述第一图像处理结果中的同视点的相对位置信息和所述第一图像矩阵；
基于所述上采样矩阵子模型和不同视点的相对位置信息，对所述第一图像矩阵进行插值处理，生成第一合成图像。
在一种实施方式中，所述预设显示图像合成模型包括视差偏移矩阵子模型，所述基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像包括：
获取所述第一合成图像；
基于所述视差偏移矩阵子模型，对所述第一合成图像进行偏移处理，以减小图像深度反转概率，生成所述初始三维合成图像。
在一种实施方式中，所述基于预设拟合度评测模型，确定各个光场显示图像和对应的视差图像之间的最小差值包括：
基于所述预设拟合度评测模型，对各个光场显示图像和对应的视差图像之间的差值分别进行计算，得到多个差值；
从多个差值中选取最小差值。
在一种实施方式中，在所述基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理之前，所述方法还包括：
获取图像采集装置拍摄的同一场景下的多张视差图像，以及获取每一张视差图像对应的视差图像二维阵列。
在一种实施方式中，在所述获取所述初始三维合成图像在不同视点位置下对应的各个光场显示图像之前，所述方法还包括：
基于预设显示模型，对所述初始三维合成图像进行显示处理，得到在不同视点位置下对应的各个光场显示图像。
第二方面，本申请实施例提供了一种减小错切概率的三维图像合成装置，所述装置包括：
图像合成模块，用于基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像；
获取模块，用于获取所述图像合成模块生成的所述初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像；
确定模块，用于基于预设拟合度评测模型，确定所述获取模块获取的各个光场显示图像和对应的视差图像之间的最小差值；
优化合成图像生成模块，用于基于所述确定模块确定的所述最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像，所述优化三维合成图像能够减少初始三维合成图像的错切概率。
第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述的方法步骤。
第四方面，本申请实施例提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，获取初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像；基于预设拟合度评测模型，确定各个光场显示图像和对应的视差图像之间的最小差值；基于最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像。因此，采用本申请实施例，由于引入了预设显示图像合成模型，这样，将人眼观看到的图像从带有错切的图像变为视差图，从而大大地减少了错切概率，三维显示景深也会相应提升，此外，预设拟合度评测模型，能够精准地确定出各个光场显示图像和对应的视差图像之间的最小差值，在该最小差值的前提下，生成的优化三维合成图像具有最小错切，显示深度最大。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为现有技术中三维图像合成方法存在错切现象的示意图；
图2为一个实施例中提供的一种减小错切概率的三维图像合成方法的实施环境图；
图3为一个实施例中计算机设备的内部结构框图；
图4是本公开实施例提供一种减小错切概率的三维图像合成方法的流程示意图；
图5是本公开实施例提供的减小错切概率的三维图像合成方法所采用的预设显示图像合成模型的示意图；
图6是本公开实施例提供的减小错切概率的三维图像合成方法所采用的预设显示模型的示意图；
图7是本公开实施例提供的一种减小错切概率的三维图像合成装置的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合附图详细说明本公开的可选实施例。
图2为一个实施例中提供的一种减小错切概率的三维图像合成方法的实施环境图，如图2所示，在该实施环境中，包括计算机设备110以及终端120。
需要说明的是，终端120以及计算机设备110可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。计算机设备110以及终端110可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行连接，本发明在此不做限制。
图3为一个实施例中计算机设备的内部结构示意图。如图3所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种减小错切概率的三维图像合成方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种减小错切概率的三维图像合成方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图4所示，本公开实施例提供一种减小错切概率的三维图像合成方法，该三维图像合成方法具体包括以下方法步骤：
S402：基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像。
如图5所示，是本公开实施例提供的减小错切概率的三维图像合成方法所采用的预设显示图像合成模型的示意图。
在集成成像采集过程中，三维物体经过相机阵列拍摄产生视差图像二维阵列，将视差图像定义为Gij。当采用传统集成成像合成图编码方法时，观察者站在某一视点通过集成成像设备观看到的未经优化的gij为带有错切的三维图像。如果从视点出发，将人眼观看到的图像从带有错切的gij变为视差图Gij，此时错切就会减小，三维显示景深提升。根据这一原理，建立了多视点拟合的LCD显示图像合成过程模型(即预设显示图像合成模型)，如图5所示。根据集成成像的显示模型，可从观看位置反向映射合成图的对应像素显示区域，由于三维光场不同视点的显示光强为高斯分布，所以在显示图像合成过程中，该视点的合成图对应区域也进行了同样的高斯分布加权处理。视差图像Glh的矩阵大小为[α2MNUV×1]，高斯权重矩阵Q大小为[α2MNUV×α2MNUV]，α依然为下采样参数。视差图像在经过权重矩阵之后还需要经过上采样矩阵Ulh，上采样矩阵大小为[MNUV×α2MNUV]，根据视点的相对位置将图像矩阵插值为合成图大小。为了避免深度反转，还需在合成过程中加入视差偏移矩阵T1。最终合成图f由下式得出：
在一种可能的实现方式中，在基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理之前，本公开实施例提供的三维图像合成方法还包括以下步骤：
获取图像采集装置拍摄的同一场景下的多张视差图像，以及获取每一张视差图像对应的视差图像二维阵列。
在一种可能的实现方式中，预设显示图像合成模型包括高斯权重矩阵子模型，基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理包括以下步骤：
基于高斯权重矩阵子模型，对每一张视差图像对应的视差图像二维矩阵均进行高斯分布加权处理，得到第一图像处理结果，第一图像处理结果中包括不同视点的相对位置信息和第一图像矩阵。
在一种可能的实现方式中，预设显示图像合成模型包括上采样矩阵子模型，基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理包括以下步骤：
读取第一图像处理结果中的同视点的相对位置信息和第一图像矩阵；
基于上采样矩阵子模型和不同视点的相对位置信息，对第一图像矩阵进行插值处理，生成第一合成图像。
在一种可能的实现方式中，预设显示图像合成模型包括视差偏移矩阵子模型，基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像包括以下步骤：
获取第一合成图像；
基于视差偏移矩阵子模型，对第一合成图像进行偏移处理，以减小图像深度反转概率，生成初始三维合成图像。
S404：获取初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像。
在一种可能的实现方式中，在获取初始三维合成图像在不同视点位置下对应的各个光场显示图像之前，本公开实施例提供的三维图像合成方法还包括以下步骤：
基于预设显示模型，对初始三维合成图像进行显示处理，得到在不同视点位置下对应的各个光场显示图像。
如图6所示，是本公开实施例提供的减小错切概率的三维图像合成方法所采用的预设显示模型的示意图。
如图6所示，在某一具体应用场景下，预设显示模型为集成成像显示过程的光场模型。LCD发射的光线穿过透镜阵列到达HFS(全息功能屏)，经过人眼采样形成视差图像。LCD平面显示的合成图定义为矩阵f，透镜的视差偏移作用定义为矩阵T，人眼的空间下采样作用定义为Dmn，经过观看者人眼下采样后到达人眼的图像定义为gmn。根据观看者人眼位置不同，下采样矩阵Dmn和到达人眼的图像gmn也不同，具体模型所采用的算法对应的公式如下式所示：
gmn＝DmnT f(m＝1，2、3，...，M.n＝1、2，3，...，N.)；
其中，合成图模型f大小为[MNUV×1]，M为视差图像横向数目，N为视差图像纵向数目，U为透镜阵列横向数目，V为透镜阵列纵向数目。视差偏移矩阵T大小为[MNUV×MNUV]。空间下采样矩阵Dmn大小为[MNUV×α2MNUV]，空间信息经过下采样矩阵转换的图像gmn大小为[α2MNUV×1]。α为下采样参数，由下式可得：
其中，gc为透镜阵列到LCD的距离，gh为透镜阵列到HFS的距离，gv为观看者到HFS的距离。αM×αN代表人眼通过一个透镜看见的像素数目。
S406：基于预设拟合度评测模型，确定各个光场显示图像和对应的视差图像之间的最小差值。
在本申请实施例中，由于高斯分布由均值和方差两参数决定，在权值矩阵中采用不同的参数组合，显示的三维光场会有不用的光线分布。为了得到高斯分布权值矩阵的最优解，基于如图6所示的预设显示模型(即光场显示模型)，引入了预设拟合度评测模型，该预设拟合度评测模型用于评测各个光场显示图像和对应的视差图像和视差图像之间的拟合程度。
在某一种具体应用场景中，用于计算各个光场显示图像和对应的视差图像和视差图像之间的拟合程度的公式如下所述：
当光场显示图像与视差图像差值最小时，该参数的高斯模型产生的合成图错切最小，显示深度最大。
在一种可能的实现方式中，基于预设拟合度评测模型，确定各个光场显示图像和对应的视差图像之间的最小差值包括以下步骤：
基于预设拟合度评测模型，对各个光场显示图像和对应的视差图像之间的差值分别进行计算，得到多个差值；
从多个差值中选取最小差值。
S408：基于最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像，优化三维合成图像能够减少初始三维合成图像的错切概率。
在本公开实施例中，基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像；获取初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像；基于预设拟合度评测模型，确定各个光场显示图像和对应的视差图像之间的最小差值；以及基于最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像，优化三维合成图像能够减少初始三维合成图像的错切概率。因此，采用本申请实施例，由于引入了预设显示图像合成模型，这样，将人眼观看到的图像从带有错切的图像变为视差图，从而大大地减少了错切概率，三维显示景深也会相应提升，此外，预设拟合度评测模型，能够精准地确定出各个光场显示图像和对应的视差图像之间的最小差值，在该最小差值的前提下，生成的优化三维合成图像具有最小错切，显示深度最大。
下述为本发明减小错切概率的三维图像合成装置实施例，可以用于执行本发明减小错切概率的三维图像合成方法实施例。对于本发明减小错切概率的三维图像合成装置实施例中未披露的细节，请参照本发明减小错切概率的三维图像合成方法实施例。
请参见图7，其示出了本发明一个示例性实施例提供的减小错切概率的三维图像合成装置的结构示意图。该减小错切概率的三维图像合成装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该减小错切概率的三维图像合成装置包括图像合成模块701、获取模块702、确定模块703和优化合成图像生成模块704。
具体而言，图像合成模块701，用于基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像；
获取模块702，用于获取图像合成模块701生成的初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像；
确定模块703，用于基于预设拟合度评测模型，确定获取模块702获取的各个光场显示图像和对应的视差图像之间的最小差值；
优化合成图像生成模块704，用于基于确定模块703确定的最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像，优化三维合成图像能够减少初始三维合成图像的错切概率。
可选的，预设显示图像合成模型包括高斯权重矩阵子模型，图像合成模块701具体用于：
基于高斯权重矩阵子模型，对每一张视差图像对应的视差图像二维矩阵均进行高斯分布加权处理，得到第一图像处理结果，第一图像处理结果中包括不同视点的相对位置信息和第一图像矩阵。
可选的，预设显示图像合成模型包括上采样矩阵子模型，图像合成模块701具体用于：
读取第一图像处理结果中的同视点的相对位置信息和第一图像矩阵；
基于上采样矩阵子模型和不同视点的相对位置信息，对第一图像矩阵进行插值处理，生成第一合成图像。
可选的，预设显示图像合成模型包括视差偏移矩阵子模型，图像合成模块701具体用于：
获取第一合成图像；
基于视差偏移矩阵子模型，对第一合成图像进行偏移处理，以减小图像深度反转概率，生成初始三维合成图像。
可选的，确定模块703用于：
基于预设拟合度评测模型，对各个光场显示图像和对应的视差图像之间的差值分别进行计算，得到多个差值；
从多个差值中选取最小差值。
可选的，获取模块702还用于：
在图像合成模块701基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理之前，获取图像采集装置拍摄的同一场景下的多张视差图像，以及获取每一张视差图像对应的视差图像二维阵列。
可选的，所述装置还包括：
显示处理模块(在图7中未示出)，用于在获取模块702获取初始三维合成图像在不同视点位置下对应的各个光场显示图像之前，基于预设显示模型，对初始三维合成图像进行显示处理，得到在不同视点位置下对应的各个光场显示图像。
需要说明的是，上述实施例提供的减小错切概率的三维图像合成装置在执行减小错切概率的三维图像合成方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的减小错切概率的三维图像合成装置与减小错切概率的三维图像合成方法实施例属于同一构思，其体现实现过程详见减小错切概率的三维图像合成方法实施例，这里不再赘述。
在本公开实施例中，图像合成模块用于基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像；获取模块用于获取图像合成模块生成的初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像；确定模块用于基于预设拟合度评测模型，确定获取模块获取的各个光场显示图像和对应的视差图像之间的最小差值；以及优化合成图像生成模块用于基于确定模块确定的最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像，优化三维合成图像能够减少初始三维合成图像的错切概率。因此，采用本申请实施例，由于引入了预设显示图像合成模型，这样，将人眼观看到的图像从带有错切的图像变为视差图，从而大大地减少了错切概率，三维显示景深也会相应提升，此外，预设拟合度评测模型，能够精准地确定出各个光场显示图像和对应的视差图像之间的最小差值，在该最小差值的前提下，生成的优化三维合成图像具有最小错切，显示深度最大。
在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像；获取初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像；基于预设拟合度评测模型，确定各个光场显示图像和对应的视差图像之间的最小差值；以及基于最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像，优化三维合成图像能够减少初始三维合成图像的错切概率。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像；获取初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像；基于预设拟合度评测模型，确定各个光场显示图像和对应的视差图像之间的最小差值；以及基于最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像，优化三维合成图像能够减少初始三维合成图像的错切概率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种减小错切概率的三维图像合成方法，其特征在于，所述方法包括：
基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像；
获取所述初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像；
基于预设拟合度评测模型，确定各个光场显示图像和对应的视差图像之间的最小差值；所述预设拟合度评测模型用于评测各个光场显示图像和对应的视差图像和视差图像之间的拟合程度；
基于所述最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像，所述优化三维合成图像能够减少初始三维合成图像的错切概率。
2.根据权利要求1所述的方法，其特征在于，所述预设显示图像合成模型包括高斯权重矩阵子模型，所述基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理包括：
基于所述高斯权重矩阵子模型，对每一张视差图像对应的视差图像二维矩阵均进行高斯分布加权处理，得到第一图像处理结果，所述第一图像处理结果中包括不同视点的相对位置信息和第一图像矩阵。
3.根据权利要求2所述的方法，其特征在于，所述预设显示图像合成模型包括上采样矩阵子模型，所述基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理包括：
读取所述第一图像处理结果中的同视点的相对位置信息和所述第一图像矩阵；
基于所述上采样矩阵子模型和不同视点的相对位置信息，对所述第一图像矩阵进行插值处理，生成第一合成图像。
4.根据权利要求3所述的方法，其特征在于，所述预设显示图像合成模型包括视差偏移矩阵子模型，所述基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像包括：
获取所述第一合成图像；
基于所述视差偏移矩阵子模型，对所述第一合成图像进行偏移处理，以减小图像深度反转概率，生成所述初始三维合成图像。
5.根据权利要求1所述的方法，其特征在于，所述基于预设拟合度评测模型，确定各个光场显示图像和对应的视差图像之间的最小差值包括：
基于所述预设拟合度评测模型，对各个光场显示图像和对应的视差图像之间的差值分别进行计算，得到多个差值；
从多个差值中选取最小差值。
6.根据权利要求1所述的方法，其特征在于，在所述基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理之前，所述方法还包括：
获取图像采集装置拍摄的同一场景下的多张视差图像，以及获取每一张视差图像对应的视差图像二维阵列。
7.根据权利要求1所述的方法，其特征在于，在所述获取所述初始三维合成图像在不同视点位置下对应的各个光场显示图像之前，所述方法还包括：
基于预设显示模型，对所述初始三维合成图像进行显示处理，得到在不同视点位置下对应的各个光场显示图像。
8.一种减小错切概率的三维图像合成装置，其特征在于，所述装置包括：
图像合成模块，用于基于预设显示图像合成模型，对每一张视差图像对应的视差图像二维矩阵进行图像合成处理，生成初始三维合成图像；
获取模块，用于获取所述图像合成模块生成的所述初始三维合成图像在三维光场不同视点位置下对应的各个光场显示图像；
确定模块，用于基于预设拟合度评测模型，确定所述获取模块获取的各个光场显示图像和对应的视差图像之间的最小差值；所述预设拟合度评测模型用于评测各个光场显示图像和对应的视差图像和视差图像之间的拟合程度；
优化合成图像生成模块，用于基于所述确定模块确定的所述最小差值确定的最小差值高斯权重矩阵生成优化三维合成图像，所述优化三维合成图像能够减少初始三维合成图像的错切概率。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述三维图像合成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至7中任一项权利要求所述三维图像合成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111052398.XA CN113763301B (zh) | 2021-09-08 | 2021-09-08 | 一种减小错切概率的三维图像合成方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111052398.XA CN113763301B (zh) | 2021-09-08 | 2021-09-08 | 一种减小错切概率的三维图像合成方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763301A CN113763301A (zh) | 2021-12-07 |
| CN113763301B true CN113763301B (zh) | 2024-03-29 |
Family
ID=78794104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111052398.XA Active CN113763301B (zh) | 2021-09-08 | 2021-09-08 | 一种减小错切概率的三维图像合成方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763301B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114923669A (zh) * | 2022-04-08 | 2022-08-19 | 北京邮电大学 | 三维显示系统的显示质量检测方法、装置、设备及介质 |
| CN114815286B (zh) * | 2022-04-11 | 2023-07-21 | 北京邮电大学 | 全视差三维光场显示系统的参数确定方法、装置及设备 |
| CN114879377B (zh) * | 2022-04-11 | 2023-06-23 | 北京邮电大学 | 水平视差三维光场显示系统的参数确定方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104683784A (zh) * | 2015-02-04 | 2015-06-03 | 长春理工大学 | 一种基于图像错切变换的全自动2d转3d视频方法 |
| EP3246871A1 (en) * | 2016-05-20 | 2017-11-22 | Shenyang Neusoft Medical Systems Co., Ltd. | Image splicing |
| KR102253320B1 (ko) * | 2019-12-26 | 2021-05-17 | 충북대학교 산학협력단 | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 |
| CN113222868A (zh) * | 2021-04-25 | 2021-08-06 | 北京邮电大学 | 图像合成方法及装置 |
-
2021
- 2021-09-08 CN CN202111052398.XA patent/CN113763301B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104683784A (zh) * | 2015-02-04 | 2015-06-03 | 长春理工大学 | 一种基于图像错切变换的全自动2d转3d视频方法 |
| EP3246871A1 (en) * | 2016-05-20 | 2017-11-22 | Shenyang Neusoft Medical Systems Co., Ltd. | Image splicing |
| KR102253320B1 (ko) * | 2019-12-26 | 2021-05-17 | 충북대학교 산학협력단 | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 |
| CN113222868A (zh) * | 2021-04-25 | 2021-08-06 | 北京邮电大学 | 图像合成方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 多层光场三维显示及其图像计算的优化;周云峰;徐良;李海峰;刘旭;;光子学报;20180514(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763301A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113763301B (zh) | 一种减小错切概率的三维图像合成方法和装置 | |
| US20080211737A1 (en) | Three-dimensional display apparatus using intermediate elemental images | |
| CN107390379B (zh) | 一种近眼全息三维显示系统和显示方法 | |
| CN111325693B (zh) | 一种基于单视点rgb-d图像的大尺度全景视点合成方法 | |
| WO2004114224A1 (ja) | 仮想視点画像生成方法及び３次元画像表示方法並びに装置 | |
| KR20170005009A (ko) | ３ｄ 라돈 이미지의 생성 및 사용 | |
| US11308682B2 (en) | Dynamic stereoscopic rendering method and processor | |
| CN111047709A (zh) | 一种双目视觉裸眼3d图像生成方法 | |
| US11561508B2 (en) | Method and apparatus for processing hologram image data | |
| CN113222868B (zh) | 图像合成方法及装置 | |
| Thatte et al. | Depth augmented stereo panorama for cinematic virtual reality with focus cues | |
| CN116503536B (zh) | 一种基于场景分层的光场渲染方法 | |
| CN114815286B (zh) | 全视差三维光场显示系统的参数确定方法、装置及设备 | |
| CN114879377B (zh) | 水平视差三维光场显示系统的参数确定方法、装置及设备 | |
| CN113900608B (zh) | 立体三维光场的显示方法、装置、电子设备及介质 | |
| CN114339191B (zh) | 一种基于多视点重建的裸眼三维显示方法 | |
| KR100927234B1 (ko) | 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체 | |
| CN108833893A (zh) | 一种基于光场显示的3d图像校正方法 | |
| Kim et al. | Effects of depth map quantization for computer-generated multiview images using depth image-based rendering | |
| CN112465693A (zh) | 一种360°环视水下视觉成像方法及系统 | |
| CN114004773A (zh) | 基于深度学习以及反向映射实现的单目多视点视频合成方法 | |
| Yu et al. | Dynamic depth of field on live video streams: A stereo solution | |
| Hyun et al. | Curved Projection Integral Imaging Using an Additional Large‐Aperture Convex Lens for Viewing Angle Improvement | |
| Lei et al. | Unsupervised Learning of High-resolution Light Field Imaging via Beam Splitter-based Hybrid Lenses | |
| CN113821107B (zh) | 一种实时、自由视点的室内外裸眼3d系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |