CN105093522B - 基于相位的双目转多目虚拟视图合成方法 - Google Patents
基于相位的双目转多目虚拟视图合成方法 Download PDFInfo
- Publication number
- CN105093522B CN105093522B CN201510398760.7A CN201510398760A CN105093522B CN 105093522 B CN105093522 B CN 105093522B CN 201510398760 A CN201510398760 A CN 201510398760A CN 105093522 B CN105093522 B CN 105093522B
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- image
- mtr
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Abstract
本发明提出一种基于相位的双目转多目虚拟视图合成方法，包括以下步骤：采集双目图像，其中，双目图像位于RGB色彩空间，双目图像包括左图像和右图像；将双目图像变换至YIQ色彩空间以得到变换后的左图像和右图像；分别将变换后的左图像和右图像进行可控复数金字塔分解；计算变换后的左图像和右图像分解后每个点对应的相位差；根据每个点对应的相位差进行相位差值操作以得到相位插值图像序列，并对相位插值图像序列进行反混叠滤波处理，以重构并恢复图像；将重构并恢复的图像转换至RGB色彩空间。本发明的方法能够更好的进行外推插值合成新视点以及对散焦模糊、运动模糊、含有高反射性物体的图片具有良好的合成效果。
Description
技术领域
本发明涉及计算机视觉及计算机图形学技术领域，特别涉及一种基于相位的双目转多目虚拟视图合成方法。
背景技术
裸眼多视点3D技术摆脱了传统立体显示中必须佩带眼镜的束缚，观众可以在较大角度范围内在不同方位自由的观看不同视角的立体图像，可以说是目前最前沿的一种立体显示技术。而当前制约裸眼3D发展的一个重要因素是片源的稀缺，现阶段市场上主流的3D片源都是根据快门式或偏光式双目技术制作的，这些片源需要重新制作或者重构转换成多视角片源才能应用到裸眼3D设备上，无形中增加了大量的成本。因此解决显示片源的问题是拓展裸眼3D显示器的应用领域需要解决的首要问题。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此，本发明的目的在于提供一种基于相位的双目转多目虚拟视图合成方法，该方法能够更好的进行外推插值合成新视点以及对散焦模糊、运动模糊、含有高反射性物体的图片具有良好的合成效果。
为了实现上述目的，本发明的实施例提出了一种基于相位的双目转多目虚拟视图合成方法，包括以下步骤：采集双目图像，其中，所述双目图像位于RGB色彩空间，所述双目图像包括左图像和右图像；将所述双目图像变换至YIQ色彩空间以得到变换后的左图像和右图像；分别将所述变换后的左图像和右图像进行可控复数金字塔分解；计算所述变换后的左图像和右图像分解后每个点对应的相位差；根据所述每个点对应的相位差进行相位插值操作以得到相位插值图像序列，并对所述相位插值图像序列进行反混叠滤波处理，以重构并恢复图像；将重构并恢复的图像转换至所述RGB色彩空间。
根据本发明实施例的基于相位的双目转多目虚拟视图合成方法，通过可控金字塔分解得到不同频带对应的空间场进行相位插值变换，通过滤波操作减弱噪声和振铃效应，逐级重构金字塔产生新的视角的图像。跟传统的基于视图变形的算法和基于深度的算法比较能够更好的外推插值合成新视点以及对散焦模糊、运动模糊的图片具有良好的合成效果。
另外，根据本发明上述实施例的基于相位的双目转多目虚拟视图合成方法还可以具有如下附加的技术特征：
在一些示例中，将位于RGB色彩空间的所述双目图像变换至YIQ色彩空间的变换式如下：
在一些示例中，所述分别将所述变换后的左图像和右图像进行可控复数金字塔分解，进一步包括：
设输入的所述双目图像为I，将所述双目图像I作DFT变换得到将分别作低通滤波和高通滤波得到L0(ω)和H0(ω)，其中低通滤波器和高通滤波器表达式如下：
其中L(r)是低通滤波器，H(r)是高通滤波器，r是以中心点为原点的极坐标系的归一化长度；
对得到的L0(ω)用K-1阶方向导数算子滤波器得到K个方向的滤波器，所述滤波器是关于原点对称的，K阶方向导数滤波器公式如下：
其中，Gk(r)只在范围内取值，将G0到GK-1分别乘以该层的低通滤波器和高通滤波器得到带通滤波器A0到AK-1，具体为：
Ak＝Gk(r)L(r)H(r)＝L0(ω)Gk(r)H(r)(k＝0,...,k-1)；
将L0(ω)进行倍数为2的降采样，由于L0(ω)是频域图像，降采样即取以中心点为中心，长宽分别为L0(ω)一半的矩形，并对降采样后的图像进行下一层的低通滤波得到L1(ω)，依次执行上述步骤以构造出金字塔结构。
在一些示例中，所述计算所述变换后的左图像和右图像分解后每个点对应的相位差，进一步包括：从最低层开始找到相位异常点，对次低层各个方向均判断找到对应中心距离2倍的点进行修正，从次低层开始各个方向分别对应逐级向上找到对应的距离中心2倍距离的点进行修正直到金字塔的顶层。
在一些示例中，根据所述每个点对应的相位差进行相位差值操作以得到相位插值图像序列，进一步包括：
傅里叶光学理论中平面复场的傅里叶变换后的分量可以看作是沿不同方向离开该平面传播的平面波，设平面上复场为U(x,y)，对应傅里叶域为A(fX,fY)，则二者关系如下：
以代表二维离散空间变量(x,y)，以代表二维离散频域变量(fX，fY)，其中(x，y)和(fX,fY)均为实数向量；
将傅里叶变换后的频域图像截半反变换回来以构建空间复数场，具体如下：
其中是傅里叶变换式截取一半信息得到的，则实际是复函数，即每个实数对对应的值为复数，假设左图像为右图像为则左、右图像离散化后的表达式分别如下所示：
利用可控复数金字塔分解将分解为各个频带以及不同方向上对应的空间场分量，则对于金字塔对应频率为方向为Θ的子带的空间场可以表示为：
其中Anglemask(Θ)是对应方向滤波器，由于每个频带各个方向的处理方法相同且重构时各方向对应的空间场是简单求和相加，因此不区分方向公式可写作：
根据左、右图像的偏置对右图加入偏置其中α是偏置系数，理论上可以取到整个实数域，因此加入相位偏移量后新的空间场可以表示为：
在一些示例中，所述对所述相位插值图像序列进行反混叠滤波处理，以重构并恢复图像，进一步包括：
用S(x,y,α)表示右图像偏移量为α的空间复数场，为了反混叠滤波，对相位偏移为α的图像需要与其附近的图像以某一系列权重系数进行滤波，假设滤波器为F，则滤波后的图像可以表示为：
上述公式可以继续变换为：
其中代表右图像相位偏移量为α的图像空域复数场，是右图像的空域复数场，采用高斯滤波器：
代入上面公式得：
其中δ是修正后的可控复数金字塔每个点对应的相位差。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的基于相位的双目转多目虚拟视图合成方法的流程图；
图2是根本发明一个具体实施例的右图像取值对图像在空间中的位置示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
以下结合附图描述根据本发明实施例的基于相位的双目转多目虚拟视图合成方法。
图1是根据本发明一个实施例的基于相位的双目转多目虚拟视图合成方法的流程图。如图1所示，该方法包括以下步骤：
步骤S101：采集双目图像，其中，双目图像位于RGB色彩空间，双目图像包括左图像和右图像。
步骤S102：将双目图像变换至YIQ色彩空间以得到变换后的左图像和右图像。具体地说，在本发明的一个实施例中，将位于RGB色彩空间的双目图像变换至YIQ色彩空间的变换式如下：
步骤S103：分别将变换后的左图像和右图像进行可控复数金字塔分解。其中，可控复数金字塔分解是根据可控金字塔分解发展而来的。可控金字塔变换是对图片在空间尺度、方向的过完备分解与重构的变换。变换的基函数是类小波函数及高斯窗口限制的正弦函数，这些基函数都是可控的，因此被称为可控金字塔变换。输入图像经过低通滤波得到低频分量L0和高频分量H0，将L0通过k个方向带通滤波器得到B0到BK-1共k个子带，L0低通滤波得到L，将L降采样后重复上述过程，最多分解层数是[log2(min(图像宽度，图像高度))]-2，其中[]代表向下取整。
在本发明的一个实施例中，步骤S103进一步包括：
步骤1：设输入双目图像为I，将双目图像I作DFT(Discrete Fourier Transform，离散傅里叶变换)得到将分别作低通滤波和高通滤波得到L0(ω)和H0(ω)，其中低通滤波器和高通滤波器表达式如下：
其中L(r)是低通滤波器，H(r)是高通滤波器，r是以中心点为原点的极坐标系的归一化长度，即将双目图像中相对中心点坐标为(x,y)的点对应的极坐标长度为：
需要说明的是，此处的(x,y)的坐标轴的y轴与传统概念上的y轴方向是相反的，与二维数组下标的增长趋势一致，其中width和hight分别表示双目图像的宽度和高度，因此
步骤2：对得到的L0(ω)用K-1阶方向导数算子滤波器得到K个方向的滤波器，这些滤波器是关于原点对称的，K阶方向导数滤波器公式如下：
而要想构造空间复数场，频域对称的方向仅取一支，因此，Gk(r)只在范围内取值，将G0到GK-1分别乘以该层的低通滤波器和高通滤波器得到带通滤波器A0到AK-1，具体为：
Ak＝Gk(r)L(r)H(r)＝L0(ω)Gk(r)H(r)(k＝0,...,k-1)。
步骤3：通过上述步骤1和步骤2可以分解得到第一层金字塔的频域数据，将L0(ω)进行倍数为2的降采样，由于L0(ω)是频域图像，降采样即取以中心点为中心，长宽分别为L0(ω)一半的矩形，并对降采样后的图像进行下一层的低通滤波得到L1(ω)，依次重复执行上述步骤1和步骤2以构造出金字塔结构，对第一层高频数据和最底层低频数据做傅里叶反变换并取实部得到空间实数场，对其它层数据做傅里叶变换得到空间复数场，这样就可以对中间各子频带内的空间复数场的相位进行操作产生新的视角的虚拟视图。然而这样不对高频数据做空间场的处理会使图像损失一些细节信息，因此将高频数据按照上述步骤1中的理论同样变换为空间复数场，即将高频数据同样在频域范围截半处理作傅里叶反变换得到具有相位的高频段对应的空间复数场，这样可以使图像的局部细节恢复和原图像更加一致。
步骤S104：计算变换后的左图像和右图像分解后每个点对应的相位差。在本发明的一个实施例中，由于金字塔分解的下采样在频域是取中心一半长宽的矩形图像区域，对应在空间域就是隔点采样，因此较低层的相位修正点对应更高一层以原点为原点，x、y轴距离均加倍的点。具体包括：从最低层开始找到相位异常点，对次低层各个方向均判断找到对应中心距离2倍的点进行修正，从次低层开始各个方向分别对应逐级向上找到对应的距离中心2倍距离的点进行修正直到金字塔的顶层。换言之，该步骤即相位差值的求取以及修正，通过两幅图片分别分解的分量进行点对点的相位求取后做差就得到点对点的相位差，由于程序求取角度函数一般将角度限制在-π～π之间，不会出现区域外的相位。由于可控复数金字塔升降采样的倍数均为2，因此在较低层相位差大于的点在更高一层图像中的对应点的相位差值大于π，而求取的相位及相减求差操作在遇到大于π的相位时会以2π为周期转换到-π～π之间，因此算法需要为上述异常点重新赋值：从最低层遍历寻找相位差大于的点，将更高一层对应点的相位差值人工置为该点的相位差值的2倍。
步骤S105：根据每个点对应的相位差进行相位插值操作以得到相位插值图像序列，并对相位插值图像序列进行反混叠滤波处理，以重构并恢复图像。相位插值及反混叠滤波，将得到的不同频带上的空域分量的相位分别进行内推或外插得到对应不同新视点的频带空域分量。由于合成后的图像还要进行反混叠滤波，而对分量分别进行反混叠滤波再重构图片相比于重构图片后进行反混叠滤波大大减少了计算量，因此将相位插值和反混叠滤波一起进行。随后将图像进行金字塔重构以及YIQ到RGB空间的转换得到不同视角的新的虚拟视图。
在步骤S105中，根据每个点对应的相位差进行相位插值操作以得到相位插值图相同序列，进一步包括：
傅里叶光学理论中平面复场的傅里叶变换后的分量可以看作是沿不同方向离开该平面传播的平面波，设平面上复场为U(x,y)，对应傅里叶域为A(fX,fY)，则二者关系如下：
此处为了简便以代表二维离散空间变量(x,y)，以代表二维离散频域变量(fX,fY)，其中(x,y)和(fX,fY)均为实数向量。
将傅里叶变换后的频域图像截半反变换回来以构建空间复数场，具体如下：
其中是傅里叶变换式截取一半信息得到的，则实际是复函数，即每个实数对对应的值为复数，假设左图像为右图像为则左、右图像离散化后的表达式分别如下所示：
由于左、右图像处理方法类似，下面仅以右图像为例对下面算法进行说明。利用可控复数金字塔分解将分解为各个频带以及不同方向上对应的空间场分量，则对于金字塔对应频率为方向为Θ的子带的空间场可以表示为：
其中Anglemask(Θ)是对应方向滤波器，由于每个频带各个方向的处理方法相同且重构时各方向对应的空间场是简单求和相加，因此不区分方向公式可写作：
根据左、右图像的偏置对右图加入偏置其中α是偏置系数，理论上可以取到整个实数域，因此加入相位偏移量后新的空间场可以表示为：
由上述公式可以看出α＝-1时右图像偏置得到左图像，同理左图像α＝1时得到右图像的表达式，本发明实施例的方法与基于空间域变形的方法以及基于深度的方法一个显著的不同就是能够比较好的支持适当的外推生成新的视角图片，而不仅限于在两幅图中间进行插值。对于右图像α取值对图像在空间中的位置如下图2所示。其中括号内的数字是对右图像的偏置系数，对于左图像同理，特殊的右图像α取-0.5时对应左、右图像的中点，因此在实际生成图像的时候对左、右图像中点以左的图像使用左图像进行相位偏置合成，对中点以右的图像使用右图像进行相位偏置合成。在该示例中，分别使用了-3，-2，-1，0，0，1，2，3以及-2/3，-1/3，0，1/3，-1/3，0，1/3，2/3两组数据，其中每组数据前四个对应左图相位偏置取值，后四个对应右图相位偏置取值。
在步骤S105中，对相位插值图像序列进行反混叠滤波处理，以重构并恢复图像，进一步包括：
由于后面各个频带处理方法类似，为了表示方便，例如用S(x,y,α)表示右图像偏移量为α的空间复数场，为了反混叠滤波，对相位偏移为α的图像需要与其附近的图像以某一系列权重系数进行滤波，假设滤波器为F，则滤波后的图像可以表示为：
上述公式可以继续变换为：
其中代表右图像相位偏移量为α的图像空域复数场，是右图像的空域复数场，通过上述公式的变换将右图像的分量提取到积分符号以外，这大大减小了计算量，在该示例中，此处的滤波器采用高斯滤波器：
代入上面公式得：
其中δ是修正后的可控复数金字塔每个点对应的相位差，这样仅需调整参数α与σ就可以一步完成相位插值和滤波的操作得到一系列不同α对应的不同视角的新的虚拟视图，大大的提高了算法的效率。另外左图像将表达式变为可以得到与上述结果相同的表达式，即对左图像和右图像有相同的表达式对金字塔分解后的数据进行相位偏置和反混叠滤波。这样在得到金字塔分解后的数据仅需使用不同的α对各层做上述变换得到偏移滤波后的空域复数场，再通过可控复数金字塔重构就得到了需要的新的视角的虚拟视图。
步骤S106：将重构并恢复的图像转换至RGB色彩空间。
综上，根据本发明实施例的基于相位的双目转多目虚拟视图合成方法，通过可控金字塔分解得到不同频带对应的空间场进行相位插值变换，通过滤波操作减弱噪声和振铃效应，逐级重构金字塔产生新的视角的图像。跟传统的基于视图变形的算法和基于深度的算法比较能够更好的外推插值合成新视点以及对散焦模糊、运动模糊的图片具有良好的合成效果。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (1)
1.一种基于相位的双目转多目虚拟视图合成方法，其特征在于，包括以下步骤：
采集双目图像，其中，所述双目图像位于RGB色彩空间，所述双目图像包括左图像和右图像；
将所述双目图像变换至YIQ色彩空间以得到变换后的左图像和右图像；
分别将所述变换后的左图像和右图像进行可控复数金字塔分解；
计算所述变换后的左图像和右图像分解后每个点对应的相位差；
根据所述每个点对应的相位差进行相位插值操作以得到相位插值图像序列，并对所述相位插值图像序列进行反混叠滤波处理，以重构并恢复图像；
将重构并恢复的图像转换至所述RGB色彩空间，
其中，将位于RGB色彩空间的所述双目图像变换至YIQ色彩空间的变换式如下：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>Y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>I</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Q</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mn>0.3</mn>
</mtd>
<mtd>
<mn>0.59</mn>
</mtd>
<mtd>
<mn>0.11</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0.6</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>0.28</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>0.32</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0.21</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>0.52</mn>
</mrow>
</mtd>
<mtd>
<mn>0.31</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>G</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>B</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
其中，所述分别将所述变换后的左图像和右图像进行可控复数金字塔分解，进一步包括：
设输入的所述双目图像为I，将所述双目图像I作DFT变换得到将分别作低通滤波和高通滤波得到L0(ω)和H0(ω)，其中低通滤波器和高通滤波器表达式如下：
<mrow>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>&GreaterEqual;</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&pi;</mi>
<mn>2</mn>
</mfrac>
<mo>(</mo>
<mrow>
<msub>
<mi>log</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo><</mo>
<mi>r</mi>
<mo><</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo><</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
<mrow>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo><</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>&pi;</mi>
<mn>2</mn>
</mfrac>
<mo>(</mo>
<mrow>
<msub>
<mi>log</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo><</mo>
<mi>r</mi>
<mo><</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>&GreaterEqual;</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
其中L(r)是低通滤波器，H(r)是高通滤波器，r是以中心点为原点的极坐标系的归一化长度；
对得到的L0(ω)用K-1阶方向导数算子滤波器得到K个方向的滤波器，所述滤波器是关于原点对称的，K阶方向导数滤波器公式如下：
其中，Gk(r)只在范围内取值，将G0到GK-1分别乘以该层的低通滤波器和高通滤波器得到带通滤波器A0到AK-1，具体为：
Ak＝Gk(r)L(r)H(r)＝L0(ω)Gk(r)H(r)(k＝0,…,k-1)；
将L0(ω)进行倍数为2的降采样，由于L0(ω)是频域图像，降采样即取以中心点为中心，长宽分别为L0(ω)一半的矩形，并对降采样后的图像进行下一层的低通滤波得到L1(ω)，依次执行上述步骤以构造出金字塔结构；
其中，所述计算所述变换后的左图像和右图像分解后每个点对应的相位差，进一步包括：
从最低层开始找到相位异常点，对次低层各个方向均判断找到对应中心距离2倍的点进行修正，从次低层开始各个方向分别对应逐级向上找到对应的距离中心2倍距离的点进行修正直到金字塔的顶层；
其中，根据所述每个点对应的相位差进行相位插值操作以得到相位插值图像序列，进一步包括：
傅里叶光学理论中平面复场的傅里叶变换后的分量可以看作是沿不同方向离开该平面传播的平面波，设平面上复场为U(x,y)，对应傅里叶域为A(fX,fY)，则二者关系如下：
<mrow>
<mi>U</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>&Integral;</mo>
<munderover>
<mo>&Integral;</mo>
<mrow>
<mo>-</mo>
<mi>&infin;</mi>
</mrow>
<mi>&infin;</mi>
</munderover>
<mi>A</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>X</mi>
</msub>
<mo>,</mo>
<msub>
<mi>f</mi>
<mi>Y</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>exp</mi>
<mo>&lsqb;</mo>
<mi>j</mi>
<mn>2</mn>
<mi>&pi;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>X</mi>
</msub>
<mi>x</mi>
<mo>,</mo>
<msub>
<mi>f</mi>
<mi>Y</mi>
</msub>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<msub>
<mi>df</mi>
<mi>X</mi>
</msub>
<msub>
<mi>df</mi>
<mi>Y</mi>
</msub>
<mo>,</mo>
</mrow>
以代表二维离散空间变量(x,y)，以代表二维离散频域变量(fX,fY)，其中(x,y)和(fX,fY)均为实数向量；
将傅里叶变换后的频域图像截半反变换回来以构建空间复数场，具体如下：
其中是傅里叶变换式截取一半信息得到的，则实际是复函数，即每个实数对对应的值为复数，假设左图像为右图像为则左、右图像离散化后的表达式分别如下所示：
利用可控复数金字塔分解将分解为各个频带以及不同方向上对应的空间场分量，则对于金字塔对应频率为方向为Θ的子带的空间场可以表示为：
其中Anglemask(Θ)是对应方向滤波器，由于每个频带各个方向的处理方法相同且重构时各方向对应的空间场是简单求和相加，因此不区分方向公式可写作：
根据左、右图像的偏置对右图加入偏置其中α是偏置系数，理论上可以取到整个实数域，因此加入相位偏移量后新的空间场可以表示为：
其中，所述对所述相位插值图像序列进行反混叠滤波处理，以重构并恢复图像，进一步包括：
用S(x,y,α)表示右图像偏移量为α的空间复数场，为了反混叠滤波，对相位偏移为α的图像需要与其附近的图像以某一系列权重系数进行滤波，假设滤波器为F，则滤波后的图像可以表示为：
上述公式可以继续变换为：
其中代表右图像相位偏移量为α的图像空域复数场，是右图像的空域复数场，采用高斯滤波器：
<mrow>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msqrt>
<mrow>
<mn>2</mn>
<mi>&pi;</mi>
</mrow>
</msqrt>
<mi>&sigma;</mi>
</mrow>
</mfrac>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<msup>
<mi>&beta;</mi>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
代入上面公式得：
其中δ是修正后的可控复数金字塔每个点对应的相位差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510398760.7A CN105093522B (zh) | 2015-07-08 | 2015-07-08 | 基于相位的双目转多目虚拟视图合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510398760.7A CN105093522B (zh) | 2015-07-08 | 2015-07-08 | 基于相位的双目转多目虚拟视图合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105093522A CN105093522A (zh) | 2015-11-25 |
| CN105093522B true CN105093522B (zh) | 2017-10-24 |
Family
ID=54574321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510398760.7A Active CN105093522B (zh) | 2015-07-08 | 2015-07-08 | 基于相位的双目转多目虚拟视图合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105093522B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109062653B (zh) * | 2018-08-20 | 2022-02-25 | 珠海市筑巢科技有限公司 | 长图文信息显示方法、计算机装置及计算机可读存储介质 |
| CN109239914B (zh) * | 2018-09-12 | 2020-05-01 | 南京大学 | 一种实现高空间带宽积的成像方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101312542B (zh) * | 2008-07-07 | 2010-09-08 | 浙江大学 | 一种自然三维电视系统 |
| CN101877174B (zh) * | 2009-09-29 | 2012-07-25 | 杭州海康威视软件有限公司 | 车速测量方法、监控机及车速测量系统 |
| CN102144927B (zh) * | 2010-02-10 | 2012-12-12 | 清华大学 | 基于运动补偿的ct设备和方法 |
| CN104392045B (zh) * | 2014-11-25 | 2018-01-09 | 沈阳建筑大学 | 一种基于智能移动终端的实时增强虚拟现实系统及方法 |
-
2015
- 2015-07-08 CN CN201510398760.7A patent/CN105093522B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105093522A (zh) | 2015-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2417749C (en) | Edge-preserving enhancement of seismic images by nonlinear anisotropic diffusion | |
| Unser et al. | A unifying parametric framework for 2D steerable wavelet transforms | |
| Piccinni et al. | A new data analysis framework for the search of continuous gravitational wave signals | |
| Ji et al. | Robust wavelet-based super-resolution reconstruction: theory and algorithm | |
| US7760913B2 (en) | Geospatial modeling system providing non-linear in painting for voids in geospatial model frequency domain data and related methods | |
| US20080273759A1 (en) | Geospatial Modeling System Providing Non-Linear Inpainting for Voids in Geospatial Model Terrain Data and Related Methods | |
| CN103907109B (zh) | 为图像处理目的用滤波器应用卷积的快速数值逼近 | |
| US7750902B2 (en) | Geospatial modeling system providing non-linear inpainting for voids in geospatial model cultural feature data and related methods | |
| CN109087346A (zh) | 单目深度模型的训练方法、训练装置和电子设备 | |
| Matsuno | Smooth and singular multisoliton solutions of a modified Camassa–Holm equation with cubic nonlinearity and linear dispersion | |
| Parsons et al. | Optimized beam sculpting with generalized fringe-rate filters | |
| Holman et al. | The attenuated geodesic x-ray transform | |
| US20140205204A1 (en) | Method and Apparatus for Image Fusion | |
| CN105093522B (zh) | 基于相位的双目转多目虚拟视图合成方法 | |
| CN109087259A (zh) | 基于卷积自编码器的叠前数据去噪方法及系统 | |
| Grain et al. | CMB E B and T B cross-spectrum estimation via pseudospectrum techniques | |
| Jepsen et al. | Recursion relations in p-adic Mellin space | |
| Cotton | Fourier Plane Image Combination by Feathering | |
| Luiken et al. | Seismic wavefield redatuming with regularized multi-dimensional deconvolution | |
| Upla et al. | Multiresolution image fusion using edge-preserving filters | |
| CN103901469B (zh) | 地震数据的恢复方法 | |
| Bajpai et al. | Analysis of image enhancement techniques used in remote sensing satellite imagery | |
| Bratsolis et al. | Comparison of optimized mathematical methods in the improvement of raster data and map display resolution of Sentinel-2 images | |
| CN103942775B (zh) | 基于最大核密度估计的相位相关亚像素匹配方法 | |
| Xu et al. | Remote sensing image interpolation via the nonsubsampled contourlet transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |