CN111080669A - 一种图像反射分离方法及装置 - Google Patents

一种图像反射分离方法及装置 Download PDF

Info

Publication number
CN111080669A
CN111080669A CN201911066820.XA CN201911066820A CN111080669A CN 111080669 A CN111080669 A CN 111080669A CN 201911066820 A CN201911066820 A CN 201911066820A CN 111080669 A CN111080669 A CN 111080669A
Authority
CN
China
Prior art keywords
image
frame
reflection
group
parameter prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911066820.XA
Other languages
English (en)
Other versions
CN111080669B (zh
Inventor
施柏鑫
李思
吕游伟
崔兆鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201911066820.XA priority Critical patent/CN111080669B/zh
Publication of CN111080669A publication Critical patent/CN111080669A/zh
Application granted granted Critical
Publication of CN111080669B publication Critical patent/CN111080669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像反射分离方法及装置，方法包括：将同一视点场景的图像组输入已训练的参数预测网络，由参数预测网络基于该图像组预测得到玻璃几何参数，该图像组由一帧偏振图像和一帧非偏振图像组成或者由两帧偏振角度不同的偏振图像组成；利用玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数；依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像。通过将输入图像减少到两帧图像，减小了数据获取的难度，能够在手机相机、监控设备等设备中部署，扩大了算法应用范围。本方案充分利用了光的偏振特性，由预测得到的玻璃几何参数进行逐像素计算以实现图像的反射分离，可提升输出背景图像和反射图像的质量。

Description

一种图像反射分离方法及装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像反射分离方法及装置。
背景技术
在拍照时，反射干扰是一种常见的现象，如透过玻璃拍照时，拍照者会得到一张带有反射的图像。对于反射干扰，会使图像质量下降，并且还会影响更高层语义层面任务(如人脸识别、目标检测等任务)的处理，因此，在进行任务前需要对图像进行反射分离处理。
在现有技术中，通过在相机加装偏振片，以在同一视点条件下捕捉三个不同偏振角度的偏振图像，然后利用三张偏振图像提取偏振光的正交分量，通过遍历入射角的所有取值，利用每一入射角在正交方向上的分量计算每一入射角对应的背景图像和反射图像，最后计算每组背景图像与反射图像的互信息，并选取互信息最小的一组背景图像和反射图像输出。
然而，上述实现需要输入三张不同偏振角度的偏振图像，对拍摄设备及相关条件控制要求较高，拍摄难度大，实用性不高。
发明内容
本发明的目的是针对上述现有技术的不足提出的一种图像反射分离方法及装置，该目的是通过以下技术方案实现的。
本发明的第一方面提出了一种图像反射分离方法，所述方法包括：
将同一视点场景的图像组输入已训练的参数预测网络，以由所述参数预测网络基于该图像组预测得到玻璃几何参数；
利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数；
依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像；
其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。
本发明的第二方面提出了一种图像反射分离装置，所述装置包括：
参数预测模块，用于将同一视点场景的图像组输入已训练的参数预测网络，以由所述参数预测网络基于该图像组预测得到玻璃几何参数；
混合系数确定模块，用于利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数；
分离模块，用于依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像；
其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。
在本发明实施例中，通过将同一视点场景的图像组输入已训练的参数预测网络，以由参数预测网络基于该图像组预测得到玻璃几何参数，然后利用玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数，并依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像。其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。
基于上述描述可知，通过将输入图像减少到两帧图像，既可以是一对偏振与非偏振图像，也可以是一对偏振角度不同的图像，减小了数据获取的难度，能够在手机相机、监控设备等摄像设备中部署，扩大了算法应用范围。本方案充分利用了光的偏振特性，由预测得到的玻璃几何参数进行逐像素计算以实现图像的反射分离，可提升输出背景图像和反射图像的质量。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1A为本发明根据一示例性实施例示出的一种图像反射分离方法的实施例流程图；
图1B为本发明根据图1A所示实施例示出的一种偏振图像与非偏振图像的拍摄装置结构图；
图1C为本发明根据图1A所示实施例示出的一种图像反射分离流程结构示意图；
图2为本发明根据一示例性实施例示出的一种电子设备的硬件结构图；
图3为本发明根据一示例性实施例示出的一种图像反射分离装置的实施例流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
利用单张普通图像实现反射分离的方法，基于图像梯度稀疏分布、反射与背景图像的模糊程度不同以及玻璃厚度造成的重影效应等，当假设不满足时算法性能将大幅下降，因此适用的场景有限，算法泛化能力较差。
而基于物理的方法利用偏振图像，具有更可靠的理论依据，在物理模型满足的情况下求解相对适定的问题可以得到更稳定的图像恢复。利用偏振图像实现反射分离的物理基础在于，光线在玻璃表面发生镜面反射的同时，其偏振状态会发生改变。利用在相机前部加装可旋转的偏振片或者专业偏振相机可以捕捉到不同偏振角度下光强度变化的图像序列。该序列包含了透射图像与反射图像独立变化的强度系数，可以使用独立成分分析进行重叠图像的分离进而实现反射消除。通过分析玻璃反射与折射对光偏振状态的影响，可以对反射图像的形成过程进行物理上的建模，然后利用最优化求解或深度神经网络来实现独立的重叠图层分离。
下面对利用三张偏振图像分离反射图像和背景图像的实现过程进行介绍：
1)利用偏振片角度分别为0°、45°、90°的三张偏振图像I1(x)，I2(x)，I3(x)提取水平方向分量和垂直方向分量I⊥(x)，I||(x)：
Figure BDA0002259632930000051
Figure BDA0002259632930000052
其中，
Figure BDA0002259632930000053
2)由菲涅尔公式导出反射图像Ir(x)和背景图像It(x)：
Figure BDA0002259632930000061
Figure BDA0002259632930000062
其中，
Figure BDA0002259632930000063
表示垂直方向的反射比：
Figure BDA0002259632930000064
Figure BDA0002259632930000065
表示水平方向的反射比：
Figure BDA0002259632930000066
其中，θi为折射角，θi与θ满足斯涅尔定律的约束：
κsinθi＝sinθ
κ可取典型值1.474。
3)由于θ未知，将互信息作为目标损失函数，遍历θ所有可能取值，取损失函数值最小对应的分解结果作为最后解：
Figure BDA0002259632930000067
其中，
Figure BDA0002259632930000068
为互信息计算式，H(·)为图像熵计算式。
虽然上述方法展示了优异的反射消除能力，但是需要输入同一场景三张以上不同偏振角度的图像，要求拍摄者精准旋转镜头前的偏振片，同时保证相机静止，对拍摄设备及相关条件控制要求较高，拍摄难度很大，难以广泛应用。
为了解决上述技术问题，本发明提出了一种图像反射分离技术方案，通过将同一视点场景的图像组输入已训练的参数预测网络，以由参数预测网络基于该图像组预测得到玻璃几何参数，然后利用玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数，并依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像。其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。
基于上述描述可知，通过将输入图像减少到两帧图像，既可以是一对偏振与非偏振图像，也可以是一对偏振角度不同的图像，减小了数据获取的难度，能够在手机相机、监控设备等摄像设备中部署，扩大了算法应用范围。本方案充分利用了光的偏振特性，由预测得到的玻璃几何参数进行逐像素计算以实现图像的反射分离，可提升输出背景图像和反射图像的质量。
下面以具体实施例对本发明提出的图像反射分离方案进行详细阐述。
图1A为本发明根据一示例性实施例示出的一种图像反射分离方法的实施例流程图，所述图像反射分离方法可以应用到电子设备(如PC机、终端设备等)。如图1A所示，所述图像反射分离方法包括如下步骤：
步骤101：将同一视点场景的图像组输入已训练的参数预测网络，以由参数预测网络基于该图像组预测得到玻璃几何参数，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。
在执行步骤101之前，参数预测网络的训练过程可以是：分别从反射图像集与背景图像集中选取一帧反射图像和一帧背景图像，然后随机选择一组玻璃几何参数，并利用选择的玻璃几何参数分别确定用于训练参数预测网络的图像组中每帧图像上各像素点的混合系数，并对反射图像和背景图像分别进行动态范围调整，得到调整后的反射图像和调整后的背景图像，然后利用调整后的反射图像、调整后的背景图像以及图像组中每帧图像上各像素点的混合系数，合成用于训练参数预测网络的图像组，并利用合成的图像组训练参数预测网络模型，直至损失值低于预设数值，停止训练，所述损失值根据参数预测网络模型输出的玻璃几何参数和选择的玻璃几何参数获得。
其中，反射图像集和背景图像集可以通过从PLACE2的训练数据集获取。在选取一帧反射图像之后，可以使用不同大小的卷积核对反射图像进行模糊处理，以模拟现实中反射层往往有不同程度的模糊的情况。
下面以图像组由偏振图像与非偏振图像组成为例，对用于训练参数预测网络的图像组的合成过程进行详细介绍：
1)随机选取平面旋转参数α，β，计算图像上每个像素点对应的世界坐标系中的三维坐标：
Figure BDA0002259632930000081
其中，(u，v)为图像上像素点的像素坐标，z0为玻璃旋转前与相机的距离，已知量，(px，py)为变换主点坐标，已知量，f为选择的相机参数中的焦距，已知量。
2)计算图像上每个像素点的入射角和入射面的法向量：
Figure BDA0002259632930000091
nPoI＝nglass×X
其中，nglass＝[tanα -sinβ cosβ]T，表示玻璃法线方向；
由上述入射角公式可知，图像组中的两帧图像上同一像素位置的入射角相同。
由入射面法线方向导出使振动方向垂直于入射面的光分量通过最多的第一偏振片角度：
Figure BDA0002259632930000092
其中，xPoI为nPoI的x方向分量，yPoI为nPoI的y方向分量；
若使用使振动方向平行于入射面的光分量通过最多的第一偏振片角度，
Figure BDA0002259632930000093
3)根据菲涅尔公式和斯涅耳定律，分别计算用于训练参数预测网络的图像组中偏振图像的混合系数ζ(x)和非偏振图像的的混合系数ξ(x)：
Figure BDA0002259632930000094
Figure BDA0002259632930000095
其中，φ为偏振图像的第二偏振片角度(在训练网络时，该角度随机选择，在应用训练网络时，该角度为实际拍摄偏振图像时的偏振片角度)，φ⊥(x)可用φ||(x)等价替换，
Figure BDA0002259632930000096
与
Figure BDA0002259632930000097
为垂直方向与水平方向上的反射比：
Figure BDA0002259632930000101
Figure BDA0002259632930000102
4)随机模拟反射来源方向与背景方向上的光照情况，对初始选择的反射图像I′r(x)与背景图像I′t(x)进行动态范围调整：
Ir(x)＝I′r(x)/b
It(x)＝I′t(x)/b
其中，b为随机选取的动态范围因子。
5)合成用于训练参数预测网络的偏振图像Ipol(x)和非偏振图像Iunpol(x)：
Figure BDA0002259632930000103
Figure BDA0002259632930000104
基于上述描述，可以通过将预测值与真实值的均方误差作为损失函数值，并通过反向传播算法更新参数预测网络中各计算层权重，由此可得损失值计算公式如下：
Loss＝(α-α*)2+(β-β*)2
其中，α*和β*为选择的玻璃几何参数，α和β为参数预测网络模型输出的玻璃几何参数。
需要说明的是，当图像组由一对不同偏振角度的偏振图像组成时，对用于训练参数预测网络的图像组的合成过程中，上述步骤1)、2)、4)的公式不变，针对步骤3)根据菲涅尔公式和斯涅耳定律分别计算用于训练参数预测网络的图像组中偏振片角度为φ1的偏振图像的混合系数ζ1(x)和偏振片角度为φ2的偏振图像的混合系数ζ2(x)的公式如下：
Figure BDA0002259632930000111
Figure BDA0002259632930000112
针对步骤5)合成用于训练参数预测网络的图像组中两帧偏振图像Ipol1(x)和Ipol2(x)的公式如下：
Figure BDA0002259632930000113
Figure BDA0002259632930000114
在步骤101中，通过本参数预测网络中的拼接层将该图像组中两帧图像沿RGB通道所在维度拼接构成第一输入张量，并输出给本参数预测网络中的卷积网络，通过所述卷积网络对第一输入张量进行卷积操作得到输出张量，并将输出张量拉伸为一维向量后输出给本参数预测网络中的全连接网络，通过所述全连接网络利用一维向量预测得到玻璃几何参数。
其中，拼接构成的输入张量大小为b×c×h×w，b为批训练大小，c为通道数目，h为图像的高，w为图像的宽，如果图像组中的图像的高和宽不是h和w，需要将图像的高和宽处理为h和w，处理方式可以是下采样或中心裁剪。
示例性的，卷积网络中可以包括7个卷积层，以提取得到高维特征表示张量，每个卷积层的卷积计算公式如下：
Figure BDA0002259632930000121
其中，
Figure BDA0002259632930000122
表示窗口大小为w的卷积核，d表示输出张量的通道数目，
Figure BDA0002259632930000123
表示卷积操作，x表示输入张量获上层卷积层的输出，b为偏置项，BN(·)为批标准化操作，f为泄露线性整流函数(Leaky Rectified Linear Unit，LeakyReLU)，y为通道数为d的张量，即卷积层提取得到的特征。
示例性的，全连接网络中可以包括2个全连接层。
在本发明中，参数预测网络预测得到的玻璃几何参数表征的是拍摄角度，即相机拍摄图像组时反射玻璃的位置和方向，玻璃几何参数可以包括玻璃的水平旋转参数α和垂直旋转参数β，即使原本与相机拍摄方向垂直的玻璃先绕竖直轴旋转α，再绕水平轴旋转β。
示例性的，如图1B所示，用于拍摄偏振图像和非偏振图像的装置上安装有两个镜头，其中一个镜头前放置偏振片，用于拍摄偏振图像，另一个镜头前未放偏振片，用于拍摄非偏振图像。
步骤102：利用玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数。
在一实施例中，可以利用玻璃几何参数确定该图像组中每帧图像上各像素点的入射角和使振动方向垂直或平行于入射面的光分量通过最多的第一偏振片角度，针对该图像组中的每帧图像，如果该帧图像为偏振图像，则利用该帧图像上各像素点的入射角、使振动方向垂直或平行于入射面的光分量通过最多的第一偏振片角度以及拍摄该帧图像时的第二偏振片角度确定该帧图像上各像素点的混合系数；如果该帧图像为非偏振图像，则利用该帧图像上各像素点的入射角确定该帧图像上各像素点的混合系数。
基于上述步骤101的描述，玻璃几何参数包括玻璃的水平旋转参数α和垂直旋转参数β。
对每帧图像上各像素点的混合系数详细计算原理，可以参见上述参数预测网络训练过程涉及到的相关计算公式，本申请在此不再详述。
与上述现有技术相比，现有实现假设偏振图像的入射角均相同，而实际图像中各像素点对应的入射角都不同，因此现有实现与实际情况相差较大。并且现有实现使用互信息作为损失函数预测物理参数准确性和稳定性较差，对物理信息的依赖程度较高，物理信息的预测误差会后向积累，使分离出的背景图像和反射图像失真。
而本发明对反射分离求解所需物理信息进行了更准确的描述，本发明引入成像模型推导了玻璃几何参数与入射角、使振动方向垂直或平行于于入射面的光分量通过最多的偏振片方向的关系，对入射角和入射面法线方向的分布进行了完整描述，可提升输出背景图像和反射图像的质量。另外，针对玻璃几何参数的网络架构，可以提升物理信息预测的准确度与稳定性，进而可进一步提升输出背景图像和反射图像的质量。
步骤103：依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像。
由上述步骤101所述，针对合成用于训练参数预测网络的偏振图像Ipol(x)和非偏振图像Iunpol(x)的公式：
Figure BDA0002259632930000141
Figure BDA0002259632930000142
可以推导出反射图像Ir(x)和背景图像It(x)的公式如下：
Figure BDA0002259632930000143
Figure BDA0002259632930000144
针对合成用于训练参数预测网络的偏振角度为φ1的偏振图像Ipol1(x)和偏振角度为φ2的偏振图像Ipol2(x)的公式：
Figure BDA0002259632930000145
Figure BDA0002259632930000146
可以推导出反射图像Ir(x)和背景图像It(x)的公式如下：
Figure BDA0002259632930000147
Figure BDA0002259632930000148
在一实施例中，在步骤103之后，还可以对分离出的反射图像和背景图像进行优化，以进一步提升图像质量。优化过程可以是：将该图像组中的两帧图像、分离出的反射图像和背景图像沿RGB通道所在维度拼接构成第二输入张量，将第二输入张量输入已训练的优化网络，以由所述优化网络对所述第二输入张量进行优化操作，得到优化后的反射图像和背景图像。
示例性的，优化网络可以采用编码器-解码器的网络结构。
针对优化网络的训练过程中的损失函数可以通过反射图像与背景图像的均方误差，以及反射图像梯度与背景图像梯度的均方误差加权方式表示，损失函数值计算公式如下：
Loss＝
λ1(Ir-Ir *)2+λ2(It-It *)2+λ3(G(Ir)-G(Ir *))2
+λ4(G(It)-G(It *))2
其中，λi，i＝1，2，3，4，为各分量加权系数，G(·)为梯度算子，输出图像上每一像素点的梯度模值。
针对上述步骤101至步骤103的过程，以输入偏振图像和非偏振图像为例，如图1C所示，将偏振图像和非偏振图像输入参数预测网络预测玻璃的水平旋转参数α和垂直旋转参数β，由水平旋转参数α和垂直旋转参数β计算得到每帧图像上各像素点的入射角θ和使振动方向垂直/平行于入射面的光分量通过最多的第一偏振片角度φ⊥/φ||，以及非偏振和偏振图像的混合系数ξ和ζ，进而依据这些参数分离出反射图像
Figure BDA0002259632930000151
和背景图像
Figure BDA0002259632930000152
并经过优化网络进行优化处理，输出最终的反射图像和背景图像。
在一实施例中，在获得质量较高的背景图像后，该背景图像可以应用在更高层语义层面任务(如人脸识别、目标检测等任务)的处理中。
在本实施例中，通过将同一视点场景的图像组输入已训练的参数预测网络，以由参数预测网络基于该图像组预测得到玻璃几何参数，然后利用玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数，并依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像。其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。
基于上述描述可知，通过将输入图像减少到两帧图像，既可以是一对偏振与非偏振图像，也可以是一对偏振角度不同的图像，减小了数据获取的难度，能够在手机相机、监控设备等摄像设备中部署，扩大了算法应用范围。本方案充分利用了光的偏振特性，由预测得到的玻璃几何参数进行逐像素计算以实现图像的反射分离，可提升输出背景图像和反射图像的质量。
图2为本发明根据一示例性实施例示出的一种电子设备的硬件结构图，该电子设备包括：通信接口201、处理器202、机器可读存储介质203和总线204；其中，通信接口201、处理器202和机器可读存储介质203通过总线204完成相互间的通信。处理器202通过读取并执行机器可读存储介质203中与图像反射分离方法的控制逻辑对应的机器可执行指令，可执行上文描述的图像反射分离方法，该方法的具体内容参见上述实施例，此处不再累述。
本发明中提到的机器可读存储介质203可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，机器可读存储介质203可以是RAM(Random Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。
与前述图像反射分离方法的实施例相对应，本发明还提供了图像反射分离装置的实施例。
图3为本发明根据一示例性实施例示出的一种图像反射分离装置的实施例流程图，所述图像反射分离装置可以应用到电子设备。如图3所示，所述图像反射分离装置包括：
参数预测模块310，用于将同一视点场景的图像组输入已训练的参数预测网络，以由所述参数预测网络基于该图像组预测得到玻璃几何参数；
混合系数确定模块320，用于利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数；
分离模块，用于依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像；
其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。
在一可选实现方式中，所述参数预测模块310，具体用于在由所述参数预测网络基于该图像组预测得到玻璃几何参数过程中，通过本参数预测网络中的拼接层将该图像组中两帧图像沿RGB通道所在维度拼接构成第一输入张量，并输出给本参数预测网络中的卷积网络；通过所述卷积网络对所述第一输入张量进行卷积操作得到输出张量，并将输出张量拉伸为一维向量后输出给本参数预测网络中的全连接网络；通过所述全连接网络利用所述一维向量预测得到玻璃几何参数。
在一可选实现方式中，所述混合系数确定模块320，具体用于利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的入射角和使振动方向垂直或平行于入射面的光分量通过最多的第一偏振片角度；针对该图像组中的每帧图像，如果该帧图像为偏振图像，则利用该帧图像上各像素点的入射角、使振动方向垂直或平行于入射面的光分量通过最多的第一偏振片角度以及拍摄该帧图像时的第二偏振片角度确定该帧图像上各像素点的混合系数；如果该帧图像为非偏振图像，则利用该帧图像上各像素点的入射角确定该帧图像上各像素点的混合系数。
在一可选实现方式中，所述装置还包括(图3中未示出)：
优化模块，用于在所述分离模块330利用每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像之后，将该图像组中的两帧图像、分离出的反射图像和背景图像沿RGB通道所在维度拼接构成第二输入张量；将所述第二输入张量输入已训练的优化网络，以由所述优化网络对所述第二输入张量进行优化操作，得到优化后的反射图像和背景图像。
在一可选实现方式中，所述装置还包括(图3中未示出)：
训练模块，具体用于分别从反射图像集与背景图像集中选取一帧反射图像和一帧背景图像；随机选择一组玻璃几何参数，并利用选择的玻璃几何参数分别确定用于训练参数预测网络的图像组中每帧图像上各像素点的混合系数；对所述反射图像和所述背景图像分别进行动态范围调整，得到调整后的反射图像和调整后的背景图像；利用调整后的反射图像、调整后的背景图像以及图像组中每帧图像上各像素点的混合系数，合成用于训练参数预测网络的图像组；利用合成的图像组训练参数预测网络模型，直至损失值低于预设数值，停止训练；其中，所述损失值根据参数预测网络模型输出的玻璃几何参数和选择的玻璃几何参数获得。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种图像反射分离方法，其特征在于，所述方法包括：
将同一视点场景的图像组输入已训练的参数预测网络，以由所述参数预测网络基于该图像组预测得到玻璃几何参数；
利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数；
依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像；
其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。
2.根据权利要求1所述的方法，其特征在于，所述参数预测网络基于该图像组预测得到玻璃几何参数，包括：
通过本参数预测网络中的拼接层将该图像组中两帧图像沿RGB通道所在维度拼接构成第一输入张量，并输出给本参数预测网络中的卷积网络；
通过所述卷积网络对所述第一输入张量进行卷积操作得到输出张量，并将输出张量拉伸为一维向量后输出给本参数预测网络中的全连接网络；
通过所述全连接网络利用所述一维向量预测得到玻璃几何参数。
3.根据权利要求1所述的方法，其特征在于，利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数，包括：
利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的入射角和使振动方向垂直或平行于入射面的光分量通过最多的第一偏振片角度；
针对该图像组中的每帧图像，如果该帧图像为偏振图像，则利用该帧图像上各像素点的入射角、使振动方向垂直或平行于入射面的光分量通过最多的第一偏振片角度以及拍摄该帧图像时的第二偏振片角度确定该帧图像上各像素点的混合系数；
如果该帧图像为非偏振图像，则利用该帧图像上各像素点的入射角确定该帧图像上各像素点的混合系数。
4.根据权利要求1所述的方法，其特征在于，在利用每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像之后，所述方法还包括：
将该图像组中的两帧图像、分离出的反射图像和背景图像沿RGB通道所在维度拼接构成第二输入张量；
将所述第二输入张量输入已训练的优化网络，以由所述优化网络对所述第二输入张量进行优化操作，得到优化后的反射图像和背景图像。
5.根据权利要求1所述的方法，其特征在于，所述参数预测网络的训练过程，包括：
分别从反射图像集与背景图像集中选取一帧反射图像和一帧背景图像；
随机选择一组玻璃几何参数，并利用选择的玻璃几何参数分别确定用于训练参数预测网络的图像组中每帧图像上各像素点的混合系数；
对所述反射图像和所述背景图像分别进行动态范围调整，得到调整后的反射图像和调整后的背景图像；
利用调整后的反射图像、调整后的背景图像以及图像组中每帧图像上各像素点的混合系数，合成用于训练参数预测网络的图像组；
利用合成的图像组训练参数预测网络模型，直至损失值低于预设数值，停止训练；
其中，参数预测网络模型的损失值根据参数预测网络模型输出的玻璃几何参数和选择的玻璃几何参数获得。
6.一种图像反射分离装置，其特征在于，所述装置包括：
参数预测模块，用于将同一视点场景的图像组输入已训练的参数预测网络，以由所述参数预测网络基于该图像组预测得到玻璃几何参数；
混合系数确定模块，用于利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数；
分离模块，用于依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像；
其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。
7.根据权利要求6所述的装置，其特征在于，所述参数预测模块，具体用于在由所述参数预测网络基于该图像组预测得到玻璃几何参数过程中，通过本参数预测网络中的拼接层将该图像组中两帧图像沿RGB通道所在维度拼接构成第一输入张量，并输出给本参数预测网络中的卷积网络；通过所述卷积网络对所述第一输入张量进行卷积操作得到输出张量，并将输出张量拉伸为一维向量后输出给本参数预测网络中的全连接网络；通过所述全连接网络利用所述一维向量预测得到玻璃几何参数。
8.根据权利要求6所述的装置，其特征在于，所述混合系数确定模块，具体用于利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的入射角和使振动方向垂直或平行于入射面的光分量通过最多的第一偏振片角度；针对该图像组中的每帧图像，如果该帧图像为偏振图像，则利用该帧图像上各像素点的入射角、使振动方向垂直或平行于入射面的光分量通过最多的第一偏振片角度以及拍摄该帧图像时的第二偏振片角度确定该帧图像上各像素点的混合系数；
如果该帧图像为非偏振图像，则利用该帧图像上各像素点的入射角确定该帧图像上各像素点的混合系数。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
优化模块，用于在所述分离模块利用每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像之后，将该图像组中的两帧图像、分离出的反射图像和背景图像沿RGB通道所在维度拼接构成第二输入张量；将所述第二输入张量输入已训练的优化网络，以由所述优化网络对所述第二输入张量进行优化操作，得到优化后的反射图像和背景图像。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
训练模块，具体用于分别从反射图像集与背景图像集中选取一帧反射图像和一帧背景图像；随机选择一组玻璃几何参数，并利用选择的玻璃几何参数分别确定用于训练参数预测网络的图像组中每帧图像上各像素点的混合系数；对所述反射图像和所述背景图像分别进行动态范围调整，得到调整后的反射图像和调整后的背景图像；利用调整后的反射图像、调整后的背景图像以及图像组中每帧图像上各像素点的混合系数，合成用于训练参数预测网络的图像组；利用合成的图像组训练参数预测网络模型，直至损失值低于预设数值，停止训练；其中，参数预测网络模型的损失值根据参数预测网络模型输出的玻璃几何参数和选择的玻璃几何参数获得。
CN201911066820.XA 2019-11-04 2019-11-04 一种图像反射分离方法及装置 Active CN111080669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911066820.XA CN111080669B (zh) 2019-11-04 2019-11-04 一种图像反射分离方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911066820.XA CN111080669B (zh) 2019-11-04 2019-11-04 一种图像反射分离方法及装置

Publications (2)

Publication Number Publication Date
CN111080669A true CN111080669A (zh) 2020-04-28
CN111080669B CN111080669B (zh) 2023-09-19

Family

ID=70310763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911066820.XA Active CN111080669B (zh) 2019-11-04 2019-11-04 一种图像反射分离方法及装置

Country Status (1)

Country Link
CN (1) CN111080669B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112185126A (zh) * 2020-09-27 2021-01-05 杭州海康威视数字技术股份有限公司 一种偏振角度的确定方法、装置及设备
CN112379391A (zh) * 2020-09-30 2021-02-19 西安电子科技大学 一种水下偏振成像方法及其装置
CN113487504A (zh) * 2021-07-01 2021-10-08 天津大学 基于生成对抗网络的水下灰度偏振图像复原方法
CN113592755A (zh) * 2021-07-28 2021-11-02 北京大学 基于全景摄像的图像反射消除方法
CN115393237A (zh) * 2022-07-18 2022-11-25 荣耀终端有限公司 图像去反光方法、介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150279113A1 (en) * 2014-03-25 2015-10-01 Metaio Gmbh Method and system for representing a virtual object in a view of a real environment
CN107862741A (zh) * 2017-12-10 2018-03-30 中国海洋大学 一种基于深度学习的单帧图像三维重建装置及方法
US20190164268A1 (en) * 2017-11-27 2019-05-30 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150279113A1 (en) * 2014-03-25 2015-10-01 Metaio Gmbh Method and system for representing a virtual object in a view of a real environment
US20190164268A1 (en) * 2017-11-27 2019-05-30 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
CN107862741A (zh) * 2017-12-10 2018-03-30 中国海洋大学 一种基于深度学习的单帧图像三维重建装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAEJIN KONG等: "A Physically-Based Approach to Reflection Separation: From Physical Modeling to Constrained Optimization" *
袁帅;秦贵和;晏婕;: "应用残差生成对抗网络的路况视频帧预测模型" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112185126A (zh) * 2020-09-27 2021-01-05 杭州海康威视数字技术股份有限公司 一种偏振角度的确定方法、装置及设备
CN112379391A (zh) * 2020-09-30 2021-02-19 西安电子科技大学 一种水下偏振成像方法及其装置
CN112379391B (zh) * 2020-09-30 2022-11-08 西安电子科技大学 一种水下偏振成像方法及其装置
CN113487504A (zh) * 2021-07-01 2021-10-08 天津大学 基于生成对抗网络的水下灰度偏振图像复原方法
CN113487504B (zh) * 2021-07-01 2022-12-09 天津大学 基于生成对抗网络的水下灰度偏振图像复原方法
CN113592755A (zh) * 2021-07-28 2021-11-02 北京大学 基于全景摄像的图像反射消除方法
CN113592755B (zh) * 2021-07-28 2022-01-11 北京大学 基于全景摄像的图像反射消除方法
CN115393237A (zh) * 2022-07-18 2022-11-25 荣耀终端有限公司 图像去反光方法、介质及电子设备

Also Published As

Publication number Publication date
CN111080669B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN111080669B (zh) 一种图像反射分离方法及装置
Abuolaim et al. Defocus deblurring using dual-pixel data
Johnson et al. Exposing digital forgeries through chromatic aberration
EP3158532B1 (en) Local adaptive histogram equalization
CN101422035B (zh) 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法
US20210133920A1 (en) Method and apparatus for restoring image
CN101673395A (zh) 图像拼接方法及装置
WO2013156101A9 (en) Method and optical system for determining a depth map of an image
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
US8749652B2 (en) Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof
Li et al. Reflection separation via multi-bounce polarization state tracing
Zhang et al. Extended depth-of-field via focus stacking and graph cuts
CN110658918B (zh) 用于视频眼镜的眼球追踪相机的定位方法、设备及介质
US20220405968A1 (en) Method, apparatus and system for image processing
Chen et al. Computational optics for mobile terminals in mass production
Won et al. Learning depth from focus in the wild
EP3506205A1 (en) Method and apparatus for depth-map estimation
JP6579816B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN114782507B (zh) 一种基于无监督学习的非对称双目立体匹配方法及系统
US11967096B2 (en) Methods and apparatuses of depth estimation from focus information
KR101390455B1 (ko) 물리적 기반의 반사 분리에 의한 획득 이미지 품질 개선 방법
Kriener et al. Accelerating defocus blur magnification
CN109360176A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
Tezaur et al. A system for estimating optics blur psfs from test chart images
WO2020237366A1 (en) System and method for reflection removal using dual-pixel sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant