CN115393237B - 图像去反光方法、介质及电子设备 - Google Patents

图像去反光方法、介质及电子设备 Download PDF

Info

Publication number
CN115393237B
CN115393237B CN202210843901.1A CN202210843901A CN115393237B CN 115393237 B CN115393237 B CN 115393237B CN 202210843901 A CN202210843901 A CN 202210843901A CN 115393237 B CN115393237 B CN 115393237B
Authority
CN
China
Prior art keywords
image
processed
training
polarization
polarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210843901.1A
Other languages
English (en)
Other versions
CN115393237A (zh
Inventor
杨建权
杨永兴
周茂森
吴日辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210843901.1A priority Critical patent/CN115393237B/zh
Publication of CN115393237A publication Critical patent/CN115393237A/zh
Application granted granted Critical
Publication of CN115393237B publication Critical patent/CN115393237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像处理技术领域，公开了一种图像去反光方法、介质及电子设备，能够简化通过穆勒方程初步求解反射图像和透射图像过程，进而提升最终的图像去反光的效果。该方法包括：获取待处理彩色图像和待处理偏振图像；获取待处理偏振图像对应的多个偏振子图像，多个偏振子图像中的各个偏振子图像对应的偏振片角度均不同；利用待处理偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，得到待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像；根据待处理彩色图像，对待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像进行处理，得到待处理彩色图像对应的目标透射图像以及由反光引起的目标反射图像。

Description

图像去反光方法、介质及电子设备
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像去反光方法、介质及电子设备。
背景技术
随着图像处理技术的不断进步，人们对手机、平板电脑等成像设备拍摄的图像的质量要求越来越高。但是，在一些特定的场景中，常规的成像设备无法拍摄出高质量的图像。如果拍摄场景中存在玻璃等反光材质的物体，尤其是成像设备到拍摄物体之间存在玻璃等反光物体，那么将导致成像设备在玻璃前拍摄的图像上会叠加同侧的反光图像，降低了透射图像的清晰度，导致拍摄得到的拍摄对象的画面较差。因此，拍摄图像过程中去除图像中的反光成为提升图像质量的关键。
发明内容
本申请实施例提供了一种图像去反光方法、介质及电子设备，能够简化通过穆勒方程初步求解反射图像和透射图像过程，进而提升最终的图像去反光的效果。
第一方面，本申请实施例提供了一种图像去反光方法，应用于电子设备，包括：获取待处理彩色图像和待处理偏振图像；获取待处理偏振图像对应的多个偏振子图像，多个偏振子图像中的各个偏振子图像对应的偏振片角度均不同；利用待处理偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，得到待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像；根据待处理彩色图像，对待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像进行处理，得到待处理彩色图像对应的目标透射图像以及由反光引起的目标反射图像。
可以理解，通过多个偏振子图像以及对应的多个偏振片角度作为解穆勒方程的已知量，使得穆勒方程的已知量的取值较多，那么采用迭代求解的方式求解穆勒方程不会出现无解的情况，能够解出较为准确的反射图像和透射图像，提升了图像去反光的效果。并且，无需训练求解穆勒方程的复杂分离神经网络，从而简化了求解穆勒方程的过程。此外，由于采集的彩色图像通常为高清图像，那么通过该彩色图像可以将求解出的初始黑白透射图像处理为高清的彩色透射图像，提升了去除反光之后的图像效果。
在上述第一方面的一种可能的实现方式中，上述获取待处理偏振图像对应的多个偏振子图像，包括：对待处理偏振图像中属于不同偏振角度的像素点进行插值，得到待处理偏振图像对应的多个偏振子图像。从而，可以充分利用偏振图像的偏振信息，有利于后续成功并求解穆勒方程。
在上述第一方面的一种可能的实现方式中，上述根据待处理彩色图像，对待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像进行处理，得到待处理彩色图像对应的目标透射图像以及由反光引起的目标反射图像，包括：将待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像配准到待处理彩色图像；将待处理彩色图像以及待处理偏振图像对应的配准后的初始黑白反射图像和配准后的初始黑白透射图像输入到预设网络中，并由预设网络输出待处理彩色图像对应的目标透射图像以及目标反射图像。从而，使得初始黑白反射图像、初始黑白透射图像和待处理彩色图像的图像特征对齐，有利于提升后续估计出的目标透射图像以及目标反射图像的准确性。
在上述第一方面的一种可能的实现方式中，上述利用待处理偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，得到待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像，包括：
基于公式
利用待处理偏振图像对应的多个偏振子图像中的每个偏振子图像分别执行如下操作，将偏振子图像作为Ipol并将对应的偏振角度作为φ得到一组穆勒方程，以得到待处理偏振图像对应的多组穆勒方程，一组穆勒方程中的Ipol和φ与另一组穆勒方程中的Ipol和φ均不同；通过迭代求解的方式求解多组穆勒方程，求解得到待处理偏振图像对应的Ir和It；其中，θ表示入射光与法线的夹角，R⊥(θ)表示入射光对应的S偏振光的强度反射率，R||(θ)表示入射光对应的P偏振光的强度反射率，T⊥(θ)表示入射光对应的S偏振光的强度透射率,T||(θ)表示入射光对应的P偏振光的强度透射率,T⊥(θ)＝1-R⊥(θ)，T||(θ)＝1-R||(θ)，Ir表示初始黑白反射图像，It表示初始黑白透射图像，φ⊥是指最佳传输时的偏振片角度。
在上述第一方面的一种可能的实现方式中，上述待处理偏振图像对应4个偏振子图像，多组穆勒方程的组数为4。那么，至少通过四个穆勒方程式求解θ、φ⊥、It和Ir这四个未知量，保证了求解的有效性和准确性。
在上述第一方面的一种可能的实现方式中，上述获取待处理彩色图像和待处理偏振图像之前，该方法还包括：获取训练彩色图像以及训练彩色图像对应的训练偏振图像、训练反射图像和训练透射图像，训练透射图像是由训练彩色图像与反射图像的差值得到；获取训练偏振图像对应的多个偏振子图像，不同偏振子图像的偏振角度不同；利用训练偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，得到训练偏振图像对应的初始黑白反射图像和初始黑白透射图像；将训练偏振图像对应的初始黑白反射图像和初始黑白透射图像配准到训练彩色图像；根据训练反射图像和训练透射图像中的至少一个、训练彩色图像以及训练偏振图像对应的配准后的初始黑白反射图像和配准后的初始黑白透射图像，训练预设网络。从而，对训练图像进行与待处理图像相同的操作，使得训练好的预设网络能够有效用于对待处理彩色图像进行去反光。
在上述第一方面的一种可能的实现方式中，上述利用训练偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，得到训练偏振图像对应的初始黑白反射图像和初始黑白透射图像，包括：
基于公式
利用训练偏振图像对应的多个偏振子图像中的每个偏振子图像分别执行如下操作，将偏振子图像作为Ipol并将对应的偏振角度作为φ得到一组穆勒方程，以得到训练偏振图像对应的多组穆勒方程，一组穆勒方程中的Ipol和φ与另一组穆勒方程中的Ipol和φ均不同；通过迭代求解的方式求解训练偏振图像对应的多组穆勒方程，求解得到训练偏振图像对应的Ir和It；其中，其中，θ表示入射光与法线的夹角，R⊥(θ)表示入射光对应的S偏振光的强度反射率，R||(θ)表示入射光对应的P偏振光的强度反射率，T⊥(θ)表示入射光对应的S偏振光的强度透射率,T||(θ)表示入射光对应的P偏振光的强度透射率,T⊥(θ)＝1-R⊥(θ)，T||(θ)＝1-R||(θ)，Ir表示初始黑白反射图像，It表示初始黑白透射图像，φ⊥是指最佳传输时的偏振片角度。
在上述第一方面的一种可能的实现方式中，上述根据训练反射图像和训练透射图像中的至少一个、训练彩色图像以及训练偏振图像对应的配准后的初始黑白反射图像和配准后的初始黑白透射图像，训练预设网络，包括：将训练彩色图像、待处理彩色图像对应的配准后的初始黑白反射图像和配准后的初始黑白透射图像输入预设网络，得到由预设网络输出的训练偏振图像对应的目标反射图像和目标透射图像(即透射彩色图像)；根据预测的目标透射图像和训练集中真实的训练透射图像组成的一组图像，以及训练反射图像和训练偏振图像对应的目标反射图像组成的一组图像中的至少一组图像，确定损失函数；根据该损失函数，训练预设网络。
在上述第一方面的一种可能的实现方式中，上述迭代求解的方式为最速下降法或牛顿法。
在上述第一方面的一种可能的实现方式中，上述获取待处理彩色图像和待处理偏振图像之前，该方法还包括：确定待处理彩色图像对应的场景信息符合预设场景信息，该预设场景信息用于指示拍摄场景中存在玻璃镜面反光。那么，可以避免在不存在玻璃镜面反光的一些拍摄场景中使用图像去除反光算法，节省了计算资源以及硬件资源。
在上述第一方面的一种可能的实现方式中，上述电子设备中包括第一摄像头(例如，下文中的摄像头11)和第二摄像头(例如，下文的摄像头12)，第二摄像头中设置有偏振传感器；其中，待处理彩色图像通过第一摄像头采集得到，待处理偏振图像通过第二摄像头采集得到；并且，待处理彩色图像的分辨率高于待处理偏振图像的分辨率。如此，可以保证采集到高清的彩色图像的同时，还能采集到具有偏振信息的偏振图像。
第二方面，本申请实施例提供了一种电子设备，包括：第一摄像头和第二摄像头，以及获取模块，计算模块和处理模块；第一摄像头，用于采集待处理彩色图像；第二摄像头，用于采集待处理偏振图像；获取模块，用于获取待处理偏振图像对应的多个偏振子图像，多个偏振子图像中的各个偏振子图像对应的偏振片角度均不同；计算模块，利用待处理偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，得到待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像；处理模块，用于根据待处理彩色图像，以及待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像，识别出待处理彩色图像对应的目标透射图像以及由反光引起的目标反射图像。
第三方面，本申请实施例提供了一种可读介质，可读介质上存储有指令，指令在电子设备上执行时使电子设备执行上述第一方面以及其任一种可能的实现方式的图像去反光方法。
第四方面，本申请实施例提供了电子设备，包括：存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及处理器，是电子设备的处理器之一，用于执行上述第一方面以及其任一种可能的实现方式的图像去反光方法。
附图说明
图1A根据本申请的一些实施例，示出了一种光线从空气向玻璃传播的偏振现象示意图；
图1B根据本申请的一些实施例，示出了一种偏振现象中的反射率和透射率与入射角之间的关系曲线示意图；
图1C根据本申请的一些实施例，示出了一种图像拍摄场景的示意图；
图2A根据本申请的一些实施例，示出了一种成像设备的结构示意图；
图2B根据本申请的一些实施例，示出了一种偏振传感器的结构示意图；
图2C根据本申请的一些实施例，示出了一种偏振图像上插值算法的应用示意图；
图2D根据本申请的一些实施例，示出了一种图像处理单元的架构示意图；
图2E根据本申请的一些实施例，示出了一种预设网络的架构示意图；
图3根据本申请的一些实施例，示出了一种图像去反光方法的流程示意图；
图4根据本申请的一些实施例，示出了一种触发图像去反光方法的流程示意图；
图5根据本申请的一些实施例，示出了一种拍摄预览界面示意图；
图6根据本申请的一些实施例，示出了一种图像采集场景的示意图；
图7根据本申请的一些实施例，示出了一种图像训练流程示意图；
图8根据本申请的一些实施例，示出了一种手机的结构示意图。
具体实施方式
本申请的说明性实施例包括但不限于图像去反光方法、介质、装置以及电子设备。
为了便于理解本申请方案，下面先对本申请实施例涉及的相关术语进行解释。
1、偏振现象
光的偏振是指光波电矢量振动的空间分布对于光束传播方向的失去对称性的现象。通常将在任意物质中传播的光，分为相互垂直的两种偏振光。在考虑光束的反射和折射时，偏振光可以分为平行于入射面的平行(parallel,P)分量和垂直于入射面的垂直(Senkrecht，S)分量。其中，P分量也称为P偏振光或者||偏振光，S分量也称为S偏振光或者⊥偏振光。当入射光从空气传播到透明玻璃表面发生反射或折射时，光的偏振度会发生改变，并且变化程度取决于光线的入射角。也就是说，光的偏振信息可以用于区分反射光和透射光，图像的偏振信息可以用于区分反光引起的反射图像以及不包含反光的透射图像。
参照图1A所示，为一种光线从空气向玻璃传播的偏振现象示意图。入射光从空气中传播至透明玻璃表面时，一部分光发生玻璃镜面反射成为反射偏振光，另一部分光穿过玻璃成为透射偏振光。其中，θ表示入射光与入射平面中的法线的夹角，并且θ是入射线偏振光(即入射光)的光振动方向和偏振片偏振化方向之间的夹角。反射光可以分为平行于入射平面的P偏振光和垂直于入射面的S偏振光，并且，反射光中的P偏振光的反射率记为R||，S偏振光的反射率记为R⊥。此外，透射光也可以分为平行于入射面的P偏振光和垂直于入射面的S偏振光，并且，透射光中的P偏振光的透射率记为T||，S偏振光的透射率记为T⊥。R和T分别表征反射率和透射率。
光线通过透明玻璃发生反射或透射时，光的偏振度等偏振信息都会发生改变，而且该变量取决于光线的入射角。可以通过偏振现象区分反射光和透射光。
作为示例，光线的入射角(Angle of incidence，即θ)发生变化，入射光的反射率(reflectance)和入射光的透射率(Transmission ratio)随之变化。并且，入射光对应的反射光中的P偏振光的反射率R||和S偏振光的反射率R⊥不同，透射光中的P偏振光的透射率T||和S偏振光的透射率T⊥也不同。
反射率：也成为强度反射率，指的是反射的能量与入射的能量之比称为该物体的反射比(reflectance)。具体地，在入射光线的光谱组成、偏振状态和几何分布指定条件下，反射的光通量与入射光通量之比为反射比。
透射率：又叫做“透射系数”或强度透射率，是指透射光通量与入射光通量之比。
参照图1B，本申请实施例提供了一种偏振现象中的反射率和透射率与入射角之间的关系曲线示意图。作为示例，图1B示出的光线传播场景为图1A示出的光线从空气传播至透明玻璃的场景。
随着入射角θ的增大，图1B示出各个曲线的反射比或透射比的变化趋势为：
曲线①：S偏振光的反射率R⊥随着入射角θ的增大逐渐增大，入射角θ等于90°时反射率等于1。
曲线②：P偏振光的反射率R||随着入射角θ的增大先减小到0再逐渐增大到1，入射角θ等于56°时反射率等于0，在入射角θ等于90°时反射率等于1。
曲线③：P偏振光的透射率T⊥随着入射角θ的增大逐渐减小，入射角θ等于90°时透射率等于0。
曲线④：S偏振光的透射率T||随着入射角θ的增大先增大到1后再逐渐减小至0，入射角θ等于56°时透射率等于1，入射角θ等于90°时透射率等于0。
2、马吕斯定律、穆勒方程以及菲涅尔方程：
马吕斯定律(Malus＇s Law)指出强度为I0的线偏振光(即入射光)透过偏振片后,在不考虑光吸收的情况下，透射光的强度为：I＝I0cos2θ。其中，θ是入射线偏振光的光振动方向和偏振片偏振化方向之间的夹角，即图1A所示的入射角。在此基础上，可以通过穆勒方程表征经过偏振片等偏振器件得到的偏振图像，以及未经过偏振片等偏振器件得到的彩色图像等常规图像。
穆勒方程可以通过下述公式(1)组成。
其中，θ表示入射光与法线的夹角，R⊥(θ)表示入射光对应的S偏振光的强度反射率，R||(θ)表示入射光对应的P偏振光的强度反射率，T⊥(θ)表示入射光对应的S偏振光的强度透射率,T||(θ)表示入射光对应的P偏振光的强度透射率,T⊥(θ)＝1-R⊥(θ)，T||(θ)＝1-R||(θ)，Ir表示初始黑白反射图像，It表示初始黑白透射图像，φ⊥是指最佳传输时的偏振片角度。此外，Ipol表示经过偏振片等偏振器件得到的偏振图像，φ为偏振图像对应的偏振片角度。
在一些实施例中，R⊥(θ)也可以记为RS，R||(θ)也可以记为Rp，RS和Rp均可以通过菲涅尔方程表示。而菲涅尔方程可以通过下述公式(2)和公式(3)实现。
其中，假设入射光与法线的夹角为θi，折射光与法线的夹角为θt。由于折射还和介质的折射率有关，例如空气中的光射入透明玻璃中，我们需要知道空气和透明玻璃分别对应的折射率，我们再假设入射光所在介质的折射率为n1，透明玻璃的折射率为n2。由于光的偏振(极化)现象，我们可以得到S偏振光和P偏振光分别对应的菲涅尔方程RS和Rp。
需要说明的是，上述公式(2)和(3)中的入射光与法线的夹角为θi，指的是公式(1)中涉及的入射角θ，那么上述公式(2)和(3)分别变化为公式(4)和(5)。具体地，入射光对应的S偏振光的菲涅尔方程R⊥(θ)可以通过公式(4)实现，而入射光对应的P偏振光的菲涅尔方程R||(θ)可以通过公式(5)实现。
基于公式(4)和(5)可知，透射光对应的S偏振光的菲涅尔方程T⊥(θ)可以通过公式(6)实现，而透射光对应的P偏振光的菲涅尔方程T||(θ)可以通过公式(7)实现。
可以理解，在经过透明玻璃拍摄出一个彩色图像和相应的偏振图像的情况下，可以通过穆勒方程求解出相应的初始黑白透射图像和初始黑白反射图像。而对于公式(1)表示的穆勒方程而言，未知量为θ、φ⊥、Ir、It这四个变量，已知量包括φ、Ipol。此外，由公式(4)至(7)可知，穆勒方程的已知量还包括n1和n2。那么，求解穆勒方程的过程中需要求解出四个未知量，才能求解出的初始黑白反射图像Ir和初始黑白透射图像It，即分辨率较低或者效果欠佳的反射图像和透射图像。
然而，在一些实施方式中，成像设备的摄像头中设置的是单一偏振片角度的传统偏振片。在采集到未经过该传统偏振片的一个常规图像和经过该传统偏振片的一个传统偏振图像之后，需要利用专门的分离神经网络初步估计摄像机的镜头与透明玻璃的相对位置关系，进而利用该网络通过该相对位置关系应用穆勒公式初步求解出反射图像和透射图像。具体地，该方案中需要结合上述公式(1)以及下述公式(8)构建并求解一组穆勒方程。
那么，在该方案中，上述公式(8)中的Iunpol表示未经过传统偏振片得到的一个常规图像(如，RGB格式的彩色图像)，上述公式(1)中的Ipol表示经过传统偏振片得到的一个传统偏振图像，并且这两个公式中的φ、Iunpol、Ipol分别仅能取一个数值。那么，求解穆勒方程的过程中需要根据这一组已知量求解出θ、φ⊥、Ir、It这四个未知量，以求解出的初始黑白反射图像Ir和初始黑白透射图像It。
进而，该方案还需要对分离神经网络初步求解出的透射图像和反射图像，还需要通过预先训练的精修网络进行分层细化(Separated layers refinement)以及十字线压制(Cross-line suppression)等处理。
具体地，上述方案中的分离神经网络利用估计出的相对位置关系求解穆勒公式得到Ir、It的过程如下：
首先，对于公式(1)和(8)表示的穆勒方程，令ξ＝R⊥(θ)+R||(θ)，ζ＝R⊥(θ)cos2(φ-φ⊥)+R||(θ)sin2(φ-φ⊥)，将公式(1)和(8)分别化简为下述公式(9)和(10)：
然后，初步解算出的初始黑白反射图像Ir和初始黑白透射图像It可以分别通过下述公式(11)和(12)表示：
然而，上述方案中存在的问题是：通过公式(11)和(12)求解出的初始黑白反射图像Ir和初始黑白透射图像It中可能存在鬼影。而导致该问题的主要原因是在2ζ＝ξ，即φ-φ⊥＝±45°或±135时，公式(11)和(12)无法解算，从而导致解算出的初始黑白反射图像Ir和初始黑白透射图像It存在十字线(Cross-Line)等误差。进而，后续的精修网络采用十字线压制等较为复杂的算法对初步解算出的初始黑白反射图像Ir和初始黑白透射图像It进行精修的过程较为繁琐，并且精修后的反射图像和透射图像往往仍然存在一些十字线等鬼影，导致分离出的图像的去反光效果较差、图像质量较差。
为了解决上述问题，本申请实施例提供一种图像去反光算法，采集彩色图像，并采集偏振图像,该偏振图像中的像素点对应多个偏振片角度。首先，获取待处理偏振图像对应的多个偏振子图像，各个偏振子图像对应的偏振片角度均不同。然后，利用待处理偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，初步求解出待偏振彩色图像对应的初始黑白反射图像和初始黑白透射图像。进而，根据待处理彩色图像，对待偏振彩色图像对应的初始黑白反射图像和初始黑白透射图像进行处理，得到待处理彩色图像对应的目标透射图像以及由反光引起的目标反射图像，该目标透射图像即为去除反光后的彩色图像。可以理解，通过多个偏振子图像以及对应的多个偏振片角度作为解穆勒方程的已知量，使得穆勒方程的已知量的取值较多，那么采用迭代求解的方式求解穆勒方程不会出现无解的情况，能够解出较为准确的反射图像和透射图像，提升了图像去反光的效果。并且，无需训练求解穆勒方程的复杂分离神经网络，从而简化了求解穆勒方程的过程。此外，由于采集的彩色图像通常为高清图像，那么通过该彩色图像可以将求解出的初始黑白透射图像处理为高清的彩色透射图像，提升了去除反光之后的图像效果。也就是说，本申请在简化通过穆勒方程初步求解反射图像和透射图像过程的同时，提升了图像去反光的效果。
需要说明的是，本申请实施例提供的图像去反光方法，主要应用于透过玻璃拍摄物体等存在反光的拍摄场景中，具体用于去除图像中由玻璃引起的反光。例如，上述场景包括但不限于在室内透过窗户拍摄室外的风景，拍摄戴眼镜的人物，在室内拍摄玻璃展览柜中的物品。
参照图1C所示，为本申请实施例提供的一种图像拍摄场景的示意图。该场景中用户使用成像设备10在室内隔着透明玻璃拍摄背侧的建筑。此时，玻璃背侧的建筑透过透明玻璃产生的透射光和前侧的大屏设备经过玻璃表面产生的反射光都会到达成像设备10的镜头，进而成像设备10采集的彩色图像中叠加了大屏设备的反射图像。那么，成像设备10在拍摄过程中，通过区分出彩色图像中叠加的反光造成的反射图像并去除，得到去除反光后的透射图像，即得到质量较高的该建筑的彩色图像。
在一些实施例中，本申请实施例中的执行主体可以为成像设备10或者成像设备10中的执行图像去反光方法的装置或者模块。作为一种示例，适用于本申请的成像设备10包括但不限于用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备或者可穿戴设备等。例如，上述成像设备10可以是手机、平板电脑或者摄像机等，图1C中以手机10为例示出。
此外，本申请的其他一些实施例中，图像去反光方法的执行主体还可以是服务器或其他处理设备，对此不做具体限定。
在一些实施例中，成像设备10中可以部署双目摄像头，并通过双目摄像头分别采集彩色图和偏振图像。当然，成像设备10中的摄像头的数量不限于2个，还可以为多个。例如，图1C示出的成像设备10中具有三个摄像头，其中摄像头11为用于采集彩色图像的主摄像头，而摄像头12为用于采集偏振图像的辅摄像头，而另一个摄像头可以为微距摄像头等其他摄像头。
可以理解，实际应用中成像设备10中的摄像头11和摄像头12部署的位置之间的距离较近，使得这两个摄像头采集图像的拍摄角度相近。
参照图2A所示，为本申请实施例提供的一种成像设备的结构示意图。成像设备10中包括摄像头11和摄像头12和图像处理单元13，其中摄像头11中包括镜头111和图像传感器112，摄像头12中包括镜头121和偏振传感器(Sensor)122。
镜头111用于透过光线并将光线汇聚到图像传感器112上。镜头111可以由多片镜片组成，也可以是由单个镜片组成，此处不做限定。
图像传感器112用于将来自镜头111的光束中不同颜色的光分别转换成不同的电信号，生成彩色图像。通常图像传感器112采集的图像的分辨率较高，如分辨率为2048*2048。
镜头121用于透过光线并将光线汇聚到偏振传感器122上。镜头122可以由多片镜片组成，也可以是由单个镜片组成，此处不做限定。
偏振传感器122用于将来自镜头121的光束生成偏振图像，该偏振图像中的像素点对应于多种偏振片角度。通常偏振传感器122采集的图像的分辨率较低，该分辨率通常低于摄像头11中的图像传感器121采集的彩色图像的分辨率。
在一些实施例中，上述偏振图像可以是彩色图像，偏振传感器122可以将接收到的不同颜色的光分别转换成不同的电信号并生成彩色图像。在一些可能的实施方式中，偏振图像也可以是黑白图像，偏振传感器130将接收到的光信号直接转换为电信号，进而生成黑白图像。此外，上述偏振图像通常为初始(RAW)图像格式的RAW图像。而通常受制于传感器工艺的限制，偏振传感器122采集的图像的分辨率低于图像传感器112采集的图像的分辨率。
图像处理单元13用于获取偏振图像对应的多个偏振子图像，并基于对应于多个偏振片角度的该多个偏振子图像对彩色图像进行去反光处理，以实现对彩色图像去除反光的效果。
可以理解的是，本发明实施例示意的结构并不构成对成像设备10的具体限定。在本申请另一些实施例中，成像10可以包括比图示更多或更少的部件。
在本申请的一些实施例中，偏振传感器122可以为分焦平面传感器。
参照图2B所示，为本申请实施例提供的偏振传感器的一种可能的结构示意图。偏振传感器122中包括微透镜阵列1221、偏振片阵列1222和物理像素阵列1223。每一个微透镜都对应着一个偏振片和一个物理像素点，微透镜汇聚的光线通过对应的偏振片照射在对应的物理像素点上，使得每个物理像素点所接收的光的偏振方向都为对应的偏振片的偏振方向。如图2B所示，四个相邻偏振片可以划分为一组，包括0°、45°、90°和135°四个偏振方向的偏振片。相应的，经过偏振传感器122采集的偏振图像中的像素点对应不同的偏振片角度分别为0°、45°、90°和135°四个偏振片角度。作为示例，图2B所示实线框出相邻的四个偏振片中左上角、右上角、左下角、右下角分别是偏振片角度为45°、0°、90°和135°的偏振片M1、M2、M3和M4，相应的经过微透镜并经过四个偏振片到达物理像素点的光束的光强分别为45°、45°、90°和135°的光强。
可以理解，相邻一组四个偏振片的排列顺序不限于图2B所示的顺序，还可以为其他顺序，例如相邻四个偏振片中左上角、右上角、左下角、右下角的偏振片角度分别为0°、45°、90°和135°。
在一些实施例中，物理像素阵列1223中的偏振片的偏振方向并不限于上述示例，可以为任意可实现本申请方案的偏振方向，相应的相邻的不同偏振方向的物理像素点的数量也不限于四个，本申请对此不做限定。
此外，在申请的其他一些实施例中，偏振传感器122也可以为任意能够用于获取光线偏振态的传感器，并不限于上述分角平面传感器。
作为示例，本申请可以通过两种可能的实现方式确定偏振图像对应的四个偏振子图像。在第一种确定偏振子图像的方式中，可以通过分离偏振图像中对应不同偏振片角度的像素点得到四个偏振子图像。在第二种确定偏振子图像的方式中，对偏振图像进行插值算法后再分离对应不同偏振片角度的像素点得到四个偏振子图像。
在第一种确定偏振图像的方式具体过程如下：将偏振图像中对应于不同偏振角度的像素点划分到不同的偏振子图像中，得到四个偏振子图像，即分别为45°、0°、90°和135°的偏振片角度对应的偏振子图像。此时每个偏振子图像的长和宽分别为原始的偏振图像的长和宽的1/2。进而，可以对四个偏振子图像分别进行双线性插值等插值处理，使得四个偏振子图像的长和宽与原始的偏振图像的长和宽均相同。此时，每个偏振子图像中的每个像素点的光强均为同一偏振片角度下的光强，例如一个偏振子图像中每个像素点的光强均为45°的偏振片角度下的光强。
在第二种确定偏振图像的方式的具体过程如下：基于对应不同偏振片角度的像素点对偏振图像进行双线性插值等插值处理，得到对应不同偏振片角度的四个偏振子图像，即对应的偏振片角度分别为45°、0°、90°和135°的偏振子图像。其中，每个偏振子图像的长和宽与原始的偏振图像的长和宽均相同。而每个偏振子图像中不仅包括经过偏振传感器122采集得到一种偏振片角度下的光强，还包括插值得到的其他偏振片角度下的光强。
参照图2C所示，为本申请实施例提供的一种偏振图像上插值算法的应用示意图。图2C中示出了偏振图像中对应于不同偏振片角度的部分相邻像素点，每相邻四个像素点分别对应偏振片角度为45°、0°、90°和135°。以图2C中对应偏振片角度为45°的像素点P5为例，说明对偏振图像的插值算法。
其中，对于像素点P5而言，通过偏振片阵列1222采集到的光强是对应于45°的偏振片信号，记作IP5，45°＝IP5。而对应于0°、90°和135°的光强没有直接采集到，可以通过偏振图像中与像素点P5相邻的像素点来推断，以完成插值算法。相应的，将偏振图像中每种偏振片角度的像素点实际采集的光强和推测出的光强可以构成一个偏振子图像，从而得到偏振图像对应的四个偏振子图像。
作为一种示例，将像素点P5对应于0°的光强记作IP5，0°，可以由偏振片阵列1222采集的像素点P4的光强I4和像素点P6的光强I6推测出IP5，0°＝(IP4+IP6)/2。像素点P5对应于90°的光强记作IP5，90°，可以由偏振片阵列1222采集的像素点P2的光强I2和像素点P8的光强I8推测出IP5，90°＝(IP2+IP8)/2。像素点P5对应于135°的光强记作IP5，90°，可以由偏振片阵列1222采集的像素点P1的光强I1和像素点P9的光强I9推测出IP5，135°＝(IP1+IP9)/2。
作为示例，参照图2D所示，为本申请实施例提供的图像处理单元的架构图。如图2D所示，图2示出的图像处理单元13包括预处理模块131、计算模块132、后处理模块133和网络处理模块134。
预处理模块131用于对来自摄像头12的偏振图像进行预处理，例如对偏振图像进行双线性插值等插值算法得到对应的多个子偏振图像。
计算模块132用于根据偏振图像对应的多个子偏振图像，通过迭代求解的方式求解穆勒方程，以初步求解出初始黑白反射图像和初始黑白透射图像。作为示例，初始黑白反射图像和初始黑白透射图像均为黑白图像。
后处理模块133用于将初步求解出初始黑白反射图像和初速透射图像分别配准到来自摄像头11的彩色图像。
网络处理模块134用于预先训练预设网络，使得预设网络能够通过初步求解出中去除彩色图像中去除反光引起的反射图像。进而，网络处理模块134，用于采用训练好的预设网络根据初始黑白反射图像和初速透射图像，对彩色图像进行去反光处理达到去反光的效果，得到高清的去反光图像。
在本申请的一些实施例中，上述预设网络可以采用U-Net结构，但不限于此，还可以为其他任意可实现的本申请目的的网络架构。
作为示例，参照图2E所示，为本申请实施例提供的一种预设网络的架构示意图。如图2E所示，预设网络20为经典的U-Net结构，包括卷积(convelution，conv)层21，最大池化(max-pooling)层22，上卷积(Up-convelution)层23以及卷积(conv)层24以及跳跃连接(Skip-connections)层25。
作为一种示例，如图2E所示，预设网络20的输入图像为分辨率较高的彩色图像(记为Iunpol,RGB),求解出的初始黑白反射图像(记为Ir,rough，即Ir)，以及求解出的初始黑白透射图像(记为It,rough，即It)。图2E示出的表示神经网络中的连接。
可以理解的是，虽然图2E为示出，但是实际中预设网络20还可以包括输入层，用于支持预设网络20输入图像。
卷积层21采用3×3的卷积核，用于对输入图像进行卷积运算。可以理解的是，对于卷积层，权重值位于滤波器内部，而在代码中，滤波器实际上是权重张量本身。层内的卷积运算是该层的输入通道与该层内的滤波器之间的运算。
最大池化层22可以对来自卷积层21的输入图像进下采样，该下采样可以为最大值下采样或平均值下采样。作为示例，最大池化层22可以对输入图像进行4次或5次下采样，使得这些图像的分辨率缩小。
上卷积层23用于对来自最大池化层22的输入图像进行4次或5次上卷积操作，经过三次上卷积操作后输出的图像的分辨率恢复到原始输入预设网络的输入图像的分辨率。
跳跃连接层25，在上卷积层23中各层执行上采样的过程中，用于把最大池化层22中对应层执行下采样之前的权重张量与上卷积层23中的当前层的张量拼接在一起，之后再执行下一次的上卷积操作。
卷积层24用于对来自上卷积层23的输入图像进行卷积操作，输出的图像为高清的目标反射图像(记为I＇r)和高清的目标透射图像(记为I＇t)。而目标透射图像I＇t就是去除反光后的RGB格式的彩色去反光图像，该图像的分辨率与未处理的彩色图像相同，如2048*2048。
可以理解的是，虽然图2E为示出，但是实际中预设网络20的还可以包括输出层，用于支持预设网络20输出去除反光后的去反光图像。
图像去反光具体流程
根据本申请的一些实施例，结合上述场景中对成像设备10的描述，描述成像设备10执行图像去反光方法的工作流程，上述场景中描述的技术细节在此流程中依然适用，为了避免重复，有些在此次不再赘述。
具体的，图3示出了本申请实施例提供的一种图像去反光方法的实施流程示意图。可以理解，图3所示流程中的各步骤执行主体可以为成像设备10或者成像设备10中的图像处理单元13。在另一些实施例中，图3所示流程各步骤的执行主体也可以是其他与成像设备10具有类似结构的电子设备，在此不做限制。
具体地，如图3所示，该流程包括以下步骤：
S301：获取待处理彩色图像和待处理偏振图像。
作为一种示例，上述待处理彩色图像和待处理偏振图像可以分别通过图2A示出的成像设备10中的摄像头11和摄像头12采集得到。
待处理彩色图像的图像格式可以为RGB格式，但不限于此。待处理偏振图像可以为RAW格式的图像，如灰度图像或彩色图像，但不限于此。
S302：对待处理偏振图像进行双线性插值得到待处理偏振图像对应的四个偏振子图像。
其中，上述四个偏振子图像对应偏振片角度分别为45°、0°、90°和135°。并且，每个偏振子图像的长和宽均与待处理偏振图像的尺寸相同。
可以理解的是，获取待处理偏振图像对应的四个偏振子图像的方式可以采用上文中的两种确定偏振子图像的方式中的任意一种确定，对此不做限定。
作为一种示例，待处理偏振图像对应的四个偏振子图像为RAW格式的图像，如灰度图像或彩色图像。
根据本申请的一些实施例，上述S301和S302可以由成像设备10中的图像处理单元13中的预处理模块131执行。
S303：利用待处理偏振图像对应的四个偏振子图像，通过迭代求解的方式求解穆勒公式，得到待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像。
作为示例，待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像均为黑白图像，但不限于此。
本申请的一些实施例中，可以基于公式(1)表示的穆勒方程，利用待处理偏振图像对应的多个偏振子图像中的每个偏振子图像分别执行如下操作，将偏振子图像作为Ipol并将对应的偏振角度作为φ得到一组穆勒方程，以得到待处理彩色图像对应的多组穆勒方程，一组穆勒方程中的Ipol和φ与另一组穆勒方程中的Ipol和φ均不同。进而，通过迭代求解的方式求解多组穆勒方程，求解得到待处理偏振图像对应的Ir和It。
可以理解，由于待处理偏振图像对应4个偏振子图像，因此构建的多组穆勒方程的组数为4。
作为示例，针对待处理偏振图像对应的多个偏振子图像，将公式(1)中对应偏振片角度依次为45°、0°、90°和135°的偏振子图像分别记为Ipol.45、Ipol.0、Ipol.90以及Ipol.135，相应的公式(2)的偏振片角度φ分别取值为45、0、90和135。
以Ipol.45和φ＝45°作为已知量，可以将公式(1)变更为公式(1-1)，并将公式(1-1)作为一组穆勒方程。
以Ipol.0和φ＝0作为已知量，可以将公式(1)变更为公式(1-2)，并将公式(1-2)作为一组穆勒方程。
以Ipol.90和φ＝90作为已知量，可以将公式(1)变更为公式(1-3)，并将公式(1-3)作为一组穆勒方程。
以Ipol.135和φ＝135作为已知量，可以将公式(1)变更为公式(1-4)，并将公式(1-4)作为一组穆勒方程。
在一些实施例中，对于公式(1-1)、公式(1-2)、公式(1-3)以及公式(1-4)总共4个公式，可以采用迭代求解的方式求解出待处理彩色图像对应的初始黑白反射图像Ir和初始黑白透射图像It以及φ⊥和θ。
如此，通过待处理偏振图像对应的四个偏振子图像以及相应的四个偏振片角度作为解穆勒方程的已知量，使得穆勒方程的已知量的取值较多，从而能够构建多组穆勒方程。那么，采用迭代求解的方式求解穆勒方程不会出现无解的情况，能够解出较为准确的反射图像和透射图像，提升了图像去反光的效果。也就是说，至少通过四个穆勒方程式求解θ、φ⊥、It和Ir这四个未知量，保证了求解的有效性和准确性。
可以理解，求解出的初始黑白反射图像Ir和初始黑白透射图像It用于执行后续的图像去反光流程，而φ⊥和θ则不参与该流程。
作为示例，本申请实施例中迭代求解的方式为最速下降法或牛顿法。以下实施例中，以采用牛顿法迭代求解计算上述穆勒方程。例如，采用牛顿法迭代求解时，可以先通过绘图命令绘制图形，看交点；然后将交点附近的值带入迭代矩阵；最后求出小于误差的收敛解。
根据本申请的一些实施例，上述S303可以由成像设备10中的图像处理单元13中的计算模块132执行。
S304：将待处理彩色图像对应的初始黑白反射图像和初始黑白透射图像配准到待处理彩色图像。作为示例，将公式(1-1)、公式(1-2)、公式(1-3)以及公式(1-4)求解出的待处理彩色图像对应的初始黑白反射图像Ir和初始黑白透射图像It配准到待处理彩色图像。
可以理解的是，由于待处理偏振图像和待处理彩色图像是由不同摄像头采集得到的，因此两个图像的拍摄角度存在差别，进而导致通过穆勒方程求解出的初始黑白反射图像和初始黑白透射图像与待处理彩色图像之间的角度存在差别，那么将初始黑白反射图像和初始黑白透射图像配准到待处理彩色图像使得图像特征对齐。
在一些实施例中，将上述初始黑白反射图像或初始黑白透射图像作为待配准图像配准到待处理彩色图像的过程为：首先对待配准偏振图像和待处理彩色图像分别进行特征提取得到特征点；对两张图像通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。
根据本申请的一些实施例，上述S304可以由成像设备10中的图像处理单元13中的后处理模块133执行。
S305：将待处理彩色图像以及对应的配准后的初始黑白反射图像和对应的配准后的初始黑白透射图像输入预先训练的预设网络，并由预设网络输出待处理彩色图像对应目标反射图像和目标透射图像，该目标透射图像为预测出的高分辨率的去反光图像。例如，对于图1C所示的场景，预设网络识别并去除了图像中由反光引起的大屏设备的反射图像，输出了分辨率较高的建筑物的彩色图像(即透射图像)。
根据本申请的一些实施例，预先训练的预设网络可以采用初始黑白透射图像的图像特征从待处理彩色图像中估计出目标透射图像，并且还可以采用初始黑白反射图像的图像特征从待处理彩色图像中估计出目标反射图像。
根据本申请的一些实施例，参照图2E所示的预设网络20，待处理彩色图像(即Iunpol.RGB)以及初始黑白反射图像(即Ir，或称Ir，rough)和初始黑白透射图像(即It，或称It，rough)输入至预设网络20，并经过卷积层21，最大池化层22，上卷积层23以及卷积层24以及跳跃连接层25的处理，输出待处理彩色图像对应的分辨率较高的目标反射图像(即I＇r)和目标透射图像(即I＇t)，从而得到分辨率较高的去反光图像。
可以理解，本申请实施例中，首先通过两个摄像头分别采集高分辨率的彩色图像以及包含偏振信息的偏振图像。然后，在获取到偏振图像对应的四个偏振子图像之后，可以根据多个偏振子图像以及对应的多个偏振片角度，采用迭代求解的方式求解穆勒方程，使得穆勒方式不存在无解的情况。这样，使得初步求解出的初始黑白反射图像和初始黑白透射图像不包含鬼影而质量相对较好。进而，通过初步求解出的初始黑白反射图像和初始黑白透射图像从该彩色图像中估计出的目标反射图像和目标透射图像的质量较高，即得到了分辨率较高的高清去反光图像。
图像去反光流程以及触发流程
本申请的一些实施例中，用户使用成像设备10的一些拍摄场景中不存在玻璃镜面反光，那么此时如果使用图像去除反光算法将造成不必要的资源浪费。为了成像设备10拍摄过程中合理利用资源，成像设备10需要先确定当前拍摄场景存在反光的拍摄场景，再执行图像去反光算法流程。
进一步的，根据本申请的一些实施例，成像设备10中可以设置图像去反光功能。如果该功能开启，那么成像设备10在判断出拍摄场景中存在反光时执行图像去反光算法。如果该功能关闭，那么成像设备10将不会执行图像去反光算法。可以理解的是，在该功能关闭时，或者，该功能开启的情况下判断出拍摄场景中不存在玻璃镜面反光时，成像设备10仅通过摄像头11采集待处理彩色图像，而不会通过具有偏振传感器的摄像头12采集偏振图像，从而合理利用硬件资源。
在一些实施例中，成像设备10的图像去反光功能可以默认开启，还可以由用户根据实际需求手动开启或者关闭，对申请对此不做具体限定。
此外，根据本申请的一些实施例，在成像设备10不需要执行图像去反光算法时，可以对采集的待处理彩色图像作为最终的成像结果，或者对待处理彩色图像进行去噪处理等优化后生成最终的成像结果。
作为示例，图4示出了本申请实施例提供的另一种图像去反光方法的实施流程示意图。可以理解，图4所示流程中的各步骤执行主体可以仍为成像设备10或者成像设备10中的图像处理单元13。图4与图3示出的方法流程的主要区别在于，在S301之前还需要先判断当前拍摄场景是否为存在玻璃镜面反光的反光场景。
具体地，如图4所示，该流程包括以下步骤：
S401：采集待处理彩色图像。
根据本申请的一些实施例，在成像设备10开启图像去反光功能的情况下，在接收到用户的拍摄触发操作之后，响应于该拍摄触发操作通过摄像头11采集待处理彩色图像。
作为一种示例，在成像设备10为摄像机设备时，该摄像机设备可以设置有用于触发拍摄的物理拍摄按键，那么用户的拍摄触发操作为对该物理拍摄按键的按压操作，以触发采集待处理彩色图像。
作为另一种示例，在成像设备10为手机时，参照图5所示，手机10处于相机应用的拍摄预览页面，该拍摄预览界面中包括拍摄控件51。此时，用户对拍摄控件51的点击操作为拍摄触发操作，用于触发手机10采集待处理彩色图像。
此外，图5示出的拍摄预览界面上还包括功能控件52，该功能控件52处于选中状态表示手机10的图像去反光功能处于开启状态，表示后续可以执行S402以判断当前拍摄场景是否存在反光。可以理解，如果图5示出的功能控件52处于未选中状态，表示图像去反光功能处于关闭状态，那么用户可以通过点击该功能控件52重新开启图像去反光功能，进而执行后续S402。
S402：获取待处理彩色图像的场景分类信息。
在一些实施例中，成像设备10可以通过预先训练的分类模型获取待处理图像的场景分类信息。
可以理解的是，上述分类模型中扩展了一个反光场景对应的类别，并制作了相应的数据集，使得该分类模型具有反光场景对应的标签，即使得该分类模型具有区分图像的场景是否为反光场景的能力。这样一来，成像设备10可以将待处理彩色图像输入该分类模型中，该分类模型将对待处理彩色图像进行识别并打上标签，而该标签将作为待处理图像的场景分类信息。
上述分类模型可以实现为能够识别反光场景的任意分类模型，本申请对此不做具体限定。
作为示例，分类模型具有玻璃反光、楼梯、天空、大海、十字路口、餐厅、楼梯、候车室等预设场景分类。具体地，在分类模型中输入待处理彩色图像之后，分类模型可以估计出该待处理彩色图像的场景符合各个预设场景分类的概率，将这些概率作为待处理彩色图像的场景分信息。
S403：根据获取的场景分类信息，判断当前拍摄场景是否存在玻璃镜面反光。如果是则执行S404以执行图像去反光算法，如果否则进行S410输出最终成像结果。
在一些实施例中，上述分类标签具有多种场景标签，而该多种场景标签中包含反光场景标签。那么，通过判断待处理彩色图像的场景信息所表示的标签为反光场景标签，如果是则说明当前拍摄场景存在玻璃镜面反光，如果否则说明当前拍摄场景不存在玻璃镜面反光。
作为示例，在待处理彩色图像的场景分信息为分类模型识别出的场景符合各个预设场景分类的概率时，确定概率最高的预设场景分类作为该待处理彩色图像识别出的场景。例如，如果待处理彩色图像的场景分类信息指示出概率最高的预设场景分类为玻璃镜面反光，那么说明待处理彩色图像所处的场景中存在玻璃镜面反光。而如果待处理彩色图像的场景分类信息指示出概率最高的预设场景分类不是玻璃镜面反光而是楼梯，那么说明待处理彩色图像所处的场景中不存在玻璃镜面反光。
S404：采集待处理偏振图像。
在一些实施例中，成像设备10可以通过摄像头12采集待处理偏振图像。
S405至409。其中，对S405-409与上述实施例中的S301至S305分别相同，本申请实施例对此不再赘述。
可以理解的是，S405中成像设备10可以通过图像处理单元13获取摄像头11采集的待处理彩色图像，并获取摄像头12采集的待处理偏振图像。
S410：输出待处理彩色图像对应的最终成像结果。
根据本申请的一些实施例，在S403中判断出当前拍摄场景中不存在玻璃镜面反光的情况下，将待处理彩色图像作为最终成像结果输出，或者将待处理彩色图像进行去噪处理等优化后作为最终成像结果输出。
根据本申请的另一些实施例，在S409确定出待处理彩色图像对应的目标透射图像的情况下，将该目标透射图像表示去反光图像作为最终成像结果输出，或者将目标透射图像进行去噪处理等优化后作为最终成像结果输出。
此外，可以理解，成像设备10输出最终成像结果时，可以保存该成像结果到成像设备10的存储空间中，还可以在显示屏上显示最终成像结果的画面。
作为示例，手机10可以将最终成像结果存储在图库应用。进而，继续参照图5，用户可以对相机应用的拍摄预览界面中的最近拍摄图像入口53的点击操作，触发手机10展示最近一次拍摄的图像，即待处理彩色图像对应的最终成像结果。
图像去反光流程应用的神经网络训练流程
进一步的，本申请实施例中在从待处理彩色图像中去除反光对应的反射图像得到去反光图像之前，还可以通过训练数据集中的数据样本训练预设网络，使得该网络具备区分图像中的反射图像和透射图像的功能。
首先，本申请的一些实施例中，可以预先获取训练数据集，例如通过上述成像设备10采集并处理得到训练数据集。此外，在本申请的其他一些实施例中，还可以通过成像设备10之外的其他具有偏振传感器的双目摄像头的成像设备采集并处理得到训练数据集，对此不做具体限定。
作为一种示例，训练数据集中包含多组训练数据，每组训练数据中包括一个训练彩色图像、一个训练偏振图像、一个训练反射图像(即真实的反射图像)以及一个训练透射图像(即真实的透射图像)。
在一些实施例中，一组训练彩色图像、训练偏振图像以及训练反射图像可以通过成像设备10的摄像头直接采集的得到，而该训练透射图像可以通过该训练彩色图像与该训练反射图形的差值计算得到。其中，训练反射图像采集时需要遮住经过透明玻璃的透射光。
参照图6所示，根据本申请的一些实施例，示出了一种图像采集场景的示意图。如图6所示，成像设备10隔着透明玻璃拍摄背侧物体并且成像设备10同侧存在产生反光的同侧物体。首先，成像设备10在透明玻璃前通过摄像头11采集一个彩色图像(记为Iambient)，并通过摄像头12采集一个偏振图像(记为Ipol)。然后，固定成像设备10不动,使得成像设备10的摄像头不动，并在透明玻璃背侧蒙上一块不透明不反光的黑绒布，保持摄像头11的摄像参数不变，通过摄像头11采集真实的反射图像(记为Ireflection)。使用Iambient减去Ireflection就得到了透射图像(记为Itransition)。那么，Iambient作为一个训练彩色图像，Ipol经过插值及牛顿法求解得到的初始黑白反射图像及初始黑白透射图像作为对应的训练偏振图像、Ireflection作为对应的训练反射图像，Itransition作为对应的训练透射图像，这些图像构成一组训练图像。类似的，以此类推，可以构建完成训练数据集。
作为示例，参照图7所示，为申请实施例提供的一种图像去反光算法应用的神经网络的训练流程示意图。可以理解，图7所示流程中的各步骤执行主体可以为成像设备10或者成像设备10中的图像处理单元13。在另一些实施例中，图3所示流程各步骤的执行主体也可以是其他与成像设备10具有类似结构的电子设备，在此不做限制。此外，图7中的实施例主要对一组训练图像的处理为例，对预设网络的训练过程进行介绍。
具体地，如图7所示，该流程包括以下步骤：
S701：获取训练彩色图像和训练偏振图像。
S702：对训练偏振图像进行双线性插值得到训练偏振图像对应的四个偏振子图像。
S703：利用训练偏振图像对应的四个偏振子图像，通过迭代求解的方式求解穆勒公式，得到训练偏振图像对应的初始黑白反射图像和初始黑白透射图像。
S704：将训练偏振图像对应的初始黑白反射图像和初始黑白透射图像配准到训练彩色图像。
S705：将训练彩色图像以及对应的配准后的初始黑白反射图像和对应的配准后的初始黑白透射图像输入预先训练的预设网络，并由预设网络输出训练彩色图像对应目标反射图像和目标透射图像，该目标透射图像为预测出的高分辨率的去反光图像。
其中，对上述S701至S705的描述可以参照图3示出的实施例中对S301至S305的描述，相同之处不再赘述。不同之处仅在于，处理的对象由实时采集的待处理彩色图像和待处理偏振图像变为预先采集的训练彩色图像和训练偏振图像。
S706：根据训练透射图像和训练偏振图像对应的目标透射图像组成的一组图像，以及训练反射图像和训练偏振图像对应的目标反射图像组成的一组图像中的至少一组图像，确定预设网络的损失函数。
根据本申请的一些实施例，预设网络的损失函数为均方误差(Mean-SquareError，MSE)函数或者均方根误差(Root Mean Square Error,RMSE)函数，但不限于此。
作为一种示例，在根据训练透射图像和训练偏振图像对应的目标透射图像组成的一组图像确定损失函数时，上述损失函数为L1＝MSE(IGT1，Ipred1)，其中，MSE()表示均方误差函数。其中，IGT1表示训练透射图像，即去反光后的透射图像的真值。而Ipred1表示训练彩色图像对应的目标透射图像，即预设网络预测的去反光图像。
作为另一种示例，在根据训练反射图像和训练偏振图像对应的目标反射图像组成的一组图像确定损失函数时，上述损失函数为L2＝MSE(IGT2，Ipred2)，其中，IGT2表示训练反射图像，即去反光后的反射图像的真值。而Ipred2表示训练彩色图像对应的目标反射图像，即预设网络预测的反射图像。
并且，作为另一种示例，在根据训练反射图像和训练偏振图像对应的目标反射图像，以及训练透射图像和训练偏振图像对应的目标透射图像确定损失函数时，上述损失函数可以包括上述L1和L2，但不限于此。例如，损失函数还可以为L1和L2的平均值等。
S707：根据预设网络的损失函数训练预设网络，以得到预先训练的预设网络。
可以理解，均方误差MSE通过计算预测值和实际值之间距离(即误差)的平方来衡量模型优劣。即预测值(如训练彩色图像对应的目标透射图像)和真实值(训练透射图像)越接近，两者的均方差就越小。MSE的值越小，说明预设网络描述实验数据具有更好的精确度。
根据本申请的一些实施例，在预设网络的损失函数的数值大于预设数值，可以通过调整预设网络的超参数，以训练该预设网络，直至该损失函数的数值小于或等于预设数值。其中，预设数值的具体取值可以根据实际需求选取，本申请实例对此不做具体限定。例如，神经网络的超参数可以为学习率、正则化参数、神经网络的层数、每一个隐层中神经元的个数、学习的回合数等。
根据本申请的一些实施例，上述S706和S707可以由成像设备10中的图像处理单元13中的网络处理模块134执行。
如此，本申请实施例中执行图像去反光算法之前，可以训练预设网络，从而可以即使调整第一网络和第二网络的超参数，有利于提升网络训练的速度和效果。
根据本申请的一些实施例，执行图像去反光方法的电子设备称为成像设备10，以成像设备10为手机10为例，对执行图像去反光算法的手机10的硬件进行介绍。
如图8所示，手机10可以包括处理器110、电源模块140、存储器180，移动通信模块130、无线通信模块120、传感器模块190、音频模块150、摄像头170、接口模块160、按键101以及显示屏102等。
可以理解的是，本发明实施例示意的结构并不构成对手机10的具体限定。在本申请另一些实施例中，手机10可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如，可以包括中央处理器CPU(Central Processing Unit)、图像处理器GPU(Graphics Processing Unit)、数字信号处理器DSP、微处理器MCU(Micro-programmed Control Unit)、AI(ArtificialIntelligence，人工智能)处理器或可编程逻辑器件FPGA(Field Programmable GateArray)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中可以设置存储单元，用于存储指令和数据。在一些实施例中，处理器110中的存储单元为高速缓冲存储器180。作为一种示例，图2A示出的图像处理单元13可以通过处理器1110实现，例如图2D示出的预处理模块131、后处理模块133可以通过处理器110中的GPU或DSP实现，而计算模块132和网络处理模块134可以通过处理器110中的CPU或MCU实现，但不限于此。
电源模块140可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。在一些实施例中，电源管理部件包括充电管理模块和电源管理模块。充电管理模块用于从充电器接收充电输入；电源管理模块用于连接电源，充电管理模块与处理器110。电源管理模块接收电源和/或充电管理模块的输入，为处理器110，显示屏102，摄像头170，及无线通信模块120等供电。
移动通信模块130可以包括但不限于天线、功率放大器、滤波器、LNA(Low noiseamplify，低噪声放大器)等。移动通信模块130可以提供应用在手机10上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块130可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块130还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，移动通信模块130的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块130至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivisionmultiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，无线局域网(wireless local areanetworks，WLAN)，近距离无线通信技术(near field communication，NFC)，调频(frequency modulation，FM)和/或field communication，NFC)，红外技术(infrared，IR)技术等。GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
无线通信模块120可以包括天线，并经由天线实现对电磁波的收发。无线通信模块120可以提供应用在手机10上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。手机10可以通过无线通信技术与网络以及其他设备进行通信。
在一些实施例中，手机10的移动通信模块130和无线通信模块120也可以位于同一模块中。
显示屏102用于显示人机交互界面、图像、视频等。显示屏102包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organiclight-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flexlight-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。
传感器模块190可以包括接近光传感器、压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。
音频模块150用于将数字音频信息转换成模拟音频信号输出，或者将模拟音频输入转换为数字音频信号。音频模块150还可以用于对音频信号编码和解码。在一些实施例中，音频模块150可以设置于处理器110中，或将音频模块150的部分功能模块设置于处理器110中。在一些实施例中，音频模块150可以包括扬声器、听筒、麦克风以及耳机接口。
摄像头170用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给ISP(Image SignalProcessing，图像信号处理)转换成数字图像信号。手机10可以通过ISP，摄像头170，视频编解码器，GPU(Graphic Processing Unit，图形处理器)，显示屏102以及应用处理器等实现拍摄功能。作为一种示例，摄像头170中可以包括双目摄像头，例如包括图2示出的摄像头11和摄像头12，以支持手机10采集高分辨率的彩色图像并采集包含偏振信息的偏振图像。
接口模块160包括外部存储器接口、通用串行总线(universal serial bus，USB)接口及用户标识模块(subscriber identification module，SIM)卡接口等。其中外部存储器接口可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机10的存储能力。外部存储卡通过外部存储器接口与处理器110通信，实现数据存储功能。通用串行总线接口用于手机10和其他电子设备进行通信。用户标识模块卡接口用于与安装至手机1010的SIM卡进行通信，例如读取SIM卡中存储的电话号码，或将电话号码写入SIM卡中。
在一些实施例中，手机10还包括按键101、马达以及指示器等。其中，按键101可以包括音量键、开/关机键等。马达用于使手机10产生振动效果，例如在用户的手机10被呼叫的时候产生振动，以提示用户接听手机10来电。指示器可以包括激光指示器、射频指示器、LED指示器等。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是，在本申请的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (13)

1.一种图像去反光方法，应用于电子设备，其特征在于，包括：
获取待处理彩色图像和待处理偏振图像；
获取所述待处理偏振图像对应的多个偏振子图像，所述多个偏振子图像中的各个偏振子图像对应的偏振片角度均不同；
利用所述待处理偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，得到所述待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像；
根据所述待处理彩色图像，对所述待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像进行处理，得到所述待处理彩色图像对应的目标透射图像以及由反光引起的目标反射图像；
其中，所述根据所述待处理彩色图像，对所述待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像进行处理，得到所述待处理彩色图像对应的目标透射图像以及由反光引起的目标反射图像，包括：
将所述待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像配准到所述待处理彩色图像；
将所述待处理彩色图像以及所述待处理偏振图像对应的配准后的初始黑白反射图像和配准后的初始黑白透射图像输入到预设网络中，并由所述预设网络输出所述待处理彩色图像对应的目标透射图像以及目标反射图像。
2.根据权利要求1所述的方法，其特征在于，所述获取所述待处理偏振图像对应的多个偏振子图像，包括：
对所述待处理偏振图像中属于不同偏振角度的像素点进行插值，得到所述待处理偏振图像对应的多个偏振子图像。
3.根据权利要求1或2所述的方法，其特征在于，所述利用所述待处理偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，得到所述待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像，包括：
基于公式
利用所述待处理偏振图像对应的多个偏振子图像中的每个偏振子图像分别执行如下操作，将偏振子图像作为Ipol并将对应的偏振角度作为φ得到一组穆勒方程，以得到所述待处理偏振图像对应的多组穆勒方程，一组穆勒方程中的Ipol和φ与另一组穆勒方程中的Ipol和φ均不同；
通过迭代求解的方式求解所述多组穆勒方程，求解得到所述待处理偏振图像对应的Ir和It；
其中，θ表示入射光与法线的夹角，R⊥(θ)表示入射光对应的S偏振光的强度反射率，R||(θ)表示入射光对应的P偏振光的强度反射率，T⊥(θ)表示入射光对应的S偏振光的强度透射率,T||(θ)表示入射光对应的P偏振光的强度透射率,T⊥(θ)＝1-R⊥(θ)，T||(θ)＝1-R||(θ)，Ir表示初始黑白反射图像，It表示初始黑白透射图像，φ⊥是指最佳传输时的偏振片角度。
4.根据权利要求3所述的方法，其特征在于，所述待处理偏振图像对应4个偏振子图像，所述多组穆勒方程的组数为4。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述获取待处理彩色图像和待处理偏振图像之前，所述方法还包括：
获取训练彩色图像以及所述训练彩色图像对应的训练偏振图像、训练反射图像和训练透射图像，所述训练透射图像是由所述训练彩色图像与所述反射图像的差值得到；
获取所述训练偏振图像对应的多个偏振子图像，不同偏振子图像的偏振角度不同；
利用所述训练偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，得到所述训练偏振色图像对应的初始黑白反射图像和初始黑白透射图像；
将所述训练偏振图像对应的初始黑白反射图像和初始黑白透射图像配准到所述训练彩色图像；
根据所述训练反射图像和所述训练透射图像中的至少一个、所述训练彩色图像以及所述训练偏振图像对应的配准后的初始黑白反射图像和配准后的初始黑白透射图像，训练所述预设网络。
6.根据权利要求5所述的方法，其特征在于，所述利用所述训练偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，得到所述训练偏振图像对应的初始黑白反射图像和初始黑白透射图像，包括：
基于公式
利用所述训练偏振图像对应的多个偏振子图像中的每个偏振子图像分别执行如下操作，将偏振子图像作为Ipol并将对应的偏振角度作为φ得到一组穆勒方程，以得到所述训练偏振图像对应的多组穆勒方程，一组穆勒方程中的Ipol和φ与另一组穆勒方程中的Ipol和φ均不同；
通过迭代求解的方式求解所述训练偏振图像对应的多组穆勒方程，求解得到所述训练偏振图像对应的Ir和It；
其中，θ表示入射光与法线的夹角，R⊥(θ)表示入射光对应的S偏振光的强度反射率，R||(θ)表示入射光对应的P偏振光的强度反射率，T⊥(θ)表示入射光对应的S偏振光的强度透射率，T||(θ)表示入射光对应的P偏振光的强度透射率，T⊥(θ)＝1-R⊥(θ),T||(θ)＝1-R||(θ),Ir表示初始黑白反射图像，It表示初始黑白透射图像，φ⊥是指最佳传输时的偏振片角度。
7.根据权利要求5或6所述的方法，其特征在于，所述根据所述训练反射图像和所述训练透射图像中的至少一个、所述训练彩色图像以及所述训练偏振图像对应的配准后的初始黑白反射图像和配准后的初始黑白透射图像，训练所述预设网络，包括：
将所述训练彩色图像、所述训练偏振图像对应的配准后的初始黑白反射图像和配准后的初始黑白透射图像输入所述预设网络，得到由所述预设网络输出的所述训练偏振图像对应的目标反射图像和目标透射图像；
根据所述训练透射图像和所述训练偏振图像对应的目标透射图像组成的一组图像，以及所述训练反射图像和所述训练偏振图像对应的目标反射图像组成的一组图像中的至少一组图像，确定损失函数；
根据所述损失函数，训练所述预设网络。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述迭代求解的方式为最速下降法或牛顿法。
9.根据权利要求1所述的方法，其特征在于，所述获取待处理彩色图像和待处理偏振图像之前，所述方法还包括：
确定所述待处理彩色图像对应的场景信息符合预设场景信息，所述预设场景信息用于指示拍摄场景中存在玻璃镜面反光。
10.根据权利要求9所述的方法，其特征在于，所述电子设备中包括第一摄像头和第二摄像头，所述第二摄像头中设置有偏振传感器；
其中，所述待处理彩色图像通过所述第一摄像头采集得到，所述待处理偏振图像通过所述第二摄像头采集得到；并且，所述待处理彩色图像的分辨率高于所述待处理偏振图像的分辨率。
11.一种电子设备，其特征在于，包括：第一摄像头和第二摄像头，以及获取模块，计算模块和处理模块；
所述第一摄像头，用于采集待处理彩色图像；
所述第二摄像头，用于采集待处理偏振图像；
所述获取模块，用于获取所述待处理偏振图像对应的多个偏振子图像，所述多个偏振子图像中的各个偏振子图像对应的偏振片角度均不同；
所述计算模块，利用所述待处理偏振图像对应的多个偏振子图像，通过迭代求解的方式求解穆勒方程，得到所述待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像；
所述处理模块，用于根据所述待处理彩色图像，以及所述待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像，识别出所述待处理彩色图像对应的目标透射图像以及由反光引起的目标反射图像；
其中，所述处理模块，具体用于将所述待处理偏振图像对应的初始黑白反射图像和初始黑白透射图像配准到所述待处理彩色图像；
将所述待处理彩色图像以及所述待处理偏振图像对应的配准后的初始黑白反射图像和配准后的初始黑白透射图像输入到预设网络中，并由所述预设网络输出所述待处理彩色图像对应的目标透射图像以及目标反射图像。
12.一种可读介质，其特征在于，所述可读介质上存储有指令，所述指令在电子设备上执行时使所述电子设备执行权利要求1至10中任一项所述的图像去反光方法。
13.一种电子设备，其特征在于，包括：存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及处理器，是所述电子设备的处理器之一，用于执行权利要求1至10中任一项所述的图像去反光方法。
CN202210843901.1A 2022-07-18 2022-07-18 图像去反光方法、介质及电子设备 Active CN115393237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210843901.1A CN115393237B (zh) 2022-07-18 2022-07-18 图像去反光方法、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210843901.1A CN115393237B (zh) 2022-07-18 2022-07-18 图像去反光方法、介质及电子设备

Publications (2)

Publication Number Publication Date
CN115393237A CN115393237A (zh) 2022-11-25
CN115393237B true CN115393237B (zh) 2023-07-18

Family

ID=84117046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210843901.1A Active CN115393237B (zh) 2022-07-18 2022-07-18 图像去反光方法、介质及电子设备

Country Status (1)

Country Link
CN (1) CN115393237B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011103576A1 (en) * 2010-02-22 2011-08-25 Canfield Scientific, Incorporated Reflectance imaging and analysis for evaluating tissue pigmentation
JP6988819B2 (ja) * 2016-11-15 2022-01-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR102399539B1 (ko) * 2017-08-28 2022-05-19 삼성전자주식회사 오브젝트 식별 방법 및 장치
CN110827207B (zh) * 2019-09-17 2022-12-02 北京大学 一种基于协同分合学习机制的反射消除方法
CN111080669B (zh) * 2019-11-04 2023-09-19 北京大学 一种图像反射分离方法及装置

Also Published As

Publication number Publication date
CN115393237A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
JP7118244B2 (ja) グラフィックコード認識方法及び装置、並びに、端末及びプログラム
KR102341456B1 (ko) 2-단계 모션 보상을 가진 콘볼루션 뉴럴 네트워크를 사용하는 비디오 슈퍼 해상도를 위한 방법 및 장치
CN108305236B (zh) 图像增强处理方法及装置
US20200134848A1 (en) System and method for disparity estimation using cameras with different fields of view
WO2021078001A1 (zh) 一种图像增强方法及装置
WO2021037157A1 (zh) 图像识别方法及电子设备
CN111327887B (zh) 电子装置及其操作方法，以及处理电子装置的图像的方法
US20190251670A1 (en) Electronic device and method for correcting images using external electronic device
WO2023040725A1 (zh) 白平衡处理方法与电子设备
CN115375827B (zh) 光照估计方法及电子设备
US20220417446A1 (en) Electronic device for editing video using objects of interest and operating method thereof
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
CN114782296B (zh) 图像融合方法、装置及存储介质
CN115358937B (zh) 图像去反光方法、介质及电子设备
CN113628134B (zh) 图像降噪方法及装置、电子设备及存储介质
KR102609734B1 (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
US11494885B2 (en) Method for synthesizing image on reflective object on basis of attribute of reflective object included in different image, and electronic device
CN115393237B (zh) 图像去反光方法、介质及电子设备
CN116704200A (zh) 图像特征提取、图像降噪方法及相关装置
US11954833B2 (en) Electronic device for supporting machine learning-based image processing
CN116258633A (zh) 图像去反光的方法、图像去反光模型的训练方法与装置
CN114387312A (zh) 图像处理方法、装置、电子设备及存储介质
CN116128739A (zh) 下采样模型的训练方法、图像处理方法及装置
US20220345621A1 (en) Scene lock mode for capturing camera images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant