CN116703813B - 图像处理方法和设备 - Google Patents
图像处理方法和设备 Download PDFInfo
- Publication number
- CN116703813B CN116703813B CN202211686686.5A CN202211686686A CN116703813B CN 116703813 B CN116703813 B CN 116703813B CN 202211686686 A CN202211686686 A CN 202211686686A CN 116703813 B CN116703813 B CN 116703813B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- sample image
- reflection
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 219
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 28
- 239000002131 composite material Substances 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 230000002194 synthesizing effect Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 230000005764 inhibitory process Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 20
- 101150064138 MAP1 gene Proteins 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000003708 edge detection Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 5
- 230000002401 inhibitory effect Effects 0.000 description 5
- 238000012800 visualization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像处理方法和设备,能够获得较好的去除反光的效果,提高背景图像的质量,提升用户体验。该方法包括:获取待处理图像,待处理图像是隔着透明介质对目标对象进行拍摄得到的;基于待处理图像的第一左视图和第一右视图,确定第一指导图,第一指导图包括目标对象的高频信息;将待处理图像和第一指导图输入至训练好的重建网络模型中,得到处理后图像,处理后图像为对待处理图像进行去反射处理得到的图像,其中,重建网络模型是基于样本图像、样本图像的背景图像和样本图像的反射图像进行训练得到的,样本图像的背景图像是未隔着透明介质进行拍摄得到的,样本图像的反射图像是对透明介质进行拍摄得到的。
Description
技术领域
本申请涉及图像技术领域,尤其涉及一种图像处理方法和设备。
背景技术
用户在使用终端设备进行拍摄时,经常会拍出由玻璃造成的反射现象,这种反射现象是不美观的,因此用户希望可以将反射去除。上述反射主要是由于用户通过如玻璃、橱窗等透明介质对目标对象进行拍摄时产生的,它不仅会影响图片的质量和使用率,同时也会影响一些计算机视觉任务的处理效果,比如图像分类、检测等。
目前存在一种去除图像反光区域的方法,通过将单张图像输入至训练好的网络模型,得到预测的背景图像和预测的反射图像,该预测的背景图像即为该单张图像去除反光后的图像。上述方式去除反光的效果不好,得到的背景图像质量较差,导致用户体验感不好。
发明内容
本申请提供了一种图像处理方法和设备,能够获得较好的去除反光的效果,提高背景图像的质量,提升用户体验。
第一方面,提供了一种图像处理方法,包括:获取待处理图像,待处理图像是隔着透明介质对目标对象进行拍摄得到的;基于待处理图像的第一左视图和第一右视图,确定第一指导图,第一指导图包括目标对象的高频信息;将待处理图像和第一指导图输入至训练好的重建网络模型中,得到处理后图像,处理后图像为对待处理图像进行去反射处理得到的图像,其中,重建网络模型是基于样本图像、样本图像的背景图像和样本图像的反射图像进行训练得到的,样本图像的背景图像是未隔着透明介质进行拍摄得到的,样本图像的反射图像是对透明介质进行拍摄得到的。
本申请实施例的图像处理方法,通过给训练好的重建网络模型中输入指导图和待处理图像,得到处理后图像,处理后图像为对待处理图像进行去反射处理得到的图像,本申请实施例的方法在对待处理图像进行去反射处理的过程中结合了指导图,由于指导图中包括的目标对象的高频信息(边缘信息),将指导图与待处理图像均输入至重建网络模型中,重建网络模型可以根据指导图中的信息对待处理图像进行去反射处理,提高了去反射处理效果,从而使得到的处理后图像的图像质量更高,提升用户体验。
应理解,待处理图像可以由配置了DP传感器的图像处理设备自己拍摄得到(在图像处理设备具备图像采集功能的情况下),也可以由配置了DP传感器的图像采集设备拍摄得到。
应理解,由于图像处理设备或图像采集设备配置了DP传感器,因此,可以得到待处理图像的第一左视图和第一右视图。
应理解,高频信息表示图像中灰度值变化剧烈的区域,对应着图像中的边缘信息。
结合第一方面,在第一方面的某些实现方式中,上述基于待处理图像的第一左视图和第一右视图,确定第一指导图,包括:利用立体匹配算法,基于第一左视图和第一右视图,确定第一视差图,第一视差图包括第一左视图和第一右视图的多个像素点之间的视差值;基于第一视差图所包括的多个像素点之间的视差值,确定多个像素点的置信度;基于多个像素点的置信度,对第一视差图的像素值进行处理,得到第一指导图。
结合第一方面,在第一方面的某些实现方式中,上述利用立体匹配算法,基于第一左视图和第一右视图,确定第一视差图,包括:对第一左视图和第一右视图分别进行边缘提取处理,得到第一左边缘图像和第一右边缘图像;将第一左边缘图像和第一右边缘图像输入至立体匹配算法,得到所述第一视差图。
应理解,边缘图像是指周围像素灰度有变化的那些像素的集合。第一左边缘图像和第一右边缘图像,是对得到的第一左灰度图像和第一右灰度图像分别进行边缘检测和边缘提取而得到的。例如,基于梯度进行边缘提取,其中,可以采用的梯度膜算子可以为Roberts算子,Sobel算子,Prewitt算子和Krisch算子等。
结合第一方面,在第一方面的某些实现方式中,在上述将待处理图像和第一指导图输入至训练好的重建网络模型中,得到处理后图像之前,上述方法还包括:获取样本图像、样本图像的背景图像和样本图像的反射图像;基于样本图像的背景图像的第二左视图和第二右视图,确定第二指导图,第二指导图包括背景图像中的高频信息;将样本图像和第二指导图输入至所述重建网络模型中,得到预测背景图像和预测反射图像;基于预测背景图像和样本图像的背景图像之间的差异、预测反射图像和样本图像的反射图像之间的差异,对重建网络模型进行训练,得到训练好的重建网络模型。
应理解,确定第二指导图的方法有两种,在一种可能的实现方式中,可以基于样本图像的背景图像的第二左视图和第二右视图,确定第二指导图;在另一种可能的实现方式中,可以基于样本图像,确定第二指导图。样本图像是隔着透明介质对目标样本进行拍摄得到的,在拍摄样本图像时,图像处理设备可以获取样本图像的左视图和右视图,因此,图像处理设备可以基于样本图像(即样本图像的左视图和右视图),确定第二指导图。基于样本图像的背景图像的第二左视图和第二右视图,确定的第二指导图和基于样本图像,确定的第二指导图是相同的。
结合第一方面,在第一方面的某些实现方式中,上述获取样本图像,包括:对样本图像的背景图像和样本图像的反射图像进行合成处理,得到样本图像。
应理解,得到样本图像的方法有两种,在一种可能的实现方式中,样本图像是图像处理设备或图像采集设备隔着透明介质对目标样本进行拍摄得到的;在另一种可能的实现方式中,样本图像是通过对样本图像的背景图像和样本图像的反射图像进行合成处理而得到的。
在模型训练过程中,需要大量的样本图像,逐个拍摄样本图像不仅增加了模型训练人员的工作量,而且耗时较长,人力成本高。通过获取样本图像的背景图像和样本图像的反射图像,将同一样本图像的背景图像和不同的样本图像的发射图像进行合成处理,就会得到基于同一的背景图像的不同样本图像,以此类推,就可以得到更多的样本图像。通过对样本图像的背景图像和样本图像的反射图像进行合成处理可以得到更多的样本图像,可以减轻模型训练人员的工作量,降低人力成本。
结合第一方面,在第一方面的某些实现方式中,上述对样本图像的背景图像和样本图像的反射图像进行合成处理,得到所述样本图像,包括:对样本图像的反射图像进行模糊处理,得到样本图像的模糊反射图像;对样本图像的背景图像和样本图像的模糊反射图像进行合成处理,得到样本图像的第一合成图像;基于样本图像的第一合成图像的像素值,对样本图像的模糊反射图像的像素值进行调整,得到样本图像的抑制反射图像;对样本图像的背景图像和样本图像的抑制反射图像进行合成处理,得到样本图像的第二合成图像;对样本图像的第二合成图像的像素值进行调整,得到样本图像。
应理解,图像处理设备对样本图像的背景图像和样本图像的反射图像进行合成处理,可能会导致样本图像曝光,使样本图像的不清晰,因此需要对样本图像的背景图像和样本图像的反射图像做进一步处理,降低曝光,提高样本图像的背景图像和样本图像的反射图像合成后的图像清晰度,使样本图像的背景图像和样本图像的反射图像合成后的图像更接近直接获取的样本图像(即隔着透明介质对背景图像中的目标对象进行拍摄时得到的样本图像)。
应理解,模糊反射图,是图像处理设备对反射图像进行模糊处理后得到的,对图像进行模糊处理可以减少图像噪声。示例性地,图像处理设备对反射图像进行高斯模糊处理,得到模糊反射图像。
结合第一方面,在第一方面的某些实现方式中,上述基于样本图像的第一合成图像的像素值,对样本图像的模糊反射图像的像素值进行调整,得到样本图像的抑制反射图像,包括:基于样本图像的第一合成图像的像素值,计算样本图像的第一合成图像中像素值大于第一阈值的R通道、G通道和B通道对应的像素值的均值;基于R通道、G通道和B通道对应的像素值的均值,对样本图像的模糊反射图像的像素值进行调整,得到样本图像的抑制反射图像。
应理解,模糊反射图是基于反射图像而得到的,反射图像具有反光区域,易曝光,因此基于样本图像的第一合成图像中对应的R通道、G通道和B通道对应的像素值的均值,图像处理设备对样本图像的模糊反射图像的像素值进行调整,降低曝光,从而得到图像质量更高的抑制反射图像。
结合第一方面,在第一方面的某些实现方式中,上述样本图像的抑制反射图像中的像素值等于样本图像的模糊反射图像中的像素值减去对应通道的衰减值,各个通道的衰减值是分别基于各个通道对应的像素值的均值确定的。
应理解,衰减值可以基于各个通道对应的像素值的均值,通过衰减公式计算得到。
第二方面,提供了一种图像处理设备,包括:获取模块:用于获取待处理图像,待处理图像是隔着透明介质对目标对象进行拍摄得到的;处理模块:用于基于待处理图像的第一左视图和第一右视图,确定第一指导图,第一指导图包括目标对象的高频信息;以及,将待处理图像和第一指导图输入至训练好的重建网络模型中,得到处理后图像,处理后图像为对待处理图像进行去反射处理得到的图像,其中,重建网络模型是基于样本图像、样本图像的背景图像和样本图像的反射图像进行训练得到的,样本图像的背景图像是未隔着透明介质进行拍摄得到的,样本图像的反射图像是对透明介质进行拍摄得到的。
结合第二方面,在第二方面的某些实现方式中,处理模块还用于:利用立体匹配算法,基于第一左视图和第一右视图,确定第一视差图,第一视差图包括第一左视图和第一右视图的多个像素点之间的视差值;基于第一视差图所包括的多个像素点之间的视差值,确定多个像素点的置信度;基于多个像素点的置信度,对第一视差图的像素值进行处理,得到第一指导图。
结合第二方面,在第二方面的某些实现方式中,处理模块还用于:对第一左视图和第一右视图分别进行边缘提取处理,得到第一左边缘图像和第一右边缘图像;将第一左边缘图像和第一右边缘图像输入至立体匹配算法,得到第一视差图。
结合第二方面,在第二方面的某些实现方式中,获取模块还用于:获取样本图像、样本图像的背景图像和样本图像的反射图像;处理模块还用于:基于样本图像的背景图像的第二左视图和第二右视图,确定第二指导图,第二指导图包括背景图像中的高频信息;将样本图像和第二指导图输入至重建网络模型中,得到预测背景图像和预测反射图像;基于预测背景图像和样本图像的背景图像之间的差异、预测反射图像和样本图像的反射图像之间的差异,对重建网络模型进行训练,得到训练好的重建网络模型。
结合第二方面,在第二方面的某些实现方式中,处理模块还用于:对样本图像的背景图像和样本图像的反射图像进行合成处理,得到样本图像。
结合第二方面,在第二方面的某些实现方式中,处理模块还用于:对样本图像的反射图像进行模糊处理,得到样本图像的模糊反射图像;对样本图像的背景图像和样本图像的模糊反射图像进行合成处理,得到样本图像的第一合成图像;基于样本图像的第一合成图像的像素值,对样本图像的模糊反射图像的像素值进行调整,得到样本图像的抑制反射图像;对样本图像的背景图像和样本图像的抑制反射图像进行合成处理,得到样本图像的第二合成图像;对样本图像的第二合成图像的像素值进行调整,得到样本图像。
结合第二方面,在第二方面的某些实现方式中,处理模块还用于:基于样本图像的第一合成图像的像素值,计算样本图像的第一合成图像中像素值大于第一阈值的R通道、G通道和B通道对应的像素值的均值;基于R通道、G通道和B通道对应的像素值的均值,对样本图像的模糊反射图像的像素值进行调整,得到样本图像的抑制反射图像。
结合第二方面,在第二方面的某些实现方式中,样本图像的抑制反射图像中的像素值等于样本图像的模糊反射图像中的像素值减去对应通道的衰减值,各个通道的衰减值是分别基于各个通道对应的像素值的均值确定的。
第三方面,提供了另一种图像处理设备,包括处理器和存储器。该处理器用于读取存储器中存储的指令,以执行上述第一方面中的任一种可能实现方式中的方法。
可选地,处理器为一个或多个,存储器为一个或多个。
可选地,存储器可以与处理器集成在一起,或者存储器与处理器分离设置。
在具体实现过程中,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(read only memory,ROM),其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
上述第三方面中的图像处理设备可以是一个芯片,该处理器可以通过硬件来实现也可以通过软件来实现,当通过硬件实现时,该处理器可以是逻辑电路、集成电路等;当通过软件来实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现,该存储器可以集成在处理器中,可以位于该处理器之外,独立存在。
第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序(也可以称为代码,或指令),当其在计算机上运行时,使得计算机执行上述第一方面中的任一种可能实现方式中的方法。
第五方面,提供了一种计算机程序产品,计算机程序产品包括:计算机程序(也可以称为代码,或指令),当计算机程序被运行时,使得计算机执行上述第一方面中的任一种可能实现方式中的方法。
附图说明
图1是本申请实施例提供的一种图像处理方法的示意性流程图;
图2是本申请实施例提供的一种模型训练方法的示意性流程图;
图3是本申请实施例提供的一种得到指导图的示意性流程图;
图4是本申请实施例提供的另一种图像处理方法的示意性流程图;
图5是本申请实施例提供的另一种图像处理方法的示意性流程图;
图6是本申请实施例提供的一种图像处理设备的示意性框图;
图7是本申请实施例提供的另一种图像处理设备的示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
此外,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b和c中的至少一项(个),可以表示:a,或b,或c,或a和b,或a和c,或b和c,或a、b和c,其中a,b,c可以是单个,也可以是多个。
在本申请实施例中,“当……时”、“在……的情况下”、“若”以及“如果”等描述均指在某种客观情况下设备会做出相应的处理,并非是限定时间,且也不要求设备在实现时一定要有判断的动作,也不意味着存在其它限定。
用户在使用终端设备进行拍摄时,经常会拍出由玻璃造成的反射现象,这种反射现象是不美观的,因此用户希望可以将反射去除。上述反射主要是由于用户通过如玻璃、橱窗等透明介质对目标对象进行拍摄时产生的,它不仅会影响图片的质量和使用率,同时也会影响一些计算机视觉任务的处理效果,比如图像分类、检测等。
目前存在一种去除图像反光区域的方法,通过将单张图像输入至训练好的网络模型,得到预测的背景图像和预测的反射图像,该预测的背景图像即为该单张图像去除反光后的图像。上述方式去除反光的效果不好,得到的背景图像质量较差,用户体验感不好。
有鉴于此,本申请实施例提出了一种图像处理方法和设备,通过给训练好的重建网络模型中输入指导图和待处理图像,得到处理后图像,处理后图像为对待处理图像进行去反射处理得到的图像,本申请实施例的方法在对待处理图像进行去反射处理的过程中结合了指导图,由于指导图中包括的目标对象的高频信息(边缘信息),将指导图与待处理图像均输入至重建网络模型中,重建网络模型可以根据指导图中的信息对待处理图像进行去反射处理,提高了去反射处理效果,从而使得到的处理后图像的图像质量更高,提升用户体验。
为了便于理解,首先对本申请实施例所涉及的术语进行简单介绍。
1、全像素双核(dual pixel,DP)传感器:DP传感器可以应用于图像采集设备中,DP传感器在每个像素点的对应位置部署了左右光电二极管,左右光电二极管可以独立记录/接收光线,完成左右图像的捕捉,使图像采集设备可以获得左右两个图像。
2、边缘检测,是针对灰度图像像素点的一种计算,目的是标识灰度图像中灰度变化明显的点,灰度图像的边缘检测,在保留了灰度图像的重要结构信息的同时,剔除了不相关的信息,大幅度减少了数据量,便于灰度图像的传输和处理。
3、视差图,指存储视差值的二维图像。视差图每个位置保存的该位置像素的视差值。假设P点在左图像中的坐标表示为PL(XL,Y),P点在右图像中的坐标表示为PR(XR,Y),XR=XL-D,其中,L表示左图像,R表示右图像,PL表示P点在左图像中像素坐标,XL表示P点在左图像中的横坐标,PR表示P点在右图像中像素坐标,XR表示P点在右图像中的横坐标,D表示P点在两个图像中的横坐标差值,则D即为P点在左右两幅图像中的视差(disparity)。如果以其中一个图像为参考图,例如以左图像为参考图,则参考图中的每个点都会对应一个视差值,这些视差值就可以汇集成该参考图对应的视差图。视差图是一个灰度图,每个像素点有个灰度值,表示颜色。
4、置信度也称为可靠度,或置信水平、置信系数,即在抽样对总体参数作出估计时,由于样本的随机性,其结论总是不确定的。因此,采用一种概率的陈述方法,也就是数理统计中的区间估计法,即估计值与总体参数在一定允许的误差范围以内,其相应的概率有多大,这个相应的概率称作置信度。
本申请的图像处理方法可以由具备图像处理能力的电子设备执行,为便于理解,后续将该电子设备称为图像处理设备。图像处理设备可以获取图像,并对图像进行处理。图像处理设备可以接收来自其他设备的已拍摄好的图像,也可以在具备拍照功能的情况下,进行拍摄以获取图像,本申请实施例对此不作限定。示例性地,图像处理设备可以是手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备等具备图像处理能力的设备,本申请实施例对该设备的具体形态不作特殊限制。
下面将结合图1至图5,对本申请实施例提供的图像处理方法进行描述。
图1是本申请实施例提供的一种图像处理方法100的示意性流程图,该方法100可以由图像处理设备执行,也可以由其他类似设备执行,本申请实施例对此不作限定。为便于描述,本申请实施例将其统称为图像处理设备。该方法100包括以下步骤:
S101,获取待处理图像,待处理图像是隔着透明介质对目标对象进行拍摄得到的。
应理解,待处理图像可以由配置了DP传感器的图像处理设备自己拍摄得到(在图像处理设备具备图像采集功能的情况下),也可以由配置了DP传感器的图像采集设备拍摄得到,本申请实施例对此不做限定。
S102,基于待处理图像的第一左视图和第一右视图,确定第一指导图,第一指导图包括所述目标对象的高频信息。
应理解,由于图像处理设备或图像采集设备配置了DP传感器,因此,可以得到待处理图像的第一左视图和第一右视图。
应理解,高频信息表示图像中灰度值变化剧烈的区域,对应着图像中的边缘信息。
S103,将待处理图像和第一指导图输入至训练好的重建网络模型中,得到处理后图像,处理后图像为对待处理图像进行去反射处理得到的图像,其中,重建网络模型是基于样本图像、样本图像的背景图像和样本图像的反射图像进行训练得到的,样本图像的背景图像是未隔着透明介质进行拍摄得到的,样本图像的反射图像是对所述透明介质进行拍摄得到的。
示例性地,重建网络模型可以是U型结构网络(Unet)模型。
应理解,图像处理设备可以通过多种不同的方式获取样本图像。在一种可能的实现方式中,图像处理设备可以直接获取样本图像,在这种情况下,样本图像是由图像处理设备或图像采集设备隔着透明介质拍摄目标对象得到的。在另一种可能地实现方式中,图像处理设备可以获取样本图像的背景图像和样本图像的发射图像,再对样本图像的背景图像和样本图像的发射图像进行合成处理,从而得到样本图像。
本申请实施例的图像处理方法,通过给训练好的重建网络模型中输入指导图和待处理图像,得到处理后图像,处理后图像为对待处理图像进行去反射处理得到的图像,本申请实施例的方法在对待处理图像进行去反射处理的过程中结合了指导图,由于指导图中包括的目标对象的高频信息(边缘信息),将指导图与待处理图像均输入至重建网络模型中,重建网络模型可以根据指导图中的信息对待处理图像进行去反射处理,提高了去反射处理效果,从而使得到的处理后图像的图像质量更高,提升用户体验。
作为一个可选的实施例,上述S102,基于待处理图像的第一左视图和第一右视图,确定第一指导图,包括:利用立体匹配算法,基于第一左视图和第一右视图,确定第一视差图,第一视差图包括第一左视图和第一右视图的多个像素点之间的视差值;基于第一视差图所包括的多个像素点之间的视差值,确定多个像素点的置信度;基于多个像素点的置信度,对第一视差图的像素值进行处理,得到第一指导图。
示例性地,立体匹配算法可以是对应像素差的绝对值之和(sum of absolutedifferences,SAD),也可以是对应像素差的平方和(sum of squared differences,SSD),也可以是其他的立体匹配算法,本申请对此不做限定。
示例性地,图像处理设备根据第一视差图中多个像素点之间的视差值,通过启发式方程,确定多个像素点的置信度。
可选地,利用立体匹配算法,基于所述第一左视图和所述第一右视图,确定第一视差图,包括:对所述第一左视图和所述第一右视图分别进行边缘提取处理,得到第一左边缘图像和第一右边缘图像;将所述第一左边缘图像和所述第一右边缘图像输入至所述立体匹配算法,得到所述第一视差图。
应理解,边缘图像是指周围像素灰度有变化的那些像素的集合。第一左边缘图像和第一右边缘图像,是对得到的第一左灰度图像和第一右灰度图像分别进行边缘检测和边缘提取而得到的。例如,基于梯度进行边缘提取,其中,可以采用的梯度膜算子可以为Roberts算子、Sobel算子、Prewitt算子和Krisch算子等。
作为一个可选的实施例,在将所述待处理图像和第一指导图输入至训练好的重建网络模型中,得到处理后图像之前,所述方法还包括:获取样本图像、样本图像的背景图像和样本图像的反射图像;基于样本图像的背景图像的第二左视图和第二右视图,确定第二指导图,第二指导图包括所述背景图像中的高频信息;将样本图像和第二指导图输入至重建网络模型中,得到预测背景图像和预测反射图像;基于预测背景图像和样本图像的背景图像之间的差异、预测反射图像和样本图像的反射图像之间的差异,对重建网络模型进行训练,得到训练好的重建网络模型。
应理解,图像处理设备可以通过多种不同的方式确定第二指导图。在一种可能的实现方式中,图像处理设备可以基于样本图像的背景图像的第二左视图和第二右视图,利用立体匹配算法,确定第二左视图和第二右视图对应的视差图,并根据该视差图所包括的多个像素点之间的视差值,确定多个像素点的置信度,以及,基于多个像素点的置信度,对该视差图的像素值进行处理,得到第二指导图。
在另一种可能的实现方式中,图像处理设备可以基于样本图像,确定第二指导图。样本图像是隔着透明介质对目标样本进行拍摄得到的,在拍摄样本图像时,图像处理设备可以获取样本图像的左视图和右视图,因此,图像处理设备可以基于样本图像的左视图和右视图,利用立体匹配算法,确定样本图像的左视图和右视图对应的视差图,并根据该视差图所包括的多个像素点之间的视差值,确定多个像素点的置信度,以及,基于多个像素点的置信度,对该视差图的像素值进行处理,得到第二指导图。应理解,基于样本图像的背景图像的第二左视图和第二右视图确定的第二指导图和基于样本图像确定的第二指导图均表示的是目标对象在图像中的边缘信息,因此,基于样本图像的背景图像的第二左视图和第二右视图确定的第二指导图和基于样本图像确定的第二指导图是相同的。
可选地,获取样本图像,包括:对样本图像的背景图像和样本图像的反射图像进行合成处理,得到样本图像。
应理解,在模型训练过程中,需要大量的样本图像,逐个拍摄样本图像不仅增加了模型训练人员的工作量,而且耗时较长,人力成本高。图像处理设备通过获取样本图像的背景图像和样本图像的反射图像,将同一样本图像的背景图像和不同的样本图像的发射图像进行合成处理,就会得到基于同一的背景图像的不同样本图像,以此类推,就可以得到更多的样本图像。例如有样本图像的背景图像1、样本图像的背景图像2,样本图像的反射图像1和样本图像的反射图像2,样本图像的背景图像1和样本图像的反射图像1可以合成样本图像1,样本图像的背景图像1和样本图像的反射图像2可以合成样本图像2,样本图像的背景图像2和样本图像的反射图像1可以合成样本图像3,样本图像的背景图像2和样本图像的反射图像2可以合成样本图像4,通过对样本图像的背景图像和样本图像的反射图像进行合成处理可以得到更多的样本图像,可以减轻模型训练人员的工作量,降低人力成本。
可选地,对样本图像的背景图像和样本图像的反射图像进行合成处理,得到所述样本图像,包括:对样本图像的反射图像进行模糊处理,得到样本图像的模糊反射图像;对样本图像的背景图像和样本图像的模糊反射图像进行合成处理,得到样本图像的第一合成图像;基于样本图像的第一合成图像的像素值,对样本图像的模糊反射图像的像素值进行调整,得到样本图像的抑制反射图像;对样本图像的背景图像和样本图像的抑制反射图像进行合成处理,得到样本图像的第二合成图像;对样本图像的第二合成图像的像素值进行调整,得到所述样本图像。
应理解,图像处理设备对样本图像的背景图像和样本图像的反射图像进行合成处理,可能会导致样本图像曝光,使样本图像的不清晰,因此需要对样本图像的背景图像和样本图像的反射图像做进一步处理,降低曝光,提高样本图像的背景图像和样本图像的反射图像合成后的图像清晰度,使样本图像的背景图像和样本图像的反射图像合成后的图像更接近直接获取的样本图像(即隔着透明介质对背景图像中的目标对象进行拍摄时得到的样本图像)。
对样本图像的背景图像和样本图像的模糊反射图像进行合成处理,得到样本图像的第一合成图像,示例性地,图像处理设备将背景图像与模糊反射图像中对应像素点的像素值进行求和,得到第一合成图像。
应理解,模糊反射图,是图像处理设备对反射图像进行模糊处理后得到的,对图像进行模糊处理可以减少图像噪声。示例性地,图像处理设备对反射图像进行高斯模糊处理,得到模糊反射图像。
基于样本图像的第一合成图像的像素值,对样本图像的模糊反射图像的像素值进行调整,得到样本图像的抑制反射图像,示例性地,图像处理设备通过对样本图像的模糊反射图像的像素值进行减小,得到样本图像的抑制反射图像,使抑制反射图像的像素值在[0,255]范围内。
对样本图像的第二合成图像的像素值进行调整,得到所述样本图像。示例性地,图像处理设备调整样本图像的第二合成图像的像素值,使第二合成图像的像素值在[0,255]范围内。
可选地,基于样本图像的第一合成图像的像素值,对样本图像的模糊反射图像的像素值进行调整,得到样本图像的抑制反射图像,包括:基于样本图像的第一合成图像的像素值,计算样本图像的第一合成图像中像素值大于第一阈值的R通道、G通道和B通道对应的像素值的均值;基于R通道、G通道和B通道对应的像素值的均值,对样本图像的模糊反射图像的像素值进行调整,得到样本图像的抑制反射图像。
应理解,模糊反射图是基于反射图像而得到的,反射图像具有反光区域,易曝光,因此,基于样本图像的第一合成图像中对应的R通道、G通道和B通道对应的像素值的均值,图像处理设备对样本图像的模糊反射图像的像素值进行调整,降低模糊反射图像中反光现象导致的反光区域过亮,得到了图像质量更高的抑制反射图像。
示例性地,图像处理设备可以计算样本图像的第一合成图像中像素值大于第一阈值(255)的R通道对应的值的均值、第一合成图像中像素值大于第一阈值(255)的G通道对应的值的均值、第一合成图像中像素值大于第一阈值(255)的B通道对应的值的均值,分别得到R通道对应的均值、G通道对应的均值和B通道对应的均值。
可选地,样本图像的抑制反射图像中的像素值等于样本图像的模糊反射图像中的像素值减去对应通道的衰减值,各个通道的衰减值是分别基于各个通道对应的像素值的均值确定的。
应理解,衰减值可以基于各个通道对应的像素值的均值,通过衰减公式计算得到。
图2为本申请实施例提供的一种模型训练方法200,包括如下步骤:
S201,图像处理设备获取未隔着透明介质的左图像1和右图像1。
应理解,左图像1和右图像1可以由配置了DP传感器的图像处理设备自己拍摄得到(在图像处理设备具备图像采集功能的情况下),也可以由配置了DP传感器的图像采集设备拍摄得到。该左图像1和右图像1是图像处理设备或图像采集设备在未隔着透明介质的情况下,对目标对象进行图像采集时得到的。
S202,图像处理设备对左图像1和右图像1进行合成处理,获得背景图像。
应理解,背景图像,为没有反光现象的图像,或者反光极弱而不会对图像识别造成影响的图像,背景图像又可以称为背景层图像。背景图像可以由左图像1和右图像1合成得到。
示例性地,左图像1的第一像素点的像素值为(100,150,200),右图像1的第一像素点的像素值为(120,140,210),背景图中第一像素点的像素值为(110,145,205)。左图像1的第一像素点、右图像1的第一像素点和背景图中第一像素点的像素坐标相同。
S203,图像处理设备获取仅存在透明介质的反射图像。
应理解,反射图像,是只有反光现象的图像,通过对玻璃、塑料等透明介质进行拍摄,可以得到反射图像,该透明介质背面被黑色覆盖物完全覆盖。反射图像可以由配置了DP传感器的图像处理设备自己拍摄透明介质得到(在图像处理设备具备图像采集功能的情况下),也可以由配置了DP传感器的图像采集设备拍摄透明介质得到,本申请对此不做限定。示例性地,图像处理设备对透明介质(该透明介质背面被黑色覆盖物完全覆盖)进行拍摄,分别得到左图像和右图像,通过对左图像和右图像进行合成,可以得到反射图像。
S204,图像处理设备对反射图像进行模糊处理,得到模糊反射图像。
应理解,模糊反射图,是图像处理设备对反射图像进行模糊处理后得到的,对图像进行模糊处理可以减少图像噪声。示例性地,图像处理设备对反射图像进行高斯模糊处理,得到模糊反射图像。
S205,图像处理设备对背景图像和模糊反射图像进行合成处理,得到合成图像1。
示例性地,将背景图像与模糊反射图像中对应像素点的像素值进行求和,得到合成图像1。例如背景图的第一像素点的红绿蓝色彩值(red-green-blue,RGB)为(100,150,200),模糊反射图的第一像素点的RGB值为(120,140,210),合成图像1的第一像素点的RGB值即为(220,290,410),背景图的第一像素点、模糊反射图的第一像素点和合成图像1的第一像素点的像素坐标相同。根据该方法,得到合成图像1的每个像素点对应的RGB值,最终得到合成图像1。
S206,图像处理设备计算合成图像1中像素值大于255的R通道对应的值的均值、第一合成图像中像素值大于255的G通道对应的值的均值、第一合成图像中像素值大于255的B通道对应的值的均值,分别得到R通道对应的均值、G通道对应的均值和B通道对应的均值。
示例性地,合成图像1中第一像素点的R通道对应的值:280、G通道对应的值:350和B通道对应的值:380,第二像素点的R通道对应的值:320、G通道对应的值:360和B通道对应的值:420,第三像素点的R通道对应的值:220、G通道对应的值:340和B通道对应的值:400。第一像素点的R通道对应的值(280)、第二像素点的R通道对应的值(320)均大于255,第三像素点的R通道对应的值(220)小于255,计算第一像素点的R通道对应的值(280)和第二像素点的R通道对应的值(320)的平均值,平均值为300,即R通道对应的均值为300。第一像素点的G通道对应的值(350)、第二像素点的G通道对应的值(360)和第三像素点的G通道对应的值(340)均大于255,计算第一像素点的G通道对应的值(350)、第二像素点的G通道对应的值(360)和第三像素点的G通道对应的值(340)的平均值,平均值为350,即G通道对应的均值为350。以此类推,得到B通道对应的均值为400。
S207,图像处理设备根据R通道对应的均值、G通道对应的均值和B通道对应的均值,对模糊反射图像中各个像素点的RGB值进行调整,得到抑制反射图像,抑制反射图像中各个像素点的RGB值范围为[0,255]。
应理解,抑制反射图像中各个像素点的RGB值小于模糊反射图像中对应的像素点的RGB值,是图像处理设备将模糊反射图像中各个像素点的RGB值进行减小而得到的。图像处理设备可以根据衰减值对模糊反射图像进行减小。图像处理设备通过对模糊反射图像中各个像素点的RGB值进行减小,降低模糊反射图像中反光现象导致的反光区域过亮,得到了图像质量更高的抑制反射图像。
示例性地,R通道对应的均值为300,G通道对应的均值为350,B通道对应的均值为400,模糊反射图像中第一像素点的RGB值为(120,140,210)。图像处理设备通过公式:衰减值=γ*(m-255),其中,γ等于1.3,m:R通道对应的均值/G通道对应的均值/B通道对应的均值,分别计算R通道对应的第一衰减值:58.5,G通道对应的第二衰减值:123.5和B通道对应的第三衰减值:188.5。图像处理设备根据R通道对应的第一衰减值:58.5、G通道对应的第二衰减值:123.5和B通道对应的第三衰减值:188.5,对模糊反射图像中各个像素点的RGB值进行调整。图像处理设备通过模糊反射图像中第一像素点的R通道值(120)减去R通道对应的第一衰减值:58.5,得到抑制反射图像中第一像素点的R通道值(61.5),通过G通道值(140)减去G通道对应的第二衰减值123.5,得到抑制反射图像中第一像素点的G通道值(16.5),通过B通道值(210)减去B通道对应的第三衰减值188.5,得到抑制反射图像中第一像素点的B通道值(21.5),即抑制反射图像中第一像素点的RGB值(61.5,16.5,21.5)。以此类推,得到抑制反射图像的每个像素点的RGB值,从而得到抑制反射图像。
S208,图像处理设备对背景图像和抑制反射图像进行合成处理,得到合成图像2。
示例性地,将背景图与第二抑制反射图中对应像素点的RGB值进行求和,得到合成图像2。
应理解,合成图像2是通过背景图像和抑制反射图像进行合成的,合成图像2的中的反光区域是抑制后的,比合成图像1的图像更清晰,图像质量更高。
S209,图像处理设备对合成图像2中各个像素点的RGB值进行调整,使合成图像2中各个像素点的RGB值范围为[0,255],得到混合图像1。
示例性地,对合成图像2中第二像素点的RGB值(200,240,260)进行调整,得到混合图像1中对应的第二像素点的RGB值为(200,240,255)。
应理解,混合图像1包括了背景图像的信息和反射图像的信息。图像处理设备通过对合成图像2中各个像素点的RGB值进行调整,降低合成图像2中反光现象导致的反光区域过亮,使第一混合图像的图像更清晰,质量更高。
S210,图像处理设备分别对S201获取的左图像1和右图像1进行边缘提取处理,得到左边缘图像1和右边缘图像1。
应理解,左图像1和右图像1可以是彩色图像,也可以是灰度图像。若左图像1和右图像1是灰度图像,则对应可以得到左灰度图像和右灰度图像。若左图像1和右图像1是彩色图像,图像处理设备可以将左图像1和右图像1分别转换为对应的左灰度图像和右灰度图像。
还应理解,边缘图像是指周围像素灰度有变化的那些像素的集合。左边缘图像1和右边缘图像1,是对得到的左灰度图像和右灰度图像分别进行边缘检测和边缘提取,得到的左边缘图像1和右边缘图像1。例如,基于梯度进行边缘提取,其中,可以采用的梯度膜算子可以为Roberts算子,Sobel算子,Prewitt算子和Krisch算子等。
S211,图像处理设备根据左边缘图像1和右边缘图像1,通过立体匹配算法,获得视差图1。
应理解,视差图,视差图是一张二维图像,和左边缘图像1和右边缘图像1大小相等。视差图每个位置保存的该位置像素的视差值。
示例性地,PR与PL对应同一物理空间点P。左边缘图像的像素点PL的像素坐标为PL(XL,Y),右边缘图像的像素点PR的像素坐标为PR(XR,Y),以左边缘图像为参考图像,XR–XL=D,其中,D表示P点在左边缘图像和右边缘图像中的横坐标差值,则D即为P点在此左边缘图像和右边缘图像中的视差值。即以左边缘图像为参考图像,得到的视差图中,与PL像素点对应的位置保存的视差值为D。示例性地,左边缘图像1的像素点PL的像素坐标为PL(3,4),右边缘图像1的像素点PR的像素坐标为PR(3.5,4),左边缘图像1为参考图像,3.5–3=0.5,即0.5为P点在此左边缘图像1和右边缘图像1中的视差值。
示例性地,立体匹配算法可以是对应像素差的绝对值之和(sum of absolutedifferences,SAD),也可以是对应像素差的平方和(sum of squared differences,SSD),也可以是其他的立体匹配算法,本申请对此不做限定。
S212,图像处理设备根据视差图1,得到视差图1中各个像素点的置信度。
示例性地,图像处理设备根据视差图1中各个像素点对应的视差值,通过启发式方程,得到视差图1中每个像素点对应的置信度。
S213,图像处理设备根据视差图1中各个像素点对应的视差值和置信度,通过预设公式,得到指导图(guide map)1。
应理解,指导图1用于表示背景图像的边缘信息,即背景图像中灰度值变化剧烈的区域。图像处理设备可以根据视差图1中各个像素点对应的视差值和置信度,通过预设公式,计算视差图1中的各个像素点对应的数值,并对得到的数值进行可视化处理,得到指导图1。指导图1中反光区域对应的像素点的像素值为0,即黑色,指导图中非反光区域对应的像素点的像素值由对应的预设公式计算得到。
应理解,由透明介质造成的反光现象,使左图像1中反光区域的像素点和右图像1中反光区域的对应的像素点之间存在视差值,因此,视差值大于预设条件的像素点为反光区域的像素点。在指导图1中,反光区域的像素点为黑色,因此,通过指导图可以筛选出非反光区域的边缘信息。
S214,图像处理设备将指导图1和混合图像1,输入至预设的初始网络模型中,得到预测背景图像和预测反射图像。
示例性地,预设的初始网络模型可以是Unet模型。
S215,图像处理设备根据预测背景图像与背景图像的差异,以及预测反射图像与反射图像的差异,通过评价指标,对预设的初始网络模型进行训练。
示例性地,评价指标可以是损失函数、结构相似性(structural similarity,SSIM)或峰值信噪比(peak signal to noise ratio,PSNR)中的一个或多个的结合。
示例性地,损失函数如下:
其中,为预测背景图像,B为背景图像,/>为预测反射图像,F为反射图像,/>为预测背景图梯度,▽B为预测反射图梯度,/>为背景图像梯度,▽F为反射图像梯度。
表示预测背景图像中的各个像素点的像素值减去背景图像中的对应的各个像素点的像素值,得到各个像素点对应的差值,对各个差值的绝对值求和,再求平均值。
表示预测背景图像中的各个像素点的像素值减去背景图像中的对应的各个像素点的像素值,得到各个像素点对应的差值,再计算各个差值的平方,再对各个差值的平方求和,再求平均值。
图像处理设备可以基于预测背景图像、预测反射图像、背景图像、反射图像,通过梯度算法(例如Sobel算子),计算预测背景图像梯度、预测反射图像梯度、背景图像梯度和反射图像梯度。
示例性地,图像处理设备针对一组样本(即一副背景图像和一副反射图像组成一组样本)设定预设训练次数,在预设训练次数内,计算每次训练对应的损失函数,得到多个损失函数值,确定多个损失函数值中的最小值对应的网络模型的参数为此次模型训练的网络模型的最终参数。例如,第80次时,损失函数值为100,第81次时,损失函数值为120,第82次时,损失函数值为140,确定第80次时,网络模型对应的参数最为此次模型训练的网络模型的最终参数。
示例性地,图像处理设备针对一组样本(即一副背景图像和一副反射图像组成一组样本)设定预设训练次数,在预设训练次数内,确定损失函数值、PSNR值和SSIM值的综合最优值,以确定的综合最优值对应的网络模型的参数为此次模型训练的网络模型的最终参数。图像处理设备可以根据损失函数值、PSNR值和SSIM值,通过预设的权重公式,计算综合最优值。例如,第80次时,损失函数值为100,PSNR值为29,SSIM值为0.7,第81次时,损失函数值为100,PSNR值为30,SSIM值为0.9,通过预设的权重公式(例如损失函数+2*PSNR+5*SSIM),得到第80次对应的综合值为134.5,第81次对应的综合值为132.5,确定综合最优值为134.5,即选择第80次时,网络模型对应的参数最为此次模型训练的网络模型的最终参数。
应理解,上述步骤S201至S215仅以一组背景图像和反射图像为例,图像处理设备还可以同时获取多组背景图像和反射图像,计算出每组图像对应的损失函数值、PSNR和SSIM,并求出多组图像对应的损失函数值、PSNR和SSIM各自对应的平均值,根据得出的各个平均值,在预设训练次数内,完成对模型的训练。
在一种可能的实现方式中,图像处理设备可以以左边缘图像1和右边缘图像1的任一图像作为参考图像,在参考图像中选择一个区域,通过立体匹配算法,在另一图像中筛选出与上述区域匹配的匹配区域,并将该匹配区域中心像素点作为上述参考图像中所选择的区域的中心像素点的同名点,图像处理设备可以对得到的同名点进行矫正,得到矫正后的同名点,根据矫正后的同名点的像素坐标与参考图像中所选择的区域的中心像素点的像素坐标,可以得到参考图像中所选择的区域的中心像素点对应的视差值,以此类推,得到参考图像中各个像素点对应的视差值,并根据视差值得到视差图。
可选地,上述S211可以包括如下步骤:
S301,以左边缘图像1为参考图像,使用大小为1*3像素的第一窗口在左边缘图像1中选择第一区域。
S302,根据第一区域的位置(例如区域中心像素点在这个左边缘图像中的行和列),使用大小为1*3像素的第二窗口在右边缘图像1中选择对应的第二区域,第二区域在右边缘图像1中的位置与第一区域在左边缘图像1中的位置一致。
S303,计算第一区域中像素点与第二区域中对应像素点的像素差的平方和(sumof square distance,SSD),得到第一SSD值。
示例性地,第一区域有第一像素点(位置:位于左边缘图像的第三行第四列),第二像素点(位置:位于左边缘图像的第三行第五列)和第三像素点(位置:位于左边缘图像的第三行第六列),第二区域有第四像素点(位置:位于右边缘图像的第三行第四列)、第五像素点(位置:位于右边缘图像的第三行第五列)和第六像素点(位置:位于右边缘图像的第三行第六列),第一像素点和第四像素点相对应,第二像素点和第五像素点相对应,第三像素点和第六像素点相对应,通过如下公式得到第一SSD值:
第一SSD值=(第一像素点的像素-第四像素点的像素)2+(第二像素点的像素-第五像素点的像素)2+(第三像素点的像素-第六像素点的像素)2
S304,在右边缘图像1中,逐像素移动第二窗口,将第二窗口每向左或向右移动一个像素点,得到一个选择区域,基于该选择区域与第一区域,计算对应的SSD值,得到多个SSD值。
示例性地,将第二窗口向左滑动一个像素点,得到第三区域,基于第三区域与第一区域,计算对应的第二SSD值。
应理解,每次移动第二窗口不能超出预设搜索范围,例如预设搜索范围为[3,-3],即表示,第二窗口基于第二区域,最多可以向左或向右移动3个像素点。
S305,在多个SSD值中,筛选最小SSD值对应的区域中心像素点作为第一区域中心像素点的同名点。
S306,基于以同名点相邻的左像素点为中心点的区域与第一区域计算得到第二SSD值,以同名点相邻的右像素点为中心点的区域与第一区域计算得到第三SSD值和同名点对应的最小SSD值。
示例性地,将0作为X,将100作为Y,代入如下一元二次方程,再将-1作为X,将150作为Y,代入如下一元二次方程,再将1作为X,将150作为Y,代入如下一元二次方程,通过对代入X和Y后的三个方程联合求解,得到系数a1、a2、和a3。
示例性地,第一SSD值为100、第二SSD值为150和第三SSD值为150,基于同名点(0,100)、同名点左侧像素点(-1,150)和同名点右侧像素点(1,150),通过上述一元二次方程,可以得到a1为50、a2为0、和a3为100。
S307,根据a1和a2,对同名点进行矫正,得到矫正同名点。
应理解,矫正同名点可以与同名点相同,也可以与同名点不相同。
示例性地,计算-a2/a1,得到视差亚像素值,视差亚像素值对应的点为矫正同名点,视差亚像素值对应的点即为第一区域中心像素点的同名点。例如a1为50和a2为0,视差亚像素为0,则矫正同名点与同名点相同。又例如,a1为50和a2为-25,则视差亚像素为0.5,则矫正同名点与第一同名点不相同,第二区域中心像素点右侧的第0.5个像素点为第一区域中心像素点的同名点。
S308,基于第一区域中心像素点和矫正同名点的像素坐标,得到视差值,该视差值即为第一区域中心像素点对应的视差值。
S309,依照上述步骤可以得到左边缘图像1中各个像素点对应的视差值、a1、a2和a3,各个像素点对应的视差值、a1、a2和a3即为各个像素点对应的参数信息。
应理解,基于左边缘图像1中各个像素点对应的视差值,可以得到以以左边缘图像1为参考图像的视差图。
S310,对左边缘图像1中各个像素点对应的视差值,进行可视化处理,得到视差图1。
示例性地,对左边缘图像中各个像素点对应的视差值,进行可视化处理,使视差值在[0,255]范围内,得到视差图,0指示黑色,255指示白色。例如,为每个视差值乘以预设比例系数,使视差值在[0,255]中。
还应理解,参考图像可以是左边缘图像1或右边缘图像1,本申请实施例对此不做限定。
在一种可能的实现方式中,图像处理设备可以根据视差图1中各个像素点对应的参数信息,通过启发式方程,得到视差图1中每个像素点对应的置信度。
可选地,上述S212可以包括如下步骤:
S311,图像处理设备根据视差图1中各个像素点对应的参数信息:视差值、a1和a3,通过以下启发式方程,得到视差图1中每个像素点对应的置信度。
示例性地,视差图1中第i个像素点的置信度可以为:
其中,exp表示以自然常数e为底的指数函数运算,系数σ1=5,系数σ2=256,i为像素点的索引,βi为像素点i对应的置信度,a1i为像素点i对应的参数a1,a3i为像素点i对应的参数a3。
在一种可能的实现方式中,上述S213可以包括如下步骤:
S312,图像处理设备根据视差图1中各个像素点对应的视差值和置信度,通过如下预设公式,得到各个像素点对应的指导值,对各个像素点对应的指导值进行可视化处理,得到指导图(guide map)1。
视差图1中第i个像素点的指导值可以为:
其中,系数ρ=5,i为视差图1中像素点的索引,βi为像素点i对应的置信度,si为像素点i的视差值,ε为预设的阈值,(例如ε=1),ci为像素点i的指导值。
在像素点i对应的视差值的绝对值小于1(即一个像素点),置信度βi大于1的情况下,通过ρ*βi,计算ci;在像素点i对应的视差值的绝对值大于等于1,置信度βi小于等于1的情况下,ci为0。对各个像素点对应的指导值进行可视化处理,使各个像素点对应的指导值在[0,255]范围内,得到指导图,ci为0,在指导图中该像素点i显示为黑色。
图4为图像处理设备利用上述方法200中已经训练好的模型,对图像进行处理的方法,包括如下步骤:
S401,图像处理设备获取左图像2和右图像2。
应理解,左图像2和右图像2可以由配置了DP传感器的图像处理设备自己拍摄得到(在图像处理设备具备图像采集功能的情况下),也可以由配置了DP传感器的图像采集设备拍摄得到。该左图像2和右图像2是图像处理设备或图像采集设备在隔着玻璃的情况下,对目标对象进行图像采集时得到的。
S402,图像处理设备获取混合图像2。
混合图像,是图像处理设备对第二左图像和第二右图像进行合成而得到的。
S403,图像处理设备对左图像2和右图像2进行边缘提取处理,得到左边缘图像2和右边缘图像2。
应理解,左图像2和右图像2可以是彩色图像,也可以是灰度图像。若左图像2和右图像2是灰度图像,则对应可以得到左灰度图像和右灰度图像。若左图像2和右图像2是彩色图像对应的数据,图像处理设备可以将左图像2和右图像2分别转换为对应的左灰度图像和右灰度图像。
示例性地,图像处理设备可以将左图像2和右图像2分别转换为对应的左灰度图像和右灰度图像,对得到的左灰度图像和右灰度图像进行边缘检测,并进行边缘提取,得到对应的左边缘图像2和右边缘图像2。
S404,图像处理设备根据左边缘图像2和右边缘图像2,通过立体匹配算法,获得视差图2。
S405,图像处理设备根据视差图2,得到视差图2中各个像素点对应的置信度。
示例性地,图像处理设备根据视差图2中各个像素点对应的参数信息,通过启发式方程,得到视差图2中每个像素点对应的置信度。
S406,图像处理设备根据视差图2中各个像素点对应的视差值和置信度,得到指导图2。
示例性地,图像处理设备根据视差图2中各个像素点对应的视差值和置信度,通过预设阈值条件或预设公式,得到指导图2。
S407,图像处理设备将混合图像2和指导图2,输入至已训练好的重建网络模型,得到背景图像。
应理解,图像处理设备将指导图2和混合图像2,输入至已训练好的重建网络模型中,输出背景图像和反射图像,背景图像即为去反射现象后的图像,因此图像处理设备保存背景图像。
图5为图像处理设备利用上述方法200中已经训练好的模型,对图像进行处理的另一种方法,包括如下步骤:
首先,用户点击图像处理设备中的“相机”标识,响应于用户点击“相机”标识的操作,图像处理设备显示拍照界面;然后,用户在拍照界面点击“AI摄影”开关,并勾选“去反射”;用户点击拍照按钮,响应于用户点击拍照按钮,图像处理设备对目标对象进行图像采集,并保留左图像和右图像;图像处理设备的去反射模块对保留的左图像和右图像进行处理,得到去反射图像;最后,保存去反射图像至图像处理设备的相册。
本申请实施例的图像处理方法,通过在拍摄前选定“AI摄影”和勾选“去反射”,使图像处理设备通过已经训练好的模型对采集的图像进行去反射处理,并将去反射处理后的图像保存至图像处理设备的相册中,本方法可以快速的对采集的图像进行去反射处理,得到反射处理后的图像,提升用户体验。
应理解,上述去反射模块相当于上述已训练好的重建网络模型,能够对用户拍摄到的图像进行去反射处理。
应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定。
上文结合图1至图5,详细描述了本申请实施例的图像处理方法,下面将结合图6和图7,详细描述本申请实施例的图像处理设备。
图6是本申请实施例提供的图像处理设备600。该图像处理设备600包括:获取模块601和处理模块602。
获取模块601,用于获取待处理图像,待处理图像是隔着透明介质对目标对象进行拍摄得到的;处理模块602,用于基于待处理图像的第一左视图和第一右视图,确定第一指导图,第一指导图包括目标对象的高频信息;以及,将待处理图像和第一指导图输入至训练好的重建网络模型中,得到处理后图像,处理后图像为对待处理图像进行去反射处理得到的图像,其中,重建网络模型是基于样本图像、样本图像的背景图像和样本图像的反射图像进行训练得到的,样本图像的背景图像是未隔着透明介质进行拍摄得到的,样本图像的反射图像是对透明介质进行拍摄得到的。
可选地,处理模块602还用于:利用立体匹配算法,基于第一左视图和第一右视图,确定第一视差图,第一视差图包括第一左视图和第一右视图的多个像素点之间的视差值;基于第一视差图所包括的多个像素点之间的视差值,确定多个像素点的置信度;基于多个像素点的置信度,对第一视差图的像素值进行处理,得到第一指导图。
可选地,处理模块602还用于:对第一左视图和第一右视图分别进行边缘提取处理,得到第一左边缘图像和第一右边缘图像;将第一左边缘图像和第一右边缘图像输入至立体匹配算法,得到第一视差图。
可选地,获取模块601还用于:获取样本图像、样本图像的背景图像和样本图像的反射图像;处理模块602还用于:基于样本图像的背景图像的第二左视图和第二右视图,确定第二指导图,第二指导图包括背景图像中的高频信息;将样本图像和第二指导图输入至重建网络模型中,得到预测背景图像和预测反射图像;基于预测背景图像和样本图像的背景图像之间的差异、预测反射图像和样本图像的反射图像之间的差异,对重建网络模型进行训练,得到训练好的重建网络模型。
可选地,处理模块602还用于:对样本图像的背景图像和样本图像的反射图像进行合成处理,得到样本图像。
可选地,处理模块602还用于:对样本图像的反射图像进行模糊处理,得到样本图像的模糊反射图像;对样本图像的背景图像和样本图像的模糊反射图像进行合成处理,得到样本图像的第一合成图像;基于样本图像的第一合成图像的像素值,对样本图像的模糊反射图像的像素值进行调整,得到样本图像的抑制反射图像;对样本图像的背景图像和样本图像的抑制反射图像进行合成处理,得到样本图像的第二合成图像;对样本图像的第二合成图像的像素值进行调整,得到样本图像。
可选地,处理模块602还用于:基于样本图像的第一合成图像的像素值,计算样本图像的第一合成图像中像素值大于第一阈值的R通道、G通道和B通道对应的像素值的均值;基于R通道、G通道和B通道对应的像素值的均值,对样本图像的模糊反射图像的像素值进行调整,得到样本图像的抑制反射图像。
可选地,样本图像的抑制反射图像中的像素值等于样本图像的模糊反射图像中的像素值减去对应通道的衰减值,各个通道的衰减值是分别基于各个通道对应的像素值的均值确定的。
应理解,这里的设备600以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选例子中,本领域技术人员可以理解,设备600可以具体为上述实施例中的图像处理设备,设备600可以用于执行上述方法实施例中与图像处理设备对应的各个流程和/或步骤,为避免重复,在此不再赘述。
上述设备600具有实现上述方法中图像处理设备执行的相应步骤的功能;上述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
在本申请的实施例,图6中的设备600也可以是芯片或者芯片系统,例如:片上系统(system on chip,SOC)。
图7示出了本申请实施例提供的另一种图像处理设备700。该图像处理设备700包括处理器701、收发器702和存储器703。其中,处理器701、收发器702和存储器703通过内部连接通路互相通信,该存储器703用于存储指令,该处理器701用于执行该存储器703存储的指令,以控制该收发器702发送信号和/或接收信号。
应理解,图像处理设备700可以具体为上述实施例中的图像处理设备,并且可以用于执行上述方法实施例中与图像处理设备对应的各个步骤和/或流程。可选地,该存储器703可以包括只读存储器和随机存取存储器,并向处理器701提供指令和数据。存储器703的一部分还可以包括非易失性随机存取存储器。例如,存储器703还可以存储设备类型的信息。该处理器701可以用于执行存储器中存储的指令,并且当该处理器701执行存储器中存储的指令时,该处理器701用于执行上述与该图像处理设备对应的方法实施例的各个步骤和/或流程。该收发器702可以包括发射器和接收器,该发射器可以用于实现上述收发器对应的用于执行发送动作的各个步骤和/或流程,该接收器可以用于实现上述收发器对应的用于执行接收动作的各个步骤和/或流程。
应理解,在本申请实施例中,该处理器701可以是中央处理单元(centralprocessing unit,CPU),该处理器701还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器执行存储器中的指令,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,该计算机程序用于实现上述实施例中与图像处理设备对应的方法。
本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机程序(也可以称为代码,或指令),当该计算机程序在计算机上运行时,该计算机可以执行上述实施例中与图像处理设备对应的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应所述以权利要求的保护范围为准。
Claims (17)
1.一种图像处理方法,其特征在于,应用于配置有全像素双核传感器的图像处理设备,包括:
获取待处理图像,所述待处理图像是隔着透明介质对目标对象进行拍摄得到的;其中,所述待处理图像包括第一左视图和第一右视图;
基于所述待处理图像的第一左视图和第一右视图,确定第一指导图,所述第一指导图包括所述目标对象的高频信息;
将所述待处理图像和所述第一指导图输入至训练好的重建网络模型中,得到处理后图像,所述处理后图像为对所述待处理图像进行去反射处理得到的图像,其中,所述重建网络模型是基于样本图像、所述样本图像的背景图像和所述样本图像的反射图像进行训练得到的,所述样本图像的背景图像是未隔着透明介质进行拍摄得到的,所述样本图像的反射图像是对所述透明介质进行拍摄得到的;
所述基于所述待处理图像的第一左视图和第一右视图,确定第一指导图,包括:
利用立体匹配算法,基于所述第一左视图和所述第一右视图,确定第一视差图,所述第一视差图包括所述第一左视图和所述第一右视图的多个像素点之间的视差值;基于所述第一视差图所包括的多个像素点之间的视差值,确定所述多个像素点的置信度;基于所述多个像素点的置信度,对所述第一视差图的像素值进行处理,得到所述第一指导图。
2.根据权利要求1所述的方法,其特征在于,所述利用立体匹配算法,基于所述第一左视图和所述第一右视图,确定第一视差图,包括:
对所述第一左视图和所述第一右视图分别进行边缘提取处理,得到第一左边缘图像和第一右边缘图像;
将所述第一左边缘图像和所述第一右边缘图像输入至所述立体匹配算法,得到所述第一视差图。
3.根据权利要求1或2所述的方法,其特征在于,在所述将所述待处理图像和所述第一指导图输入至训练好的重建网络模型中,得到处理后图像之前,所述方法还包括:
获取所述样本图像、所述样本图像的背景图像和所述样本图像的反射图像;
基于所述样本图像的背景图像的第二左视图和第二右视图,确定第二指导图,所述第二指导图包括所述背景图像中的高频信息;
将所述样本图像和所述第二指导图输入至所述重建网络模型中,得到预测背景图像和预测反射图像;
基于所述预测背景图像和所述样本图像的背景图像之间的差异、所述预测反射图像和所述样本图像的反射图像之间的差异,对所述重建网络模型进行训练,得到所述训练好的重建网络模型。
4.根据权利要求3所述的方法,其特征在于,所述获取所述样本图像,包括:
对所述样本图像的背景图像和所述样本图像的反射图像进行合成处理,得到所述样本图像。
5.根据权利要求4所述的方法,其特征在于,所述对所述样本图像的背景图像和所述样本图像的反射图像进行合成处理,得到所述样本图像,包括:
对所述样本图像的反射图像进行模糊处理,得到所述样本图像的模糊反射图像;
对所述样本图像的背景图像和所述样本图像的模糊反射图像进行合成处理,得到所述样本图像的第一合成图像;
基于所述样本图像的第一合成图像的像素值,对所述样本图像的模糊反射图像的像素值进行调整,得到所述样本图像的抑制反射图像;
对所述样本图像的背景图像和所述样本图像的抑制反射图像进行合成处理,得到所述样本图像的第二合成图像;
对所述样本图像的第二合成图像的像素值进行调整,得到所述样本图像。
6.根据权利要求5所述的方法,其特征在于,所述基于所述样本图像的第一合成图像的像素值,对所述样本图像的模糊反射图像的像素值进行调整,得到所述样本图像的抑制反射图像,包括:
基于所述样本图像的第一合成图像的像素值,计算所述样本图像的第一合成图像中像素值大于第一阈值的R通道、G通道和B通道对应的像素值的均值;
基于所述R通道、G通道和B通道对应的像素值的均值,对所述样本图像的模糊反射图像的像素值进行调整,得到所述样本图像的抑制反射图像。
7.根据权利要求6所述的方法,其特征在于,所述样本图像的抑制反射图像中的像素值等于所述样本图像的模糊反射图像中的像素值减去对应通道的衰减值,各个通道的衰减值是分别基于所述各个通道对应的像素值的均值确定的。
8.一种图像处理设备,其特征在于,所述图像处理设备配置有全像素双核传感器,包括:
获取模块:用于获取待处理图像,所述待处理图像是隔着透明介质对目标对象进行拍摄得到的;其中,所述待处理图像包括第一左视图和第一右视图;
处理模块:用于基于所述待处理图像的第一左视图和第一右视图,确定第一指导图,所述第一指导图包括所述目标对象的高频信息;以及,将所述待处理图像和所述第一指导图输入至训练好的重建网络模型中,得到处理后图像,所述处理后图像为对所述待处理图像进行去反射处理得到的图像,其中,所述重建网络模型是基于样本图像、所述样本图像的背景图像和所述样本图像的反射图像进行训练得到的,所述样本图像的背景图像是未隔着透明介质进行拍摄得到的,所述样本图像的反射图像是对所述透明介质进行拍摄得到的;
所述处理模块还用于:
利用立体匹配算法,基于所述第一左视图和所述第一右视图,确定第一视差图,所述第一视差图包括所述第一左视图和所述第一右视图的多个像素点之间的视差值;基于所述第一视差图所包括的多个像素点之间的视差值,确定所述多个像素点的置信度;基于所述多个像素点的置信度,对所述第一视差图的像素值进行处理,得到所述第一指导图。
9.根据权利要求8所述的设备,其特征在于,所述处理模块还用于:
对所述第一左视图和所述第一右视图分别进行边缘提取处理,得到第一左边缘图像和第一右边缘图像;
将所述第一左边缘图像和所述第一右边缘图像输入至所述立体匹配算法,得到所述第一视差图。
10.根据权利要求8或9所述的设备,其特征在于,所述获取模块还用于:
获取所述样本图像、所述样本图像的背景图像和所述样本图像的反射图像;
所述处理模块还用于:
基于所述样本图像的背景图像的第二左视图和第二右视图,确定第二指导图,所述第二指导图包括所述背景图像中的高频信息;
将所述样本图像和所述第二指导图输入至所述重建网络模型中,得到预测背景图像和预测反射图像;
基于所述预测背景图像和所述样本图像的背景图像之间的差异、所述预测反射图像和所述样本图像的反射图像之间的差异,对所述重建网络模型进行训练,得到所述训练好的重建网络模型。
11.根据权利要求10所述的设备,其特征在于,所述处理模块还用于:
对所述样本图像的背景图像和所述样本图像的反射图像进行合成处理,得到所述样本图像。
12.根据权利要求11所述的设备,其特征在于,所述处理模块还用于:
对所述样本图像的反射图像进行模糊处理,得到所述样本图像的模糊反射图像;对所述样本图像的背景图像和所述样本图像的模糊反射图像进行合成处理,得到所述样本图像的第一合成图像;
基于所述样本图像的第一合成图像的像素值,对所述样本图像的模糊反射图像的像素值进行调整,得到所述样本图像的抑制反射图像;
对所述样本图像的背景图像和所述样本图像的抑制反射图像进行合成处理,得到所述样本图像的第二合成图像;
对所述样本图像的第二合成图像的像素值进行调整,得到所述样本图像。
13.根据权利要求12所述的设备,其特征在于,所述处理模块还用于:
基于所述样本图像的第一合成图像的像素值,计算所述样本图像的第一合成图像中像素值大于第一阈值的R通道、G通道和B通道对应的像素值的均值;
基于所述R通道、G通道和B通道对应的像素值的均值,对所述样本图像的模糊反射图像的像素值进行调整,得到所述样本图像的抑制反射图像。
14.根据权利要求13所述的设备,其特征在于,所述样本图像的抑制反射图像中的像素值等于所述样本图像的模糊反射图像中的像素值减去对应通道的衰减值,各个通道的衰减值是分别基于所述各个通道对应的像素值的均值确定的。
15.一种图像处理设备,其特征在于,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储计算机程序,当所述处理器调用所述计算机程序时,使得所述图像处理设备执行如权利要求1至7中任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序包括用于实现如权利要求1至7中任一项所述的方法的指令。
17.一种计算机程序产品,其特征在于,所述计算机程序产品中包括计算机程序代码,当所述计算机程序代码在计算机上运行时,使得所述计算机实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211686686.5A CN116703813B (zh) | 2022-12-27 | 2022-12-27 | 图像处理方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211686686.5A CN116703813B (zh) | 2022-12-27 | 2022-12-27 | 图像处理方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116703813A CN116703813A (zh) | 2023-09-05 |
CN116703813B true CN116703813B (zh) | 2024-04-26 |
Family
ID=87832785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211686686.5A Active CN116703813B (zh) | 2022-12-27 | 2022-12-27 | 图像处理方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116703813B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013229766A (ja) * | 2012-04-25 | 2013-11-07 | Nikon Corp | 画像処理装置、撮像装置および画像処理プログラム |
CN106228168A (zh) * | 2016-07-29 | 2016-12-14 | 北京小米移动软件有限公司 | 卡片图像反光检测方法和装置 |
CN106991693A (zh) * | 2017-03-17 | 2017-07-28 | 西安电子科技大学 | 基于模糊支持权重的双目立体匹配方法 |
CN107301642A (zh) * | 2017-06-01 | 2017-10-27 | 中国人民解放军国防科学技术大学 | 一种基于双目视觉的全自动前景背景分隔方法 |
CN109274871A (zh) * | 2018-09-27 | 2019-01-25 | 维沃移动通信有限公司 | 一种移动终端的图像成像方法及装置 |
WO2019223382A1 (zh) * | 2018-05-22 | 2019-11-28 | 深圳市商汤科技有限公司 | 单目深度估计方法及其装置、设备和存储介质 |
CN110930323A (zh) * | 2019-11-07 | 2020-03-27 | 华为技术有限公司 | 图像去反光的方法、装置 |
CN110966956A (zh) * | 2019-11-19 | 2020-04-07 | 北京伟景智能科技有限公司 | 一种基于双目视觉的三维检测装置和方法 |
CN115115530A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 一种图像去模糊的方法、装置、终端设备及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5284731B2 (ja) * | 2008-09-02 | 2013-09-11 | オリンパスメディカルシステムズ株式会社 | 立体画像撮影表示システム |
US20140198977A1 (en) * | 2012-03-21 | 2014-07-17 | Texas Instruments Incorporated | Enhancement of Stereo Depth Maps |
-
2022
- 2022-12-27 CN CN202211686686.5A patent/CN116703813B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013229766A (ja) * | 2012-04-25 | 2013-11-07 | Nikon Corp | 画像処理装置、撮像装置および画像処理プログラム |
CN106228168A (zh) * | 2016-07-29 | 2016-12-14 | 北京小米移动软件有限公司 | 卡片图像反光检测方法和装置 |
CN106991693A (zh) * | 2017-03-17 | 2017-07-28 | 西安电子科技大学 | 基于模糊支持权重的双目立体匹配方法 |
CN107301642A (zh) * | 2017-06-01 | 2017-10-27 | 中国人民解放军国防科学技术大学 | 一种基于双目视觉的全自动前景背景分隔方法 |
WO2019223382A1 (zh) * | 2018-05-22 | 2019-11-28 | 深圳市商汤科技有限公司 | 单目深度估计方法及其装置、设备和存储介质 |
CN109274871A (zh) * | 2018-09-27 | 2019-01-25 | 维沃移动通信有限公司 | 一种移动终端的图像成像方法及装置 |
CN110930323A (zh) * | 2019-11-07 | 2020-03-27 | 华为技术有限公司 | 图像去反光的方法、装置 |
CN110966956A (zh) * | 2019-11-19 | 2020-04-07 | 北京伟景智能科技有限公司 | 一种基于双目视觉的三维检测装置和方法 |
CN115115530A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 一种图像去模糊的方法、装置、终端设备及介质 |
Non-Patent Citations (1)
Title |
---|
Stitching for Multi-View Videos With Large Parallax Based on Adaptive Pixel Warping;Kyu-Yul Lee等;《 IEEE Access ( Volume: 6)》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116703813A (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997696B2 (en) | Image processing method, apparatus and device | |
Berman et al. | Underwater single image color restoration using haze-lines and a new quantitative dataset | |
EP3480783B1 (en) | Image-processing method, apparatus and device | |
CN113992861B (zh) | 一种图像处理方法及图像处理装置 | |
CN107424133B (zh) | 图像去雾方法、装置、计算机可存储介质和移动终端 | |
EP3480784B1 (en) | Image processing method, and device | |
CN107451969A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
EP3542347A1 (en) | Fast fourier color constancy | |
Barros et al. | Single-shot underwater image restoration: A visual quality-aware method based on light propagation model | |
US20170078546A1 (en) | Optimised video denoising for heterogeneous multisensor system | |
Yang et al. | Underwater image enhancement using scene depth-based adaptive background light estimation and dark channel prior algorithms | |
CN111968052B (zh) | 图像处理方法、图像处理装置及存储介质 | |
JP7030562B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2012022652A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
Yang et al. | Dual-Path in Dual-Path Network for Single Image Dehazing. | |
JP5900017B2 (ja) | 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム | |
CN107454328B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN116703813B (zh) | 图像处理方法和设备 | |
CN112969023A (zh) | 图像拍摄方法、设备、存储介质以及计算机程序产品 | |
CN111866476B (zh) | 图像拍摄方法、装置及电子设备 | |
US8532422B2 (en) | Image restoring device and image restoring method | |
Van Vo et al. | High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation | |
CN115086558B (zh) | 对焦方法、摄像设备、终端设备及存储介质 | |
CN116843683B (zh) | 设备成像清晰度评估方法、系统和装置 | |
CN113763254B (zh) | 一种图像处理方法、装置、设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |