CN111179158A - 图像处理方法、装置、电子设备及介质 - Google Patents
图像处理方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN111179158A CN111179158A CN201911402863.0A CN201911402863A CN111179158A CN 111179158 A CN111179158 A CN 111179158A CN 201911402863 A CN201911402863 A CN 201911402863A CN 111179158 A CN111179158 A CN 111179158A
- Authority
- CN
- China
- Prior art keywords
- image
- degradation
- model
- processing
- degraded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 118
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000006731 degradation reaction Methods 0.000 claims abstract description 289
- 230000015556 catabolic process Effects 0.000 claims abstract description 186
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims description 61
- 230000009466 transformation Effects 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 22
- 238000005562 fading Methods 0.000 abstract description 6
- 230000002441 reversible effect Effects 0.000 description 23
- 238000012937 correction Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置、电子设备及介质。所述方法包括如下步骤:使用反退化模型对退化图像进行反退化处理,得到反退化图像;对反退化图像进行虚化处理,得到虚化图像;使用退化模型对虚化图像进行退化处理,得到目标图像。通过上述方式,本申请能够得到虚化效果层次分明,饱满自然的图像。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像处理方法、图像处理装置、电子设备及计算机存储介质。
背景技术
随着电子技术的不断发展,终端早已不仅仅局限于通信的单一功能,而是集休闲、通信和娱乐等功能于一体的设备。例如,一般的终端上都具备摄像头,用于满足用户的拍照或摄像需求。
目前,由于手机、平板电脑等终端体积受限,无法配置相关光学器件,终端通常采用软件算法对图像进行后期处理,得到背景虚化的效果。而采用目前的虚化方法获得的虚化图像的效果平坦,不够自然。
发明内容
本申请提供一种图像处理方法、图像处理装置、电子设备及计算机存储介质,以解决现有技术中图像虚化效果平坦不自然的问题。
为解决上述技术问题,本申请提供一种图像处理方法。该方法包括:使用反退化模型对退化图像进行反退化处理,得到反退化图像;对反退化图像进行虚化处理,得到虚化图像;使用退化模型对虚化图像进行退化处理,得到目标图像。
在一种可能的实现方式中,使用反退化模型对退化图像进行反退化处理,得到反退化图像之前,包括:获取预设退化模型、训练用原始图像和训练用退化图像;其中,训练用退化图像是拍照设备对训练用原始图像进行退化处理得到的;使用预设退化模型对训练用原始图像进行退化处理,得到预估退化图像;根据预估退化图像与训练用退化图像的比较结果调整预设退化模型的参数,得到退化模型;对退化模型进行逆变换,得到反退化模型。
在一种可能的实现方式中,根据预估退化图像与训练用退化图像的比较结果调整预设退化模型的参数,得到退化模型包括:通过至少一个预估参数对应的预设退化模型对训练用原始图像进行处理,得到至少一个预估退化图像;比对训练用退化图像分别与至少一个预估退化图像中每一个预估退化图像的近似度;确定与训练用退化图像的近似度最高的预估退化图像所对应的预估参数作为目标参数;将目标参数带入预设退化模型,得到退化模型。
在一种可能的实现方式中,使用反退化模型对退化图像进行反退化处理,得到反退化图像之前,包括:拟合至少一个经验反退化模型作为反退化模型;对反退化模型进行逆变换,得到退化模型。
在一种可能的实现方式中,反退化模型对退化图像进行反退化处理,得到反退化图像之前,包括:获取拍照设备的退化模型,其中,拍照设备为拍摄退化图像的设备;对退化模型进行逆变换处理,得到反退化模型。
在一种可能的实现方式中,退化模型包括至少一个子退化模型,反退化模型包括至少一个子反退化模型,每一子退化模型与子反退化模型互为逆变换关系。使用反退化模型对拍照设备拍摄获得的退化图像进行反退化处理,得到反退化图像,包括:确定至少一个子退化模型对图像进行退化处理的执行顺序,按照与执行顺序相反的顺序使用至少一个子反退化模型对退化图像进行反退化处理,得到反退化图像。
在一种可能的实现方式中,使用反退化模型对退化图像进行反退化处理,得到反退化图像,包括:将退化图像划分为非背景图像和背景图像;使用反退化模型对背景图像进行反退化处理,得到反退化图像;使用退化模型对虚化图像进行处理,得到目标图像,包括:使用退化模型对虚化图像进行退化处理,得到目标背景图像;合成目标背景图像和非背景图像,得到目标图像。为解决上述技术问题,本申请提供一种图像处理装置。该装置包括反退化模块、虚化模块和退化模块,其中,反退化模块用于对退化图像进行反退化处理,以得到反退化图像;虚化模块用于对反退化图像进行虚化处理,以得到虚化图像;退化模块用于对虚化图像进行退化处理,以得到目标图像。
为解决上述技术问题,本申请提供一种电子设备。该设备包括:处理器、存储器和摄像头模组;处理器耦接存储器和摄像头模组,在工作时执行指令,以配合存储器、摄像头模组实现上述图像处理方法。
为解决上述技术问题,本申请提供一种计算机存储介质。计算机存储介质存储有计算机程序,计算机程序被执行以实现上述图像处理方法。
区别于现有技术,本申请在对退化图像进行虚化处理前,先对退化图像进行反退化处理,获得与从图像传感器输出的原始图像色深相同或接近的反退化图像。基于反退化图像进行虚化处理,获得虚化图像后,再对虚化图像进行退化处理,得到目标图像,使得目标图像的虚化效果层次分明,饱满自然。
附图说明
图1是拍照设备拍摄获得的退化图像;
图2是相关技术中对退化图像直接进行虚化处理获得的虚化图像;
图3是本申请提供的拍照设备的图像处理方法的第一实施例的流程示意图;
图4是使用本申请提供的拍照设备的图像处理方法对退化图像进行处理获得的目标图像;
图5是本申请提供的拍照设备的图像处理方法的第二实施例的流程示意图;
图6是本申请提供的获得反退化模型一实施方式的流程示意图;
图7是本申请提供的图像处理方法的第三实施例的流程示意图;
图8是本申请提供的一种图像处理装置一实施例的结构示意图;
图9是本申请提供的一种电子设备一实施例的结构示意图;
图10是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本申请所提供的拍照设备的图像处理方法、图像处理装置、电子设备及计算机存储介质做进一步详细描述。
请参阅图1-图2,图1是拍照设备拍摄获得的退化图像;图2是相关技术中对退化图像直接进行虚化处理获得的虚化图像。目前市面上的很多应用对图像进行虚化处理得到图像的虚化效果,跟单反相机拍摄得到的图像的虚化效果还有很大的差距。这种差距主要表现在两方面:一是虚化效果很平坦,没有像单反拍摄的图像的虚化效果一样层次分明,画面的丰满度、精细度都不如单反拍摄的图像的虚化效果,尤其是高光低光的差距,如图2所示。二是即使考虑到层次感问题,有些应用直接在待虚化的图像中某些位置贴上一些光斑,这样的效果会给人以突兀的感觉,不如单反拍摄的图像的虚化效果自然。
本申请的发明人经过长期研究发现,图像退化是造成上述问题的主要原因。单反相机的色深一般为14bit,而普通相机的色深一般为8bit,以及单反拍摄后保存时也会保存为8bit的jpg/png格式的图像;或者,保存时还会对图像进行伽马校正,输出亮度非线性的图像,如图1所示。在这过程中,就造成了图像色深退化为主的图像退化问题。在退化后的结果图像里如果直接去做虚化滤波处理,虚化后的图像就会存在上述提到的问题,如图2所示。为解决上述问题,本申请提供如下实施例:
请参阅图3-图4,图3是本申请提供的拍照设备的图像处理方法的第一实施例的流程示意图;图4是使用本申请提供的拍照设备的图像处理方法对退化图像进行处理获得的目标图像。本实施例包括如下步骤:
S301:使用反退化模型对退化图像进行反退化处理,得到反退化图像。
其中,拍照设备的图像传感器成像得到原始图像,原始图像经过校正、色彩转换等处理得到最终输出的图像。此时拍照设备最终输出的图像相对于原始图像来说,经过一系列处理之后可能会产生色彩退化。退化图像是指由拍照设备拍摄并经过一系列处理输出的相对于原始图像产产生退化之后图像。可以理解,本申请所述的退化图像不仅包括经引起色深退化步骤的处理,还包括经其他处理步骤的处理。当然,退化图像也可以是对拍照设备输出的图像进行剪裁或翻转后得到的图像。
一般地,拍照设备的图像传感器输出的bayer格式的原始图像需要经过降噪、颜色插值、白平衡、颜色校正、伽马校正、色彩空间转换、图像量化和图像编码等一系列处理后输出jpg或png等格式的图像。
在对原始图像进行处理的过程中,伽马校正、图像量化和图像编码等处理会引起原始图像的退化。本实施例中,将引起原始图像退化的各处理步骤所使用的算法及参数的组合作为退化模型。
例如,伽马校正会改变原始图像的亮度为非线性关系,以使退化图像在显示器显示时平衡显示器的输出亮度和电压的非线性关系,使用户看到显示器中的退化图像的亮度接近真实的亮度。经包含伽马处理的退化图像亮度会造成图像亮度退化。在非线性亮度的退化图像上进行虚化,同样会造成虚化效果不佳。
同一拍照设备的退化模型和反退化模型互为逆变换关系。使用反退化模型对退化图像进行反退化处理,以拓展退化图像的色深和/或调整退化图像的亮度到线性关系,获得高色深的反退化图像,以使后续可以基于高色深和/或线性亮度的反退化图像进行虚化处理。例如,14位色深的原始图像经过ISP(Image Signal Processor,图像信号处理器)处理、图像量化和图像编码等处理后输出为8位色深的退化图像,使用反逆退化模型对8位色深的退化图像进行反退化处理输出为14位色深的反退化图像。还例如,可以进一步对经过包含伽马校正的退化图像进行反伽马处理,以使反退化图像的亮度回归线性关系。
退化模型可以包括至少一个子退化模型,相应地反退化模型可以包括至少一个子反退化模型。每一引起图像退化的步骤,对应一子退化模型。每一子退化模型与子反退化模型互为逆变换关系。确定至少一个子退化模型对图像进行退化处理的执行顺序,按照与执行顺序相反的顺序使用至少一个子反退化模型对退化图像进行反退化处理,得到反退化图像。
例如,对原始图像处理过程中引起退化的步骤包括伽马校正和图像编码,反退化模型包括反图像编码模型和反伽马校正模型,退化图像例如是原始图像先经过伽马校正再进行图像编码得到的。在进行反退化处理时,先使用反图像编码模型对退化图像进行反编码处理,再使用反伽马校正模型对反编码处理的退化图像进行反伽马校正,得到反退化图像。
S302:对反退化图像进行虚化处理,得到虚化图像。
将经过反退化模型处理得到的反退化图像进行虚化处理,得到虚化图像。
对图像进行虚化处理的虚化算法有多种,例如均值滤波、高斯滤波或中值滤波等。使用虚化算法对图像进行滤波处理,可得到虚化图像。
对反退化图像进行虚化处理例如是对反退化图像的整个区域进行虚化处理。
对反退化图像进行虚化处理例如还可以是对反退化图像的部分区域进行虚化处理,部分区域则不需要进行虚化处理。
具体地,可以将反退化图像划分为非背景区域和背景区域。背景区域例如是用户不敢兴趣、想忽略的部分,非背景区域例如是用户感兴趣,期望重点突出的部分。
反退化图像的非背景区域和背景区域可以是通过交互的方式进行划分的,例如,用户手动选择背景区域或非背景区域。
反退化图像的非背景区域和背景区域还可以是通过自动抠图算法划分的。
当然,还可以将交互式抠图方法和自动抠图结合,先使用自动抠图算法将反退化图像的背景区域和非背景区域进行区分,再由用户手动修改。
划分出反退化图像的背景区域后,使用虚化算法对背景区域进行虚化处理,得到虚化背景区域。再将非背景区域和虚化背景区域进行合成,得到虚化图像。
可选地,还可以将背景区域虚化为具有光斑效果的虚化背景区域。具体地,首先确定目标滤波核,目标滤波核可以是五角星滤波核、圆形滤波核或心形滤波核等,具体可根据用户的选择指令确定。使用目标滤波核对背景区域进行虚化,得到虚化背景区域,虚化的背景区域的光斑具有相应的形状。
获得虚化背景区域后,可以使用简单地加法运算将虚化背景区域和非背景区域相结合,得到虚化图像。当然,虚化背景区域和非背景区域的合成还可以是其他方式,例如是Alpha Blending算法,在此不再赘述。
S303:使用退化模型对虚化图像进行退化处理,得到目标图像。
由于图像的虚化操作是基于反退化图像,经过虚化处理得到的虚化图像某些参数值域过高,影响图像的显示效果。因此,在得到虚化图像后,进一步对虚化图像进行伽马校正、图像量化和图像编码等退化处理,以得到值域正常的目标图像,如图4所示。
反退化模型可以包括至少一个子反退化模型,对应地退化模型也可以包括至少一个子退化模型。按照反退化模型中的子反退化模型对虚化图像执行反退化处理相反的顺序,使用子退化模型对虚化图像进行退化处理。本实施例中,对退化图像进行虚化处理前,先对退化图像进行反退化处理,获得与从图像传感器输出的原始图像色深相同或接近的反退化图像。基于反退化图像进行虚化处理,获得虚化图像后,再对虚化图像进行退化处理,得到目标图像,目标图像的虚化效果不受退化的影响,可以使得目标图像的虚化效果层次分明,饱满自然。
在另一实施例中,在使用反退化模型对退化图像进行反退化处理之前,需要先获得反退化模型。获得反退化模型的方法有多种,以下详细描述。请参阅图5,图5是本申请提供的图像处理方法的第二实施例的流程示意图。本实施例基于图像处理方法的第一实施例,故相同的步骤在此不再赘述。本实施例包括如下步骤:
S501:获得反退化模型。
一般地,不同的拍照设备对原始图像的处理方法可能不相同,例如,有些拍照设备会对原始图像进行伽马校正,而有些拍照设备不会对原始图像进行伽马校正,因此不同的拍照设备对原始图像处理过程中使用到会引起退化的处理的种类和数量可能也不相同,因此不同拍照设备的反退化模型可能不相同。
在不同的情况下,获取拍照设备的反退化模型的方式也可能不同。
在一实施方式中,退化模型是已知的,因此对退化模型直接进行逆变换可得到反退化模型。其中,退化模型可以是基于从拍照设备的厂商获得的图像处理过程中使用的算法和参数得到的。具体地,基于从拍照设备的厂商获得的ISP处理、图像量化和图像编码等步骤的算法和参数,提取其中例如伽马校正、图像量化和图像编码等引起图像退化的步骤的算法和参数建立该拍照设备的退化模型。对退化模型进行逆变换,得到该拍照设备的反退化模型。
在另一实施方式中,拍照设备的退化模型未知,并且拍照设备传感器输出的原始图像也未知,则可以基于拍照设备使用的摄像头、ISP及拍照设备的品牌、价格等,找到与该拍照设备类似的其他已知的拍照设备的经验反退化模型。对至少一个经验反退化模型进行拟合,得到该拍照设备的反退化模型。进一步地,对反退化模型进行逆变换得到该拍照设备的退化模型,以用于后续对虚化图像进行退化处理。
在又一实施方式中,退化模型未知,但能够获得拍照设备的原始图像和经过处理后输出的退化图像,根据原始图像和退化图像获得拍照设备的退化模型和反退化模型。请参阅图6,图6是本申请提供的获得反退化模型一实施方式的流程示意图。具体步骤如下:
S5011:获取预设退化模型、训练用原始图像和训练用退化图像。
其中,预设退化模型可以是根据先验知识建立的。例如,先验知识中,大部分拍照设备会对原始图像进行伽马校正、图像量化和图像编码等,那么可以为训练用原始图像和训练用退化图像所属的拍照设备建立具有伽马校正、图像量化和图像编码算法的预设退化模型。预设退化模型中的参数待定,本实施例中,预设退化模型中使用的参数为预估参数。
训练用退化图像是拍照设备对训练用原始图像进行退化处理得到的。训练用原始图像和训练用退化图像用于对预设退化模型进行训练,以使预设退化模型能够接近拍照设备自身的退化模型,或与拍照设备自身的退化模型一致。训练用原始图像和训练用退化图像可以是多组,以提高拟合的反退化模型的准确性。
S5012:使用预设退化模型对训练用原始图像进行退化处理,得到预估退化图像。
使用带入预估参数的预设退化模型对训练用原始图像进行退化处理,得到预估退化图像。
S5013:根据预估退化图像与训练用退化图像的比较结果调整预设退化模型的参数,得到退化模型。
将预估退化图像与训练用退化图像进行比较,得到比较结果。本实施例中,可以比较预估退化图像与训练用退化图像的近似度,近似度作为比较结果对预设退化模型的参数进行调整。
具体地,本实施例中预设退化模型具有至少一个预估参数,至少一个预估参数对应的预设退化模型对训练用原始图像进行处理,得到至少一个预估退化图像。
比对训练用退化图像分别与至少一个预估退化图像中每一个预估退化图像的近似度,以确定至少一个预估退化图像中与训练用退化图像近似度最高的预估退化图像。
比对预估退化图像与训练用退化图像的近似度的方法有多种,可以使用其中一种方法或多种方法组合进行退化图像与预估退化图像近似度的比对。
例如可以提取预估退化图像与训练用退化图像中关于色深的数据,计算退化图像与训练用退化图像的色深数据之间的差值。差值可以作为预估退化图像与训练用退化图像的近似度,差值越小,近似度越高,反之近似度越低。
还例如,可以计算预估退化图像与训练用退化图像之间的欧式距离。具体地,设图像矩阵有n个元素(n个像素点),用n个元素值(x1,x2,...,xn)组成该图像的特征组(像素点矩阵中所有的像素点),特征组形成了n维空间,特征组中的特征码(每一个像素点)构成了每一维的数值,就是x1(第一个像素点)对应一维,x2(第二个像素点)对应二维,…,xn(第n个像素点)对应n维。在n维空间下,退化图像与训练用退化图像矩阵各形成了一个点,然后利用数学上的欧式距离公式计算这两个点之间的欧式距离。欧式距离作为预估退化图像与训练用退化图像的近似度,欧式距离越小,近似度越高,反之近似度越低。
当然,比对近似度还可以是通过显示屏向工作人员展示至少一个预估退化图像与训练用退化图像,以接收工作人员比对至少一个预估退化图像与训练用退化图像后输入的近似度。
预估退化图像与训练用退化图像的近似度越高,说明对训练用原始图像处理的预设退化模型和预估参数拟合得越好,越接近拍照设备自身的退化模型。
确定与训练用退化图像的近似度最高的预估退化图像所对应的预估参数作为目标参数。具体地,比较至少一个预估退化图像与训练用退化图像的近似度之间的大小,得到预估退化图像中与训练用退化图像的近似度最高的预估退化图像。获取近似度最高的预估退化图像所对应的预估参数,确定该预估参数作为预设退化模型的目标参数。
可以理解,训练用退化图像和训练用原始图像是多组时,每组基于训练用退化图像和训练用原始图像确定的预设参数也可能不同。可以对多组的预设参数进行拟合,确定最终用于预设退化模型的目标参数。
将目标参数带入预设退化模型,得到拍照设备的退化模型。退化模型可用于在后续对虚化图像进行退化处理的步骤中。
S5014:对退化模型进行逆变换,得到反退化模型。
对退化模型进行逆变换,得到拍照设备的反退化模型。
S502:使用反退化模型对退化图像进行反退化处理,得到反退化图像。
S503:对反退化图像进行虚化处理,得到虚化图像。
S504:使用退化模型对虚化图像进行退化处理,得到目标图像。
本实施例中,在不同的情况下,可以通过不同的方式获得拍照图像的退化模型,能够提高退化模型的准确性。进一步地,对退化图像进行虚化处理前,先对退化图像进行反退化处理,获得与从图像传感器输出的原始图像色深相同或接近的反退化图像。基于反退化图像进行虚化处理,获得虚化图像后,再对虚化图像进行退化处理,得到目标图像,目标图像的虚化效果不受退化的影响,可以使得目标图像的虚化效果层次分明,饱满自然。
在又一实施例中,还可以是将退化图像先分割为背景区域图像和非背景区域图像,对背景区域图像进行反退化处理、虚化处理和退化处理后得到虚化背景区域图像,再合成虚化背景区域图像与背景区域图像,得到目标图像。请参阅图7,图7是本申请提供的图像处理方法的第三实施例的流程示意图。本实施例基于图像处理方法的第一实施例,故相同的步骤在此不再赘述。本实施例包括如下步骤:
S701:将退化图像划分为非背景图像和背景图像。
将退化图像分割为非背景图像和背景图像的方法与S303中将反退化图像划分为非背景区域和背景区域的方法类似,故在此不再赘述。
S702:使用反退化模型对背景图像进行反退化处理,得到反退化图像。
使用反退化模型对背景图像进行反退化处理的过程与S301中使用反退化模型对退化图像进行反退化处理的过程相同,故在此不再赘述。
S703:对反退化图像进行虚化处理,得到虚化图像。
S704:使用退化模型对虚化图像进行退化处理,得到目标背景图像。
S705:合成目标背景图像和非背景图像,得到目标图像。
合成目标背景图像和非背景图像的方法与S302中虚化背景区域和非背景区域的合成方法类型,故在此不再赘述。
本实施例中,在对退化图像进行反退化处理前,现将退化图像分割为背景图像和非背景图像,能够减少反退化处理和对虚化图像进行退化处理为目标图像的运算量,从而提高对退化图像的处理效率。此外,对背景图像进行虚化处理前,先对背景图像进行反退化处理,获得与从图像传感器输出的原始图像色深相同或接近的反退化图像。基于反退化图像进行虚化处理,获得虚化图像后,再按照对虚化图像进行退化处理,得到目标图像,对目标图像的虚化效果不受退化的影响,从而使得目标图像的虚化效果层次分明,饱满自然。
请参阅图8,图8是本申请提供的一种图像处理装置一实施例的结构示意图。该图像处理装置800包括:
反退化模块801,用于对退化图像进行反退化处理,以得到反退化图像。
虚化模块802,用于对反退化图像进行虚化处理,以得到虚化图像。
退化模块803,用于对虚化图像进行退化处理,以得到目标图像。
可选地,图像处理装置800还包括拟合模块804,用于获得反退化模型。
可选地,拟合模块804具体用于对退化模型进行逆变换,以得到反退化模型;或对至少一个经验反退化模型进行拟合,得到反退化模型,并对反退化模型进行逆变换,得到退化模型;或根据预设退化模型、至少一个预设退化模型的预估参数、训练用原始图像和训练用退化图像得到反退化模型。
可选地,退化模型包括至少一个子退化模型,反退化模型包括至少一个子反退化模型,拟合模块804用于对每一子退化模型求逆变换得到子反退化模型。
可选地,反退化模块801用于根据子退化模型对原始图像处理的顺序,按照相反的顺序使用子反退化模型对退化图像进行反退化处理,得到反退化图像。
可选地,虚化模块802用于划分出反退化图像的非背景区域和背景区域;使用虚化算法对背景区域进行虚化处理,得到虚化背景区域;合成非背景区域和虚化背景区域,得到虚化图像。
可选地,虚化模块802用于使用目标滤波核对背景区域进行虚化,得到虚化背景区域。
请参阅图9,图9是本申请提供的一种电子设备一实施例的结构示意图。该电子设备900包括:
处理器901、存储器902和摄像头模组903。处理器耦接存储器和摄像头模组,在工作时执行指令,以配合存储器、摄像头模组实现上述的图像处理方法。
可选地,电子设备为手机、相机或平板电脑。
其中,摄像头模组903用于拍摄图像。
存储器902用于存储拍照设备的图像处理程序和摄像头模组903用于拍摄的图像。
处理器901用于对摄像头模组903用于拍摄的图像执行存储器902存储的拍照设备的图像处理程序。具体地,处理器901对使用反退化模型对退化图像进行反退化处理,得到反退化图像。对反退化图像进行虚化处理,得到虚化图像。使用退化模型对虚化图像进行退化处理,得到目标图像。可选地,处理器901对退化模型进行逆变换,以得到反退化模型;或对至少一个经验反退化模型进行拟合,得到反退化模型,并对反退化模型进行逆变换,得到退化模型;或根据预设退化模型、至少一个预设退化模型的预估参数、训练用原始图像和训练用退化图像得到反退化模型。
其中,处理器901可以是一种集成电路芯片,具有信号的处理能力。处理器901还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
对于上述实施例的方法,其可以计算机程序的形式存在,因而本申请提出一种计算机存储介质,请参阅图10,图10是本申请提供的计算机存储介质一实施例的结构示意图。本实施例计算机存储介质100中存储有计算机程序101,其可被执行以实现上述实施例中的方法。
本实施例计算机存储介质100可以是U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等可以存储程序指令的介质,或者也可以为存储有该程序指令的服务器,该服务器可将存储的程序指令发送给其他设备运行,或者也可以自运行该存储的程序指令。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
使用反退化模型对退化图像进行反退化处理,得到反退化图像;
对所述反退化图像进行虚化处理,得到虚化图像;
使用退化模型对所述虚化图像进行退化处理,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述使用反退化模型对退化图像进行反退化处理,得到反退化图像之前,包括:
获取预设退化模型、训练用原始图像和训练用退化图像;其中,所述训练用退化图像是拍照设备对所述训练用原始图像进行退化处理得到的;
使用所述预设退化模型对所述训练用原始图像进行退化处理,得到预估退化图像;
根据所述预估退化图像与所述训练用退化图像的比较结果调整所述预设退化模型的参数,得到所述退化模型;
对所述退化模型进行逆变换,得到所述反退化模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述预估退化图像与所述训练用退化图像的比较结果调整所述预设退化模型的参数,得到所述退化模型,包括:
通过至少一个预估参数对应的预设退化模型对所述训练用原始图像进行处理,得到至少一个预估退化图像;
比对所述训练用退化图像分别与所述至少一个预估退化图像中每一个所述预估退化图像的近似度;
确定与所述训练用退化图像的所述近似度最高的所述预估退化图像所对应的所述预估参数作为目标参数;
将所述目标参数带入所述预设退化模型,得到所述退化模型。
4.根据权利要求1所述的方法,其特征在于,所述使用反退化模型对退化图像进行反退化处理,得到反退化图像之前,包括:
拟合至少一个经验反退化模型作为所述反退化模型;
对所述反退化模型进行逆变换,得到所述退化模型。
5.根据权利要求1所述的方法,其特征在于,使用反退化模型对退化图像进行反退化处理,得到反退化图像之前,包括:
获取拍照设备的所述退化模型,其中,所述拍照设备为拍摄所述退化图像的设备;
对所述退化模型进行逆变换处理,得到所述反退化模型。
6.根据权利要求1至5中一项所述的方法,其特征在于,所述使用所述反退化模型对退化图像进行反退化处理,得到反退化图像,包括:
将所述退化图像划分为非背景图像和背景图像;
使用所述反退化模型对所述背景图像进行反退化处理,得到反退化图像;
所述使用所述退化模型对所述虚化图像进行处理,得到目标图像,包括:
使用所述退化模型对所述虚化图像进行退化处理,得到目标背景图像;
合成所述目标背景图像和所述非背景图像,得到所述目标图像。
7.根据权利要求1至5中任一项所述的方法,其特征在于,所述退化模型包括至少一个子退化模型,所述反退化模型包括至少一个子反退化模型,每一所述子退化模型与所述子反退化模型互为逆变换关系;
所述使用所述反退化模型对所述拍照设备拍摄获得的退化图像进行反退化处理,得到反退化图像,包括:
确定所述至少一个子退化模型对图像进行退化处理的执行顺序,按照与所述执行顺序相反的顺序使用所述至少一个子反退化模型对所述退化图像进行反退化处理,得到所述反退化图像。
8.一种图像处理装置,其特征在于,所述装置包括:
反退化模块,用于对退化图像进行反退化处理,以得到反退化图像;
虚化模块,用于对所述反退化图像进行虚化处理,以得到虚化图像;
退化模块,用于对所述虚化图像进行退化处理,以得到目标图像。
9.一种电子设备,其特征在于,所述电子设备包括处理器、存储器和摄像头模组;所述处理器耦接所述存储器和所述摄像头模组,在工作时执行指令,以配合所述存储器、所述摄像头模组实现如权利要求1至7任一项所述的图像处理方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被执行以实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911402863.0A CN111179158B (zh) | 2019-12-30 | 2019-12-30 | 图像处理方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911402863.0A CN111179158B (zh) | 2019-12-30 | 2019-12-30 | 图像处理方法、装置、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111179158A true CN111179158A (zh) | 2020-05-19 |
CN111179158B CN111179158B (zh) | 2023-07-18 |
Family
ID=70646508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911402863.0A Active CN111179158B (zh) | 2019-12-30 | 2019-12-30 | 图像处理方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111179158B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114928436A (zh) * | 2022-07-20 | 2022-08-19 | 华东交通大学 | 一种智慧校园网络安全防护系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102646267A (zh) * | 2011-12-12 | 2012-08-22 | 中国科学院深圳先进技术研究院 | 退化图像复原方法及系统 |
CN107220945A (zh) * | 2017-04-12 | 2017-09-29 | 重庆大学 | 多重退化的极模糊图像的复原方法 |
CN108898557A (zh) * | 2018-05-30 | 2018-11-27 | 商汤集团有限公司 | 图像恢复方法及装置、电子设备、计算机程序及存储介质 |
US20190007580A1 (en) * | 2017-06-28 | 2019-01-03 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
-
2019
- 2019-12-30 CN CN201911402863.0A patent/CN111179158B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102646267A (zh) * | 2011-12-12 | 2012-08-22 | 中国科学院深圳先进技术研究院 | 退化图像复原方法及系统 |
CN107220945A (zh) * | 2017-04-12 | 2017-09-29 | 重庆大学 | 多重退化的极模糊图像的复原方法 |
US20190007580A1 (en) * | 2017-06-28 | 2019-01-03 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
CN108898557A (zh) * | 2018-05-30 | 2018-11-27 | 商汤集团有限公司 | 图像恢复方法及装置、电子设备、计算机程序及存储介质 |
Non-Patent Citations (1)
Title |
---|
王彪等: "遥感图像运动模糊恢复方法及评价标准研究" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114928436A (zh) * | 2022-07-20 | 2022-08-19 | 华东交通大学 | 一种智慧校园网络安全防护系统 |
CN114928436B (zh) * | 2022-07-20 | 2022-09-27 | 华东交通大学 | 一种智慧校园网络安全防护系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111179158B (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110324664B (zh) | 一种基于神经网络的视频补帧方法及其模型的训练方法 | |
CN108335279B (zh) | 图像融合和hdr成像 | |
US20220222786A1 (en) | Image processing method, smart device, and computer readable storage medium | |
WO2018176925A1 (zh) | Hdr图像的生成方法及装置 | |
CN104883504B (zh) | 开启智能终端上高动态范围hdr功能的方法及装置 | |
CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
CN111028170B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
CN108924427A (zh) | 一种摄像机聚焦方法、装置以及摄像机 | |
CN111131688B (zh) | 一种图像处理方法、装置及移动终端 | |
US8995784B2 (en) | Structure descriptors for image processing | |
US10868969B1 (en) | Method and apparatus for accelerated tonemapping and display | |
CN113992850A (zh) | 基于isp的图像处理方法及装置、存储介质和摄像设备 | |
CN116485979B (zh) | 映射关系计算方法、颜色校准方法及电子设备 | |
JP2022500792A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
CN111353965B (zh) | 图像修复方法、装置、终端及存储介质 | |
EP4218228A1 (en) | Saliency based capture or image processing | |
US20210327026A1 (en) | Methods and apparatus for blending unknown pixels in overlapping images | |
CN106228165A (zh) | 一种照片分类的方法和移动终端 | |
CN111161299A (zh) | 影像分割方法、计算机程序、存储介质及电子装置 | |
US20170310872A1 (en) | Image dynamic range adjustment method, terminal, and storage medium | |
CN111179158A (zh) | 图像处理方法、装置、电子设备及介质 | |
CN107454340B (zh) | 基于高动态范围原理的图像合成方法、装置及移动终端 | |
CN108132935B (zh) | 图像分类方法及图像展示方法 | |
CN115439386A (zh) | 图像融合方法、装置、电子设备和存储介质 | |
CN111080543B (zh) | 图像处理方法及装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |