CN113379611A - 图像处理模型的生成方法、处理方法、存储介质及终端 - Google Patents
图像处理模型的生成方法、处理方法、存储介质及终端 Download PDFInfo
- Publication number
- CN113379611A CN113379611A CN202010163472.4A CN202010163472A CN113379611A CN 113379611 A CN113379611 A CN 113379611A CN 202010163472 A CN202010163472 A CN 202010163472A CN 113379611 A CN113379611 A CN 113379611A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- training
- pixel point
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 200
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 303
- 230000009466 transformation Effects 0.000 claims description 76
- 238000005070 sampling Methods 0.000 claims description 55
- 238000003384 imaging method Methods 0.000 claims description 53
- 230000002146 bilateral effect Effects 0.000 claims description 42
- 230000011218 segmentation Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 40
- 238000013135 deep learning Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 18
- 238000000605 extraction Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 3
- 238000005282 brightening Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像处理模型的生成方法、处理方法、存储介质及终端,所述生成方法通过将预设的训练图像集中第一图像输入预设网络模型,通过所述预设网络模型生成的生成图像以及第一图像对应的第二图像对预设模型进行序列,得到图像处理模型。所述图像处理模型为通过对具有多组训练图像组的训练图像集的去偏色过程进行深度学习得到,每一组训练图像组包括第一图像和第二图像,第一图像为对应第二图像的偏色图像。由此可知,本发明是采用基于训练图像集进行深度学习得到已训练的图像处理模型进行偏色处理,这样可以快速对图像进行偏色调整,提高图像的色彩质量,从而提高图像质量。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及图像处理模型的生成方法、处理方法、存储介质及终端。
背景技术
现有的全面屏终端普遍包括显示面板区域以及摄像头区域,摄像头区域位于显示面板区域的顶部,这样虽然可以增大屏占比,但是摄像头区域还是会占用部分显示区域,无法真实达到全面屏。因而,为了实现全面屏终端需要在显示面板下安装摄像头,现有显示面板普遍包括基板以及偏光片等,那么当光线穿过显示面板时,显示面板一方面折射光线而使得光线透射率低,另一方会吸收光线并且对于不同波段光线的吸收率不同,这样会使得拍摄得到的图像出现偏色,进而影响终端拍摄图像的图像质量。
发明内容
本发明要解决的技术问题在于,针对现有技术的不足,提供图像处理模型的生成方法、处理方法、存储介质及终端,以解决图像存在偏色的问题。
为了解决上述技术问题,本发明所采用的技术方案如下:
一种图像处理模型的生成方法,所述图像处理模型的生成方法具体包括:
预设网络模型根据训练图像集中第一图像,生成所述第一图像对应的生成图像,其中,所述训练图像集包括多组训练图像组,每一组训练图像组包括第一图像和第二图像,其中,第一图像为对应第二图像的偏色图像;
所述预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像,对模型参数进行修正,并继续执行根据所述训练图像集中的下一训练图像组中的第一图像,生成所述第一图像对应的生成图像的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述图像处理模型。
一种图像处理方法,所述图像处理方法应用如上任一所述的图像处理模型的生成方法生成的图像处理模型,所述图像处理方法包括:
获取待处理图像,并将所述待处理图像输入至所述图像处理模型;
通过所述图像处理模型对所述待处理图像进行偏色处理,以得到所述待处理图像对应的处理后的图像。
所述图像处理方法,其中,所述图像处理模型对应若干模型参数,每个模型参数均为根据一个训练子图像集训练得到的,并且任意两个模型参数各自分别对应的训练子图像集互不相同。
一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任一所述的图像处理模型的生成方法中的步骤,或者如上任一所述的图像处理方法中的步骤。
一种终端,其包括:处理器和存储器;所述存储器上存储有可被所述处理器执行的计算机可读程序;所述处理器执行所述计算机可读程序时实现如上任一所述的图像处理模型的生成方法中的步骤,或者如上任一所述的图像处理方法中的步骤。
有益效果:与现有技术相比,本发明提供了一种图像处理模型的生成方法、处理方法、存储介质及终端,所述生成方法包括:所述方法通过将预设的训练图像集中第一图像输入预设网络模型,通过所述预设网络模型生成的生成图像以及第一图像对应的第二图像对预设模型进行序列,得到图像处理模型。所述图像处理模型为通过对具有多组训练图像组的训练图像集的去偏色过程进行深度学习得到,每一组训练图像组包括第一图像和第二图像,第一图像为对应第二图像的偏色图像。由此可知,本发明是采用基于训练图像集进行深度学习得到已训练的图像处理模型进行偏色处理,这样可以快速对图像进行偏色调整,即纠正偏色,提高图像的色彩质量,从而提高图像质量。
附图说明
图1为本实施例提供的一种图像处理模型的生成方法的应用场景示意图。
图2为本实施例提供的一种图像处理模型的生成方法的流程图。
图3为本实施例提供的一种图像处理模型的生成方法的预设网络模型的一个原理示意图。
图4为本实施例提供的一种图像处理模型的生成方法的流程示意图。
图5为本实施例提供的一种图像处理模型的生成方法的第一图像的一个示例图。
图6为本实施例提供的一种图像处理模型的生成方法的第二图像的一个示例图。
图7为本实施例提供的一种图像处理模型的生成方法的中确定对齐方式的过程的流程图。
图8为本实施例提供的一种图像处理模型的生成方法的中步骤S10的流程图。
图9为本实施例提供的一种图像处理模型的生成方法的中步骤S11的流程图。
图10为本实施例提供的一种图像处理模型的生成方法的中步骤S12的流程图。
图11为本实施例提供的一种图像处理方法的流程图。
图12为本实施例提供的一种图像处理方法中步骤A100的流程图。
图13为本实施例提供的一种图像处理方法中待处理图像的一个示例图。
图14为本实施例提供的一种图像处理方法中待处理图像对应的处理后的图像的一个示例图。
图15为本实施例提供的一种终端的结构原理图。
具体实施方式
本发明提供图像处理模型的生成方法、处理方法、存储介质及终端,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现,为了实现终端设备的全面屏,需要将终端设备的前置摄像头安装在显示面板下方。而现有显示面板内普遍包括基板以及偏光片等。那么当光线穿过显示面板时,显示面板一方面折射光线而使得光线透射率低,另一方会吸收光线并且对于不同波段光线的吸收率不同,这样会使得拍摄得到的图像出现偏色,进而影响终端拍摄图像的图像质量。
为了解决上述问题,在本发明实施例中,采用第二图像作为目标图像,并采用第二图像的偏色图像(指的是第一图像)作为训练样本图像,将第一图像输入预设网络模型,通过所述预设网络模型输出第一图像对应的生成图像,再根据第一图像对应的第二图像和第一图像对应的生成图像对所述预设网络模型进行训练,以得到已训练的图像处理模型。可见,本发明实施例中,通过对预设网络模型进行深度学习来得到图像处理模型,使得训练得到的图像处理模型可以去除图像中偏色,进而可以通过训练得到的图像处理模型对屏下成像系统拍摄得到的图像进行处理,以去除图像携带的偏色,提高屏下成像系统拍摄图像的图像质量。
举例说明,本发明实施例可以应用到如图1所示的场景。在该场景中,首先,终端设备1可以采集训练图像集,并将所述训练图像集输入服务器2,以使得服务器2依据所述训练图像集对预设网络模型进行训练。服务器2可以预先存储有预设网络模型,并响应终端设备1的输入的训练图像集,将所述训练图像集中的第一图像作为输入项输入预设网络模型,然后,获取所述预设网络模型输出的生成图像,通过所述第一图像对应的第二图像以及第一图像对应的生成图像对所述预设网络模型进行修正,并继续执行将训练图像集中第一图像输入预设网络模型的操作,并继续执行根据所述训练图像集中第一图像,生成所述第一图像对应的生成图像的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述图像处理模型。
可以理解的是,在上述应用场景中,虽然将本发明实施方式的动作描述为部分由终端设备2执行、部分由服务器1执行,但是这些动作可以完全由服务器执行,或者完全由终端设备2执行。本发明在执行主体方面不受限制,只要执行了本发明实施方式所公开的动作即可。
进一步,在获取到已训练的图像处理模型后,可以将所述已训练的图像处理模型用于处理通过具有屏下成像系统(如,屏下摄像头)的终端设备拍摄的照片。例如,将通过具有屏下成像系统(如,屏下摄像头)的终端设备拍摄的照片作为输入项输入所述已训练的图像处理模型,通过所述已训练的图像处理模型对该照片进行处理,以得到处理后的照片,从而可以快速对所述照片进行去偏色处理,以提高屏下摄像头拍摄的照片的图像质量。当然,在实际应用中,所述已训练的图像处理模型可作为一个去偏色功能模块配置于具有屏下成像系统(如,屏下摄像头)的终端设备,当具有屏下成像系统(如,屏下摄像头)的终端设备拍摄到照片时,启动所述去偏色功能模块,通过所述去偏色功能模块对该照片进行去偏色处理,使得去具有屏下成像系统(如,屏下摄像头)的终端设备输出去除偏色后的照片,使得具有屏下成像系统(如,屏下摄像头)的终端设备可以直接输出经过去偏色处理的图像。
需要注意的是,上述应用场景仅是为了便于理解本发明而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
进一步,为了对发明内容作进一步说明,下面结合附图,通过对实施例进行具体描述。
实施例一
本实施例提供了一种图像处理模型的生成方法,如图2和4所示,所述方法包括:
S10、预设网络模型根据训练图像集中第一图像,生成所述第一图像对应的生成图像。
具体地,所述预设网络模型为深度学习网络模型,并且该预设网络模型基于预设的训练图像集进行训练的。所述训练图像集包括多组具有不同图像内容的训练图像组,每一组训练图像组均包括第一图像和第二图像,第一图像为对应第二图像的偏色图像。其中,所述第一图像为对应第二图像的偏色图像指的是第一图像与第二图像相对应,第一图像和第二图像呈现同一图像场景,并且所述第一图像中满足预设偏色条件的第一目标像素点的数量满足预设数量条件。可以理解的是,第二图像为正常显示图像,第一图像中存在若干满足预设偏色条件的第一目标像素点,并且若干第一目标像素点的数量满足预设条件。例如,第二图像为如图6所示的图像,第一图像为如图5所示的图像,其中,第一图像的图像内容与第二图像的图像内容相同,但在第一图像中苹果对应的呈现的色彩与第二图像中苹果呈现的色彩不同,例如,在图5中,第一图像中苹果在第一图像中呈现的色彩为绿色偏蓝色;在图6中,第二图像中苹果在第二图像中呈现的色彩为深绿色。
进一步,所述预设偏色条件为第一图像中第一目标像素点的显示参数与第二图像中第二目标像素点的显示参数之间的误差满足预设误差条件,所述第一目标像素点与所述第二目标像素点之间具有一一对应关系。其中,所述显示参数为用于反映像素点对应的色彩的参数,例如,所述显示参数可以为像素点的RGB值,其中,R值为红色通道值、G值为绿色通道值、B值为蓝色通道值;也可以为像素点的hsl值,其中,h值为色相值,l为亮度值,s为饱和度值。此外,当显示参数为像素点的RGB值时,第一图像和第二图像中任一像素点的显示参数均包括R值、G值和B值三个显示参量;当显示显示为像素点的hls值,第一图像和第二图像中任一像素点的显示参数均包括h值、l值和s值三个显示参量。
所述预设误差条件用于衡量第一目标像素点是否为满足预设偏色条件的像素点,其中,所述预设误差条件为预设误差阈值,误差满足预设误差条件为误差大于或等于预设误差阈值。此外,所述显示参数包括若干显示参数,例如显示参数为像素点的RGB值,显示参数包括R值、G值和B值三个显示参,当显示参数为像素点的hsl值时,显示参数包括h值、l值和s值三个显示参量。由此,所述误差可以为显示参数中各显示参量的误差最大值,也可以为显示参数中各显示参量的误差的最小值,还可以是所有显示参量的误差平均值。例如,这里以显示参数为像素点的RGB值进行说明,第一目标像素点的显示参数为(55,86,108),第二目标像素点的显示参数为(58,95,120),那么各显示参量的误差值分为3,9以及12;由此,当第一目标像素点与第二目标像素点的误差为各显示参量的误差最大值时,该误差为12;当第一目标像素点与第二目标像素点的误差为各显示参量的误差最小值时,该误差为3;当第一目标像素点与第二目标像素点的误差为所有显示参量的误差平均值时,该误差为8;需要说明的是,在一种可能的实现方式中,也可以仅参考RGB中一个参数(例如R、G或B)或任意两个参数的误差,当显示参数为像素点的hsl值时,同理。
进一步,用于与第一目标像素点计算误差的第二目标像素点与第一目标显示点之间存在一一对应关系。可以理解的是,对于第一目标像素点,第二图像中存在唯一的第二目标像素点与第一目标像素点对应,其中,第一目标像素点与第二目标像素点对应指的是第一目标像素点在第一图像中的像素位置,与第二目标像素点在第二图像中的像素位置相对应。例如,第一目标像素点在第一图像中的像素位置为(5,6),第二目标像素点在第二图像中的像素位置为(5,6)。此外,所述第一目标像素点可以为第一图像中任一像素点,也可以是第一图像中目标区域中任一像素点,其中,所述目标区域可以为第一图像中物品所处区域,其中,所述物品所处区域可以为人或物在图像中对应的区域。例如,如图5所示,所述目标区域为第一图像中苹果所处区域。也就是说,第一图像中可以全部像素点与第二图像相比较出现偏色,即第一图像中全部像素点均为第一目标像素点,也可以只有一部分像素点与第二图像相比较出现偏色,即第一图像中部分像素点为第一目标像素点,例如,当一图像中只有部分区域(例如图中苹果对应的区域)中的像素点与第二图像相比较出现偏色时,该图像也可以理解为对应第二图像的偏色图像,即第一图像。
进一步,所述第一图像和第二图像相对应指的是第一图像的图像尺寸与第二图像的图像尺寸相等,并且所述第一图像和第二图像对应相同的图像场景。所述第一图像和第二图像对应相同的图像场景指的是第一图像携带的图像内容与第二图像携带的图像内容的相似度达到预设阈值,所述第一图像的图像尺寸与第二图像的图像尺寸相同,以使得当第一图像和第二图像重合时,第一图像携带的物体对第二图像中与其对应的物体的覆盖率达到预设条件。其中,所述预设阈值可以为99%,所述预设条件可以为99.5%等。在实际应用中,所述第一图像可以是通过屏下成像系统拍摄得到;所述第二图像可以是通过正常屏上成像系统(如,屏上摄像头)拍摄得到,也可以是通过网络(如,百度)获取到,还可以是通过其他外部设备(如,智能手机)发送的。
在本实施例的一个可能实现方式中,所述第二图像为通过正常屏上成像系统拍摄得到,所述第二图像和第一图像的拍摄参数相同。其中,所述拍摄参数可以包括成像系统的曝光参数,所述曝光参数可以包括光圈、快门速度、感光度、对焦以及白平衡等。当然,在实际应用中,所述拍摄参数还可以包括环境光、拍摄角度以及拍摄范围等。例如,所述第一图像为如图5所示的通过屏下摄像头拍摄一场景得到的图像,第二图像为如图6所示的通过屏上摄像头拍摄该场景得到的图像。
进一步,在本实施例的一个实现方式中,为了减少第一图像和第二图像的图像差异对预设网络模型训练的影响,所述第一图像的图像内容和第二图像的图像内容可以完全相同。即所述第一图像和第二图像具有相同图像内容指的是第一图像具有的物体内容与第二图像具有的物体内容相同,所述第一图像的图像尺寸与第二图像的图像尺寸相同,并且当第一图像和第二图像重合时,第一图像具有的物体可以覆盖第二图像中与其对应的物体。
举例说明:所述第一图像的图像尺寸为400*400,第一图像的图像内容为一个圆,并且第一图像中圆的圆心在第一图像中的位置为(200,200)、半径长度为50像素。那么,所述第二图像的图像尺寸为400*400,第二图像的图像内容也为一个圆,第二图像中圆的圆心在第二图像中的位置为(200,200),半径为50像素;当第一图像放置于第二图像上并与第二图像重合时,所述第一图像覆盖所述第二图像,并且第一图像中的圆与第二图像的圆上下重叠。
进一步,当第二图像为通过正常屏上成像系统拍摄得到时,由于第一图像和第二图像是通过两个不同的成像系统拍摄得到,而在更换成像系统时,可能会造成屏上成像系统和屏下成像系统的拍摄角度和/或拍摄位置的变化,使得第一图像和第二图像在空间上存在不对齐的问题。由此,在本实施例的一个可能实现方式中,在通过屏上成像系统拍摄第二图像以及通过屏下成像系统拍摄第一图像时,可以将屏上成像系统和屏下成像系统设置于同一固定架上,将屏上成像系统和屏下成像系统并排布置在固定架上,并保持屏上成像系统和屏下成像系统相接触。同时,将屏上成像系统和屏下成像系统分别与无线设置(如,蓝牙手表等)相连接,通过无线设置触发屏上成像系统和屏下成像系统的快门,这样可以减少拍摄过程中屏上成像系统和屏下成像系统的位置变化,提高第一图像和第二图像在空间上的对齐性。当然,屏上成像系统和屏下成像系统的拍摄时间和拍摄范围均相同。
此外,虽然在第一图像和第二图像的拍摄过程中,可以通过固定屏下成像系统和屏上成像系统的拍摄位置、拍摄角度、拍摄时间以及曝光系数等。但是,由于环境参数(如,光线强度、风吹动成像系统等),屏下成像系统拍摄得到的第一图像和屏上成像系统拍摄得到的第二图像在空间上还可能存在不对齐的问题。由此,在将训练图像集中第一图像输入预设网络模型之前,可以训练图像集中的各训练图像组中的第一图像和第二图像进行对齐处理,从而在本实施例的一个实现方式中,所述预设网络模型根据训练图像集中第一图像,生成所述第一图像对应的生成图像之前还包括
M10、针对所述训练图像集中每组训练图像组,将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理,得到与所述第二图像对齐的对齐图像,并将所述对齐图像作为第一图像。
具体地,所述针对所述训练图像集中每组训练图像组指的是对训练图像集中每一组训练图像组均执行对齐处理,所述对齐处理可以是在获取到训练图像集之后,分别对每一组训练图像组进行对齐处理,以得到对齐后的训练图像组,并在所有组训练图像组对齐后执行将每一组训练图像组中的第一图像输入预设网络模型的步骤;当然也可以是在将每一组训练图像组中的第一图像输入预设网络模型之前,对该组训练图像组进行对齐处理,以得到该组训练图像对应的对齐后的训练图像组,之后将对齐后的训练图像组中的第一图像输入预设网络模型。在本实施例中,所述对齐处理是在获取到训练图像集后,分别对每一组训练图像组进行,并在所有训练图像组完成对齐处理后,在执行将训练图像集中第一图像输入预设网络模型的操作。
进一步,所述将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理指的是将以第二图像为基准,将第一图像中像素点与第二图像中与其对应的像素点对齐,以使得第一图像中像素点与第二图像中像素点的对齐率可以达到预设值,例如,99%等。其中,所述第一图像中像素点与第二图像中与其对应的像素点对齐指的是:对于第一图像中的第一像素点和第二图像中与第一像素点相对应的第二像素点,若第一像素点对应的像素坐标与第二像素点对应的像素坐标相同,那么第一像素点与第二像素点对齐;若第一像素点对应的像素坐标与第二像素点对应的像素坐标不相同那么第一像素点与第二像素点对齐。所述对齐图像指的通过对第一图像进行对齐处理得到图像,并且对齐图像中每个像素点与第二图像中其对应的像素点的像素坐标相同。此外,在得到对齐图像后,采用所述对齐图像替换其对应的第一图像以更新训练图像组,以使得更新后的训练图像组中的第一图像和第二图像在空间上对齐。
进一步,由于不同组训练图像组中的第一图像和第二图像的对齐程度不同,从而可以在实现对齐的基础上,针对不同对齐程度的第一图像和第二图像可以采用不同的对齐方式,以使得各组训练图像组均可以采用复杂度低的对齐方式进行对齐处理。由此,在本实施例的一个实现方式中,如图7所示,所述将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理具体包括:
M11、获取该组训练图像组中的第一图像与所述第一图像对应的第二图像之间的像素偏差量;
M12、根据所述像素偏差量确定所述第一图像对应的对齐方式,并采用所述对齐方式将所述第一图像与所述第二图像进行对齐处理。
具体地,所述像素偏差量指的是第一图像中第一像素点与第二图像中与该第一像素点对应的第二像素点不对齐的第一像素点的总数量。所述像素偏差量可以通过获取第一图像中各第一像素点的第一坐标,以及第二图像中各第二像素点的第二坐标,然后将第一像素点的第一坐标与其对应的第二像素点的第二坐标进行比较,若第一坐标与第二坐标相同,则判定第一像素点与其对应的第二像素点对齐;若第一坐标与第二坐标不相同,则判定第一像素点与其对应的第二像素点不对齐,最后获取所有不对齐的第一像素点的总数量,以得到所述像素偏差量。例如,当所述第一图像中的第一像素点的第一坐标为(200,200),第二图像中与所述第一像素点对应的第二像素点的第二坐标为(201,200)时,所述第一像素点与第二像素点不对齐,不对齐的第一像素点的总数量加一;当所述第一图像中的第一像素点的第一坐标为(200,200),第二图像中与所述第一像素点对应的第二像素点的第二坐标为(200,200)时,所述第一像素点与第二像素点对齐,不对齐的第一像素点的总数量不变。
进一步,为了确定像素偏差量与对齐方式的对应关系,可以需要设置偏差量阈值,在获取到第一图像的像素偏差量时,可以通过将获取到的像素偏差量与预设偏差量阈值进行比较,以确定像素偏差量对应的对齐方式。由此,在本实施例的一个实现方式中,所述根据所述像素偏差量确定所述述第一图像对应的对齐方式,并采用所述对齐方式将所述第一图像与所述第二图像进行对齐处理具体包括:
M121、当所述像素偏差量小于或等于预设偏差量阈值时,根据所述第一图像与所述第二图像的互信息,以所述第二图像为基准对所述第一图像进行对齐处理;
M122、当所述像素偏差量大于所述预设偏差量阈值时,提取所述第一图像的第一像素点集和所述第二图像的第二像素点集,所述第一像素点集包含所述第一图像中的若干第一像素点,所述第二像素点集包括所述第二图像中的若干第二像素点,所述第二像素点集中的第二像素点与所述第一像素点集中的第一像素点一一对应;针对所述第一像素点集中每个第一像素点,计算该第一像素点与其对应的第二像素点的坐标差值,并根据该第一像素点对应的坐标差值对该第一像素点进行位置调整,以将该第一像素点与该第一像素点对应的第二像素点对齐。
具体地,所述预设偏差量阈值为预先设置,例如,预设偏差量阈值为20。所述当所述像素偏差量小于或等于预设偏差量阈值时指的是当将所述像素偏差量与所述预设偏差量阈值时,所述像素偏差量小于等于预设偏差量阈值。而当所述像素偏差量小于等于预设偏差量阈值时,说明第一图像和第二图像在空间上的偏差较小,此时可以采用根据所述第一图像与所述第二图像的互信息对第一图像和第二图像进行对齐。在本实施例中,以所述第一图像和其对应的第二图像之间互信息对第一图像和第二图像进行对齐的过程可以采用图像配准方法,所述图像配准方法中以互信息作为度量准则,通过优化器对度量准则迭代进行优化以得到对齐参数,通过所述配准所述对齐参数的配准器将第一图像与第二图像进行对齐,这保证第一图像与第二图像的对齐效果的基础,降低了第一图像与第二图像对齐的复杂性,从而提高了对齐效率。在本实施例中,所述优化器主要采用平移和旋转变换,以通过所述平移和旋转变换来优化度量准则。
进一步,所述像素偏差量大于所述预设偏差量阈值,说明第一图像和第二图像在空间上不对齐程度较高,此时需要着重考虑对齐效果。从而此时可以采用通过选取第一图像中的第一像素点集和第二图像中第二像素点集的方式对第一图像和第二图像进行对齐。所述第一像素点集的第一像素点与第二像素点集中第二像素点一一对应,以使得对于第一像素点集中的任一第一像素点,在第二像素点集中均可以找到一个第二像素点,所述第二像素点在第二图像中的位置与第一像素点在第一图像中的位置相对应。此外,所述第一像素点集和第二像素点集可以是在获取到第一像素点集/第二像素点集后,根据第一像素点与第二像素点的对应关系确定第二像素点集/第一像素点集,例如,所述第一像素点集通过在第一图像中随机选取多个第一像素点的方式生成,第二像素点则是根据第一像素点集包含的各第一像素点确定的。
同时在本实施例中,所述第一像素点集和第二像素点集均是通过尺度不变特征变换(Scale-invariant feature transform,sift)的方式获取得到,即所述第一像素点集中第一像素点为第一图像中第一sift特征点,所述第二像素点集中第二像素点为第二图像的第二sift特征点。相应的,所述计算该第一像素点与其对应的第二像素点的坐标差值为将第一像素点中第一sift特征点与第二像素点集中第二sift特征点进行点对点匹配,以得到各第一sift特征点与其对应的各第二sift特征点的坐标差值,并根据该第一sift特征点对应的坐标差值对该第一sift特征点进行位置变换,以将该第一像素点与该第一sift特征点对应的第二sift特征点对齐,从而使得第一图像中第一sift特征点与第二图像中第二sift特征点位置相同,从而实现了第一图像与第二图像的对齐。
进一步,在本实施例的一个实现方式中,如图3、4和图7所示,所述预设网络模型包括下采样模块100以及变换模块200,相应的,所述预设网络模型根据训练图像集中第一图像,生成所述第一图像对应的生成图像可以具体包括:
S11、将所述训练图像集中第一图像输入所述下采样模块,通过所述下采样模块得到所述第一图像对应的双边网格以及所述第一图像对应的指导图像,其中,所述指导图像的分辨率与所述第一图像的分辨率相同;
S12、将所述指导图像、所述双边网格以及所述第一图像输入所述变换模块,通过变换模块生成所述第一图像对应的生成图像。
具体地,所述双边网格10为在二维图像的像素坐标中增加一维代表像素强度的维度而得到的三维双边网格,其中,所述三维双边网络的三维分别为二维图像的像素坐标中横轴和纵轴,以及增加的代表像素强度的维度。所述指导图像为通过对第一图像进行像素级操作得到的,所述指导图像50的分辨率与所述第一图像的分辨率相同,例如,所述指导图像50为所述第一图像对应的灰阶图像。
进一步,由于所述下采样模块100用于输出第一图像对应的双边网格10和指导图像50,从而所述下采样模块100包括下采样单元70和卷积单元30,所述下采样单元70用于输出所述第一图像对应的双边网格10,所述卷积单元30用于输出所述第一图像对应的指导图像50。相应的,如图3、4和图8所示,所述将所述训练图像集中第一图像输入所述下采样模块,通过所述下采样模块得到所述第一图像对应的双边网格参数以及所述第一图像对应的指导图像具体包括:
S111、将所述训练图像集中第一图像分别输入所述下采样单元以及所述卷积单元;
S112、通过所述下采样单元得到所述第一图像对应的双边网格,并通过所述卷积单元得到所述第一图像对应的指导图像。
具体地,所述下采样单元70用于对第一图像进行下采样,以得到第一图像对应的特征图像,并根据所述特征图像生成所述第一图像对应的双边网格,特征图像的空间通道数大于第一图像的空间通道数。所述双边网格是根据所述特征图像的局部特征和全局特征生成的,其中,所述局部特征为从图像局部区域中抽取的特征,例如,边缘、角点、线、曲线和属性区域等,在本实施例中,所述局部特征可以为区域颜色特征。所述全局特征指的是表示整幅图像属性的特征,例如,颜色特征、纹理特征和形状特征。在本实施例中,所述全局特征可以为整幅图像的颜色特征。
进一步,在本实施例的一个可能实现方式中,所述下采样单元70包括下采样层、局部特征提取层、全局特征提取层以及全连接层,所述局部特征提取层连接于所述下采样层与全连接层之间,所述全局特征提取层连接于下采样层与全连接层之间,并且所述全局特征提取层与所述局部特征提取层并联。由此可知,第一图像作为输入项输入下采样层,经过下采样层输出特征图像;下采样层的特征图像分别输入至局部特征提取层和全局特征提取层,局部特征提取层提取特征图像的局部特征,全局特征提取层提取特征图像的全局特征;局部特征提取层输出的局部特征和全局特征提取层输出的全局特征分别输入全连接层,以通过全连接层输出第一图像对应的双边网格。此外,在本实施例的一个可能实现方式中,所述下采样层包括下采样卷积层和四个第一卷积层,第一卷积层的卷积核为1*1,步长为1;所述局部特征提取层可以包括两个第二卷积层,两个第二卷积层的卷积核均为3*3,步长均为1;所述全局特征提取层可以包括两个第三卷积层和三个全连接层,两个第三卷积层的卷积核均为3*3,步长均为2。
进一步,所述卷积单元30包括第四卷积层,第一图像输入第四卷积层,经过第四卷积层输入指导图像,其中,所述指导图像与第一图像的分辨率相同。例如,第一图像为彩色图像,所述第四卷积层对第一图像进行像素级操作,以使得指导图像为第一图像的灰阶图像。
举例说明:第一图像I输入下采样卷积层,经过下采样卷积层输出256x256大小的三通道低分辨率图像,256x256大小的三通道低分辨率图像依次经过四个第一卷积层,得到16x16大小的64通道特征图像;16x16大小的64通道特征图像输入局部特征提取层得到局部特征L,16x16大小的64通道特征图像输入全局特征提取层得到全局特征;局部特征和全局特征输入全连接层,经过全连接层输出双边网格。此外,将第一图像输入至卷积单元,经过卷积单元输入第一图像对应的指导图像。
进一步,所述在本实施例的一个实现方式中,所述变换模块200包括切分单元40以及变换单元50,相应的,如图3、4和9所示,所述将所述指导图像、所述双边网格以及所述第一图像输入所述变换模块,通过变换模块生成所述第一图像对应的生成图像具体包括:
S121、将所述指导图像输入所述切分单元,通过所述切分单元对所述双边网格进行切分,以得到所述第一图像中各像素点的颜色变换矩阵;
S122、将所述第一图像以及所述第一图像中各像素点的颜色变换矩阵输入所述变换单元,通过所述变换单元生成所述第一图像对应的生成图像。
具体地,所述切分单元40包括上采样层,所述上采样层的输入项为指导图像和双边网格,通过所述指导图像对双边网格进行上采样,以得到第一图像中各像素点的颜色变换矩阵。其中,所述上采样层的上采样过程可以为将所述双边网格参考指导图进行上采样,以得到第一图像中各像素点的颜色变换矩阵。此外,所述变换单元60的输入项为各像素点的颜色变换矩阵以及第一图像,通过各像素点的颜色变换矩阵对第一图像中其对应的像素点的颜色进行变换,以得到所述第一图像对应的生成图像。
S20、所述预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像,对模型参数进行修正,并继续执行根据所述训练图像集中第一图像,生成所述第一图像对应的生成图像的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述图像处理模型。
具体地,所述预设条件包括损失函数值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据图像处理模型的精度来确定,这里不做详细说明,所述预设次数可以为预设网络模型的最大训练次数,例如,5000次等。由此,在预设网络模型输出生成图像,根据所述生成图像以及所述第二图像来计算预设网络模型的损失函数值,在计算得到损失函数值后,判断所述损失函数值是否满足预设要求;若损失函数值满足预设要求,则结束训练;若损失函数值不满足预设要求,则判断所述预设网络模型的训练次数是否达到预测次数,若未达到预设次数,则根据所述损失函数值对所述预设网络模型的网络参数进行修正;若达到预设次数,则结束训练。这样通过损失函数值和训练次数来判断预设网络模型训练是否结束,可以避免因损失函数值无法达到预设要求而造成预设网络模型的训练进入死循环。
进一步,由于对预设网络模型的网络参数进行修改是在预设网络模型的训练情况未满足预设条件(即,损失函数值未满足预设要求并且训练次数未达到预设次数),从而在根据损失函数值对所述预设网络模型的网络参数进行修正后,需要继续对网络模型进行训练,即继续执行将训练图像集中的第一图像输入预设网络模型的步骤。其中,继续执行将训练图像集中第一图像输入预设网络模型中的第一图像为未作为输入项输入过预设网络模型的第一图像。例如,训练图像集中所有第一图像具有唯一图像标识(例如,图像编号),第一次训练输入的第一图像为图像标识与第二次训练输入的第一图像的图像标识不同,如,第一次训练输入的第一图像的图像编号为1,第二次训练输入的第一图像的图像编号为2,第N次训练输入的第一图像的图像编号为N。当然,在实际应用中,由于训练图像集中的第一图像的数量有限,为了提高图像处理模型的训练效果,可以依次将训练图像集中的第一图像输入至预设网络模型以对预设网络模型进行训练,当训练图像集中的所有第一图像均输入过预设网络模型后,可以继续执行依次将训练图像集中的第一图像输入至预设网络模型的操作,以使得训练图像集中的训练图像组按循环输入至预设网络模型。
此外,对于不同曝光度下拍摄的图像的高光部分的扩散程度不同,从而从而屏下成像系统在不同光线强度下拍摄的图像的高光部分的扩散程度不同,从而使得屏下成像系统拍摄得到的图像图像质量不同。由此,在对图像处理模型进行训练时,可以获取多个训练图像集,每个训练图像集对应不同的曝光度,并采用每个训练图像集对预设网络模型进行训练,以得到每个训练图像集对应的模型参数。这样采用具有相同曝光度的第一图像作为训练样本图像,可以提高网络模型的训练速度,同时使得不同曝光度对应不同的模型参数,在采用图像处理模型对具有偏色的待处理图像进行处理时,可以根据待处理图像对应的曝光度选取相应的模型参数,抑制各曝光度下图像高光部分的扩散,以提高待处理图像对应的处理后图像的图像质量。
进一步,在本实施例的一个实现方式中,所述训练图像集包括若干训练子图像集,每个训练子图像集包含多组训练样本图像组,每个训练子图像集包括若干组训练样本图像组,若干训组训练图像组中的任意两组训练样本图像组中的第一图像的曝光度相同(即对于每组训练图像组而言,该组中的每组训练样本图像组中的第一图像的曝光度均相同),若干组训练图像组中的每组训练样本图像组中的第二图像的曝光度均处于预设范围内,任意两个训练子图像集中的第一图像的曝光度不相同。其中,所述第二图像的曝光度的预设范围可以根据曝光时间和ISO(现有的手机的光圈为固定值)确定,所述曝光度的预设范围表示在无需曝光补偿下拍摄图像的曝光度,屏上摄像头在曝光度的预设范围内的第一曝光度下拍摄得到的第二图像为正常曝光图像,这通过采用正常曝光图像作为第二图像,可以使得根据训练图像集训练得到的图像处理模型输出的图像具有正常曝光度,从而使得图像处理模型具有提亮的功能。例如,当输入图像处理模的图像A为低曝光度的图像,那么图像A通过所述图像处理模型处理后,可以使得处理后的图像A的曝光度为正常曝光度,从而提高了图像A的图像亮度。
举例说明:假设图像的曝光度包括5个等级,分别记为0,-1,-2,-3和-4,其中,所述曝光度随着曝光度等级的降低而增强,例如,曝光等级0对应的曝光度低于曝光等级-4对应的曝光度。所述训练图像集可以包括5个训练子图像集,分别记为第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集,所述第一训练子图像集包含的每组训练图像组中第一图像的曝光度对应0等级,第二图像为曝光度在预设范围内的图像;所述第二训练子图像集包含的每组训练图像组中第一图像的曝光度对应-1等级,第二图像为曝光度在预设范围内的图像;所述第三训练子图像集包含的每组训练图像组中第一图像的曝光度对应-2等级,第二图像为曝光度在预设范围内的图像;所述第四训练子图像集包含的每组训练图像组中第一图像的曝光度对应-3等级,第二图像为曝光度在预设范围内的图像;所述第五训练子图像集包含的每组训练图像组中第一图像的曝光度对应-4等级,第二图像为曝光度在预设范围内的图像。当然,值得说明的,所述第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集包含的训练图像组的数量可以相同,也可以不同。例如,所述第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集均包括5000组训练图像组。
此外,针对于每个训练子图像集,该训练子图像集为预设网络模型的一个训练图像集,通过该训练子图像集对预设网络模型进行训练,以得到该训练子图像集对应的模型参数。其中,该训练子图像集作为训练图像集对预设网络模型进行训练的过程包括:所述预设网络模型根据训练子图像集中第一图像,生成第一图像对应的生成图像;所述预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像,对模型参数进行修正,并且预设网络模型继续执行根据训练子图像集中第一图像,生成第一图像对应的生成图像的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到该训练子图像对应的模型参数,具体地可以参数步骤S10和步骤S20,这里就不再赘述。
进一步,每个训练子图像集对所述预设网络模型的训练过程为相互独立,即分别采用每个训练子图像集对所述预设网络模型进行训练。同时,分别采用个训练子图像集对所述预设网络模型进行训练可以得到若干模型参数,每个模型参数均为根据一个训练子图像集训练得到,并且任意两个模型参数各自对应的训练子图像集互不相同。由此可知,图像处理模型对应若干模型参数,若干模型参数与若干训练子图像集一一对应。
举例说明:以上述训练样本图像包括第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集为例,那么图像处理模型包括5个模型参数,分别记为第一模型参数、第二模型参数、第三模型参数、第四模型参数以及第五模型参数,其中,第一模型参数对应第一训练子图像集,第二模型参数对应第二训练子图像集,第三模型参数对应第三训练子图像集,第四模型参数对应第四训练子图像集,第五模型参数对应第五训练子图像集。
进一步,当训练图像集包括若干训练子图像集时,预设网络模型根据每个训练子图像集进行训练。这里以训练图像集包括5个训练子图像集为例加以说明。采用第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集分别对预设网络模型进行训练的过程可以为:首先采用第一训练子图像集对预设网络模型进行训练,得到第一训练子图像集对应的第一模型参数,之后再采用第二训练子图像集对预设网络模型进行训练,得到第二训练子图像集对应的第二模型参数,依次类推得到第五训练子图像集对应的第五模型参数。
此外,当使用同一个预设网络模型对多个训练子图像集分别进行训练时,会存在各个训练子图像集对于预设网络模型的模型参数产生影响的问题,举例来说,假设训练子图像集A包括1000组训练图像组,训练子图像集B包括200组训练图像组,那么,先用训练子图像集A对预设网络模型进行训练,再紧接着用训练子图像集B对预设网络模型进行训练所得到的该训练子图像集B所对应的模型参数,与仅用训练子图像集B对预设网络模型进行训练所得到的该训练子图像集B所对应的模型参数,是不同的。
故此,在本实施例的一种实现方式中,预设网络模型在训练完一训练子图像集之后,可以先对该预设网络模型进行初始化,再使用该初始化后的预设网络模型对下一训练子图像集进行训练。举例来说,预设网络模型根据第一训练子图像集进行训练,得到第一训练子图像集对应的第一模型参数后,所述预设网络模型可以进行初始化,以使得用于训练第二模型参数的预设网络模型的初始模型参数以及模型结构均与用于训练第一模型参数的预设网络模型相同,当然,在训练第三模型参数、第四模型参数和第五模型参数之前,均可以对预设网络模型进行初始化,以使得每个训练子图像集对应的预设网络模型的初始模型参数以及模型结构均相同。当然,在实际应用中,预设网络模型根据第一训练子图像集进行训练,得到第一训练子图像集对应的第一模型参数后,也可以直接采用基于第一训练子图像集训练后的预设网络模型(配置第一模型参数)对第二训练子图像集进行训练,以得到第二训练子图像集对应的第二模型参数,继续执行预设网络模型(配置第二模型参数)根据第三训练子图像集进行训练的步骤,直至第五训练子图像集训练完毕,得到第五训练子图像集对应的第五模型参数。
此外,第一训练子图像集、第二训练子图像集、第三训练子图像集、第四训练子图像集以及第五训练子图像集均包括一定数量的训练图像组,以使得每组训练子图像均可以满足预设网络模型的训练需求。当然,在实际应用中,在基于每一训练子图像集对预设网络模型进行训练时,可以循环将该训练子图像集中的训练图像组输入至预设网络模型,以对所述预设网络模型进行训练,使得预设网络模型满足预设要求。
进一步,在本实施例的一个实现按时,所述获取包含各个训练子图像集的训练样本的获取过程可以为:首先将屏下成像系统设置为第一曝光度,通过屏下成像系统获取第一训练子图像集中的第一图像,以及通过屏上成像系统获取第一训练子图像集中和第一图像对应的第二图像;在第一训练子图像集获取完成后,将屏下成像系统设置为第二曝光度,通过屏下成像系统和屏上成像系统获取第二训练子图像集中第一图像和第一图像对应的第二图像;在第二训练子图像集获取完成后;继续执行设置屏下成像系统的曝光度以及获取训练子图像集的步骤,直至获取到训练图像集包含的所有训练子图像集。其中,训练图像集包含的每个训练子图像集包含的训练图像组的数量可以相同,也可以不相同。在本实施例的一个实现方式中,所述训练图像集包含的每个训练子图像集包含的训练图像组的数量可以相同,例如,每个训练子图像集包含的训练图像组的数量为5000。
进一步,由于各训练子图像集均对应不同的曝光度,从而在获取到每个训练子图像集对应的模型参数后,针对于每个训练子图像集,可以将该训练子图像集对应的模型参数与该训练子图像集对应的曝光度相关联,以建立曝光度与模型参数的对应关系。这样在采用图像处理模型对待处理图像进行处理时,可以先获取待处理图像的曝光度,再根据曝光度确定待处理图像对应的模型参数,然后将待处理图像对应的模型参数配置于预设网络模型,以得到待处理图像对应的图像处理模型,以便于采用该图像处理模型对待处理图像进行处理。这样对于不同曝光度的待处理图像可以确定配置不同网络参数的图像处理模型,并采用待处理图像对应的图像处理模型对待处理图像进行处理,避免曝光度对偏色的影响,从而可以提高去除待处理图像的偏色的效果。此外,所述第二图像可以为采用正常曝光度,使得所述图像处理模型输出的处理后的图像为正常曝光度,对待处理图像起到提亮的效果。
基于上述图像处理模型的生成方法,本实施例还提供了一种图像处理方法,如图10所示,所述图像处理方法包括:
A100、获取待处理图像,并将所述待处理图像输入至所述图像处理模型。
具体地,所述待处理图像可以为用于处理所述待处理图像的图像设备拍摄的图像,也可以是其他外部设备并存储于图像处理设备的图像,通过云端发送的图像。在本实施例中,所述待处理图像为通过屏下成像系统(例如屏下摄像头)拍摄得到的图像,其中,所述屏下成像系统可以为图像设备自身配置的,可也可以为其他设备配置的。例如,所述待处理图像为通过配置有屏下成像系统的手机拍摄得到的人物图像。
此外,所述图像处理模型可是处理所述待处理图像的图像设备(例如,配置屏下摄像头的手机)预先训练的,也可以是由其他训练好后将图像处理模型对应的文件移植到图像设备中。此外,图像设备可以将所述图像处理模型可作为一个去偏色功能模块,当图像设备获取到待处理图像时,启动所述去偏色功能模块,将待处理图像输出至图像处理模型。
进一步,由图像处理模型的生成过程可以知道,在一种可能的实现方式中,所述图像处理模型包括可以若干模型参数,并且每个模型参数均对应一个曝光度。因此,在该实现方式中,在获取到待处理图像后,可以先检测所述图像处理模型包括的模型参数的数量,当模型参数的数量为一个时,直接将所述待处理图像输入到所述图像处理模型内,以通过所述图像处理对待处理图像进行处理;当模型参数为多个时,可以先获取待处理图像的曝光度,再根据曝光度确定该待处理图像对应的模型参数,将该待处理图像对应的模型参数配置于所述图像处理模型,以对图像处理参数配置的模型参数进行更新,并将待处理图像输入更新后图像处理模型。
进一步,在本实施例的一个实现方式中,所述图像处理模型对应若干模型参数,每个模型参数均为根据一个训练子图像集训练得到的,并且任意两个模型参数各自分别对应的训练子图像集互不相同(例如,模型参数A对应的训练子图像集与模型参数B对应的训练子图像集是不同的)。相应的,如图11所示,所述获取待处理图像,并将所述待处理图像输入至所述图像处理模型具体包括:
A101、获取待处理图像,并提取所述待处理图像的曝光度。
具体地,所述曝光度为图像采集装置的感光元件被光线照射的程度,用于反映成像时的曝光程度。所述待处理图像可以为RGB三通道图像,所述待处理图像的曝光度为根据待处理图像的高光区域确定的,所述高光区域包含的各像素点的R(即红色通道)值、G(即绿色通道)值以及B(即蓝色通道)值中至少存在一个值大于预设阈值。当然,在实际应用中,所述待处理图像还可以是Y通道图像或者贝尔格式图像,而当所述待处理图像为Y通道图像或者贝尔格式图像(Raw格式)时,在提取所述待处理图像之前,需要将所述Y通道图像或者贝尔格式图像转换为RGB三通道图像,以便于根据待处理图像的红色通道R值、绿色通道G值以及蓝色通道B值确定待处理图像的高光区域。
进一步,在本实施例的一个实现方式中,所述提取所述待处理图像的曝光度具体包括:
B10、根据所述待处理图像中各像素点的红色通道R值、绿色通道G值以及蓝色通道B值确定满足预设条件的第三像素点,其中,所述预设条件为R值、G值以及B值中至少一个值大于预设阈值;
B20、根据满足预设条件的所有第三像素点确定所述待处理图像的高光区域,并根据所述高光区域确定所述待处理图像的曝光度。
具体地,所述待处理图像为RGB三通道图像,从而对于待处理图像中的每个像素点,该像素点均包括红色通道R值、绿色通道G值和蓝色通道B值,即对于待处理图像中的每个像素点,均可以获取到该像素点的红色通道R值、绿色通道G值以及蓝色通道B值。由此,在提取所述待处理图像的曝光的过程中,首先针对于每个待处理图像的每个像素点,获取该像素点的红色通道R值、绿色通道G值以及蓝色通道B值,之后再分别将各像素点的R值、G值以及B值分别与预设阈值进行比较,以获取待处理图像中满足预设条件的第三像素点。所述预设条件为预设条件为R值、G值以及B值中至少一个值大于预设阈值,第三像素点满足预设条件指的是第三像素点的R值大于预设阈值,第三像素点的G值大于预设阈值,第三像素点的B值大于预设阈值,第三像素点的R值和G值均大于预设阈值,第三像素点的R值和B值均大于预设阈值,第三像素点的G值和B值均大于预设阈值,或者第三像素点的R值、B值和G值均大于预设阈值。
进一步,在获取到满足预设条件的所有第三像素点后,将获取到所有第三像素点记为第三像素点集,第三像素点集中存在相邻的像素点,也存在不相邻的像素点,其中,像素点相邻指的是像素点在待处理图像中的位置相邻,所述不相邻指的是像素点在待处理图像中的位置不相邻,所述位置相邻指的在待处理的像素坐标中,相邻两个像素点的横坐标和纵坐标中存在一个相同。例如,第三像素点集中包括像素点(100,101)、像素点(100,100),像素点(101,101)以及像素点(200,200),那么像素点(100,101)、像素点(100,100)为相邻像素点,并且像素点(100,101)、像素点(101,101)为相邻像素点,而像素点(100,101)、像素点(100,100)和像素点(101,101)和像素点(200,200)均为不相邻像素点。
进一步,所述高光区域根据第三像素点集中相邻像素点构成的连通区域,即高光区域包含的每个第三像素点的像素值均满足预设条件。由此,在本实施例一个实现方式中,所述根据满足预设条件的所有第三像素点确定所述待处理图像的高光区域具体包括:
C10、获取所述满足预设条件的所有第三像素点所形成的连通区域,并在获取到的所有连通区域进行选取满足预设规则的目标区域,其中,所述预设规则为目标区域中的第三像素点的R值、G值和B值中大于预设阈值的R值、G值和/或B值的类型相同;
C20、计算筛选得到的各目标区域分别对应的面积,并选取面积最大的目标区域作为高光区域。
具体地,所述连通区域是第三像素点集中所有相邻第三像素点形成的闭合区域,所述连通区域包含的每个像素点均为第三像素点,并且对于连通区域内的每个第三像素点A,连通区域内至少一个第三像素点B与该第三像素点A相邻。同时,针对于第三像素点集中去除该连通区域包含的第三像素点外的每个第三像素点C,该第三像素点C与连通区域内的任一第三像素点A均不相邻。例如,第三像素点集中包括像素点(100,101)、像素点(100,100)、像素点(101,100)、像素点(101,101)、像素点(100,102)以及像素点(200,200),那么,像素点(100,101)、像素点(100,100)、像素点(101,100)、像素点(101,101)、像素点(100,102)形成一个连通区域。
此外,由于待处理图像的连通区域是有光源形成,并且光源会产生光线颜色相同。从而在获取到待处理图像包含的所有连通区域后,可以根据各连通区域对应的区域颜色对连通区域进行选取。由此,在获取到待处理图像的连通区域后,判断连通区域内各第三像素点的R值、G值和B值中第三像素点的R值、G值和B值中大于预设阈值的R值、G值和/或B值的类型是否相同,以判断连通区域是否满足预设规则。所述类型相同指的是对于两个第三像素点,分别记为像素点A和像素点B,若像素点A为R值大于预设阈值,那么像素点B也只有R值大于预设阈值;若像素点A的R值和G值均大于预设阈值,那么像素点B也只有R值和G值大于预设阈值;若像素点A的R值、G值和B值均大于预设阈值,那么像素点B的R值、G值和B值均大于预设阈值。所述类型不同指的是,对于两个第三像素点,分别记为像素点C和像素点D,若像素点C为V值(V值可以为R值,G值,B值中一种)大于预设阈值,那么像素点D中V值小于或等于预设阈值,或者像素点D中V值大于预设阈值且至少存在一个M值(M值为R值,G值和B值中去除V值外的两个值中一个)大于预设阈值。例如,像素点C的R值大于预设阈值,像素点D的R值小于等于预设阈值,那么像素点C和像素点D的类型不同;再如,像素点C的R值大于预设阈值,像素点D的R值大于预设阈值,并且像素点D的G值大于预设阈值,那么像素点C和像素点D的类型不同。本实施例中,所述预设规则为各连通区域中的第三像素点的R值、G值和B值中大于预设阈值的R值、G值和/或B值的类型相同。
进一步,由于待处理图像中可能包括多个目标区域,从而在获取到目标区域后,可以根据目标区域的面积对目标区域进行筛选以得到高光区域。其中,所述目标区域的面积指的是目标区域在待处理图像中所在区域的面积,所述面积是在待处理图像的像素坐标系内计算的。在获取到各目标区域的面积后,可以将各目标区域的面积进行比较,并选取面积最大的目标区域,将所述目标区域作为高光区域,这样将面积最大的目标区域作为高光区域,可以获取到待处理图像中亮度面积最大的区域,根据亮度面积最大的区域确定曝光度,可以提高曝光度的准确性。
进一步,在本实施例的一个实现方式中,所述根据所述高光区域确定所述待处理图像的曝光度具体包括:
D10、计算所述高光区域的第一面积以及待处理图像的第二面积;
D20、根据所述第一面积和第二面积的比值确定所述待处理图像对应的曝光度。
具体地,所述待处理图像的第二面积指的是根据待处理图像的图像尺寸计算得到,例如,待处理图像的图像尺寸为400*400,那么待处理图像的图像面积为400*400=160000。所述高光区域的第一面积为高光区域在待处理图像的像素坐标系中区域面积,例如,高光区域为边长为20的正方形区域,那么高光区域的第一面积为20*20=400。
进一步,为了根据第一面积和第二面积的比值确定曝光度,预先设定了比值区间与曝光度的对应关系,在获取到比值后,首先取得比值所处比值区域,在根据该对应关系确定该比值区间对应曝光度,以得到待处理图像的曝光度。例如,所述比值区间与曝光度的对应关系为:当区间为[0,1/100)时,曝光度对应0等级;当区间为[1/100,1/50)时,曝光度对应-1等级;当区间为[1/50,1/20)时,曝光度对应-2等级;当区间为[1/20,1/50)时,曝光度对应-3等级;当区间为[1/20,1]时,曝光度对应-4等级。那么当第一面积与第二面积的比值为1/10时,该比值处于区间[1/20,1],从而该待处理图像对应的曝光度为-4等级。
A102、根据所述曝光度确定所述待处理图像对应的模型参数,并采用所述模型参数更新所述图像处理模型的模型参数。
具体地,在图像处理模型训练时建立了曝光度与模型参数的对应关系,从而在获取到待处理图像的曝光度后,可以根据曝光度与模型参数的对应关系确定该曝光度对应的模型参数,其中,所述曝光度指的是曝光度等级,即所述曝光度与模型参数的对应关系为曝光度等级与模型参数的对应关系。此外,由上述可以知道,每个曝光等级对应一个比值区间,那么在获取到待处理图像后,可以获取待处理图像中高光区域的区域面积与图像图像的比值,并确定所述比值所处的比值区间,再根据比值区域确定待处理图像对应的曝光等级,最后根据曝光等级确定待处理图像对应的模型参数,从而得到待处理图像对应的模型参数。此外,在获取到曝光度对应的模型参数后,采用获取到的模型参数更新图像处理模型配置的模型参数,以更新图像处理模型,即获取到的模型参数所对应的图像处理模型。
A103、将所述待处理图像输入至更新后的图像处理模型。
具体地,将待处理图像作为更新后的图像处理模型的输入项,并将待处理图像输出至更新后的图像处理模型对待处理图像进行处理。可以理解的是,所述待处理图像对应的图像处理模型的模型参数为根据所述待处理图像的曝光度确定模型参数,并且该模型参数为通过对预设网络模型进行训练得到的模型参数,这样可以保证更新后的图像处理模型对待处理图像处理的精确度。至此,完成对步骤A100(即,获取待处理图像,并将所述待处理图像输入至所述图像处理模型)的介绍,下面对所述步骤A100的后续步骤说明。
A200、通过所述图像处理模型对所述待处理图像进行偏色处理,以得到所述待处理图像对应的处理后的图像。
具体地,所述通过所述图像处理模型对所述待处理图像进行去偏色指的是将所述待处理图像作为所述图像处理模型的输入项输入至所述图像处理模型中,通过所述图像处理模型去除所述待处理图像的偏色,即去除所述待处理图像的第一目标像素点,以得到处理后的图像,其中,所述处理后的图像为所述待处理图像对应的通过所述处理模型对待处理图像进行偏色处理后的图像,即,待处理图像为对应处理后的图像的偏色图像。例如,如图12所示的待处理图像通过所述图像处理图像后得到如图13所示的处理后的图像。
进一步,由所述图像处理模型的训练过程可以知道,所述图像处理模型包括下采样模块以及变换模块,从而在通过图像处理模型对应待处理图像进行处理时,需要依次通过下采样模块以及变换模块进行处理。相应的,所述图像处理模型包括;所述通过所述图像处理模型对所述待处理图像进行偏色处理,以得到所述待处理图像对应的处理后的图像具体包括:
A201、将所述待处理图像输入所述下采样模块,通过所述下采样模块得到所述待处理图像对应的双边网格以及所述待处理图像对应的指导图像,其中,所述指导图像的分辨率与所述待处理图像的分辨率相同;
A202、将所述指导图像、所述双边网格以及所述待处理图像输入所述变换模块,通过变换模块生成所述第一图像对应的处理后的图像。
具体地,所述下采样模块的输入项为待处理图像,输出项为待处理图像对应的双边网格以及指导图像,所述变换模块的输入项为指导图像、双边网格以及待处理图像,输出项为处理后的图像。其中,所述下采样模块的结构与预设网络模型中的下采样模块的结构相同,具体可以参照预设网络模型中的下采样模块的结构的说明。所述图像处理模型的下采样模块的对待处理图像的处理与预设网络模型中的下采样模块对第一图像的处理过程相同,从而所述步骤A201的具体执行过程可以参照步骤S11。同样的,所述变换模块的结构与预设网络模型中的变换模块的结构相同,具体可以参照预设网络模型中的变换模块的结构的说明。所述图像处理模型的变换模块的对待处理图像的处理与预设网络模型中的变换模块对第一图像的处理过程相同,从而所述步骤A202的具体执行过程可以参照步骤S12。
进一步,在本实施例的一个实现方式中,所述下采样模块包括下采样单元以及卷积单元。相应的,所述将所述待处理图像输入所述下采样模块,通过所述下采样模块得到所述待处理图像对应的双边网格以及所述待处理图像对应的指导图像具体包括:
A2011、将所述待处理图像分别输入所述下采样单元以及所述卷积单元;
A2012、通过所述下采样单元得到所述待处理图像对应的双边网格,并通过所述卷积单元得到所述待处理图像对应的指导图像。
具体地,所述下采样单元的输入项为待处理图像,输出项为双边网格,所述卷积单元的输入项为待处理图像,输出项为指导图像。其中,其中,所述下采样单元的结构与预设网络模型中的下采样单元的结构相同,具体可以参照预设网络模型中的下采样单元的结构的说明。所述图像处理模型的下采样单元的对待处理图像的处理与预设网络模型中的下采样单元对第一图像的处理过程相同,从而所述步骤A2011的具体执行过程可以参照步骤S111。同样的,所述卷积单元的结构与预设网络模型中的卷积单元的结构相同,具体可以参照预设网络模型中的卷积单元的结构的说明。所述图像处理模型的卷积单元的对待处理图像的处理与预设网络模型中的卷积单元对第一图像的处理过程相同,从而所述步骤A2012的具体执行过程可以参照步骤S112。
进一步,在本实施例的一个实现方式中,所述变换模块包括切分单元以及变换单元。相应的,所述将所述指导图像、所述双边网格以及所述待处理图像输入所述变换模块,通过变换模块生成所述待处理图像对应的处理后的图像具体包括:
A2021、将所述指导图像输入所述切分单元,通过所述切分单元对所述双边网格进行切分,以得到所述待处理图像中各像素点的颜色变换矩阵;
A2022、将所述待处理图像以及所述待处理图像中各像素点的颜色变换矩阵输入所述变换单元,通过所述变换单元生成所述待处理图像对应的处理后的图像。
具体地,所述切分单元的输入项为指导图像和双边网格,输出项为待处理图像中各像素点的颜色变换矩阵,所述变换单元的输入项为待处理图像和待处理图像中各像素点的颜色变换矩阵,输出项为处理后的图像。其中,其中,所述切分单元的结构与预设网络模型中的切分单元的结构相同,具体可以参照预设网络模型中的切分单元的结构的说明。所述图像处理模型的切分单元对待处理图像对应的双边网格以及指导图像的处理,与预设网络模型中的下采样单元对第一图像对应的双边网格以及指导图像的处理过程相同,从而所述步骤A2021的具体执行过程可以参照步骤S121。同样的,所述变换单元的结构与预设网络模型中的变换单元的结构相同,具体可以参照预设网络模型中的变换单元的结构的说明。所述图像处理模型的变换单元基于待处理图像中各像素点的颜色变换矩阵对待处理图像的处理与预设网络模型中的变换单元基于第一图像中各像素点的颜色变换矩阵对第一图像的处理过程相同,从而所述步骤A2022的具体执行过程可以参照步骤S122。
可以理解的是,图像处理模型在训练过程中对应的网络结构,与在应用过程(对待处理图像进行去偏色处理)中所对应的网络结构相同。例如,在训练的过程中,图像处理模型包括下采样模块和变换模块,那么相应地,在通过图像处理模型对待处理图像进行去偏色处理时,图像处理模型也包括下采样模块和变换模块。
例如,在训练过程中,图像处理模型的下采样模块包括下采样单元以及卷积单元,变换模块包括切分单元和变换单元;相应地,在通过图像处理模型对待处理图像进行去偏色处理时,下采样模块也可以包括下采样单元以及卷积单元,变换模块包括切分单元和变换单元;并且在应用过程中,每一层的工作原理与在训练过程中每一层的工作原理相同,因此,图像处理模型应用过程中的每一层神经网络的输入输出情况可以参见图像处理模型的训练过程中的相关介绍,这里不再赘述。
与现有技术相比,本发明提供了一种图像处理模型的生成方法、处理方法。所述生成方法包括:所述方法通过将预设的训练图像集中第一图像输入预设网络模型,通过所述预设网络模型生成的生成图像以及第一图像对应的第二图像对预设模型进行序列,得到图像处理模型。所述图像处理模型为通过对具有多组训练图像组的训练图像集的去偏色过程进行深度学习得到,每一组训练图像组包括第一图像和第二图像,第一图像为对应第二图像的偏色图像。由此可知,本发明是采用基于训练图像集进行深度学习得到已训练的图像处理模型进行偏色处理,这样可以快速对图像进行偏色调整,即纠正偏色,提高图像的色彩质量,从而提高图像质量。
进一步,为了进一步提高图像处理模型的图像质量,在获取到图像处理模型输出的处理后的图像后,还可以对所述处理后的图像进行后处理,其中,所述后处理可以包括锐化处理以及降噪处理等。相应的,所述通过所述图像处理模型对所述待处理图像进行偏色处理,以得到所述待处理图像对应的处理后的图像之后还包括:
对所述处理后的图像进行锐化以及降噪处理,并将锐化以及降噪处理后的图像作为所述待处理图像对应的处理后的图像。
具体地,所述锐化处理指的是补偿处理后的图像的轮廓、增强处理后的图像的边缘及灰度跳变的部分,以提高处理后图像的图像质量。其中,所述锐化处理可以采用现有的锐化处理方法,例如,高通滤波方法等。所述降噪处理指的是去除图像中的噪音,提高图像的信噪比。其中,所述降噪处理可以采用现有的降噪算法或已训练的降噪网络模型等,例如,所述降噪处理采用高斯低通滤波方法等。
基于上述图像处理模型的生成方法以及图像处理方法,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述实施例所述的图像处理模型的生成方法中的步骤,或者图像处理方法中的步骤。
基于上述图像处理模型的生成方法以及图像处理方法,本发明还提供了一种移动终端,如图15所示,其包括至少一个处理器(processor)20;显示面板21;以及存储器(memory)22,还可以包括通信接口(Communications Interface)23和总线24。其中,处理器20、显示面板21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示面板21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令,以执行上述实施例中的方法。
此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
此外,上述存储介质以及移动终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (25)
1.一种图像处理模型的生成方法,其特征在于,所述图像处理模型的生成方法具体包括:
预设网络模型根据训练图像集中的第一图像,生成所述第一图像对应的生成图像,其中,所述训练图像集包括多组训练图像组,每一组训练图像组包括第一图像和第二图像,其中,第一图像为对应第二图像的偏色图像;
所述预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像,对模型参数进行修正,并继续执行根据所述训练图像集中的下一训练图像组中的第一图像,生成所述第一图像对应的生成图像的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述图像处理模型。
2.根据权利要求1所述图像处理模型的生成方法,其特征在于,所述第一图像中满足预设偏色条件的第一目标像素点的数量满足预设数量条件;所述预设偏色条件为第一图像中第一目标像素点的显示参数与第二图像中第二目标像素点的显示参数之间的误差满足预设误差条件,其中,所述第一目标像素点与所述第二目标像素点之间具有一一对应关系。
3.根据权利要求2所述图像处理模型的生成方法,其特征在于,所述第一目标像素点为所述第一图像中任意一个像素点或者所述第一图像的目标区域中任意一个像素点。
4.根据权利要求1所述图像处理模型的生成方法,其特征在于,所述训练图像集包括若干训练子图像集,每个训练子图像集包括若干组训练样本图像组,若干训组训练图像组中的任意两组训练样本图像组中的第一图像的曝光度相同,若干组训练图像组中的每组训练样本图像组中的第二图像的曝光度均处于预设范围内,任意两个训练子图像集中的第一图像的曝光度不相同。
5.根据权利要求4所述图像处理模型的生成方法,其特征在于,所述图像处理模型对应若干模型参数,每个模型参数均为根据所述训练图像集中的一个训练子图像集训练得到的,并且任意两个模型参数各自分别对应的训练子图像集互不相同。
6.根据权利要求1所述的图像处理模型的生成方法,其特征在于,所述预设网络模型包括下采样模块以及变换模块;所述预设网络模型根据训练图像集中第一图像,生成所述第一图像对应的生成图像具体包括:
将所述训练图像集中的第一图像输入所述下采样模块,通过所述下采样模块得到所述第一图像对应的双边网格以及所述第一图像对应的指导图像,其中,所述指导图像的分辨率与所述第一图像的分辨率相同;
将所述指导图像、所述双边网格以及所述第一图像输入所述变换模块,通过变换模块生成所述第一图像对应的生成图像。
7.根据权利要求6所述的图像处理模型的生成方法,其特征在于,所述下采样模块包括下采样单元和卷积单元;所述将所述训练图像集中第一图像输入所述下采样模块,通过所述下采样模块得到所述第一图像对应的双边网格参数以及所述第一图像对应的指导图像具体包括:
将所述训练图像集中第一图像分别输入所述下采样单元以及所述卷积单元;
通过所述下采样单元得到所述第一图像对应的双边网格,并通过所述卷积单元得到所述第一图像对应的指导图像。
8.根据权利要求6所述的图像处理模型的生成方法,其特征在于,所述变换模块包括切分单元以及变换单元,所述将所述指导图像、所述双边网格以及所述第一图像输入所述变换模块,通过变换模块生成所述第一图像对应的生成图像具体包括:
将所述指导图像输入所述切分单元,通过所述切分单元对所述双边网格进行切分,以得到所述第一图像中各像素点的颜色变换矩阵;
将所述第一图像以及所述第一图像中各像素点的颜色变换矩阵输入所述变换单元,通过所述变换单元生成所述第一图像对应的生成图像。
9.根据权利要求1所述的图像处理模型的生成方法,其特征在于,所述第一图像为通过屏下成像系统拍摄得到的图像。
10.根据权利要求9所述的图像处理模型的生成方法,其特征在于,所述屏下成像系统为屏下摄像头。
11.根据权利要求1-10任一所述的图像处理模型的生成方法,其特征在于,所述预设网络模型根据训练图像集中第一图像,生成所述第一图像对应的生成图像之前还包括:
针对所述训练图像集中每组训练图像组,将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理,得到与所述第二图像对齐的对齐图像,并将所述对齐图像作为第一图像。
12.根据权利要求11所述的图像处理模型的生成方法,其特征在于,所述将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理具体包括:
获取该组训练图像组中的第一图像与所述第一图像对应的第二图像之间的像素偏差量;
根据所述像素偏差量确定所述第一图像对应的对齐方式,并采用所述对齐方式将所述第一图像与第二图像进行对齐处理。
13.根据权利要求12所述的图像处理模型的生成方法,其特征在于,所述根据所述像素偏差量确定所述述第一图像对应的对齐方式,并采用所述对齐方式将所述第一图像与第二图像进行对齐处理具体包括:
当所述像素偏差量小于等于预设偏差量阈值时,根据所述第一图像与所述第二图像的互信息,以所述第二图像为基准对所述第一图像进行对齐处理;
当所述像素偏差量大于所述预设偏差量阈值时,提取所述第一图像的第一像素点集和所述第二图像的第二像素点集,所述第一像素点集包含所述第一图像中的若干第一像素点,所述第二像素点集包括所述第二图像中的若干个第二像素点,所述第二像素点集中的第二像素点与所述第一像素点集中的第一像素点一一对应;针对第一像素点集中每个第一像素点,计算该第一像素点与其对应的第二像素点的坐标差值,并根据该第一像素点对应的坐标差值对该第一像素点进行位置变换,以将该第一像素点与该第一像素点对应的第二像素点对齐。
14.一种图像处理方法,其特征在于,应用如权利要求1-12任一所述的图像处理模型的生成方法生成的图像处理模型,所述图像处理方法包括:
获取待处理图像,并将所述待处理图像输入至所述图像处理模型;
通过所述图像处理模型对所述待处理图像进行偏色处理,以得到所述待处理图像对应的处理后的图像。
15.根据权利要求14所述图像处理方法,其特征在于,所述图像处理模型对应若干模型参数,每个模型参数均为根据一个训练子图像集训练得到的,并且任意两个模型参数各自分别对应的训练子图像集互不相同。
16.根据权利要求15所述图像处理方法,其特征在于,所述获取待处理图像,并将所述待处理图像输入至所述图像处理模型具体包括:
获取待处理图像,并提取所述待处理图像的曝光度;
根据所述曝光度确定所述待处理图像对应的模型参数,并采用所述模型参数更新所述图像处理模型的模型参数;
将所述待处理图像输入至更新后的图像处理模型。
17.根据权利要求16所述图像处理方法,其特征在于,所述提取所述待处理图像的曝光度具体包括:
根据所述待处理图像中各像素点的R值、G值以及B值确定满足预设条件的第三像素点,其中,所述预设条件为R值、G值以及B值中至少一个值大于预设阈值;
根据满足预设条件的所有第三像素点确定所述待处理图像的高光区域,并根据所述高光区域确定所述待处理图像的曝光度。
18.根据权利要求17所述图像处理方法,其特征在于,所述根据满足预设条件的所有第三像素点确定所述待处理图像的高光区域具体包括:
获取所述满足预设条件的所有第三像素点所形成的连通区域,并在获取到的所有连通区域进行选取满足预设规则的目标区域,其中,所述预设规则为目标区域中的第三像素点的R值、G值和B值中大于预设阈值的R值、G值和/或B值的类型相同;
计算筛选得到的各目标区域分别对应的面积,并选取面积最大的目标区域作为高光区域。
19.根据权利要求17所述图像处理方法,其特征在于,所述根据所述高光区域确定所述待处理图像的曝光度具体包括:
计算所述高光区域的第一面积以及待处理图像的第二面积;
根据所述第一面积和第二面积的比值确定所述待处理图像对应的曝光度。
20.根据权利要求14-19任一所述的图像处理方法,其特征在于,所述图像处理模型包括下采样模块以及变换模块;所述通过所述图像处理模型对所述待处理图像进行偏色处理,以得到所述待处理图像对应的处理后的图像具体包括:
将所述待处理图像输入所述下采样模块,通过所述下采样模块得到所述待处理图像对应的双边网格以及所述待处理图像对应的指导图像,其中,所述指导图像的分辨率与所述待处理图像的分辨率相同;
将所述指导图像、所述双边网格以及所述待处理图像输入所述变换模块,通过变换模块生成所述第一图像对应的处理后的图像。
21.根据权利要求20所述的图像处理模型的生成方法,其特征在于,所述下采样模块包括下采样单元和卷积单元;所述将所述待处理图像输入所述下采样模块,通过所述下采样模块得到所述待处理图像对应的双边网格以及所述待处理图像对应的指导图像具体包括:
将所述待处理图像分别输入所述下采样单元以及所述卷积单元;
通过所述下采样单元得到所述待处理图像对应的双边网格,并通过所述卷积单元得到所述待处理图像对应的指导图像。
22.根据权利要求21所述的图像处理模型的生成方法,其特征在于,所述变换模块包括切分单元以及变换单元,所述将所述指导图像、所述双边网格以及所述待处理图像输入所述变换模块,通过变换模块生成所述待处理图像对应的处理后的图像具体包括:
将所述指导图像输入所述切分单元,通过所述切分单元对所述双边网格进行切分,以得到所述待处理图像中各像素点的颜色变换矩阵;
将所述待处理图像以及所述待处理图像中各像素点的颜色变换矩阵输入所述变换单元,通过所述变换单元生成所述待处理图像对应的处理后的图像。
23.根据权利要求14-19任一所述的图像处理方法,其特征在于,所述通过所述图像处理模型对所述待处理图像进行偏色处理,以得到所述待处理图像对应的处理后的图像之后还包括:
对所述处理后的图像进行锐化以及降噪处理,并将锐化以及降噪处理后的图像作为所述待处理图像对应的处理后的图像。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1~13任意一项所述的图像处理模型的生成方法中的步骤,或者14~23任意一项所述的图像处理方法中的步骤。
25.一种终端,其特征在于,包括:处理器和存储器;所述存储器上存储有可被所述处理器执行的计算机可读程序;所述处理器执行所述计算机可读程序时实现如权利要求1~13任意一项所述的图像处理模型的生成方法中的步骤,或者14~23任意一项所述的图像处理方法中的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010163472.4A CN113379611B (zh) | 2020-03-10 | 2020-03-10 | 图像处理模型的生成方法、处理方法、存储介质及终端 |
PCT/CN2020/141932 WO2021179764A1 (zh) | 2020-03-10 | 2020-12-31 | 图像处理模型生成方法、处理方法、存储介质及终端 |
US17/865,340 US20220398698A1 (en) | 2020-03-10 | 2022-07-14 | Image processing model generation method, processing method, storage medium, and terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010163472.4A CN113379611B (zh) | 2020-03-10 | 2020-03-10 | 图像处理模型的生成方法、处理方法、存储介质及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113379611A true CN113379611A (zh) | 2021-09-10 |
CN113379611B CN113379611B (zh) | 2023-06-23 |
Family
ID=77569511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010163472.4A Active CN113379611B (zh) | 2020-03-10 | 2020-03-10 | 图像处理模型的生成方法、处理方法、存储介质及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113379611B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117692788A (zh) * | 2023-08-31 | 2024-03-12 | 上海荣耀智慧科技开发有限公司 | 一种图像处理方法及电子设备 |
CN118474552A (zh) * | 2023-12-29 | 2024-08-09 | 荣耀终端有限公司 | 模型训练方法、图像处理方法及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412547A (zh) * | 2016-08-29 | 2017-02-15 | 厦门美图之家科技有限公司 | 一种基于卷积神经网络的图像白平衡方法、装置和计算设备 |
CN109729332A (zh) * | 2018-12-12 | 2019-05-07 | 珠海亿智电子科技有限公司 | 一种自动白平衡矫正方法和系统 |
-
2020
- 2020-03-10 CN CN202010163472.4A patent/CN113379611B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412547A (zh) * | 2016-08-29 | 2017-02-15 | 厦门美图之家科技有限公司 | 一种基于卷积神经网络的图像白平衡方法、装置和计算设备 |
CN109729332A (zh) * | 2018-12-12 | 2019-05-07 | 珠海亿智电子科技有限公司 | 一种自动白平衡矫正方法和系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117692788A (zh) * | 2023-08-31 | 2024-03-12 | 上海荣耀智慧科技开发有限公司 | 一种图像处理方法及电子设备 |
CN117692788B (zh) * | 2023-08-31 | 2024-09-20 | 上海荣耀智慧科技开发有限公司 | 一种图像处理方法及电子设备 |
CN118474552A (zh) * | 2023-12-29 | 2024-08-09 | 荣耀终端有限公司 | 模型训练方法、图像处理方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113379611B (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10643306B2 (en) | Image signal processor for processing images | |
US20210360179A1 (en) | Machine learning based image adjustment | |
US11037278B2 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
US20220014684A1 (en) | Image display method and device | |
US12118754B2 (en) | Image signal processor for processing images | |
US11188777B2 (en) | Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system | |
US10708525B2 (en) | Systems and methods for processing low light images | |
CN102625043B (zh) | 图像处理设备、成像设备和图像处理方法 | |
US20220398698A1 (en) | Image processing model generation method, processing method, storage medium, and terminal | |
US20140176592A1 (en) | Configuring two-dimensional image processing based on light-field parameters | |
KR20150116833A (ko) | 에지-보존 잡음 억제 기능을 갖는 이미지 프로세서 | |
CN113379609B (zh) | 一种图像处理方法、存储介质及终端设备 | |
JP2007129535A (ja) | 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
CN113516596A (zh) | 图像处理方法、图像处理设备、图像处理系统和存储介质 | |
US11308592B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network | |
CN113379611A (zh) | 图像处理模型的生成方法、处理方法、存储介质及终端 | |
US20180260929A1 (en) | Digital camera methods and devices optimized for computer vision applications | |
JP2017103756A (ja) | 画像データ処理装置及び方法 | |
CN114679542B (zh) | 图像处理方法和电子装置 | |
US20220165052A1 (en) | Method and device for generating data and computer storage medium | |
CN113379608A (zh) | 一种图像处理方法、存储介质及终端设备 | |
RU2661537C2 (ru) | Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации | |
CN113379610A (zh) | 图像处理模型的训练方法、图像处理方法、介质及终端 | |
WO2024168589A1 (en) | Image sensor and image signal processor for capturing images in low light environments | |
US20240029321A1 (en) | Image processing method, image processing apparatus, storage medium, image processing system, method of generating machine learning model, and learning apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |