CN112508801A - 图像处理方法及计算设备 - Google Patents
图像处理方法及计算设备 Download PDFInfo
- Publication number
- CN112508801A CN112508801A CN202011133364.9A CN202011133364A CN112508801A CN 112508801 A CN112508801 A CN 112508801A CN 202011133364 A CN202011133364 A CN 202011133364A CN 112508801 A CN112508801 A CN 112508801A
- Authority
- CN
- China
- Prior art keywords
- image
- machine learning
- learning model
- component
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 150
- 238000010801 machine learning Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 51
- 239000002131 composite material Substances 0.000 claims abstract description 49
- 230000008569 process Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/08—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers from or to individual record carriers, e.g. punched card, memory card, integrated circuit [IC] card or smart card
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像处理方法及计算设备，所述图像处理方法包括获取针对被摄体的聚焦图像和散焦图像；将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数；通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件。采用本申请，不需要获取大量的训练图像并对训练图像执行标注即可确定其使用的全网络参数。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法及计算设备。
背景技术
在拍摄图像过程中，若电荷耦合元件(charge-coupled device，CCD)、互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)等感光元件像素的空间频率与被拍摄对象中周期性的图案(如格子、条纹等)的空间频率接近，就会产生摩尔纹，使得拍摄的图像中出现彩色的高频率条纹，影响图像的质量。
图2中示出了两种常见的摩尔纹，一种是在拍摄周期性的图案时产生的摩尔纹(如图2中的图案201)，另一种则是在拍摄屏幕时产生的摩尔纹(如图2中的图案202)。在相关技术中，通常利用人工标注的有摩尔纹的拍摄图像以及对应的无摩尔纹的拍摄图像作为训练图像对机器学习模型进行训练，调整该机器学习模型内的各个参数，生成训练完成的机器学习模型以用于去除图像中的摩尔纹。但这种方式需要大量的训练图像，而这些训练图像在实际拍摄中很难获得。因此，现有技术中需要一种图像处理方法，该方法所使用的图像处理机器学习模型不需要大量的训练图像执行训练即可确定其使用的模型参数。
发明内容
有鉴于此，提出了一种图像处理方法及其装置，所述方法所使用的图像处理机器学习模型组件不需要获取大量的训练图像并对训练图像执行标注即可确定其使用的模型参数。
第一方面，本申请的实施例提供了一种图像处理方法，所述方法获取针对被摄体的聚焦图像和散焦图像；将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数；通过利用所述合成图像与散焦图像之间的对应关系调整全网络参数，直至达到预设要求，生成全网络参数被调整完成的所述图像处理机器学习模型组件。
对于去除摩尔纹的机器学习模型组件而言，困难之处在于收集训练图像，这些训练图像需要针对同一被摄体的有摩尔纹的图像以及无摩尔纹的图像，在实际拍摄中，在容易拍摄出摩尔纹的自然场景下很难拍摄到无摩尔纹的图像。基于此，本申请的实施例提供的图像处理方法不需要获取大量的由摩尔纹的图像以及对应的无摩尔纹的图像，而是采用在拍摄中比较容易获取到的散焦图像以及利用图像处理机器学习模型组件获取的合成图像之间的对应关系来调整所述图像处理机器学习模型组件的全网络参数。
综上可述，根据本申请的实施例采用的图像处理方法可采用在自然场景下容易获取的聚焦图像与散焦图像，通过利用图像处理机器学习模型组件获取的合成图像对散焦图像的拟合过程中调整图像机器学习模型组件中的全网络参数，生成全网络参数已确定的图像处理机器学习模型组件，采用这种方式确定的图像处理机器学习模型组件可不需要获取大量的训练图像并对训练图像执行标注即可确定其使用的模型参数。
根据第一方面，在所述图像处理方法的第一种可能的实现方式中，所述图像处理机器学习模型组件包括用于执行去除摩尔纹处理的摩尔纹去除组件以及用于确定对图像执行模糊化处理的模糊核的模糊核确定组件，并且所述全网络参数包括所述摩尔纹去除组件以及所述模糊核确定组件中的全部参数。
所述图像处理机器学习模型组件为了能够利用聚焦图像生成去除摩尔纹且模糊化处理的合成图像，所述图像处理机器学习模型组件可包括两个组件，其中，所述摩尔纹去除组件用于对聚焦图像执行去除摩尔纹处理，而模糊核确定组件用于确定对已去除摩尔纹的聚焦图像的模糊核，以用于执行模糊化处理，借此执行与散焦类似的图像处理效果。
根据第一方面，在所述图像处理方法的第二种可能的实现方式中，将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像包括：将所述聚焦图像输入到摩尔纹去除组件中，获取到已被去除摩尔纹的中间图像；利用模糊核确定组件确定的模糊核对所述中间图像执行模糊化处理，获取所述合成图像。
也就是说，在所述图像处理机器学习模型组件已包括以上所述的摩尔纹去除组件以及模糊核确定组件的情况下，可先利用摩尔纹去除组件对所述聚焦图像去除摩尔纹，随后，可利用模糊核确定模块确定的模糊核执行模糊化处理，这样可使生成的合成图像与散焦图像类似。
根据第一方面，在所述图像处理方法的第三种可能的实现方式中，利用模糊核确定组件确定的模糊核对所述中间图像执行模糊化处理，获取所述合成图像，包括：将随机向量作为初始输入向量输入到模糊核确定组件，生成具有预定大小的卷积核；利用所述预定大小的卷积核对所述中间图像执行模糊化处理，获取所述合成图像。
也就是说，模糊核确定组件可利用随机向量确定预定大小的卷积核，利用该卷积核对中间图像执行模糊化处理，从而生成近似于散焦效果的合成图像。在后续处理中，可通过迭代处理对生成卷积核的各个节点进行调整，以生成与散焦图像更近似的合成图像。
根据第一方面，在所述图像处理方法的一种可能的实现方式中，利用所述合成图像与散焦图像之间的对应关系调整全网络参数，直至达到预设要求，包括：利用损失函数确定所述合成图像与所述散焦图像的损失值；利用所述损失值调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件，其中，所述合成图像包括全网络参数调整过程中由每次全网络参数调整后的图像处理机器学习模型组件输出的图像。
为了确定全网络参数，本申请的示例性实施例的图像处理方法可利用合成图像与散焦图像在各个像素点上的损失值，对全网络参数进行调整，在调整操作中，可利用每次全网络参数调整后的图像处理机器学习模型组件生成合成图像，然后将该合成图像与散焦图像按照以上方式进行调整，直至达到预设要求，调整完成，采用这种方式能够在不需要大量训练图像的情况下，确定所述图像处理机器学习模型组件中的各个参数。
根据第一方面，在所述图像处理方法的第四种可能的实现方式中，所述预设要求包括所述损失值满足预设阈值或者所述调整次数达到预设次数。
通过所述损失值满足预设阈值的方式能够通过使合成图像与散焦图像的拟合程度达到量化指标的情况下结束调整，使得调整的目的性明确，此外，通过所述损失值满足预设次数的情况下，可以由技术人员通过经验确定在调整达到预设次数后的调整的结果差异性比较小，基于此而设置的预定次数不仅节约调整成本而且与人工经验相结合，使得调整次数更加合理化。
根据第一方面，在所述图像处理方法的一种可能实现方式中，所述摩尔纹去除组件包括利用输入到输出均为相同格式的图像的卷积神经网络组件。
根据第一方面，在所述图像处理方法的一种可能实现方式中，所述卷积神经网络组件包括图像分割网络(U-Net)组件。
在实施中，本申请采用利用输入到输出均为相同格式的图像的卷积神经网络组件对聚焦图像执行处理，这样可配合后续对该卷积神经网络组件内的参数的调整操作，此外，在通过对各种卷积神经网络的实验后，确定采用图像分割网络组件作为摩尔纹去除组件的准确度高且效果好。
根据第一方面，在所述图像处理方法的一种可能实现方式中，所述模糊核确定组件包括具有预设层数的全连接神经网络组件。
根据第一方面，在所述图像处理方法的一种可能实现方式中，所述全连接神经网络组件包括三层节点构成的全连接神经网络组件。
在实施中，可采用预设层数的全连接神经网络组件确定模糊核，使得该模糊核能够使模糊化处理后的合成图像与散焦图像尽可能接近。此外，在通过对模糊核的各种实验后确定，三层节点构成的全连接神经网络组件的效果比较好。
根据第一方面，在所述图像处理方法的一种可能实现方式中，通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件之后，还包括：利用所述全网络参数被调整后的图像处理机器学习模型对所述聚焦图像执行处理，获取去除摩尔纹的无摩尔纹图像。
在利用以上各种实现方式获取到全网络参数被调整完成的图像处理机器学习模型组件之后，最终目的是为了利用该图像处理机器学习模型组件对拍摄的聚焦图像执行去摩尔纹处理，因此，可利用利用所述全网络参数被调整后的图像处理机器学习模型对所述聚焦图像执行处理，并获取到无摩尔纹的无摩尔纹图像。
第二方面，本申请提供一种图像处理方法，所述方法获取被摄体的聚焦图像和散焦图像；利用所述聚焦图像获取与所述散焦图像具有相同图像效果的合成图像，其中，所述合成图像相较于所述聚焦图像已被去除摩尔纹且模糊化处理；利用散焦图像与合成图像之间的差异信息，获取所述聚焦图像被去除摩尔纹的无摩尔纹图像。
由于散焦图像中不存在摩尔纹，因此，散焦图像可看成聚焦图像去除摩尔纹且模糊化处理的图像，基于此，本申请的示例性实施例的图像处理方法可利用聚焦图像生成与散焦图像具有相同图像效果的合成图像，并利用散焦图像与合成图像之间的差异信息，获取所述聚焦图像被去除摩尔纹的无摩尔纹图像，从而能够去除图像中的摩尔纹。
根据第一方面，在所述图像处理方法的第一种可能的实现方式中，利用聚焦图像获取与散焦图像具有相同图像效果的合成图像包括：将所述聚焦图像输入到图像处理机器学习模型组件中，获取所述合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数。
也就是说，为了得到更准确的合成图像，可采用图像处理机器学习模型组件生产合成图像。
根据第一方面，在所述图像处理方法的第二种可能的实现方式中，利用散焦图像与合成图像之间的差异信息，获取所述聚焦图像被去除摩尔纹的无摩尔纹图像包括：
利用散焦图像与合成图像之间的差异信息调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件；将所述聚焦图像输入到所述全网络参数被调整完成的所述图像处理机器学习模型组件，获取到所述无摩尔纹图像。
对于去除摩尔纹的机器学习模型组件而言，困难之处在于收集训练图像，这些训练图像需要针对同一被摄体的有摩尔纹的图像以及无摩尔纹的图像，在实际拍摄中，在容易拍摄出摩尔纹的自然场景下很难拍摄到无摩尔纹的图像。基于此，本申请的实施例提供的图像处理方法不需要获取大量的由摩尔纹的图像以及对应的无摩尔纹的图像，而是采用在拍摄中比较容易获取到的散焦图像以及利用图像处理机器学习模型组件获取的合成图像之间的对应关系来调整所述图像处理机器学习模型组件的全网络参数，随后可利用调整完成的所述图像处理机器学习模型组件，获取到所述无摩尔纹图像。
第三方面，本申请的实施例提供了一种计算设备，所述计算设备包括存储器，用于存储程序；处理器，用于执行所述存储器中存储的程序，当所述存储器中存储的程序被执行时，所述处理器用于执行第一方面或者第一方面的多种可能的实现方式中的一种或几种的图像处理方法，或者用于执行第二方面或者第二方面的多种可能的实现方式中的一种或几种的图像处理方法。
第四方面，本申请的实施例提供了一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码被执行时，所述所示设备执行第一方面或者第一方面的多种可能的实现方式中的一种或几种的图像处理方法，或者用于执行第二方面或者第二方面的多种可能的实现方式中的一种或几种的图像处理方法。
本申请的这些和其他方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出根据本申请的一个实施例的计算设备100的示意图；
图2示出两种常见的摩尔纹的示图；
图3示出应用根据本申请的一实施例的图像处理方法的场景图；
图4示出应用根据本申请的一实施例的图像处理方法的另一场景图；
图5示出根据本申请的一实施例的图像处理方法的步骤流程图；
图6示出根据本申请的一实施例的图像处理机器学习模型组件的构成示图；
图7示出根据本申请的另一实施例的图像处理方法的步骤流程图；
图8示出应用图5中的图像处理方法对聚焦图像执行去除摩尔纹的示图；
图9示出根据本申请的一实施例的图像处理装置的框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个程序122以及程序数据124。在一些实施方式中，程序122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。
计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备100可以实现为服务器，例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等，也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。
在实施中，为了能够去除图像中的摩尔纹，可预先设置与摩尔纹去除操作对应的摩尔纹去除事件以及触发操作，当用户执行触发操作时，可触发摩尔纹去除事件，随后，可按照本申请的示例性实施例的图像处理方法执行图像处理操作。应注意，图1中示出的计算设备100可指示执行本申请的各种实施例的图像处理方法的图像处理装置。
为了方便理解本申请的示例性实施例的图像处理方法，以下将结合图3和图4对该图像处理方法使用的场景进行描述，图3示出应用根据本申请的一实施例的图像处理方法的场景图；图4示出应用根据本申请的一实施例的图像处理方法的另一场景图。
如图3所示，用户在使用电子终端对被摄体执行拍摄，在本申请中，所述被摄体可包括图2中所拍摄的衣服或大楼，但不指示针对该被摄体执行拍摄后获取的图像必然是包括摩尔纹的图像，也可能所拍摄的图像中并不包括摩尔纹。
此外，电子终端可包括个人计算机(PC)、移动装置(诸如，蜂窝电话、个人数字助理(PDA)、数码相机、便携式游戏控制台、MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、平板PC、便携式膝上型PC和全球定位系统(GPS)导航仪)、智能TV等。
具体来说，电子终端可利用图像获取模块获取针对被摄体的图像，应注意，图像获取模块可以是电子终端内部的模块，例如，相机或摄像头，也可以是调用外部装置获取的图像，例如，电子终端可利用外部摄像机拍摄被摄体，并将拍摄的图像发送到电子终端。
电子终端可在拍摄过程中识别出拍摄的图像具有摩尔纹，在此情况下，可通过显示单元指示用户是否对该图像进行处理，如图3所示，拍摄页面上可显示“是否去除摩尔纹”的对话框，并在用户选择“是”后对该图像执行本申请提供的图像处理方法。
此外，也可如图4所示，用户在拍摄之前为了确保没有摩尔纹，可预先选择对拍摄的图像执行去除摩尔纹处理，在这种情况下，用户可在对被摄体执行拍摄后，将获取的图像执行根据本申请的示例性实施例的图像处理方法。
以下将结合图5具体描述根据本申请的一实施例的图像处理方法，应注意，所述图像处理方法可以是在电子终端内执行的方法，也可以是与电子终端执行通信传输的计算装置执行的方法。也就是说，在实施中，可由电子终端对被摄体执行拍摄操作获取到相应图像后，由电子终端对这些图像执行图5中示出的图像处理方法，也可以是由电子终端对被摄体执行拍摄操作获取到相应图像后，将相应图像传输到计算装置，由该计算装置对这些图像执行图5中示出的图像处理方法，其中，所述计算装置可以是实体装置也可以是虚拟装置(例如，云服务器)，可以是单个装置也可以是按照特定方式实现同一功能的多个装置(例如，分布式计算机群)，并不对其进行限制。
图5示出根据本申请的一实施例的图像处理方法的步骤流程图。
为了更好地描述，以下将简单解释在相机成像领域的一些术语，物距是指被摄体语到凸透镜的距离，像距是指成像平面到凸透镜的距离，焦距是指凸透镜中心到焦点的距离，焦点则是通过凸透镜的、平行主光轴的光线，在主光轴上的会聚点。在拍摄被摄体时，当物距在无穷远和两倍焦距之间时，像距在焦距和两倍焦距之间，被摄体可成倒立缩小的实像，也就是成像。
如果物体成像时是物点(被摄体上的一点)与成像点的映射，则所拍摄的图像为聚焦图像，聚焦图像是清晰且容易观看的，而如果物体成像时是物点与成像光斑的映射，则所拍摄的图像为散焦图像，散焦图像是模糊且难以观看的。结合摩尔纹产生的原因，在拍摄过程中，拍摄被摄体时，对于被摄体为周期性图案或者屏幕，生成聚焦图像时容易产生摩尔纹，而生成散焦图像时不会产生摩尔纹。因此，根据本申请的一实施例的图像处理方法可利用散焦图像的这一特性执行以下操作。
在步骤S510中，获取针对被摄体的聚焦图像和散焦图像。
在拍摄的过程中，通常会先获取到关于被摄体的散焦图像，随后，通过调节焦距使得相距等于焦距，获取到聚焦图像。应注意，在拍摄过程中，聚焦图像可以是以上提到的相距等于焦距的情况下获取的图像，但是散焦图像可以是在调节焦距期间获取的不同模糊程度的多帧图像。
随后，在步骤S520，将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数，所述全网络参数是指构成该模型组件的各个参数。
也就是说，对聚焦图像执行图像处理的图像处理机器学习模型组件是利用全网络参数构成的机器学习模型组件，该机器学习模型组件可对聚焦图像执行去摩尔纹处理以及模糊化处理。
为了更好地描述图像处理机器学习模型组件，以下将集合图6进行描述。
如图6所示，所述图像处理机器学习模型组件600可包括摩尔纹去除组件610以及模糊核确定组件620，其中，摩尔纹去除组件610用于对聚焦图像执行去除摩尔纹处理，而模糊核确定组件620用于确定执行模糊化处理的模糊核。
摩尔纹去除组件610包括利用输入到输出均为相同格式的图像的卷积神经网络组件，优选地，可采用图像分割网络(U-Net)组件。以下将以U-Net为例，对摩尔纹去除组件610进行描述。
在本申请中，摩尔纹去除组件610可采用解码器到解码器(encoder-decoder)结构，采用编码器来提取聚焦图像的图像特征，该图像特征可包括不同维度上的图像特征(多尺度图像特征)。由解码器根据获取的图像特征恢复到原聚焦图像尺寸的图像，在解码过程中，为了防止在反卷积数据恢复的时候，特征尺度会发生变化而导致信息丢失，可采用跳跃连接(skip connection)的方式。
作为示例，摩尔纹去除组件610可以是包括11个卷积层的Unet网络组件，在该网络组件中，以中间卷积层(第六层)，每两个卷积层存在一个跳跃连接，即，前卷积层所输出的特征图与后卷积层的输入并联后，输入到后卷积层中。
在实施中，将聚集图像作为输入图像输入到摩尔纹去除组件610后，可获取到与输入图像具有相同大小且通道相同的中间图像，该中间图像已被执行过摩尔纹去除处理。
根据本申请的示例性实施例，为了使合成图像具有与散焦图像类似的图像处理效果，需要对中间图像执行模糊化处理，而执行模糊化处理则需要借助于模糊核确定组件620所确定的模糊核，其中，模糊核是指可与清晰图像执行卷积获取得到模糊图像的卷积核。
根据本申请的示例性实施例，模糊核确定组件620可包括具有预设层数的全连接神经网络组件。全连接神经网络可包括输入层、隐藏层和输出层。在本申请中，全连接网络神经网络组件可包括三层，其中，第一层的节点数量为200，第二次的节点数量为1000，而第三次的节点数量可以与预先设置的模糊核的数量相同。
在实施中，模糊核确定组件620的输入向量可以是随机向量，然后，模糊核确定组件620对其执行处理，生成具有预定大小的卷积核作为模糊核。
如图6所示，在图像处理机器学习模型组件600已生成针对聚焦图像的中间图像以及针对聚焦图像的模糊核后，可利用模糊核对中间图像执行模糊化处理，获取所述合成图像。
随后执行步骤S530,通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件。
具体来说，可利用损失函数确定合成图像与散焦图像在各个像素点上的损失值。在实施中，可利用L2范数作为损失函数，其中，利用合成图像与散焦图像在某一通道上的像素值(例如，灰度值)计算损失值。
随后，基于梯度反向传播算法，利用所述损失值调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件，在此期间，所述合成图像包括全网络参数调整过程中由每次全网络参数调整后的图像处理机器学习模型组件输出的图像。
也就是说，在将聚焦图像执行以上步骤S520后，可获取到合成图像，在利用合成图像与散焦图像调整全网络参数后，利用全网络参数被调整后的图像处理机器学习模型组件对聚焦图像重复执行步骤S520，获取新的合成图像，利用该新的合成图像与散焦图像继续调整全网络参数，直至达到预设要求。换言之，在调整操作中，可利用每次全网络参数调整后的图像处理机器学习模型组件生成合成图像，然后将该合成图像与散焦图像按照以上方式进行调整，直至达到预设要求。
在实施中，针对全网络参数的调整，可将摩尔纹去除组件610以及模糊核确定组件620中的各个参数作为整体进行调整，还可按照不同顺序对这些参数进行调整，例如，可在初始阶段仅针对摩尔纹去除组件610和模糊核确定组件620之一的参数进行调整，在调整次数达到预定阈值或者误差值达到预设阈值后，对另一组件的参数进行调整，直至达到预设要求，又或者，可在初始阶段仅针对摩尔纹去除组件610和模糊核确定组件620之一的参数进行调整，在调整次数达到预定阈值或者误差值达到预设阈值后，对另一组件的参数进行调整，最后，将摩尔纹去除组件610以及模糊核确定组件620中的各个参数作为整体进行调整，直至达到预设要求。
这里所述的预设要求可以是损失值满足预设阈值或者所述调整次数达到预设次数。通过所述损失值满足预设阈值的方式能够通过使合成图像与散焦图像的拟合程度达到量化指标的情况下结束调整，使得调整的目的性明确，此外，通过所述损失值满足预设次数的情况下，可以由技术人员通过经验确定在调整达到预设次数后的调整的结果差异性比较小，基于此而设置的预定次数不仅节约调整成本而且与人工经验相结合，使得调整次数更加合理化。
此外，根据本申请的示例性实施例，由于针对被摄体的聚焦图像是单帧图像，而针对被摄体的散焦图像可以由于焦距的不同而对应很多帧图像。因此，可采用获取的散焦图像中的某一帧或者预定数量的散焦图像分别执行图5中示出的图像处理方法，获取与每个散焦图像对应的调整完成的全网络参数构成的图像处理机器学习模型组件。
为了便于描述，可将利用每个散焦图像确定的全网络参数的图像处理机器学习模型组件按照编号分别称作中间图像处理机器学习模型组件、第二图像处理机器学习模型组件、第二图像处理机器学习模型组件等。
在实施中，针对全网络参数中的各个参数，可选择构成这些图像处理机器学习模型组件的参数中的最大值作为最终参数，或者可对每个图像处理机器学习模型组件对应的参数分配不同的权值，确定最终参数。然后，利用最终参数，生成作为全网络参数被调整完成的图像处理机器学习模型组件。
综上可述，根据本申请的实施例采用的图像处理方法可采用在自然场景下容易获取的聚焦图像与散焦图像，通过利用图像处理机器学习模型组件获取的合成图像对散焦图像的拟合过程中调整图像机器学习模型组件中的全网络参数，生成全网络参数已确定的图像处理机器学习模型组件，采用这种方式确定的图像处理机器学习模型组件可不需要获取大量的训练图像并对训练图像执行标注即可确定其使用的模型参数。
在利用以上各种实现方式获取到全网络参数被调整完成的图像处理机器学习模型组件之后，最终目的是为了利用该图像处理机器学习模型组件对拍摄的聚焦图像执行去摩尔纹处理，因此，可利用利用所述全网络参数被调整后的图像处理机器学习模型对所述聚焦图像执行处理，并获取到无摩尔纹的无摩尔纹图像。
为了更好地描述本申请，将参照图7从另一角度对本申请的一实施例的图像处理方法进行描述。图7示出根据本申请的另一实施例的图像处理方法的步骤流程图。
由于散焦图像中不存在摩尔纹，因此，散焦图像可看成聚焦图像去除摩尔纹且模糊化处理的图像，基于此，在步骤S710，获取针对被摄体的聚焦图像和散焦图像。步骤S710与步骤S510的相同的，因此将不再赘述。
随后，在步骤S720，利用所述聚焦图像获取与所述散焦图像具有相同图像效果的合成图像，其中，所述合成图像相较于所述聚焦图像已被去除摩尔纹且模糊化处理。在实施中，可采用以上示出的图像处理机器学习模型组件，获取合成图像。该图像处理机器学习模型组件可以是全网络参数未被调整的组件。
在步骤S730，利用散焦图像与合成图像之间的差异信息，获取所述聚焦图像被去除摩尔纹的无摩尔纹图像。在实施中，利用散焦图像与合成图像的差异信息，可按照如图5示出的步骤对该图像处理机器学习模型组件调整全网络参数，直至对该图像处理机器学习模型组件的全网络参数调整完成。最后，将聚焦图像输入到所述全网络参数被调整完成的图像处理机器学习模型组件，获取到无摩尔纹图像。
为此，以下将参照图8对此进行详细描述，图8示出应用图5中的图像处理方法对聚焦图像执行去除摩尔纹的示图。
如图8所示，相机对西装拍摄时，可获取到关于该西装的散焦图像以及聚焦图像，随后，将该聚焦图像输入到图像处理机器学习模型组件，由该组件内的摩尔纹去除组件810执行处理，获取到已去除掉摩尔纹的中间图像，如图8所示，摩尔纹去除组件810是由11层卷积核构成的神经网络组件。
应注意，在初始阶段，摩尔纹去除组件810以及模糊核确定组件820中的各个参数均为初始化数值，该初始化数值可以是随机确定的数值也可以是由技术人员通过经验确定的数值，或者两种情况均有。
此外，可将随机向量作为输入向量输入到图像机器学习模型组件，由该组件内的模糊核确定组件820对其进行处理，获取模糊核，如图8所示，所述模糊核确定组件820可以是三层全连接神经网络，其中，第三层的节点数量可对应于预先设置的模糊核的大小，以保证输出的向量的大小。
随后，如图8所示，将模糊核作为卷积核与中间图像执行卷积处理，获取合成图像。随后，利用损失函数确定所述合成图像与所述散焦图像的损失值；
利用损失函数确定合成图像与散焦图像的损失值，并利用该损失值调整摩尔纹去除组件810以及模糊核确定模块820的各个参数，在参数调整后，利用调整后的参数构成新的图像处理机器学习模型组件，然后将聚焦图像和随机向量再次输入到新的图像处理机器学习模型组件，重复执行以上操作，直至迭代次数达到预设次数，比如，1000次。
最后，将聚焦图像和随机向量输入到调整完成的图像处理机器学习模型组件，从摩尔纹去除组件获取摩尔纹被去除的无摩尔纹图像。
图9示出本申请的一实施例的图像处理装置的框图。参考图9，在硬件层面，该装置包括处理器、内部总线和计算机可读存储介质，其中，所述计算机可读存储介质包括易失性存储器和非易失性存储器。处理器从非易失性存储器中读取对应的计算机程序然后运行。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
具体来说，所述处理器执行以下操作：获取针对被摄体的聚焦图像和散焦图像；将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数；通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件。
可选地，所述图像处理机器学习模型组件包括用于执行去除摩尔纹处理的摩尔纹去除组件以及用于确定对图像执行模糊化处理的模糊核的模糊核确定组件，并且所述全网络参数包括所述摩尔纹去除组件以及所述模糊核确定组件中的全部参数。
可选地，所述处理器执行操作将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像包括：将所述聚焦图像输入到摩尔纹去除组件中，获取到已被去除摩尔纹的中间图像；利用模糊核确定组件确定的模糊核对所述中间图像执行模糊化处理，获取所述合成图像。
可选地，所述处理器执行操作利用模糊核确定组件确定的模糊核对所述中间图像执行模糊化处理，获取所述合成图像，包括：将随机向量作为初始输入向量输入到模糊核确定组件，生成具有预定大小的卷积核；利用所述预定大小的卷积核对所述中间图像执行模糊化处理，获取所述合成图像。
可选地，所述处理器执行操作通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件，包括：利用损失函数确定所述合成图像与所述散焦图像的损失值；利用所述损失值调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件，其中，所述合成图像包括全网络参数调整过程中由每次全网络参数调整后的图像处理机器学习模型组件输出的图像。
可选地，所述预设要求包括所述损失值满足预设阈值或者所述调整次数达到预设次数。
可选地，所述摩尔纹去除组件包括利用输入到输出均为相同格式的图像的卷积神经网络组件。
可选地，所述模糊核确定组件包括具有预设层数的全连接神经网络组件。
可选地，所述处理器执行操作通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件之后，还包括：利用所述全网络参数被调整后的图像处理机器学习模型对所述聚焦图像执行处理，获取去除摩尔纹的无摩尔纹图像。
综上可述，采用本申请的示例性实施例的电子设备可采用在自然场景下容易获取的聚焦图像与散焦图像，通过利用图像处理机器学习模型组件获取的合成图像对散焦图像的拟合过程中调整图像机器学习模型组件中的全网络参数，生成全网络参数已确定的图像处理机器学习模型组件，采用这种方式确定的图像处理机器学习模型组件可不需要获取大量的训练图像并对训练图像执行标注即可确定其使用的模型参数。
此外，所述处理器还可执行以下操作：获取针对被摄体的聚焦图像和散焦图像；利用所述聚焦图像获取与所述散焦图像具有相同图像效果的合成图像，其中，所述合成图像相较于所述聚焦图像已被去除摩尔纹且模糊化处理；利用散焦图像与合成图像之间的差异信息，获取所述聚焦图像被去除摩尔纹的无摩尔纹图像。
可选地，所述处理器在执行操作利用聚焦图像获取与散焦图像具有相同图像效果的合成图像，包括：将所述聚焦图像输入到图像处理机器学习模型组件中，获取所述合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数。
可选地，所述处理器在执行操作利用散焦图像与合成图像之间的差异信息，获取所述聚焦图像被去除摩尔纹的无摩尔纹图像，包括：利用散焦图像与合成图像之间的差异信息调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件；将所述聚焦图像输入到所述全网络参数被调整完成的所述图像处理机器学习模型组件，获取到所述无摩尔纹图像。
综上可述，本申请的示例性实施例的图像处理方法可利用聚焦图像生成与散焦图像具有相同图像效果的合成图像，并利用散焦图像与合成图像之间的差异信息，获取所述聚焦图像被去除摩尔纹的无摩尔纹图像，从而能够去除图像中的摩尔纹。
本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Electrically Programmable Read-Only-Memory，EPROM或闪存)、静态随机存取存储器(Static Random-Access Memory，SRAM)、便携式压缩盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能盘(Digital Video Disc，DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(Local Area Network，LAN)或广域网(WideArea Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(Field-ProgrammableGate Array，FPGA)或可编程逻辑阵列(Programmable Logic Array，PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application SpecificIntegrated Circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其它变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
获取针对被摄体的聚焦图像和散焦图像；
将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数；
通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件。
2.如权利要求1所述的方法，其特征在于，所述图像处理机器学习模型组件包括用于执行去除摩尔纹处理的摩尔纹去除组件以及用于确定对图像执行模糊化处理的模糊核的模糊核确定组件，并且所述全网络参数包括所述摩尔纹去除组件以及所述模糊核确定组件中的全部参数。
3.如权利要求2所述的方法，其特征在于，将所述聚焦图像输入到图像处理机器学习模型组件中，获取相较于所述聚焦图像已被去除摩尔纹且模糊化处理的合成图像包括：
将所述聚焦图像输入到摩尔纹去除组件中，获取到已被去除摩尔纹的中间图像；
利用模糊核确定组件确定的模糊核对所述中间图像执行模糊化处理，获取所述合成图像。
4.如权利要求3所述的方法，其特征在于，利用模糊核确定组件确定的模糊核对所述中间图像执行模糊化处理，获取所述合成图像，包括：
将随机向量作为初始输入向量输入到模糊核确定组件，生成具有预定大小的卷积核作为模糊核；
利用所述预定大小的卷积核对所述中间图像执行模糊化处理，获取所述合成图像。
5.如权利要求2至4中的任一权利要求所述的方法，其特征在于，通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件，包括：
利用损失函数确定所述合成图像与所述散焦图像的损失值；
利用所述损失值调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件，其中，
所述合成图像包括全网络参数调整过程中由每次全网络参数调整后的图像处理机器学习模型组件输出的图像。
6.如权利要求5所述的方法，其特征在于，所述预设要求包括所述损失值满足预设阈值或者所述调整次数达到预设次数。
7.如权利要求2至6中任一权利要求所述的方法，其特征在于，所述摩尔纹去除组件包括利用输入到输出均为相同格式的图像的卷积神经网络组件。
8.如权利要求2至7中的任一要求所述的方法，其特征在于，所述模糊核确定组件包括具有预设层数的全连接神经网络组件。
9.如权利要求1至8中的任一权利要求所述的方法，其特征在于，通过利用所述合成图像与散焦图像之间的对应关系调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件之后，还包括：
利用所述全网络参数被调整后的图像处理机器学习模型对所述聚焦图像执行处理，获取去除摩尔纹的无摩尔纹图像。
10.一种图像处理方法，其特征在于，包括：
获取针对被摄体的聚焦图像和散焦图像；
利用所述聚焦图像获取与所述散焦图像具有相同图像效果的合成图像，其中，所述合成图像相较于所述聚焦图像已被去除摩尔纹且模糊化处理；
利用散焦图像与合成图像之间的差异信息，获取所述聚焦图像被去除摩尔纹的无摩尔纹图像。
11.如权利要求10所述的方法，其特征在于，利用聚焦图像获取与散焦图像具有相同图像效果的合成图像，包括：
将所述聚焦图像输入到图像处理机器学习模型组件中，获取所述合成图像，其中，所述图像处理机器学习模型组件设置有全网络参数。
12.如权利要求11所述的方法，其特征在于，利用散焦图像与合成图像之间的差异信息，获取所述聚焦图像被去除摩尔纹的无摩尔纹图像，包括：
利用散焦图像与合成图像之间的差异信息调整所述全网络参数，直至达到预设要求，生成所述全网络参数被调整完成的所述图像处理机器学习模型组件；
将所述聚焦图像输入到所述全网络参数被调整完成的所述图像处理机器学习模型组件，获取到所述无摩尔纹图像。
13.一种计算设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器中存储的程序，当所述存储器中存储的程序被执行时，所述处理器用于执行权利要求1至8中任一项所述的方法，或者实现权利要求10至12中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码被执行时，所述设备执行如权利要求1至8中任一项所述的方法，或者实现权利要求10至12中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011133364.9A CN112508801A (zh) | 2020-10-21 | 2020-10-21 | 图像处理方法及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011133364.9A CN112508801A (zh) | 2020-10-21 | 2020-10-21 | 图像处理方法及计算设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112508801A true CN112508801A (zh) | 2021-03-16 |
Family
ID=74954280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011133364.9A Pending CN112508801A (zh) | 2020-10-21 | 2020-10-21 | 图像处理方法及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508801A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222815A (zh) * | 2021-04-26 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 图像调节方法、装置、电子设备以及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10276350A (ja) * | 1997-03-28 | 1998-10-13 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| JP2001045506A (ja) * | 1999-08-02 | 2001-02-16 | Fuji Photo Film Co Ltd | 撮像装置及び画像信号生成方法 |
| US20040114198A1 (en) * | 2002-12-16 | 2004-06-17 | Samsung Electronics Co., Ltd. | Image processing system and method |
| CN111476737A (zh) * | 2020-04-15 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、智能设备及计算机可读存储介质 |
-
2020
- 2020-10-21 CN CN202011133364.9A patent/CN112508801A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10276350A (ja) * | 1997-03-28 | 1998-10-13 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| JP2001045506A (ja) * | 1999-08-02 | 2001-02-16 | Fuji Photo Film Co Ltd | 撮像装置及び画像信号生成方法 |
| US20040114198A1 (en) * | 2002-12-16 | 2004-06-17 | Samsung Electronics Co., Ltd. | Image processing system and method |
| CN111476737A (zh) * | 2020-04-15 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、智能设备及计算机可读存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| LIN LIU 等: ""Wavelet-Based Dual-Branch Network for Image Demoireing"", 《ARXIV》 * |
| 淡春雷: ""面向图像信号处理器的内容增强方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 钱时锦: ""基于单目视觉的深度测量与三维形貌重建"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 陈申渭 等: ""摄屏类图像重构算法"", 《计算机系统应用》, vol. 28, no. 5 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222815A (zh) * | 2021-04-26 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 图像调节方法、装置、电子设备以及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110008817B (zh) | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111353948B (zh) | 一种图像降噪方法、装置及设备 | |
| KR20210018850A (ko) | 비디오 수복 방법 및 장치, 전자 기기 및 기억 매체 | |
| US20160142615A1 (en) | Robust layered light-field rendering | |
| CN108234858B (zh) | 图像虚化处理方法、装置、存储介质及电子设备 | |
| US11508038B2 (en) | Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system | |
| JP2016533686A (ja) | 全焦点画像を生成するための方法および装置 | |
| KR20130013288A (ko) | 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법 | |
| KR20180019709A (ko) | 왜곡 보정 방법 및 단말기 | |
| CN112272832A (zh) | 用于基于dnn的成像的方法和系统 | |
| CN111144491B (zh) | 图像处理方法、装置及电子系统 | |
| US20170351932A1 (en) | Method, apparatus and computer program product for blur estimation | |
| Zhao et al. | D2hnet: Joint denoising and deblurring with hierarchical network for robust night image restoration | |
| CN109840890B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN110838088B (zh) | 一种基于深度学习的多帧降噪方法、装置及终端设备 | |
| CN114331902A (zh) | 一种降噪方法、装置、电子设备及介质 | |
| CN112508801A (zh) | 图像处理方法及计算设备 | |
| CN109816620B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111861940A (zh) | 一种基于条件连续调节的图像调色增强方法 | |
| US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
| CN114418897B (zh) | 眼部光斑图像的修复方法、装置、终端设备及存储介质 | |
| CN111784726A (zh) | 人像抠图方法和装置 | |
| CN114255177B (zh) | 成像中的曝光控制方法、装置、设备及存储介质 | |
| CN112561822B (zh) | 美颜方法、装置、电子设备及存储介质 | |
| CN111724300B (zh) | 单张图片背景虚化方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |