CN114066740A - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114066740A CN114066740A CN202010791287.XA CN202010791287A CN114066740A CN 114066740 A CN114066740 A CN 114066740A CN 202010791287 A CN202010791287 A CN 202010791287A CN 114066740 A CN114066740 A CN 114066740A
- Authority
- CN
- China
- Prior art keywords
- image
- diffraction
- initial image
- initial
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 70
- 238000003672 processing method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims description 27
- 238000013135 deep learning Methods 0.000 claims description 26
- 239000006185 dispersion Substances 0.000 claims description 24
- 238000003709 image segmentation Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 13
- 230000001960 triggered effect Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种图像处理方法、装置、存储介质及电子设备，以去除图像中由于光斑衍射现象形成的衍射条纹，避免光源附近的其他物体被衍射条纹遮挡，得到更符合实际场景的图像，提升用户的拍摄体验，衍射的产生包括但不限于屏下相机，普通相机等。该图像处理方法包括：获取待处理的初始图像，所述初始图像中显示有光源；确定所述初始图像中的衍射区域，所述衍射区域包括由所述光源的衍射现象而产生的衍射条纹；根据所述衍射区域边缘预设范围内的像素点，对所述初始图像进行图像修复操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹，得到目标图像。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及图像处理方法、装置、存储介质及电子设备。
背景技术
随着科学技术的不断发展，电子技术也得到了飞速发展，各种各样的电子设备已经成为人们娱乐生活中不可或缺的一部分，比如，手机、PAD(Personal DigitalAssistant，平板电脑)，等等，这些电子设备丰富了人们的生活，人们可以使用这些电子设备进行拍照或摄像。但是，相关技术中的电子设备在有光源的场景下拍摄的照片会产生光斑衍射现象，影响照片画质，严重降低了用户的拍照体验。
发明内容
为克服相关技术中存在的问题，本公开提供一种图像处理方法、装置、存储介质及电子设备，为电子设备增添了新功能。
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取待处理的初始图像，所述初始图像中显示有光源；
确定所述初始图像中的衍射区域，所述衍射区域包括由所述光源的衍射现象而产生的衍射条纹；
根据所述衍射区域边缘预设范围内的像素点，对所述初始图像进行图像修复操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹，得到目标图像。
可选地，所述确定所述初始图像中的衍射区域，包括：
确定用于标示所述初始图像中衍射区域的掩码图；
所述根据所述衍射区域边缘预设范围内的像素点，对所述初始图像进行图像修复操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹，得到目标图像，包括：
将所述掩码图和所述初始图像输入图像修复模型中，得到目标图像，所述图像修复模型用于根据所述初始图像中所述衍射区域边缘预设范围内的像素点，对所述衍射区域包括的像素点进行校正操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹。
可选地，所述确定所述初始图像中的衍射区域，包括：
通过深度学习网络确定所述初始图像中的衍射区域，所述深度学习网络是通过已标记出衍射区域的样本图像训练得到的。
可选地，所述确定所述初始图像中的衍射区域，包括：
在所述初始图像中识别高亮区域，所述高亮区域中像素点的亮度值大于或等于预设亮度值；
对所述高亮区域进行图像分割处理，得到所述初始图像中的衍射区域。
可选地，所述方法还包括：
在所述初始图像中识别色散区域，所述色散区域中像素点沿梯度方向的色相变化度大于或等于预设色相变化度且所述像素点的饱和度大于或等于预设饱和度；
所述对所述高亮区域进行图像分割处理，得到所述初始图像中的衍射区域，包括：
对所述高亮区域和所述色散区域组成的图像区域进行图像分割处理，得到所述初始图像中的衍射区域。
可选地，所述获取待处理的初始图像，包括：
获取电子设备取景框中显示的预览图像；
若在所述预览图像中检测到光源，则将所述预览图像作为待处理的初始图像。
可选地，所述方法还包括：
响应于用户触发的图像拍摄操作，将所述目标图像作为图像拍摄结果进行显示。
可选地，所述获取待处理的初始图像，包括：
响应于用户触发的用于控制电子设备拍摄图像的操作，获取所述电子设备拍摄的图像；
若在获取到的所述图像中检测到光源，则将获取到的所述图像作为待处理的初始图像；
所述方法还包括：
保存所述目标图像。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
获取模块，被配置为获取待处理的初始图像，所述初始图像中显示有光源；
确定模块，被配置为确定所述初始图像中的衍射区域，所述衍射区域包括由所述光源的衍射现象而产生的衍射条纹；
修复模块，被配置为根据所述衍射区域边缘预设范围内的像素点，对所述初始图像进行图像修复操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹，得到目标图像。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取待处理的初始图像，所述初始图像中显示有光源；
确定所述初始图像中所述光源对应的衍射条纹所组成的衍射区域；
根据所述衍射区域边缘预设范围内的像素点，对所述初始图像进行图像修复操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹，得到目标图像。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现第一方面中任一项图像处理方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
在获取待处理的初始图像之后，可以确定初始图像中的衍射区域，该衍射区域包括由光源的衍射现象而产生的衍射条纹，然后可以根据衍射区域边缘预设范围内的像素点，对初始图像进行图像修复操作，以去除初始图像中衍射区域包括的衍射条纹，得到目标图像，避免光源附近的其他物体被衍射条纹遮挡，得到更符合实际场景的图像，在提升图像成像效果的同时，提升用户的拍摄体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。
图2是根据一示例性实施例示出的图像中衍射条纹的示意图。
图3是根据一示例性实施例示出的一种图像处理方法中衍射区域和高亮区域的示意图。
图4是根据另一示例性实施例示出的一种图像处理方法的流程图。
图5是根据一示例性实施例示出的一种图像处理装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
正如背景技术所言，相关技术中的电子设备在有光源的场景下拍摄的照片会产生光斑衍射现象，影响照片画质，严重降低了用户的拍照体验。有鉴于此，本公开提供一种图像处理方法、装置、存储介质及电子设备，以去除图像中由于光斑衍射现象形成的衍射条纹，避免光源附近的其他物体被衍射条纹遮挡，得到更符合实际场景的图像，提升用户的拍摄体验。
首先说明，本公开实施例中的图像处理方法可以应用于具有拍摄功能或图像处理功能的电子设备，该电子设备比如可以是手机、PAD、数码相机等不同类型的电子设备，本公开实施例对此不作限定。其中，该电子设备为手机、PAD等设置有拍摄组件的智能设备时，该拍摄组件可以设置在电子设备的屏幕下方，即该电子设备可以包括屏下摄像头。另外，本公开实施例中的图像处理方法可以集成在电子设备自带的拍摄组件中，当电子设备通过该拍摄组件拍摄图像则可以针对拍摄的图像执行本公开实施例提供的图像处理方法。或者，本公开实施例中的图像处理方法还可以集成在应用程序中，当电子设备安装该应用程序后则可以在该应用程序中针对图像执行本公开实施例提供的图像处理方法。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，该图像处理方法用于电子设备中，包括以下步骤：
在步骤101中，获取待处理的初始图像，该初始图像中显示有光源。
在步骤102中，确定初始图像中的衍射区域，该衍射区域包括由光源的衍射现象而产生的衍射条纹。
在步骤103中，根据衍射区域边缘预设范围内的像素点，对初始图像进行图像修复操作，以去除初始图像中衍射区域包括的衍射条纹，得到目标图像。
通过上述方式，可以去除图像中由于光源的光斑衍射现象而产生的衍射条纹，避免光源附近的其他物体被衍射条纹遮挡，得到更符合实际场景的图像，在提升图像成像效果的同时，提升用户的拍摄体验。
为了使得本领域技术人员更加理解本公开实施例中的图像处理方法，下面对上述各步骤进行详细举例说明。
示例地，初始图像可以是拍摄过程中电子设备取景框中显示的预览图像，也可以是已经拍摄的存储在电子设备内部的图像，还可以是电子设备拍摄的视频所包含的某一帧图像，本公开实施例对此不作限定。也即是说，本公开实施例中的图像处理方法可以用于在图像拍摄过程中对取景框中显示的预览图像进行实时的图像处理，或者也可以用于对已拍摄的存储在电子设备内部的图像进行图像处理。
应当理解的是，本公开实施例中的图像处理方法可以用于去除图像中由于光源的光斑衍射现象而产生的衍射条纹，因此在获取到待处理的初始图像后，可以先检测该初始图像中是否存在光源。示例地，可以通过相关技术中的任一图像识别算法检测图像中是否存在光源，本公开实施例对此不作限定。另外应当理解的是，本公开实施例中的光源可以是电灯、车灯等在拍摄过程中可能产生光斑衍射现象的发光体，本公开实施例对此也不作限定。
若在初始图像中检测到光源，则说明该初始图像中可能存在由于光源的光斑衍射现象而产生的衍射条纹。例如，参照图2，衍射条纹通常出现在光源附近，可能遮挡该光源附近的其他物体，从而使得光源附近的其他物体无法较好的呈现在图像中。在本公开实施例中，为了去除图像中由于光源的光斑衍射现象而产生的衍射条纹，得到更好的成像效果，可以在初始图像中检测到光源时，执行后续的图像处理步骤。应当理解的是，若初始图像中不存在光源，则无需执行本公开实施例中的图像处理方法。
在确定初始图像中显示有光源后，可以先确定该初始图像中光源对应的衍射条纹所组成的衍射区域。例如，参照图3，对于光源L，对应的衍射条纹所组成的衍射区域可以是光源L附近的区域A和区域B。
在可能的方式中，可以通过深度学习网络确定初始图像中的衍射区域，该深度学习网络可以是通过已标记出衍射区域的样本图像训练得到的。应当理解的是，本公开实施例对于该深度学习网络的具体结构和形式不作限定，可以根据实际情况设定。
在可能的方式中，确定初始图像中的衍射区域，还可以是：在初始图像中识别高亮区域，该高亮区域中像素点的亮度值大于或等于预设亮度值，然后对高亮区域进行图像分割处理，得到初始图像中的衍射区域。其中，预设亮度值可以是根据实际情况确定的，本公开实施例对此不作限定。
在本公开实施例中，考虑到光源的光斑衍射现象产生的衍射条纹所组成的衍射区域主要位于光源附近，该衍射区域的亮度值通常大于图像中没有光源的其他区域，因此为了减少确定衍射区域的数据处理量，提高图像处理效率，可以先在初始图像中识别出高亮区域，然后针对高亮区域进行图像分割处理，得到衍射区域。例如，参照图3，可以先确定高亮区域L1，然后对该高亮区域进行图像分割处理，得到衍射区域A和衍射区域B。
示例地，可以通过第一深度学习网络在初始图像中识别高亮区域，然后通过第二深度学习网络对高亮区域进行图像分割处理，得到初始图像中的衍射区域。其中，第一深度学习网络可以是通过人工标示出高亮区域的样本图像进行训练得到的，第二深度学习网络可以是通过人工标示出衍射区域的样本图像进行训练得到的。对于第一深度学习网络和第二深度学习网络的具体形式和结构，本公开实施例对此不作限定。例如，第一深度学习网络可以是相关技术中用于目标检测的任意深度学习网络，第二深度学习网络可以是相关技术中用于语义分割的任意深度学习网络，等等。
通过上述方式，可以先在初始图像中确定高亮区域，然后针对高亮区域包括的像素点进行图像分割处理，得到初始图像中光源对应的衍射条纹所组成的衍射区域，而不是针对整个初始图像包括的所有像素点进行图像分割处理，可以减少数据处理量，提高图像处理效率。
在可能的方式中，还可以在初始图像中识别色散区域，该色散区域中像素点沿梯度方向的色相变化度大于或等于预设色相变化度且所述像素点的饱和度大于或等于预设饱和度。然后，可以对高亮区域和色散区域组成的图像区域进行图像分割处理，得到初始图像中的衍射区域。其中，预设色相变化度与预设饱和度可以是实际情况设定的，本公开实施例对此不作限定。
在实际应用中，由于光源的存在，还可能产生色散现象，影响光源附近其他物体的成像效果。因此，为了去除色散现象对图像成像效果的影响，本公开实施例还可以在初始图像中识别色散区域。
示例地，可以通过第一深度学习网络识别色散区域，即可以通过第一深度学习网络在初始图像中识别高亮区域和色散区域。然后，可以通过第二深度学习网络对高亮区域和色散区域组成的图像区域进行图像分割处理，得到初始图像中的衍射区域。在此种情况下，衍射区域中包括由于光源的光斑衍射现象产生的衍射条纹和由于光源的色散现象产生的多个单色光纹。另外应当理解的是，在此种情况下，第一深度学习网络可以通过人工标示有高亮区域和色散区域的样本图像训练得到。
通过上述方式，可以针对图像中的高亮区域和色散区域进行图像分割处理，更加准确的确定出用于图像分割处理的图像区域，在减少数据处理量的同时，可以较好的去除光源附近由于光斑衍射现象而产生的衍射条纹以及由于色散现象而产生的多个单色光纹，得到更好的成像效果。
在可能的方式中，确定初始图像中的衍射区域，可以是：确定用于标示初始图像中衍射区域的掩码图。相应地，可以将掩码图和初始图像输入图像修复模型中，得到目标图像，该图像修复模型用于根据初始图像中衍射区域边缘预设范围内的像素点，对衍射区域包括的像素点进行校正操作，以去除初始图像中该衍射区域包括的衍射条纹。
示例地，掩码图中像素点的像素值包括0和255，像素值为0表示黑色，像素值为255表示白色，因此通过掩码图可以较好的区分某一图像区域与其他图像区域。在本公开实施例中，通过图像分割处理可以得到用于标示初始图像中衍射区域的掩码图。该掩码图中像素值为0的图像区域可以表示衍射区域，像素值为255的图像区域可以表示除衍射区域外的其他图像区域。因此，通过图像分割处理得到掩码图可以较好的定位出初始图像中的衍射区域。
在得到用于标示初始图像中衍射区域的掩码图之后，可以将掩码图和初始图像输入图像修复模型中。示例地，图像修复模型可以是任意用于进行图像修复(ImageInpainting)操作的深度学习网络，比如生成对抗网络(GAN)、变分自编码器(VAE)等各类深度学习方法，本公开实施例对于图像修复模型的具体形式和结构不作限定。图像修复模型可以根据初始图像中衍射区域边缘预设范围内的像素点，对衍射区域包括的像素点进行校正操作，以去除初始图像中衍射区域包括的衍射条纹。
示例地，根据初始图像中衍射区域边缘预设范围内的像素点，对衍射区域包括的像素点进行校正操作，可以是：先在初始图像中去除该衍射区域，即先将初始图像中的该衍射区域转变为空白区域。然后可以根据该空白区域边缘预设范围内的其他像素点(即初始图像中衍射区域边缘预设范围内的像素点)，对该空白区域进行像素点填充，使得该空白区域显示出与附近其他图像区域一致的图像效果。
通过上述方式，可以去除初始图像中衍射区域包括的衍射条纹，还原出图像中被衍射条纹所遮挡的物体或图像背景，得到更加符合实际场景的图像结果，提升图像的成像效果，从而提升用户的拍摄体验。
上文已有说明，本公开实施例中的图像处理方法可以用于在图像拍摄过程中对取景框中显示的预览图像进行实时的图像处理，或者也可以用于对已拍摄的存储在电子设备内部的图像进行图像处理。下面对这两种可能的应用场景进行说明。
在一种可能的方式中，获取待处理的初始图像可以是：获取电子设备取景框中显示的预览图像，若在预览图像中检测到光源，则可以将该预览图像作为待处理的初始图像，执行本公开实施例提供的图像处理方式。
应当理解的是，本公开实施例中的图像处理方法用于去除图像中由于光源的光斑衍射现象而产生的衍射条纹，因此在获取到电子设备取景框中的预览图像后，可以先检测该预览图像中是否存在光源。若在预览图像中检测到光源，则说明该预览图像中可能存在由于光源的光斑衍射现象而产生的衍射条纹。因此，为了去除预览图像中由于光源的光斑衍射现象而产生的衍射条纹，得到更好的成像效果，可以将该预览图像作为待处理的初始图像执行后续图像处理步骤。应当理解的是，若预览图像中不存在光源，则无需执行本公开实施例中的图像处理方法。
在将预览图像作为待处理的初始图像执行本公开实施例中的图像处理方法之后，可以响应于用户触发的图像拍摄操作，将图像处理得到的目标图像作为图像拍摄结果进行显示。示例地，图像拍摄操作用于控制电子设备进行图像拍摄，可以是用户针对电子设备上设置的“图像拍摄”机械按钮的按压操作，或者可以是对于电子设备显示屏上“图像拍摄”虚拟按钮的触控操作，等等，本公开实施例对此不作限定。
当用户触发图像拍摄操作之后，电子设备可以控制拍摄组件将取景框中显示的预览图像作为图像拍摄结果进行显示。在本公开实施例中，可以对取景框中的预览图像进行实时的图像处理，因此在用户触发图像拍摄操作之后，则可以将图像处理后的目标图像(即去除了衍射条纹的图像)作为图像拍摄结果进行显示。
通过上述方式，可以在图像拍摄过程中对取景框中显示的预览图像进行实时的图像处理，以去除预览图像中由于光源的光斑衍射现象而产生的衍射条纹，避免光源附近的其他物体被衍射条纹遮挡，得到更符合实际拍摄场景的图像拍摄结果，提升用户的拍摄体验。
在一种可能的方式中，获取待处理的初始图像还可以是：响应于用户触发的用于控制电子设备拍摄图像的操作，获取电子设备拍摄的图像，若在获取到的图像中检测到光源，则将获取到的图像作为待处理的初始图像，执行后续的图像处理步骤，然后保存图像处理后的目标图像。
示例地，用于控制电子设备拍摄图像的操作可以是用户针对电子设备上设置的“图像拍摄”机械按钮的按压操作，或者可以是对于电子设备显示屏上“图像拍摄”虚拟按钮的触控操作，等等，本公开实施例对此不作限定。当用户触发用于控制电子设备拍摄图像的操作之后，电子设备可以响应于用户触发的该操作，获取电子设备拍摄的图像。在此种情况下，该图像可以是电子设备已拍摄的存储在电子设备内部的图像。相应地，获取电子设备拍摄的图像可以是从电子设备内部用于存储图像的存储器中进行获取。
在获取到电子设备拍摄的图像之后，可以先检测该图像中是否存在光源。若在该图像中检测到光源，则说明该图像中可能存在由于光源的光斑衍射现象而产生的衍射条纹。因此，为了去除该图像中由于光源的光斑衍射现象而产生的衍射条纹，可以将该图像作为待处理的初始图像执行后续图像处理步骤。应当理解的是，若该图像中不存在光源，则无需执行本公开实施例中的图像处理方法。
在对获取到的电子设备拍摄的图像执行本公开实施例中的图像处理方法之后，可以保存图像处理后的目标图像。示例地，可以在图像处理得到目标图像后，自动保存该目标图像，或者可以先向用户显示图像处理后的目标图像，然后响应于用户触发的图像保存操作，保存该目标图像，本公开实施例对此不作限定，可以根据实际情况进行设定。
通过上述方式，可以获取电子设备已拍摄的图像进行图像处理，以去除图像中由于光源的光斑衍射现象而产生的衍射条纹，避免光源附近的其他物体被衍射条纹遮挡，得到更符合实际拍摄场景的图像，提升用户的拍摄体验。
下面通过另一示例性实施例对本公开中的图像处理方法进行说明。参照图4，该图像处理方法应用于电子设备，包括：
步骤401，获取电子设备取景框中显示的预览图像；
步骤402，若在预览图像中检测到光源，则将预览图像作为待处理的初始图像。
步骤403，通过第一深度学习网络在初始图像中识别高亮区域和色散区域。其中，高亮区域中像素点的亮度值大于或等于预设亮度值，色散区域中像素点沿梯度方向的色相变化度大于或等于预设色相变化度且该像素点的饱和度大于或等于预设饱和度。
步骤404，通过第二深度学习网络对高亮区域和色散区域组成的图像区域进行图像分割处理，得到用于标示初始图像中衍射区域的掩码图。
步骤405，将掩码图和初始图像输入图像修复模型中，得到目标图像。其中，图像修复模型用于根据初始图像中衍射区域边缘预设范围内的像素点，对衍射区域包括的像素点进行校正操作，以去除初始图像中衍射区域包括的衍射条纹和单色光纹。
步骤406，响应于用户触发的图像拍摄操作，将目标图像作为图像拍摄结果进行显示。
上述各步骤的具体实施方式已在上文进行详细举例说明，这里不再赘述。另外应当理解的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受上文所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，上文所描述的实施例属于优选实施例，所涉及的步骤并不一定是本公开所必须的。
通过上述方式，可以去除图像中由于光源的光斑衍射现象而产生的衍射条纹以及由于光源的色散现象而产生的单色光纹，避免光源附近的其他物体被衍射条纹或单色光纹遮挡，得到更符合实际拍摄场景的图像拍摄结果，提升用户的拍摄体验。
基于同一发明构思，本公开实施例还提供一种图像处理装置，该图像处理装置可以通过软件、硬件或两者结合的方式成为电子设备的部分或全部。图5是根据一示例性实施例示出的一种图像处理装置的框图。参照图5，该图像处理装置500包括获取模块501、确定模块502和修复模块503。
该获取模块501被配置为获取待处理的初始图像，所述初始图像中显示有光源；
该确定模块502被配置为确定所述初始图像中的衍射区域，所述衍射区域包括由所述光源的衍射现象而产生的衍射条纹；
该修复模块503被配置为根据所述衍射区域边缘预设范围内的像素点，对所述初始图像进行图像修复操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹，得到目标图像。
可选地，所述所述确定模块502被配置为：
确定用于标示所述初始图像中衍射区域的掩码图；
所述修复模块503被配置为：
将所述掩码图和所述初始图像输入图像修复模型中，得到目标图像，所述图像修复模型用于根据所述初始图像中所述衍射区域边缘预设范围内的像素点，对所述衍射区域包括的像素点进行校正操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹。
可选地，所述确定模块502被配置为：
在所述初始图像中识别高亮区域，所述高亮区域中像素点的亮度值大于或等于预设亮度值；
对所述高亮区域进行图像分割处理，得到所述初始图像中所述光源对应的衍射条纹所组成的衍射区域。
可选地，所述确定模块502被配置为：
通过深度学习网络确定所述初始图像中的衍射区域，所述深度学习网络是通过已标记出衍射区域的样本图像训练得到的。
可选地，所述图像处理装置500还包括：
识别模块，被配置为在所述初始图像中识别色散区域，所述色散区域中像素点沿梯度方向的色相变化度大于或等于预设色相变化度且所述像素点的饱和度大于或等于预设饱和度；
所述确定模块502被配置为：
对所述高亮区域和所述色散区域组成的图像区域进行图像分割处理，得到所述初始图像中的衍射区域。
可选地，所述获取模块501被配置为：
获取电子设备取景框中显示的预览图像；
当在所述预览图像中检测到光源时，将所述预览图像作为待处理的初始图像。
可选地，所述图像处理装置500还包括：
显示模块，被配置为响应于用户触发的图像拍摄操作，将所述目标图像作为图像拍摄结果进行显示。
可选地，所述获取模块501被配置为：
响应于用户触发的用于控制电子设备拍摄图像的操作，获取所述电子设备拍摄的图像；
当在获取到的所述图像中检测到光源时，将获取到的所述图像作为待处理的初始图像；
所述图像处理装置500还包括：
保存模块，被配置为保存所述目标图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于同一发明构思，本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的任一图像处理方法的步骤。
基于同一发明构思，本公开还提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取待处理的初始图像，所述初始图像中显示有光源；
确定所述初始图像中所述光源对应的衍射条纹所组成的衍射区域；
根据所述衍射区域边缘预设范围内的像素点，对所述初始图像进行图像修复操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹，得到目标图像。应当理解的是，在可能的方式中，处理器还可以被配置为执行上述任一图像处理方法的步骤。
图6是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以是具有拍摄功能或图像处理功能的手机、计算机、平板设备等不同类型的电子设备。
参照图6，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述任一图像处理方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，图片等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述任一图像处理方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述任一图像处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述任一图像处理方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
获取待处理的初始图像，所述初始图像中显示有光源；
确定所述初始图像中的衍射区域，所述衍射区域包括由所述光源的衍射现象而产生的衍射条纹；
根据所述衍射区域边缘预设范围内的像素点，对所述初始图像进行图像修复操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹，得到目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述初始图像中的衍射区域，包括：
确定用于标示所述初始图像中衍射区域的掩码图；
所述根据所述衍射区域边缘预设范围内的像素点，对所述初始图像进行图像修复操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹，得到目标图像，包括：
将所述掩码图和所述初始图像输入图像修复模型中，得到目标图像，所述图像修复模型用于根据所述初始图像中所述衍射区域边缘预设范围内的像素点，对所述衍射区域包括的像素点进行校正操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹。
3.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述初始图像中的衍射区域，包括：
通过深度学习网络确定所述初始图像中的衍射区域，所述深度学习网络是通过已标记出衍射区域的样本图像训练得到的。
4.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述初始图像中的衍射区域，包括：
在所述初始图像中识别高亮区域，所述高亮区域中像素点的亮度值大于或等于预设亮度值；
对所述高亮区域进行图像分割处理，得到所述初始图像中的衍射区域。
5.根据权利要求4所述的图像处理方法，其特征在于，所述方法还包括：
在所述初始图像中识别色散区域，所述色散区域中像素点沿梯度方向的色相变化度大于或等于预设色相变化度且所述像素点的饱和度大于或等于预设饱和度；
所述对所述高亮区域进行图像分割处理，得到所述初始图像中的衍射区域，包括：
对所述高亮区域和所述色散区域组成的图像区域进行图像分割处理，得到所述初始图像中的衍射区域。
6.根据权利要求1-5任一所述的图像处理方法，其特征在于，所述获取待处理的初始图像，包括：
获取电子设备取景框中显示的预览图像；
若在所述预览图像中检测到光源，则将所述预览图像作为待处理的初始图像。
7.根据权利要求6所述的图像处理方法，其特征在于，所述方法还包括：
响应于用户触发的图像拍摄操作，将所述目标图像作为图像拍摄结果进行显示。
8.根据权利要求1-5任一所述的图像处理方法，其特征在于，所述获取待处理的初始图像，包括：
响应于用户触发的用于控制电子设备拍摄图像的操作，获取所述电子设备拍摄的图像；
若在获取到的所述图像中检测到光源，则将获取到的所述图像作为待处理的初始图像；
所述方法还包括：
保存所述目标图像。
9.一种图像处理装置，其特征在于，包括：
获取模块，被配置为获取待处理的初始图像，所述初始图像中显示有光源；
确定模块，被配置为确定所述初始图像中的衍射区域，所述衍射区域包括由所述光源的衍射现象而产生的衍射条纹；
修复模块，被配置为根据所述衍射区域边缘预设范围内的像素点，对所述初始图像进行图像修复操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹，得到目标图像。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取待处理的初始图像，所述初始图像中显示有光源；
确定所述初始图像中所述光源对应的衍射条纹所组成的衍射区域；
根据所述衍射区域边缘预设范围内的像素点，对所述初始图像进行图像修复操作，以去除所述初始图像中所述衍射区域包括的所述衍射条纹，得到目标图像。
11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010791287.XA CN114066740A (zh) | 2020-08-07 | 2020-08-07 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010791287.XA CN114066740A (zh) | 2020-08-07 | 2020-08-07 | 图像处理方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114066740A true CN114066740A (zh) | 2022-02-18 |
Family
ID=80232770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010791287.XA Pending CN114066740A (zh) | 2020-08-07 | 2020-08-07 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114066740A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392166A (zh) * | 2017-07-31 | 2017-11-24 | 北京小米移动软件有限公司 | 肤色检测方法、装置及计算机可读存储介质 |
| CN110475063A (zh) * | 2019-08-01 | 2019-11-19 | Oppo广东移动通信有限公司 | 图像采集方法和装置、及存储介质 |
| CN110489580A (zh) * | 2019-08-26 | 2019-11-22 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置、显示屏组件以及电子设备 |
-
2020
- 2020-08-07 CN CN202010791287.XA patent/CN114066740A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392166A (zh) * | 2017-07-31 | 2017-11-24 | 北京小米移动软件有限公司 | 肤色检测方法、装置及计算机可读存储介质 |
| CN110475063A (zh) * | 2019-08-01 | 2019-11-19 | Oppo广东移动通信有限公司 | 图像采集方法和装置、及存储介质 |
| CN110489580A (zh) * | 2019-08-26 | 2019-11-22 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置、显示屏组件以及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108182730B (zh) | 虚实对象合成方法及装置 | |
| CN108986199B (zh) | 虚拟模型处理方法、装置、电子设备及存储介质 | |
| US9674395B2 (en) | Methods and apparatuses for generating photograph | |
| CN106408603B (zh) | 拍摄方法及装置 | |
| CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| CN108154465B (zh) | 图像处理方法及装置 | |
| CN105095881B (zh) | 人脸识别方法、装置及终端 | |
| CN104918107B (zh) | 视频文件的标识处理方法及装置 | |
| CN106131441B (zh) | 拍照方法及装置、电子设备 | |
| CN108154466B (zh) | 图像处理方法及装置 | |
| CN107944367B (zh) | 人脸关键点检测方法及装置 | |
| CN105631803B (zh) | 滤镜处理的方法和装置 | |
| CN107015648B (zh) | 图片处理方法及装置 | |
| US11252341B2 (en) | Method and device for shooting image, and storage medium | |
| CN105528765A (zh) | 处理图像的方法及装置 | |
| CN112188091B (zh) | 人脸信息识别方法、装置、电子设备及存储介质 | |
| CN112927122A (zh) | 水印去除方法、装置及存储介质 | |
| CN111741187B (zh) | 图像处理方法、装置及存储介质 | |
| CN107507128B (zh) | 图像处理方法及设备 | |
| CN112200040A (zh) | 遮挡图像检测方法、装置及介质 | |
| CN106469446B (zh) | 深度图像的分割方法和分割装置 | |
| CN108010009B (zh) | 一种去除干扰图像的方法及装置 | |
| CN105976344A (zh) | 白板图像处理方法及装置 | |
| CN113315903B (zh) | 图像获取方法和装置、电子设备、存储介质 | |
| CN114066740A (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |