CN114626995A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

一种图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114626995A
CN114626995A CN202011474431.3A CN202011474431A CN114626995A CN 114626995 A CN114626995 A CN 114626995A CN 202011474431 A CN202011474431 A CN 202011474431A CN 114626995 A CN114626995 A CN 114626995A
Authority
CN
China
Prior art keywords
image
glare
point spread
highlight object
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011474431.3A
Other languages
English (en)
Inventor
张华�
王津男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011474431.3A priority Critical patent/CN114626995A/zh
Priority to PCT/CN2021/137491 priority patent/WO2022127738A1/zh
Publication of CN114626995A publication Critical patent/CN114626995A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请涉及一种图像处理方法、装置、电子设备及存储介质，其中，该方法包括：获取待处理图像；待处理图像为屏下成像系统所采集的图像，屏下成像系统包括显示屏及设置在显示屏下方的摄像头；待处理图像包括：高亮物体及其产生的眩光，其中，高亮物体为待处理图像中呈现指定颜色或亮度的拍摄对象；根据高亮物体的光谱成分，生成第一点扩散函数；第一点扩散函数为屏下成像系统中至少一个通道的点扩散函数；对第一点扩散函数及待处理图像进行解卷积处理，得到去除眩光后的图像。本申请中，可以有效改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光，提高了图像的清晰度，提升了用户体验。

Description

一种图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
现有的手机采用升降前置镜头构成的全面屏手机，以及滑盖式的全面屏手机。这些设计使得手机在视觉体验上接近了100％全面屏，但是其复杂的机械结构会使得手机厚度、重量增加，占用太多内部空间，同时机械机构的重复使用次数也难以满足手机用户需求。
基于利用有机发光二极管(Organic Light Emitting Diode，OLED)的显示屏设计，手机可以提高显示屏的屏占比。在显示屏下可以设置摄像头，但是由于显示屏的遮挡，设置于显示屏下的摄像头所拍摄的图像存在眩光，尤其是拍摄高亮物体时，眩光严重，大大降低了摄像头的成像效果，影响用户体验。
发明内容
有鉴于此，提出了一种图像处理方法、装置、电子设备及存储介质。
第一方面，本申请的实施例提供了一种图像处理方法，所述方法包括：获取待处理图像；所述待处理图像为屏下成像系统所采集的图像，所述屏下成像系统包括显示屏及设置在所述显示屏下方的摄像头；所述待处理图像包括：高亮物体及其产生的眩光，其中，所述高亮物体为所述待处理图像中呈现指定颜色和/或亮度的拍摄对象；根据所述高亮物体的光谱成分，生成第一点扩散函数；所述第一点扩散函数为所述屏下成像系统中至少一个通道的点扩散函数；对所述第一点扩散函数及所述待处理图像进行解卷积处理，得到去除所述眩光后的图像。
基于上述技术方案，针对屏下成像系统所采集的待处理图像，该待处理图像包括：高亮物体及其产生的眩光，根据待处理图像中高亮物体的光谱成分，生成与不同高亮物体相适应的屏下成像系统中至少一个通道的点扩散函数，进而对第一点扩散函数及待处理图像进行解卷积处理，得到去除高亮物体所产生的眩光后的图像；从而可以有效改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光，提高了图像的清晰度，提升了用户体验。
根据第一方面，在所述第一方面的第一种可能的实现方式中，所述根据所述高亮物体的光谱成分，生成第一点扩散函数，包括：根据所述高亮物体的光谱成分及所述显示屏的模型，生成第二点扩散函数；其中，所述第二点扩散函数为所述高亮物体的不同波长经过所述屏下成像系统后对应的点扩散函数；根据所述第二点扩散函数及所述摄像头的感光特性曲线，生成所述第一点扩散函数。
基于上述技术方案，可以根据显示屏的模型，结合高亮物体的光谱成分，生成高亮物体的不同波长经过屏下成像系统的点扩散函数，进而结合摄像头的感光特性曲线得到屏下成像系统的至少一个通道的点扩散函数。这样，利用高亮物体的光谱成分，通过物理建模的方式获得真实眩光所对应的点扩散函数，从而可以有效消除由于显示屏周期性结构的色散效应，从而对于显示屏周期性结构引起的眩光，尤其是彩虹眩光具有优异的抑制作用，提升屏下成像系统的成像质量。
根据第一方面，在所述第一方面的第二种可能的实现方式中，所述根据所述高亮物体的光谱成分，生成第一点扩散函数，包括：根据所述高亮物体的光谱成分及预设的第三点扩散函数，生成所述第一点扩散函数；其中，所述第三点扩散函数为不同波长经过所述屏下成像系统后对应的点扩散函数。
基于上述技术方案，通过预设的不同波长经过屏下成像系统后所对应的点扩散函数，结合上述高亮物体的光谱成分，可以快速生成屏下成像系统中至少一个通道的点扩散函数，显著提升了计算效率，进而提升了去眩光的处理速度，可以适用于视频拍摄等处理数据量大且对处理速度要求高的去眩光处理场景。
根据第一方面，在所述第一方面的第三种可能的实现方式中，所述方法还包括：获取光谱测量设备所采集的所述高亮物体的光谱成分。
基于上述技术方案，通过电子设备自带的光谱测量设备，可以在拍摄时实时获取高亮物体的光谱成分，无需依赖外部设备，提高了电子设备的功能完整性；或者，借助外部设备所采集的光谱成分，从而获取高亮物体的光谱成分，节约了电子设备的成本。
根据第一方面，在所述第一方面的第四种可能的实现方式中，所述方法还包括：对所述待处理图像进行图像识别，确定所述高亮物体的光源类型；根据预设的不同光源类型的光谱成分，确定所述高亮物体的光谱成分。
基于上述技术方案，通过预先存储不同光源类型对应的光谱成分，可以在拍摄时识别出拍摄对象中高亮物体的光源类型，从而确定高亮物体的光谱成分；这样，电子设备无需额外配置光谱测量设备，即可获取高亮物体的光谱成分，节约了电子设备的成本。
根据第一方面，在所述第一方面的第五种可能的实现方式中，所述方法还包括：将所述待处理图像分割为第一区域及第二区域；其中，所述第一区域为所述高亮物体及其产生的眩光所在的区域；所述第二区域为所述待处理图像中第一区域以外的区域；所述对所述第一点扩散函数及所述待处理图像进行解卷积处理，得到去除所述眩光后的图像，包括：通过对所述第一点扩散函数及所述第一区域，进行解卷积处理，得到去除所述眩光后的第一区域；将所述去除所述眩光后的第一区域与所述第二区域融合，得到所述去除所述眩光后的图像。
基于上述技术方案，将待处理图像分割为高亮物体及其产生的眩光所在的第一区域及不包含高亮物体及其产生的眩光的第二区域，进而针对高亮物体及其产生的眩光所在的第一区域执行进一步的去眩光处理，提高了处理效率，节约了处理资源；同时，可以减轻或消除在去眩光处理过程中对待处理图像中不包含高亮物体及其产生的眩光的第二区域的影响。
根据第一方面的第一种可能的实现方式，在所述第一方面的第六种可能的实现方式中，所述根据所述高亮物体的光谱成分及所述显示屏的模型，生成第二点扩散函数，包括：将所述显示屏的模型作为透过率函数，结合光波传播因子，并以所述高亮物体的光谱成分作为权重，得到所述第二点扩散函数；其中，所述显示屏的模型包括：所述显示屏的振幅调制函数和相位调制特性函数；所述光波传播因子根据所述摄像头拍摄所述待处理图像时的焦距及所述高亮物体的波长确定。
基于上述技术方案，从眩光产生的根本原因出发，即显示屏周期性的像素排布导致的衍射效应是对波长敏感的，将通过振幅调制函数和相位调制特性函数所构建的显示屏模型作为透过率函数，并根据摄像头拍摄待处理图像时的焦距及高亮物体的实际波长确定光波传播因子，同时以高亮物体的光谱成分作为权重，得到高亮物体的不同波长经过屏下成像系统后对应的点扩散函数，所得到的点扩散函数能够更加真实地表达高亮物体通过屏下成像产生眩光过程。
第二方面，本申请的实施例提供了一种图像处理装置，所述装置包括：获取模块，用于获取待处理图像；所述待处理图像为屏下成像系统所采集的图像，所述屏下成像系统包括显示屏及设置在所述显示屏下方的摄像头；所述待处理图像包括：高亮物体及其产生的眩光，其中，所述高亮物体为所述待处理图像中呈现指定颜色和/或亮度的拍摄对象；生成模块，用于根据所述高亮物体的光谱成分，生成第一点扩散函数；所述第一点扩散函数为所述屏下成像系统中至少一个通道的点扩散函数；处理模块，用于对所述第一点扩散函数及所述待处理图像进行解卷积处理，得到去除所述眩光后的图像。
基于上述技术方案，针对屏下成像系统所采集的待处理图像，该待处理图像包括：高亮物体及其产生的眩光，根据待处理图像中高亮物体的光谱成分，生成与不同高亮物体相适应的屏下成像系统中至少一个通道的点扩散函数，进而对第一点扩散函数及待处理图像进行解卷积处理，得到去除高亮物体所产生的眩光后的图像；从而可以有效改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光，提高了图像的清晰度，提升了用户体验。
根据第二方面，在所述第二方面的第一种可能的实现方式中，所述生成模块，还用于：根据所述高亮物体的光谱成分及所述显示屏的模型，生成第二点扩散函数；其中，所述第二点扩散函数为所述高亮物体的不同波长光线经过所述屏下成像系统后对应的点扩散函数；根据所述第二点扩散函数与所述摄像头的感光特性曲线，生成所述第一点扩散函数。
基于上述技术方案，可以根据显示的屏模型，结合高亮物体的光谱成分，生成高亮物体的不同波长经过屏下成像系统的点扩散函数，进而结合摄像头的感光特性曲线得到屏下成像系统的至少一个通道的点扩散函数。这样，利用高亮物体的光谱成分，通过物理建模的方式获得真实眩光所对应的点扩散函数，从而可以有效消除由于显示屏周期性结构的色散效应，从而对于显示屏周期性结构引起的眩光，尤其是彩虹眩光具有优异的抑制作用，提升屏下成像系统的成像质量。
根据第二方面，在所述第二方面的第二种可能的实现方式中，所述生成模块，还用于：根据所述高亮物体的光谱成分及预设的第三点扩散函数，生成所述第一点扩散函数；其中，所述第三点扩散函数为不同波长经过所述屏下成像系统后对应的点扩散函数。
基于上述技术方案，通过在预设的不同波长经过屏下成像系统后所对应的点扩散函数，结合上述高亮物体的光谱成分，可以快速生成屏下成像系统中至少一个通道的点扩散函数，显著提升了计算效率，进而提升了去眩光的处理速度，可以适用于视频拍摄等处理数据量大且对处理速度要求高的去眩光处理场景。
根据第二方面，在所述第二方面的第三种可能的实现方式中，所述装置还包括：光谱测量设备，用于采集所述高亮物体的光谱成分。
基于上述技术方案，通过电子设备自带的光谱测量设备，可以在拍摄时实时获取高亮物体的光谱成分，无需依赖外部设备，提高了电子设备的功能完整性；或者，借助外部设备所采集的光谱成分，从而获取高亮物体的光谱成分，节约了电子设备的成本。
根据第二方面，在所述第二方面的第四种可能的实现方式中，所述装置还包括：采集模块，用于：对所述待处理图像进行图像识别，确定所述高亮物体的光源类型；根据预设的不同光源类型的光谱成分，确定所述高亮物体的光谱成分。
基于上述技术方案，通过预先存储不同光源类型对应的光谱成分，可以在拍摄时识别出拍摄对象中高亮物体的光源类型，从而确定高亮物体的光谱成分；这样，电子设备无需额外配置光谱测量设备，即可获取高亮物体的光谱成分，节约了电子设备的成本。
根据第二方面，在所述第二方面的第五种可能的实现方式中，所述装置还包括：分割模块，用于：将所述待处理图像分割为第一区域及第二区域；其中，所述第一区域为所述高亮物体及其产生的眩光所在的区域；所述第二区域为所述待处理图像中第一区域以外的区域；所述处理模块，还用于：通过对所述第一点扩散函数及所述第一区域，进行解卷积处理，得到去除所述眩光后的第一区域；将所述去除所述眩光后的第一区域与所述第二区域融合，得到所述去除所述眩光后的图像。
基于上述技术方案，将待处理图像分割为高亮物体及其产生的眩光所在的第一区域及不包含高亮物体及其产生的眩光的第二区域，进而针对高亮物体及其产生的眩光所在的第一区域执行进一步的去眩光处理，提高了处理效率，节约了处理资源；同时，可以减轻或消除在去眩光处理过程中对待处理图像中不包含高亮物体及其产生的眩光的第二区域的影响。
根据第二方面的第一种可能的实现方式，在所述第二方面的第六种可能的实现方式中，所述生成模块，还用于：将所述显示屏的模型作为透过率函数，结合光波传播因子，并以所述高亮物体的光谱成分作为权重，得到所述第二点扩散函数；其中，所述显示屏的模型包括：所述显示屏的振幅调制函数和相位调制特性函数；所述光波传播因子根据所述摄像头拍摄所述待处理图像时的焦距及所述高亮物体的波长确定。
基于上述技术方案，从眩光产生的根本原因出发，即显示屏周期性的像素排布导致的衍射效应是对波长敏感的，将通过振幅调制函数和相位调制特性函数所构建的显示屏模型作为透过率函数，并根据摄像头拍摄待处理图像时的焦距及高亮物体的实际波长确定光波传播因子，同时以高亮物体的光谱成分作为权重，得到高亮物体的不同波长经过屏下成像系统后对应的点扩散函数，所得到的点扩散函数能够更加真实地表达高亮物体通过屏下成像产生眩光过程。
第三方面，本申请的实施例提供了一种电子设备，包括：显示屏、显示屏下方的摄像头、处理器和存储器；其中，所述摄像头用于透过所述显示屏采集待处理图像；所述显示屏用于显示所述待处理图像和去眩光后的图像；所述存储器，用于存储处理器可执行指令；所述处理器被配置为执行所述指令时实现上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的图像处理方法。
基于上述技术方案，针对屏下成像系统所采集的待处理图像，该待处理图像包括：高亮物体及其产生的眩光，根据待处理图像中高亮物体的光谱成分，生成与不同高亮物体相适应的屏下成像系统中至少一个通道的点扩散函数，进而对第一点扩散函数及待处理图像进行解卷积处理，得到去除高亮物体所产生的眩光后的图像；从而可以有效改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光，提高了图像的清晰度，提升了用户体验。
第四方面，本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的图像处理方法。
基于上述技术方案，针对屏下成像系统所采集的待处理图像，该待处理图像包括：高亮物体及其产生的眩光，根据待处理图像中高亮物体的光谱成分，生成与不同高亮物体相适应的屏下成像系统中至少一个通道的点扩散函数，进而对第一点扩散函数及待处理图像进行解卷积处理，得到去除高亮物体所产生的眩光后的图像；从而可以有效改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光，提高了图像的清晰度，提升了用户体验。
第五方面，本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的图像处理方法。
基于上述技术方案，针对屏下成像系统所采集的待处理图像，该待处理图像包括：高亮物体及其产生的眩光，根据待处理图像中高亮物体的光谱成分，生成与不同高亮物体相适应的屏下成像系统中至少一个通道的点扩散函数，进而对第一点扩散函数及待处理图像进行解卷积处理，得到去除高亮物体所产生的眩光后的图像；从而可以有效改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光，提高了图像的清晰度，提升了用户体验。
本申请的这些和其他方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出根据本申请一实施例的配置有屏下摄像头的手机示意图；
图2A-2B示出根据本申请一实施例的通过手机10显示图像的示意图；
图3示出根据本申请一实施例的拍摄界面的示意图；
图4示出了本申请实施例的一种图像处理方法的流程图；
图5示出了根据本申请一实施例的提取上述图3中眩光区域302中高亮物体的形状及眩光星芒区域的示意图；
图6示出了根据本申请一实施例的通过色温传感器采集的强光源的光谱成分；
图7示出根据本申请一实施例的屏下成像系统的点扩散函数的展宽示意图；
图8示出根据本申请一实施例的显示屏的局部示意图；
图9示出根据本申请一实施例的滤波片透过率曲线的示意图；
图10示出根据本申请一实施例的生成的RBG三通道的点扩散函数的示意图；
图11示出根据本申请一实施例的预先标定的不同波长的光线透过屏下成像系统所对应的点扩散函数的示意图；
图12示出了根据本申请一实施例的去眩光后的局部图像的示意图；
图13示出了根据本申请一实施例的一种图像处理方法的流程图；
图14示出了根据本申请一实施例的一种图像处理装置的结构图；
图15示出根据本申请一实施例的电子设备的结构示意图；
图16示出根据本申请一实施例的电子设备的软件结构框图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
为便于理解，将本申请实施例所涉及的部分用语进行解释说明。
点扩散函数(point spread function，PSF)，对光学系统来讲，输入物为一点光源时其输出像的光场分布，称为点扩散函数，也称点扩展函数。在数学上点光源可用δ函数(点脉冲)代表，输出像的光场分布叫做脉冲响应，所以点扩散函数也就是光学系统的脉冲响应函数。光学系统的成像性能可以通过该光学系统的点扩散函数来表述。
非盲解卷积(Non-blind deconvolution)，又称非盲去卷积；光学系统所成的像可以理解成原始图像与光学系统的点扩散函数卷积的结果，根据已知拍摄的图像以及光学系统的点扩散函数，恢复出原始图像的过程称为非盲解卷积。
OLED的原理是有机半导体材料和发光材料在电场驱动下，通过载流子注入和复合导致发光的现象。OLED是一种利用多层有机薄膜结构产生电致发光的器件，它很容易制作，而且只需要低的驱动电压，这些主要的特征使得OLED在满足平面显示器的应用上显得非常突出。OLED显示屏比LCD更轻薄、亮度高、功耗低、响应快、清晰度高、柔性好、发光效率高。
本申请实施例提供了一种图像处理方法，该方法可以应用于电子设备，该电子设备可以包括显示屏及该显示屏下的摄像头。其中，显示屏可以是触屏的、也可以是非触屏的，触屏的可以通过手指、触控笔等在显示屏上点击、滑动等方式对电子设备进行控制，非触屏的设备可以连接鼠标、键盘、触控面板等输入设备，通过输入设备对电子设备进行控制；摄像头可以包括前置摄像头和/或后置摄像头。
示例性地，本申请的电子设备可以是智能手机、上网本、平板电脑、笔记本电脑、可穿戴电子设备(如智能手环、智能手表等)、车载设备、TV、虚拟现实设备、音响、电子墨水，等等，本申请实施例对电子设备的具体类型不作限制。
以电子设备为手机为例，图1示出根据本申请一实施例的配置有屏下摄像头的手机示意图；如图1所示，手机10可以包括显示屏101及摄像头102；其中，显示屏101用于显示图像或视频等，摄像头102设置于显示屏101的下方，用于透过显示屏101拍摄图像或视频等；摄像头102的数量可以为一个或多个(图1中仅示例性示出了一个)，显示屏101及摄像头102构成手机10的屏下成像系统。
由于摄像头设置于显示屏之下，当摄像头透过显示屏拍摄时，所拍摄的图像或视频会出现眩光，尤其是拍摄高亮物体时，眩光严重；示例性地，图2A-2B示出根据本申请一实施例的通过手机10显示图像的示意图。其中，图2A为手机10所显示的本申请实施例图像处理方法处理前的原始图像的示意图，如图2A所示，原始图像201中出现了明显的眩光202；图2B为手机10所显示的利用本申请实施例图像处理方法处理后的高清图像的示意图，如图2B所示，高清图像203中，可以清晰看到高亮物体-太阳204；对比原始图像201及高清图像203，可以看到所拍摄的太阳204在原始图像201中呈现出的形态为彩虹眩光(图中未示出)。
出现眩光的主要原因为：(1)用于显示图像等内容的显示屏由许多表示红绿蓝颜色的像素组成，且这些像素是周期性排布的；当位于显示屏下的摄像头透过显示屏拍摄时，外部光线通过显示屏时会产生衍射效应。
(2)在所拍摄的景象中存在高亮物体，例如强光源时，在强光源的照射下，显示屏的衍射效应会进一步加强，会将强光源中心区域的光衍射至周围区域，造成摄像头的成像效果下降；同时，摄像头的图像传感器有限的动态范围，无法捕捉到衍射光的变化规律。
(3)显示屏的衍射效应是对波长敏感的，即衍射效应对不同波长的光线是不同的，表现在不同波长的光线经过显示屏和摄像头的镜头后的衍射展宽是不同的，称为色散现象；这种色散现象在所拍摄的图像中呈现出彩虹眩光。
在一些实施例中，一种去眩光的方案为：增大摄像头的镜头光圈，提高进光量；使用大尺寸的图像传感器，提高图像传感器对暗光的感应能力；添加新型的高透过率发光材料，提升显示屏的透光率；采用高动态范围图像(High Dynamic Range，HDR)数据采集模式，提升摄像头获得图像的动态范围，降低眩光特点。在这些实施例中仅考虑位于显示屏下的摄像头成像通光量低的问题，而增加摄像头的镜头的进光亮、图像传感器的感光能力或者显示屏的透光特性；或者仅优化显示屏的像素结构，更改眩光的位置的能量分布。这种方案消除眩光的效果是有限，由于没有直面眩光产生的根本原因：显示屏周期性的像素排布导致的衍射效应是对波长敏感的，这种方案无法消除显示屏下摄像头成像产生的彩虹眩光。
在另外一些实施例中，有另一种去眩光的方案为：优化OLED显示屏的像素排布、像素结构、像素驱动电路设计。通过对显示屏周期性的像素结构局部特征的改进，可以优化屏下成像系统的点扩散函数的能量分布和眩光的分布形态。然而，受限于显示屏发光区域大小的限制，这种方案只能在一定程度上改善眩光的效果，改善效果有限；同时，针对不同波长显示屏的衍射效应所表现的色散现象依旧无法改变，这种方案无法消除显示屏下摄像头成像产生的彩虹眩光。
为了解决上述技术问题，本申请一些实施例提供了一种图像处理方法，该图像处理方法能够实现根据图像中高亮物体的光谱成分，生成与不同高亮物体相适应的点扩散函数，进而通过解卷积处理获得去眩光后的高清图像；从而可以有效改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光，提高了图像的清晰度，提升了用户体验。
下面结合应用场景，具体介绍本申请实施例提供的一种图像处理方法。
在一些场景中，用户通过电子设备拍摄时，对所拍摄的图像进行实时去眩光处理。
示例性地，当所拍摄的图像中存在高亮物体时，电子设备可以开启去眩光功能，从而改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光。其中，高亮物体可以包括强光源，如：太阳、月亮、照明灯、显示屏等等，还可以包括：玻璃、金属等等表面反射强光的物体。
以上述图1中的手机为例，该手机的前置摄像头设置于显示屏之下，用户在户外通过手机的前置摄像头进行自拍，用户打开手机的前置拍照功能，从而使显示屏进入拍摄界面，用户可以通过拍摄界面中所显示的预览图像，实时观察所拍摄的画面；示例性地，预览图像为上述图2A中所示的原始图像201，在预览图像中可以看到存在眩光，即太阳呈现为彩虹眩光，同时该彩虹眩光遮挡了部分物体(如山峰)，手机开启去眩光功能，进行实时去眩光处理，得到去除眩光的高清图像，去除眩光的高清图像为上述图2B中所示的高清图像203，在拍摄界面所显示的高清图像中消除了眩光，可以看到太阳，以及原本被太阳的彩虹眩光所遮挡的部分山峰；这样，通过本申请实施例的图像处理方法，去除了预览图像中太阳的眩光(彩虹眩光)，从而可以得到去除眩光的高清图像。
下面对手机的显示屏进入拍摄界面的方式进行举例说明：
用户可以通过触发进入拍摄的指令，手机响应于该指令，打开摄像头，同时显示屏进入拍摄界面；示例性地，用户可以通过点击显示屏中主页面、或开机页面、或其他应用程序中的拍照图标，使显示屏进入拍摄界面；用户还可以通过按压手机设置的用于拍摄的物理按钮，使显示屏进入拍摄界面；用户还可以通过语音指令的方式，使显示屏进入拍摄界面；用户还可以通过快捷手势的方式，使显示屏进入拍摄界面；在实际应用中，用户还还可以通过其它方式使显示屏进入拍摄界面，本申请实施例对此不作限定。
图3示出根据本申请一实施例的拍摄界面的示意图；如图3所示，拍摄界面中除显示预览图像之外；拍摄界面还可以包括光圈、夜景、人像、拍照、录像、专业、更多等等多种操作模式的选项，用户可以通过切换不同的操作模式，进入拍摄、录像、夜景等等特定的操作模式；拍摄界面还可以包括闪光、HDR、AI、设置、色调等功能的选项，用户可以通过选择去不同功能，开启或关闭闪光，进行色调调节等等功能，拍摄界面还可以包括焦距调节选项，用于可以通过调节焦距，使预览图像相应的放大或缩小；此外，拍摄界面还可以包括拍摄按钮、相册按钮及摄像头切换按钮等。
下面对手机开启去眩光功能的方式进行举例说明：
方式一、手机检测预览图像中是否存在高亮物体，当检测到预览图像中存在高亮物体时，则手机自动开启去眩光功能；当未检测到预览图像中存在高亮物体时，则手机不开启去眩光功能。其中，高亮物体包括在预览图像中呈现指定颜色和/或亮度的拍摄对象。示例性地，指定颜色可以为白色，指定亮度可以为白色在YUV颜色编码的亮度值，或者白色在RGB色彩模式中的灰度值，等等。
示例性地，手机可以以预览图像中某一区域内大部分像素点的灰度值不小于预设灰度阈值作为条件，检测预览图像是否存在高亮物体，当预览图像中某一区域内的大部分像素点的灰度值不小于该预设灰度阈值时，则确定该预览图像中存在高亮物体，此时，手机自动开启去眩光功能。预览图像中各像素点的灰度值范围是0-255，白色为255，黑色为0，考虑到高亮物体所在区域通常为白色，可以设置预设灰度阈值等于255或255左右的值，例如，预设灰度阈值可以为255，可以选取大小为100*100的窗口，在预览图像中顺序滑动该窗口，从而使遍布整个预览图像；每滑动一次该窗口则计算该窗口中各像素点的灰度值，若该窗口中超过一半数量的像素点的灰度值为255时，则确定预览图像中存在高亮物体，此时，手机自动开启去眩光功能。
示例性地，当手机未检测到预览图像中存在高亮物体时，手机可以继续执行当前拍摄模式或者其他预设的拍摄模式(例如，预设的图像增强模式)。
该方式中，手机可以自动检测预览图像中是否存在高亮物体，并在检测到高亮物体的情况下自动开启去眩光功能；不需要用户手动操作，即可得到开启去眩光功能，提高了手机操作的智能程度。
方式二、手机接收用户触发的开启去眩光功能的指令，响应于该指令，开启去眩光功能。
示例性地，用户可以通过预览图像或所拍摄的对象，观察判断是否存在高亮物体，当用户判断存在高亮物体时，则可以通过点击拍摄界面预设的开启去眩光功能或者进入去眩光模式的图片，触发开启去眩光功能的指令；也可以通过手机预设的语音指令、快捷手势、物理按钮等等方式触发开启去眩光功能的指令，本申请实施例对此不作限定。例如，如图3所示，手机10的拍摄界面中可以包括去眩光功能的图标301，用户可以通过点击该去眩光功能的图标301，触发开启去眩光功能的指令，手机响应于该指令，开启去眩光功能。
该方式中，用户拍照时自主判断是否存在高亮物体，并根据判断结果，选择触发开启去眩光功能的指令，从而使手机开启去眩光功能，满足用户对自主控制手机的需求。
方式三、手机检测预览图像中是否存在高亮物体，当检测到预览图像中存在高亮物体时，则手机可以向用户发出提示信息，从而提示用户是否开启去眩光功能；若用户触发开启去眩光功能的指令，则手机响应于该指令，开启去眩光功能。
示例性地，手机检测预览图像是否存在高亮物体的具体实现可以参照上述手机开启去眩光功能的方式一中相关描述，在此不再赘述。手机可以向用户发出的提示信息可以包括：语音提示信息、振动、灯光闪烁、图标闪烁等等多种形式；例如，如上述图3所示，手机10可以在检测到预览图像中存在高亮物体时，控制拍摄界面中的去眩光功能的图标301闪烁，从而提示用户选择点击该去眩光功能的图标301，若用户点击该去眩光功能的图标301，则手机开启去眩光功能。再例如，手机可以在拍摄界面的预览图像区域显示提示信息“开启去眩光功能”，从而提示用户开启去眩光模式，其中，用户开启去眩光模式的具体实现可以参照上述手机开启去眩光功能的方式二中相关描述，在此不再赘述；若用户触发开启去眩光功能的指令，则手机响应于该指令，开启去眩光功能。
该方式中，用户拍照时可能会忘记手机的去眩光功能或者不熟悉去眩光功能，通过提示信息，可以提示用户开启去眩光功能，从而提升用户体验。
此外，手机还可在检测到的存在高亮物体的图像区域周围显示提示框，以提示此区域存在高亮物体，用户可以通过选择提示框(例如点击提示框内部区域)来选择要执行去眩光功能的图像区域。
在实际应用中，手机还可以通过其它方式开启去眩光功能，本申请实施例对此不作限定。
下面对手机开启去眩光功能后，进行实时去眩光处理，得到去除眩光的高清图像进行举例说明：
图4示出了本申请实施例的一种图像处理方法的流程图，如图4所示，该方法可以包括以下步骤：
步骤400、手机确定预览图像中高亮物体所在的眩光区域。
其中，高亮物体的数量可以为一个或多个，每一眩光区域至少包括一个高亮物体，例如，每一眩光区域可以包括一个高亮物体，此时眩光区域的数量与高亮物体的数量相同。在预览图像中，高亮物体占据灰度值不小于预设阈值(如255)的多个彼此相连的像素点，该高亮物体所在的眩光区域至少包括该高亮物体所占据的这些彼此相连的像素点。其中，眩光区域可以为矩形、圆形等形状。
示例性地，眩光区域可以为矩形区域，可以构建大小为m*n矩形窗口，其中，m、n均为大于1的整数，例如，m、n的初始值可以为100，利用该矩形窗口在预览图像上滑动，当该矩形窗口中出现灰度值超过255的像素点时，则调整m、n的值，从而使得包括该像素点在内的，灰度值超过255的彼此相连的多个像素点均落在该矩形窗口时，此时固定m、n的值，该矩形窗口即为眩光区域，该矩形窗口内灰度值超过255的彼此相连的多个像素点即为一个高亮物体，从而确定了该高亮物体所在的眩光区域；遍布整个预览图像，可以得到该预览图像中的各高亮物体所在的眩光区域，相应的，预览图像中除眩光区域以外的区域即为非眩光区域。示例性地，如上述图3所示，眩光区域302为矩形区域，在该眩光区域内，包括了太阳在预览图像中所占据的像素点。
需要说明的是，该步骤400为可选步骤，即在手机开启去眩光功能后，可以执行该步骤400，从而可以提高下述步骤的处理效率，节约处理资源；同时，可以减轻或消除处理过程中对非眩光区域的影响；另外，在手机开启去眩光功能后，手机也可以直接执行下述步骤401。
步骤401、手机识别高亮物体的形状，并提取眩光星芒区域。
该步骤中，手机可以在上述步骤400中所确定的预览图像中高亮物体所在的眩光区域中识别高亮物体的形状，并提取眩光区域中的眩光星芒区域；手机也可以在预览图像中直接识别高亮物体的形状，并提取预览图像中的眩光星芒区域，其中眩光星芒区域是出现眩光且为星芒形状的区域，预览图像中除眩光星芒区域以外的区域，即为非眩光星芒区域。
示例性地，手机可以通过训练好的神经网络，自动识别高亮物体的形状，例如，高亮物体为强光源时，强光源的形状可以包括环形光源、条形光源、点光源等等。预先选取不同形状光源的照片对神经网络进行训练，将眩光区域或预览图像输入到训练好的神经网络中，即可输出该眩光区域或预览图像中高亮物体的形状；手机还可以通过常规过曝检测等方式，识别高亮物体的形状。
进一步地，手机可以在识别出高亮物体的形状之后，基于该高亮物体的位置，检测眩光区域或预览图像中的眩光星芒区域，例如，可以将高亮物体的中心作为十字星芒的中心，不断调整十字星芒的大小，使得该高亮物体所占据的像素点均落在该十字星芒内，此时，该十字星芒的所包括的像素点即为眩光星芒区域。在确定眩光星芒区域之后，对眩光区域或预览图像中的眩光星芒区域进行裁剪，从而提取出眩光星芒区域；这样，可以针对所提取的眩光星芒区域执行进一步的去眩光处理，提高了处理效率，节约了处理资源；同时，可以减轻或消除处理过程中对图像中其他不包含高亮物体及其眩光的区域的影响。
需要说明的是，该步骤401为可选步骤，即在手机开启去眩光功能后，可以执行该步骤401，还可以直接执行下述步骤402。下面以执行完步骤401后再执行步骤402进行示例性说明。
图5示出了根据本申请一实施例的提取上述图3中眩光区域302中高亮物体的形状及眩光星芒区域的示意图，如图5所示，在眩光区域302中，提取出太阳的形态501，同时，提取出眩光星芒区域502。
步骤402、手机获取高亮物体的光谱成分Ispe(λ)，λ表示波长。
下面对该步骤中获取高亮物体的光谱成分的方式进行举例说明。
方式一、手机配置有光谱测量设备(例如，光谱传感器、色温传感器、光谱相机等)，通过光谱传感器采集高亮物体(如强光源)的光谱成分。
举例来说，上述图1中手机10可以配置有色温传感器，图6示出了根据本申请一实施例的通过色温传感器采集的强光源的光谱成分，如图6所示，通过色温传感器采集上述图2B中拍摄对象中太阳204的光谱成分Ispe(λ)，可以看出不同波长λ所对应的相对强度。
示例性地，手机还可以配置高光谱检测设备，通过高光谱检测设备采集高亮物体的光谱成分，从而进一步提高所采集的光谱成分的精度。
该方式中，通过手机自带的色温传感器或高光谱检测设备等光谱测量设备，可以在拍摄时实时获取高亮物体的光谱成分，无需依赖外部设备，提高了手机的功能完整性。
方式二、手机可以通过识别拍摄对象中高亮物体的光源类型，并根据预设的不同光源类型对应的光谱成分，确定所识别出的高亮物体的光谱成分。
示例性地，对于实际中常出现的强光源，如太阳、月亮、荧光、白炽灯、日光灯等等，不同强光源的光谱成分是固定不变的，因此，可以通过预先测量，确定不同光源类型的光谱成分，并存储在手机中；在拍摄时，手机可以通过计算机视觉等方式，识别出拍摄对象中高亮物体的光源类型，例如，识别出上述2B中高亮物体的光源类型为太阳，则可以根据预先存储的多个光源类型的光谱成分中，确定太阳的光谱成分。
该方式中，通过预先存储不同光源类型对应的光谱成分，并在拍摄时识别出拍摄对象中高亮物体的光源类型，从而确定高亮物体的光谱成分；这样，手机无需额外配置光谱传感器或高光谱检测设备等光谱测量设备，即可获取高亮物体的光谱成分，节约了手机的成本。
方式三、手机可以接收外部输入的高亮物体的光谱成分。
示例性地，设置于外部环境中的光谱测量设备(如，高光谱检测设备、色温传感器、光谱相机等)采集高亮物体的光谱成分，并将所采集的高亮物体的光谱成分输入到手机中，手机接收所输入的光谱成分，从而实现获取高亮物体的光谱成分。
该方式中，手机可以借助外部设备所采集的光谱成分，从而获取高亮物体的光谱成分，节约了手机的成本。
步骤403、手机根据高亮物体的光谱成分，生成RGB三通道的点扩散函数。
考虑到显示屏的周期性像素排布对于显示屏下摄像头的成像影响表现为点扩散函数的展宽，图7示出根据本申请一实施例的屏下成像系统的点扩散函数的展宽示意图，如图7所示，屏下成像系统的点扩散函数分布会沿着显示屏横向和纵向扩展，形成严重的拖尾效应，这种拖尾效应使得显示屏下的摄像头的成像质量大大降低。因此，为了提高成像质量，该步骤中，手机利用上述获取高亮物体的光谱成分，生成屏下成像系统的RGB三通道的点扩散函数。
下面对该步骤中根据高亮物体的光谱成分，生成RGB三通道的点扩散函数的方式进行举例说明：
方式一、手机通过显示屏模型、上述获取的高亮物体的光谱成分及摄像头的图像传感器的滤波片的感光特性曲线(透过率曲线)，生成屏下成像系统的RGB三通道的点扩散函数。
其中，可以将显示屏模型预先存储在手机中，显示屏模型可以包括：振幅调制函数A(m,n)和相位调制函数P(m,n)等，m,n表示显示屏上的像素点的坐标；振幅调制函数和相位调制函数可以根据显示屏上的像素点分布、显示屏的排线方法及显示屏的材料等因素确定。图8示出根据本申请一实施例的显示屏的局部示意图，如图8所示，可以得到显示屏上的像素点的分布，其中，每个像素点包括红光子像素、绿光子像素、蓝光子像素。摄像头的图像传感器的滤波片的感光特性曲线可以根据手机所配置的摄像头的相关参数确定，图像传感器的滤波片可以包括：红色滤波片、绿色滤波片、蓝色滤波片；图9示出根据本申请一实施例的滤波片透过率曲线的示意图，如图9所示，滤波片的透过率曲线Fr,g,b(λ)，包括：红色滤波片的透过率曲线Fr(λ)、绿色滤波片的透过率曲线Fg(λ)、蓝色滤波片的透过率曲线Fb(λ)，其中，λ为表示波长。
示例性地，手机可以利用上述图6中通过色温传感器采集的拍摄对象中太阳的光谱成分Ispe(λ)以及预设的显示屏模型(A(m,n)和P(m,n))，生成高亮物体(太阳)的不同波长经过屏下成像系统后对应的的点扩散函数，进而通过图像传感器的滤波片的透过率曲线Fr,g,b(λ)，生成屏下成像系统的RGB三通道的点扩散函数。
示例性地，手机还可以通过高光谱检测设备采集的高亮物体的光谱成分，以及预设的显示屏模型，生成高亮物体的不同波长经过屏下成像系统后对应的点扩散函数，从而使得生成的高亮物体的不同波长经过屏下成像系统后对的点扩散函数更接近实际情况，进而提高去眩光的效果。
示例性地，可以将显示屏模型作为透过率函数，结合光波传播因子，并以上述获取的高亮物体的光谱成分作为权重，得到高亮物体的不同波长经过屏下成像系统后对应的点扩散函数；其中，显示屏的模型可以包括：所述显示屏的振幅调制函数和相位调制特性函数；光波传播因子可以根据摄像头拍摄待处理图像时的焦距及高亮物体的波长确定。
这样，从眩光产生的根本原因出发，即显示屏周期性的像素排布导致的衍射效应是对波长敏感的，将通过振幅调制函数和相位调制特性函数所构建的显示屏模型作为透过率函数，并根据摄像头拍摄待处理图像时的焦距及高亮物体的实际波长确定光波传播因子，同时以高亮物体的光谱成分作为权重，得到高亮物体的不同波长经过屏下成像系统后对应的点扩散函数，所得到的点扩散函数能够更加真实地表达高亮物体通过屏下成像产生眩光过程。
示例性地，高亮物体的不同波长经过屏下成像系统后对应的点扩散函数I(u,v；λ)如下述公式(1)所示：
Figure BDA0002834670460000121
在公式(1)中，λ表示波长，Ispe(λ)表示高亮物体的光谱成分，f表示摄像头拍摄时的实际焦距，m,n为表示显示屏上的像素点的坐标，u,v表示图像传感器上的像素点的坐标；A(m,n)表示振幅调制函数，P(m,n)表示相位调制函数。
生成的屏下成像系统的RGB三通道的点扩散函数如下述公式(2)所示：
Figure BDA0002834670460000122
在公式(2)中，PSFr表示红光通道的点扩散函数，PSFg表示绿光通道的点扩散函数，PSFb表示蓝光通道的点扩散函数，I(u,v；λ)表示高亮物体的不同波长经过屏下成像系统后对应的点扩散函数，λ表示波长，u,v表示图像传感器上的像素点的坐标,Fr(λ)表示图像传感器的红色滤波片的透过率曲线、Fg(λ)表示图像传感器的绿色滤波片的透过率曲线、Fb(λ)表示图像传感器的蓝色滤波片的透过率曲线。
图10示出根据本申请一实施例的生成的RBG三通道的点扩散函数的示意图，如图10所示，分别为红光通道的点扩散函数、绿光通道的点扩散函数、蓝光通道的点扩散函数，其中，同一像素点的红光通道的点扩散函数与该像素点的绿光通道的点扩散函数间隔一个子像素点，同一像素点的红光通道的点扩散函数与该像素点的蓝光通道的点扩散函数间隔一个子像素点，同一像素点的绿光通道的点扩散函数与该像素点的蓝光通道的点扩散函数间隔一个子像素点。
该方式中，可以在手机的计算能力和存储能力满足需求的情况下，预先在手机中存储显示屏模型，结合所获取的高亮物体的光谱成分，生成高亮物体的不同波长经过屏下成像系统后，即高亮物体的不同波长经过显示屏及显示屏下摄像头的镜头后不同波长的所对应的点扩散函数，进而得到屏下成像系统的RGB三通道的点扩散函数。这样，利用高亮物体的光谱成分，通过物理建模的方式获得真实眩光所对应的点扩散函数，从而可以有效消除由于显示屏周期性结构的色散效应，从而对于显示屏周期性结构引起的眩光，尤其是彩虹眩光具有优异的抑制作用，提升屏下成像系统的成像质量。
方式二、手机根据预先标定的不同波长经过所述屏下成像系统后所对应的点扩散函数及上述获取的高亮物体的光谱成分，生成屏下成像系统的RGB三通道的点扩散函数。
示例性地，可以在实验室中预先标定不同波长经过所述屏下成像系统后所对应的点扩散函数，并预先存储在手机中；图11示出根据本申请一实施例的预先标定的不同波长经过所述屏下成像系统后所对应的点扩散函数的示意图，如图11所示，为可见光波段(400nm-780nm)的不同波长经过所述屏下成像系统后所对应的点扩散函数，其中，波长之间的间隔可以为6nm、3nm等。
手机开启去眩光功能时，可以直接调用手机中存储的不同波长经过屏下成像系统后所对应的点扩散函数，并与上述获取的高亮物体的光谱成分做积分运算，从而得到屏下成像系统的RGB三通道的点扩散函数。
该方式中，通过在手机中预存不同波长经过屏下成像系统后所对应的点扩散函数，结合上述获取高亮物体的光谱成分，可以快速生成屏下成像系统的RGB三通道的点扩散函数，显著提升了计算效率，进而提升了手机去眩光的处理速度，可以适用于视频拍摄等处理数据量大且对处理速度要求高的去眩光处理场景。
需要说明的是，上述步骤402及步骤403可以在上述步骤400或步骤401之前执行，也可以在步骤400或步骤401之后执行，还可以与步骤400或步骤401同时执行，本申请实施例对此不作限定。
步骤404、利用生成的RGB三通道的点扩散函数和上述眩光星芒区域，采用预设的非盲解卷积算法，去除眩光星芒区域中的眩光。
示例性地，预设的非盲解卷积算法可以包括：神经网络学习、凸优化解卷积、非凸优化解卷积等现有的非盲解卷积算法，结合上述识别的高亮物体的形状，利用生成的屏下成像系统的RGB三通道的点扩散函数分别和上述眩光星芒区域进行非盲解卷积处理，得到RGB三通道的解卷积结果，从而得到去眩光后的局部图像。
图12示出了根据本申请一实施例的去眩光后的局部图像的示意图，如图12所示，去眩光后的局部图像1201为去除上述图5中眩光星芒区域502中眩光所生成的图像，该去眩光后的局部图像1202中没有眩光，可以清楚看到太阳形态1202。
步骤405、将去眩光后的局部图像与预览图像进行融合处理，得到去眩光的高清图像。
示例性地，可以将去眩光后的局部图像所在的眩光区域与非眩光区域进行拼接，从而得到最终去眩光的高清图像。
示例性地，可以在显示屏的拍摄界面实时显示该去眩光后的高清图像，如上述图2B所示，去眩光后的高清图像中，不存在眩光或存在较少的眩光，尤其是可以消除彩虹眩光，从而使得图像中的亮度可以平滑过渡，能够更真实的反映出所拍摄的拍摄对象。
本申请实施例中，针对用户在通过显示屏下摄像头拍摄时，所拍摄图像中产生的眩光，尤其是彩虹眩光，这种眩光对于波长是敏感的，因此通过获取高亮物体的光谱成分，并由此生成与不同高亮物体相适应的点扩散函数，进而通过非盲解卷积处理获得去眩光的高清图像，从而有效改善甚至消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光，能够达到在有显示屏遮挡的情况下，实现显示屏下摄像头无眩光成像效果，使得用户在使用显示屏下摄像头拍摄功能时感知不到彩虹眩光对最终成像的影响。
在一些场景中，用户通过电子设备对已经拍摄的图像或视频，进行去眩光处理。其中，已经拍摄的图像或视频为通过显示屏下摄像头所拍摄的图像或视频。
示例性地，当电子设备已经拍摄的图像或视频中存在高亮物体时，电子设备可以开启去眩光功能，从而改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光。
以上述图1中的手机为例，该手机的前置摄像头设置于显示屏之下，用户在户外通过手机的前置摄像头进行自拍，示例性地，所拍摄的图像为上述图2A所示的原始图像201，完成自拍后，该拍摄的图像存储在手机中，用户在查看该图像时，打开手机的图像编辑功能，从而使显示屏进入图像编辑界面，在图像编辑界面可以看到图像中存在眩光，即太阳呈现为彩虹眩光，同时该彩虹眩光遮挡了部分物体(如山峰)，手机开启去眩光功能，进行去眩光处理，从而得到去除眩光的高清图像，去除眩光的高清图像为上述图2B中所示的高清图像203，在编辑后的图像中消除了眩光，可以看到太阳，以及原本被太阳的彩虹眩光所遮挡的部分山峰；这样，通过本申请实施例的图像处理方法，去除了所拍摄的图像中太阳的眩光(彩虹眩光)，从而可以得到去除眩光的高清图像。
示例性地，用户可以在查看图像时，通过点击编辑按钮，或者通过语音指令，等等方式，使显示屏进入图像编辑界面。
示例性地，在显示屏进入图像编辑界面之后，手机开启去眩光功能的具体方式可以参照前文关于手机开启去眩光功能的相关表述，在此不再赘述。
示例性地，手机开启去眩光功能后，进行去眩光处理，从而得到去除眩光的高清图像的具体实现方式可以参照上述图4中相关表述，在此不再赘述。
本申请实施例中，针对用户编辑通过显示屏下摄像头拍摄好的图像时，所拍摄图像中产生的眩光，尤其是彩虹眩光，这种眩光对于波长是敏感的，因此通过获取高亮物体的光谱成分，并由此生成与不同高亮物体相适应的点扩散函数，进而通过非盲解卷积处理获得去眩光的高清图像，从而有效改善甚至消除显示屏下摄像头所拍摄的图像产生的眩光，尤其是彩虹眩光，提高图像的清晰度。
图13示出了根据本申请一实施例的一种图像处理方法的流程图，如图13所示，该方法的执行主体可以为电子设备，例如，可以为图1中的手机，该方法可以包括以下步骤：
步骤1301、获取待处理图像。
其中，待处理图像为屏下成像系统所采集的图像，如图2A所示，屏下成像系统可以包括显示屏及设置在显示屏下方的摄像头；例如，待处理图像可以为上述实施例中用户通过电子设备拍摄图像或视频时实时的预览图像，如图3所示，还可以为上述实施例中已经拍摄的存储在电子设备中的图像或视频，还可以为其它外部设备拍摄的图像等等，本申请实施例对此不作限定。
待处理图像可以包括：高亮物体及其产生的眩光，其中，高亮物体可以为待处理图像中呈现指定颜色和/或亮度的拍摄对象；眩光为高亮物体的光线透过显示屏及该显示屏下的摄像头所呈现出的耀眼光芒，该眩光可以为彩虹形态的眩光。指定颜色可以为白色，指定亮度可以为白色在YUV颜色编码的亮度值，或者白色在RGB色彩模式中的灰度值。
示例性的，可以以待处理图像中某一区域内大部分像素点的灰度值不小于预设灰度阈值作为条件，检测到待处理图像中是否存在高亮物体。具体实现过程可以参照上述实施例中的相关表述，此处不再赘述。
步骤1302、根据高亮物体的光谱成分，生成第一点扩散函数；第一点扩散函数为屏下成像系统中至少一个通道的点扩散函数。
其中，可以通过电子设备的所配置的光谱测量设备或者外部的光谱测量设备采集高亮物体的光谱成分，或者可以将不同光源类型对应的光谱成分预存在电子设备中，从而通过识别待处理图像中高亮物体的光源类型，确定该高亮物体的光谱成分，例如，高亮物体的光谱成分如图6所示。
在一种可能的实现方式中，该步骤还可以包括：获取光谱测量设备所采集的高亮物体的光谱成分。其中，光谱测量设备可以为电子设备的所配置的光谱测量设备或者外部的光谱测量设备。该实现方式的具体说明，可以参照上述实施例中图4中步骤402中关于“获取高亮物体的光谱成分的方式中方式一及方式三”的相关表述，此处不再赘述。
这样，通过电子设备自带的光谱测量设备，可以在拍摄时实时获取高亮物体的光谱成分，无需依赖外部设备，提高了电子设备的功能完整性；或者，借助外部设备所采集的光谱成分，从而获取高亮物体的光谱成分，节约了电子设备的成本。
在一种可能的实现方式中，该步骤还可以包括：对待处理图像进行图像识别，确定高亮物体的光源类型；根据预设的不同光源类型的光谱成分，确定高亮物体的光谱成分。该实现方式的具体说明可以参照上述实施例中图4中步骤402中关于“获取高亮物体的光谱成分的方式中方式二”的相关表述，此处不再赘述。
这样，考虑不同光源的光谱成分是固定不变的，通过预先存储不同光源类型对应的光谱成分，可以在拍摄时识别出拍摄对象中高亮物体的光源类型，从而确定高亮物体的光谱成分；这样，电子设备无需额外配置光谱测量设备，即可获取高亮物体的光谱成分，节约了电子设备的成本。
其中，当屏下成像系统中包括RGB三通道，第一点扩散函数可以为红光通道的点扩散函数，还可以为绿光通道的点扩散函数，还可以为蓝光通道的点扩散函数，还可以为任意两个通道的点扩散函数，还可以为三通道的点扩散函数，本申请实施例对此不作限定，例如，可以为如图10所示的三通道的点扩散函数。
在一种可能的实现方式中，该步骤1302可以包括：根据高亮物体的光谱成分及显示屏的模型，生成第二点扩散函数；其中，第二点扩散函数为高亮物体的不同波长经过屏下成像系统后对应的点扩散函数；根据第二点扩散函数及摄像头的感光特性曲线，生成第一点扩散函数。
其中，显示屏的模型可以预存在电子设备中，可以在执行步骤1302的同时，生成显示屏模型；显示屏模型可以包括：振幅调制函数A(m,n)和相位调制函数P(m,n)等，m,n表示显示屏上的像素点的坐标。
该实现方式的具体说明可以参照上述实施例中图4中步骤403中关于“根据高亮物体的光谱成分，生成RGB三通道的点扩散函数的方式一”的相关表述，此处不再赘述。
示例性地，可以在电子设备的计算能力和存储能力满足需求的情况下，预先在电子设备中存储显示屏模型，进而可以根据该显示屏的模型，结合高亮物体的光谱成分，生成高亮物体的不同波长经过屏下成像系统的点扩散函数，进而结合摄像头的感光特性曲线得到屏下成像系统的至少一个通道的点扩散函数。这样，利用高亮物体的光谱成分，通过物理建模的方式获得真实眩光所对应的点扩散函数，从而可以有效消除由于显示屏周期性结构的色散效应，从而对于显示屏周期性结构引起的眩光，尤其是彩虹眩光具有优异的抑制作用，提升屏下成像系统的成像质量。
在一种可能的实现方式中，根据高亮物体的光谱成分及显示屏的模型，生成第二点扩散函数，可以包括：将显示屏的模型作为透过率函数，结合光波传播因子，并以高亮物体的光谱成分作为权重，得到第二点扩散函数；其中，显示屏的模型包括：显示屏的振幅调制函数和相位调制特性函数；光波传播因子根据摄像头拍摄待处理图像时的焦距及高亮物体的波长确定。
示例性地，可以通过上述公式(1)，根据摄像头拍摄时的实际焦距、显示屏上的像素点的坐标、摄像头的图像传感器上的像素点的坐标、高亮物体的光谱成分、显示屏的相位调制函数及振幅调制函数，确定第二点扩散函数。
进一步地，可以通过上述公式(2)，根据第二点扩散函数、图像传感器的红色滤波片的透过率曲线、绿色滤波片的透过率曲线及蓝色滤波片的透过率曲线，进行积分运算，得到第一点扩散函数，其中，图像传感器的红色滤波片的透过率曲线、绿色滤波片的透过率曲线及蓝色滤波片的透过率曲线可以如图9所示。
这样，从眩光产生的根本原因出发，即显示屏周期性的像素排布导致的衍射效应是对波长敏感的，将通过振幅调制函数和相位调制特性函数所构建的显示屏模型作为透过率函数，并根据摄像头拍摄待处理图像时的焦距及高亮物体的实际波长确定光波传播因子，同时以高亮物体的光谱成分作为权重，得到高亮物体的不同波长经过屏下成像系统后对应的点扩散函数，所得到的点扩散函数能够更加真实地表达高亮物体通过屏下成像产生眩光过程。
在一种可能的实现方式中，该步骤1302可以包括：根据高亮物体的光谱成分及预设的第三点扩散函数，生成所述第一点扩散函数；其中，第三点扩散函数为不同波长经过屏下成像系统后对应的点扩散函数。
示例性地，可以通过在实验室预先标定的方式，得到第三点扩散函数，并存储在电子设备中，例如，第三点扩散函数可以如图11所示，这样，通过在存储的不同波长经过屏下成像系统后所对应的点扩散函数，结合上述高亮物体的光谱成分，可以快速生成屏下成像系统中至少一个通道的点扩散函数，显著提升了计算效率，进而提升了去眩光的处理速度，可以适用于视频拍摄等处理数据量大且对处理速度要求高的去眩光处理场景。
该实现方式的具体说明可以参照上述实施例中图4中步骤403中关于“根据高亮物体的光谱成分，生成RGB三通道的点扩散函数的方式二”的相关表述，此处不再赘述。
步骤1303、对第一点扩散函数及待处理图像进行解卷积处理，得到去除眩光后的图像。
示例性地，可以通过神经网络学习、凸优化解卷积、非凸优化解卷积等非盲解卷积算法，对第一点扩散函数及待处理图像进行解卷积运算，从而得到去除眩光后的图像，例如，去除眩光后的图像如图2B所示。
在一种可能的实现方式中，在步骤1303之前，还可以将待处理图像分割为第一区域及第二区域；其中，第一区域为高亮物体及其产生的眩光所在的区域；第二区域为待处理图像中第一区域以外的区域。相应的，步骤1303可以包括：通过对第一点扩散函数及第一区域，进行解卷积处理，得到去除眩光后的第一区域；将去除眩光后的第一区域与第二区域融合，得到去除眩光后的图像。
例如，第一区域可以为上述实施例中的预览图像中高亮物体所在的眩光区域，如图3中所示的眩光区域302，相应的，第二区域可以为上述实施例中的预览图像中除眩光区域以外的非眩光区域；再例如，第一区域可以为上述实施例中的眩光星芒区域，如图5中所示的眩光区域502，相应的，第二区域可以为上述实施例中的除眩光星芒区域以外的非眩光星芒区域。当第一区域为上述实施例中的眩光星芒区域，去除眩光后的第一区域可以如图12中所示。
这样，将待处理图像分割为高亮物体及其产生的眩光所在的第一区域及不包含高亮物体及其产生的眩光的第二区域，进而针对高亮物体及其产生的眩光所在的第一区域执行进一步的去眩光处理，提高了处理效率，节约了处理资源；同时，可以减轻或消除在去眩光处理过程中对待处理图像中不包含高亮物体及其产生的眩光的第二区域的影响。
该实现方式的具体说明可以参照上述实施例中图4中步骤400、步骤401、步骤404及步骤405中的相关表述，此处不再赘述。
本申请实施例中，针对屏下成像系统所采集的待处理图像，该待处理图像包括：高亮物体及其产生的眩光，根据待处理图像中高亮物体的光谱成分，生成与不同高亮物体相适应的屏下成像系统中至少一个通道的点扩散函数，进而对第一点扩散函数及待处理图像进行解卷积处理，得到去除高亮物体所产生的眩光后的图像；从而可以有效改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光，提高了图像的清晰度，提升了用户体验。
上述实施例的各种可能的实现方式或说明参见上文，此处不再赘述。
基于上述方法实施例的同一发明构思，本申请的实施例还提供了一种图像处理装置，该图像处理用于执行上述方法实施例所描述的技术方案。
图14示出了根据本申请一实施例的一种图像处理装置的结构图，如图14所示，该装置可以包括：获取模块1401，用于获取待处理图像；待处理图像为屏下成像系统所采集的图像，屏下成像系统包括显示屏及设置在显示屏下方的摄像头；待处理图像包括：高亮物体及其产生的眩光，其中，高亮物体为待处理图像中呈现指定颜色和/或亮度的拍摄对象；生成模块1402，用于根据高亮物体的光谱成分，生成第一点扩散函数；第一点扩散函数为屏下成像系统中至少一个通道的点扩散函数；处理模块1403，用于对第一点扩散函数及待处理图像进行解卷积处理，得到去除眩光后的图像。
在一种可能的实现方式中，生成模块，还用于：根据高亮物体的光谱成分及显示屏的模型，生成第二点扩散函数；其中，第二点扩散函数为高亮物体的不同波长光线经过屏下成像系统后对应的点扩散函数；根据第二点扩散函数与摄像头的感光特性曲线，生成第一点扩散函数。
在一种可能的实现方式中，生成模块，还用于：根据高亮物体的光谱成分及预设的第三点扩散函数，生成第一点扩散函数；其中，第三点扩散函数为不同波长经过屏下成像系统后对应的点扩散函数。
在一种可能的实现方式中，该装置还可以包括：光谱测量设备，用于采集高亮物体的光谱成分。
在一种可能的实现方式中，该装置还可以包括：采集模块，用于对待处理图像进行图像识别，确定高亮物体的光源类型；根据预设的不同光源类型的光谱成分，确定高亮物体的光谱成分。
在一种可能的实现方式中，该装置还可以包括：分割模块，用于：将待处理图像分割为第一区域及第二区域；其中，第一区域为所述高亮物体及其产生的眩光所在的区域；第二区域为待处理图像中第一区域以外的区域；处理模块，还用于：通过对第一点扩散函数及第一区域，进行解卷积处理，得到去除眩光后的第一区域；将去除所述眩光后的第一区域与第二区域融合，得到去除所述眩光后的图像。
在一种可能的实现方式中，生成模块，还用于：将显示屏的模型作为透过率函数，结合光波传播因子，并以高亮物体的光谱成分作为权重，得到第二点扩散函数；其中，显示屏的模型包括：显示屏的振幅调制函数和相位调制特性函数；光波传播因子根据摄像头拍摄待处理图像时的焦距及所述高亮物体的波长确定。
本申请实施例中，针对屏下成像系统所采集的待处理图像，该待处理图像包括：高亮物体及其产生的眩光，根据待处理图像中高亮物体的光谱成分，生成与不同高亮物体相适应的屏下成像系统中至少一个通道的点扩散函数，进而对第一点扩散函数及待处理图像进行解卷积处理，得到去除高亮物体所产生的眩光后的图像；从而可以有效改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光，提高了图像的清晰度，提升了用户体验。
上述实施例的各种可能的实现方式或说明参见上文，此处不再赘述。
本申请的实施例提供了一种电子设备，该电子设备可以包括：显示屏、显示屏下方的摄像头、处理器和存储器；其中，摄像头用于透过显示屏采集待处理图像；显示屏用于显示待处理图像和去眩光后的图像；存储器，用于存储处理器可执行指令；处理器被配置为执行指令时实现上述实施例的图像处理方法。
图15示出根据本申请一实施例的电子设备的结构示意图。以电子设备是手机为例，图15示出了手机200的结构示意图。
手机200可以包括处理器210，外部存储器接口220，内部存储器221，USB接口230，充电管理模块240，电源管理模块241，电池242，天线1，天线2，移动通信模块251，无线通信模块252，音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，传感器模块280，按键290，马达291，指示器292，摄像头293，显示屏294，以及SIM卡接口295等。其中传感器模块280可以包括陀螺仪传感器280A，加速度传感器280B，接近光传感器280G、指纹传感器280H，触摸传感器280K(当然，手机200还可以包括其它传感器，比如色温传感器、温度传感器、压力传感器、距离传感器、磁传感器、环境光传感器、气压传感器、骨传导传感器等，图中未示出)。
可以理解的是，本申请实施例示意的结构并不构成对手机200的具体限定。在本申请另一些实施例中，手机200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor,ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor,DSP)，基带处理器，和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。其中，控制器可以是手机200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。
处理器210可以运行本申请实施例提供的图像处理方法，以便于有效改善或消除显示屏下摄像头拍摄的图像产生的眩光，尤其是彩虹眩光，提高了图像的清晰度，提升了用户体验。处理器210可以包括不同的器件，比如集成CPU和GPU/NPU时，CPU和GPU/NPU可以配合执行本申请实施例提供的图像处理方法，比如图像处理方法中部分算法由CPU执行，另一部分算法由GPU/NPU执行，以得到较快的处理效率。
显示屏294用于显示图像，视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，手机200可以包括1个或N个显示屏294，N为大于1的正整数。显示屏294可用于显示由用户输入的信息或提供给用户的信息以及各种图形用户界面(graphical user interface，GUI)。例如，显示器294可以显示照片、视频、网页、或者文件等。当处理器210检测到用户的手指(或触控笔等)针对某一应用图标的触摸事件后，响应于该触摸事件，打开与该应用图标对应的应用的用户界面，并在显示器294上显示该应用的用户界面。
在本申请实施例中，显示屏294可以是一个一体的柔性显示屏，也可以采用两个刚性屏以及位于两个刚性屏之间的一个柔性屏组成的拼接显示屏。
摄像头293(前置摄像头或者后置摄像头，或者一个摄像头既可作为前置摄像头，也可作为后置摄像头)用于捕获静态图像或视频，摄像头293可以设置在显示屏294的下方。通常，摄像头293可以包括感光元件比如镜头组和图像传感器，其中，镜头组包括多个透镜(凸透镜或凹透镜)，用于采集待拍摄物体反射的光信号，并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的原始图像。
内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令，从而执行手机200的各种功能应用以及数据处理。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，应用程序(比如相机应用等)的代码等。存储数据区可存储手机200使用过程中所创建的数据(比如相机应用采集的图像、视频等)等。
内部存储器221还可以存储本申请实施例提供的图像处理方法对应的一个或多个计算机程序。该一个或多个计算机程序被存储在上述存储器221中并被配置为被该一个或多个处理器210执行，该一个或多个计算机程序包括指令，上述指令可以用于执行上述相应实施例中的各个步骤，该计算机程序可以包括获取模块1401，用于获取待处理图像；待处理图像为屏下成像系统所采集的图像，屏下成像系统包括显示屏及设置在显示屏下方的摄像头；待处理图像包括：高亮物体及其产生的眩光，其中，高亮物体为待处理图像中呈现指定颜色和/或亮度的拍摄对象；生成模块1402，用于根据高亮物体的光谱成分，生成第一点扩散函数；第一点扩散函数为屏下成像系统中至少一个通道的点扩散函数；处理模块1403，用于对第一点扩散函数及待处理图像进行解卷积处理，得到去除眩光后的图像。
此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
当然，本申请实施例提供的图像处理方法的代码还可以存储在外部存储器中。这种情况下，处理器210可以通过外部存储器接口220运行存储在外部存储器中的图像处理方法的代码。
示例性的，手机200的显示屏294显示主界面，主界面中包括多个应用(比如相机应用等)的图标。用户通过触摸传感器280K点击主界面中相机应用的图标，触发处理器210启动相机应用，打开摄像头293。显示屏294显示相机应用的界面，例如拍摄界面。
移动通信模块251可以提供应用在手机200上的包括2G/3G/4G/5G等无线通信的解决方案。在本申请实施例中，移动通信模块251还可以用于与其它设备进行信息交互(如：获取光谱成分、待处理图像等)。
手机200可以通过音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，以及应用处理器等实现音频功能。例如音乐播放，录音等。手机200可以接收按键290输入，产生与手机200的用户设置以及功能控制有关的键信号输入。手机200可以利用马达291产生振动提示(比如开启去眩光功能提示)。手机200中的指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，提示信息、未接来电，通知等。
应理解，在实际应用中，手机200可以包括比图13所示的更多或更少的部件，本申请实施例不作限定。图示手机200仅是一个范例，并且手机200可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备的软件结构。
图16是本申请实施例的电子设备的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图16所示，应用程序包可以包括电话、相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图16所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
本申请的实施例提供了一种图像处理装置，包括：处理器以及用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述方法。
本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Electrically Programmable Read-Only-Memory，EPROM或闪存)、静态随机存取存储器(Static Random-Access Memory，SRAM)、便携式压缩盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能盘(Digital Video Disc，DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(Local Area Network，LAN)或广域网(WideArea Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(Field-ProgrammableGate Array，FPGA)或可编程逻辑阵列(Programmable Logic Array，PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application SpecificIntegrated Circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其它变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；所述待处理图像为屏下成像系统所采集的图像，所述屏下成像系统包括显示屏及设置在所述显示屏下方的摄像头；所述待处理图像包括：高亮物体及其产生的眩光，其中，所述高亮物体为所述待处理图像中呈现指定颜色或亮度的拍摄对象；
根据所述高亮物体的光谱成分，生成第一点扩散函数；所述第一点扩散函数为所述屏下成像系统中至少一个通道的点扩散函数；
对所述第一点扩散函数及所述待处理图像进行解卷积处理，得到去除所述眩光后的图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述高亮物体的光谱成分，生成第一点扩散函数，包括：
根据所述高亮物体的光谱成分及所述显示屏的模型，生成第二点扩散函数；其中，所述第二点扩散函数为所述高亮物体的不同波长经过所述屏下成像系统后对应的点扩散函数；
根据所述第二点扩散函数及所述摄像头的感光特性曲线，生成所述第一点扩散函数。
3.根据权利要求1所述的方法，其特征在于，所述根据所述高亮物体的光谱成分，生成第一点扩散函数，包括：
根据所述高亮物体的光谱成分及预设的第三点扩散函数，生成所述第一点扩散函数；其中，所述第三点扩散函数为不同波长经过所述屏下成像系统后对应的点扩散函数。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取光谱测量设备所采集的所述高亮物体的光谱成分。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述待处理图像进行图像识别，确定所述高亮物体的光源类型；
根据预设的不同光源类型的光谱成分，确定所述高亮物体的光谱成分。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述待处理图像分割为第一区域及第二区域；其中，所述第一区域为所述高亮物体及其产生的眩光所在的区域；所述第二区域为所述待处理图像中第一区域以外的区域；
所述对所述第一点扩散函数及所述待处理图像进行解卷积处理，得到去除所述眩光后的图像，包括：
通过对所述第一点扩散函数及所述第一区域，进行解卷积处理，得到去除所述眩光后的第一区域；
将所述去除所述眩光后的第一区域与所述第二区域融合，得到所述去除所述眩光后的图像。
7.根据权利要求2所述的方法，其特征在于，所述根据所述高亮物体的光谱成分及所述显示屏的模型，生成第二点扩散函数，包括：
将所述显示屏的模型作为透过率函数，结合光波传播因子，并以所述高亮物体的光谱成分作为权重，得到所述第二点扩散函数；
其中，所述显示屏的模型包括：所述显示屏的振幅调制函数和相位调制特性函数；所述光波传播因子根据所述摄像头拍摄所述待处理图像时的焦距及所述高亮物体的波长确定。
8.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像；所述待处理图像为屏下成像系统所采集的图像，所述屏下成像系统包括显示屏及设置在所述显示屏下方的摄像头；所述待处理图像包括：高亮物体及其产生的眩光，其中，所述高亮物体为所述待处理图像中呈现指定颜色或亮度的拍摄对象；
生成模块，用于根据所述高亮物体的光谱成分，生成第一点扩散函数；所述第一点扩散函数为所述屏下成像系统中至少一个通道的点扩散函数；
处理模块，用于对所述第一点扩散函数及所述待处理图像进行解卷积处理，得到去除所述眩光后的图像。
9.根据权利要求8所述的装置，其特征在于，所述生成模块，还用于：根据所述高亮物体的光谱成分及所述显示屏的模型，生成第二点扩散函数；其中，所述第二点扩散函数为所述高亮物体的不同波长光线经过所述屏下成像系统后对应的点扩散函数；根据所述第二点扩散函数与所述摄像头的感光特性曲线，生成所述第一点扩散函数。
10.根据权利要求8所述的装置，其特征在于，所述生成模块，还用于：根据所述高亮物体的光谱成分及预设的第三点扩散函数，生成所述第一点扩散函数；其中，所述第三点扩散函数为不同波长经过所述屏下成像系统后对应的点扩散函数。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括：光谱测量设备，用于采集所述高亮物体的光谱成分。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括：采集模块，用于：对所述待处理图像进行图像识别，确定所述高亮物体的光源类型；根据预设的不同光源类型的光谱成分，确定所述高亮物体的光谱成分。
13.根据权利要求8所述的装置，其特征在于，所述装置还包括：分割模块，用于：将所述待处理图像分割为第一区域及第二区域；其中，所述第一区域为所述高亮物体及其产生的眩光所在的区域；所述第二区域为所述待处理图像中第一区域以外的区域；
所述处理模块，还用于：通过对所述第一点扩散函数及所述第一区域，进行解卷积处理，得到去除所述眩光后的第一区域；将所述去除所述眩光后的第一区域与所述第二区域融合，得到所述去除所述眩光后的图像。
14.根据权利要求9所述的装置，其特征在于，所述生成模块，还用于：将所述显示屏的模型作为透过率函数，结合光波传播因子，并以所述高亮物体的光谱成分作为权重，得到所述第二点扩散函数；其中，所述显示屏的模型包括：所述显示屏的振幅调制函数和相位调制特性函数；所述光波传播因子根据所述摄像头拍摄所述待处理图像时的焦距及所述高亮物体的波长确定。
15.一种电子设备，其特征在于，包括：显示屏、显示屏下方的摄像头、处理器和存储器；其中，
所述摄像头用于透过所述显示屏采集待处理图像；
所述显示屏用于显示所述待处理图像和去眩光后的图像；
所述存储器，用于存储处理器可执行指令；
所述处理器被配置为执行所述指令时实现权利要求1-7任意一项所述的方法。
16.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-7中任意一项所述的方法。
CN202011474431.3A 2020-12-14 2020-12-14 一种图像处理方法、装置、电子设备及存储介质 Pending CN114626995A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011474431.3A CN114626995A (zh) 2020-12-14 2020-12-14 一种图像处理方法、装置、电子设备及存储介质
PCT/CN2021/137491 WO2022127738A1 (zh) 2020-12-14 2021-12-13 一种图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011474431.3A CN114626995A (zh) 2020-12-14 2020-12-14 一种图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114626995A true CN114626995A (zh) 2022-06-14

Family

ID=81897184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011474431.3A Pending CN114626995A (zh) 2020-12-14 2020-12-14 一种图像处理方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114626995A (zh)
WO (1) WO2022127738A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489828B2 (en) * 2003-10-03 2009-02-10 Media Cybernetics, Inc. Methods, system, and program product for the detection and correction of spherical aberration
US10652435B2 (en) * 2016-09-26 2020-05-12 Rambus Inc. Methods and systems for reducing image artifacts
CN107907483B (zh) * 2017-08-14 2020-04-21 西安电子科技大学 一种基于散射介质的超分辨光谱成像系统及方法
CN110087051B (zh) * 2019-04-19 2020-04-10 清华大学 基于hsv色彩空间的彩色图眩光去除方法及系统
CN111123538B (zh) * 2019-09-17 2022-04-05 印象认知（北京）科技有限公司 图像处理方法及基于点扩散函数调整衍射屏结构的方法
CN111246053B (zh) * 2020-01-22 2022-07-12 维沃移动通信有限公司 图像处理方法及电子设备
CN111812758B (zh) * 2020-07-21 2022-03-15 江西欧迈斯微电子有限公司 衍射光学元件及其制备方法、屏下光学系统及电子设备

Also Published As

Publication number Publication date
WO2022127738A1 (zh) 2022-06-23

Similar Documents

Publication Publication Date Title
CN114205522B (zh) 一种长焦拍摄的方法及电子设备
CN113747048B (zh) 一种图像内容的去除方法及相关装置
US11500533B2 (en) Mobile terminal for displaying a preview image to be captured by a camera and control method therefor
CN112262563A (zh) 图像处理方法及电子设备
CN112712470A (zh) 一种图像增强方法及装置
CN114640783B (zh) 一种拍照方法及相关设备
EP4109879A1 (en) Image color retention method and device
CN113452969B (zh) 图像处理方法和装置
US10282819B2 (en) Image display control to grasp information about image
KR20230147615A (ko) 언더-디스플레이 카메라 시스템들 및 방법들
CN117499779B (zh) 一种图像预览方法、设备以及存储介质
CN114926351A (zh) 图像处理方法、电子设备以及计算机存储介质
CN112702531B (zh) 拍摄方法、装置及电子设备
CN117061861B (zh) 一种拍摄方法、芯片系统和电子设备
CN116152123B (zh) 图像处理方法、电子设备及可读存储介质
CN115589539B (zh) 一种图像调节的方法、设备及存储介质
CN114626995A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113891008B (zh) 一种曝光强度调节方法及相关设备
CN115442517A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN116709042A (zh) 一种图像处理方法和电子设备
EP3920132A1 (en) Electronic device for generating hdr image and operating method therefor
CN113518172A (zh) 图像处理方法和装置
CN114245011B (zh) 图像处理方法、用户界面及电子设备
CN112598586B (zh) 一种雾天图像显示方法及终端
CN117689545B (zh) 图像处理方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination