CN114677291A - 一种图像处理方法、装置及相关设备 - Google Patents

一种图像处理方法、装置及相关设备 Download PDF

Info

Publication number
CN114677291A
CN114677291A CN202210182214.XA CN202210182214A CN114677291A CN 114677291 A CN114677291 A CN 114677291A CN 202210182214 A CN202210182214 A CN 202210182214A CN 114677291 A CN114677291 A CN 114677291A
Authority
CN
China
Prior art keywords
illumination
image
information
color
white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210182214.XA
Other languages
English (en)
Other versions
CN114677291B (zh
Inventor
李宗原
李世东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210182214.XA priority Critical patent/CN114677291B/zh
Publication of CN114677291A publication Critical patent/CN114677291A/zh
Application granted granted Critical
Publication of CN114677291B publication Critical patent/CN114677291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置及相关设备，该方法包括：电子设备检测到用户触发人像模式，并获得第一图像，第一图像中像素点表征的光照为彩色光照；电子设备将第一图像输入卷积神经网络，获得第二图像；第二图像中像素点表征的图片光照为白色光照；白色光照为根据彩色光照得到的。由此可知，本申请实施例中的电子设备在检测到用户触发人像模式时，将通过训练好的卷积神经网络，自动地将图片中的彩色光照转换为白色光照。如此，在用户通过人像模式拍摄人像时，可以避免彩色光照对照片中人物的肤色影响，从而使得用户不需要对照片进行后期处理的同时，减小了彩色光照对人像照片的影响，提高了用户的使用体验。

Description

一种图像处理方法、装置及相关设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及相关设备。
背景技术
随着拍摄技术的发展，人们使用拍摄设置进行拍照得到的照片质量要求越来越高。在人们进行拍照时，环境中的光线会对用户得到的照片质量产生较大的影响。如果拍照时环境中存在彩色光照，彩色光照会影响照片的实际成像效果，使得图片中的事物偏离其原本的颜色。例如，如果拍照时环境中的光照为红色光照，那么得到的照片中的事物就会偏红。
在一些场景下用户可能不希望照片中的事物偏离其原本的颜色。目前，用户为了纠正照片中的彩色光照所带来的色差，通常需要对得到的照片进行复杂的后续处理，而且处理的效果可能并不理想。因此，本领域目前急需一种可以简便地减少彩色光照对照片颜色影响的方法。
发明内容
本申请提供了一种图像处理方法、装置及相关设备，用于简便地减少彩色光照对照片颜色影响。
第一方面，本申请提供了一种图像处理方法，包括：电子设备检测到用户触发人像模式，并获得第一图像，第一图像中像素点表征的光照为彩色光照；电子设备将第一图像输入卷积神经网络，获得第二图像；第二图像中像素点表征的光照为白色光照；白色光照为根据彩色光照得到的。
由此可知，本申请实施例中的电子设备在检测到用户触发人像模式时，将通过训练好的卷积神经网络，自动地将图片中的彩色光照转换为白色光照。如此，在用户通过人像模式拍摄人像时，可以电子设备可以直接将获得的图像中的彩色光照转换为白色光照，从而使得用户不需要对照片的光照进行后期处理的同时，减小了彩色光照对人像照片的影响，提高了用户的使用体验。
作为一种可能的实施方式，电子设备将第一图像输入卷积神经网络，获得第二图像，包括：电子设备将第一图像输入卷积神经网络中的编码层获得第一图像中的深度特征信息；电子设备根据深度特征信息获得第一图像的彩色光照信息，并将彩色光照信息转换为白色光照信息；电子设备将白色光照信息和深度特征信息输入卷积神经网络的解码层获得第二图像。本申请实施例中的卷积神经网络自动提取第一图像中的深度特征信息，并根据深度特征信息获得彩色光照信息。然后将彩色光照信息转换为白色光照信息，并根据白色光照信息生成第二图像。如此，通过卷积神经网络可以提取不同的第一图像中的彩色光照，并将彩色光照转换为白色光照，获得高质量的第二图像，提高了用户的使用体验。
作为一种可能的实施方式，本申请实施例中的彩色光照信息包括表示红R、绿G和蓝B三个通道的光照信息的三组光照系数；白色光照信息包括表示一个通道的光照信息的一组光照系数；电子设备根据深度特征信息获得第一图像的彩色光照信息，并将彩色光照信息转换为白色光照信息，包括：电子设备根据深度特征信息获得第一图像的彩色光照信息，并根据三组光照系数生成一组光照系数。在本申请实施例中彩色光照信息可以由三个通道的光照信息进行表示，而白色光照信息可以仅由一个通道的光照信息表示。从三个通道的光照信息转换为一个通道的光照信息过程中可以通过设置转换系数，得到同强度同方向的白色光照。
作为一种可能的实施方式，本申请实施例中的白色光照包括冷色调的白色光照或暖色调的白色光照。由于本申请实施例提供的方法从图像中提取了彩色光照信息，如此可以通过设置从彩色光照转换为白色光照时的转换系数，得到不同色调的白色光照。如此，可以较为简单地获得不同色调的光照下的图像，提高了用户的使用体验。
作为一种可能的实施方式，本申请实施例中的白色光照的强度与彩色光照的强度相同。作为一种可能的实施方式，本申请实施例中的白色光照的方向与彩色光照的方向相同。由于本申请提供的方法从图像中提取了彩色光照信息，因此可以保留彩色光照信息中的光照方向或光照强度，仅对彩色光照信息中表示光照颜色的部分进行修改，从而可以得到相同角度和相同强度白色光照下的第二图像，提高第二图像的真实度，避免伪像的情况出现。
作为一种可能的实施方式，本申请实施例中的卷积神经网络为根据第一训练图像和第一训练图像对应的第二训练图像训练得到的；第一训练图像中像素点表征的图片光照为彩色光照，第二训练图像中像素点表征的图片光照为白色光照。
作为一种可能的实施方式，本申请实施例提供的方法还包括：电子设备计算得到第一训练图像的人脸法向图；电子设备根据人脸法向图和第一训练图像的彩色光照信息获得第一阴影图；电子设备根据人脸法向图和预设的彩色光照信息获得第二阴影图；电子设备根据第一阴影图、第二阴影图和第一训练图像，获得第三训练图像，第三训练图像中像素点表征的图片光照为彩色光照。本申请实施例提供的方法，可以通过一个彩色光照的第一训练图像和不同的彩色光照信息，生成不同的彩色光照图像。如此，可以大大增大本申请中卷积神经网络的训练样本，提高卷积神经网络的准确性。
作为一种可能的实施方式，本申请实施例中的卷积神经网络还可以为根据第三训练图像和第三训练图像对应的第四训练图像训练得到的，第四训练图像中像素点表征的图片光照为白色光照。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：检测模块，用于检测到用户触发人像模式，并获得第一图像，第一图像中像素点表征的光照为彩色光照；处理模块，用于将第一图像输入卷积神经网络，获得第二图像；第二图像中像素点表征的光照为白色光照；白色光照为根据彩色光照得到的。
作为一种可能的实施方式，本申请实施例中的处理模块包括：输入模块，用于将第一图像输入卷积神经网络中的编码层获得第一图像中的深度特征信息；转换模块，用于根据深度特征信息获得第一图像的彩色光照信息，并将彩色光照信息转换为白色光照信息；获得模块，用于将白色光照信息和深度特征信息输入卷积神经网络的解码层获得第二图像。
作为一种可能的实施方式，本申请实施例中的彩色光照信息包括表示红R、绿G和蓝B三个通道的光照信息的三组光照系数；白色光照信息包括表示一个通道的光照信息的一组光照系数；转换模块，具体用于根据深度特征信息获得第一图像的彩色光照信息，并根据三组光照系数生成一组光照系数。
作为一种可能的实施方式，本申请实施例中的卷积神经网络为根据第一训练图像和第一训练图像对应的第二训练图像训练得到的；第一训练图像中像素点表征的图片光照为彩色光照，第二训练图像中像素点表征的图片光照为白色光照。
本申请实施例还提供了一种电子设备，该设备包括处理器以及存储器：存储器用于存储计算机程序；处理器用于根据计算机程序执行上述的图像处理方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，计算机程序用于执行上述的图像处理方法。
通过上述技术方案可知，本申请具有以下有益效果：
本申请实施例提供了一种图像处理方法，包括：电子设备检测到用户触发人像模式，并获得第一图像，第一图像中像素点表征的光照为彩色光照；电子设备将第一图像输入卷积神经网络，获得第二图像；第二图像中像素点表征的图片光照为白色光照；白色光照为根据彩色光照得到的。
由此可知，本申请实施例中的电子设备在检测到用户触发人像模式时，将通过训练好的卷积神经网络，自动地将图片中的彩色光照转换为白色光照。如此，在用户通过人像模式拍摄人像时，可以避免彩色光照对照片中人物的肤色影响，从而使得用户不需要对照片进行后期处理的同时，减小了彩色光照对人像照片的影响，提高了用户的使用体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种电子设备的架构图；
图2为本申请实施例提供的一种图像处理方法的流程图；
图3为本申请实施例提供的一种电子设备的拍照界面示意图；
图4为本申请实施例提供的一种卷积神经网络的示意图；
图5为本申请实施例提供的一种生成新的训练图像的示意图；
图6为本申请实施例提供的一种图像处理装置的示意图。
具体实施方式
本申请说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于限定特定顺序。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请以下实施例中的术语“用户界面(user interface，UI)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage，XML)等特定计算机语言编写的源代码，界面源代码在电子设备上经过解析，渲染，最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
在一些示例中，电子设备可以是相机、手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、手持计算机、上网本、个人数字助理(Personal Digital Assistant，PDA)、可穿戴电子设备、智能手表等设备，本申请对上述电子设备的具体形式不做特殊限制。为了更好地理解本申请实施例提供案，先对本申请实施例提供的方案的应用场景进行介绍。
如图1所示，终端可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，天线1，天线2，移动通信模块150，无线通信模块160，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本实施例示意的结构并不构成对终端的具体限定。在另一些实施例中，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
在不同的场景下，用户使用电子设备拍照得到的照片会受彩色光照的影响存在较大的区别。例如，当用户使用电子设备对夜晚的彩色灯光进行拍照时，由于用户的拍摄对象为彩色灯光，因此彩色光照并不会对照片的质量产生较大的影响。但在日常生活中，如果用户想要拍摄质量较高的人像照片，通常需要选择具有良好的白色光照的环境。如果用户使用电子设备拍摄人像时，尤其是拍摄人脸照片时，如果环境中的光照为彩色光照，此时环境中的彩色光照将改变照片中人像的肤色等，这将极大地降低人像照片的质量。例如，如果环境中的光照为蓝色，那么用户拍摄的人像照片中人像的皮肤颜色就会偏蓝，那么该照片的质量就会较差。
因此，本申请中的电子设备在用户在触发人像模式后，判断用户想要拍摄白色光照下的人像照片，从而对用户拍摄得到的具有彩色光照的第一图像进行图像处理，将第一图像中的彩色光照替换为白色光照，从而较为精准地提高了人像照片的质量，提高用户的使用体验。
由于用户获得的第一图像可以为任意的图像，在第一图像中不同的位置受到彩色光照的影响不同。例如，假设第一图像中存在蓝色的光照，那么第一图像中的受光面通常受蓝色光照的影响较大，即第一图像的受光面颜色偏差的程度一般会较高。而第一图像中的背光面通常受蓝色光照的影响较小，即第一图像中的背光面颜色偏差的程度一般会较低。由此可见，由于第一图像中不同区域受蓝色光照的影响不同，对第一图像进行简单的整体颜色修改并不能将第一图像中的彩色光照转换为白色光照，并得到高质量的具有白色光照的照片。
介于此，本申请中的电子设备可以通过训练好的卷积神经网络提取第一图像中的彩色光照信息，然后将彩色光照信息转换为白色光照信息，再根据白色光照信息生成白色光照的第二图像。如此，电子设备可以在用户触发人像模式时，自动地将图片中的彩色光照转换为白色光照，不需要用户额外的手动操作，用户可以便利地获得高质量的人像照片，提高了用户的使用体验。
下面结合图2介绍本实施例中图像处理方法的具体步骤。
参见图2，该图为本申请实施例提供的一种图像处理方法的流程图。
如图2所示，本申请实施例提供的图像处理方法包括：
S201：电子设备检测到用户触发人像模式，并获得第一图像，第一图像中像素点表征的光照为彩色光照。
需要说明的是，电子设备在获得第一图像后可以对第一图像进行自动检测。如果电子设备判断第一图像中像素点表征的光照为彩色光照，即可以对第一图像进行图像处理，并在电子设备上显示处理后的图像。而如果电子设备判断第一图像中像素点表征的光照为白色光照，即可以直接在显示屏上显示第一图像，而不用对第一图像进行图像处理。在实际的应该中电子设备可以通过深度学习模型进行判断，可以根据图像的参数直接进行判断，本申请实施例在此不做限定。
电子设备检测到用户触发人像模式可以为电子设备检测到用户在使用电子设备上的拍照软件时，触发了该拍照软件的人像模式。本申请实施例中电子设备获得第一图像的方式可以为通过电子设备上的拍照软件进行拍照。需要说明的是，本申请实施例不限定电子设备检测到用户触发人像模式，和获得第一图像的先后顺序。即电子设备可以先检测到用户触发人像模式，然后再获得第一图像后，对第一图像进行图像处理。电子设备也可以在先获得第一图像，然后再检测到用户触发人像模式后，对第一图像进行处理。下面结合电子设备的界面图对本申请实施例中的人像模式进行介绍。
参见图3，该图为本申请实施例提供的一种电子设备的拍照界面示意图。
如图3所示，本申请实施例提供的电子设备可以在拍照界面显示多种拍照模式，包括：广角、录像、人像模式、夜间模式和全景等。用户可以在不同场景下，选择不同的拍照模式进行拍照，从而使得拍照得到的照片的质量提高。当用户选择人像模式时，电子设备可以检测到用户触发了人像模式。用户在人像模式下进行拍照时，电子设备将自动将用户得到的照片进行图像处理。当然，用户也可以在获得了照片后，转换照片的模式，从而提高照片的质量，本申请实施例在此不做限定。
本申请实施例中的第一图像中像素点表征的光照为彩色光照。在实际的应用中，第一图像可能受多种光照影响，不同的彩色光照对第一图像的影响存在差别，而且同一彩色光照对第一图像的影响可能并不均匀。一般来说，在单一彩色光照下，第一图像中的人像的受光面受到彩色光照的影响可能较大，偏色较为严重。第一图像中的人像的背光面受到彩色光照影响可能较小，偏色也较小。如果第一图像中出现了多个不同角度和强度彩色光照，情况将会变得更加复杂。如果简单对第一图像进行整体调色可能会导致伪像的出现，使得第一图像的质量较差，用户使用电子设备的体验较低。
S202：电子设备将第一图像输入卷积神经网络，获得第二图像；第二图像中像素点表征的光照为白色光照；该白色光照为根据彩色光照得到的。
电子设备将第一图像输入训练好的卷积神经网络，电子设备通过卷积神经网络将第一图像中的彩色光照转化为白色光照，生成第二图像。作为一种可能的实施方式，第一图像中的白色光照的强度与第二图像中的彩色光照的强度相同。第一图像中的白色光照的方向与第二图像中彩色光照的方向相同。
如图4所示，本申请实施例提供的卷积神经网络可以包括编码器100、光照处理模块200和解码器300。具体地，电子设备首先将第一图像输入卷积神经网络中的编码层，获得第一图像中的深度特征信息。然后，电子设备通过光照处理模块200根据深度特征信息，获得第一图像中的彩色光照信息，并将彩色光照信息转换为白色光照信息。最后，电子设备将白色光照信息和深度特征信息输入卷积神经网络的解码层300获得第二图像。
作为一种可能的实施方式，编码器100中可以包括一个输入层和四个编码层，如编码层1、编码层2、编码层3和编码层4。每个输入层可以包括一个卷积层和一个非线性层。四个编码层中的每个编码层都可以包括一个下采样层和一个残差模块。解码器300中可以包括一个输出层和四个解码层，如解码层1、解码层2、解码层3和解码层4。每个解码层可以包括一个残差模块和一个上采样层，输出层包括一个卷积层和一个非线性层。每个编码层输入的特征，同时通过一个跳跃连接层输入到其对应的解码层。例如，解码层1输入的特征在输出至解码层1的同时，通过至跳跃连接层1输出至输出层；解码层2输入的特征在输入至解码层2的同时，通过一个跳跃连接层输出至解码层1。每层编码层都用于提取第一图像的特征，最后，编码层4输出深度特征至光照处理模块202。
光照处理模块202可以包括光照估计模块201、光照融合模块202和光照输入模块203。光照估计模块201包括一个全连接层和一个非线性层。光照估计模块201可以根据深度特征信息，获得第一图像中的彩色光照信息。作为一种可能的实施方式，彩色光照信息可以为包括表示红R、绿G和蓝B三个通道的光照信息的三组光照系数。例如，彩色光照信息可以包括1、2和3，其中1标识R通道的光照信息，2表示绿通道的光照信息，3表示蓝通道的光照信息。三个通道的光照信息可以合成彩色光照。由于在本示例中有四个编码层，因此编码层4可以输出128个维度的深度特征至光照估计模块201。光照估计模块201可以根据128个维度的深度特征中前27个维度的数据做回归得到第一图像中的彩色光照信息。
在实际的应用中，为了提高彩色光照信息的准确性。电子设备还可以包括一个光源传感器，例如多光谱传感器。在电子设备获得第一图像时，光源传感器可以对拍摄现场的光源色温和强度进行检测，然后将光源色温和强度作为彩色光照信息的一部分直接输出至光照融合模块202。
光照融合模块202可以将彩色光照信息转换为白色光照信息。在该示例中，白色光照信息包括表示一个通道的光照信息的一组光照系数。例如白色光照信息可以为2，2可以同时标识RGB三个通道的光照信息，RBG三个通道的光照融合形成了一个通道的白色光照信息。通过这种方式转换得到的白色光照信息表示的白色光照的光照强度和光照方向，通常和彩色光照信息标识的光照强度和光照方向一致。这将使得根据白色光照信息生成的第二图像中的阴影和明暗区域与第一图像中的阴影和明暗区域一致，从而使得生成的第二图像更加真实，避免了伪像的出现。作为一个示例，上述的光照系数可以为球谐光照系数，光照融合模块202可以根据下列公式将RGB三个通道的三组球谐光照系数转换为一个通道的一组球谐光照系数：
Figure BDA0003521751420000071
其中，shadingcolor为RGB三个通道的三组光照系数，shadingw为一个通道的一组光照系数。需要说明的是，公式(1)中的转换系数
Figure BDA0003521751420000072
仅作为一个示例，本申请实施在此不做限定。在实际的应用中，为了得到不同倾向的白色光照图片，可以对公式(1)中的转换系数进行修改。例如，如果想得到包含冷色调的白色光照的第二图像，可以对公式(1)中的转换系数进行冷色调方向的修改；如果想得到包含暖色调的白色光照的第二图像，可以对公式(1)中的转换系数进行暖色调方向的修改。
光照输入模块203包括一个全连接层和一个非线性层。光照输入模块203可以对光照融合模块202生成的白色光照信息进行特征提取，然后将得到的白色光照特征输出至解码器300。作为一个示例，光照输入模块203可以从光照输入模块203生成的表示白色光照的一组球谐光照系数中提取白色光照特征。
解码器300接收光照输入模块203输出的白色光照特征和编码层4输出的深度特征，并对白色光照特征和深度特征进行解码。同时，解码器300还通过跳跃连接层1至跳跃连接层4接收解码器100不同采样率的卷积特征图，来获取一定的浅层特征、高频信息和位置信息，从而保留第一图像中的细节信息。跳跃连接层还可以保证数据维度的一致性，跳跃连接层输出的特征和解码器300中的特征的融合方式可以为相加。深度特征和白色光照特征经过多个解码层后，输出层最后输出包含白色光照的第二图像。
为了提高本申请实施例提供的卷积神经网络的准确性，本申请实施例还利用成对的第一训练图像和第二训练图像对卷积神经网络进行训练。通常第一训练图像中像素点表征的图片光照为彩色光照，第二训练图像中像素点表征的图片光照为白色光照。第一训练图像为输入图像，即本申请在训练卷积神经网络时会将第一训练图像输入卷积神经网络中，并得到卷积神经网络输出的结果。第二训练图像为真值图像，即本申请可以根据第二训练图像为卷积神经网络输出的结果进行打分，并反馈给卷积神经网络，以使卷积神经网络进行自我优化。
在实际的应用中为了训练卷积神经网络模块，通常需要大量不同光照的成对训练图像(输入图像和真值图像)。为了获得不同光照的成对训练图像，电子设备还可以根据现有的彩色光照训练图像和预设的光照信息，生成新的成对的训练图像。
参见图5，该图为本申请实施例提供的一种生成新的训练图像的示意图。
如图5所示，首先电子设备首先估计第一训练图像的人脸3D模型，然后进一步可以计算得到第一训练图像的人脸法向图。电子设备可以根据人脸法向图和人脸亮度计算得到第一训练图像的彩色光照信息(原光照)。电子设备可以根据人脸法向图和第一训练图像的彩色光照信息(新光照)获得第一阴影图(原阴影图shadingori)。然后电子设备可以在光照数据库中选择一个新的光照信息，即预设的彩色光照信息，然后根据人脸法向图和预设的彩色光照信息获得第二阴影图(新彩色阴影图shadingcolor)。电子设备可以根据如下的公式计算得到第三训练图像，即新彩色光照下的人脸图像Icolor：
Figure BDA0003521751420000081
其中，Iori为原图像，即第一训练图像。
电子设备可以根据公式(1)将新彩色阴影图shadingcolor转换为新白色阴影图shadingw。最后，电子设备可以根据如下的公式计算得到新白色光照下的人脸图像Iw，即第四训练图像。
Figure BDA0003521751420000082
在上述的方法中，通过使用不同的预设的彩色光照信息，可以不断地生成多对不同的训练图像。需要说明的是，作为另一种可能的实施方式，本申请实施例中的预设的彩色光照信息也可以被替换为预设的白色光照信息，本申请实施例在此不做限定。当电子设备使用的新光照为预设的白色光照信息时，电子设备根据人脸法向图和预设的白色光照信息计算得到的阴影图为新白色阴影图。然后，电子设备根据公式(2)计算得到的人脸图像为白色光照下的人脸图像，然后电子设备可以根据公式(1)将新白色阴影图转换为新彩色阴影图，并根据公式(3)计算得到新彩色光照下的人脸图像。
由此可知，通过上述的方法，电子设备可以根据一个彩色光照图像，生成具有不同光照的多对训练图像。这些不同光照的训练图像可以用于训练本申请实施例提供的卷积神经网络，提高本申请实施例中卷积神经网络的准确性，进一步提高了卷积神经网络输出的第二图像的质量。
综上所述，本申请中的电子设备可以通过训练卷积神经网络提取第一图像中的彩色光照信息，然后通过将彩色光照信息转换为白色光照信息，再根据白色光照信息生成白色光照的第二图像，从而用户可以得到质量较高的具有白色光照的第二图片。而且电子设备可以在用户触发人像模式时，自动地将图片中的彩色光照转换为白色光照，而不需要用户额外的手动操作，简化了用户的操作，降低了该功能的使用门槛，提高了用户的使用体验。
根据上述实施例中的图像处理方法，本申请实施例还提供一种图像处理装置。
参见图6，该图为本申请实施例提供的一种图像处理装置的示意图。
如图6所示，本申请实施例提供的图像处理装置包括：
检测模块601，用于检测到用户触发人像模式，并获得第一图像，第一图像中像素点表征的光照为彩色光照。
处理模块602，用于将第一图像输入卷积神经网络，获得第二图像；第二图像中像素点表征的光照为白色光照；白色光照为根据彩色光照得到的。
作为一种可能的实施方式，本申请实施例中的处理模块包括：输入模块，用于将第一图像输入卷积神经网络中的编码层获得第一图像中的深度特征信息；转换模块，用于根据深度特征信息获得第一图像的彩色光照信息，并将彩色光照信息转换为白色光照信息；获得模块，用于将白色光照信息和深度特征信息输入卷积神经网络的解码层获得第二图像。
作为一种可能的实施方式，本申请实施例中的彩色光照信息包括表示红R、绿G和蓝B三个通道的光照信息的三组光照系数；白色光照信息包括表示一个通道的光照信息的一组光照系数；转换模块，具体用于根据深度特征信息获得第一图像的彩色光照信息，并根据三组光照系数生成一组光照系数。
作为一种可能的实施方式，本申请实施例中的卷积神经网络为根据第一训练图像和第一训练图像对应的第二训练图像训练得到的；第一训练图像中像素点表征的图片光照为彩色光照，第二训练图像中像素点表征的图片光照为白色光照。
综上所述，本申请中的电子设备可以通过训练卷积神经网络提取第一图像中的彩色光照信息，然后通过将彩色光照信息转换为白色光照信息，再根据白色光照信息生成白色光照的第二图像，从而用户可以得到质量较高的具有白色光照的第二图片。而且电子设备可以在用户触发人像模式时，自动地将图片中的彩色光照转换为白色光照，而不需要用户额外的手动操作，简化了用户的操作，降低了该功能的使用门槛，提高了用户的使用体验。
根据上述实施例提供的图像处理方法和图像处理装置，本申请实施例还提供了一种电子设备，该设备包括处理器以及存储器。其中，存储器用于存储计算机程序；处理器用于根据计算机程序执行上述的图像处理方法。
根据上述实施例提供的图像处理方法和图像处理装置，本申请实施例还提供了一种计算机可读存储介质。其中，计算机可读存储介质用于存储计算机程序，计算机程序用于执行上述的图像处理方法。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
电子设备检测到用户触发人像模式，并获得第一图像，所述第一图像中像素点表征的光照为彩色光照；
所述电子设备将所述第一图像输入卷积神经网络，获得第二图像；所述第二图像中像素点表征的光照为白色光照；所述白色光照为根据所述彩色光照得到的。
2.根据权利要求1所述的方法，其特征在于，所述电子设备将所述第一图像输入卷积神经网络，获得第二图像，包括：
所述电子设备将所述第一图像输入所述卷积神经网络中的编码层获得所述第一图像中的深度特征信息；
所述电子设备根据所述深度特征信息获得第一图像的彩色光照信息，并将所述彩色光照信息转换为白色光照信息；
所述电子设备将所述白色光照信息和所述深度特征信息输入卷积神经网络的解码层获得所述第二图像。
3.根据权利要求2所述的方法，其特征在于，所述彩色光照信息包括表示红R、绿G和蓝B三个通道的光照信息的三组光照系数；所述白色光照信息包括表示一个通道的光照信息的一组光照系数；
所述电子设备根据所述深度特征信息获得第一图像的彩色光照信息，并将所述彩色光照信息转换为白色光照信息，包括：
所述电子设备根据所述深度特征信息获得第一图像的彩色光照信息，并根据所述三组光照系数生成所述一组光照系数。
4.根据权利要求1所述的方法，其特征在于，所述白色光照包括冷色调的白色光照或暖色调的白色光照。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述白色光照的强度与所述彩色光照的强度相同。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述白色光照的方向与所述彩色光照的方向相同。
7.根据权利要求1所述的方法，其特征在于，所述卷积神经网络为根据第一训练图像和所述第一训练图像对应的第二训练图像训练得到的；所述第一训练图像中像素点表征的图片光照为彩色光照，所述第二训练图像中像素点表征的图片光照为白色光照。
8.根据权利要求7所述的方法，其特征在于，还包括：
所述电子设备计算得到第一训练图像的人脸法向图；
所述电子设备根据所述人脸法向图和第一训练图像的彩色光照信息获得第一阴影图；
所述电子设备根据所述人脸法向图和预设的彩色光照信息获得第二阴影图；
所述电子设备根据所述第一阴影图、所述第二阴影图和所述第一训练图像，获得第三训练图像，所述第三训练图像中像素点表征的图片光照为彩色光照。
9.根据权利要求8所述的方法，其特征在于，所述卷积神经网络还为根据第三训练图像和所述第三训练图像对应的第四训练图像训练得到的，所述第四训练图像中像素点表征的图片光照为白色光照。
10.一种图像处理装置，其特征在于，包括：
检测模块，用于检测到用户触发人像模式，并获得第一图像，所述第一图像中像素点表征的光照为彩色光照；
处理模块，用于将所述第一图像输入卷积神经网络，获得第二图像；所述第二图像中像素点表征的光照为白色光照；所述白色光照为根据所述彩色光照得到的。
11.根据权利要求10所述的装置，其特征在于，所述处理模块包括：
输入模块，用于将所述第一图像输入所述卷积神经网络中的编码层获得所述第一图像中的深度特征信息；
转换模块，用于根据所述深度特征信息获得第一图像的彩色光照信息，并将所述彩色光照信息转换为白色光照信息；
获得模块，用于将所述白色光照信息和所述深度特征信息输入卷积神经网络的解码层获得所述第二图像。
12.根据权利要求11所述的装置，其特征在于，所述彩色光照信息包括表示红R、绿G和蓝B三个通道的光照信息的三组光照系数；所述白色光照信息包括表示一个通道的光照信息的一组光照系数；
所述转换模块，具体用于根据所述深度特征信息获得第一图像的彩色光照信息，并根据所述三组光照系数生成所述一组光照系数。
13.根据权利要求10所述的装置，其特征在于，所述卷积神经网络为根据第一训练图像和所述第一训练图像对应的第二训练图像训练得到的；所述第一训练图像中像素点表征的图片光照为彩色光照，所述第二训练图像中像素点表征的图片光照为白色光照。
14.一种电子设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行权利要求1-9中任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-9中任一项所述的方法。
CN202210182214.XA 2022-02-25 2022-02-25 一种图像处理方法、装置及相关设备 Active CN114677291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210182214.XA CN114677291B (zh) 2022-02-25 2022-02-25 一种图像处理方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210182214.XA CN114677291B (zh) 2022-02-25 2022-02-25 一种图像处理方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN114677291A true CN114677291A (zh) 2022-06-28
CN114677291B CN114677291B (zh) 2023-05-12

Family

ID=82072898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210182214.XA Active CN114677291B (zh) 2022-02-25 2022-02-25 一种图像处理方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN114677291B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190045163A1 (en) * 2018-10-02 2019-02-07 Intel Corporation Method and system of deep learning-based automatic white balancing
CN109903248A (zh) * 2019-02-20 2019-06-18 厦门美图之家科技有限公司 一种生成自动白平衡模型的方法和图像处理方法
CN110647930A (zh) * 2019-09-20 2020-01-03 北京达佳互联信息技术有限公司 一种图像处理方法、装置及电子设备
US20200226720A1 (en) * 2019-01-14 2020-07-16 Nvidia Corporation Weighted normalized automatic white balancing
CN111539960A (zh) * 2019-03-25 2020-08-14 华为技术有限公司 图像处理方法以及相关设备
CN111951373A (zh) * 2020-06-30 2020-11-17 重庆灵翎互娱科技有限公司 一种人脸图像的处理方法和设备
WO2021101162A1 (ko) * 2019-11-22 2021-05-27 삼성전자 주식회사 딥 화이트-밸런싱 편집을 위한 방법 및 장치
CN113518210A (zh) * 2020-04-10 2021-10-19 华为技术有限公司 图像自动白平衡的方法及装置
WO2021231776A1 (en) * 2020-05-13 2021-11-18 Qualcomm Incorporated Machine learning based image adjustment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190045163A1 (en) * 2018-10-02 2019-02-07 Intel Corporation Method and system of deep learning-based automatic white balancing
US20200226720A1 (en) * 2019-01-14 2020-07-16 Nvidia Corporation Weighted normalized automatic white balancing
CN109903248A (zh) * 2019-02-20 2019-06-18 厦门美图之家科技有限公司 一种生成自动白平衡模型的方法和图像处理方法
CN111539960A (zh) * 2019-03-25 2020-08-14 华为技术有限公司 图像处理方法以及相关设备
CN110647930A (zh) * 2019-09-20 2020-01-03 北京达佳互联信息技术有限公司 一种图像处理方法、装置及电子设备
WO2021101162A1 (ko) * 2019-11-22 2021-05-27 삼성전자 주식회사 딥 화이트-밸런싱 편집을 위한 방법 및 장치
CN113518210A (zh) * 2020-04-10 2021-10-19 华为技术有限公司 图像自动白平衡的方法及装置
WO2021231776A1 (en) * 2020-05-13 2021-11-18 Qualcomm Incorporated Machine learning based image adjustment
CN111951373A (zh) * 2020-06-30 2020-11-17 重庆灵翎互娱科技有限公司 一种人脸图像的处理方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
全雪峰: "基于改进U-Net网络的图像自动白平衡算法", 《新型工业化》 *

Also Published As

Publication number Publication date
CN114677291B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN109359592B (zh) 视频帧的处理方法、装置、电子设备及存储介质
US9866748B2 (en) System and method for controlling a camera based on processing an image captured by other camera
CN110706310B (zh) 一种图文融合方法、装置及电子设备
US9117410B2 (en) Image display device and method
CN107277479B (zh) 白平衡处理方法和装置
CN105049718A (zh) 一种图像处理方法及终端
CN107451969A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107040726B (zh) 双摄像头同步曝光方法及系统
CN109068058A (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
CN107911625A (zh) 测光方法、装置、可读存储介质和计算机设备
US20170150041A1 (en) Double-exposure photographing method and apparatus of electronic device
CN109844804A (zh) 一种图像检测的方法、装置及终端
CN104751419A (zh) 一种照片显示调节方法及终端
CN109089041A (zh) 拍摄场景的识别方法、装置、电子设备和存储介质
WO2019029573A1 (zh) 图像虚化方法、计算机可读存储介质和计算机设备
CN113810764B (zh) 视频编辑方法和视频编辑装置
CN108230407A (zh) 一种图像的处理方法和装置
US20230074060A1 (en) Artificial-intelligence-based image processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
CN113177886B (zh) 图像处理方法、装置、计算机设备及可读存储介质
CN115908120B (zh) 图像处理方法和电子设备
CN114677291B (zh) 一种图像处理方法、装置及相关设备
EP4231621A1 (en) Image processing method and electronic device
WO2023273111A1 (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN115330610A (zh) 图像处理方法、装置、电子设备以及存储介质
WO2017101570A1 (zh) 照片的处理方法及处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant