CN116703791B - 图像的处理方法、电子设备及可读介质 - Google Patents

图像的处理方法、电子设备及可读介质 Download PDF

Info

Publication number
CN116703791B
CN116703791B CN202211285068.XA CN202211285068A CN116703791B CN 116703791 B CN116703791 B CN 116703791B CN 202211285068 A CN202211285068 A CN 202211285068A CN 116703791 B CN116703791 B CN 116703791B
Authority
CN
China
Prior art keywords
image
3dlut
processing
data
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211285068.XA
Other languages
English (en)
Other versions
CN116703791A (zh
Inventor
张心鸣
蔡子轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211285068.XA priority Critical patent/CN116703791B/zh
Publication of CN116703791A publication Critical patent/CN116703791A/zh
Application granted granted Critical
Publication of CN116703791B publication Critical patent/CN116703791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像的处理方法，包括：获取第一图像的第一图像数据；处理第一图像数据，得到第二图像数据，第二图像数据包括第一图像数据、第一图像的明度数据和第一图像的饱和度数据；对第二图像数据进行编码，得到第一图像特征序列；处理第一图像特征序列，得到多个第一权重；其中，多个第一权重用于配置给第一三维显示查找表3DLUT，以使得第一3DLUT融合得到全局3DLUT；利用全局3DLUT对第一图像进行插值处理，得到第二图像，实现了方便的完成对图像的修图。

Description

图像的处理方法、电子设备及可读介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像的处理方法、电子设备及计算机可读存储介质。
背景技术
随着智能手机等电子设备的发展和普及，越来越多的人们使用手机等电子设备进行拍照，与此同时人们对电子设备拍照的要求也越来越高。
通常情况下，为了使电子设备拍摄的图像能够达到较好的显示效果，电子设备拍摄出的图像需要经过后期修图处理。但是，对电子设备拍摄出的图像由修图师进行修图处理，修图师的修图过程较为繁琐，无法应用于手机等电子设备。
发明内容
本申请提供了一种图像的处理方法、电子设备、计算机程序产品及计算机可读存储介质，目的在于实现简单完成对图像的修图处理。
为了实现上述目的，本申请提供了以下技术方案：
第一方面，本申请提供了一种图像的处理方法，包括：获取第一图像的第一图像数据；处理第一图像数据，得到第二图像数据，第二图像数据包括第一图像数据、第一图像的明度数据和第一图像的饱和度数据；对第二图像数据进行编码，得到第一图像特征序列；处理第一图像特征序列，得到多个第一权重；其中，多个第一权重用于配置给第一三维显示查找表3DLUT，以使得第一3DLUT融合得到全局3DLUT；利用全局3DLUT对第一图像进行插值处理，得到第二图像。
图像的明度可以体现图像的光影感，图像的饱和度可以体现图像的色彩平滑度。因此，图像的明度数据和饱和度数据属于修图过程中关注度较高的数据。第一方面提供的图像处理中，将包括第一图像的图像数据、明度数据和饱和度数据的第二图像数据进行编码，得到第一图像特征序列，可以实现将修图过程中关注度较高的数据作为显性的信息来处理。并且，3DLUT用于实现图像的色彩映射，因此，对第一图像特征序列进行处理，得到多个第一权重，第一3DLUT乘以第一权重之后融合得到全局3DLUT，全局3DLUT可实现对第一图像在全局上的色彩映射，进一步利用全局3DLUT对第一图像进行插值处理，得到第二图像，实现了对图像的修图处理。并且，因对第一图像的处理过程中无需修图师操作，保证了对图像修图处理的方便性。
在一个可能的实施方式中，对第二图像数据进行编码，得到第一图像特征序列之后，该图像的处理方法还包括：处理第一图像特征序列，得到第二图像特征序列，第二图像特征序列属于第一图像中被重点关注区域的图像特征序列；处理第二图像特征序列，得到多个第二权重，多个第二权重用于配置给第二三维显示查找表3DLUT，以使得第二3DLUT融合得到局部3DLUT；处理第二图像特征序列，得到图像序列，图像序列与第一图像的大小相同；基于图像序列反映的图像数据的重要度，对第一图像数据进行采样，得到采样点的图像数据，并对采样点的图像数据进行笛卡尔坐标转换，得到非均匀3DLUT；融合局部3DLUT和非均匀3DLUT，得到非均匀局部3DLUT；其中：利用全局3DLUT对第一图像进行插值处理，得到第二图像，包括：利用全局3DLUT和非均匀局部3DLUT，对第一图像进行插值处理，得到第二图像。
在上述可能的实施方式中，处理第一图像特征序列，得到第二图像特征序列，因第二图像特征序列属于第一图像中被重点关注区域的图像特征序列，因此，处理第二图像特征序列，得到多个第二权重，多个第二权重用于配置给第二三维显示查找表3DLUT，以使得第二3DLUT融合得到局部3DLUT，可以利用局部3DLUT实现更有针对性的对第一图像中被重要关注的区域的色彩进行映射。
在一个可能的实施方式中，利用全局3DLUT和非均匀局部3DLUT，对第一图像进行插值处理，得到第二图像，包括：利用全局3DLUT对第一图像数据进行映射，得到第三图像数据；利用非均匀局部3DLUT对第一图像数据进行映射，得到第四图像数据；融合第三图像数据和第四图像数据，得到第二图像。
在一个可能的实施方式中，融合第三图像数据和第四图像数据，得到第二图像包括：利用第三图像数据的权重和第四图像数据的权重，对第三图像数据和第四图像数据进行加权求和，得到第二图像。
在一个可能的实施方式中，处理第一图像数据，得到第二图像数据，包括：获取第一图像的明度数据和饱和度数据；组合第一图像数据、明度数据和饱和度数据，得到第二图像数据。
在一个可能的实施方式中，图像的处理方法可应用于配置有图像处理系统的电子设备，该图像处理系统包括编码模块、第一后处理层，包括多个第一3DLUT的第一3DLUT模块以及三线性插值模块；其中：对第二图像数据进行编码，得到第一图像特征序列，包括：调用编码模块对第二图像数据进行编码，得到第一图像特征序列；处理第一图像特征序列，得到多个第一权重，包括：调用第一后处理层处理第一图像特征序列，得到多个第一权重，利用全局3DLUT对第一图像进行插值处理，得到第二图像，包括：调用三线性插值模块利用全局3DLUT对第一图像进行插值处理，得到第二图像。
在一个可能的实施方式中，图像处理系统还包括：卷积注意力机制模块CBAM、第二后处理层、包括多个第二3DLUT的第二3DLUT模块、解码模块、采样模块以及融合模块，其中：处理第一图像特征序列，得到第二图像特征序列，包括：调用CBAM处理第一图像特征序列，得到第二图像特征序列；处理第二图像特征序列，得到多个第二权重，包括：调用第二后处理层处理第二图像特征序列，得到多个第二权重；处理第二图像特征序列，得到图像序列，包括：调用解码模块处理第二图像特征序列，得到图像序列；基于图像序列反映的图像数据的重要度，对第一图像数据进行采样，得到采样点的图像数据，并对采样点的图像数据进行笛卡尔坐标转换，得到非均匀3DLUT，包括：调用采样模块基于图像序列反映的图像数据的重要度，对第一图像数据进行采样，得到采样点的图像数据，并对采样点的图像数据进行笛卡尔坐标转换，得到非均匀3DLUT；融合局部3DLUT和非均匀3DLUT，得到非均匀局部3DLUT，包括：调用融合模块融合局部3DLUT和非均匀3DLUT，得到非均匀局部3DLUT；利用全局3DLUT和非均匀局部3DLUT，对第一图像进行插值处理，得到第二图像，包括：调用三线性插值模块利用全局3DLUT和非均匀局部3DLUT，对第一图像进行插值处理，得到第二图像。
在一个可能的实施方式中，第一后处理层包括卷积层，卷积层的输出通道与第一3DLUT模块中的第一3DLUT的数量相同；或者，第一后处理层包括全连接层，全连接层输出的数量与第一3DLUT模块中的第一3DLUT的数量相同。
在一个可能的实施方式中，第二后处理层包括卷积层，卷积层的输出通道与第二3DLUT模块中的第二3DLUT的数量相同；或者，第二后处理层包括全连接层，全连接层输出的数量与第二3DLUT模块中的第二3DLUT的数量相同。
在一个可能的实施方式中，获取第一图像之前，还包括：获取第一样本数据，第一样本数据包括样本图像和标准样本图像；利用第一样本数据对图像处理系统的初始版进行训练，得到图像处理系统的中间版；获取第二样本数据，第二样本数据包括样本图像；利用第二样本数据对图像处理系统的中间版进行半监督训练，得到图像处理系统的最终版。
在本可能的实施方式中，由于第一样本数据中的标准样本图像属于修图后的图像，其数量较少，且目前能够获取到的多个标准样本图像并不具有相同的修图效果，因此，在利用第一样本数据对图像处理系统进行训练之后，再利用二样本数据对图像处理系统的中间版进行半监督训练，可以实现无需采用大量的标准样本图像，即可实完成对图像处理系统的训练。
在一个可能的实施方式中，利用第二样本数据对图像处理系统的中间版进行半监督训练，得到图像处理系统的最终版，包括：调用图像处理系统的中间版对第二样本数据进行第一次处理，得到第一处理后图像；调用图像处理系统的中间版对第二样本数据进行第二次处理，得到第二处理后图像；利用第一处理后图像和第二处理后图像计算梯度，并以梯度更新图像处理系统的中间版中的参数，以更新参数后的图像处理系统返回执行获取第二样本数据，直至图像处理系统的中间版满足预设训练结束条件；其中，预设训练结束条件包括：损失函数的收敛条件，以及第二样本数据中的AB通道的损失差值位于预设区间，和第二样本数据中的人像的面部亮区和暗区的明度差异控制在一定范围内两个中的至少一个。
在本可能的实施方式中，预设训练结束条件包括：第二样本数据中的AB通道的损失差值位于预设区间，和第二样本数据中的人像的面部亮区和暗区的明度差异控制在一定范围内两个中的至少一个，可以实现在利用半监督训练图像处理系统过程中，利用LAB损失及亮暗区域明度损失，对图像处理系统处理图像的过程进行一些干预，使图像处理系统处理后的图像，显示效果尽量稳定。
第二方面，本申请提供了一种电子设备，包括：一个或多个处理器、存储器和显示屏；存储器和显示屏，与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，电子设备执行如第一方面中任意一项的图像的处理方法。
第三方面，本申请提供了一种计算机可读存储介质，用于存储计算机程序，计算机程序被执行时，具体用于实现如第一方面中任意一项所述的图像的处理方法。
第四方面，本申请提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面中任意一项所述的图像的处理方法。
附图说明
图1为本申请实施例提供的一种拍照的应用场景；
图2为本申请实施例提供的另一种拍照的应用场景；
图3为本申请实施例提供的电子设备的硬件结构图；
图4为本申请实施例提供的图像处理系统的结构图；
图5为本申请实施例提供的encoder的结构图；
图6为本申请实施例提供的一种图像的处理方法的流程图；
图7为本申请实施例提供的3DLUT的展示图；
图8为本申请实施例提供的训练图像处理系统的展示图；
图9为本申请实施例提供的另一种拍照的应用场景；
图10为本申请实施例提供的另一种拍照的应用场景。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
图1展示了用户A给用户B拍照的应用场景。受限于手机拍摄的能力，用户A使用手机对用户B拍摄出的图像的品质一般，往往难以呈现真实还原用户B面容的效果，更无法达到用户期待风格的效果。例如用户期待的风格为人像的肤色偏红润或者偏黄等。示例性的，图1展示的应用场景中，用户A使用手机给用户B拍摄图像，手机的显示屏显示的图像的颜色具有一定灰度，与用户B真实的模样有一定的差距。
图2展示了用户A自拍的应用场景。用户利用手机的前置摄像头自拍时，手机的拍摄能力也会影响手机拍摄出的图像的品质。图2也示例性的展示了用户B自拍过程中的图像，用户A自拍时，手机的显示屏显示的图像的颜色也具有一定灰度，与用户A真实的模样也存在一定的差距。
通常情况下，为了使手机拍摄的图像能够达到较好的显示效果，手机拍摄出的图像需要经过修图师的后期修图处理。但是，修图师对手机拍摄出的图像进行修图处理，修图过程较为繁琐，无法应用于手机等端侧设备。
基于此，本申请实施例提供了一种图像的处理方法，可以实现拍摄图像过程中，对图像进行修图处理，使得拍摄出的图像具备风格化的显示效果。
本申请实施例提供的图像的处理方法可以适用于手机，平板电脑，个人数字助理(Personal Digital Assistant，PDA)，桌面型、膝上型、笔记本电脑，超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)，手持计算机，上网本以及可穿戴设备等具有拍摄功能的电子设备。
以手机为例，图3为本申请实施例提供的一种电子设备的组成示例。如图3所示，电子设备300可以包括处理器310、内部存储器320、传感器模块330、移动通信模块340、无线通信模块350以及显示屏360等。
可以理解的是，本实施例示意的结构并不构成对电子设备300的具体限定。在另一些实施例中，电子设备300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元，例如：处理器310可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，智能传感集线器(sensorhub)和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
处理器310中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器310的等待时间，因而提高了系统的效率。
内部存储器320可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器310通过运行存储在内部存储器320的指令，从而执行电子设备300的各种功能应用以及数据处理。内部存储器320可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备300使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器310通过运行存储在内部存储器320的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备300的各种功能应用以及数据处理。
一些实施例中，内部存储器320存储的是用于执行处理图像的指令以及图像处理系统。处理器310可以通过执行存储在内部存储器320中的指令，实现控制电子设备调用图像处理系统处理图像，得到处理后的图像，还可将处理后的图像显示于显示屏上。
传感器模块330中，压力传感器330A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器330A可以设置于显示屏360。压力传感器330A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器330A，电极之间的电容改变。电子设备根据电容的变化确定压力的强度。当有触摸操作作用于显示屏360，电子设备根据压力传感器330A检测触摸操作强度。电子设备也可以根据压力传感器330A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。
触摸传感器330B，也称“触控器件”。触摸传感器330B可以设置于显示屏360，由触摸传感器330B与显示屏360组成触摸屏，也称“触控屏”。触摸传感器330B用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏360提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器330B也可以设置于电子设备的表面，与显示屏360所处的位置不同。
电子设备300的无线通信功能可以通过天线1，天线2，移动通信模块340，无线通信模块350，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备300中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块340可以提供应用在电子设备300上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块340可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块340可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块340还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块340的至少部分功能模块可以被设置于处理器310中。在一些实施例中，移动通信模块340的至少部分功能模块可以与处理器310的至少部分模块被设置在同一个器件中。
无线通信模块350可以提供应用在电子设备300上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块350可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块350经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器310。无线通信模块350还可以从处理器310接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
电子设备通过GPU，显示屏360，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏360和应用处理器。GPU通过执行数学和几何计算，用于图像渲染。处理器310可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏360用于显示图像，视频界面等。显示屏360包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oled，量子点发光二极管(quantum dotlight emitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏360，N为大于1的正整数。
电子设备的显示屏360上可以显示一系列图形用户界面(graphical userinterface，GUI)，这些GUI都是该电子设备的主屏幕。一般来说，电子设备的显示屏360的尺寸是固定的，只能在该电子设备的显示屏360中显示有限的控件。控件是一种GUI元素，它是一种软件组件，包含在应用程序中，控制着该应用程序处理的所有数据以及关于这些数据的交互操作，用户可以通过直接操作(direct manipulation)来与控件交互，从而对应用程序的有关信息进行读取或者编辑。一般而言，控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。例如，在本申请实施例中，显示屏360可以显示虚拟按键。
电子设备可以通过ISP，摄像头370，视频编解码器，GPU，显示屏360以及应用处理器等实现拍摄功能。
ISP用于处理摄像头370反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头370中。
摄像头370用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备可以包括1个或N个摄像头370，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样，电子设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG3等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
需要说明的是，内部存储器320存储的图像处理系统，其结构可如图4所示，包括：编码器(encoder)、后处理层1、卷积注意力机制模块(Convolutional Block AttentionModule，CBAM)、后处理层2、第一3DLUT(Look Up Table，显示查找表)模块、第二3DLUT(LookUp Table，显示查找表)模块、解码器(decoder)、采样模块、融合模块以及三线性插值模块。
其中，encoder也可称为编码模块，用于提取输入图像的特征，并进行编码，得到图像特征序列。
一些实施例中，encoder包含卷积层，激活函数层，归一化层以及为了防止过拟合的Dropout层。encoder中，卷积层，激活函数层和归一化层，可以多层堆叠。示例性的，图5展示的encoder包括多个由卷积层，激活函数层和归一化层组成的基础模块，其中，第一个基础模块的卷积层用于接收输入图像，如一张图像的五通道数据，该五通道数据由原图和原图的明度数据、饱和度数据堆叠得到；最后一个基础模块的归一化层的输出数据作为Dropout层的输入数据。
卷积层用于从输入图像中提取特征，利用固定大小(如3x3)的卷积核在输入图像中滑动，对应位置的卷积核与输入图像的像素值相乘再相加，获得卷积后输出。其中，卷积核每滑动一次就进行一次卷积运算，直至卷积核在输入图像中滑动完毕，得到输出的特征图。
激活函数层用于对输入的数据进行函数变换。例如：激活函数(Rectified LinearUnit，ReLU)主要为max(x,0)，即当x>0的时候，输出x，当x<＝0的时候，输出0。
归一化层主要是为了防止网络的梯度爆炸或者梯度消失。一些实施例中，归一化层主要使用的是InstanceNorm，可对每个通道的数据进行归一化。
InstanceNorm采用公式1对每个通道的数据进行归一化。
公式1中，β和γ是线性变换加平移的仿射系数，x为矩阵，即为一个通道的数据，σ为标准差，∈为偏差值。
后处理层1用于处理encoder输出的图像特征序列，得到多个权重W1。通常情况下，权重W1可以理解成是0-1之间的数值。在不做约束的情况下，权重W1也可为任意正负值。
一些实施例中，后处理层1可以是一个卷积层，也可以是一个全连接层。后处理层1是卷积层，则要求卷积层的输出通道的个数与第一3DLUT模块中的3DLUT的个数一致；后处理层1是全连接层，则要求全连接层的输出数量为与第一3DLUT模块中的3DLUT的个数一致。
第一3DLUT模块包括多个3DLUT，每个3DLUT可用于进行图像色彩的映射，3DLUT的数量通常为3-30之间。后处理层1得到的多个权重W1可配置给第一3DLUT模块的3DLUT，当然，一个权重W1配置给一个3DLUT。
卷积注意力机制模块CBAM包括通道注意力模块和空间注意力模块。其中：
通道注意力模块用于对输入的图像特征序列分别进行全局最大池化和全局平均池化，全局最大池化的结果和全局平均池化的结果输入到一个两层卷积神经网络(Convolutional Neural Networks，CNN)，两层卷积神经网络得到特征向量Mc。通道注意力模块再将特征向量Mc和输入的图像特征序列做逐像素相乘，可以得到要输入到空间注意力模块的特征序列。
空间注意力模块用于将输入的特征序列同样经过全局最大池化和全局平均池化，并对全局最大池化的结果和全局平均池化的结果进行拼接，将拼接后的序列经过卷积降维生成特征向量Ms。空间注意力模块再将特征向量Ms与输入的特征序列逐像素相乘之后，得到卷积注意力机制模块CBAM输出的图像特征序列。
可以理解的是，CBAM是对输入的图像特征序列进行两次注意力调整，得到原图中被重点关注区域的图像特征序列，该图像特征序列可以理解成是权重序列，该权重序列中的一个像素点的权重值用于指示该像素点的重要性，即被采样的概率。一个像素点的权重值越大，该像素点被采样到的概率越大。
示例性的，原图为人像，人像中的视觉的重点关注区域通常为人脸区域和皮肤区域。因此，encoder得到的图像特征序列经过CBAM处理之后，CBAM可得到人脸区域和皮肤区域的局部区域特征序列，即对于原图来说，人脸区域和皮肤区域的权重值较大，该区域被采样的概率以及采样点的数量要更多。
CBAM得到的图像特征序列与输入到CBAM的图像特征序列大小一致，因此，CBAM得到的图像特征序列小于原图的图像数据对应的序列，为了保证CBAM得到的图像特征序列与原图的图像数据对应的序列大小一致，CBAM得到的输出特征序列输入到decoder。decoder也可称为解码模块，用于对CBAM得到的图像特征序列进行上采样，得到与原图的图像数据对应的序列大小一致的图像序列。
后处理层2用于处理CBAM输出的图像特征序列，得到多个权重W2。通常情况下，权重W2也可以理解成是0-1之间的数值。在不做约束的情况下，权重W2也可为任意正负值。
一些实施例中，后处理层2可以是一个卷积层，也可以是一个全连接层。后处理层2是卷积层，则要求卷积层的输出通道的个数与第二3DLUT模块中的3DLUT的个数一致；后处理层2是全连接层，则要求全连接层的输出数量为与第二3DLUT模块中的3DLUT的个数一致。
第二3DLUT模块包括多个3DLUT，每个3DLUT也可用于进行图像色彩的映射。并且，第二3DLUT模块包括的3DLUT的数量小于第一3DLUT模块的3DLUT的数量，第二3DLUT模块中的3DLUT的数量通常为3-10中的任意数值。后处理层2得到的多个权重W2可配置给第二3DLUT模块的3DLUT，当然，一个权重W2配置给一个3DLUT。
采样模块用于利用decoder输出的图像序列指示的像素点的权重值，对原图的图像数据进行采样，得到多个采样点的图像数据。
需要说明的是，一个采样点的图像数据可以理解成：一个像素点的R通道的通道数据，G通道的通道数据以及B通道的通道数据，每一个通道的通道数据均为一维数据。因此，需要将多个采样点的三个一维数据，进行坐标转换得到三维数据。该三维数据则可以理解成是非均匀3DLUT。
融合模块用于融合局部3DLUT和非均匀3DLUT，得到非均匀局部3DLUT。
三线性插值模块用于利用全局3DLUT和非均匀局部3DLUT，对原图的图像数据进行插值处理，得到处理后图像的图像数据。
本申请实施例中，手机等电子设备可利用前述内容提出的图像处理系统对图像进行处理，得到处理后的图像。其中，处理后的图像相对于原图具备修图后的显示效果。
在图1或图2展示的应用场景中，手机的相机应用被开启之后，手机的摄像头运行以采集图像，相机应用利用摄像头采集的图像形成相机预览界面显示于显示屏。在相机应用利用采集的图像形成相机预览界面的过程中，手机可执行本申请实施例提供的图像的处理方法，将摄像头采集的原图进行处理，得到处理后的图像，并以处理后的图像形成相机预览界面。
当然，手机也可在其他应用场景中，利用本申请实施例提供的图像的处理方法对图像进行处理。例如手机对图库应用保存的图像进行处理，得到处理后的图像，并将该处理后的图像保存于图库应用。
以下结合图6对本申请实施例提供的图像的处理方法进行详细介绍。图6展示了本申请实施例提供的图像的处理方法的信令图。如图6所示，本申请实施例提供的图像的处理方法，包括：
S601、获取原图的图像数据。
如前述内容，手机在一些应用场景中获取一张图像。例如：手机获取摄像头采集的一张图像的图像数据，或者图库应用保存的一张图像的图像数据。
通常情况下，手机获取的图像是RGB格式的图像，因此，该图像的图像数据包括：RGB三通道的通道数据。
S602、处理图像数据，得到YUV格式的图像数据以及HSV格式的图像数据。
通常情况下，在对摄像头拍摄的一张图像进行修图处理过程中，修图师较为关注该图像的光影感以及色彩平滑度。图像的明度可以体现图像的光影感，图像的饱和度可以体现图像的色彩平滑度，因此，针对一张图像进行修改处理时，需要得到该图像的明度以及饱和度。
由步骤S601可知：摄像头拍摄的图像或者图库应用保存的图像通常为RGB格式，因此，手机需要将该RGB格式的图像数据，分别处理成YUV格式的图像数据以及HSV格式的图像数据。其中，YUV格式的图像数据中的Y通道数据为明度数据，HSV格式的图像数据中的S通道数据为饱和度数据。
一些实施例中，手机可利用公式2，将RGB格式的图像数据转换为YUV格式的图像数据。
一些实施例中，手机可利用公式3，将RGB格式的图像数据转换为HSV格式的图像数据。
公式3
V←max(R,G,B)
If H＜0then H←H+360.On output0≤V≤1，0≤S≤1,0≤H≤360.
S603、组合图像数据，YUV格式的图像数据中的Y通道数据以及HSV格式的图像数据中的S通道数据，得到待处理图像数据。
如图4所示，原图的图像数据，与明度数据和饱和度数据进行组合，可得到待处理图像数据。由前述步骤S602可知：YUV格式的图像数据中的Y通道数据为明度数据，HSV格式的图像数据中的S通道数据为饱和度数据，因此，原图的图像数据，与YUV格式的图像数据中的Y通道数据以及HSV格式的图像数据中的S通道数据进行组合，得到待处理图像数据。
需要说明的是，原图为RGB格式，包括RGB三通道数据。基于此，原图的图像数据，与YUV格式的图像数据中的Y通道数据以及HSV格式的图像数据中的S通道数据进行组合，可以理解成将RGB三通道数据，与YUV格式的图像数据中的Y通道数据以及HSV格式的图像数据中的S通道数据，组合成五通道数据。
还需要说明的是，前述步骤S601至步骤S603可以理解成是：获取一张图像的五通道数据(分别包括明度数据，饱和度数据以及颜色数据)的一种实现方式。一些实施例中，原图的图像格式也可以为其他格式，如此可以采用其他的方式得到图像的五通道数据。
还需要说明的是，一张图像的明度数据和饱和度数据，与图像的原数据组合形成待处理图像数据，通过下述步骤S604，可以保证明度数据和饱和度数据这些修图过程中需要被重点关注的数据，能够与原图的图像数据一起送入到encoder进行特征的计算，相当于将将修图过程中被重点关注的图像信息提取出来，作为一种显性的信息送入到图像处理系统中。
S604、调用encoder处理待处理图像数据，得到第一图像特征序列。
如前述对应图4和图5的实施例的内容，encoder将待处理图像数据进行编码处理，得到第一图像特征序列。
S605、调用后处理层1处理第一图像特征序列，得到多个第一权重。
如前述对应图4的实施例的内容，后处理层1可以为卷积层或者全连接层，在后处理层1为卷积层时，卷积层的输出通道的个数与第一3DLUT模块中的3DLUT的个数一致，因此，卷积层可输出第一3DLUT模块中的3DLUT的个数的第一权重。在后处理层1为全连接层时，全连接层的输出数量为与第一3DLUT模块中的3DLUT的个数一致，因此，全连接层也可输出第一3DLUT模块中的3DLUT的个数的第一权重。
S606、调用第一3DLUT模块处理多个第一权重，得到基于全图的色彩映射的全局3DLUT。
如前述对应图4的实施例的内容，后处理层1处理第一图像特征序列，得到的第一权重的数量，与第一3DLUT模块包括的3DLUT的数量相同。基于此，手机将后处理层1得到的一个第一权重，赋值给第一3DLUT模块包括的一个3DLUT。之后，手机根据各个3DLUT的权重，融合得到基于全图的色彩映射的全局3DLUT。一些实施例中，手机根据各个3DLUT的权重，融合得到基于全图的色彩映射的全局3DLUT可以理解成：手机将乘以各自权重的3DLUT进行相加，得到基于全图的色彩映射的全局3DLUT。
示例性的，后处理层1处理第一图像特征序列，得到3个第一权重W1，第一3DLUT模块包括3个3DLUT。第一个第一权重W1可赋值为第一个3DLUT，第二个第一权重W1可赋值为第二个3DLUT，第三个第一权重W1可赋值为第三个3DLUT。将每个权重值赋给不同的3DLUT之后，将乘以权重后得到的3个不同的3DLUT进行相加，得到1个融合后的3DLUT。
S607、调用CBAM处理第一图像特征序列，得到第二图像特征序列。
如对应图4的实施例的内容，CBAM是对第一图像特征序列进行两次注意力调整，得到原图中被重点关注区域的图像特征序列，即第二图像特征序列。其中，第二图像特征序列包括多个像素点的权重值，每个像素点的权重值用于指示该像素点被采样的概率。
S608、调用后处理层2处理第二图像特征序列，得到多个第二权重。
如前述对应图4的实施例的内容，后处理层2也可以为卷积层或者全连接层，在后处理层2为卷积层时，卷积层的输出通道的个数与第二3DLUT模块中的3DLUT的个数一致，因此，卷积层可输出第二3DLUT模块中的3DLUT的个数的第二权重。在后处理层2为全连接层时，全连接层的输出数量为与第二3DLUT模块中的3DLUT的个数一致，因此，全连接层也可输出第二3DLUT模块中的3DLUT的个数的第二权重。
S609、调用第二3DLUT模块处理多个第二权重，得到基于图像局部区域的色彩映射的局部3DLUT。
如前述对应图4的实施例的内容，后处理层2处理第二图像特征序列，得到的第二权重的数量，与第二3DLUT模块包括的3DLUT的数量相同。基于此，手机将后处理层2得到的一个第二权重，赋值给第二3DLUT模块包括的一个3DLUT。之后，手机根据各个3DLUT的权重，融合得到基于图像局部区域的色彩映射的局部3DLUT。一些实施例中，手机根据各个3DLUT的权重，融合得到基于图像局部区域的色彩映射的局部3DLUT可以理解成：手机将乘以各自权重的3DLUT进行相加，得到基于图像局部区域的色彩映射的局部3DLUT。
示例性的，后处理层2处理第一图像特征序列，得到3个第二权重W2，第二3DLUT模块包括3个3DLUT。第一个第二权重W2可赋值为第一个3DLUT，第二个第二权重W2可赋值为第二个3DLUT，第三个第二权重W2可赋值为第三个3DLUT。将每个权重值赋给不同的3DLUT之后，将乘以权重后得到的3个不同的3DLUT进行相加，得到1个融合后的3DLUT。
S610、调用decoder处理第二图像特征序列，得到图像序列，图像序列与原图的图像数据对应的序列的大小相同。
如前述对应图4的实施例的内容，因第二图像特征序列小于原图的图像数据对应的序列，为了保证CBAM得到的图像特征序列与原图的图像数据对应的序列大小一致，decoder对CBAM得到的图像特征序列进行上采样，得到与原图的图像数据对应的序列大小一致的图像序列。
需要说明的是，因第二图像特征序列包括多个像素点的权重值，因此，decoder处理第二图像特征序列，得到图像序列包括原图中每个像素点的权重值。
S611、基于图像序列反映的图像数据的重要度，对图像数据进行采样，得到采样点的图像数据。
因图像序列包括原图中每个像素点的权重值，该权重值用于指示该像素点被采样的概率，因此，可以利用图像序列中包括的每个像素点的权重值，来对原图的图像数据进行采样。当然，图像序列中的一个像素点的权重较高，则会从原图的图像数据中采样该像素点多的图像数据。
一些实施例中，可以筛选出图像序列中的权重值大于门限值的像素点，被筛选出的每一个像素点则作为采样点，在原图的图像数据中采集每一个采样点的图像数据。
因原图的图像数据为RGB格式，因此，采样模块可采样得到每个采样点的RGB通道的通道数据。即采样点的图像数据为采样点的RGB通道的通道数据。
S612、对采样点的图像数据进行笛卡尔坐标转换，得到非均匀3DLUT。
如前述对应图4的实施例的内容，采样点的RGB通道的通道数据是指：采样点的R通道的通道数据，G通道的通道数据以及B通道的通道数据，每一个通道的通道数据均为一维数据。
一些实施例中，计算多个采样点的RGB三个一维数据的n元笛卡尔积，可以得到3D晶体格的顶点坐标，3D晶体格的各个顶点坐标即为非均匀3DLUT。
其中，可公式4计算每个采样点的RGB三个一维数据的n元笛卡尔积。
S613、融合局部3DLUT和非均匀3DLUT，得到非均匀局部3DLUT。
其中，局部3DLUT与非均匀3DLUT的一致点为：每个维度的个数是一样的，因此，融合局部3DLUT和非均匀3DLUT可以理解成：将局部3DLUT的坐标点的数值，按照顺序平移至非均匀3DLUT的坐标点。即非均匀局部3DLUT在进行映射的时候，使用的是局部3DLUT的RGB信息以及非均匀3DLUT的坐标点的数值。
S614、利用全局3DLUT和非均匀局部3DLUT，对原图的图像数据进行插值处理，得到处理后图像的图像数据。
一些实施例中，利用全局3DLUT和非均匀局部3DLUT，对原图的图像数据进行插值处理，得到处理后图像的图像数据的一种实施方式，包括：
利用全局3DLUT对原图的图像数据进行映射，得到第一图像数据；利用非均匀局部3DLUT对原图的图像数据进行映射，得到第二图像数据；融合第一图像数据和第二图像数据，得到处理后图像的图像数据。
其中，融合第一图像数据和第二图像数据，可以理解成：对第一图像数据和第二图像数据分别配置一个权重值，例如第一图像数据配置的权重值为W3，第二图像数据配置的权重值为W4，W3和W4的数值可根据实际情况设定，要求W3+W4＝1即可。对第一图像数据和第二图像数据进行加权求和，得到处理后图像的图像数据。
在一些实施例中，利用全局3DLUT对原图的图像数据进行映射，得到第一图像数据，可以理解成利用全局3DLUT对原图的图像数据进行颜色查找和插值的过程。
全局3DLUT本质为一种查找表，视觉上可以表示为一个三维晶体格，每一个顶点V上对应一组RGB的值。示例性的，图7中的(a)展示了三维晶体格，图中的圆点即为各个顶点。可以理解成的是，图7中的(a)展示的三维晶体格包括多个小晶体格，每个小晶体格包括8个顶点。
示例性的，原图的一个像素点的坐标为：
利用公式5计算像素点在全局3DLUT中的位置。
公式5中，s表示每个坐标轴上的间距Cmax分别为该像素点在RGB三个通道的通道数据中的最大值，M为全局3DLUT的维度。
基于像素点在全局3DLUT中的位置，筛查出该像素点在全局3DLUT中、且位于该像素点周围的8个位置点；利用筛查出的8个位置点的数值进行加权求和，该加权求和计算后的结果，即为像素点的新的RGB通道的通道数据。其中，权重计算是根据坐标距离得到。
通常情况下，原图的一个像素点在全局3DLUT的位置，会处于图7中的(a)所示的一个小的三维晶体格中。示例性的，图7中的(b)中，点V(x,y,z)指示出像素点在全局3DLUT中的位置。点V(x,y,z)周围的8个位置点分别为小晶体格的8个顶点，即V(i,j,k)、V(i+1,j,k)、V(i,j+1,k)、V(i+1,j+1,k)、V(i,j,k+1)、V(i+1,j,k+1)、V(i,j+1,k+1)以及V(i+1,j+1,k+1)。
一些实施例中，可利用公式6计算出一个像素点的新的RGB通道的通道数据CO (x,y,z)。
公式6中：CO (i,j,k)为点V(i,j,k)的GBR通道的通道数据；CO (i+1,j,k)为点V(i+1,j,k)的GBR通道的通道数据；CO (i,j+1,k)为点V(i,j+1,k)的GBR通道的通道数据；CO (i+1,j+1,k)为点V(i+1,j+1,k)的GBR通道的通道数据；CO (i,j,k+1)为点V(i,j,k+1)的GBR通道的通道数据，CO (i+1,j,k+1)为点V(i+1,j,k+1)的GBR通道的通道数据；CO (i,j+1,k+1)为点V(i,j+1,k+1)的GBR通道的通道数据；CO (i+1,j+1,k+1)为点V(i+1,j+1,k+1)的GBR通道的通道数据。
在一些实施例中，利用非均匀局部3DLUT对原图的图像数据进行映射，得到第二图像数据，也可以理解成利用非均匀局部3DLUT对原图的图像数据进行颜色查找和插值的过程。
针对原图的每一个像素点，分别在非均匀局部3DLUT中确定出该像素点的位置，再基于像素点在全局3DLUT中的位置，筛查出该像素点在非均匀局部3DLUT中、且位于该像素点周围的8个位置点；利用筛查出的8个位置点的数值(即GBR通道的通道数据)进行加权求和，该加权求和计算后的结果，即为像素点的新的RGB通道的通道数据。其中，权重计算是根据坐标距离得到。
需要说明的是，也可以仅利用全局3DLUT对原图的图像数据进行插值处理，得到处理后图像的图像数据。利用全局3DLUT对原图的图像数据进行插值处理的过程可参见前述内容，此处不再赘述。
手机等电子设备在利用图像处理系统处理图像之前，需要先对图像处理系统进行训练。其中，对图像处理系统进行训练是指：训练encoder、后处理层1、CBAM、后处理层2、第一3DLUT模块、第二3DLUT模块、以及decoder中的参数。
以下结合图8，对图4展示的图像处理系统的训练方法进行介绍。如图8所示，图像处理系统的训练过程可分为第一训练环节和第二训练环节。
因目前具有风格化的样本图像较少，无法实现利用风格化的样本图像对图像处理系统进行训练，因此，本申请实施例中，利用半监督的学习方法，对图像处理系统进行训练。
第一训练环节，如图8所示，构建图像处理系统的初始版之后，利用目前已有的样本数据对图像处理系统的初始版进行训练。其中，样本数据包括：样本图像和标准样本图像，标准样本图像可以理解成对样本图像进行修图处理后的图像。在对图像处理系统的初始版进行训练过程中，通过损失值计算梯度，并以计算出的梯度来更新图像处理系统中的参数，直至更新后的图像处理系统满足训练结束条件。满足训练结束条件的图像处理系统即为图像处理系统的中间版。
在第一训练环节，可利用常用的损失函数来计算损失值，例如color loss、L2loss、明度饱和度loss等。
第二训练环节属于半监督学习过程，如图8所示，利用一些待处理图像对图像处理系统的中间版进行训练。具体的，图像处理系统处理一张待处理图像之后，可得到该图像对应的处理后的图像，即第一次处理后的图像。因待处理图像并没有对应的标准图像，因此，可将第一次处理后的图像作为伪标签。在图像处理系统对该张待处理图像再一次进行处理，得到第二次处理后的图像之后，将图像处理系统得到的第一次处理后的图像和第二次处理后的处理后图像进行比对，利用第一次处理后的图像和第二次处理后的图像的差异，通过损失值计算梯度，并以计算出的梯度来更新图像处理系统中的参数，直至更新后的图像处理系统满足训练结束条件。满足训练结束条件的图像处理系统即为图像处理系统的最终版。
在第二训练环节，也可利用常见的损失函数来计算损失值，color loss、L2 loss、明度饱和度loss等。
需要说明的是，在LAB颜色模型由三个要素组成，一个要素是亮度(L)，A和B是两个颜色通道，A通道包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)；B通道是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。
在LAB颜色模型中，AB通道的数据之间的大小关系决定了人像肤色在偏黄或者偏红的表现，因此可设定第二训练环节的训练结束条件还可包括：LAB格式的图像数据中的AB通道的数据的损失差值有一定的规律。
其中，LAB格式的图像数据中的AB通道的数据的损失差值有一定的规律，可以理解成是：AB通道的数据的损失差值固定在某个区间范围。基于此，在基于该训练结束条件对图像处理系统的中间版进行训练的过程中，可固定A通道数据，仅变化B通道数据梯度或者固定B通道数据仅变化A通道数据梯度。
还需要说明的是，体现人像立体感主要关注于亮暗区域的明度差异，差异较小会显得面部很平，差异过大会造成“阴阳脸”。因此，还可设定第二训练环节的训练结束条件还可包括：面部亮区和暗区的明度差异控制在一定范围内。
本申请实施例中，采用前述内容提出的第一训练环节训练方式对图像处理系统进行训练，可以保证利用第一3DLUT模块得到的全局3DLUT，第二3DLUT模块得到的局部3DLUT，对原图进行插值处理，能够让映射的图像数据能够更具备修图后的图像的显示效果。
并且，采用前述内容提出的第二训练环节训练方式对图像处理系统进行训练，可以保证利用第一3DLUT模块得到的全局3DLUT，第二3DLUT模块得到的局部3DLUT，对原图进行插值处理，能够让映射的图像数据能够实现AB通道的数据的损失差值固定在某个区间范围，实现可人像肤色的偏黄或者偏红，还能够让图像中面部亮区和暗区的明度差异控制在一定范围，保证人像具备立体感。
本申请实施例提供的图像处理系统，经过上述训练过程，可将一张图像处理成具有风格化的图像，示例性的，图9展示的应用场景中，用户A给用户B拍照，摄像头拍摄的图像中人物的颜色正常。同理，在图10展示的应用场景中，用户A自拍得到的图像中，人物的颜色也正常。
本申请另一实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
计算机可读存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请另一实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

Claims (13)

1.一种图像的处理方法，其特征在于，包括：
获取第一图像的第一图像数据；
处理所述第一图像数据，得到第二图像数据，所述第二图像数据包括所述第一图像数据、所述第一图像的明度数据和所述第一图像的饱和度数据；
对所述第二图像数据进行编码，得到第一图像特征序列；
通过卷积层或全连接层处理所述第一图像特征序列，得到多个第一权重；其中，所述多个第一权重用于配置给第一三维显示查找表3DLUT，以使得第一3DLUT融合得到全局3DLUT；
利用所述全局3DLUT对所述第一图像进行插值处理，得到第二图像。
2.根据权利要求1所述的图像的处理方法，其特征在于，所述对所述第二图像数据进行编码，得到第一图像特征序列之后，还包括：
处理所述第一图像特征序列，得到第二图像特征序列，所述第二图像特征序列属于所述第一图像中被重点关注区域的图像特征序列；
通过卷积层或全连接层处理所述第二图像特征序列，得到多个第二权重，所述多个第二权重用于配置给第二三维显示查找表3DLUT，以使得第二3DLUT融合得到局部3DLUT；
处理所述第二图像特征序列，得到图像序列，所述图像序列与所述第一图像的大小相同；
基于所述图像序列反映的图像数据的重要度，对所述第一图像数据进行采样，得到采样点的图像数据，并对所述采样点的图像数据进行笛卡尔坐标转换，得到非均匀3DLUT；
融合所述局部3DLUT和所述非均匀3DLUT，得到非均匀局部3DLUT；
其中：所述利用所述全局3DLUT对所述第一图像进行插值处理，得到第二图像，包括：利用所述全局3DLUT和所述非均匀局部3DLUT，对所述第一图像进行插值处理，得到第二图像。
3.根据权利要求2所述的图像的处理方法，其特征在于，所述利用所述全局3DLUT和所述非均匀局部3DLUT，对所述第一图像进行插值处理，得到第二图像，包括：
利用所述全局3DLUT对所述第一图像数据进行映射，得到第三图像数据；
利用所述非均匀局部3DLUT对所述第一图像数据进行映射，得到第四图像数据；
融合所述第三图像数据和所述第四图像数据，得到所述第二图像。
4.根据权利要求3所述的图像的处理方法，其特征在于，所述融合所述第三图像数据和所述第四图像数据，得到所述第二图像包括：
利用所述第三图像数据的权重和所述第四图像数据的权重，对所述第三图像数据和所述第四图像数据进行加权求和，得到所述第二图像。
5.根据权利要求1至4中任意一项所述的图像的处理方法，其特征在于，所述处理所述第一图像数据，得到第二图像数据，包括：
获取所述第一图像的明度数据和所述第一图像的饱和度数据；
组合所述第一图像数据、所述明度数据和所述饱和度数据，得到所述第二图像数据。
6.根据权利要求2所述的图像的处理方法，其特征在于，所述图像的处理方法应用于配置有图像处理系统的电子设备，所述图像处理系统包括编码模块、第一后处理层，包括多个第一3DLUT的第一3DLUT模块以及三线性插值模块；其中：所述第一后处理层包括卷积层或全连接层；
所述对第二图像数据进行编码，得到第一图像特征序列，包括：调用所述编码模块对第二图像数据进行编码，得到第一图像特征序列；
所述处理所述第一图像特征序列，得到多个第一权重，包括：调用所述第一后处理层处理所述第一图像特征序列，得到多个第一权重；
所述利用所述全局3DLUT对所述第一图像进行插值处理，得到第二图像，包括：调用所述三线性插值模块利用所述全局3DLUT对所述第一图像进行插值处理，得到第二图像。
7.根据权利要求6所述的图像的处理方法，其特征在于，所述图像处理系统还包括：卷积注意力机制模块CBAM、第二后处理层、包括多个第二3DLUT的第二3DLUT模块、解码模块、采样模块以及融合模块，其中：所述第二后处理层包括卷积层或全连接层；
所述处理所述第一图像特征序列，得到第二图像特征序列，包括：调用所述CBAM处理所述第一图像特征序列，得到所述第二图像特征序列；
所述处理所述第二图像特征序列，得到多个第二权重，包括：调用所述第二后处理层处理所述第二图像特征序列，得到多个所述第二权重；
所述处理所述第二图像特征序列，得到图像序列，包括：调用所述解码模块处理第二图像特征序列，得到所述图像序列；
基于所述图像序列反映的图像数据的重要度，对所述第一图像数据进行采样，得到采样点的图像数据，并对所述采样点的图像数据进行笛卡尔坐标转换，得到非均匀3DLUT，包括：调用所述采样模块基于所述图像序列反映的图像数据的重要度，对所述第一图像数据进行采样，得到采样点的图像数据，并对所述采样点的图像数据进行笛卡尔坐标转换，得到所述非均匀3DLUT；
融合所述局部3DLUT和所述非均匀3DLUT，得到非均匀局部3DLUT，包括：调用融合模块融合所述局部3DLUT和所述非均匀3DLUT，得到所述非均匀局部3DLUT；
所述利用所述全局3DLUT和所述非均匀局部3DLUT，对所述第一图像进行插值处理，得到第二图像，包括：调用所述三线性插值模块利用所述全局3DLUT和所述非均匀局部3DLUT，对所述第一图像进行插值处理，得到所述第二图像。
8.根据权利要求6所述的图像的处理方法，其特征在于，所述第一后处理层包括卷积层，所述卷积层的输出通道与所述第一3DLUT模块中的第一3DLUT的数量相同；或者，所述第一后处理层包括全连接层，所述全连接层输出的数量与所述第一3DLUT模块中的第一3DLUT的数量相同。
9.根据权利要求7所述的图像的处理方法，其特征在于，所述第二后处理层包括卷积层，所述卷积层的输出通道与所述第二3DLUT模块中的第二3DLUT的数量相同；或者，所述第二后处理层包括全连接层，所述全连接层输出的数量与所述第二3DLUT模块中的第二3DLUT的数量相同。
10.根据权利要求6所述的图像的处理方法，其特征在于，所述获取第一图像之前，还包括：
获取第一样本数据，所述第一样本数据包括样本图像和标准样本图像；
利用所述第一样本数据对所述图像处理系统的初始版进行训练，得到所述图像处理系统的中间版；
获取第二样本数据，所述第二样本数据包括样本图像；
利用所述第二样本数据对所述图像处理系统的中间版进行半监督训练，得到所述图像处理系统的最终版。
11.根据权利要求10所述的图像的处理方法，其特征在于，所述利用所述第二样本数据对所述图像处理系统的中间版进行半监督训练，得到所述图像处理系统的最终版，包括：
调用所述图像处理系统的中间版对所述第二样本数据进行第一次处理，得到第一处理后图像；
调用所述图像处理系统的中间版对所述第二样本数据进行第二次处理，得到第二处理后图像；
利用所述第一处理后图像和所述第二处理后图像计算梯度，并以所述梯度更新所述图像处理系统的中间版中的参数，以更新参数后的图像处理系统返回执行所述获取第二样本数据，直至所述图像处理系统的中间版满足预设训练结束条件；
其中，所述预设训练结束条件包括：损失函数的收敛条件，以及所述第二样本数据中的AB通道的损失差值位于预设区间，和所述第二样本数据中的人像的面部亮区和暗区的明度差异控制在一定范围内两个中的至少一个。
12.一种电子设备，其特征在于，包括：
一个或多个处理器、存储器和显示屏；
所述存储器和所述显示屏，与所述一个或多个所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当一个或多个所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至11任意一项所述的图像的处理方法。
13.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，具体用于实现如权利要求1至11任意一项所述的图像的处理方法。
CN202211285068.XA 2022-10-20 2022-10-20 图像的处理方法、电子设备及可读介质 Active CN116703791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211285068.XA CN116703791B (zh) 2022-10-20 2022-10-20 图像的处理方法、电子设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211285068.XA CN116703791B (zh) 2022-10-20 2022-10-20 图像的处理方法、电子设备及可读介质

Publications (2)

Publication Number Publication Date
CN116703791A CN116703791A (zh) 2023-09-05
CN116703791B true CN116703791B (zh) 2024-04-19

Family

ID=87829973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211285068.XA Active CN116703791B (zh) 2022-10-20 2022-10-20 图像的处理方法、电子设备及可读介质

Country Status (1)

Country Link
CN (1) CN116703791B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018072270A1 (zh) * 2016-10-17 2018-04-26 华为技术有限公司 一种图像显示增强方法及装置
US10210631B1 (en) * 2017-08-18 2019-02-19 Synapse Technology Corporation Generating synthetic image data
CN110225244A (zh) * 2019-05-15 2019-09-10 华为技术有限公司 一种图像拍摄方法与电子设备
CN113066017A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像增强方法、模型训练方法及设备
WO2022027197A1 (en) * 2020-08-03 2022-02-10 SZ DJI Technology Co., Ltd. Systems and methods for processing image
CN114331918A (zh) * 2022-03-08 2022-04-12 荣耀终端有限公司 图像增强模型的训练方法、图像增强方法及电子设备
WO2022151320A1 (zh) * 2021-01-15 2022-07-21 深圳市大疆创新科技有限公司 图像处理方法、装置、计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018072270A1 (zh) * 2016-10-17 2018-04-26 华为技术有限公司 一种图像显示增强方法及装置
US10210631B1 (en) * 2017-08-18 2019-02-19 Synapse Technology Corporation Generating synthetic image data
CN110225244A (zh) * 2019-05-15 2019-09-10 华为技术有限公司 一种图像拍摄方法与电子设备
WO2022027197A1 (en) * 2020-08-03 2022-02-10 SZ DJI Technology Co., Ltd. Systems and methods for processing image
WO2022151320A1 (zh) * 2021-01-15 2022-07-21 深圳市大疆创新科技有限公司 图像处理方法、装置、计算机可读存储介质
CN113066017A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像增强方法、模型训练方法及设备
CN114331918A (zh) * 2022-03-08 2022-04-12 荣耀终端有限公司 图像增强模型的训练方法、图像增强方法及电子设备

Also Published As

Publication number Publication date
CN116703791A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN111179282B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN105409211B (zh) 用于图像处理的带皮肤色调校正的自动白平衡
US20220319077A1 (en) Image-text fusion method and apparatus, and electronic device
US11759143B2 (en) Skin detection method and electronic device
CN111784568A (zh) 人脸图像处理方法、装置、电子设备及计算机可读介质
CN116668656B (zh) 图像处理方法及电子设备
KR101750058B1 (ko) 높은 동적 영역의 영상을 생성하는 장치 및 방법
CN111462158B (zh) 一种图像处理方法、装置及智能设备、存储介质
CN115546858B (zh) 人脸图像处理方法和电子设备
CN116703791B (zh) 图像的处理方法、电子设备及可读介质
US20240129446A1 (en) White Balance Processing Method and Electronic Device
CN115330610A (zh) 图像处理方法、装置、电子设备以及存储介质
CN113724151B (zh) 一种图像增强方法、电子设备和计算机可读存储介质
CN112634155B (zh) 图像处理方法、装置、电子设备及存储介质
CN114119413A (zh) 图像处理方法及装置、可读介质和移动终端
CN116668838B (zh) 图像处理方法与电子设备
CN116205822B (zh) 一种图像处理的方法、电子设备和计算机可读存储介质
CN114677291B (zh) 一种图像处理方法、装置及相关设备
CN115760652B (zh) 扩展图像动态范围的方法和电子设备
EP4274246A1 (en) Image processing method and electronic device
CN116703729B (zh) 一种图像处理方法、终端、存储介质及程序产品
CN112967194B (zh) 目标图像生成方法及装置、计算机可读介质和电子设备
CN116912602B (zh) 图像处理模型的训练方法、图像处理方法及电子设备
CN116107465A (zh) 桌面上图标颜色的处理方法及电子设备
CN117729445A (zh) 一种图像处理方法、电子设备以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant