CN111311520A - 图像处理方法、装置、终端及存储介质 - Google Patents

图像处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN111311520A
CN111311520A CN202010169543.1A CN202010169543A CN111311520A CN 111311520 A CN111311520 A CN 111311520A CN 202010169543 A CN202010169543 A CN 202010169543A CN 111311520 A CN111311520 A CN 111311520A
Authority
CN
China
Prior art keywords
image
highlight
model
training
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010169543.1A
Other languages
English (en)
Other versions
CN111311520B (zh
Inventor
黄锋华
颜海强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010169543.1A priority Critical patent/CN111311520B/zh
Publication of CN111311520A publication Critical patent/CN111311520A/zh
Priority to PCT/CN2021/074777 priority patent/WO2021179851A1/zh
Application granted granted Critical
Publication of CN111311520B publication Critical patent/CN111311520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、终端及存储介质，涉及终端技术领域。所述方法包括：获取高光图像，高光图像是指经过光源照射后存在高光区域的图像；调用完成训练的去高光模型；通过完成训练的去高光模型对高光图像进行处理，得到去高光图像；其中，去高光模型的损失函数包括纹理损失函数和重建损失函数，纹理损失函数用于表征基于去高光模型输出的预测去高光图像的高维特征信息与标准去高光图像的高维特征信息之间的差异程度，重建损失函数用于表征预测去高光图像的特征信息与标准去高光图像的特征信息之间的差异程度。本申请实施例实现了有效去除高光图像中的高光区域。

Description

图像处理方法、装置、终端及存储介质
技术领域
本申请实施例涉及终端技术领域，特别涉及一种图像处理方法、装置、终端及存储介质。
背景技术
随着终端技术的发展，用户可以通过终端拍摄图像。
在实际拍摄场景中，用户有时候会在例如闪光灯、太阳光或手电筒等光源照射下拍摄图像，此时拍摄得到的图像中会存在高亮区域，从而使得上述拍摄得到的图像质量不佳。因此，如何有效去除拍摄得到的图像中的高亮区域是亟待解决的问题。
发明内容
本申请实施例提供一种图像处理方法、装置、终端及存储介质。所述技术方案如下：
一方面，本申请实施例提供一种图像处理方法，所述方法包括：
获取高光图像，所述高光图像是指经过光源照射后存在高光区域的图像；
调用完成训练的去高光模型；
通过完成训练的所述去高光模型对所述高光图像进行处理，得到去高光图像；
其中，所述去高光模型的损失函数包括纹理损失函数和重建损失函数，所述纹理损失函数用于表征基于所述去高光模型输出的预测去高光图像的高维特征信息与标准去高光图像的高维特征信息之间的差异程度，所述重建损失函数用于表征所述预测去高光图像的特征信息与所述标准去高光图像的特征信息之间的差异程度。
另一方面，本申请实施例提供一种图像处理装置，所述装置包括：
图像获取模块，用于获取高光图像，所述高光图像是指经过光源照射后存在高光区域的图像；
模型调用模块，用于调用完成训练的去高光模型；
图像处理模块，用于通过完成训练的所述去高光模型对所述高光图像进行处理，得到去高光图像；
其中，所述去高光模型的损失函数包括纹理损失函数和重建损失函数，所述纹理损失函数用于表征基于所述去高光模型输出的预测去高光图像的高维特征信息与标准去高光图像的高维特征信息之间的差异程度，所述重建损失函数用于表征所述预测去高光图像的特征信息与所述标准去高光图像的特征信息之间的差异程度。
另一方面，本申请实施例提供一种终端，所述终端包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上述方面所述的图像处理方法。
又一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的图像处理方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过根据纹理损失函数和重建损失函数来训练去高光模型，得到完成训练的去高光模型，将高光图像输入完成训练的去高光模型中，该完成训练的去高光模型对上述高光图像进行处理，得到去高光图像，纹理损失函数和重建损失函数结合使得完成训练的去高光模型的精度更高，从而实现了有效去除高光图像中的高光区域。
附图说明
图1是本申请一个实施例提供的图像处理方法的流程图；
图2是本申请另一个实施例提供的图像处理方法的流程图；
图3是本申请一个实施例提供的去高光模型的应用示意图；
图4是本申请一个实施例提供的去高光模型的训练示意图；
图5是本申请一个实施例提供的训练图像的获取示意图；
图6是本申请一个实施例提供的图像处理装置的框图；
图7是本申请一个实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供的技术方案中，各步骤的执行主体可以是终端，例如，终端可以是手机、平板、PC(Personal Computer，个人计算机)、智能可穿戴设备等电子设备。
在一些实施例中，终端中可以安装运行有摄像类软件，该摄像类软件可以是系统自带的摄像软件，也可以是第三方摄像软件，本申请实施例对此不作限定。
在一些实施例中，终端还可以是具有显示屏的终端。在一个示例中，上述显示屏可以是TFT(Thin Film Transistor，薄膜场效应晶体管)液晶显示屏，TFT液晶显示屏是指液晶显示器上的每一液晶像素点都是由集成在其后的薄膜晶体管来驱动，从而可以做到高速度、高亮度、高对比度显示屏幕信息。在另一个示例中，上述显示屏可以是STN(SuperTwisted Nematic，超扭曲向列相)显示屏，该STN显示屏具有功耗小、省电的优势。在另一个示例中，上述显示屏还可以是OLED(OrganicLight-EmittingDisplay，有机发光显示屏)显示屏，该OLED显示屏是有机半导体材料和发光材料在电场驱动下，通过载流子注入和复合导致发光的。OLED显示屏具有更薄更轻、主动发光、无视角问题、高清晰、高亮度、响应速度快、能耗低、使用温度范围广、抗震能力强，成本低和可实现柔软显示等特点。上述终端的显示屏可以仅具有显示功能，当然，在其他可能的实现方式中，终端的显示屏还可以同时具有显示和触控功能，本申请实施例对此不作限定。
请参考图1，其示出了本申请一个实施例提供的图像处理方法的流程图。该方法可以包括如下几个步骤。
步骤101，获取高光图像。
在本申请实施例中，高光图像是指经过光源照射后存在高光区域的图像。高光图像可以是高光图片或高光视频。例如，用户在光源(例如，太阳光、灯光等)照射下拍摄视频或者照片时画面部分被高光遮挡而形成高光图像。
步骤102，调用完成训练的去高光模型。
去高光模型是指用于去除高光图像中的高光区域的模型。在可能的实现方式中，去高光模型可以采用UNet网络结果作为基础。在本申请实施例中，去高光模型的损失函数包括纹理损失函数和重建损失函数，纹理损失函数用于表征基于去高光模型输出的预测去高光图像的高维特征信息与标准去高光图像的高维特征信息之间的差异程度，重建损失函数用于表征预测去高光图像的特征信息与标准去高光图像的特征信息之间的差异程度。如果去高光模型的损失函数仅包括重建损失函数，会使得去高光模型预测的结果显得比较平滑，缺少高频信息，因此本申请提供的损失函数中添加了纹理损失函数，该纹理损失函数用于构建输出的高频细节。通过根据纹理损失函数和重建损失函数确定去高光模型的损失函数，从而训练去高光模型，使得完成训练的去高光模型可以输出更真实的结果。
在一个示例中，终端可以在线调用完成训练的去高光模型。该去高光模型可以存储在服务器中，终端从服务器中调用该去高光模型。
在另一个示例中，终端可以离线调用完成训练的去高光模型。该去高光模型可以存储在终端中，终端直接从本地调用该去高光模型。
步骤103，通过完成训练的去高光模型对高光图像进行处理，得到去高光图像。
去高光图像是指不包括高光区域的图像。将高光图像输入完成训练的去高光模型中，去高光模型可以提取该高光图像的特征信息，得到去高光图像。
综上所述，本申请实施例提供的技术方案中，通过根据纹理损失函数和重建损失函数来训练去高光模型，得到完成训练的去高光模型，将高光图像输入完成训练的去高光模型中，该完成训练的去高光模型对上述高光图像进行处理，得到去高光图像，纹理损失函数和重建损失函数结合使得完成训练的去高光模型的精度更高，从而实现了有效去除高光图像中的高光区域。
另外，本申请实施例提供的去高光模型的损失函数包括纹理损失函数和重建损失函数，纹理损失函数和重建损失函数结合使得完成训练的去高光模型输出的去高光图像更为真实，更为准确。
在一个实施例中，去高光模型包括编码网络和解码网络。如图2所示，其示出了本申请另一个实施例提供的图像处理方法的流程图，该方法包括如下几个步骤：
步骤201，获取高光图像。
在本申请实施例中，高光图像是指经过光源照射后存在高光区域的图像。
在一个示例中，终端在获取高光图像之前，可以执行以下步骤：
1、调用高光识别模型；
高光识别模型是指用于识别是否包括高光图像的模型。在可能的实现方式中，高光识别模型可以是SVM(Support Vector Machine，支持向量机)。
在一个示例中，终端可以在线调用高光识别模型，该高光识别模型可以存储在服务器中，终端通过访问服务器，来调用该高光识别模型。
在另一个示例中，终端可以离线调用高光识别模型，该高光识别模型可以存储在终端中，终端可以直接从本地调用该高光识别模型。
2、通过高光识别模型对目标图像进行识别，检测目标图像是否包括高光图像；
3、响应于目标图像包括高光图像，执行调用完成训练的去高光模型的步骤。
当目标图像中包括高光图像时，才调用去高光模型，并通过完成训练的去高光模型对高光图像进行处理，得到去高光图像，有利于降低终端的处理开销。
在可能的实现方式中，目标图像包括目标视频，此时，终端可以对目标视频进行抽帧处理，得到n个图像帧，n为正整数；调用高光识别模型；通过高光识别模型分别对n个图像帧进行识别，检测上述n个图像帧中是否包括高光图像，当上述n个图像帧中包括高光图像时，通过完成训练的去高光模型对高光图像进行处理，得到去高光图像。
本申请实施例提供的技术方案可以运用于离线视频和图片的高光区域去除，可用于照片编辑和视频编辑，也可用于在线视频流处理，使得画质得到提升。
步骤202，调用完成训练的去高光模型。
步骤203，通过编码网络对高光图像进行特征提取，得到高光图像的高维特征信息。
步骤204，通过解码网络对高光图像的高维特征信息进行重建，得到去高光图像。
如图3所示，将高光图像输入编码网络，编码网络可以提取高光图像中包含高维特征的特征谱，通过解码网络从编码的特征中去还原去高光的结果。编码网络对高光图像中的高光部分响应较弱，而对其他部分响应较强，通过该编码网络可以筛除高光图像中的高光部分特征，接着通过解码网络去从提取的特征中去还原图像，从而获得去高光图像。
本申请实施例提供的技术方案中，可以去除视频或者照片中的高光区域，使得画面不被高光遮挡，例如太阳下、灯光下扫描二维码或者拍摄证件的时候出现画面有部分高亮区域导致二维码扫描不出或者证件照不是自己想要的效果，本申请实施例提供的技术方案可以去除高亮区域使得画面得到清晰展示，提升了最终得到的图像的质量，提高了用户的拍照体验。
在终端调用完成训练的去高光模型之前，需要对去高光模型进行训练，如图4所示，训练流程可以包括如下几个步骤：
第一、获取训练数据。
训练数据包括至少一个训练样本，训练样本包括训练图像和训练图像对应的标准去高光图像。训练图像是指包括高光区域的图像，标准去高光图像是指不包括高光区域的图像。
在一个示例中，终端通过如下方式获取训练数据：
1、获取第一图像；
第一图像与标准去高光图像是两个不相同的图像。在可能的实现方式中，第一图像又可以称之为背景图像。
2、对第一图像进行高斯模糊处理，得到第二图像；
在可能的实现方式中，对第一图像进行高斯模糊处理可以表示成Gaussian(Ib)，其中，Ib表示第一图像，Gaussian(Ib)表示对第一图像做高斯模糊处理的结果，通过该计算可以使得第一图像得到类似反射中的光晕效果，从而得到第二图像。
3、根据第二图像和标准去高光图像，生成训练图像。
本申请实施例可以通过第二图像和标准去高光图像的叠加来构建类似高光图像的效果，从而得到训练图像，以便于去高光模型的训练。
在可能的实现方式中，如图5所示，终端通过如下方式根据第二图像和标准去高光图像生成训练图像：
3.1、将第二图像和标准去高光图像在同一位置像素的像素值加权相加，生成初始训练图像；
3.2、响应于初始训练图像中的目标像素的像素值大于预设像素值，将目标像素的像素值调整为预设像素值；
3.3、将调整后的初始训练图像确定为训练图像。
Io＝clip(α*Gaussian(Ib)+(1-α)If,255)；
其中，Io代表训练图像，α代表加权超参数，If代表标准去高光图像，clip()代表裁剪操作。通过调节α的大小可以改变第二图像中反射的程度，α越大，反射越强，也即高光越明显。
在可能的实现方式中，预设像素值可以是255。当第二图像和标准去高光图像在同一位置像素的像素值加权相加，得到初始训练图像时，初始训练图像中的某些像素值可能会超出255，不符合图片RGB(Red Green Blue，红绿蓝)值的范围，需要通过clip操作把超出255的像素值约束到255。
在可能的实现方式中，训练数据中还可以包括自然形成的训练图像和该训练图像对应的标准去高光图像。例如，技术人员在拍摄自然形成的训练图像时可以在光源附近放置玻璃片，从而获得自然形成的带有高光区域的训练图像；在拍摄自然形成的标准去高光图像时可以将玻璃片移除，从而获得自然形成的标准去高光图像。在训练数据中掺杂自然形成的训练数据和非自然形成的训练数据可以提高去高光模型的训练精度。
第二、通过去高光模型对训练图像进行处理，得到预测去高光图像。
去高光模型包括编码网络和解码网络，通过编码网络对训练图像进行特征提取，得到训练图像的高维特征信息；通过解码网络对训练图像的高维特征信息进行重建，得到预测去高光图像。
第三、根据标准去高光图像和预测去高光图像，确定损失函数的值。
在可能的实现方式中，根据标准去高光图像的高维特征信息和预测去高光图像的高维特征信息确定纹理损失函数，根据标准去高光图像的特征信息和预测去高光图像的特征信息确定重建损失函数。
在可能的实现方式中，纹理损失函数loss_texture可以通过如下公式表示：
Figure BDA0002408681180000081
其中，VGG(Ig)和VGG(Ip)代表了标准去高光图像和预测去高光图像在VGG19卷积神经网络上第三个卷积核输出的高维特征信息，gram代表格拉姆矩阵运算，即协方差矩阵运算，通过约束标准去高光图像和预测去高光图像的协方差矩阵保持一致，可以使得去高光模型能够预测更多的高频纹理，从而使得预测得到的结果更为真实。
在可能的实现方式中，重建损失函数loss可以通过如下公式表示：
Figure BDA0002408681180000082
其中，α1和β1代表超参数，Ip代表预测去高光图像，Ig代表标准去高光图像，α1和β1的值可以由技术人员根据经验进行设置。
损失函数loss_toll可以通过如下公式表示：
loss_toll＝α2loss_texture+β2loss；
其中，α2和β2代表超参数，α2和β2的值可以由技术人员根据经验进行设置。
第四、根据损失函数的值对去高光模型进行训练，得到完成训练的去高光模型。
根据损失函数的值，计算编码网络和解码网络各层的梯度，并更新编码网络和解码网络中的权重参数，当损失函数收敛时，得到完成训练的去高光模型。
本申请实施例通过高斯模糊处理的方式来构建高光效果，从而获取大量训练数据，便于去高光模型的训练。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图6，其示出了本申请一个实施例提供的图像处理装置的框图，该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置600可以包括：图像获取模块610、模型调用模块620和图像处理模块630。
图像获取模块610，用于获取高光图像，所述高光图像是指经过光源照射后存在高光区域的图像；
模型调用模块620，用于调用完成训练的去高光模型；
图像处理模块630，用于通过完成训练的所述去高光模型对所述高光图像进行处理，得到去高光图像；
其中，所述去高光模型的损失函数包括纹理损失函数和重建损失函数，所述纹理损失函数用于表征基于所述去高光模型输出的预测去高光图像的高维特征信息与标准去高光图像的高维特征信息之间的差异程度，所述重建损失函数用于表征所述预测去高光图像的特征信息与所述标准去高光图像的特征信息之间的差异程度。
综上所述，本申请实施例提供的技术方案中，通过根据纹理损失函数和重建损失函数来训练去高光模型，得到完成训练的去高光模型，将高光图像输入完成训练的去高光模型中，该完成训练的去高光模型对上述高光图像进行处理，得到去高光图像，纹理损失函数和重建损失函数结合使得完成训练的去高光模型的精度更高，从而实现了有效去除高光图像中的高光区域。
在一个示例中，所述去高光模型包括编码网络和解码网络；
所述图像处理模块630，用于：
通过所述编码网络对所述高光图像进行特征提取，得到所述高光图像的高维特征信息；
通过所述解码网络对所述高光图像的高维特征信息进行重建，得到所述去高光图像。
在一个示例中，所述装置600，还包括：数据获取模块、函数确定模块和模型训练模块(图中未示出)。
数据获取模块，用于获取训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括训练图像和所述训练图像对应的所述标准去高光图像；
所述图像处理模块630，用于通过所述去高光模型对所述训练图像进行处理，得到所述预测去高光图像；
函数确定模块，用于根据所述标准去高光图像和所述预测去高光图像，确定所述损失函数的值；
模型训练模块，用于根据所述损失函数的值对所述去高光模型进行训练，得到完成训练的所述去高光模型。
在一个示例中，所述数据获取模块，包括：图像获取单元、图像处理单元和图像生成单元。
图像获取单元，用于获取第一图像；
图像处理单元，用于对所述第一图像进行高斯模糊处理，得到第二图像；
图像生成单元，用于根据所述第二图像和所述标准去高光图像，生成所述训练图像。
在一个示例中，所述图像生成单元，用于：
将所述第二图像和所述标准去高光图像在同一位置像素的像素值加权相加，生成初始训练图像；
响应于所述初始训练图像中的目标像素的像素值大于预设像素值，将所述目标像素的像素值调整为所述预设像素值；
将调整后的所述初始训练图像确定为所述训练图像。
在一个示例中，所述装置600，还包括：图像检测模块(图中未示出)。
所述模型调用模块620，还用于调用高光识别模型；
图像检测模块，用于通过所述高光识别模型对目标图像进行识别，检测所述目标图像是否包括所述高光图像；
所述模型调用模块620，还用于响应于所述目标图像包括所述高光图像，执行所述调用完成训练的去高光模型的步骤。
在一个示例中，所述图像检测模块，用于：
对所述目标视频进行抽帧处理，得到n个图像帧，所述n为正整数；
通过所述高光识别模型分别对所述n个图像帧进行识别，检测所述n个图像帧中是否包括所述高光图像。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图7，其示出了本申请一个实施例提供的终端的结构框图。
本申请实施例中的终端可以包括一个或多个如下部件：处理器710和存储器720。
处理器710可以包括一个或者多个处理核心。处理器710利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据，执行终端的各种功能和处理数据。可选地，处理器710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit，CPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统和应用程序等；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器710中，单独通过一块芯片进行实现。
可选地，处理器710执行存储器720中的程序指令时实现上述各个方法实施例提供的方法。
存储器720可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器720包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等；存储数据区可存储根据终端的使用所创建的数据等。
上述终端的结构仅是示意性的，在实际实现时，终端可以包括更多或更少的组件，比如：显示屏等，本实施例对此不作限定。
本领域技术人员可以理解，图7中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由计算机设备的处理器加载并执行以实现上述方法实施例中的各个步骤。
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述方法。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取高光图像，所述高光图像是指经过光源照射后存在高光区域的图像；
调用完成训练的去高光模型；
通过完成训练的所述去高光模型对所述高光图像进行处理，得到去高光图像；
其中，所述去高光模型的损失函数包括纹理损失函数和重建损失函数，所述纹理损失函数用于表征基于所述去高光模型输出的预测去高光图像的高维特征信息与标准去高光图像的高维特征信息之间的差异程度，所述重建损失函数用于表征所述预测去高光图像的特征信息与所述标准去高光图像的特征信息之间的差异程度。
2.根据权利要求1所述的方法，其特征在于，所述去高光模型包括编码网络和解码网络；
所述通过完成训练的去高光模型对所述高光图像进行处理，得到去高光图像，包括：
通过所述编码网络对所述高光图像进行特征提取，得到所述高光图像的高维特征信息；
通过所述解码网络对所述高光图像的高维特征信息进行重建，得到所述去高光图像。
3.根据权利要求1所述的方法，其特征在于，所述调用完成训练的去高光模型之前，还包括：
获取训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括训练图像和所述训练图像对应的所述标准去高光图像；
通过所述去高光模型对所述训练图像进行处理，得到所述预测去高光图像；
根据所述标准去高光图像和所述预测去高光图像，确定所述损失函数的值；
根据所述损失函数的值对所述去高光模型进行训练，得到完成训练的所述去高光模型。
4.根据权利要求3所述的方法，其特征在于，所述获取训练数据，包括：
获取第一图像；
对所述第一图像进行高斯模糊处理，得到第二图像；
根据所述第二图像和所述标准去高光图像，生成所述训练图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第二图像和所述标准去高光图像，生成所述训练图像，包括：
将所述第二图像和所述标准去高光图像在同一位置像素的像素值加权相加，生成初始训练图像；
响应于所述初始训练图像中的目标像素的像素值大于预设像素值，将所述目标像素的像素值调整为所述预设像素值；
将调整后的所述初始训练图像确定为所述训练图像。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
调用高光识别模型；
通过所述高光识别模型对目标图像进行识别，检测所述目标图像是否包括所述高光图像；
响应于所述目标图像包括所述高光图像，执行所述调用完成训练的去高光模型的步骤。
7.根据权利要求6所述的方法，其特征在于，所述目标图像包括目标视频；
所述通过所述高光识别模型对目标图像进行识别，检测所述目标图像是否包括所述高光图像，包括：
对所述目标视频进行抽帧处理，得到n个图像帧，所述n为正整数；
通过所述高光识别模型分别对所述n个图像帧进行识别，检测所述n个图像帧中是否包括所述高光图像。
8.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取高光图像，所述高光图像是指经过光源照射后存在高光区域的图像；
模型调用模块，用于调用完成训练的去高光模型；
图像处理模块，用于通过完成训练的所述去高光模型对所述高光图像进行处理，得到去高光图像；
其中，所述去高光模型的损失函数包括纹理损失函数和重建损失函数，所述纹理损失函数用于表征基于所述去高光模型输出的预测去高光图像的高维特征信息与标准去高光图像的高维特征信息之间的差异程度，所述重建损失函数用于表征所述预测去高光图像的特征信息与所述标准去高光图像的特征信息之间的差异程度。
9.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至7任一项所述的图像处理方法。
CN202010169543.1A 2020-03-12 2020-03-12 图像处理方法、装置、终端及存储介质 Active CN111311520B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010169543.1A CN111311520B (zh) 2020-03-12 2020-03-12 图像处理方法、装置、终端及存储介质
PCT/CN2021/074777 WO2021179851A1 (zh) 2020-03-12 2021-02-02 图像处理方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010169543.1A CN111311520B (zh) 2020-03-12 2020-03-12 图像处理方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN111311520A true CN111311520A (zh) 2020-06-19
CN111311520B CN111311520B (zh) 2023-07-18

Family

ID=71158622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010169543.1A Active CN111311520B (zh) 2020-03-12 2020-03-12 图像处理方法、装置、终端及存储介质

Country Status (2)

Country Link
CN (1) CN111311520B (zh)
WO (1) WO2021179851A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163439A (zh) * 2020-09-23 2021-01-01 创新奇智(青岛)科技有限公司 一种处理图像的方法、装置及扫描识别装置
CN112184884A (zh) * 2020-09-23 2021-01-05 上海眼控科技股份有限公司 三维模型构建方法、装置、计算机设备及存储介质
CN113255911A (zh) * 2021-06-07 2021-08-13 杭州海康威视数字技术股份有限公司 一种模型训练方法、装置、电子设备及存储介质
WO2021179851A1 (zh) * 2020-03-12 2021-09-16 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
CN113628127A (zh) * 2021-07-09 2021-11-09 中国科学院自动化研究所 文字图像高光去除、文字识别方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11408031B2 (en) 2010-05-18 2022-08-09 Natera, Inc. Methods for non-invasive prenatal paternity testing
CN113361548B (zh) * 2021-07-05 2023-11-14 北京理工导航控制科技股份有限公司 一种用于高光图像的局部特征描述及匹配方法
CN113888443A (zh) * 2021-10-21 2022-01-04 福州大学 一种基于自适应层实例归一化gan的演唱会拍摄方法
CN115131252B (zh) * 2022-09-01 2022-11-29 杭州电子科技大学 基于二次编解码结构的金属物体表面高光去除方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150104185A1 (en) * 2014-03-25 2015-04-16 Osram Sylvania Inc. Techniques for raster line alignment in light-based communication
CN107369145A (zh) * 2017-06-16 2017-11-21 广东欧珀移动通信有限公司 图像处理方法、装置及终端设备
CN107392859A (zh) * 2017-06-16 2017-11-24 广东欧珀移动通信有限公司 高光区域的消除方法、装置及终端
CN108280814A (zh) * 2018-02-08 2018-07-13 重庆邮电大学 基于感知损失的光场图像角度超分辨率重建方法
CN108596062A (zh) * 2018-04-12 2018-09-28 清华大学 基于深度学习的人脸图片实时高光去除方法及装置
CN109785270A (zh) * 2019-01-18 2019-05-21 四川长虹电器股份有限公司 一种基于gan的图像超分辨率方法
CN110473185A (zh) * 2019-08-07 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110533594A (zh) * 2019-08-30 2019-12-03 Oppo广东移动通信有限公司 模型训练方法、图像重建方法、存储介质及相关设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457389B2 (en) * 2008-09-03 2013-06-04 Nec Corporation Image processing device, image processing method and image processing program
CN110363716B (zh) * 2019-06-25 2021-11-19 北京工业大学 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN111311520B (zh) * 2020-03-12 2023-07-18 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150104185A1 (en) * 2014-03-25 2015-04-16 Osram Sylvania Inc. Techniques for raster line alignment in light-based communication
CN107369145A (zh) * 2017-06-16 2017-11-21 广东欧珀移动通信有限公司 图像处理方法、装置及终端设备
CN107392859A (zh) * 2017-06-16 2017-11-24 广东欧珀移动通信有限公司 高光区域的消除方法、装置及终端
CN108280814A (zh) * 2018-02-08 2018-07-13 重庆邮电大学 基于感知损失的光场图像角度超分辨率重建方法
CN108596062A (zh) * 2018-04-12 2018-09-28 清华大学 基于深度学习的人脸图片实时高光去除方法及装置
CN109785270A (zh) * 2019-01-18 2019-05-21 四川长虹电器股份有限公司 一种基于gan的图像超分辨率方法
CN110473185A (zh) * 2019-08-07 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110533594A (zh) * 2019-08-30 2019-12-03 Oppo广东移动通信有限公司 模型训练方法、图像重建方法、存储介质及相关设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WENHAN YANG ET AL.: "Deep Edge Guided Recurrent Residual Learning", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
孙旭等: "基于深度学习的图像超分辨率复原研究进展", 《自动化学报》 *
许丽等: "高光去除的聚类算法改进", 《计算机系统应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021179851A1 (zh) * 2020-03-12 2021-09-16 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
CN112163439A (zh) * 2020-09-23 2021-01-01 创新奇智(青岛)科技有限公司 一种处理图像的方法、装置及扫描识别装置
CN112184884A (zh) * 2020-09-23 2021-01-05 上海眼控科技股份有限公司 三维模型构建方法、装置、计算机设备及存储介质
CN113255911A (zh) * 2021-06-07 2021-08-13 杭州海康威视数字技术股份有限公司 一种模型训练方法、装置、电子设备及存储介质
CN113255911B (zh) * 2021-06-07 2023-10-13 杭州海康威视数字技术股份有限公司 一种模型训练方法、装置、电子设备及存储介质
CN113628127A (zh) * 2021-07-09 2021-11-09 中国科学院自动化研究所 文字图像高光去除、文字识别方法及装置
CN113628127B (zh) * 2021-07-09 2023-11-17 中国科学院自动化研究所 文字图像高光去除、文字识别方法及装置

Also Published As

Publication number Publication date
CN111311520B (zh) 2023-07-18
WO2021179851A1 (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
CN111311520B (zh) 图像处理方法、装置、终端及存储介质
Ren et al. Low-light image enhancement via a deep hybrid network
CN108710847B (zh) 场景识别方法、装置及电子设备
CN106778928B (zh) 图像处理方法及装置
US10708525B2 (en) Systems and methods for processing low light images
WO2019233392A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109583449A (zh) 字符识别方法及相关产品
CN108810418A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108897786A (zh) 应用程序的推荐方法、装置、存储介质及移动终端
CN108875619A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN107172354A (zh) 视频处理方法、装置、电子设备及存储介质
WO2020253304A1 (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
Moriwaki et al. Hybrid loss for learning single-image-based HDR reconstruction
US10180782B2 (en) Fast image object detector
CN108848306A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110610191A (zh) 一种电梯楼层识别方法、装置及终端设备
Hong et al. Near-infrared image guided reflection removal
Tan et al. High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation
CN112788254B (zh) 摄像头抠像方法、装置、设备及存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
WO2023001110A1 (zh) 神经网络训练方法、装置及电子设备
CN109410308A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN115439386A (zh) 图像融合方法、装置、电子设备和存储介质
CN111080543B (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN116128707A (zh) 图像处理方法及装置、电子设备、计算可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant