CN113822951B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113822951B
CN113822951B CN202110710924.0A CN202110710924A CN113822951B CN 113822951 B CN113822951 B CN 113822951B CN 202110710924 A CN202110710924 A CN 202110710924A CN 113822951 B CN113822951 B CN 113822951B
Authority
CN
China
Prior art keywords
color
feature vector
classification
information
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110710924.0A
Other languages
English (en)
Other versions
CN113822951A (zh
Inventor
邢晓岩
张志豪
李松南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110710924.0A priority Critical patent/CN113822951B/zh
Publication of CN113822951A publication Critical patent/CN113822951A/zh
Application granted granted Critical
Publication of CN113822951B publication Critical patent/CN113822951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，涉及计算机视觉技术领域。该方法包括：获取待着色的灰度图像；将所述灰度图像输入至预先训练的着色模型中，获得所述着色模型输出的所述灰度图像中像素点的预测色彩通道信息；根据预测色彩通道信息对灰度图像进行着色，获得彩色图像；着色模型根据由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和色彩分类信息为训练标签，通过关联样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成。本申请实施例能够获得具有更饱和效果以及更丰富色彩的彩色图像。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，具体而言，本申请涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
作为图像处理的一种手段，为灰度图像补充彩色信息，可以获得更佳的观赏效果与体验。
随着社会着色需求的提高，对于图像的自动着色技术的要求也越来越高，因此图像着色技术对于人类的生活应用以及相关产业的发展有着重要的应用价值和研究意义。
现有利用机器学习方式进行图像着色的方法，由于语义学习能力不佳，在很多场景中不能有效地修复颜色通道，因此常有大片区域未能上色，并不能满足实际生产生活的需要。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的图像处理方法、装置、电子设备及存储介质。
第一方面，提供了一种图像处理方法，该方法包括：
获取待着色的灰度图像；
将灰度图像输入至预先训练的着色模型中，获得着色模型输出的灰度图像中像素点的预测色彩通道信息；
根据预测色彩通道信息对灰度图像进行着色，获得彩色图像；
其中，着色模型根据由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和对应的色彩分类信息为训练标签，通过关联样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成；
语义相似性表示样本灰度图像中像素点与样本灰度图像中预设区域的像素点的语义信息的相似程度，色彩分类相似性表示样本灰度图像中像素点与样本灰度图像中预设区域的像素点的预测色彩分类信息的相似程度。
在一个可能的实现方式中，着色模型的训练方法包括：
将样本灰度图像输入至待训练的第一网络模型，获得第一网络模型生成的分类特征向量和根据分类特征向量输出的像素点的预测色彩通道信息；分类特征向量用于表征像素点在局部区域的第一语义信息；
将分类特征向量输入至待训练的第二网络模型，获得第二网络模型通过关联像素点的语义相似性与色彩分类相似性输出的像素点的预测色彩分类信息；
利用样本灰度图像的预测色彩通道信息、预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对第一网络模型和第二网络模型进行训练，将训练后的第一网络模型作为着色模型。
在一个可能的实现方式中，第二网络模型至少包括第一网络层和第二网络层；
第一网络层获取第一网络模型的分类特征向量，对分类特征向量进行特征升维，并输出第一特征向量，第一特征向量用于表征基于像素点在全局内的全局语义信息；
第二网络层获取分类特征向量和第一特征向量，将分类特征向量和第一特征向量分别表征的像素点的第一语义信息和全局语义信息与色彩分类相似性相关联，输出像素点的预测色彩分类信息。
在一个可能的实现方式中，第二网络模型包括软性色彩相似度层、第一特征升维层和色彩分类预测层；
将分类特征向量输入至待训练的第二网络模型，获得第二网络模型通过关联像素点的语义相似性与色彩分类相似性输出的像素点的预测色彩分类信息，包括：
将分类特征向量输入至软性色彩相似度层，获得软性色彩相似度层关联像素点的语义相似性与色彩分类相似性输出的局部特征向量，局部特征向量用于表征基于像素点在第一尺寸局部区域内的色彩分类相似性确定的第二语义信息；
将分类特征向量输入至第一特征升维层进行特征升维，获得第一特征升维层输出的样本灰度图像的第一全局特征向量，第一全局特征向量用于表征基于像素点在全局的第三语义信息；
将局部特征向量和第一全局特征向量输入至色彩分类预测层，获得色彩分类预测层输出的预测色彩分类信息。
在一个可能的实现方式中，色彩分类预测层包括第一拼接层、颜色相似度重赋权层和特征融合层；
将局部特征向量和第一全局特征向量输入至色彩分类预测层，获得色彩分类预测层输出的预测色彩分类信息，包括：
将局部特征向量和第一全局特征向量输入至第一拼接层进行特征融合，获得第一融合特征向量；第一融合特征向量用于表征基于像素点在全局内和第一尺寸的局部区域内的色彩分类相似性共同确定的第四语义信息；
将第一融合特征向量输入至颜色相似度重赋权层进行卷积操作，获得颜色相似度重赋权层输出的重标定特征向量；重标定特征向量用于表征基于像素点在第二尺寸局部区域内的色彩分类相似性确定的第五语义信息，第二尺寸小于第一尺寸；
将第一全局特征向量和重标定特征向量输入至特征融合层，获得特征融合层输出的预测色彩分类信息。
在一个可能的实现方式中，特征融合层包括第二特征升维层、第二拼接层和乘操作层；
将第一全局特征向量和重标定特征向量输入至特征融合层，获得特征融合层输出的预测色彩分类信息，包括：
将第一全局特征向量和重标定特征向量输入至第二拼接层进行特征融合，获得第二融合特征向量；第二融合特征向量用于表征像素点在全局内和第二尺寸的局部区域内的色彩分类相似性共同确定的第六语义信息；
将重标定特征向量输入至第二特征升维层进行特征升维，获得第二全局特征向量；
将第二融合特征向量和第二全局特征向量输入至乘操作层进行特征融合，获得乘操作层输出的颜色地图，颜色地图用于表征预测色彩分类信息。
在一个可能的实现方式中，利用样本灰度图像的预测色彩通道信息、预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对第一网络模型和第二网络模型进行训练，包括：
利用预测颜色通道信息和颜色通道信息，根据第一损失函数获得第一损失函数值；
利用预测色彩分类信息和色彩分类信息，根据第二损失函数获得第二损失函数值；
根据第一损失函数值和第二损失函数值对第一网络模型和第二网络模型进行训练。
在一个可能的实现方式中，第二损失函数为Focal Loss函数。
第二方面，提供了一种着色模型的训练方法，包括：
将样本灰度图像输入至待训练的第一网络模型，获得第一网络模型生成的分类特征向量和根据分类特征向量输出的预测色彩通道信息；分类特征向量用于表征像素点在局部区域的第一语义信息；
将分类特征向量输入至待训练的第二网络模型，获得第二网络模型通过关联像素点的语义相似性与色彩分类相似性而输出的像素点的预测色彩分类信息；
利用样本灰度图像的预测色彩通道信息、预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对第一网络模型和第二网络模型进行训练，将训练后的第一网络模型作为着色模型。
第三方面，提供了一种图像处理装置，包括：
灰度图像获取模块，用于获取待着色的灰度图像；
色彩通道信息获取模块，用于将灰度图像输入至预先训练的着色模型中，获得着色模型输出的灰度图像中像素点的预测色彩通道信息；
着色模块，用于根据预测色彩通道信息对灰度图像进行着色，获得彩色图像；
其中，着色模型是根据由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和对应的色彩分类信息为训练标签，通过关联样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成；
语义相似性表示样本灰度图像中像素点与样本灰度图像中预设区域的其他像素点的语义信息的相似程度，色彩分类相似性表示样本灰度图像中像素点与样本灰度图像中预设区域的其他像素点的预测色彩分类信息的相似程度。
在一个可能的实现方式中，图像处理装置还包括模型训练模块，模型训练模块包括：
分类特征向量获取模块，用于将样本灰度图像输入至待训练的第一网络模型，获得第一网络模型生成的分类特征向量和根据分类特征向量输出的像素点着色后的预测色彩通道信息；分类特征向量用于表征像素点在局部区域的第一语义信息；
预测分类信息获取模块，用于将分类特征向量输入至待训练的第二网络模型，获得第二网络模型通过关联像素点的语义相似性与色彩分类相似性输出的像素点的预测色彩分类信息；
反向传播模块，用于利用样本灰度图像的预测色彩通道信息、预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对第一网络模型和第二网络模型进行训练，将训练后的第一网络模型作为着色模型。
在一个可能的实现方式中，第二网络模型至少包括第一网络层和第二网络层；
预测分类信息获取模块包括：
全局语义获取模块，用于通过第一网络层获取第一网络模型的分类特征向量，对分类特征向量进行特征升维，并输出第一特征向量，第一特征向量用于表征基于像素点在全局内的全局语义信息；
语义色彩关联模块，用于通过第二网络层获取分类特征向量和第一特征向量，将分类特征向量和第一特征向量分别表征的像素点的第一语义信息和全局语义信息与色彩分类相似性相关联，输出像素点的预测色彩分类信息。
在一个可能的实现方式中，第二网络模型包括软性色彩相似度层、第一特征升维层和色彩分类预测层；
预测分类信息获取模块，包括：
局部特征获取子模块，用于将分类特征向量输入至软性色彩相似度层，获得软性色彩相似度层关联像素点的语义相似性与色彩分类相似性输出的局部特征向量，局部特征向量用于表征基于像素点在第一尺寸局部区域内的色彩分类相似性确定的第二语义信息；
升维子模块，用于将分类特征向量输入至第一特征升维层进行特征升维，获得第一特征升维层输出的样本灰度图像的第一全局特征向量，第一全局特征向量用于表征基于像素点在全局的第三语义信息；
预测子模块，用于将局部特征向量和第一全局特征向量输入至色彩分类预测层，获得色彩分类预测层输出的预测色彩分类信息。
在一个可能的实现方式中，色彩分类预测层包括第一拼接层、颜色相似度重赋权层和特征融合层；
预测子模块包括：
第一融合特征单元，用于将局部特征向量和第一全局特征向量输入至第一拼接层进行特征融合，获得第一融合特征向量；第一融合特征向量用于表征基于像素点在全局内和第一尺寸的局部区域内的色彩分类相似性共同确定的第四语义信息；
重标定单元，用于将第一融合特征向量输入至颜色相似度重赋权层进行卷积操作，获得颜色相似度重赋权层输出的重标定特征向量；重标定特征向量用于表征基于像素点在第二尺寸局部区域内的色彩分类相似性确定的第五语义信息，第二尺寸小于第一尺寸；
预测子单元，用于将第一全局特征向量和重标定特征向量输入至特征融合层，获得特征融合层输出的预测色彩分类信息。
在一个可能的实现方式中，特征融合层包括第二特征升维层、第二拼接层和乘操作层；
预测子单元，包括：
第二融合特征单元，用于将第一全局特征向量和重标定特征向量输入至第二拼接层进行特征融合，获得第二融合特征向量；第二融合特征向量用于表征像素点在全局内和第二尺寸的局部区域内的色彩分类相似性共同确定的第六语义信息；
升维单元，用于将重标定特征向量输入至第二特征升维层进行特征升维，获得第二全局特征向量；
颜色地图单元，用于将第二融合特征向量和第二全局特征向量输入至乘操作层进行特征融合，获得乘操作层输出的颜色地图，颜色地图用于表征预测色彩分类信息。
在一个可能的实现方式中，反向传播模块包括：
第一损失计算单元，用于利用预测颜色通道信息和颜色通道信息，根据第一损失函数获得第一损失函数值；
第二损失计算单元，利用预测色彩分类信息和色彩分类信息，根据第二损失函数获得第二损失函数值；
综合训练单元，用于根据第一损失函数值和第二损失函数值对第一网络模型和第二网络模型进行训练。
在一个可能的实现方式中，第二损失函数为Focal Loss函数。
第四方面，提供了一种着色模型的训练装置，包括：
第一模型输出模块，用于将样本灰度图像输入至待训练的第一网络模型，获得第一网络模型生成的分类特征向量和根据分类特征向量输出的预测色彩通道信息；分类特征向量用于表征像素点在局部区域的第一语义信息；
第二模型输出模块，用于将分类特征向量输入至待训练的第二网络模型，获得第二网络模型通过关联像素点的语义相似性与色彩分类相似性而输出的像素点的预测色彩分类信息；
反向传播模块，用于利用样本灰度图像的预测色彩通道信息、预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对第一网络模型和第二网络模型进行训练，将训练后的第一网络模型作为着色模型。
第五方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面或第二方面所提供的方法的步骤。
第六方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面或第二方面所提供的方法的步骤。
第七方面，本发明实施例提供一种计算机程序，该计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，当计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行实现如第一方面或第二方面所提供的方法的步骤。
本发明实施例提供的图像处理方法、装置、电子设备及存储介质，通过获取待着色的灰度图像，将灰度图像输入至预先训练的着色模型中，着色模型通过由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和色彩通道信息对应的色彩分类信息为训练标签，利用对色彩分类进行预测，辅助提升着色预测的准确度，并且着色模型是通过关联样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成，将图像中具有相似色彩分类的区域做语义上的关联，增强通过色彩分类相似性的关注，令网络具有更高的颜色配对学习能力，可实现对于图像中相似语义区域的上色，根据着色后的色彩通道信息对灰度图像进行着色，获得具有更饱和效果以及更丰富色彩的彩色图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种计算机设备的示意图；
图2为本申请实施例的图像处理方法的流程示意图；
图3为本申请实施例的着色模型的训练方法的流程示意图；
图4为本申请实施例的第二网络模型的结构示意图；
图5为本申请实施例的第二网络模型输出像素点的预测色彩分类信息的流程示意图；
图6为本申请实施例的色彩分类预测层的运算逻辑示意图；
图7为本申请实施例通过特征融合层获得预测色彩分类信息的流程示意图；
图8为本申请实施例的第一网络模型和第二网络模型的级联结构的示意图；
图9为本申请实施例提供的一种图像处理装置的结构示意图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍和解释：
1、人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语义处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
2、计算机视觉技术(Computer Vision，CV)，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
3、机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
4、U-Net网络模型，是一个语义分割模型，首先利用卷积操作进行下采样，然后提取出多层特征，利用多层特征，其进行上采样，最后得出一个每个像素点对应其种类的图像。U-Net网络模型主要包括多层编码层和与编码层的层数相同的解码层，其中编码层即用于下采样，进行特征提取，解码层则用于上采样，把获得的特征重新映射到比较大的图中的每一个像素点，用于每一个像素点的分类。
5、颜色空间，也称彩色模型(又称彩色空间或彩色系统)，它的用途是在某些标准下用通常可接受的方式对彩色加以说明。本质上，颜色空间是坐标系统和子空间的阐述。位于系统的每种颜色都有单个点表示。颜色空间有许多种，常用有RGB(red,green,blue)、HSV(Hue,Saturation,Value))、LAB(CIELab color model)等。
RGB(红绿蓝)是依据人眼识别的颜色定义出的颜色空间，可表示大部分颜色。它将色调，亮度，饱和度三个量放在一起表示。它是最通用的面向硬件的彩色模型。
HSV为了更好的数字化处理颜色而提出来的颜色空间。也称六角锥体模型(Hexcone Model)。色调H用角度度量。饱和度S表示颜色接近光谱色的程度。饱和度高，颜色则深而艳。明度V表示颜色明亮的程度。
Lab颜色模型由三个要素组成，一个要素是亮度(L)，a和b是两个颜色通道。a包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)；b是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。因此，这种颜色混合后将产生具有明亮效果的色彩。
6、灰度图像(gray image)是每个像素只有一个采样颜色的图像，这类图像通常显示为从最暗黑色到最亮的白色的灰度，理论上这个采样颜色可以是任何颜色的不同深浅，甚至可以是不同亮度上的不同颜色。灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑色与白色两种颜色；但是，灰度图像在黑色与白色之间还有许多级的颜色深度。
7、注意力机制是当前深度学习领域比较流行的一个概念。其模仿人的视觉注意力模式，每次只关注与当前任务最相关的源域信息，使得信息的索取更为高效。注意力机制可分为软和硬两类，其中软性注意力(Soft Attention)机制是指在选择信息的时候，不是从N个信息中只选择1个，而是计算N个输入信息的加权平均，再输入到神经网络中计算，由此可知，软注意力机制能够关注输入的所有信息，从而能够更准确地获取信息的意义。
本申请提供的图像处理方法、装置、电子设备和计算机可读存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1示出了本申请一个示例性实施例提供的计算机设备101的示意图，该计算机设备101可以是终端或服务器。
终端可以包括数码相机、智能手机、笔记本电脑、台式电脑、平板电脑、智能音箱、智能机器人中的至少一种。可选地，该终端还可以是具有摄像头的设备，例如，人脸支付设备、监控设备、门禁设备等。在一种可选的实现方式中，本申请提供的图像处理方法可以应用于具有图像处理功能的应用程序中，该应用程序可以是：相机应用程序、图像处理应用程序、视频处理应用程序、图片发布应用程序、视频发布应用程序、社交应用程序、购物应用程序、直播应用程序、论坛应用程序、资讯应用程序、生活类应用程序、办公应用程序等。可选地，终端上安装有该应用程序的客户端。
示例性的，终端上存储有着色模型102，当客户端需要使用图像处理功能时，客户端可以调用着色模型完成对图像处理。示例性的，图像处理过程可以由终端来完成，也可以由服务器来完成。
终端包括第一存储器和第一处理器。第一存储器中存储有着色模型；上述着色模型被第一处理器调用执行以实现本申请提供的图像处理方法。第一存储器可以包括但不限于以下几种：随机存取存储器(Random Access Memory，RAM)、只读存储器(ReadOnlyMemory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)、以及电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)。
第一处理器可以是一个或者多个集成电路芯片组成。可选地，第一处理器可以是通用处理器，比如，中央处理器(Central Processing Unit，CPU)或者网络处理器(NetworkProcessor，NP)。可选地，第一处理器可以通过运行程序或代码来实现本申请提供的图像处理方法。
服务器包括第二存储器和第二处理器。第二存储器中存储有着色模型；上述着色模型被第二处理器调用来实现本申请提供的图像处理方法。可选地，第二存储器可以包括但不限于以下几种：RAM、ROM、PROM、EPROM、EEPROM。可选地，第二处理器可以是通用处理器，比如，CPU或者NP。
终端与服务器之间通过有线或者无线网络相互连接。
计算机设备101中存储有着色模型102。当计算机设备101需要进行图像处理时，调用着色模型102对灰度图像103进行图像处理得到彩色图像104。示例性的，着色模型是根据由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和色彩通道信息对应的色彩分类信息为训练标签，通过确定样本灰度图像中具有色彩分类相似性和语义相似性的像素点间的关联关系训练而成；相似的语义信息是根据像素点在样本灰度图像中局部区域的语义信息和全局中的语义信息确定的。
请参见图2，其示例性地示出了本申请实施例的图像处理方法的流程示意图，如图2所示，包括：
S101、获取待着色的灰度图像；
S102、将灰度图像输入至预先训练的着色模型中，获得着色模型输出的灰度图像中像素点的预测色彩通道信息。
本申请实施例的着色模型是根据由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和色彩通道信息对应的色彩分类信息为训练标签。
可选的，本申请实施例的色彩模型为LAB颜色模型，相应的颜色通道信息即像素点在LAB颜色模型中A通道和B通道的值。应当理解的是，颜色即色彩通道的值进行叠加的结果，因此，颜色模型实际可以生成的颜色几乎不可计数。现有技术通常采用U-Net网络模型进行图像着色，现有U-Net网络模型虽然能够学习到不同维度的图像知识和细节，但并不能有效学习到训练集中的语义知识，并且U-Net网络模型本身并不适合解决分类问题，进而导致着色效果差的问题，本申请实施例为了克服该技术问题，一方面，通过对颜色进行分类，将颜色划分为有限的色彩分类，使得在进行模型训练时，利用对色彩分类进行预测，辅助提升着色(色彩通道)预测的准确度。
另一方面，着色网络通过关联样本灰度图像中像素的色彩分类相似性和语义相似性训练而成，通过将图像中具有相似色彩分类的区域做语义上的关联，增强通过色彩分类相似性的关注，令网络具有更高的颜色配对学习能力，实现了对于图像中相似语义区域的上色。例如，当某张图像中有多个人脸时，对于语义信息为人脸的像素点如果颜色均为肉色，那么网络在悬系中将人脸和肉色进行关联，就可以学习出人脸的着色为肉色的成果。
本申请实施例的语义相似性表示像素点与样本灰度图像中预设区域的其他像素点的语义信息的相似程度，例如，某一自拍照中包括人脸区域和背景区域，处于人脸区域的像素点的语义信息即为人脸，处于背景区域的像素点的语义信息即为背景，语义信息同为人脸的像素点就为符合语义相似性的像素点。当然，语义信息除了相同以外，还可以是相近，例如某一风景照中包括了多种植物，比如灌木丛、草地、不同种类的树木等等，属于不同种类的树木的像素点可以作为符合语义相似性的像素点，而属于灌木丛或者草地的像素点和属于树木的像素点则可以作为不符合语义相似性的像素点。
并且，本申请实施例的语义相似性是通过像素点在样本灰度图像中局部区域的语义信息和全局中的语义信息确定的，像素点在样本灰度图像中局部区域的语义信息相比在全局中的语义信息往往更加细致，例如在自拍照中，属于眼睛的像素点在局部区域的语义信息可以是眼睛，而在全局中的语义信息则是人脸，并且，通过局部区域的语义和全局的语义融合，还可以获得更准确的语义，例如，一幅具有猫和狗的图像中，对于猫和狗眼部局部区域的语义都是眼睛，但结合全局的语义猫或者狗，则可以更准确的获得猫眼睛和狗眼睛的语义信息。本申请实施例通过综合考虑局部区域与全局的语义信息，能够获得像素点更加准确的语义信息，也为获得更准确的着色奠定基础。
S103、根据预测色彩通道信息对灰度图像进行着色，获得彩色图像。
本申请实施例的图像处理方法，获取待着色的灰度图像，将灰度图像输入至预先训练的着色模型中，着色模型通过由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和色彩通道信息对应的色彩分类信息为训练标签，利用对色彩分类进行预测，辅助提升着色预测的准确度，并且着色模型是通过关联样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成，将图像中具有相似色彩分类的区域做语义上的关联，增强通过色彩分类相似性的关注，令网络具有更高的颜色配对学习能力，可实现对于图像中相似语义区域的上色，根据着色后的色彩通道信息对灰度图像进行着色，获得具有更饱和效果以及更丰富色彩的彩色图像。
请参见图3，其示例性地示出了本申请实施例的着色模型的训练方法，如图所示，将样本灰度图像201输入至待训练的第一网络模型202，获得第一网络模型202生成的分类特征向量203和根据分类特征向量203输出的像素点的预测色彩通道信息204。
具体的，本申请实施例的第一网络模型可以是U-Net网络，由图3可知，本申请实施例是将第一网络模型和第二网络模型级联，并利用第一网络模型产生的中间特征作为第二网络模型的输出，因此为了能够对第一网络模型具有更好的学习效果，应采用第一网络模型中尽量靠后的中间特征，进一步结合U-Net网络的具体结构，本申请实施例为了上采样阶段和下采样阶段都有更好的学习，将上采样层输出的特征作为分类特征向量，由U-Net网络的运算机理可知，分类特征向量自带了语义信息，但该语义信息的准确度较低，并且该分类特征向量是像素点在样本灰度图像的局部区域内的语义信息，一般地，该局部区域的大小是3*3大小，也即像素点在样本灰度图像中3*3像素点区域内的语义信息。因此还需要进一步对该特征进行处理，以获得更精准的语义信息。
分类特征向量203作为待训练的第二网络模型205的输入，第二网络模型205通过关联像素点的语义相似性与色彩分类相似性输出的像素点的预测色彩分类信息，输出像素点的预测色彩分类信息206。
第二网络模型在训练过程中对于色彩分类信息的预测是逐渐变准确的，因此在训练过程中色彩分类相似性的确定也是逐渐变得准确，而将具有相似色彩分类的像素点在语义信息上进行关联，也是逐渐变得准确。
将样本灰度图像的预测色彩通道信息204、预测色彩分类信息206、色彩通道信息207和色彩分类信息208输入至损失函数209计算损失函数值210，利用损失函数值210通过反向传播法训练第一网络模型202和第二网络模型205中的参数，最后将训练后的第一网络模型202作为着色模型。
本申请实施例通过将第一网络模型和第二网络模型进行级联，利用第一网络模型输出色彩通道信息的预测结果，利用第二网络模型通过关联像素点的语义相似性与色彩分类相似性输出像素点的色彩分类信息的预测结果，并根据两个预测结果确定损失函数值，以对两个网络模型的参数共同训练，提高了模型的训练速度和训练精度。
在上述各实施例的基础上，作为一种可选实施例，请参见图4，其示例性地示出了本申请实施例的第二网络模型的结构示意图，如图所示，第二网络模型至少包括第一网络层和第二网络层；
第一网络层获取第一网络模型的分类特征向量，对分类特征向量进行特征升维，并输出第一特征向量，第一特征向量用于表征基于像素点在全局内的全局语义信息。
通过第一网络层对分类特征向量进行特征升维，使得分类特征向量所表征的局部区域的语义信息能够拓展至全局范围，应当理解的是，全局语义信息的准确性相比第一语义信息并没有较大程度的提高，仍然是粗略的语义信息。
具体的，本申请实施例的第一网络层可以包括卷积层、批标准化(BatchNormalization,BN)层和激活函数层，也即通过对分类特征向量进行卷积、批标准化和预设激活函数的处理，获得第一全局特征向量。可选的，本申请实施例的第一特征升维层中的卷积层的卷积核的大小可以为1*1，激活函数层采用的激活函数为Relu激活函数(TheRectified Linear Unit)。
第二网络层获取分类特征向量和第一特征向量，将分类特征向量和第一特征向量分别表征的像素点的第一语义信息和全局语义信息与色彩分类相似性相关联，输出像素点的预测色彩分类信息。
本申请通过第二网络层将分类特征向量和第一特征向量分别标识的第一语义信息和全局语义信息与色彩分类相似性相关联，就建立语义相似性和色彩分类相似性的关联，不仅语义相似性融合了全局和局部的语义信息，并且语音信息也因为增强了与色彩分类的关联而更加精确。
图4中通过虚线框出的部分表示利用第一网络层和损失函数，进行利用粗略语义信息实现色彩分类的训练方式，但正是由于该方式中的语义信息并没有与色彩分类的相似性进行关联，因此该方式获得的预测色彩分类信息准确度较低，而本实施例则相当于在上述简单的分类基础上，增强了相似颜色对于语义信息的关联，这样的语义信息更能够体现出图像中整体和局部内颜色相似性，获得的预测色彩分类信息相比仅基于全局语义信息获得预测色彩分类信息要更加准确。
在上述各实施例的基础上，作为一种可选实施例，第二网络模型包括软性色彩相似度层、第一特征升维层和色彩分类预测层。
请参见图5，其示例性地示出了本申请实施例的第二网络模型输出像素点的预测色彩分类信息的流程示意图，如图5所示，包括：
S201、将分类特征向量输入至软性色彩相似度层，获得软性色彩相似度层关联像素点的语义相似性与色彩分类相似性输出的局部特征向量，局部特征向量用于表征基于像素点在第一尺寸局部区域内的色彩分类相似性确定的第二语义信息。
具体的，本申请实施例可以通过软注意力机制，对分类特征向量进行卷积操作，获得局部特征向量。需要注意的是，分类特征向量表征像素点在局部区域的第一语义信息，通过卷积操作，获得的特征向量所表征的语义信息仍然是针对局部区域的，但是由于卷积操作是基于软注意力机制进行的，软注意力机制利用相关特征学习权重分布，再用学出来的权重施加在特征之上进一步提取相关知识，在本申请中，软注意力机制会根据预测的色彩分类信息调整分类特征向量的权重分布，从而使得调整后的特征向量的语义信息和色彩分类(软注意力所关注的结果)进行了初次的关联。
局部特征向量表征基于像素点在第一尺寸局部区域内的色彩分类相似性确定的第二语义信息，应当理解的是，由于训练的目的是为了准确获得每个像素的色彩分类信息，因此步骤S201获得的色彩分类相似性是随着训练过程逐渐准确的，也即局部特征向量所表征的第二语义信息也是逐渐准确的。例如，某一植物图像中淡黄色区域是花蕊，明黄色区域是花瓣，在训练过程中，由于预测的色彩分类信息(淡黄/明黄)的准确率逐渐变高，因此两个区域的像素点的语义信息(花蕊/花瓣)也会逐渐准确。
S202、将分类特征向量输入至第一特征升维层进行特征升维，获得第一特征升维层输出的样本灰度图像的第一全局特征向量，第一全局特征向量用于表征基于像素点在全局的第三语义信息。
本申请实施例一方面对分类特征向量进行局部的语义相似性和色彩分类相似性的关联，另一方面，会对分类特征向量进行特征升维，使得分类特征向量所表征的局部区域的语义信息能够拓展至全局范围。
具体的，本申请实施例的第一特征升维层可以包括卷积层、批标准化层和激活函数层，也即通过对分类特征向量进行卷积、批标准化和预设激活函数的处理，获得第一全局特征向量。可选的，本申请实施例的第一特征升维层中的卷积层的卷积核的大小可以为1*1，激活函数层采用的激活函数为Relu激活函数。
S203、将局部特征向量和第一全局特征向量输入至色彩分类预测层，获得色彩分类预测层输出的预测色彩分类信息。
本申请实施例的色彩分类预测层可以通过将局部特征向量和第一全局特征向量进行特征融合，融合结果将具备全局和局部范围的语义信息，使得语义信息更加准确，并基于具有相似语义的像素点具有相似的色彩分类的构思，获得更加准确的色彩分类预测结果。
在上述各实施例的基础上，作为一种可选实施例，色彩分类预测层包括第一拼接层、颜色相似度重赋权层和特征融合层；请参见图6，其示例性地示出了本申请实施例的色彩分类预测层的运算逻辑示意图，如图所示，局部特征向量301和第一全局特征向量302输入至第一拼接层303进行特征融合，获得第一融合特征向量304。
应当理解的是，由于局部特征向量包含了像素点在第一尺寸局部区域内的色彩分类相似性确定的第二语义信息，而第一全局特征向量包含了像素点在全局的第三语义信息，通过特征融合，就使得获得的第一融合特征向量进一步加权了语义和色彩分类的关联，并且第一融合特征所表征的第四语义信息兼顾了像素点在全局内和第一尺寸的局部区域内的色彩分类相似性，从而第四语义信息相比此前获得的语义信息更加准确。
将第一融合特征向量304输入至颜色相似度重赋权层305进行卷积操作，获得颜色相似度重赋权层输出的重标定特征向量306；
本申请实施例的重标定特征向量用于表征基于像素点在第二尺寸局部区域内的色彩分类相似性确定的第五语义信息，第二尺寸小于第一尺寸，也就是说，本申请实施例进行卷积操作的卷积核相比上述基于软注意力机制进行卷积操作的卷积核更小，从而可以提取出像素点在更小的局部区域内的语义信息，并且由于该语义信息是在第四语义信息的基础上获得的，因此该语义信息进一步加强了与色彩分类的关联。
将第一全局特征向量302和重标定特征向量306输入至特征融合层307，获得特征融合层307输出的预测色彩分类信息308。
本申请实施例的特征融合层可以将第一全局特征向量和重标定特征向量进行特征融合，即实现了全局的语义信息和基于第二尺寸局部区域内的色彩分类相似性的语义信息都能够得到保留，语义信息更加准确的同事，还更进一步地加权了语义信息和色彩分类的关联，特征融合层基于更准确的语义信息，也就可以获得更准确的色彩分类信息的预测结果。
在上述各实施例的基础上，作为一种可选实施例，特征融合层包括第二特征升维层、第二拼接层和乘操作层；
将第一全局特征向量和重标定特征向量输入至特征融合层，获得特征融合层输出的预测色彩分类信息，如图7所示，包括：
S301、将第一全局特征向量和重标定特征向量输入至第二拼接层进行特征融合，获得第二融合特征向量；
本申请实施例的第二融合特征向量用于表征像素点在全局内和第二尺寸的局部区域内的色彩分类相似性共同确定的第六语义信息。本申请在对第一融合特征向量进行卷积操作后，获得了基于像素点在第二尺寸局部区域内的色彩分类相似性确定的第五语义信息，将第五语义信息与体现像素点在全局的语义信息相融合，就可以获得在全局语义更加准确且和色彩分类关联更紧密的语义信息。
S302、将重标定特征向量输入至第二特征升维层进行特征升维，获得第二全局特征向量。
需要注意的是，本申请实施例对于步骤S301和S302的时序关系不作具体的限定，例如可以是步骤S301先于步骤S302执行，也可以是步骤S302先于步骤S301执行，还可以是步骤S301和S302并行执行。
由于重标定特征向量表征的是从局部区域的色彩分类相似性上确定的语义信息，通过对该特征向量进行特征升维，就可以获得在全局的色彩分类相似性上确定的语义信息。
本申请实施例的第二特征升维层的结构可以与第一特征升维层的结构相同，即均由卷积层、批标准化层和激活函数层构成。
S303、将第二融合特征向量和第二全局特征向量输入至乘操作层进行特征融合，获得乘操作层输出的颜色地图，颜色地图用于表征预测色彩分类信息。
由于第二融合特征向量和第二全局特征向量的获得均经历了局部色彩分类相似性和全局色彩相似性的综合考虑，因此将这两个特征向量进一步特征融合，就能够获得语义和色彩分类充分关联的颜色地图colormap，颜色地图中的每个像素点所表征的预测色彩分类信息也更加准确。
在上述各实施例的基础上，作为一种可选实施例，利用样本灰度图像的预测色彩通道信息、预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对第一网络模型和第二网络模型进行训练，包括：
S401、利用预测颜色通道信息和颜色通道信息，根据第一损失函数获得第一损失函数值；
具体的，本申请实施例的第一损失函数可以是L1 Loss损失函数
S402、利用预测色彩分类信息和色彩分类信息，根据第二损失函数获得第二损失函数值。
具体的，本申请实施例的第二损失函数为Focal Loss损失函数。Focal Loss损失函数能够解决one-stage目标检测中正负样本极不平衡和难分类样本学习的问题，在本方案中，通过为Focal Loss损失函数能够解决训练集中的场景类型不平衡以及学习难度悬殊的问题。
S403、根据第一损失函数值和第二损失函数值对第一网络模型和第二网络模型进行训练。
请参见图8，其示例性地示出了本申请实施例的第一网络模型和第二网络模型的级联结构的示意图，如图所示，第一网络模型包括下采样层和上采样层，样本灰度图图像通过下采样层降低图像尺寸，提取一些浅显的特征，通过上采样层获取一些深层次的特征，上采样层输出预测颜色通道信息a和b，即LAB颜色空间中的a分量和b分量，通过损失函数L1LOSS根据预测颜色通道信息和实际的颜色通道信息计算第一损失函数值；由于上采样层中具有多个卷积层进行卷积操作，本申请将上采样层中的任意一个卷积层的输出作为第二网络模型的输入，也即分类特征向量，分类特征向量分别输入至软性色彩相似度层和第一特征升维层，软性色彩相似度层通过3×3大小的卷积核(即3×3conv)进行卷积处理，输出局部特征向量，第一特征升维层进一步包括卷积层、批标准化层和激活函数层，通过1×1的卷积操作、批标准化处理以及激活函数处理，输出第一全局特征向量。
局部特征向量和第一全局特征向量输入至第一拼接层进行特征融合，第一拼接层具体可以为concatenate层，通过拼接操作进行特征融合，输出第一融合特征向量，第一融合特征向量输入至颜色相似度重赋权层，颜色相似度重赋权层可以为卷积层，卷积核大小为1×1，从而获得表征基于像素点在第二尺寸局部区域内的色彩分类相似性确定的第五语义信息的重标定特征向量。
一方面，重标定特征向量和第一全局特征向量输入第二拼接层504进行特征融合，第二拼接层具体可以为concatenate层，输出第二融合特征向量，另一方面，重标定特征向量输入第二特征升维层进行特征升维，第二特征升维层的结构与第一特征升维层的结构系统，包括卷积层、批标准化层和激活函数，第二特征升维层输出第二全局特征向量。
第二融合特征向量和第二全局特征向量输入至乘操作层进行特征融合，获得乘操作层输出的颜色地图colormap，颜色地图用于表征预测色彩分类信息，将颜色地图和实际的色彩分类信息输入至第二损失函数Focal Loss中，获得第二损失函数值，通过第一损失函数值和第二损失函数值进行反向传播，优化第一网络函数和第二网络函数的参数。
本申请实施例提供了一种图像处理装置，如图9所示，该装置可以包括：灰度图像获取模块501、色彩通道信息获取模块502和着色模块503，具体地：
灰度图像获取模块501，用于获取待着色的灰度图像；
色彩通道信息获取模块502，用于将灰度图像输入至预先训练的着色模型中，获得着色模型输出的灰度图像中像素点的预测色彩通道信息；
着色模块503，用于根据预测色彩通道信息对灰度图像进行着色，获得彩色图像；
其中，着色模型是根据由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和对应的色彩分类信息为训练标签，通过关联样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成；
语义相似性表示样本灰度图像中像素点与样本灰度图像中预设区域的其他像素点的语义信息的相似程度，色彩分类相似性表示样本灰度图像中像素点与样本灰度图像中预设区域的其他像素点的预测色彩分类信息的相似程度。
本发明实施例提供的图像处理装置，具体执行上述方法实施例流程，具体请详见上述图像处理方法实施例的内容，在此不再赘述。本发明实施例提供的图像处理装置，通过获取待着色的灰度图像，将灰度图像输入至预先训练的着色模型中，着色模型通过由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和色彩通道信息对应的色彩分类信息为训练标签，利用对色彩分类进行预测，辅助提升着色预测的准确度，并且着色模型是通过关联样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成，将图像中具有相似色彩分类的区域做语义上的关联，增强通过色彩分类相似性的关注，令网络具有更高的颜色配对学习能力，可实现对于图像中相似语义区域的上色，根据着色后的色彩通道信息对灰度图像进行着色，获得具有更饱和效果以及更丰富色彩的彩色图像。
在上述各实施例的基础上，作为一种可选实施例，图像处理装置还包括模型训练模块，模型训练模块包括：
分类特征向量获取模块，用于将样本灰度图像输入至待训练的第一网络模型，获得第一网络模型生成的分类特征向量和根据分类特征向量输出的像素点着色后的预测色彩通道信息；分类特征向量用于表征像素点在局部区域的第一语义信息；
预测分类信息获取模块，用于将分类特征向量输入至待训练的第二网络模型，获得第二网络模型通过关联像素点的语义相似性与色彩分类相似性输出的像素点的预测色彩分类信息；
反向传播模块，用于利用样本灰度图像的预测色彩通道信息、预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对第一网络模型和第二网络模型进行训练，将训练后的第一网络模型作为着色模型。
在上述各实施例的基础上，作为一种可选实施例，第二网络模型包括软性色彩相似度层、第一特征升维层和色彩分类预测层；
预测分类信息获取模块，包括：
局部特征获取子模块，用于将分类特征向量输入至软性色彩相似度层，获得软性色彩相似度层关联像素点的语义相似性与色彩分类相似性输出的局部特征向量，局部特征向量用于表征基于像素点在第一尺寸局部区域内的色彩分类相似性确定的第二语义信息；
升维子模块，用于将分类特征向量输入至第一特征升维层进行特征升维，获得第一特征升维层输出的样本灰度图像的第一全局特征向量，第一全局特征向量用于表征基于像素点在全局的第三语义信息；
预测子模块，用于将局部特征向量和第一全局特征向量输入至色彩分类预测层，获得色彩分类预测层输出的预测色彩分类信息。
在上述各实施例的基础上，作为一种可选实施例，色彩分类预测层包括第一拼接层、颜色相似度重赋权层和特征融合层；
预测子模块包括：
第一融合特征单元，用于将局部特征向量和第一全局特征向量输入至第一拼接层进行特征融合，获得第一融合特征向量；第一融合特征向量用于表征基于像素点在全局内和第一尺寸的局部区域内的色彩分类相似性共同确定的第四语义信息；
重标定单元，用于将第一融合特征向量输入至颜色相似度重赋权层进行卷积操作，获得颜色相似度重赋权层输出的重标定特征向量；重标定特征向量用于表征基于像素点在第二尺寸局部区域内的色彩分类相似性确定的第五语义信息，第二尺寸小于第一尺寸；
预测子单元，用于将第一全局特征向量和重标定特征向量输入至特征融合层，获得特征融合层输出的预测色彩分类信息。
在上述各实施例的基础上，作为一种可选实施例，特征融合层包括第二特征升维层、第二拼接层和乘操作层；
预测子单元，包括：
第二融合特征单元，用于将第一全局特征向量和重标定特征向量输入至第二拼接层进行特征融合，获得第二融合特征向量；第二融合特征向量用于表征像素点在全局内和第二尺寸的局部区域内的色彩分类相似性共同确定的第六语义信息；
升维单元，用于将重标定特征向量输入至第二特征升维层进行特征升维，获得第二全局特征向量；
颜色地图单元，用于将第二融合特征向量和第二全局特征向量输入至乘操作层进行特征融合，获得乘操作层输出的颜色地图，颜色地图用于表征预测色彩分类信息。
在上述各实施例的基础上，作为一种可选实施例，反向传播模块包括：
第一损失计算单元，用于利用预测颜色通道信息和颜色通道信息，根据第一损失函数获得第一损失函数值；
第二损失计算单元，利用预测色彩分类信息和色彩分类信息，根据第二损失函数获得第二损失函数值；
综合训练单元，用于根据第一损失函数值和第二损失函数值对第一网络模型和第二网络模型进行训练。
在上述各实施例的基础上，作为一种可选实施例，第二损失函数为Focal Loss函数。
本申请实施例还提供一种着色模型的训练装置，包括：
第一模型输出模块，用于将样本灰度图像输入至待训练的第一网络模型，获得第一网络模型生成的分类特征向量和根据分类特征向量输出的预测色彩通道信息；分类特征向量用于表征像素点在局部区域的第一语义信息；
第二模型输出模块，用于将分类特征向量输入至待训练的第二网络模型，获得第二网络模型通过关联像素点的语义相似性与色彩分类相似性而输出的像素点的预测色彩分类信息；
反向传播模块，用于利用样本灰度图像的预测色彩通道信息、预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对第一网络模型和第二网络模型进行训练，将训练后的第一网络模型作为着色模型。
本申请实施例中提供了一种电子设备，该电子设备包括：存储器和处理器；至少一个程序，存储于存储器中，用于被处理器执行时，与现有技术相比可实现：通过获取待着色的灰度图像，将灰度图像输入至预先训练的着色模型中，着色模型通过由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和色彩通道信息对应的色彩分类信息为训练标签，利用对色彩分类进行预测，辅助提升着色预测的准确度，并且着色模型是通过关联样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成，将图像中具有相似色彩分类的区域做语义上的关联，增强通过色彩分类相似性的关注，令网络具有更高的颜色配对学习能力，可实现对于图像中相似语义区域的上色，根据着色后的色彩通道信息对灰度图像进行着色，获得具有更饱和效果以及更丰富色彩的彩色图像。
在一个可选实施例中提供了一种电子设备，如图10所示，图10所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(FieldProgrammable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscReadOnly Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，通过获取待着色的灰度图像，将灰度图像输入至预先训练的着色模型中，着色模型通过由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和色彩通道信息对应的色彩分类信息为训练标签，利用对色彩分类进行预测，辅助提升着色预测的准确度，并且着色模型是通过关联样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成，将图像中具有相似色彩分类的区域做语义上的关联，增强通过色彩分类相似性的关注，令网络具有更高的颜色配对学习能力，可实现对于图像中相似语义区域的上色，根据着色后的色彩通道信息对灰度图像进行着色，获得具有更饱和效果以及更丰富色彩的彩色图像。
本申请实施例提供了一种计算机程序，该计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，当计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如前述方法实施例所示的内容。与现有技术相比，通过获取待着色的灰度图像，将灰度图像输入至预先训练的着色模型中，着色模型通过由样本彩色图像去色后的样本灰度图像为训练样本，以样本彩色图像中像素点的色彩通道信息和色彩通道信息对应的色彩分类信息为训练标签，利用对色彩分类进行预测，辅助提升着色预测的准确度，并且着色模型是通过关联样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成，将图像中具有相似色彩分类的区域做语义上的关联，增强通过色彩分类相似性的关注，令网络具有更高的颜色配对学习能力，可实现对于图像中相似语义区域的上色，根据着色后的色彩通道信息对灰度图像进行着色，获得具有更饱和效果以及更丰富色彩的彩色图像。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种图像处理方法，其特征在于，包括：
获取待着色的灰度图像；
将所述灰度图像输入至预先训练的着色模型中，获得所述着色模型输出的所述灰度图像中像素点的预测色彩通道信息；
根据所述预测色彩通道信息对所述灰度图像进行着色，获得彩色图像；
其中，所述着色模型根据由样本彩色图像去色后的样本灰度图像为训练样本，以所述样本彩色图像中像素点的色彩通道信息和对应的色彩分类信息为训练标签，通过关联所述样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成；
所述语义相似性表示样本灰度图像中像素点与样本灰度图像中预设区域的像素点的语义信息的相似程度，所述色彩分类相似性表示样本灰度图像中像素点与样本灰度图像中预设区域的像素点的预测色彩分类信息的相似程度。
2.根据权利要求1所述的图像处理方法，其特征在于，所述着色模型的训练方法包括：
将所述样本灰度图像输入至待训练的第一网络模型，获得所述第一网络模型生成的分类特征向量和根据所述分类特征向量输出的预测色彩通道信息；所述分类特征向量用于表征像素点在局部区域的第一语义信息；
将所述分类特征向量输入至待训练的第二网络模型，获得所述第二网络模型通过关联像素点的语义相似性与色彩分类相似性而输出的像素点的预测色彩分类信息；
利用所述样本灰度图像的预测色彩通道信息、所述预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对所述第一网络模型和第二网络模型进行训练，将训练后的第一网络模型作为所述着色模型。
3.根据权利要求2所述的图像处理方法，其特征在于，所述第二网络模型至少包括第一网络层和第二网络层；
所述第一网络层获取所述第一网络模型的分类特征向量，对所述分类特征向量进行特征升维，并输出第一特征向量，所述第一特征向量用于表征基于像素点在全局内的全局语义信息；
所述第二网络层获取所述分类特征向量和所述第一特征向量，将所述分类特征向量和所述第一特征向量分别表征的像素点的第一语义信息和全局语义信息与色彩分类相似性相关联，输出像素点的预测色彩分类信息。
4.根据权利要求2或3所述的图像处理方法，其特征在于，所述第二网络模型包括软性色彩相似度层、第一特征升维层和色彩分类预测层；
所述将所述分类特征向量输入至待训练的第二网络模型，获得所述第二网络模型通过关联像素点的语义相似性与色彩分类相似性输出的像素点的预测色彩分类信息，包括：
将所述分类特征向量输入至所述软性色彩相似度层，获得所述软性色彩相似度层关联像素点的语义相似性与色彩分类相似性输出的局部特征向量，所述局部特征向量用于表征基于像素点在第一尺寸局部区域内的色彩分类相似性确定的第二语义信息；
将所述分类特征向量输入至所述第一特征升维层进行特征升维，获得所述第一特征升维层输出的所述样本灰度图像的第一全局特征向量，所述第一全局特征向量用于表征基于像素点在全局的第三语义信息；
将所述局部特征向量和第一全局特征向量输入至所述色彩分类预测层，获得所述色彩分类预测层输出的所述预测色彩分类信息。
5.根据权利要求4所述的图像处理方法，其特征在于，所述色彩分类预测层包括第一拼接层、颜色相似度重赋权层和特征融合层；
所述将所述局部特征向量和第一全局特征向量输入至所述色彩分类预测层，获得所述色彩分类预测层输出的所述预测色彩分类信息，包括：
将所述局部特征向量和所述第一全局特征向量输入至所述第一拼接层进行特征融合，获得第一融合特征向量；所述第一融合特征向量用于表征基于像素点在全局内和第一尺寸的局部区域内的色彩分类相似性共同确定的第四语义信息；
将所述第一融合特征向量输入至所述颜色相似度重赋权层进行卷积操作，获得所述颜色相似度重赋权层输出的重标定特征向量；所述重标定特征向量用于表征基于像素点在第二尺寸局部区域内的色彩分类相似性确定的第五语义信息，所述第二尺寸小于所述第一尺寸；
将所述第一全局特征向量和所述重标定特征向量输入至所述特征融合层，获得所述特征融合层输出的所述预测色彩分类信息。
6.根据权利要求5所述的图像处理方法，其特征在于，所述特征融合层包括第二特征升维层、第二拼接层和乘操作层；
所述将所述第一全局特征向量和所述重标定特征向量输入至所述特征融合层，获得所述特征融合层输出的所述预测色彩分类信息，包括：
将所述第一全局特征向量和所述重标定特征向量输入至所述第二拼接层进行特征融合，获得第二融合特征向量；所述第二融合特征向量用于表征像素点在全局内和第二尺寸的局部区域内的色彩分类相似性共同确定的第六语义信息；
将所述重标定特征向量输入至所述第二特征升维层进行特征升维，获得第二全局特征向量；
将所述第二融合特征向量和所述第二全局特征向量输入至所述乘操作层进行特征融合，获得所述乘操作层输出的颜色地图，所述颜色地图用于表征所述预测色彩分类信息。
7.根据权利要求2所述的图像处理方法，其特征在于，所述利用所述样本灰度图像的预测色彩通道信息、所述预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对所述第一网络模型和第二网络模型进行训练，包括：
利用所述预测颜色通道信息和所述颜色通道信息，根据第一损失函数获得第一损失函数值；
利用所述预测色彩分类信息和所述色彩分类信息，根据第二损失函数获得第二损失函数值；
根据所述第一损失函数值和所述第二损失函数值对所述第一网络模型和第二网络模型进行训练。
8.根据权利要求7所述的图像处理方法，其特征在于，所述第二损失函数为FocalLoss函数。
9.一种着色模型的训练方法，其特征在于，包括：
将样本灰度图像输入至待训练的第一网络模型，获得所述第一网络模型生成的分类特征向量和根据所述分类特征向量输出的预测色彩通道信息；所述分类特征向量用于表征像素点在局部区域的第一语义信息；
将所述分类特征向量输入至待训练的第二网络模型，获得所述第二网络模型通过关联像素点的语义相似性与色彩分类相似性而输出的像素点的预测色彩分类信息；
利用所述样本灰度图像的预测色彩通道信息、所述预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对所述第一网络模型和第二网络模型进行训练，将训练后的第一网络模型作为着色模型。
10.一种图像处理装置，其特征在于，包括：
灰度图像获取模块，用于获取待着色的灰度图像；
色彩通道信息获取模块，用于将所述灰度图像输入至预先训练的着色模型中，获得所述着色模型输出的所述灰度图像中像素点的预测色彩通道信息；
着色模块，用于根据所述预测色彩通道信息对所述灰度图像进行着色，获得彩色图像；
其中，所述着色模型是根据由样本彩色图像去色后的样本灰度图像为训练样本，以所述样本彩色图像中像素点的色彩通道信息和对应的色彩分类信息为训练标签，通过关联所述样本灰度图像中像素点的语义相似性与色彩分类相似性训练而成；
所述语义相似性表示样本灰度图像中像素点与样本灰度图像中预设区域的像素点的语义信息的相似程度，所述色彩分类相似性表示样本灰度图像中像素点与样本灰度图像中预设区域的像素点的预测色彩分类信息的相似程度。
11.一种着色模型的训练装置，其特征在于，包括：
第一模型输出模块，用于将样本灰度图像输入至待训练的第一网络模型，获得所述第一网络模型生成的分类特征向量和根据所述分类特征向量输出的预测色彩通道信息；所述分类特征向量用于表征像素点在局部区域的第一语义信息；
第二模型输出模块，用于将所述分类特征向量输入至待训练的第二网络模型，获得所述第二网络模型通过关联像素点的语义相似性与色彩分类相似性而输出的像素点的预测色彩分类信息；
反向传播模块，用于利用所述样本灰度图像的预测色彩通道信息、所述预测色彩分类信息、色彩通道信息和色彩分类信息，根据预设的损失函数对所述第一网络模型和第二网络模型进行训练，将训练后的第一网络模型作为着色模型。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9任一项所述图像处理方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至9中任意一项所述图像处理方法的步骤。
CN202110710924.0A 2021-06-25 2021-06-25 图像处理方法、装置、电子设备及存储介质 Active CN113822951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110710924.0A CN113822951B (zh) 2021-06-25 2021-06-25 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110710924.0A CN113822951B (zh) 2021-06-25 2021-06-25 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113822951A CN113822951A (zh) 2021-12-21
CN113822951B true CN113822951B (zh) 2023-05-30

Family

ID=78924048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110710924.0A Active CN113822951B (zh) 2021-06-25 2021-06-25 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113822951B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422698B (zh) * 2022-01-19 2023-09-26 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质
CN114898031A (zh) * 2022-04-08 2022-08-12 北京科技大学 一种基于生成对抗式网络的图像着色方法及装置
CN115082703B (zh) * 2022-07-19 2022-11-11 深圳大学 概念关联颜色提取方法、装置、计算机设备和存储介质
CN115525281B (zh) * 2022-10-12 2023-06-27 广州宏天软件股份有限公司 一种表单交互图形展示与选择方法
CN115690288B (zh) * 2022-11-03 2023-05-16 北京大学 一种由颜色标符指导的自动着色算法及装置
CN117315438B (zh) * 2023-09-25 2024-06-18 北京邮电大学 基于兴趣点的图像色彩美学评估方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504734A (zh) * 2014-09-16 2015-04-08 浙江工业大学 一种基于语义的图像颜色传输方法
CN111179361A (zh) * 2019-03-26 2020-05-19 西安电子科技大学 一种基于深度学习的黑白影像自动着色方法
CN111524205A (zh) * 2020-04-23 2020-08-11 北京信息科技大学 基于循环生成对抗网络的图像着色处理方法及装置
WO2020226630A1 (en) * 2019-05-07 2020-11-12 Google Llc Systems and methods for training an image colorization model
WO2021050055A1 (en) * 2019-09-11 2021-03-18 Google Llc Image colorization using machine learning
CN112991371A (zh) * 2021-04-20 2021-06-18 云南大学 一种基于着色溢出约束的图像自动着色方法及系统
CN112991493A (zh) * 2021-04-09 2021-06-18 华南理工大学 基于vae-gan和混合密度网络的灰度图像着色方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430950B2 (en) * 2018-03-01 2019-10-01 Honda Motor Co., Ltd. Systems and methods for performing instance segmentation
US11302033B2 (en) * 2019-07-22 2022-04-12 Adobe Inc. Classifying colors of objects in digital images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504734A (zh) * 2014-09-16 2015-04-08 浙江工业大学 一种基于语义的图像颜色传输方法
CN111179361A (zh) * 2019-03-26 2020-05-19 西安电子科技大学 一种基于深度学习的黑白影像自动着色方法
WO2020226630A1 (en) * 2019-05-07 2020-11-12 Google Llc Systems and methods for training an image colorization model
WO2021050055A1 (en) * 2019-09-11 2021-03-18 Google Llc Image colorization using machine learning
CN111524205A (zh) * 2020-04-23 2020-08-11 北京信息科技大学 基于循环生成对抗网络的图像着色处理方法及装置
CN112991493A (zh) * 2021-04-09 2021-06-18 华南理工大学 基于vae-gan和混合密度网络的灰度图像着色方法
CN112991371A (zh) * 2021-04-20 2021-06-18 云南大学 一种基于着色溢出约束的图像自动着色方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于密集神经网络的灰度图像着色算法;张娜;秦品乐;曾建潮;李启;;计算机应用(06);全文 *

Also Published As

Publication number Publication date
CN113822951A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN113822951B (zh) 图像处理方法、装置、电子设备及存储介质
Yi et al. ASSD: Attentive single shot multibox detector
CN110084281B (zh) 图像生成方法、神经网络的压缩方法及相关装置、设备
CN111507378A (zh) 训练图像处理模型的方法和装置
CN108647585A (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN111476309A (zh) 图像处理方法、模型训练方法、装置、设备及可读介质
CN113807399B (zh) 一种神经网络训练方法、检测方法以及装置
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114863236B (zh) 基于双重注意力机制的图像目标检测方法
CN112465709B (zh) 一种图像增强方法、装置、存储介质及设备
CN112257759A (zh) 一种图像处理的方法以及装置
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN117011616B (zh) 一种图像内容审核方法、装置、存储介质和电子设备
CN117557784B (zh) 目标检测方法、装置、电子设备及存储介质
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN114187515A (zh) 图像分割方法和图像分割装置
CN117884379A (zh) 一种矿石分选方法及系统
CN116486153A (zh) 图像分类方法、装置、设备及存储介质
CN115578364A (zh) 基于混合注意力与调和因子的微弱目标检测方法及系统
CN116777814A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN113807407A (zh) 目标检测模型训练方法、模型性能检测方法及装置
Mishra et al. Enhanced Object Detection with Deep Convolutional Neural Networks for Vehicle Detection
CN117095244B (zh) 一种红外目标识别方法、装置、设备及介质
Dutta Seeing Objects in Dark with Continual Contrastive Learning
CN118135669B (zh) 一种基于轻量化网络的课堂行为识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant