CN115147297A - 一种图像处理方法及装置 - Google Patents
一种图像处理方法及装置 Download PDFInfo
- Publication number
- CN115147297A CN115147297A CN202210649065.3A CN202210649065A CN115147297A CN 115147297 A CN115147297 A CN 115147297A CN 202210649065 A CN202210649065 A CN 202210649065A CN 115147297 A CN115147297 A CN 115147297A
- Authority
- CN
- China
- Prior art keywords
- image
- color
- training
- processing
- characteristic diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 89
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000011084 recovery Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 238000010586 diagram Methods 0.000 claims description 63
- 238000006731 degradation reaction Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000015556 catabolic process Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法及装置，用以通过预设的引入了注意力机制的图像色彩恢复模型，实现对工业相机采集到的图像去马赛克，从而能够针对图像上需要插值的部分更加准确地还原出图像真实色彩，提升图像色彩恢复质量，不仅可实时操作，而且可靠性更强。本申请提供的一种图像处理方法，包括：获取需要进行去马赛克处理的待处理图像，所述待处理图像是通过工业相机采集到的图像；通过预设的图像色彩恢复模型，对所述待处理图像进行去马赛克处理，得到色彩恢复的图像，其中，所述图像色彩恢复模型是采用神经网络训练得到的，所述神经网络中的卷积处理模块是添加有注意力机制的卷积处理模块。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。
背景技术
在传统的图像去马赛克处理中，多采用最近邻点插值、双线性插值等方式对图像进行插值处理，由于不能准确地预测高频信息(即图像中目标物边缘部分)，目标物图像区域边缘部分的插值往往不够准确，容易出现边缘值异常，导致目标物图像区域边缘出现伪色、模糊等，需要用滤波的方式进一步处理高频信息，但经滤波处理后的高频信息部分，容易被看出明显的人为插值痕迹，图像色彩还原失真严重，容易出现拉链效应，目标物图像区域边缘部分产生模糊和颜色溢出。
发明内容
本申请实施例提供了一种图像处理方法及装置，用以通过预设的引入了注意力机制的图像色彩恢复模型，实现对工业相机采集到的图像去马赛克，从而能够针对图像上需要插值的部分更加准确地还原出图像真实色彩，提升图像色彩恢复质量，并且提高实时性和可靠性。
本申请实施例提供的一种图像处理方法，包括：
获取需要进行去马赛克处理的待处理图像，所述待处理图像是通过工业相机采集到的图像；
通过预设的图像色彩恢复模型，对所述待处理图像进行去马赛克处理，得到色彩恢复的图像，其中，所述图像色彩恢复模型是采用神经网络训练得到的，所述神经网络中的卷积处理模块是添加有注意力机制的卷积处理模块。
通过该方法，获取需要进行去马赛克处理的待处理图像，所述待处理图像是通过工业相机采集到的图像；通过预设的图像色彩恢复模型，对所述待处理图像进行去马赛克处理，得到色彩恢复的图像，其中，所述图像色彩恢复模型是采用神经网络训练得到的，所述神经网络中的卷积处理模块是添加有注意力机制的卷积处理模块，从而通过预设的引入了注意力机制的图像色彩恢复模型，实现了对工业相机采集到的图像去马赛克，不仅能够针对图像上需要插值的部分更加准确地还原出图像真实色彩，提升图像色彩恢复质量，并且还提高了图像色彩恢复的实时性和可靠性。
在一些实施例中，在所述训练过程中，通过所述添加有注意力机制的卷积处理模块对图像进行如下处理：
对输入的多维特征图进行通道压缩处理，得到一维特征图；
将所述一维特征图进行颜色归一化处理；
利用经过所述颜色归一化处理后得到的一维特征图，得到权重特征图，其中所述权重特征图上的任一像素点的像素值，是将经过所述颜色归一化处理后得到的一维特征图上的该像素点的像素值与1相减得到的差值的绝对值；
将所述权重特征图与输入所述基础部件的多维特征图的卷积操作结果相乘，得到并输出多维特征图。
通过该方法，实现让神经网络更专注插值部分的训练，让插值更准确，高频信息适应性更好。
在一些实施例中，所述图像色彩恢复模型是采用第一分支网络、第二分支网络、第三分支网络这三个U-NET网络对预设的图像训练数据集中的每一图像进行训练得到的图像色彩恢复模型。
通过该方法，实现通过三个U-NET网络分支分别对R、G、B三个图层插值，每个U-NET网络分支都能更好地拟合对应图层的插值，使得插值效果更好。
在一些实施例中，所述训练具体包括：
针对所述图像训练数据集中的每一图像：
将该图像分为R图层、G图层、B图层；
通过所述第一分支网络对该图像的R图层进行训练；通过所述第二分支网络对该图像的G图层进行训练；通过所述第三分支网络对该图像的B图层进行训练。
通过该方法，实现通过三个分支网络分别对三个图层进行插值训练。
在一些实施例中，所述图像色彩恢复模型是基于预设的图像训练数据集训练得到的，所述图像训练数据集中的每一待训练图像是对高清真彩图像进行图像退化处理后得到的图像。
通过该方法训练得到的图像色彩恢复模型输出的色彩恢复的图像，能和高清真彩图做比较，即恢复得到的图像的色彩更加符合高清真彩图的标准。
在一些实施例中，所述图像退化处理包括：
针对每一高清真彩图像，将该高清真彩图像分离成R、G、B三个图层；
对所述三个图层分别进行如下处理：
将R图层奇数行和奇数列的像素值置空；
将B图层偶数行和偶数列的像素值置空；
将G图层中特定位置的像素值置空，其中所述特定位置的像素坐标的行坐标与列坐标的和为偶数；
将经过上述处理后的R、G、B三个图层合并，得到该高清真彩图像对应的待训练图像。
通过该方法，实现将高清真彩图像分离成R、G、B三个图层以满足后续插值训练，同时得到训练所述图像色彩恢复模型所需的待训练图像。
在一些实施例中，所述方法还包括：
根据所述神经网络对待训练图像的要求，对经过所述图像退化处理后得到的待训练图像进行预处理，使得输入所述神经网络的待训练图像是经过所述预处理后的图像，所述预处理包括图像尺寸调整和/或图像旋转操作。
通过该方法，实现待训练图像适应后续训练图像色彩恢复模型时用到的神经网络。
本申请另一实施例提供了一种图像处理装置，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
此外，根据实施例，例如提供了一种用于计算机的计算机程序产品，其包括软件代码部分，当所述产品在计算机上运行时，这些软件代码部分用于执行上述所定义的方法的步骤。该计算机程序产品可以包括在其上存储有软件代码部分的计算机可读介质。此外，该计算机程序产品可以通过上传过程、下载过程和推送过程中的至少一个经由网络直接加载到计算机的内部存储器中和/或发送。
本申请另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的总体流程示意图；
图2为本申请实施例提供的一种图像色彩恢复模型构建的具体流程示意图；
图3为本申请实施例提供的一种图像退化示意图；
图4为本申请实施例提供的一种U-NET网络结构示意图；
图5为本申请实施例提供的一种分支网络示意图；
图6为本申请实施例提供的一种注意力机制示意图；
图7为本申请实施例提供的一种图像退化操作流程示意图；
图8为本申请实施例提供的一种注意力机制操作流程示意图；
图9为本申请实施例提供的一种图像色彩恢复模型的具体应用流程示意图；
图10为本申请实施例提供的一种图像处理装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种图像处理方法及装置，获取需要进行去马赛克处理的待处理图像，通过预设的图像色彩恢复模型，对所述待处理图像进行去马赛克处理，得到色彩恢复的图像，实现准确地还原出图像真实色彩，减少图像尤其是边缘部分色彩失真，提升图像质量，不仅可实时操作，而且可靠性强。
其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下示例和实施例将只被理解为是说明性的示例。虽然本说明书可能在若干处提及“一”、“一个”或“一些”示例或实施例，但这并非意味着每个这种提及都与相同的示例或实施例有关，也并非意味着该特征仅适用于单个示例或实施例。不同实施例的单个特征也可以被组合以提供其他实施例。此外，如“包括”和“包含”的术语应被理解为并不将所描述的实施例限制为仅由已提及的那些特征组成；这种示例和实施例还可以包含并未具体提及的特征、结构、单元、模块等。
下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。
需要说明的是，本申请实施例提供的技术方案，以对Bayer格式图像进行去马赛克，并还原其真实色彩为例进行说明，但并不限于此。
对图像进行去马赛克处理时，目前采用的技术不仅需要设置复杂的插值算法，而且图像色彩还原失真严重，人为插值痕迹明显，容易出现拉链效应，图像边缘部分产生模糊和颜色溢出，而神经网络在进行图像插值处理时，不仅具有不挑场景的优势，而且泛化性能好，从而实现对图像进行实时色彩精准还原，恢复图像真实色彩，减少整副图像的色彩失真。
参见图1，本申请实施提供的一种图像处理方法，包括：
S101、获取需要进行去马赛克处理的待处理图像，所述待处理图像是通过工业相机采集到的图像；
其中，所述图像，例如Bayer格式图像，也可以是其他常见的格式图像；所述Bayer格式图像是指工业相机采集到的图像；
S102、通过预设的图像色彩恢复模型，对所述待处理图像进行去马赛克处理，得到色彩恢复的图像，其中，所述图像色彩恢复模型是采用神经网络训练得到的，所述神经网络中的卷积处理模块是添加有注意力机制的卷积处理模块；
其中，所述神经网络，例如U-NET网络。
通过步骤S102中预设的采用神经网络训练得到的图像色彩恢复模型，对待处理图像进行去马赛克处理，得到色彩恢复的图像，从而准确地还原出图像色彩，不仅可实时操作，而且可靠性强。并且，通过在所述神经网络中引入了注意力机制，从而能够针对图像上需要插值的部分更加准确地还原出图像真实色彩，提升图像色彩恢复质量。
在一些实施例中，为了让神经网络更专注插值部分的训练，让插值更准确，在所述训练过程中，通过所述添加有注意力机制的卷积处理模块对图像进行如下处理：
对输入的多维特征图进行通道压缩处理，得到一维特征图；
将所述一维特征图进行颜色归一化处理；
利用经过所述颜色归一化处理后得到的一维特征图，得到权重特征图，其中所述权重特征图上的任一像素点的像素值，是将经过所述颜色归一化处理后得到的一维特征图上的该像素点的像素值与1相减得到的差值的绝对值；
将所述权重特征图与输入所述基础部件的多维特征图的卷积操作结果相乘，得到并输出多维特征图；
其中，所述颜色归一化处理是指将一维特征图中的每一像素点的像素值调整到[0,1]范围内的值。
在一些实施例中，所述图像色彩恢复模型是采用第一分支网络、第二分支网络、第三分支网络这三个U-NET网络对预设的图像训练数据集中的每一图像进行训练得到的图像色彩恢复模型。从而，使得每个U-NET网络分支都能更好地拟合对应图层的插值，使得插值效果更好。
为了实现通过三个U-NET分支网络分别对R、G、B三个图层进行插值训练，在一些实施例中，所述训练具体包括：
针对所述图像训练数据集中的每一图像：
将该图像分为R图层、G图层、B图层；
通过所述第一分支网络对该图像的R图层进行训练；通过所述第二分支网络对该图像的G图层进行训练；通过所述第三分支网络对该图像的B图层进行训练；
其中，所述训练是指通过神经网络对图像进行插值处理。
为使恢复得到的图像的色彩更加符合高清真彩图的标准，在一些实施例中，所述图像色彩恢复模型是基于预设的图像训练数据集训练得到的，所述图像训练数据集中的每一待训练图像是对高清真彩图像进行图像退化处理后得到的图像。
为实现将高清真彩图像分离成R、G、B三个图层以满足后续插值训练，同时得到训练所述图像色彩恢复模型所需的待训练图像，在一些实施例中，所述图像退化处理包括：
针对每一高清真彩图像，将该高清真彩图像分离成R、G、B三个图层；
对所述三个图层分别进行如下处理：
将R图层奇数行和奇数列的像素值置空；
将B图层偶数行和偶数列的像素值置空；
将G图层中特定位置的像素值置空，其中所述特定位置的像素坐标的行坐标与列坐标的和为偶数；
将经过上述处理后的R、G、B三个图层合并，得到该高清真彩图像对应的待训练图像。
为实现待训练图像适应后续训练图像色彩恢复模型时用到的神经网络，在一些实施例中，所述方法还包括：
根据所述神经网络对待训练图像的要求，对经过所述图像退化处理后得到的待训练图像进行预处理，使得输入所述神经网络的待训练图像是经过所述预处理后的图像，所述预处理包括图像尺寸调整和/或图像旋转操作。
参见图2，本申请实施例提供的一种图像色彩恢复模型构建的具体步骤，包括：
步骤S201、制作训练图像色彩恢复模型所需的Bayer数据集，并将所述数据集划分成训练集、测试集和验证集；
其中，所述训练集采用高清真彩图退化的方式制作，得到Bayer格式的图像训练数据集(简称训练集)，所述高清真彩图退化，即将高清真彩图中的RGB三通道的图像上的部分像素位置的像素值置空，例如图3所示，然后得到Bayer格式的图像，作为训练数据集中的图像(具体训练集制作步骤在后续举例说明)；
其中，所述测试集和验证集用于后续对训练得到的图像色彩恢复模型进行测试和验证，从而评价训练得到的图像色彩恢复模型的图像色彩恢复效果，对于此部分的具体实现，本申请不进行具体限制。
步骤S202、对步骤S201中得到的所述训练数据集中的图像(全部图像或部分图像)进行预处理；
其中，所述预处理，例如调整训练数据集中的图像的尺寸、旋转训练数据集中的图像等，以适应后续训练图像色彩恢复模型时用到的U-NET网络，满足U-NET网络对训练图像；
步骤S203、利用上述预处理后的训练数据集，得到图像色彩恢复模型；
在一些实施例中，根据所执行任务的类型即图像处理，选择卷积神经网络，又由于卷积神经网络中的U-NET网络可以从极少的待训练图像中，依靠数据增强将有效的标注数据更为有效的使用，在图像超分等领域有着不俗的表现，因此，用于对训练数据集中的图像进行训练的主干网络采用U-NET网络，即将所述训练数据集中的图像输入到所述U-NET网络，经过所述U-NET网络处理输出色彩恢复后的图像。
参见图4，所述U-NET网络主要由收缩路径(左侧)和扩展路径(右侧)组成，共包含23个卷积层，其网络结构的左侧作用是下采样，对原图进行若干层卷积、池化，得到特征图，右侧部分是上采样，将特征图恢复到原图像的真实色彩。
利用上述预处理后的训练数据集对图像色彩恢复模型进行训练时，为了实现对输入模型的待处理图像进行更好的插值，准确还原出其真实色彩，在一些实施例中，采用三个分支网络，每一分支网络都视为具有上述图4图示结构的U-NET网络，分别训练R、G、B三个图层，即对这三个图层分别进行插值，得到恢复图像；
也就是说，所述图像色彩恢复模型是采用所述图像数据集基于第一分支网络、第二分支网络、第三分支网络这三个U-NET网络进行训练得到的图像色彩恢复模型；其中，针对所述图像数据集中的每一图像，所述第一分支网络用于对该图像的R图层进行训练；所述第二分支网络用于对该图像的G图层进行训练；所述第三分支网络用于对该图像的B图层进行训练；其中，所述训练参见图5，即通过图示中的神经网络进行插值处理，将图像中置空的像素位置恢复出像素值；所述神经网络，就是所述U-NET网络。
在一些实施例中，为了实现U-NET网络聚焦于图像插值部分的训练，从而减少U-NET网络处理的信息量和需要的计算资源，进而提高U-NET网络处理图像的速度，因此在上述任一U-NET网络的基础模块中加入注意力机制；其中，所述注意力机制，参见图6，是指用尺寸一致且全为1的矩阵，分别减去R、G、B图层，让图层上原本为空的像素位置的像素值置为1，不为空的像素位置的像素值置为0～1之间的小数，以此为权重，则可让U-NET网络去重点关注图层上原本为空的需要插值的像素位置处的色彩恢复(具体注意力机制操作步骤在后续举例说明)。
关于上述步骤S201，参见图7，本申请实施例提供的一种Bayer格式的图像训练数据集的制作方法，包括：
步骤S301、将每一张高清真彩图像分离成R、G、B三个图层；
步骤S302、对所述R、G、B三个图层中的预设位置的像素值按如下方法置空，例如进一步参见图3，其中：
按公式一，将R图层奇数行和奇数列置空：
其中，R(i,j)表示R图层；i、j表示图像像素点坐标；null表示空；
按公式二，将B图层偶数行和偶数列置空：
其中，B(i,j)表示B图层；
按公式三，将G图层中对于像素坐标的行列坐标的和为偶数的像素坐标，将该像素坐标处置空：
其中，G(i,j)表示G图层；
步骤S303、按公式四，将经过步骤S302处理的三个图层合并，得到高清真彩图像对应的待训练图像，最终得到Bayer格式的图像训练数据集：
Bayer＝R(i，j)+G(i，j)+B(i，j) 公式四
其中，Bayer表示高清真彩图退化而成的Bayer格式的图像。
对于U-NET网络中的任一基础模块(basic block)，关于上述步骤S203中所述的注意力机制，参见图8，本申请实施例提供的一种注意力机制，具体包括:
步骤S401、将输入到该基础模块的特征图进行通道压缩操作，按公式五转换为1维特征图；其中，所述特征图指U-NET网络训练时每一次卷积后的输出图像，可以是多维的，也可以是一维的，根据需要设置；
F＝Cpooling(Fin) 公式五
其中，Fin表示输入的多维特征图；Cpooling表示通道压缩；F表示经通道压缩后的1维特征图；可进一步参见图6，图6中左上方的图即Fin，图6中左下方的图即F。
需要说明的是，对于上述任一分支网络，其中的第一个basic block的输入，是该分支网络对应处理的R、G、B图层中的一个图层，经该basic block采用图8所示步骤处理输出的结果称为特征图(即输入给下一basic block)。
步骤S402、将所述1纬特征图进行颜色归一化，以此让U-NET网络更多地关注需要插值的像素部分；其中所述颜色归一化，就是将一维特征图中的每一像素点的像素值调整到[0，1]范围内的值；
步骤S403、将经步骤S402处理后的1纬特征图上的每个像素点的特征值减去1取绝对值得到权重特征图，如下面的公式六所示：
F′＝|Fi,j-1| 公式六
其中，Fi,j表示经通道压缩后的1维特征图上的坐标为(i，j)的特征值(即像素值)；F′表示经通道压缩后的1维特征图上每个像素点的特征值与1相减取绝对值后得到的权重特征图的特征值；可进一步参见图6，图6中下方右侧的图即F′。
步骤S404、将步骤S403得到的权重特征图与经该基础模块的卷积操作后的输入特征图进行相乘，输出多维特征图，如下面的公式七所示：
Fout＝F′·fconv(Fin) 公式七
其中，fconv表示卷积操作；Fout表示输出的多维特征图。可进一步参见图6，图6中上方右侧的图即Fout。
参见图9，本申请实施例提供的一种图像色彩恢复处理的方法，包括：
步骤S501、训练图像色彩恢复模型；
步骤S502、将所述图像色彩恢复模型部署到图像恢复系统中，也可以将所述图像色彩恢复模型嵌入到工业相机内，成为该相机的一个模块；本步骤的具体实现可以采用现有技术，本申请实施例中不再赘述；
步骤S503、将Bayer格式的待处理图像(即工业相机采集输出的图像)，输入到图像恢复系统中，通过该系统中的图像色彩恢复模型对Bayer格式的待处理图像进行色彩恢复处理(即利用图像色彩恢复模型对Bayer格式的待处理图像进行插值处理)；
步骤S504、通过图像恢复系统输出插值后的真彩图像，即得到色彩还原的图像。
下面介绍一下本申请实施例提供的设备或装置，其中与上述方法中所述的相同或相应的技术特征的解释或举例说明，后续不再赘述。
参见图10，本申请实施例提供的一种图像处理装置，包括：
处理器600，用于读取存储器620中的程序，执行下列过程：
获取需要进行去马赛克处理的待处理图像，所述待处理图像是通过工业相机采集到的图像；
通过预设的图像色彩恢复模型，对所述待处理图像进行去马赛克处理，得到色彩恢复的图像，其中，所述图像色彩恢复模型是采用神经网络训练得到的，所述神经网络中的卷积处理模块是添加有注意力机制的卷积处理模块。
在一些实施例中，在所述训练过程中，所述处理器600通过所述添加有注意力机制的卷积处理模块对图像进行如下处理：
对输入的多维特征图进行通道压缩处理，得到一维特征图；
将所述一维特征图进行颜色归一化处理；
利用经过所述颜色归一化处理后得到的一维特征图，得到权重特征图，其中所述权重特征图上的任一像素点的像素值，是将经过所述颜色归一化处理后得到的一维特征图上的该像素点的像素值与1相减得到的差值的绝对值；
将所述权重特征图与输入所述基础部件的多维特征图的卷积操作结果相乘，得到并输出多维特征图。
在一些实施例中，所述图像色彩恢复模型是采用第一分支网络、第二分支网络、第三分支网络这三个U-NET网络对预设的图像训练数据集中的每一图像进行训练得到的图像色彩恢复模型。
在一些实施例中，所述训练，包括：
针对所述图像训练数据集中的每一图像：
将该图像分为R图层、G图层、B图层；
通过所述第一分支网络对该图像的R图层进行训练；通过所述第二分支网络对该图像的G图层进行训练；通过所述第三分支网络对该图像的B图层进行训练。
所述图像色彩恢复模型是基于预设的图像训练数据集训练得到的，所述图像训练数据集中的每一待训练图像是对高清真彩图像进行图像退化处理后得到的图像。
在一些实施例中，所述处理器600进行所述图像退化处理，具体包括：
针对每一高清真彩图像，将该高清真彩图像分离成R、G、B三个图层；
对所述三个图层分别进行如下处理：
将R图层奇数行和奇数列的像素值置空；
将B图层偶数行和偶数列的像素值置空；
将G图层中特定位置的像素值置空，其中所述特定位置的像素坐标的行坐标与列坐标的和为偶数；
将经过上述处理后的R、G、B三个图层合并，得到该高清真彩图像对应的待训练图像。
在一些实施例中，所述处理器600，还用于读取存储器620中的程序，执行下列过程：
根据所述神经网络对待训练图像的要求，对经过所述图像退化处理后得到的待训练图像进行预处理，使得输入所述神经网络的待训练图像是经过所述预处理后的图像，所述预处理包括图像尺寸调整和/或图像旋转操作。
在一些实施例中，本申请实施例提供的图像处理装置还包括收发机610，用于在处理器600的控制下接收和发送数据。
其中，在图10中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机610可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。
在一些实施例中，本申请实施例提供的图像处理装置还包括用户接口630，用户接口630可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。
在一些实施例中，处理器600可以是CPU(中央处埋器)、ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)、FPGA(Field－Programmable GateArray，现场可编程门阵列)或CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)。
本申请实施例提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储本申请实施例提供的任一所述方法的程序。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的任一所述方法。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例提供了一种计算机可读存储介质，用于储存为上述本申请实施例提供的装置所用的计算机程序指令，其包含用于执行上述本申请实施例提供的任一方法的程序。所述计算机可读存储介质，可以是非暂时性计算机可读介质。
所述计算机可读存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种图像处理方法，其特征在于，该方法包括：
获取需要进行去马赛克处理的待处理图像，所述待处理图像是通过工业相机采集到的图像；
通过预设的图像色彩恢复模型，对所述待处理图像进行去马赛克处理，得到色彩恢复的图像，其中，所述图像色彩恢复模型是采用神经网络训练得到的，所述神经网络中的卷积处理模块是添加有注意力机制的卷积处理模块。
2.根据权利要求1所述的方法，其特征在于，在所述训练过程中，通过所述添加有注意力机制的卷积处理模块对图像进行如下处理：
对输入的多维特征图进行通道压缩处理，得到一维特征图；
将所述一维特征图进行颜色归一化处理；
利用经过所述颜色归一化处理后得到的一维特征图，得到权重特征图，其中所述权重特征图上的任一像素点的像素值，是将经过所述颜色归一化处理后得到的一维特征图上的该像素点的像素值与1相减得到的差值的绝对值；
将所述权重特征图与输入所述基础部件的多维特征图的卷积操作结果相乘，得到并输出多维特征图。
3.根据权利要求1所述的方法，其特征在于，所述图像色彩恢复模型是采用第一分支网络、第二分支网络、第三分支网络这三个U-NET网络对预设的图像训练数据集中的每一图像进行训练得到的图像色彩恢复模型。
4.根据权利要求3所述的方法，其特征在于，所述训练具体包括：
针对所述图像训练数据集中的每一图像：
将该图像分为R图层、G图层、B图层；
通过所述第一分支网络对该图像的R图层进行训练；通过所述第二分支网络对该图像的G图层进行训练；通过所述第三分支网络对该图像的B图层进行训练。
5.根据权利要求1所述的方法，其特征在于，所述图像色彩恢复模型是基于预设的图像训练数据集训练得到的，所述图像训练数据集中的每一待训练图像是对高清真彩图像进行图像退化处理后得到的图像。
6.根据权利要求5所述的方法，其特征在于，所述图像退化处理包括：
针对每一高清真彩图像，将该高清真彩图像分离成R、G、B三个图层；
对所述三个图层分别进行如下处理：
将R图层奇数行和奇数列的像素值置空；
将B图层偶数行和偶数列的像素值置空；
将G图层中特定位置的像素值置空，其中所述特定位置的像素坐标的行坐标与列坐标的和为偶数；
将经过上述处理后的R、G、B三个图层合并，得到该高清真彩图像对应的待训练图像。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
根据所述神经网络对待训练图像的要求，对经过所述图像退化处理后得到的待训练图像进行预处理，使得输入所述神经网络的待训练图像是经过所述预处理后的图像，所述预处理包括图像尺寸调整和/或图像旋转操作。
8.一种图像处理装置，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至7任一项所述的方法。
9.一种用于计算机的计算机程序产品，其特征在于，包括软件代码部分，当所述产品在所述计算机上运行时，所述软件代码部分用于执行根据权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210649065.3A CN115147297A (zh) | 2022-06-09 | 2022-06-09 | 一种图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210649065.3A CN115147297A (zh) | 2022-06-09 | 2022-06-09 | 一种图像处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115147297A true CN115147297A (zh) | 2022-10-04 |
Family
ID=83409078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210649065.3A Pending CN115147297A (zh) | 2022-06-09 | 2022-06-09 | 一种图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115147297A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117939309A (zh) * | 2024-03-25 | 2024-04-26 | 荣耀终端有限公司 | 图像去马赛克方法、电子设备及存储介质 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198191A (zh) * | 2018-01-02 | 2018-06-22 | 武汉斗鱼网络科技有限公司 | 图像处理方法及装置 |
| CN109920018A (zh) * | 2019-01-23 | 2019-06-21 | 平安科技（深圳）有限公司 | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 |
| CN109978788A (zh) * | 2019-03-25 | 2019-07-05 | 厦门美图之家科技有限公司 | 卷积神经网络生成方法、图像去马赛克方法及相关装置 |
| CN110009590A (zh) * | 2019-04-12 | 2019-07-12 | 北京理工大学 | 一种基于卷积神经网络的高质量彩色图像去马赛克方法 |
| CN110197208A (zh) * | 2019-05-14 | 2019-09-03 | 江苏理工学院 | 一种纺织品瑕疵智能检测分类方法及装置 |
| CN111127336A (zh) * | 2019-11-18 | 2020-05-08 | 复旦大学 | 一种基于自适应选择模块的图像信号处理方法 |
| CN111583152A (zh) * | 2020-05-11 | 2020-08-25 | 福建帝视信息科技有限公司 | 基于U-net结构的图像伪影检测与自动去除方法 |
| CN111915526A (zh) * | 2020-08-05 | 2020-11-10 | 湖北工业大学 | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 |
| CN112084872A (zh) * | 2020-08-10 | 2020-12-15 | 浙江工业大学 | 一种融合语义分割与边缘的高分遥感目标精准检测方法 |
| CN112184566A (zh) * | 2020-08-27 | 2021-01-05 | 北京大学 | 一种针对附着水雾水珠去除的图像处理方法和系统 |
| CN112233117A (zh) * | 2020-12-14 | 2021-01-15 | 浙江卡易智慧医疗科技有限公司 | 一种新冠肺炎ct检测识别定位系统及计算设备 |
| CN112464792A (zh) * | 2020-11-25 | 2021-03-09 | 北京航空航天大学 | 一种基于动态卷积的遥感图像舰船目标细粒度分类方法 |
| CN112651333A (zh) * | 2020-12-24 | 2021-04-13 | 世纪龙信息网络有限责任公司 | 静默活体检测方法、装置、终端设备和存储介质 |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN113172986A (zh) * | 2021-03-26 | 2021-07-27 | 阿里巴巴（中国）有限公司 | 网版图生成方法、生产系统、图像处理方法及设备 |
| CN113269783A (zh) * | 2021-04-30 | 2021-08-17 | 北京小白世纪网络科技有限公司 | 一种基于三维注意力机制的肺结节分割方法及装置 |
| CN113273180A (zh) * | 2019-02-27 | 2021-08-17 | 华为技术有限公司 | 图像处理装置和方法 |
| CN114429180A (zh) * | 2022-01-12 | 2022-05-03 | 清华大学 | 基于注意力机制的图像处理方法、装置及设备 |
-
2022
- 2022-06-09 CN CN202210649065.3A patent/CN115147297A/zh active Pending
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198191A (zh) * | 2018-01-02 | 2018-06-22 | 武汉斗鱼网络科技有限公司 | 图像处理方法及装置 |
| CN109920018A (zh) * | 2019-01-23 | 2019-06-21 | 平安科技（深圳）有限公司 | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 |
| CN113273180A (zh) * | 2019-02-27 | 2021-08-17 | 华为技术有限公司 | 图像处理装置和方法 |
| CN109978788A (zh) * | 2019-03-25 | 2019-07-05 | 厦门美图之家科技有限公司 | 卷积神经网络生成方法、图像去马赛克方法及相关装置 |
| CN110009590A (zh) * | 2019-04-12 | 2019-07-12 | 北京理工大学 | 一种基于卷积神经网络的高质量彩色图像去马赛克方法 |
| CN110197208A (zh) * | 2019-05-14 | 2019-09-03 | 江苏理工学院 | 一种纺织品瑕疵智能检测分类方法及装置 |
| CN111127336A (zh) * | 2019-11-18 | 2020-05-08 | 复旦大学 | 一种基于自适应选择模块的图像信号处理方法 |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN111583152A (zh) * | 2020-05-11 | 2020-08-25 | 福建帝视信息科技有限公司 | 基于U-net结构的图像伪影检测与自动去除方法 |
| CN111915526A (zh) * | 2020-08-05 | 2020-11-10 | 湖北工业大学 | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 |
| CN112084872A (zh) * | 2020-08-10 | 2020-12-15 | 浙江工业大学 | 一种融合语义分割与边缘的高分遥感目标精准检测方法 |
| CN112184566A (zh) * | 2020-08-27 | 2021-01-05 | 北京大学 | 一种针对附着水雾水珠去除的图像处理方法和系统 |
| CN112464792A (zh) * | 2020-11-25 | 2021-03-09 | 北京航空航天大学 | 一种基于动态卷积的遥感图像舰船目标细粒度分类方法 |
| CN112233117A (zh) * | 2020-12-14 | 2021-01-15 | 浙江卡易智慧医疗科技有限公司 | 一种新冠肺炎ct检测识别定位系统及计算设备 |
| CN112651333A (zh) * | 2020-12-24 | 2021-04-13 | 世纪龙信息网络有限责任公司 | 静默活体检测方法、装置、终端设备和存储介质 |
| CN113172986A (zh) * | 2021-03-26 | 2021-07-27 | 阿里巴巴（中国）有限公司 | 网版图生成方法、生产系统、图像处理方法及设备 |
| CN113269783A (zh) * | 2021-04-30 | 2021-08-17 | 北京小白世纪网络科技有限公司 | 一种基于三维注意力机制的肺结节分割方法及装置 |
| CN114429180A (zh) * | 2022-01-12 | 2022-05-03 | 清华大学 | 基于注意力机制的图像处理方法、装置及设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117939309A (zh) * | 2024-03-25 | 2024-04-26 | 荣耀终端有限公司 | 图像去马赛克方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109064428B (zh) | 一种图像去噪处理方法、终端设备及计算机可读存储介质 | |
| CN111951167B (zh) | 超分辨率图像重建方法、装置、计算机设备和存储介质 | |
| CN112686824A (zh) | 图像校正方法、装置、电子设备和计算机可读介质 | |
| CN107169927A (zh) | 一种图像处理系统、方法及显示装置 | |
| WO2022242122A1 (zh) | 一种视频优化方法、装置、终端设备及存储介质 | |
| WO2023092386A1 (zh) | 一种图像处理方法、终端设备及计算机可读存储介质 | |
| CN112419146B (zh) | 一种图像处理方法、装置及终端设备 | |
| CN115147297A (zh) | 一种图像处理方法及装置 | |
| CN110689478B (zh) | 图像风格化处理方法、装置、电子设备及可读介质 | |
| WO2024152797A1 (zh) | 视频补全方法、装置、介质和电子设备 | |
| CN111275622A (zh) | 图像拼接方法、装置及终端设备 | |
| WO2021218414A1 (zh) | 视频增强方法及装置、电子设备、存储介质 | |
| CN113628259A (zh) | 图像的配准处理方法及装置 | |
| CN112837254A (zh) | 一种图像融合方法、装置、终端设备及存储介质 | |
| CN113658050A (zh) | 一种图像的去噪方法、去噪装置、移动终端及存储介质 | |
| CN113269812B (zh) | 图像预测模型的训练及应用方法、装置、设备、存储介质 | |
| CN110782415A (zh) | 一种图像补全方法、装置及终端设备 | |
| CN112990305B (zh) | 一种遮挡关系的确定方法、装置、设备及存储介质 | |
| CN113191208B (zh) | 一种用于遥感图像实例分割的特征提取方法和计算机设备 | |
| EP3680827B1 (en) | Information processing apparatus and memory control method | |
| CN111798385B (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN111383171B (zh) | 一种图片处理方法、系统及终端设备 | |
| CN113706390A (zh) | 图像转换模型训练方法和图像转换方法、设备及介质 | |
| CN115809959A (zh) | 一种图像处理方法及装置 | |
| CN112184568A (zh) | 图像处理方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |