CN111626913A - 一种图像处理方法、装置及存储介质 - Google Patents
一种图像处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111626913A CN111626913A CN201910147376.8A CN201910147376A CN111626913A CN 111626913 A CN111626913 A CN 111626913A CN 201910147376 A CN201910147376 A CN 201910147376A CN 111626913 A CN111626913 A CN 111626913A
- Authority
- CN
- China
- Prior art keywords
- training
- image
- processing
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 181
- 238000012545 processing Methods 0.000 claims abstract description 103
- 238000003062 neural network model Methods 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 59
- 230000009466 transformation Effects 0.000 claims description 10
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 238000013434 data augmentation Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000003707 image sharpening Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 10
- 230000003416 augmentation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 238000010008 shearing Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像处理方法、装置及存储介质，方法包括：图像处理装置首先获取训练图像，其中，所述训练图像对应多个标签；然后根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；再将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；最后根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。本发明实施例中的训练图像对应多个标签，且只需要训练图像中损失值大于阈值的部分参与反向传播，可以更加明显地识别训练图像的边界部分，从而提高该神经网络模型的泛化能力以及准确度。
Description
技术领域
本发明涉及数据识别领域，具体涉及一种图像处理方法、装置及存储介质。
背景技术
泛化能力是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。
通常期望经训练样本训练的网络具有较强的泛化能力，也就是对新输入给出合理响应的能力，如何提高网络模型的泛化能力以及准确度一直是研究的热点。
发明内容
本发明实施例提供一种图像处理方法，装置和存储介质，可以提高模型的泛化能力以及准确度。
一方面，本发明提供一种图像处理方法，所述方法包括：
获取训练图像，所述训练图像对应多个标签；
根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；
将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；
根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。
可选的，在一些实施例中，所述根据神经网络模型确定所述训练图像中各个像素点所对应的损失值之前，所述方法还包括：
构建所述神经网络模型；
对所述神经网络模型的损失层进行大边界处理。
可选的，在一些实施例中，所述获取训练图像之后，所述方法还包括：
对所述训练图像进行数据增广处理，得到增广后的训练图像。
可选的，在一些实施例中，所述对所述训练图像进行数据增广处理，得到增广后的训练图像，包括：
根据所述神经网络模型分别确定所述增广后的训练图像中各个像素点所对应的损失值。
可选的，在一些实施例中，所述对所述训练图像进行数据增广处理，包括：
对所述训练图像进行旋转处理、剪切处理、镜像处理、像素偏移处理、模糊处理、放射变换处理、增加噪声处理、图像锐化处理和缩放处理中的一种或多种处理。
可选的，在一些实施例中，所述训练图像包括光流图和灰度图。
可选的，在一些实施例中，所述对所述训练图像进行数据增广处理之前，所述方法还包括：
对所述训练图像中的光流图和灰度图进行通道分离处理。
相应的，本发明实施例还提供一种图像处理装置，包括：
第一获取单元，用于获取训练图像，所述训练图像对应多个标签；
第一确定单元，用于根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；
第二确定单元，用于将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；
第三确定单元，用于根据所述目标像素点确定用于所述神经网络模型反向传播训练的目标图像。
可选的，在一些实施例中，所述装置还包括：
构建单元，用于构建所述神经网络模型；
第一处理单元，用于对所述神经网络模型的损失层进行大边界处理。
可选的，在一些实施例中，所述获取训练图像之后，所述装置还包括：
第二处理单元，用于对所述训练图像进行数据增广处理，得到增广后的训练图像。
可选的，在一些实施例中，所述第一确定单元具体用于：
根据所述神经网络模型分别确定所述增广后的训练图像中各个像素点所对应的损失值。
可选的，在一些实施例中，所述第二处理单元具体用于括：
对所述训练图像进行旋转处理、剪切处理、镜像处理、像素偏移处理、模糊处理、放射变换处理、增加噪声处理、图像锐化处理和缩放处理中的一种或多种处理。
可选的，在一些实施例中，所述训练图像包括光流图和灰度图。
可选的，在一些实施例中，所述装置还包括：
第三处理单元，用于对所述训练图像中的光流图和灰度图进行通道分离处理。
本申请的又一方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例提供的任一种图像处理方法中的步骤。
本发明实施例中，图像处理装置首先获取训练图像，其中，所述训练图像对应多个标签；然后根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；再将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；最后根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。本发明实施例中的训练图像对应多个标签，且只需要训练图像中损失值大于阈值的部分参与反向传播，可以更加明显地识别训练图像的边界部分，从而提高该神经网络模型的泛化能力以及准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的一种流程示意图；
图2是本申请实施例提供的图像处理方法的另一种流程示意图；
图3a是本申请实施例提供的图像处理装置的一种结构示意图；
图3b是本申请实施例提供的图像处理装置的另一种结构示意图；
图4是本申请实施例提供的服务器的结构示意图；
图5是本申请实施例提供的存储介质的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本发明的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本发明的运算系统、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境，其中包括了任何的上述系统或装置。
本发明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。
本发明实施例提供了一种图像处理方法、装置和存储介质。
该图像处理装置可以集成在网络设备如终端或服务器等设备中，例如，网络设备获取训练图像，其中，所述训练图像对应多个标签；然后根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；再将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；最后根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。
请参阅图1，图1为本发明实施例提供的图像处理方法的第一流程示意图。该方法的具体流程可以如下：
101、获取训练图像，所述训练图像对应多个标签。
本发明实施例中的训练图像对应多个标签，例如，一个训练图像对应两个标签结果，在一个具体的场景中，判断图中装卸口的状态，该装卸口的状态可以对应有车状态，也可以对应车到港状态，即该图对应有车和车到港两种标签。
其中，使用Multy task的方式，通过给每个训练图像多个标签(一般两个)的方式进行训练，可以增加不同标签之间图像在模型中的分散度，从而可以提高该神经网络模型的泛化能力以及准确度。
在一些实施例中，数据量比较小会导致模型过拟合,使得训练误差很小而测试误差特别大，为了解决这种问题，本发明还应用augmentation的方法对训练图像进行扩充处理，其中，该训练图像包括光流图和灰度图，在对训练图像进行扩充处理之前，首先需要对练图像中的光流图和灰度图进行通道分离处理。
在对训练图像进行扩充处理具体包括对所述训练图像进行旋转处理、剪切处理、镜像处理、像素偏移处理、模糊处理、放射变换处理、增加噪声处理、图像锐化处理和缩放处理中的一种或多种处理，更具体地：
旋转处理具体包括：对灰度图和光流图进行随机角度的旋转操作；
剪切处理具体包括：对灰度图和光流图同步进行随机剪切操作；
镜像处理具体包括：对灰度图和光流图做镜像操作；
像素偏移处理具体包括：仅仅对灰度图进行像素偏移(将像素值同步加、减一个随机数)，对比度增强，而光流图不做任何操作；
模糊处理具体包括：对灰度图加入椒盐噪声，和模糊操作，对光流图不做任何操作；
缩放处理具体包括：对灰度图不做任何操作，将光流图的灰度值进行线性变换，进行同步随机缩放，随机缩放的范围为[0.8-1.2]。
应用augmentation的方法对训练图像进行扩充处理可以提交训练的准确度。经试验得知，在一些实施例中，神经网络模型不加augmentation的方式，训练的准确度为92％，增加了augmentation的方式之后训练的准确度提升到94％，所以对样本进行augmentation，可以避免模型过拟合，提高训练的准确度。
102、根据神经网络模型确定所述训练图像中各个像素点所对应的损失值。
本实施例中，需要根据神经网络模型的损失层确定训练图像中各个像素点所对应的损失值，在一些实施例中，若是应用了augmentation的方法对训练图像进行扩充处理，则需要确定扩充处理后的所有训练图像的损失值。
在一些实施例中，在构建该神经网络模型之后，需要对该神经网络模型的损失层进行大边界(large-margin)处理，具体地，当我们定义第i个输入特征xi以及它的标签yi，N为训练样本的个数时，f是全连接层的激活函数W的输出，损失值：
其中，||Wyi||·||xi||cos(θyi)＝fyi；
经过改造后，即大边界处理之后，
其中，
训练过程中λ值与迭代次数相关，当迭代次数越大时，λ减少，这样使得最终的loss偏向
最终使得同类数据更聚集，而异类数据更分散。
对模型的损失层进行大边界处理可以提高准确度，经试验得知，在一些实施例中，在对样本进行augmentation的基础上，对模型的损失层进行大边界处理可以将准确度从94％提升到95％。
给训练图像设置多个标签可以提高准确度，由于本发明实施例中的训练图像对应多个标签，实验得知，在一些实施例中，在对样本进行augmentation以及对模型的损失层进行大边界处理的基础上，给一个训练图像设置多个标签，例如设置两个标签，可以将准确度从95％提升到97％。
103、将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点。
其中，当确定出输入神经网络模型的训练图像的损失值之后，将该图中损失值大于阈值的像素点确定为目标像素点，其中，目标像素点的为需要参与神经网络训练模型反向传播训练的像素点。
需要说明的是，该阈值可以为0.7，也可以为其他数值，具体数值此处不做限定。
在一些实施例中，可以获取损失值小于该阈值的像素点的在训练图像中的位置信息，其中该位置信息可以为坐标信息；然后在该位置信息对应的位置上标记非目标像素点标签，最后将没有标记该非目标像素点标签的像素点确定为该目标像素点。
此外，还可以直接获取损失值大于该阈值的像素点在训练图像中的位置信息，然后将该位置信息上的像素点确定为目标像素点。
104、根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。
本实施例中，当获取了目标像素点之后，还将根据目标像素点获取用于该神经网络模型反向传播训练的目标图像，具体地，可以如下：去除训练图像中的非目标像素点，保留目标像素点得到目标图像，或提取目标像素点以及目标像素点的坐标，构成目标图像。
其中，本发明实施例使用hard-mining的方法对神经网络模型进行训练，只需要损失值大于阈值的像素点所对应的图像进行反向传播，并计算其梯度，但是损失值较小，即损失值小于阈值的像素点所对应的图像不需要进行反向传播，也就是说，损失值比较小的像素点对梯度的更新不起任何作用，通过这样的方式，可以增加图片边界的明显度，分散度，通过实验，在对样本进行augmentation、对模型的损失层进行大边界处理以及给一个训练图像设置多个标签的基础上，可以提高准确度，经试验得知，在一些实施例中，上述步骤可以将准确度从97％提升到97.8％。
本发明实施例中，图像处理装置首先获取训练图像，其中，所述训练图像对应多个标签；然后根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；再将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；最后根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。本发明实施例中的训练图像对应多个标签，且只需要训练图像中损失值大于阈值的部分参与反向传播，可以更加明显地识别训练图像的边界部分，从而提高该神经网络模型的泛化能力以及准确度。
此外，在一些实施例中，本发明实施例还使用augmentation的方法增加了样本个数，以及使用large-margin的方法改造了模型损失层中损失值的计算方式，所以本发明可以进一步提高神经网络模型的泛化能力以及准确度，增加了神经网络模型对新鲜样本的适应能力。
请参阅图2，图2为本发明实施例提供的图像处理方法的另一流程示意图。方法的具体流程可以如下：
201、构建所述神经网络模型。
首先，本发明实施例需要构建神经网络模型，该神经网络模型主要包括卷积层，池化层(pooling)，全连接层，损失层等。
202、对所述神经网络模型的损失层进行大边界处理。
刚构建的神经网络模型的损失层一般是按照常规算法进行损失值的计算的，为了使得同类数据更聚集，而异类数据更分散，本发明需要对神经网络模型的损失层进行重新设计。
即需要对该神经网络模型的损失层进行大边界(large-margin)处理，具体地，当我们定义第i个输入特征xi以及它的标签yi，N为训练样本的个数时，f是全连接层的激活函数W的输出，损失值：
其中，||Wyi||·||xi||cos(θyi)＝fyi；
经过改造后，即大边界处理之后，
其中，
训练过程中λ值与迭代次数相关，当迭代次数越大时，λ减少，这样使得最终的loss偏向
最终使得同类数据更聚集，而异类数据更分散。
对模型的损失层进行大边界处理可以提高准确度，经试验得知，在一些实施例中，对模型的损失层进行大边界处理可以将准确度从94％提升到95％。
203、获取训练图像，所述训练图像对应多个标签。
其中，本发明实施例中的训练图像对应多个标签，例如，一个训练图像对应两个标签结果，在一个具体的场景中，判断图中装卸口的状态，该装卸口的状态可以对应有车状态，也可以对应车到港状态，即该图对应有车和车到港两种标签。
其中，使用Multy task的方式，通过给每个训练图像多个标签(一般两个)的方式进行训练，可以增加不同标签之间图像在模型中的分散度，从而可以提高该神经网络模型的泛化能力以及准确度。
204、对所述训练图像进行数据增广处理，得到增广后的训练图像。
在一些实施例中，数据量比较小会导致模型过拟合,使得训练误差很小而测试误差特别大，为了解决这种问题，本发明还应用augmentation的方法对训练图像进行扩充处理，其中，该训练图像包括光流图和灰度图，在对训练图像进行扩充处理之前，首先需要对练图像中的光流图和灰度图进行通道分离处理。
在对训练图像进行扩充处理具体包括对所述训练图像进行旋转处理、剪切处理、镜像处理、像素偏移处理、模糊处理、放射变换处理、增加噪声处理、图像锐化处理和缩放处理中的一种或多种处理，更具体地，至少可以包括以下步骤：
旋转处理具体包括：对灰度图和光流图进行随机角度的旋转操作；
剪切处理具体包括：对灰度图和光流图同步进行随机剪切操作；
镜像处理具体包括：对灰度图和光流图做镜像操作；
像素偏移处理具体包括：仅仅对灰度图进行像素偏移(将像素值同步加、减一个随机数)，对比度增强，而光流图不做任何操作；
模糊处理具体包括：对灰度图加入椒盐噪声，和模糊操作，对光流图不做任何操作；
缩放处理具体包括：对灰度图不做任何操作，将光流图的灰度值进行线性变换，进行同步随机缩放，随机缩放的范围为[0.8-1.2]。
应用augmentation的方法对训练图像进行扩充处理可以提交训练的准确度。经试验得知，在一些实施例中，神经网络模型不加augmentation的方式，训练的准确度为92％，增加了augmentation的方式之后训练的准确度提升到94％，所以对样本进行augmentation，可以避免模型过拟合，提高训练的准确度。
给训练图像设置多个标签可以提高准确度，由于本发明实施例中的训练图像对应多个标签，实验得知，在一些实施例中，在对样本进行augmentation以及对模型的损失层进行大边界处理的基础上，给一个训练图像设置多个标签，例如设置两个标签，可以将准确度从95％提升到97％。
205、根据神经网络模型确定所述训练图像中各个像素点所对应的损失值。
在一些实施例中，本发明使用损失层进行过大边界处理的神经网络模型计算训练图像的损失值，其中，由于本发明还对训练图像进行过扩充处理，所以需要对扩充处理后的每张图像进行损失值的计算。
206、将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点。
其中，当确定出输入神经网络模型的训练图像的损失值之后，将该图中损失值大于阈值的像素点确定为目标像素点，其中，目标像素点的为需要参与神经网络训练模型反向传播训练的像素点。
需要说明的是，该阈值可以为0.7，也可以为其他数值，具体数值此处不做限定。
在一些实施例中，可以获取损失值小于该阈值的像素点的在训练图像中的位置信息，其中该位置信息可以为坐标信息；然后在该位置信息对应的位置上标记非目标像素点标签，最后将没有标记该非目标像素点标签的像素点确定为该目标像素点。
此外，还可以直接获取损失值大于该阈值的像素点在训练图像中的位置信息，然后将该位置信息上的像素点确定为目标像素点。
207、根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。
本实施例中，当获取了目标像素点之后，还将根据目标像素点获取用于该神经网络模型反向传播训练的目标图像，具体地，可以如下：去除训练图像中的非目标像素点，保留目标像素点得到目标图像，或提取目标像素点以及目标像素点的坐标，构成目标图像。
其中，本发明实施例使用hard-mining的方法对神经网络模型进行训练，只需要损失值大于阈值的像素点所对应的图像进行反向传播，并计算其梯度，但是损失值较小，即损失值小于阈值的像素点所对应的图像不需要进行反向传播，也就是说，损失值比较小的像素点对梯度的更新不起任何作用，通过这样的方式，可以增加图片边界的明显度，分散度，通过实验，在对样本进行augmentation、对模型的损失层进行大边界处理以及给一个训练图像设置多个标签的基础上，可以提高准确度，经试验得知，在一些实施例中，上述步骤可以将准确度从97％提升到97.8％。
本发明实施例中，图像处理装置首先获取训练图像，其中，所述训练图像对应多个标签；然后根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；再将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；最后根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。本发明实施例中的训练图像对应多个标签，且只需要训练图像中损失值大于阈值的部分参与反向传播，可以更加明显地识别训练图像的边界部分，从而提高该神经网络模型的泛化能力以及准确度。
此外，在一些实施例中，本发明实施例还使用augmentation的方法增加了样本个数，以及使用large-margin的方法改造了模型损失层中损失值的计算方式，所以本发明可以进一步提高神经网络模型的泛化能力以及准确度，增加了神经网络模型对新鲜样本的适应能力。
为了更好地实施本发明实施例提供的图像处理方法，本发明实施例还提供一种图像处理装置，该图像处理装置具体可以集成在服务器中。其中名词的含义与上述图像处理方法中相同，具体实现细节可以参考方法实施例中的说明。请参阅图3a，图3a为本发明实施例提供的图像处理装置的结构示意图，该图像处理装置300包括第一获取单元301、第一确定单元302、第二确定单元303、第三确定单元304，如下：
第一获取单元301，用于获取训练图像，所述训练图像对应多个标签；
第一确定单元302，用于根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；
第二确定单元303，用于将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；
第三确定单元304，用于根据所述目标像素点确定用于所述神经网络模型反向传播训练的目标图像。
请参阅图3b，在一些实施例中，所述装置300还包括：
构建单元305，用于构建所述神经网络模型；
第一处理单元306，用于对所述神经网络模型的损失层进行大边界处理。
可选的，在一些实施例中，所述获取训练图像之后，所述装置300还包括：
第二处理单元307，用于对所述训练图像进行数据增广处理，得到增广后的训练图像。
在一些实施例中，所述第一确定单元302具体用于：
根据所述神经网络模型分别确定所述增广后的训练图像中各个像素点所对应的损失值。
在一些实施例中，所述第二处理单元307具体用于括：
对所述训练图像进行旋转处理、剪切处理、镜像处理、像素偏移处理、模糊处理、放射变换处理、增加噪声处理、图像锐化处理和缩放处理中的一种或多种处理。
在一些实施例中，所述训练图像包括光流图和灰度图。
在一些实施例中，所述装置还300包括：
第三处理单元308，用于对所述训练图像中的光流图和灰度图进行通道分离处理。
本发明实施例中，首先第一获取单元301获取训练图像，其中，所述训练图像对应多个标签；然后第一确定单元302根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；第二确定单元303再将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；最后第三确定单元304根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。本发明实施例中的训练图像对应多个标签，且只需要训练图像中损失值大于阈值的部分参与反向传播，可以更加明显地识别训练图像的边界部分，从而提高该神经网络模型的泛化能力以及准确度。
参考图4，本发明实施例提供了一种服务器400，可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、射频(RadioFrequency，RF)电路403、电源404、输入单元405、以及显示单元406等部件。本领域技术人员可以理解，图4中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。
RF电路403可用于收发信息过程中，信号的接收和发送。
服务器还包括给各个部件供电的电源404(比如电池)，优选的，电源可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
该服务器还可包括输入单元405，该输入单元405可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该服务器还可包括显示单元406，该显示单元406可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。具体在本实施例中，服务器中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取训练图像，所述训练图像对应多个标签；
根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；
将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；
根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。
由上可知，本发明实施例中，图像处理装置首先获取训练图像，其中，所述训练图像对应多个标签；然后根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；再将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；最后根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。本发明实施例中的训练图像对应多个标签，且只需要训练图像中损失值大于阈值的部分参与反向传播，可以更加明显地识别训练图像的边界部分，从而提高该神经网络模型的泛化能力以及准确度。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，如图5所示，本实施例提供了一种存储介质500，其上存储有计算机程序511(其中包含多条指令)，该计算机程序511被处理器执行时实现如下步骤：
获取训练图像，所述训练图像对应多个标签；
根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；
将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；
根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像处理方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取训练图像，所述训练图像对应多个标签；
根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；
将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；
根据所述目标像素点获取用于所述神经网络模型反向传播训练的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述根据神经网络模型确定所述训练图像中各个像素点所对应的损失值之前，所述方法还包括：
构建所述神经网络模型；
对所述神经网络模型的损失层进行大边界处理。
3.根据权利要求1所述的方法，其特征在于，所述获取训练图像之后，所述方法还包括：
对所述训练图像进行数据增广处理，得到增广后的训练图像。
4.根据权利要求3所述的方法，其特征在于，所述根据神经网络模型确定所述训练图像中各个像素点所对应的损失值，包括：
根据所述神经网络模型分别确定所述增广后的训练图像中各个像素点所对应的损失值。
5.根据权利要求4所述的方法，其特征在于，所述对所述训练图像进行数据增广处理，包括：
对所述训练图像进行旋转处理、剪切处理、镜像处理、像素偏移处理、模糊处理、放射变换处理、增加噪声处理、图像锐化处理、放射变换处理、增加噪声处理、图像锐化处理和缩放处理中的一种或多种处理。
6.根据权利要求5所述的方法，其特征在于，所述训练图像包括光流图和灰度图。
7.根据权利要求6所述的方法，其特征在于，所述对所述训练图像进行数据增广处理之前，所述方法还包括：
对所述训练图像中的光流图和灰度图进行通道分离处理。
8.一种图像处理装置，其特征在于，包括：
第一获取单元，用于获取训练图像，所述训练图像对应多个标签；
第一确定单元，用于根据神经网络模型确定所述训练图像中各个像素点所对应的损失值；
第二确定单元，用于将所述损失值中大于阈值的损失值所对应的像素点确定为目标像素点；
第三确定单元，用于根据所述目标像素点确定用于所述神经网络模型反向传播训练的目标图像。
9.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的图像处理方法中的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910147376.8A CN111626913B (zh) | 2019-02-27 | 2019-02-27 | 一种图像处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910147376.8A CN111626913B (zh) | 2019-02-27 | 2019-02-27 | 一种图像处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111626913A true CN111626913A (zh) | 2020-09-04 |
| CN111626913B CN111626913B (zh) | 2024-04-05 |
Family
ID=72270704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910147376.8A Active CN111626913B (zh) | 2019-02-27 | 2019-02-27 | 一种图像处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111626913B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116341633A (zh) * | 2023-05-29 | 2023-06-27 | 山东浪潮科学研究院有限公司 | 一种模型部署方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120082371A1 (en) * | 2010-10-01 | 2012-04-05 | Google Inc. | Label embedding trees for multi-class tasks |
| CN104992167A (zh) * | 2015-07-28 | 2015-10-21 | 中国科学院自动化研究所 | 一种基于卷积神经网络的人脸检测方法及装置 |
| CN106682734A (zh) * | 2016-12-30 | 2017-05-17 | 中国科学院深圳先进技术研究院 | 一种提升卷积神经网络泛化能力的方法及装置 |
| CN107871126A (zh) * | 2017-11-22 | 2018-04-03 | 西安翔迅科技有限责任公司 | 基于深层神经网络的车型识别方法和系统 |
| CN108133233A (zh) * | 2017-12-18 | 2018-06-08 | 中山大学 | 一种多标签图像识别方法及装置 |
| CN108898140A (zh) * | 2018-06-08 | 2018-11-27 | 天津大学 | 基于改进的全卷积神经网络的脑肿瘤图像分割算法 |
| CN109002845A (zh) * | 2018-06-29 | 2018-12-14 | 西安交通大学 | 基于深度卷积神经网络的细粒度图像分类方法 |
| CN109284686A (zh) * | 2018-08-23 | 2019-01-29 | 国网山西省电力公司计量中心 | 一种摄像头自动俯仰拍照的标签识别方法 |
| CN109359725A (zh) * | 2018-10-24 | 2019-02-19 | 北京周同科技有限公司 | 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质 |
-
2019
- 2019-02-27 CN CN201910147376.8A patent/CN111626913B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120082371A1 (en) * | 2010-10-01 | 2012-04-05 | Google Inc. | Label embedding trees for multi-class tasks |
| CN104992167A (zh) * | 2015-07-28 | 2015-10-21 | 中国科学院自动化研究所 | 一种基于卷积神经网络的人脸检测方法及装置 |
| CN106682734A (zh) * | 2016-12-30 | 2017-05-17 | 中国科学院深圳先进技术研究院 | 一种提升卷积神经网络泛化能力的方法及装置 |
| CN107871126A (zh) * | 2017-11-22 | 2018-04-03 | 西安翔迅科技有限责任公司 | 基于深层神经网络的车型识别方法和系统 |
| CN108133233A (zh) * | 2017-12-18 | 2018-06-08 | 中山大学 | 一种多标签图像识别方法及装置 |
| CN108898140A (zh) * | 2018-06-08 | 2018-11-27 | 天津大学 | 基于改进的全卷积神经网络的脑肿瘤图像分割算法 |
| CN109002845A (zh) * | 2018-06-29 | 2018-12-14 | 西安交通大学 | 基于深度卷积神经网络的细粒度图像分类方法 |
| CN109284686A (zh) * | 2018-08-23 | 2019-01-29 | 国网山西省电力公司计量中心 | 一种摄像头自动俯仰拍照的标签识别方法 |
| CN109359725A (zh) * | 2018-10-24 | 2019-02-19 | 北京周同科技有限公司 | 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| LIU WEIYANG ET AL.: ""Large-Margin Softmax Loss for Convolutional Neural Networks"", 《PROCEEDINGS OF THE 33RD INTERNATIONAL CONFERENCE ON MACHINE LEARNING》, pages 507 - 516 * |
| XIAO KE ET.AL: ""End-to-End Automatic Image Annotation Based on Deep CNN and Multi-Label Data Augmentation"", 《IEEE TRANSACTIONS ON MULTIMEDIA》, vol. 21, no. 8, pages 2093 - 2106, XP011735853, DOI: 10.1109/TMM.2019.2895511 * |
| 罗斌;郜伟;汤进;王文中;李成龙;: "复杂环境下基于角点回归的全卷积神经网络的车牌定位", no. 01, pages 65 - 72 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116341633A (zh) * | 2023-05-29 | 2023-06-27 | 山东浪潮科学研究院有限公司 | 一种模型部署方法、装置、设备及存储介质 |
| CN116341633B (zh) * | 2023-05-29 | 2023-09-01 | 山东浪潮科学研究院有限公司 | 一种模型部署方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111626913B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229533A (zh) | 图像处理方法、模型剪枝方法、装置及设备 | |
| KR20200031163A (ko) | 신경 네트워크 구조의 생성 방법 및 장치, 전자 기기, 저장 매체 | |
| CN111507993A (zh) | 一种基于生成对抗网络的图像分割方法、装置及存储介质 | |
| CN114792359B (zh) | 渲染网络训练和虚拟对象渲染方法、装置、设备及介质 | |
| US20220075994A1 (en) | Real-time facial landmark detection | |
| CN108596885B (zh) | 基于cpu+fpga的快速sar图像变化检测方法 | |
| CN113658339B (zh) | 一种基于等高线的三维实体生成方法及装置 | |
| CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
| CN113034523A (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
| CN113449538A (zh) | 视觉模型的训练方法、装置、设备及存储介质 | |
| EP3711027B1 (en) | System and method for drawing beautification | |
| CN113516697B (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| CN109242882B (zh) | 视觉跟踪方法、装置、介质及设备 | |
| CN111626913B (zh) | 一种图像处理方法、装置及存储介质 | |
| CN114359048A (zh) | 图像的数据增强方法、装置、终端设备及存储介质 | |
| CN113822144A (zh) | 一种目标检测方法、装置、计算机设备和存储介质 | |
| CN112966592A (zh) | 手部关键点检测方法、装置、设备和介质 | |
| CN111639523B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN111127590B (zh) | 一种二阶贝塞尔曲线绘制方法及装置 | |
| CN107330905B (zh) | 一种图像处理方法、装置及存储介质 | |
| CN113723515B (zh) | 基于图像识别的摩尔纹识别方法、装置、设备及介质 | |
| CN113038055B (zh) | 图像处理方法、装置及电子设备 | |
| CN114612531A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN111765892A (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
| CN111507944A (zh) | 皮肤光滑度的确定方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |