CN109409432A - 一种图像处理方法、装置和存储介质 - Google Patents
一种图像处理方法、装置和存储介质 Download PDFInfo
- Publication number
- CN109409432A CN109409432A CN201811282814.3A CN201811282814A CN109409432A CN 109409432 A CN109409432 A CN 109409432A CN 201811282814 A CN201811282814 A CN 201811282814A CN 109409432 A CN109409432 A CN 109409432A
- Authority
- CN
- China
- Prior art keywords
- pixel
- label
- image
- pixel quantity
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像处理方法、装置和存储介质；本发明实施例获取多标签训练图像中像素点的损失值；获取该多标签训练图像的标签所对应的像素点数量；根据数量调整参数对该像素点数量进行调整，得到该标签的调整后像素点数量；根据该调整后像素点数量、以及该标签的像素点的损失值，从该像素点中确定目标像素点，根据该目标像素点获取用于神经网络模型反向传播训练的目标图像；本方案可以调整各个标签中像素点的数量，并根据调整后的像素点数量以及各个标签中像素点的损失值从各个标签的像素点中确定目标像素点，在后续反向传播的过程中，只需要目标图像中的目标像素点参与反向传播，故可以提高模型的训练效率。
Description
技术领域
本发明涉及数据识别领域，具体涉及一种图像处理方法、装置和存储介质。
背景技术
样本标签不平衡是机器学习中常见的难题之一，在机器学习的训练过程中，训练图像中各类标签之间的样本个数(例如像素点个数)分布差异可能会非常大，样本标签不平衡，即有些标签的样本数量很多，而有些标签的样本数量很少，如果所有样本都参与反向传播，那么模型的训练效率将会很低，为了提高训练效率可以调整需要参与反向传播的样本。
发明内容
本发明实施例提供一种图像处理方法、装置和存储介质，可以提高模型的训练效率。
本发明实施例提供一种图像处理方法，包括：
获取多标签训练图像中像素点的损失值；
获取所述多标签训练图像的标签所对应的像素点数量；
根据数量调整参数对所述像素点数量进行调整，得到所述标签的调整后像素点数量；
根据所述调整后像素点数量、以及所述标签的像素点的损失值，从所述像素点中确定目标像素点；
根据所述目标像素点获取用于神经网络模型反向传播训练的目标图像。
相应的，本发明实施例还提供了一种图像处理装置，包括：
第一获取单元，用于获取多标签训练图像中像素点的损失值；
第二获取单元，用于获取所述多标签训练图像的标签所对应的像素点数量；
调整单元，用于根据数量调整参数对所述像素点数量进行调整，得到所述标签的调整后像素点数量；
确定单元，用于根据所述调整后像素点数量、以及所述标签的像素点的损失值，从所述像素点中确定目标像素点；
第三获取单元，用于根据所述目标像素点获取用于神经网络模型反向传播训练的目标图像。
在一些实施例中，所述调整单元包括：
选择子单元，用于根据预设数量选择规则从标签对应的像素点数量中选择第一像素点数量和第二像素点数量，所述第一像素点数量大于所述第二像素点数量；
第一确定子单元，用于根据所述第一像素点数量和所述数量调节参数确定数量阈值；
第二确定子单元，用于根据所述数量阈值、所述第二像素点数量以及所述像素点数量确定所述调整后像素点数量。
在一些实施例中，所述第二确定子单元包括：
第一获取模块，用于当所述数量阈值大于所述第二像素点数量时，获取小样本标签的像素点数量总和，所述小样本标签为像素点数量小于所述数量阈值的标签；
确定模块，用于根据所述像素点数量总和，以及所述数量调整参数确定所述调整后像素点数量。
在一些实施例中，所述确定模块包括：
获取子模块，用于当所述像素点数量总和小于所述数量阈值时，获取所述像素点数量总和，以及所述数量调整参数的乘积；
确定子模块，用于将所述乘积确定为大样本标签的调整后像素点数量，所述大样本标签为所述像素点数量大于所述数量阈值的标签。
在一些实施例中，所述确定单元包括：
第三确定子单元，用于根据所述调整后像素点数量、以及所述标签的像素点的损失值确定所述标签的损失阈值；
第四确定子单元，用于将所述像素点中损失值大于所述损失阈值的像素点确定为所述需要参与反向传播的目标像素点。
在一些实施例中，所述第一获取单元包括：
第一获取子单元，用于获取所述多标签训练图像及其对应的标签信息；
第二获取子单元，用于基于神经网络模型获取所述多标签训练图像中所述像素点对应的预测标签信息；
第三获取子单元，用于根据所述预测标签信息以及所述标签信息，获取所述像素点的损失值。
在一些实施例中，所述装置还包括：
第四获取单元，用于获取多标签预训练图像；
预训练单元，用于根据所述多标签预训练图像对所述神经网络模型进行预训练处理。
在一些实施例中，所述装置还包括：
训练单元，用于根据所述目标像素点对神经网络模型进行反向传播训练，得到训练后模型。
在一些实施例中，所述训练单元包括：
第四获取子单元，用于获取所述目标像素点对应的目标像素点损失值；
训练子单元，用于根据所述目标像素点损失值对所述神经网络模型进行反向传播训练。
在一些实施例中，所述第四获取子单元包括：
第二获取模块，用于基于所述神经网络模型获取与所述像素点对应的预测标签信息；
第三获取模块，用于根据所述预测标签信息以及与所述述目标像素点对应的标签信息，获取所述目标像素点损失值。
相应的，本发明实施例还提供一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时实现本发明实施例任一提供的图像处理方法。
本发明实施例，获取多标签训练图像中像素点的损失值；获取所述多标签训练图像的标签所对应的像素点数量；根据数量调整参数对所述像素点数量进行调整，得到所述标签的调整后像素点数量；根据所述调整后像素点数量、以及所述标签的像素点的损失值，从所述像素点中确定目标像素点，根据该目标像素点获取用于神经网络模型反向传播训练的目标图像；本方案可以调整各个标签中像素点的数量，并根据调整后的像素点数量以及各个标签中像素点的损失值从各个标签的像素点中确定需要参与反向传播的目标像素点，在后续反向传播的过程中，只需要目标图像中的目标像素点参与反向传播，故可以提高模型的训练效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的图像处理方法的一种网络结构示意图；
图1b是本发明实施例提供的图像处理方法的算法流程意图；
图1c是本发明实施例提供的图像处理方法的一种流程示意图；
图2是本发明实施例提供的图像处理方法的另一种流程示意图；
图3a是本发明实施例提供的图像处理装置的一种结构示意图；
图3b是本发明实施例提供的图像处理装置的另一种结构示意图；
图3c是本发明实施例提供的图像处理装置的另一种结构示意图；
图3d是本发明实施例提供的图像处理装置的另一种结构示意图；
图3e是本发明实施例提供的图像处理装置的另一种结构示意图；
图3f是本发明实施例提供的图像处理装置的另一种结构示意图；
图3g是本发明实施例提供的图像处理装置的另一种结构示意图；
图4是本发明实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像处理方法、装置和存储介质。
其中，该图像处理装置可以集成在网络设备如终端或服务器等设备中，例如，网络设备获取多标签训练图像中像素点的损失值；获取多标签训练图像的标签所对应的像素点数量；然后根据数量调整参数对像素点数量进行调整，得到标签的调整后像素点数量；根据调整后像素点数量、以及标签的像素点的损失值，从像素点中确定需要参与反向传播的目标像素点，得到目标图像，最后根据目标图像中的目标像素点对神经网络模型进行反向传播训练，得到训练后模型。
在一实施例中，该网络设备的网络结构可以如图1a所示，将多标签训练图像输入到本发明中的神经网络训练模型中多次卷积后获得特征图像(featuremap)，然后以该特征图像和对应的标签图像(mask)计算出多标签训练图像中每个像素的损失值(loss)，形成标签特征图像(lossmap)，标签特征图像经过OHEM(Online Hard Example Mining)后留下难像素点(损失值比较高的像素点)，并在标签图像对应的位置上对像素点进行调整得到调整后的标签图像(OHEM Label)，其中，在调整后的标签图像中，白色区域为简单像素点(损失值比较小的像素点)，简单像素点不参与反向传播训练，其他颜色的像素点正常训练(根据调整后的标签图像与特征图像获得难像素点的损失值，根据该难像素点的损失值进行反向传播)。
其中，在一实施例中，难像素点的筛选标准来源于数量调整参数(例如客户对标签中的最大像素点数量与最小像素点数量之间的期望比例)，具体做法可以如图1b所示，先统计标签图像中各个标签(标签0，1，2，3)的像素点数量，根据数量调整参数确定各个标签的调整后像素点数量，然后根据各个标签中调整后像素点数量以及标签特征图像中各个标签的像素点的损失值留下损失值较大的像素点，最后将损失值较大的像素点映射到标签图像上获得调整后的标签图像，根据该调整后的标签图像中的像素点进行反向传播。
需要说明的是，本发明中的图像处理方法可以添加到任意分割网络(神经网络模型)的损失函数中。
以下分别进行详细说明。需说明的是，以下实施例的顺序不作为对实施例优选顺序的限定。
在一实施例中，将从图像处理装置的角度进行描述，该图像处理装置具体可以集成在网络设备如终端或服务器等设备中，如图1c所示，该脸部活体检测方法包括：
101、获取多标签训练图像中像素点的损失值。
其中，获取多标签训练图像中像素点的损失值具体包括：
A.获取多标签训练图像及其对应的标签信息。
本实施中，首先需要获取该多标签训练图像，除了获取该多标签训练图像还需要获取与该多标签训练图像对应的标签信息，其中，该标签信息包含该多标签训练图像中所有像素点的标签，具体地，在实现过程中，该标签信息可以用标签图像(mask)表示。
该标签图像是经过缩放的标签图像，其图片大小与特征图像(featuremap)相对应，其中，特征图像为对该多标签训练图像经过神经网络模型的多次卷积后得到的图片。
B.基于神经网络模型获取多标签训练图像中像素点对应的预测标签信息。
即将该多标签训练图像输入该神经网络训练模型中，经过softmax，得到该多标签训练图像中每个像素点分别对应的预测标签信息，在实现过程中，该预测标签信息可以用上述特征图像来表示。
举个例子，假如是一个3分类问题(类别的标签用1，2，3表示)，假如预设标签＝[1，2，3]，那么像素点A经过softmax后就会得到[0.09，0.24，0.67]，这三个数字表示这个像素点属于第1，2，3类标签的概率值分别是0.09，0.24，0.67，即该预测标签信息为[0.09，0.24，0.67]。
其中，该预测标签信息中包括的信息也可以直接为分别根据概率值计算出来的损失值。
其中，该本发明中的的损失值可以为为交叉熵，其中，交叉熵的计算方式如下：
其中，L为交叉熵的值，T为标签的数目，yj为相似度真实值，sj为softmax的输出向量的第j个值。
需要说明的是，本实施例中提及的神经网络模型是经过预训练的神经网络模型，其中，在预训练的时候，尚不需要采用本发明提供的图像处理方法进行训练，使得该神经网络模型具有一定的分类功能，其中，预训练的步骤为：获取多标签预训练图像；然后根据该多标签预训练图像对该神经网络模型进行预训练处理。
C.根据预测标签信息以及标签信息，获取像素点的损失值。
即可以根据标签图像以及特征图像计算出每个像素点的损失值(loss)，具体地，将标签图像映射到该特征图像既可以计算得到每个像素点的损失值，该标签图像中的标签信息对该特征图像具有导向作用。
举个例子，依然是上面的三分类问题，根据该像素点A的标签信息得到该像素点的标签为[0，1，0]，也就是说像素点A的真实标签是2，即像素点A的概率为0.24，然后再根据这个概率计算损失值。
其中，若是预测标签信息中包含的就是损失值，那么可以就直接根据标签信息的导向找到真实的损失值，在这一步骤中就不用在根据概率值计算损失值了。
在一些实施例中，可以根据上述的标签图像以及特征图像形成标签特征图像，该标签特征图像中包含每个像素点的标签信息以及该像素点的损失值，然后根据该标签特征图像获取每个像素点的损失值。
其中，预测错比预测对的损失值要大，预测错得离谱比预测错得轻微的损失值要大，即损失值越大的像素点为越难训练的像素点，本发明的目的是为了找出难训练的难像素点。
102、获取该多标签训练图像的标签所对应的像素点数量。
本实施例中，多标签训练图像是不包含像素点的真实标签信息的，由于标签图像与该多标签训练图像相对应，即两个图像中包含的像素点的标签信息时一致的，而标签图像是包括每个像素点的标签信息的，故可以直接根据标签图像统计每个标签分别对应的像素点个数。
此外，在一些实施例中，多标签训练图像的标签所对应的像素点数量还可以是已知的，可以在训练的时候直接获取。
103、根据数量调整参数对该像素点数量进行调整，得到该标签的调整后像素点数量。
当获取了各个标签分别对应的像素点数量之后，将会根据数量调整参数对各个标签中的像素点数量进行调整，减少多标签之间像素点不平衡带来的影响。
其中，该数量调整参数可以是神经网络模型预置的，也可以是由用户输入的，该数量调整参数可以为一个期望比例，该期望比例为各个标签中的最大像素点数量与最小像素点数量的比值。
具体地，根据数量调整参数对该像素点数量进行调整，得到该标签的调整后像素点数量包括：
A、根据预设数量选择规则从标签对应的像素点数量中选择第一像素点数量和第二像素点数量，该第一像素点数量大于该第二像素点数量。
其中，该预设数量选择规则为从标签对应的像素点数量中选取像素点数量的最大值和最小值，其中，在本实施了中，第一像素点数量为标签中像素点数量最大的值，即最大像素点数量；第二像素点数量为标签中像素点数量最小的值，即最小像素点数量。
B、根据该第一像素点数量和该数量调节参数确定数量阈值。
当确定了第一像素点数量之后，即确定了像素点数量的最大值之后，将会根据第一像素点数量和该数量调节参数确定数量阈值；
具体地，可以将第一像素点数量和数量调节参数的商确定为数量阈值。
C、根据该数量阈值、该第二像素点数量以及该像素点数量确定该调整后像素点数量。
具体地，若该数量阈值大于该第二像素点数量，则获取小样本标签的像素点数量总和，该小样本标签为像素点数量小于该数量阈值的标签；
然后根据该像素点数量总和，以及该数量调整参数确定该调整后像素点数量；
其中，若数量阈值不大于该第二像素点数量，即最小像素点数量不小于数量阈值时，则说明此时各个标签对应的像素点数量符合用户的期望比例，此时不对标签的像素点数量进行调整，结束当前程序。
其中，根据该像素点数量总和，以及该数量调整参数确定该调整后像素点数量具体包括：
a、若该像素点数量总和小于该数量阈值，则获取该像素点数量总和，以及该数量调整参数的乘积。
b、将该乘积确定为大样本标签的调整后像素点数量，该大样本标签为该像素点数量大于该数量阈值的标签。
c、将小样本标签对应的像素点数量确定为小样本标签调整后像素点数量，即小样本标签对应的像素点数量不变。
其中，在一些特殊情况中，如果该像素点数量总和大于该数量阈值，此时，各个标签对应的像素点数量可以不做调整。
举个例子，如果数量调整参数为3，标签0，1，2，3的像素点数量分别为2100，1000，150，50，则最大像素点数量为2100，最小像素点数量为50，数量阈值为2100/3＝700，最小像素点数量小于数量阈值，说明标签之间的像素点数量不符合用户的期望比例。此时150，50均小于700，150与50对应的标签2和3为小样本标签，此时计算小样本标签之和150+50＝200，200小于700，此时标签2和2为小样本标签，像素点数量不变，将大样本标签的像素点数量调整为小样本标签之和与调整参数的乘积，即将大样本标签的像素点数量调整为：200*3＝600，最后0，1，2，3四个标签对应的像素点数量分别为：600，600，150，50，即调整后像素点数量为600，600，150，50，最后根据调整后的像素点数量留下各个标签中loss较大的像素点，最后映射到标签图像上获得调整后的标签图像，再根据调整后的标签图像进行反向传播训练。
在如果单独强制设置所有大样本标签中的像素点数量为最小值的一定倍数，则大样本标签中的像素点数量会急剧减少，导致整张训练图像的总像素点数量急剧减少，信息量损失巨大，因此各类标签的像素点数量需要根据实际情况进行自适应调整，本发明就可以根据数据调整参数根据实际情况对各类标签中像素点数量进行自适应调整，避免大样本标签中的像素点数量会急剧减少的问题，且有效减少由于标签不平衡带来的影响。
104、根据该调整后像素点数量、以及该标签的像素点的损失值，从该像素点中确定目标像素点。
样本(例如像素点)标签不平衡是机器学习中常见的难题之一。不同于自然图像的分割，医学图像中分割小物体目标(例如像素点级别的目标)是兵家常事，且医学图像中的小目标往往对整个诊断有着至关重要的意义，有效应对样本标签不平衡，是一项重要的任务。
而本发明提出的图像处理方法，能够根据调整后的像素点数量在训练时在线找出相对困难的像素点(即损失值较大的像素单件)，减少标签不平衡带来的影响，具体做法如下：
当确定了调整后的像素点数量之后，将根据该调整后像素点数量、以及该标签的像素点的损失值，从该像素点中确定需要参与反向传播的目标像素点，具体包括：
A、根据该调整后像素点数量、以及该标签的像素点的损失值确定该标签的损失阈值。
其中，可以对各个标签中分别对应的像素点的损失值进行排序，然后获取损失值较大的个数为调整后像素点数量的目标像素点，然后将目标像素点中损失值最小的值确定为损失阈值。
其中，每个标签分别对应一个损失阈值。
B、将该像素点中损失值大于该损失阈值的像素点确定为该需要参与反向传播的目标像素点。
本实施例中，将各个标签中损失值大于损失阈值的像素点确定为需要参与反向传播的目标像素点。
即本实施例可以自适应找出需要参与反向传播的目标像素点。
105、根据目标像素点获取用于神经网络模型反向传播训练的目标图像。
在一些实施例中，可以获取该标签中损失值小于该损失阈值的像素点的在标签图像中的位置信息，其中该位置信息可以为坐标信息；然后在该位置信息对应的位置上标记非目标像素点标签，最后将没有标记该非目标像素点标签的像素点确定为该目标像素点，即可获取调整后的标签图像(OHEM Label)，该调整后的目标图像即本实施例中的目标图像。
在一些实施例中，根据该调整后像素点数量、以及该标签的像素点的损失值，从该像素点中确定目标像素点之后，本实施例中的图像处理方法还包括：
根据该目标图像对神经网络模型进行反向传播训练，得到训练后模型。
将根据该目标图像对神经网络模型进行反向传播训练，具体为：
A、获取该目标图像中目标像素点对应的目标像素点损失值。
具体可以再基于该神经网络模型获取该像素点对应的预测标签信息，然后根据该预测标签信息以及该调整后的标签图像的标签信息，获取该目标像素点损失值(即再获取特征图像，然后根据该特征图像与调整后的标签图像计算出目标像素点损失值)。
在一些实施例中，也可以不需要再经过该神经网络模型获取目标预测标签信息，而是根据目标像素点直接获取各个目标像素点之前已经计算出来的损失值，或者直接根据之前获取到的特征图像与调整后的标签图像计算出目标像素点损失值。
B、根据该目标像素点损失值对该神经网络模型进行反向传播训练。
当获取了需要反向传播的目标像素点的损失值之后，将根据该目标像素点损失值对该神经网络模型进行反向传播训练。
需要说明的是，损失值是根据正向传播获取得到的，目标像素点损失值是在反向传播之前得到的，正向传播的方向传输方向为：输入层-隐藏层-输出层，反向传播的传输方向为输出层-隐藏层-输入层；通过反向传播对损失值进行处理，更新该神经网络模型的网络参数，例如进行权值的更新，是的该神经网络的输出结果更加准确。
其中，本发明中的神经网络模型可以同时处理一批(包含多张多张)多标签训练图像，例如一批100张，具体数量可以根据该神经网络的能力而定，当该神经网络模型经过反向传播更新了网络参数之后，下一批训练图像将根据更新后的神经网络模型进行训练，不断迭代本发明中步骤101值步骤105的过程，直至收敛。
本发明实施例，获取多标签训练图像中像素点的损失值；获取该多标签训练图像的标签所对应的像素点数量；根据数量调整参数对该像素点数量进行调整，得到该标签的调整后像素点数量；根据该调整后像素点数量、以及该标签的像素点的损失值，从该像素点中确定目标像素点，根据目标像素点获取用于神经网络模型反向传播训练的目标图像；本方案可以调整各个标签中像素点的数量，并根据调整后的像素点数量以及各个标签中像素点的损失值从各个标签的像素点中确定目标像素点，在后续反向传播的过程中，只需要目标像素点参与反向传播，故可以提高模型的训练效率，而且使得各个标签之间的像素点个数更加平衡。
此外，需要说明的是，本发明中的图像处理方法可以添加到任意分割网络(神经网络模型)的损失函数中，且本发明中提供的图像处理方法可同时支持2D/3D数据分割；能够自适应找出分割中的难样本(即损失值比较大的像素点)，而且适用于具有多标签(即多分类)的分割。
在一实施例中，将从图像处理装置的角度进行描述，该图像处理装置具体可以集成在网络设备如终端或服务器等设备中，如图2所示，该脸部活体检测方法包括：
201、获取多标签训练图像及其对应的标签信息。
本实施中，首先需要获取该多标签训练图像，除了获取该多标签训练图像还需要获取与该多标签训练图像对应的标签信息，其中，该标签信息包含该多标签训练图像中所有像素点的标签，具体地，在实现过程中，该标签信息可以用标签图像(mask)表示。
该标签图像是经过缩放的标签图像，其图片大小与特征图像(featuremap)相对应，其中，特征图像为对该多标签训练图像经过神经网络模型的多次卷积后得到的图片。
202、基于神经网络模型获取该多标签训练图像中该像素点对应的预测标签信息。
即将该多标签训练图像输入该神经网络训练模型中，经过softmax，得到该多标签训练图像中每个像素点分别对应的预测标签信息，在实现过程中，该预测标签信息可以用特征图像来表示。
举个例子，假如是一个3分类问题(类别的标签用1，2，3表示)，假如预设标签＝[1，2，3]，那么像素点A经过softmax后就会得到[0.09，0.24，0.67]，这三个数字表示这个像素点属于第1，2，3类标签的概率值分别是0.09，0.24，0.67，即该预测标签信息为[0.09，0.24，0.67]。
其中，该预测标签信息中包括的信息也可以直接为分别根据概率值计算出来的损失值。
需要说明的是，本实施例中提及的神经网络模型是经过预训练的神经网络模型，其中，在预训练的时候，尚不需要采用本发明提供的图像处理方法进行训练，使得该神经网络模型具有一定的分类功能，其中，预训练的步骤为：获取多标签预训练图像；然后根据该多标签预训练图像对该神经网络模型进行预训练处理。
203、根据该预测标签信息以及该标签信息，获取该像素点的损失值。
即可以根据标签图像以及特征图像计算出每个像素点的损失值(loss)，具体地，将标签图像映射到该特征图像既可以计算得到每个像素点的损失值，该标签图像中的标签信息对该特征图像具有导向作用。
举个例子，依然是上面的三分类问题，根据该像素点A的标签信息得到该像素点的标签为[0，1，0]，也就是说像素点A的真实标签是2，即像素点A的概率为0.24，然后再根据这个概率计算损失值。
其中，若是预测标签信息中包含的就是损失值，那么可以就直接根据标签信息的导向找到真实的损失值，在这一步骤中就不用在根据概率值计算损失值了。
在一些实施例中，可以根据上述的标签图像以及特征图像形成标签特征图像，该标签特征图像中包含每个像素点的标签信息以及该像素点的损失值，然后根据该标签特征图像获取每个像素点的损失值。
其中，预测错比预测对的损失值要大，预测错得离谱比预测错得轻微的损失值要大，即损失值越大的像素点为越难训练的像素点，本发明的目的是为了找出难训练的难像素点。
204、获取该多标签训练图像的标签所对应的像素点数量。
本实施例中，多标签训练图像是不包含像素点的真实标签信息的，由于标签图像与该多标签训练图像相对应，即两个图像中包含的像素点的标签信息时一致的，而标签图像是包括每个像素点的标签信息的，故可以直接根据标签图像统计每个标签分别对应的像素点个数。
此外，在一些实施例中，多标签训练图像的标签所对应的像素点数量还可以是已知的，可以在训练的时候直接获取。
205、根据预设数量选择规则从标签对应的像素点数量中选择第一像素点数量和第二像素点数量。
当获取了各个标签分别对应的像素点数量之后，将会根据数量调整参数对各个标签中的像素点数量进行调整，减少多标签之间像素点不平衡带来的影响，首先根据预设数量选择规则从标签对应的像素点数量中选择第一像素点数量和第二像素点数量，其中，该第一像素点数量大于该第二像素点数量。
其中，该预设数量选择规则为从标签对应的像素点数量中选取像素点数量的最大值和最小值，其中，在本实施了中，第一像素点数量为标签中像素点数量最大的值，即最大像素点数量；第二像素点数量为标签中像素点数量最小的值，即最小像素点数量。
206、根据该第一像素点数量和该数量调节参数确定数量阈值。
其中，该数量调整参数可以是神经网络模型预置的，也可以是由用户输入的，该数量调整参数可以为一个期望比例，该期望比例为各个标签中的最大像素点数量与最小像素点数量的比值。
当确定了第一像素点数量之后，即确定了像素点数量的最大值之后，将会根据第一像素点数量和该数量调节参数确定数量阈值；
具体地，可以将第一像素点数量和数量调节参数的商确定为数量阈值。
207、根据该数量阈值、该第二像素点数量以及该像素点数量确定该调整后像素点数量。
具体地，若该数量阈值大于该第二像素点数量，则获取小样本标签的像素点数量总和，该小样本标签为像素点数量小于该数量阈值的标签；
然后根据该像素点数量总和，以及该数量调整参数确定该调整后像素点数量；
其中，若数量阈值不大于该第二像素点数量，即最小像素点数量不小于数量阈值时，则说明此时各个标签对应的像素点数量符合用户的期望比例，此时不对标签的像素点数量进行调整，结束当前程序。
其中，根据该像素点数量总和，以及该数量调整参数确定该调整后像素点数量具体包括：
a、若该像素点数量总和小于该数量阈值，则获取该像素点数量总和，以及该数量调整参数的乘积。
b、将该乘积确定为大样本标签的调整后像素点数量，该大样本标签为该像素点数量大于该数量阈值的标签。
c、将小样本标签对应的像素点数量确定为小样本标签调整后像素点数量，即小样本标签对应的像素点数量不变。
其中，在一些特殊情况中，如果该像素点数量总和大于该数量阈值，此时，各个标签对应的像素点数量可以不做调整。
举个例子，如果数量调整参数为3，标签0，1，2，3的像素点数量分别为2100，1000，150，50，则最大像素点数量为2100，最小像素点数量为50，数量阈值为2100/3＝700，最小像素点数量小于数量阈值，说明标签之间的像素点数量不符合用户的期望比例。此时150，50均小于700，150与50对应的标签2和3为小样本标签，此时计算小样本标签之和150+50＝200，200小于700，此时标签2和2为小样本标签，像素点数量不变，将大样本标签的像素点数量调整为小样本标签之和与调整参数的乘积，即将大样本标签的像素点数量调整为：200*3＝600，最后0，1，2，3四个标签对应的像素点数量分别为：600，600，150，50，即调整后像素点数量为600，600，150，50，最后根据调整后的像素点数量留下各个标签中loss较大的像素点，最后映射到标签图像上获得调整后的标签图像，再根据调整后的标签图像进行反向传播训练。
208、根据该调整后像素点数量、以及该标签的像素点的损失值确定该标签的损失阈值。
其中，可以对各个标签中分别对应的像素点的损失值进行排序，然后获取损失值较大的个数为调整后像素点数量的目标像素点，然后将目标像素点中损失值最小的值确定为损失阈值。
其中，每个标签分别对应一个损失阈值。
在一些实施例中，获取各个标签的损失阈值的关键伪代码可以如表1所示：
表1
209、将该像素点中损失值大于该损失阈值的像素点确定为目标像素点。
本实施例中，将各个标签中损失值大于损失阈值的像素点确定为需要参与反向传播的目标像素点。
即本实施例可以自适应找出需要参与反向传播的目标像素点。
在一些实施例中，为了在标签图像中确定需要参与反向传播的目标像素点(在标签图像中标记出不需要参与反向传播的非目标像素点即可，没有被标记的像素点即为需要参与反向传播的目标像素点)，可以修改标签图像的关键伪代码，如图2所示：
表2
210、根据该目标像素点获取用于神经网络模型反向传播训练的目标图像。
在一些实施例中，可以获取该标签中损失值小于该损失阈值的像素点的在标签图像中的位置信息，其中该位置信息可以为坐标信息；然后在该位置信息对应的位置上标记非目标像素点标签，最后将没有标记该非目标像素点标签的像素点确定为该目标像素点，即可获取调整后的标签图像(OHEM Label)，该调整后的目标图像即本实施例中的目标图像。
211、根据该目标图像对神经网络模型进行反向传播训练，得到训练后模型。
本实施例中，当获取到了需要参数反向传播的目标像素点之后，将根据该目标像素点对神经网络模型进行反向传播训练，具体为：
A、获取该目标图像中目标像素点对应的目标像素点损失值。
具体可以再基于该神经网络模型获取该像素点对应的预测标签信息，然后根据该预测标签信息以及该调整后的标签图像的标签信息，获取该目标像素点损失值(即再获取特征图像，然后根据该特征图像与调整后的标签图像计算出目标像素点损失值)。
在一些实施例中，也可以不需要再经过该神经网络模型获取目标预测标签信息，而是根据目标像素点直接获取各个目标像素点之前已经计算出来的损失值，或者直接根据之前获取到的特征图像与调整后的标签图像计算出目标像素点损失值。
B、根据该目标像素点损失值对该神经网络模型进行反向传播训练。
当获取了需要反向传播的目标像素点的损失值之后，将根据该目标像素点损失值对该神经网络模型进行反向传播训练。
需要说明的是，损失值是根据正向传播获取得到的，目标像素点损失值是在反向传播之前得到的，正向传播的方向传输方向为：输入层-隐藏层-输出层，反向传播的传输方向为输出层-隐藏层-输入层；通过反向传播对损失值进行处理，更新该神经网络模型的网络参数，例如进行权值的更新，是的该神经网络的输出结果更加准确。
其中，本发明中的神经网络模型可以同时处理一批(包含多张多张)多标签训练图像，例如一批100张，具体数量可以根据该神经网络的能力而定，当该神经网络模型经过反向传播更新了网络参数之后，下一批训练图像将根据更新后的神经网络模型进行训练，不断迭代本发明中步骤101值步骤105的过程，直至收敛。
本发明实施例，获取多标签训练图像中像素点的损失值；获取该多标签训练图像的标签所对应的像素点数量；根据数量调整参数对该像素点数量进行调整，得到该标签的调整后像素点数量；根据该调整后像素点数量、以及该标签的像素点的损失值，从该像素点中确定需要参与反向传播的目标像素点，根据目标像素点获取用于神经网络模型反向传播训练的目标图像；根据该目标图像对神经网络模型进行反向传播训练，得到训练后模型；本方案可以调整各个标签中像素点的数量，并根据调整后的像素点数量以及各个标签中像素点的损失值从各个标签的像素点中确定需要参与反向传播的目标像素点，由于不需要全部像素点参与反向传播训练，故可以提高模型的训练效率，而且使得各个标签之间的像素点个数更加平衡。
为了便于更好的实施本发明实施例提供的图像处理方法，在一实施例中还提供了一种图像处理装置。其中名词的含义与上述图像处理方法中相同，具体实现细节可以参考方法实施例中的说明。
在一实施例中，还提供了一种图像处理装置，该图像处理装置具体可以集成在网络设备如终端或服务器等设备中，如图3a所示，该脸部活体检测装置可以包括：第一获取单元301、第二获取单元302、调整单元303、确定单元304，第三获取单元305；
第一获取单元301，用于获取多标签训练图像中像素点的损失值；
第二获取单元302，用于获取该多标签训练图像的标签所对应的像素点数量；
调整单元303，用于根据数量调整参数对该像素点数量进行调整，得到该标签的调整后像素点数量；
确定单元304，用于根据该调整后像素点数量、以及该标签的像素点的损失值，从该像素点中确定目标像素点；
第三获取单元，用于根据所述目标像素点获取用于神经网络模型反向传播训练的目标图像。
在一些实施例中，参考图3b，该调整单元303包括：
选择子单元3031，用于根据预设数量选择规则从标签对应的像素点数量中选择第一像素点数量和第二像素点数量，该第一像素点数量大于该第二像素点数量；
第一确定子单元3032，用于根据该第一像素点数量和该数量调节参数确定数量阈值；
第二确定子单元3033，用于根据该数量阈值、该第二像素点数量以及该像素点数量确定该调整后像素点数量。
在一些实施例中，该第二确定子单元3033包括：
第一获取模块30331，用于当该数量阈值大于该第二像素点数量时，获取小样本标签的像素点数量总和，该小样本标签为像素点数量小于该数量阈值的标签；
确定模块30332，用于根据该像素点数量总和，以及该数量调整参数确定该调整后像素点数量。
在一些实施例中，该确定模块30332包括：
获取子模块303321，用于当该像素点数量总和小于该数量阈值时，获取该像素点数量总和，以及该数量调整参数的乘积；
确定子模块303322，用于将该乘积确定为大样本标签的调整后像素点数量，该大样本标签为该像素点数量大于该数量阈值的标签。
在一些实施例中，参考图3c，该确定单元3034包括：
第三确定子单元30341，用于根据该调整后像素点数量、以及该标签的像素点的损失值确定该标签的损失阈值；
第四确定子单元30342，用于将该像素点中损失值大于该损失阈值的像素点确定为该需要参与反向传播的目标像素点。
在一些实施例中，参考图3d，该第一获取单元301包括：
第一获取子单元3011，用于获取该多标签训练图像及其对应的标签信息；
第二获取子单元3112，用于基于神经网络模型获取该多标签训练图像中该像素点对应的预测标签信息；
第三获取子单元3013，用于根据该预测标签信息以及该标签信息，获取该像素点的损失值。
在一些实施例中，参考图3e，该装置还包括：
训练单元306，用于根据该目标像素点对神经网络模型进行反向传播训练，得到训练后模型。
在一些实施例中，参考图3f，该训练单元306包括：
第四获取子单元3061，用于获取该目标像素点对应的目标像素点损失值；
训练子单元3062，用于根据该目标像素点损失值对该神经网络模型进行反向传播训练。
在一些实施例中，该第四获取子单元3062包括：
第二获取模块30621，用于基于该神经网络模型获取与该像素点对应的预测标签信息；
第三获取模块30622，用于根据该预测标签信息以及与该述目标像素点对应的标签信息，获取该目标像素点损失值。
在一些实施例中，参考图3g，该装置还包括：
第四获取单元307，用于获取多标签预训练图像；
预训练单元308，用于根据该多标签预训练图像对该神经网络模型进行预训练处理。
本发明实施例，第一获取单元301获取多标签训练图像中像素点的损失值；第二获取单元302获取该多标签训练图像的标签所对应的像素点数量；调整单元303根据数量调整参数对该像素点数量进行调整，得到该标签的调整后像素点数量；确定单元304根据该调整后像素点数量、以及该标签的像素点的损失值，从该像素点中确定目标像素点；第三获取单元根据所述目标像素点获取用于神经网络模型反向传播训练的目标图像；本方案可以调整各个标签中像素点的数量，并根据调整后的像素点数量以及各个标签中像素点的损失值从各个标签的像素点中确定需要参与反向传播的目标像素点，只需要目标图像中的目标像素点参与反向传播，故可以提高模型的训练效率，而且使得各个标签之间的像素点个数更加平衡。
本发明实施例还提供一种网络设备，该网络设备可以为服务器或终端等设备。如图4所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：
该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
网络设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取多标签训练图像中像素点的损失值；获取该多标签训练图像的标签所对应的像素点数量；根据数量调整参数对该像素点数量进行调整，得到该标签的调整后像素点数量；根据该调整后像素点数量、以及该标签的像素点的损失值，从该像素点中确定目标像素点。
由上可知，本发明实施例，获取多标签训练图像中像素点的损失值；获取该多标签训练图像的标签所对应的像素点数量；根据数量调整参数对该像素点数量进行调整，得到该标签的调整后像素点数量；根据该调整后像素点数量、以及该标签的像素点的损失值，从该像素点中确定目标像素点，根据该目标像素点获取用于神经网络模型反向传播训练的目标图像；本方案可以调整各个标签中像素点的数量，并根据调整后的像素点数量以及各个标签中像素点的损失值从各个标签的像素点中确定目标像素点，在后续反向传播的过程中，只需要目标图像中的目标像素点参与反向传播，故可以提高模型的训练效率，而且使得各个标签之间的像素点个数更加平衡。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：
获取多标签训练图像中像素点的损失值；获取该多标签训练图像的标签所对应的像素点数量；根据数量调整参数对该像素点数量进行调整，得到该标签的调整后像素点数量；根据该调整后像素点数量、以及该标签的像素点的损失值，从该像素点中确定目标像素点，根据该目标像素点获取用于神经网络模型反向传播训练的目标图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像处理方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上该，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取多标签训练图像中像素点的损失值；
获取所述多标签训练图像的标签所对应的像素点数量；
根据数量调整参数对所述像素点数量进行调整，得到所述标签的调整后像素点数量；
根据所述调整后像素点数量、以及所述标签的像素点的损失值，从所述像素点中确定目标像素点；
根据所述目标像素点获取用于神经网络模型反向传播训练的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述根据数量调整参数对所述像素点数量进行调整，得到所述标签的调整后像素点数量包括：
根据预设数量选择规则从标签对应的像素点数量中选择第一像素点数量和第二像素点数量，所述第一像素点数量大于所述第二像素点数量；
根据所述第一像素点数量和所述数量调节参数确定数量阈值；
根据所述数量阈值、所述第二像素点数量以及所述像素点数量确定所述调整后像素点数量。
3.根据权利要求2所述的方法，其特征在于，所述根据所述数量阈值、所述第二像素点数量以及所述像素点数量确定所述调整后像素点数量包括：
若所述数量阈值大于所述第二像素点数量，则获取小样本标签的像素点数量总和，所述小样本标签为像素点数量小于所述数量阈值的标签；
根据所述像素点数量总和，以及所述数量调整参数确定所述调整后像素点数量。
4.根据权利要求3所述的方法，其特征在于，所述根据所述像素点数量总和，以及所述数量调整参数确定所述调整后像素点数量包括：
若所述像素点数量总和小于所述数量阈值，则获取所述像素点数量总和，以及所述数量调整参数的乘积；
将所述乘积确定为大样本标签的调整后像素点数量，所述大样本标签为所述像素点数量大于所述数量阈值的标签。
5.根据权利要求1所述的方法，其特征在于，所述根据所述调整后像素点数量、以及所述标签的像素点的损失值，从所述像素点中确定需要参与反向传播的目标像素点包括：
根据所述调整后像素点数量、以及所述标签的像素点的损失值确定所述标签的损失阈值；
将所述像素点中损失值大于所述损失阈值的像素点确定为所述需要参与反向传播的目标像素点。
6.根据权利要求1所述的方法，其特征在于，所述获取多标签训练图像中像素点的损失值包括：
获取所述多标签训练图像及其对应的标签信息；
基于所述神经网络模型获取所述多标签训练图像中所述像素点对应的预测标签信息；
根据所述预测标签信息以及所述标签信息，获取所述像素点的损失值。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：
获取多标签预训练图像；
根据所述多标签预训练图像对所述神经网络模型进行预训练处理。
8.一种图像处理装置，其特征在于，包括：
第一获取单元，用于获取多标签训练图像中像素点的损失值；
第二获取单元，用于获取所述多标签训练图像的标签所对应的像素点数量；
调整单元，用于根据数量调整参数对所述像素点数量进行调整，得到所述标签的调整后像素点数量；
确定单元，用于根据所述调整后像素点数量、以及所述标签的像素点的损失值，从所述像素点中确定目标像素点；
第三获取单元，用于根据所述目标像素点获取用于神经网络模型反向传播训练的目标图像。
9.根据权利要求8所述的装置，其特征在于，所述调整单元包括：
选择子单元，用于根据预设数量选择规则从标签对应的像素点数量中选择第一像素点数量和第二像素点数量，所述第一像素点数量大于所述第二像素点数量；
第一确定子单元，用于根据所述第一像素点数量和所述数量调节参数确定数量阈值；
第二确定子单元，用于根据所述数量阈值、所述第二像素点数量以及所述像素点数量确定所述调整后像素点数量。
10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811282814.3A CN109409432B (zh) | 2018-10-31 | 2018-10-31 | 一种图像处理方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811282814.3A CN109409432B (zh) | 2018-10-31 | 2018-10-31 | 一种图像处理方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109409432A true CN109409432A (zh) | 2019-03-01 |
| CN109409432B CN109409432B (zh) | 2019-11-26 |
Family
ID=65470283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811282814.3A Active CN109409432B (zh) | 2018-10-31 | 2018-10-31 | 一种图像处理方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109409432B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807486A (zh) * | 2019-10-31 | 2020-02-18 | 北京达佳互联信息技术有限公司 | 类别标签的生成方法、装置、电子设备及存储介质 |
| CN110969627A (zh) * | 2019-11-29 | 2020-04-07 | 北京达佳互联信息技术有限公司 | 图像处理方法及装置 |
| CN113033689A (zh) * | 2021-04-07 | 2021-06-25 | 新疆爱华盈通信息技术有限公司 | 图像分类方法、装置、电子设备及存储介质 |
| US11562171B2 (en) | 2018-12-21 | 2023-01-24 | Osaro | Instance segmentation by instance label factorization |
| CN116912201A (zh) * | 2023-07-13 | 2023-10-20 | 上海频准激光科技有限公司 | 一种光纤熔接质量预测系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6917703B1 (en) * | 2001-02-28 | 2005-07-12 | Nevengineering, Inc. | Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network |
| CN102509120A (zh) * | 2011-11-04 | 2012-06-20 | 西安电子科技大学 | 基于迁移字典学习的高光谱图像的有监督分割方法 |
| US20140072242A1 (en) * | 2012-09-10 | 2014-03-13 | Hao Wei | Method for increasing image resolution |
| CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
| CN107844751A (zh) * | 2017-10-19 | 2018-03-27 | 陕西师范大学 | 引导滤波长短记忆神经网络高光谱遥感图像的分类方法 |
| CN107909120A (zh) * | 2017-12-28 | 2018-04-13 | 南京理工大学 | 基于互斥性标签k‑svd及多尺度稀疏的高光谱图像分类方法 |
| CN108010049A (zh) * | 2017-11-09 | 2018-05-08 | 华南理工大学 | 使用全卷积神经网络分割定格动画中人手部区域的方法 |
| CN108062543A (zh) * | 2018-01-16 | 2018-05-22 | 中车工业研究院有限公司 | 一种面部识别方法及装置 |
| WO2018138104A1 (en) * | 2017-01-27 | 2018-08-02 | Agfa Healthcare | Multi-class image segmentation method |
| CN108470320A (zh) * | 2018-02-24 | 2018-08-31 | 中山大学 | 一种基于cnn的图像风格化方法及系统 |
| CN108520522A (zh) * | 2017-12-31 | 2018-09-11 | 南京航空航天大学 | 基于深度全卷积神经网络的视网膜眼底图像分割方法 |
| CN108717547A (zh) * | 2018-03-30 | 2018-10-30 | 国信优易数据有限公司 | 样本数据生成方法及装置、训练模型的方法及装置 |
-
2018
- 2018-10-31 CN CN201811282814.3A patent/CN109409432B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6917703B1 (en) * | 2001-02-28 | 2005-07-12 | Nevengineering, Inc. | Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network |
| CN102509120A (zh) * | 2011-11-04 | 2012-06-20 | 西安电子科技大学 | 基于迁移字典学习的高光谱图像的有监督分割方法 |
| US20140072242A1 (en) * | 2012-09-10 | 2014-03-13 | Hao Wei | Method for increasing image resolution |
| WO2018138104A1 (en) * | 2017-01-27 | 2018-08-02 | Agfa Healthcare | Multi-class image segmentation method |
| CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
| CN107844751A (zh) * | 2017-10-19 | 2018-03-27 | 陕西师范大学 | 引导滤波长短记忆神经网络高光谱遥感图像的分类方法 |
| CN108010049A (zh) * | 2017-11-09 | 2018-05-08 | 华南理工大学 | 使用全卷积神经网络分割定格动画中人手部区域的方法 |
| CN107909120A (zh) * | 2017-12-28 | 2018-04-13 | 南京理工大学 | 基于互斥性标签k‑svd及多尺度稀疏的高光谱图像分类方法 |
| CN108520522A (zh) * | 2017-12-31 | 2018-09-11 | 南京航空航天大学 | 基于深度全卷积神经网络的视网膜眼底图像分割方法 |
| CN108062543A (zh) * | 2018-01-16 | 2018-05-22 | 中车工业研究院有限公司 | 一种面部识别方法及装置 |
| CN108470320A (zh) * | 2018-02-24 | 2018-08-31 | 中山大学 | 一种基于cnn的图像风格化方法及系统 |
| CN108717547A (zh) * | 2018-03-30 | 2018-10-30 | 国信优易数据有限公司 | 样本数据生成方法及装置、训练模型的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 曲佳: "基于卷积特征的非平衡人群密度估计方法", 《计算机科学》 * |
| 许贺楠 等: "K聚类加权最小二乘支持向量机在分类中的应用", 《华东理工大学学报(自然科学版)》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11562171B2 (en) | 2018-12-21 | 2023-01-24 | Osaro | Instance segmentation by instance label factorization |
| CN110807486A (zh) * | 2019-10-31 | 2020-02-18 | 北京达佳互联信息技术有限公司 | 类别标签的生成方法、装置、电子设备及存储介质 |
| CN110969627A (zh) * | 2019-11-29 | 2020-04-07 | 北京达佳互联信息技术有限公司 | 图像处理方法及装置 |
| CN110969627B (zh) * | 2019-11-29 | 2024-03-29 | 北京达佳互联信息技术有限公司 | 图像分割模型训练方法、图像处理方法及装置 |
| CN113033689A (zh) * | 2021-04-07 | 2021-06-25 | 新疆爱华盈通信息技术有限公司 | 图像分类方法、装置、电子设备及存储介质 |
| CN116912201A (zh) * | 2023-07-13 | 2023-10-20 | 上海频准激光科技有限公司 | 一种光纤熔接质量预测系统 |
| CN116912201B (zh) * | 2023-07-13 | 2024-03-08 | 上海频准激光科技有限公司 | 一种光纤熔接质量预测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109409432B (zh) | 2019-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109409432B (zh) | 一种图像处理方法、装置和存储介质 | |
| US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
| US11861829B2 (en) | Deep learning based medical image detection method and related device | |
| CN108833458B (zh) | 一种应用推荐方法、装置、介质及设备 | |
| CN110378338A (zh) | 一种文本识别方法、装置、电子设备和存储介质 | |
| CN108197532A (zh) | 人脸识别的方法、装置及计算机装置 | |
| Banić et al. | Smart light random memory sprays Retinex: a fast Retinex implementation for high-quality brightness adjustment and color correction | |
| CN110889446A (zh) | 人脸图像识别模型训练及人脸图像识别方法和装置 | |
| CN108596904A (zh) | 生成定位模型的方法及对脊柱矢状位图像进行处理的方法 | |
| CN109558902A (zh) | 一种快速目标检测方法 | |
| CN110009628A (zh) | 一种针对连续二维图像中多形态目标的自动检测方法 | |
| CN108765340A (zh) | 模糊图像处理方法、装置及终端设备 | |
| CN115409755B (zh) | 贴图处理方法和装置、存储介质及电子设备 | |
| CN110147833B (zh) | 人像处理方法、装置、系统和可读存储介质 | |
| CN111144215A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113240778A (zh) | 虚拟形象的生成方法、装置、电子设备和存储介质 | |
| EP4035062A1 (en) | Image analysis in pathology | |
| CN110069699A (zh) | 排序模型训练方法和装置 | |
| CN106446223A (zh) | 地图数据的处理方法和装置 | |
| CN111199540A (zh) | 图像质量评价方法、装置、电子设备及存储介质 | |
| Ma et al. | Study of subjective and objective quality assessment of retargeted images | |
| WO2024109859A1 (zh) | 一种肿瘤基因突变分类方法、装置、电子设备及存储介质 | |
| Quan et al. | Slide-sam: Medical sam meets sliding window | |
| CN109919433A (zh) | 订单信息生成方法、装置及计算机设备 | |
| CN104156949B (zh) | 一种基于特征扩散的ct图像肿瘤组织提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230625 Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd. Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |
|
| TR01 | Transfer of patent right |