CN107545571A - 一种图像检测方法及装置 - Google Patents
一种图像检测方法及装置 Download PDFInfo
- Publication number
- CN107545571A CN107545571A CN201710864947.0A CN201710864947A CN107545571A CN 107545571 A CN107545571 A CN 107545571A CN 201710864947 A CN201710864947 A CN 201710864947A CN 107545571 A CN107545571 A CN 107545571A
- Authority
- CN
- China
- Prior art keywords
- image
- result image
- setting
- testing result
- cross entropy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种图像检测方法及装置。一种图像检测方法,包括:获取待检测图像;利用设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像;利用由循环卷积神经网络实现的条件随机场模型,对所述第一检测结果图像进行检测处理,得到第二检测结果图像;输出所述第二检测结果图像。采用上述方法及装置,能够提高图像检测准确度。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像检测方法及装置。
背景技术
图像是日常生活中信息的最大载体之一,对于图像信息的自动获取是图像处理、机器视觉以及模式识别中的基本研究方向。图像检测是指识别图像中感兴趣区域,是对图像进行进一步处理的基础。
目前,图像检测方法大多分为传统方法和深度学习方法。其中,基于卷积神经网络的深度学习图像分割方法是一种常用的图像检测方法,该方法通过上下采样层的融合从图像中分割出感兴趣区域,达到图像检测目的。卷积神经网络能够对图像进行多分辨滤波处理,提取图像特征,实现像素级的图像分割,但是卷积神经网络容易忽略细小物体或物体的微小结构,容易导致漏检或误判。
发明内容
基于上述现有技术的缺陷和不足,本发明提出一种图像检测方法及装置,能够提高图像检测准确率。
一种图像检测方法,包括:
获取待检测图像;
利用设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像;
利用由循环卷积神经网络实现的条件随机场模型,对所述第一检测结果图像进行检测处理,得到第二检测结果图像;
输出所述第二检测结果图像。
优选地,所述由循环卷积神经网络实现的条件随机场模型对所述第一检测结果图像进行检测处理,得到第二检测结果图像,包括:
对所述第一检测结果图像进行预设的条件随机场函数运算处理,得到预测结果图像;
根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值;
判断所述交叉熵目标函数的值是否满足预设要求;
如果所述交叉熵目标函数的值不满足预设要求,则重复执行以下过程,直到计算得到的交叉熵目标函数的值满足预设要求:
根据所述梯度值调整所述设定的卷积神经网络和所述条件随机场函数运算的参数;
利用调整参数后的所述设定的卷积神经网络和所述条件随机场函数运算,分别从所述待检测图像中检测得到第一检测结果图像和预测结果图像;
根据检测得到的第一检测结果图像、预测结果图像和设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值;
当计算得到的交叉熵目标函数的值满足预设要求时,将检测得到的预测结果图像设定为第二检测结果图像。
优选地,所述根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值,包括:
根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,分别计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失;
计算所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失的加权和,得到交叉熵目标函数;
将所述交叉熵目标函数对所述卷积神经网络及所述条件随机场函数运算的参数进行求导处理,得到所述交叉熵目标函数的梯度值。
优选地,所述根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,分别计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失,包括:
对设定的标准预测图像进行高斯滤波处理;
将所述第一检测结果图像和所述预测结果图像,分别与高斯滤波处理后的所述设定的标准预测图像进行对比,计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失。
优选地,所述利用设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像,包括:
对所述待检测图像进行设定的预处理;
将预处理后的所述待检测图像输入设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像。
一种图像检测装置,包括:
图像获取单元,用于获取待检测图像;
第一检测单元,用于利用设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像;
第二检测单元,用于利用由循环卷积神经网络实现的条件随机场模型,对所述第一检测结果图像进行检测处理,得到第二检测结果图像;
图像输出单元,用于输出所述第二检测结果图像。
优选地,所述由循环卷积神经网络实现的条件随机场模型对所述第一检测结果图像进行检测处理,得到第二检测结果图像时,具体用于:
对所述第一检测结果图像进行预设的条件随机场函数运算处理,得到预测结果图像;
根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值;
判断所述交叉熵目标函数的值是否满足预设要求;
如果所述交叉熵目标函数的值不满足预设要求,则重复执行以下过程,直到计算得到的交叉熵目标函数的值满足预设要求:
根据所述梯度值调整所述设定的卷积神经网络和所述条件随机场函数运算的参数;
利用调整参数后的所述设定的卷积神经网络和所述条件随机场函数运算,分别从所述待检测图像中检测得到第一检测结果图像和预测结果图像;
根据检测得到的第一检测结果图像、预测结果图像和设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值;
当计算得到的交叉熵目标函数的值满足预设要求时,将检测得到的预测结果图像设定为第二检测结果图像。
优选地,所述由循环卷积神经网络实现的条件随机场模型根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值时,具体用于:
根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,分别计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失;
计算所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失的加权和,得到交叉熵目标函数;
将所述交叉熵目标函数对所述卷积神经网络及所述条件随机场函数运算的参数进行求导处理,得到所述交叉熵目标函数的梯度值。
优选地,所述由循环卷积神经网络实现的条件随机场模型根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,分别计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失时,具体用于:
对设定的标准预测图像进行高斯滤波处理;
将所述第一检测结果图像和所述预测结果图像,分别与高斯滤波处理后的所述设定的标准预测图像进行对比,计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失。
优选地,所述第一检测单元,包括:
预处理单元,用于对所述待检测图像进行设定的预处理;
分割处理单元,用于将预处理后的所述待检测图像输入设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像。
采用本发明提出的图像检测方法,先利用设定的卷积神经网络对待检测图像进行分割处理得到第一检测结果图像,然后再利用由循环卷积神经网络实现的条件随机场对第一检测结果图像进行进一步的图像检测处理,得到最终输出的第二检测结果图像。上述过程利用条件随机场对卷积神经网络的图像检测结果进行进一步检测,弥补了卷积神经网络容易忽略细小物体或物体的微小结构的不足,提高了图像检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本发明实施例提供的一种图像检测方法的流程示意图;
图2是本发明实施例提供的另一种图像检测方法的流程示意图;
图3是本发明实施例提供的一种图像检测装置的结构示意图;
图4是本发明实施例提供的另一种图像检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种图像检测方法,参见图1所示,该方法包括:
S101、获取待检测图像;
具体的,本发明实施例可以是任意形式的数字图像,包括灰度图像、彩色图像等。
S102、利用设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像;
具体的,上述设定的卷积神经网络,是指选择具体的卷积神经网络类型,并且设置所选择的卷积神经网络的参数后的卷积神经网络,例如设置好参数的全卷积神经网络等。
上述设定的卷积神经网络用于对获取的待检测图像进行图像分割处理,其具体的分割过程可以概括为:卷积神经网络从待检测图像中识别到感兴趣图像区域的像素点,将识别的像素点进行特殊标记,达到从待检测图像中分割出,也就是检测出感兴趣区域的目的。
需要说明的是,在上述分割处理过程中,还可以视需求对待检测图像先进行预处理,然后再对预处理后的待检测图像极性分割处理。例如,当S101所获取的待检测图像为彩色图像时,首先将彩色图像转化为灰度图像,再进行检测处理;以及对待检测图像进行去噪处理等。
S103、利用由循环卷积神经网络实现的条件随机场模型,对所述第一检测结果图像进行检测处理,得到第二检测结果图像;
具体的,条件随机场(Conditional Random Fields,CRF)是一种统计学习模型,其中三维网格形成无向图模型G=(V,E),顶点集V为所有格点集,边集E为所有相邻边集,每个顶点与6个相邻顶点相连。基于图G的马尔可夫随机场P(Y|X)建立在X和Y的Gibbs能量函数上。Gibbs能量由一元势能量和二元势能量组成。一元势能量描述X与Y的互信息关系,二元势能量表示Y集合中的邻域能量,是无向图模型中极大团结构特征的一种体现。条件随机场通过极小化能量函数求解最佳场函数,获得最大后验概率。条件随机场可以推广至高阶能量和广义模糊条件随机场。高阶CRF模型中考察多元势能量,广义模糊CRF模型对图像和能量势做模糊变换。这两种推广进一步发展了CRF空间结构和图像色彩分布,从而增强CRF在特征提取和图像处理上的功效。
条件随机场的求解方法有条件迭代算法,EM算法,平均场近似算法等。其中平均场近似算法用卷积神经网络的形式表示,转化为深度学习方法求解。条件随机场与卷积神经网络的结合,相互补充,能够更好地提取图像局部信息和全局信息,提高物体识别分割的准确率和训练速度,自动化程度高。
基于上述介绍,上述由循环卷积神经网络实现的条件随机场模型即为用循环卷积神经网络形式表示的条件随机场模型,本发明实施例采用由循环卷积神经网络实现的条件随机场模型,从步骤S102中得到的第一检测结果图像中进一步检测感兴趣区域图像,得到第二检测结果图像。
由于条件随机场与卷积神经网络的结合,两者相互补充,可以更好地提取图像局部信息和全局信息,提高物体识别分割的准确率和训练速度,因此,本发明实施例利用由循环卷积神经网络实现的条件随机场对步骤S102中检测得到的第一检测结果图像进行更进一步的检测处理,可以弥补仅仅使用设定的卷积神经网络对图像进行分割处理带来的对微小物体或物体的微小结果的忽略,使得对图像的检测更准确。
S104、输出所述第二检测结果图像。
具体的,经过步骤S102和步骤S103,将最终得到的第二检测结果图像作为图像检测结果输出。
采用本发明实施例提出的图像检测方法,先利用设定的卷积神经网络对待检测图像进行分割处理得到第一检测结果图像,然后再利用由循环卷积神经网络实现的条件随机场对第一检测结果图像进行进一步的图像检测处理,得到最终输出的第二检测结果图像。上述过程利用条件随机场对卷积神经网络的图像检测结果进行进一步检测,弥补了卷积神经网络容易忽略细小物体或物体的微小结构的不足,提高了图像检测准确率。
本发明另一实施例公开了上述图像检测方法的具体实施过程,参见图2所示,本发明实施例公开的图像检测方法具体包括:
S201、获取待检测图像;
具体的,本发明实施例可以是任意形式的数字图像,包括灰度图像、彩色图像等。
S202、对获取的待检测图像进行设定的预处理;
具体的,上述设定的预处理,是指对待检测图像进行分辨率归一化处理,色彩阈值处理,直方图归一化处理等。具体的处理方法可采用本领域常用的图像处理方法,本发明实施例不再赘述。
S203、将预处理后的待检测图像输入设定的卷积神经网络,对上述待检测图像进行分割处理,得到第一检测结果图像;
具体的,卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网络由多个卷积层构成,每个卷积层中通常会包括卷积操作、非线性激活函数处理以及池化操作。在卷积神经网络中,第一个卷积层会直接接受图像像素级的输入,而后的每一层卷积都会提取上层输出中最有效的特征。这使得卷积神经网络可以提取图像的基础特征,并通过组合和抽象形成更高阶的特征,因此CNN具有对图像缩放、平移和旋转的不变性。
卷积神经网络的主要特点是局部连接、权值共享和降采样。其中局部连接和权值共享有效降低了参数量,避免了过拟合。权值共享还给网络提供了对平移的适应能力。降采样降低了网络的输出参数量,提高了网络的泛化能力。
常见的卷积神经网络的有Vgg网络,Inception网络,Resnet网络等。这些经典的网络对深度学习有非常大的推动作用。在本发明实施例中,可以根据实际需求灵活选定卷积神经网络类型,并且设置卷积神经网络的参数,即设置特定的卷积神经网络,借助该特定的卷积神经网络对待检测图像进行图像分割处理,即从待检测图像中识别感兴趣区域并进行特殊标注,得到第一检测结果图像,达到检测感兴趣区域的目的。
需要说明的是,上述第一检测结果图像,是概率图像,即标注每一像素属于感兴趣区域像素的概率的图像。
S204、对得到的第一检测结果图像进行预设的条件随机场函数运算处理,得到预测结果图像;
具体的,条件随机场的神经网络实现通过反向传递优化迭代参数,得到最佳解。采用卷积网络的预测结果作为条件随机场的输入,即预处理,简化了条件随机场的循环步数。卷积网络和条件随机场的联合训练融合了各自的优点,使影像分割更加准确,检测更精确。
基于上述介绍,本发明实施例采用由循环卷积神经网络实现的条件随机场模型,对第一检测结果图像进行检测识别。具体的检测识别过程,即对第一检测结果图像进行预设的条件随机场函数运算处理,得到检测结果,也就是预测结果图像。该预测结果图像同样为概率图像。上述预设的条件随机场函数运算处理,具体是指按照预设的参数,对第一检测结果图像进行条件随机场函数运算,从中检测到感兴趣区域。
需要说明的是,上述由循环卷积神经网络实现条件随机场,是本领域已公开的实现条件随机场的方法,本发明实施例应用本领域已公开的由循环卷积神经网络实现条件随机场的方法,进而实现对图像进行条件随机场运算处理。其中,具体的实现过程包括:计算初始负能量;进行高斯核函数处理;进行加权滤波处理;进行融合转换、一元函数处理及归一化处理。
其中,已公开的高斯核函数处理涉及邻域选择,可以选择对像素的6邻域、18邻域、26邻域等像素进行高斯核函数处理,在本发明实施例中,经过试验,选择18邻域条件随机场的图像处理效果更好,因此将18邻域条件随机场核函数处理设定为优选处理方法。
S205、对设定的标准预测图像进行高斯滤波处理;
具体的,上述设定的标准预测图像,又称标签图像,是指已经标识出感兴趣区域的图像,该图像用于作为卷积神经网络和条件随机场评价预测准确度的标准。
语义分割中使用的标签图像是一副二值图像,值为1的区域表示感兴趣区域,值为0的区域表示非感兴趣区域,感兴趣区域的边缘梯度值很大,容易出现振铃效应。采用高斯滤波函数平滑原始标签图像,新生成的图像保持感兴趣区域的值为1,平滑感兴趣区域边缘灰度值变化,感兴趣区域外部区域保持值为0。滤波处理减小了感兴趣区域边缘标签图像的梯度,减轻了最优化计算可能出现的波动现象。
需要说明的是,上述对标准预测图像进行高斯滤波处理,是当初次使用标准预测图像时,对要使用的标准预测图像进行高斯滤波处理。当后期需要计算图像检测模型的交叉熵损失时,在已经对标准预测图像进行过高斯滤波处理的基础上,可以跳过步骤S205。
S206、将第一检测结果图像和所述预测结果图像,分别与高斯滤波处理后的设定的标准预测图像进行对比,计算得到设定的卷积神经网络的交叉熵损失,以及条件随机场函数运算的交叉熵损失;
具体的,上述交叉熵损失,是指模型预测结果与标准检测结果的差异程度。本发明实施例计算第一检测结果图像与标准预测图像的差异程度,得到卷积神经网络的交叉熵损失;计算预测结果图像与标准预测图像的差异程度,得到条件随机场函数运算的交叉熵损失。
S207、计算卷积神经网络的交叉熵损失,以及条件随机场函数运算的交叉熵损失的加权和,得到交叉熵目标函数;
S208、将得到的交叉熵目标函数对设定的卷积神经网络及条件随机场函数运算的参数进行求导处理,得到交叉熵目标函数的梯度值;
具体的,上述交叉熵目标函数表示本发明实施例采用设定的卷积神经网络及条件随机场组成的图像检测模型的总的预测结果与标准检测结果的差异函数。将该函数对卷积神经网络和条件随机场参数进行求导,得到交叉熵目标函数的梯度值,该梯度值可用于逆向修正卷积神经网络和条件随机场的参数,使卷积神经网络和条件随机场的预测结果与标准预测结果更相近,即提高卷积神经网络和条件随机场的预测准确度。
S209、判断计算得到的交叉熵目标函数的值是否满足预设要求;
具体的,上述满足预设要求是指交叉熵目标函数的值是否小于预设值,当交叉熵目标函数的值小于预设值时,可以认为图像检测准确度到达设定值,即图像预测足够精确。
如果计算得到的交叉熵目标函数的值不满足预设要求,则执行步骤S210、根据计算得到的梯度值调整设定的卷积神经网络和条件随机场函数运算的参数;
具体的,卷积神经网络和由循环卷积神经网络实现的条件随机场,具有学习能力,即可以根据预测结果调整自身参数,使预测结果更准确。
返回重复执行步骤S202~S210,直到在执行步骤S209时判断计算得到的交叉熵目标函数的值满足预设要求,此时,执行步骤S211、将检测得到的预测结果设定为第二检测结果图像;
具体的,本发明实施例重复执行步骤S202~S210,实现了基于卷积神经网络和由循环卷积神经网络实现的条件随机场模型的前向预测和反馈过程,最终,基于卷积神经网络和由循环卷积神经网络实现的条件随机场构成的图像检测模型的预测精度不断提升,得到满足精度要求的图像检测结果。
212、输出第二检测结果图像,以及卷积神经网络和由循环卷积神经网络实现的条件随机场构成的图像检测模型。
具体的,本发明实施例在输出最终的图像检测结果的同时,还输出经过不断前向预测和反馈得到的,能够以符合要求的精度从待检测图像中检测到感兴趣区域的图像检测模型,具体是指输出卷积神经网络和由循环卷积神经网络实现的条件随机场构成的图像检测模型的参数信息。
为了实际验证本发明实施例提出的图像检测方法的检测效果,本发明实施例以从肺部CT图像中检测肺结节为例,对本发明实施例提出的图像检测方法进行实际应用与验证,并与现有的图像检测方法进行对比,研究本发明实施例技术方案的性能。具体试验过程如下:
首先,获取待检测的肺部CT图像,并对获取的肺部CT图像进行预处理;
然后,将预处理后的肺部CT图像输入设定的卷积神经网络进行分割处理,得到第一肺结节图像。针对肺结节检测,我们选用设置特定参数的卷积神经网络,实现多分辨、多模式特征提取,进而实现对肺部CT图像的分割,检测肺部CT图像中的肺结节区域,得到第一肺结节图像。
其次,将得到的第一肺结节图像输入由循环卷积神经网络实现的条件随机场,进行更进一步的检测处理,得到第二肺结节图像,具体包括:
(1)按照下式确定第一肺结节图像的初始负能量:
其中,Ui为像素i的初始负能量;ψu(Xi=l)表示像素i属于标签Xi的代价;l表示不同的标签,像素属于肺结节则标签为1,否则为0;Qi(l)表示条件随机场预测;Zi为中间变量。
该操作等价于在卷积神经网络中对一元势函数进行Softmax归一化操作。
(2)按照下式进行核函数处理:
其中,k(fi,fj)是高斯核,fi、fj是像素i和像素j在特征空间中的特征向量,pi、pj是像素i和像素j的位置坐标,Ii、Ij是像素i和像素j的灰度值,θα、θβ和θγ是衡量像素邻近程度、相似程度和平滑程度的参数,w(1)、w(2)是线性相加的权重。
在三维格点模型中,每个元素的邻域有6邻域,18邻域以及26邻域等选择。本发明对每个顶点的邻域依到中心点的距离做高斯滤波处理,形成高斯邻域核函数。
在本发明实施例中,可灵活设定所选条件随机场邻域数量,本发明实施例分别设定不同数量邻域的条件随机场,结合卷积网络,分别对第一肺结节图像进行后续的肺结节检测处理,试验所选择邻域数量对图像预测结果的影响,结果如表1所示:
表1
从试验结果可以看出,在相同参数,相同迭代步数下,相同卷积网后接条件随机场对训练结果有明显提高,目标函数值下降更快,负样本像素识别率提升明显;18邻域核函数的预测精度高于6邻域核函数的预测。这个试验说明了高斯邻域核函数条件随机场深度学习方法的计算精确性。
事实上,经过大量试验,本发明实施例发现采用18邻域条件随机场对图像进行检测的效果最好,因此,本发明实施例采用18邻域核函数构成条件随机场,对第一肺结节图像进行核函数处理。
(3)按照下式进行加权滤波处理:
其中,w(m)是线性相加的权重。
该操作等价于一个M通道的输入卷积一个1*1的滤波器,得到一个单通道的输出。
(4)按照下式进行融合转换:
其中,μ(l,l′)是描述标签l、l′之间融合程度的函数。
该操作也等价于输入卷积一个1*1的滤波器,卷积的输入输出均为L通道。
(5)按照下式处理一元势函数:
(6)按照下式进行归一化处理:
该操作等价于在卷积神经网络中进行一次Softmax归一处理。
经过上述各步骤的处理,可以得到在第一肺结节图像的基础上,利用条件随机场检测得到的第二肺结节图像。
之后,按照步骤S205~S208,将第一肺结节图像和第二肺结节图像分别与经过高斯滤波处理的标准预测图像进行对比,分别得到卷积神经网络和条件随机场的交叉熵损失,以及得到整个网络的交叉熵目标函数和交叉熵目标函数的梯度值;
判断交叉熵目标函数的值是否满足预设要求,如果不满足,则利用梯度值调整卷积神经网络和条件随机场的参数,然后重新利用调整参数后的卷积神经网络和条件随机场从待检测肺部CT图像中检测肺结节;
重复执行上述调整参数和重新检测过程,直到计算得到的交叉熵目标函数的值满足预设要求,此时,输出由条件随机场检测得到的第二肺结节图像,并且输出多次调整参数后的,由卷积神经网络和条件随机场构成的检测模型的参数信息。
在上述图像检测过程中,对标准预测图像进行了高斯滤波处理。本发明实施例同样利用试验验证了对标准预测图像进行高斯滤波处理的有益效果。试验数据参见表2所示:
表2
通过表2数据对比可见,在条件随机场网络中,对标准预测图像,即标签图像,进行高斯滤波处理后,目标函数对负样本的识别率明显提高,图像预测精度高于原始目标函数。由此可见,高斯滤波处理有效缓解了标签的高频分量对条件随机场深度学习语义分割算法的影响。
图3是本发明实施例公开的一种图像检测装置的结构示意图,该装置包括:
图像获取单元301,用于获取待检测图像;第一检测单元302,用于利用设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像;第二检测单元303,用于利用由循环卷积神经网络实现的条件随机场模型,对所述第一检测结果图像进行检测处理,得到第二检测结果图像;图像输出单元304,用于输出所述第二检测结果图像。
具体的,上述各个单元的具体工作内容,请参见上述方法实施例的内容,此处不再赘述。
可选的,在本发明的另一个实施例中,参见图4所示,第一加测单元302包括:
预处理单元3021,用于对所述待检测图像进行设定的预处理;分割处理单元3022,用于将预处理后的所述待检测图像输入设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像。
具体的,上述各个单元的具体工作内容,请参见上述方法实施例的内容,此处不再赘述。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像检测方法,其特征在于,包括:
获取待检测图像;
利用设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像;
利用由循环卷积神经网络实现的条件随机场模型,对所述第一检测结果图像进行检测处理,得到第二检测结果图像;
输出所述第二检测结果图像。
2.根据权利要求1所述的方法,其特征在于,所述由循环卷积神经网络实现的条件随机场模型对所述第一检测结果图像进行检测处理,得到第二检测结果图像,包括:
对所述第一检测结果图像进行预设的条件随机场函数运算处理,得到预测结果图像;
根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值;
判断所述交叉熵目标函数的值是否满足预设要求;
如果所述交叉熵目标函数的值不满足预设要求,则重复执行以下过程,直到计算得到的交叉熵目标函数的值满足预设要求:
根据所述梯度值调整所述设定的卷积神经网络和所述条件随机场函数运算的参数;
利用调整参数后的所述设定的卷积神经网络和所述条件随机场函数运算,分别从所述待检测图像中检测得到第一检测结果图像和预测结果图像;
根据检测得到的第一检测结果图像、预测结果图像和设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值;
当计算得到的交叉熵目标函数的值满足预设要求时,将检测得到的预测结果图像设定为第二检测结果图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值,包括:
根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,分别计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失;
计算所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失的加权和,得到交叉熵目标函数;
将所述交叉熵目标函数对所述卷积神经网络及所述条件随机场函数运算的参数进行求导处理,得到所述交叉熵目标函数的梯度值。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,分别计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失,包括:
对设定的标准预测图像进行高斯滤波处理;
将所述第一检测结果图像和所述预测结果图像,分别与高斯滤波处理后的所述设定的标准预测图像进行对比,计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失。
5.根据权利要求1所述的方法,其特征在于,所述利用设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像,包括:
对所述待检测图像进行设定的预处理;
将预处理后的所述待检测图像输入设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像。
6.一种图像检测装置,其特征在于,包括:
图像获取单元,用于获取待检测图像;
第一检测单元,用于利用设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像;
第二检测单元,用于利用由循环卷积神经网络实现的条件随机场模型,对所述第一检测结果图像进行检测处理,得到第二检测结果图像;
图像输出单元,用于输出所述第二检测结果图像。
7.根据权利要求6所述的装置,其特征在于,所述由循环卷积神经网络实现的条件随机场模型对所述第一检测结果图像进行检测处理,得到第二检测结果图像时,具体用于:
对所述第一检测结果图像进行预设的条件随机场函数运算处理,得到预测结果图像;
根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值;
判断所述交叉熵目标函数的值是否满足预设要求;
如果所述交叉熵目标函数的值不满足预设要求,则重复执行以下过程,直到计算得到的交叉熵目标函数的值满足预设要求:
根据所述梯度值调整所述设定的卷积神经网络和所述条件随机场函数运算的参数;
利用调整参数后的所述设定的卷积神经网络和所述条件随机场函数运算,分别从所述待检测图像中检测得到第一检测结果图像和预测结果图像;
根据检测得到的第一检测结果图像、预测结果图像和设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值;
当计算得到的交叉熵目标函数的值满足预设要求时,将检测得到的预测结果图像设定为第二检测结果图像。
8.根据权利要求7所述的装置,其特征在于,所述由循环卷积神经网络实现的条件随机场模型根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,计算得到交叉熵目标函数,以及所述交叉熵目标函数的梯度值时,具体用于:
根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,分别计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失;
计算所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失的加权和,得到交叉熵目标函数;
将所述交叉熵目标函数对所述卷积神经网络及所述条件随机场函数运算的参数进行求导处理,得到所述交叉熵目标函数的梯度值。
9.根据权利要求8所述的装置,其特征在于,所述由循环卷积神经网络实现的条件随机场模型根据所述第一检测结果图像、所述预测结果图像以及设定的标准预测图像,分别计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失时,具体用于:
对设定的标准预测图像进行高斯滤波处理;
将所述第一检测结果图像和所述预测结果图像,分别与高斯滤波处理后的所述设定的标准预测图像进行对比,计算得到所述设定的卷积神经网络的交叉熵损失,以及所述条件随机场函数运算的交叉熵损失。
10.根据权利要求6所述的装置,其特征在于,所述第一检测单元,包括:
预处理单元,用于对所述待检测图像进行设定的预处理;
分割处理单元,用于将预处理后的所述待检测图像输入设定的卷积神经网络,对所述待检测图像进行分割处理,得到第一检测结果图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710864947.0A CN107545571A (zh) | 2017-09-22 | 2017-09-22 | 一种图像检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710864947.0A CN107545571A (zh) | 2017-09-22 | 2017-09-22 | 一种图像检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107545571A true CN107545571A (zh) | 2018-01-05 |
Family
ID=60964480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710864947.0A Pending CN107545571A (zh) | 2017-09-22 | 2017-09-22 | 一种图像检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107545571A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108665475A (zh) * | 2018-05-15 | 2018-10-16 | 北京市商汤科技开发有限公司 | 神经网络训练、图像处理方法、装置、存储介质和电子设备 |
CN108764244A (zh) * | 2018-04-02 | 2018-11-06 | 华南理工大学 | 基于卷积神经网络和条件随机场的潜在目标区域检测方法 |
CN109409242A (zh) * | 2018-09-28 | 2019-03-01 | 东南大学 | 一种基于循环卷积神经网络的黑烟车检测方法 |
CN109740617A (zh) * | 2019-01-08 | 2019-05-10 | 国信优易数据有限公司 | 一种图像检测方法及装置 |
CN110047047A (zh) * | 2019-04-17 | 2019-07-23 | 广东工业大学 | 三维形貌图像信息解译的方法、装置、设备及存储介质 |
CN110555511A (zh) * | 2019-07-24 | 2019-12-10 | 北京踏歌智行科技有限公司 | 识别区域的方法、装置、电子设备和计算机可读存储介质 |
WO2020000665A1 (zh) * | 2018-06-28 | 2020-01-02 | 深圳视见医疗科技有限公司 | 图像处理方法、装置、设备及可读存储介质 |
CN111325687A (zh) * | 2020-02-14 | 2020-06-23 | 上海工程技术大学 | 一种基于端对端深度网络的平滑滤波取证方法 |
CN112862089A (zh) * | 2021-01-20 | 2021-05-28 | 清华大学深圳国际研究生院 | 一种具有可解释性的医学图像深度学习方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102968637A (zh) * | 2012-12-20 | 2013-03-13 | 山东科技大学 | 一种复杂背景图像文字分割方法 |
CN103778407A (zh) * | 2012-10-23 | 2014-05-07 | 南开大学 | 一种迁移学习框架下基于条件随机场的手势识别算法 |
CN103810699A (zh) * | 2013-12-24 | 2014-05-21 | 西安电子科技大学 | 基于无监督深度神经网络的sar图像变化检测方法 |
CN104346607A (zh) * | 2014-11-06 | 2015-02-11 | 上海电机学院 | 基于卷积神经网络的人脸识别方法 |
CN104992167A (zh) * | 2015-07-28 | 2015-10-21 | 中国科学院自动化研究所 | 一种基于卷积神经网络的人脸检测方法及装置 |
CN106022353A (zh) * | 2016-05-05 | 2016-10-12 | 浙江大学 | 一种基于超像素分割的图像语义标注方法 |
CN106203284A (zh) * | 2016-06-30 | 2016-12-07 | 华中科技大学 | 基于卷积神经网络和条件随机场的人脸检测方法 |
CN106569998A (zh) * | 2016-10-27 | 2017-04-19 | 浙江大学 | 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法 |
CN106683081A (zh) * | 2016-12-17 | 2017-05-17 | 复旦大学 | 基于影像组学的脑胶质瘤分子标记物无损预测方法和预测系统 |
-
2017
- 2017-09-22 CN CN201710864947.0A patent/CN107545571A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103778407A (zh) * | 2012-10-23 | 2014-05-07 | 南开大学 | 一种迁移学习框架下基于条件随机场的手势识别算法 |
CN102968637A (zh) * | 2012-12-20 | 2013-03-13 | 山东科技大学 | 一种复杂背景图像文字分割方法 |
CN103810699A (zh) * | 2013-12-24 | 2014-05-21 | 西安电子科技大学 | 基于无监督深度神经网络的sar图像变化检测方法 |
CN104346607A (zh) * | 2014-11-06 | 2015-02-11 | 上海电机学院 | 基于卷积神经网络的人脸识别方法 |
CN104992167A (zh) * | 2015-07-28 | 2015-10-21 | 中国科学院自动化研究所 | 一种基于卷积神经网络的人脸检测方法及装置 |
CN106022353A (zh) * | 2016-05-05 | 2016-10-12 | 浙江大学 | 一种基于超像素分割的图像语义标注方法 |
CN106203284A (zh) * | 2016-06-30 | 2016-12-07 | 华中科技大学 | 基于卷积神经网络和条件随机场的人脸检测方法 |
CN106569998A (zh) * | 2016-10-27 | 2017-04-19 | 浙江大学 | 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法 |
CN106683081A (zh) * | 2016-12-17 | 2017-05-17 | 复旦大学 | 基于影像组学的脑胶质瘤分子标记物无损预测方法和预测系统 |
Non-Patent Citations (2)
Title |
---|
LIANG-CHIEH CHEN等: "《SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS》", 《ICLR 2015》 * |
SHUAI ZHENG等: "《Conditional Random Fields as Recurrent Neural Networks》", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764244A (zh) * | 2018-04-02 | 2018-11-06 | 华南理工大学 | 基于卷积神经网络和条件随机场的潜在目标区域检测方法 |
CN108764244B (zh) * | 2018-04-02 | 2021-09-21 | 华南理工大学 | 基于卷积神经网络和条件随机场的潜在目标区域检测方法 |
CN108665475A (zh) * | 2018-05-15 | 2018-10-16 | 北京市商汤科技开发有限公司 | 神经网络训练、图像处理方法、装置、存储介质和电子设备 |
US10943347B2 (en) | 2018-06-28 | 2021-03-09 | Shenzhen Imsight Medical Technology Co. Ltd | Image processing method, apparatus, and non-transitory readable storage medium |
WO2020000665A1 (zh) * | 2018-06-28 | 2020-01-02 | 深圳视见医疗科技有限公司 | 图像处理方法、装置、设备及可读存储介质 |
CN109409242A (zh) * | 2018-09-28 | 2019-03-01 | 东南大学 | 一种基于循环卷积神经网络的黑烟车检测方法 |
CN109409242B (zh) * | 2018-09-28 | 2021-11-02 | 东南大学 | 一种基于循环卷积神经网络的黑烟车检测方法 |
CN109740617A (zh) * | 2019-01-08 | 2019-05-10 | 国信优易数据有限公司 | 一种图像检测方法及装置 |
CN110047047A (zh) * | 2019-04-17 | 2019-07-23 | 广东工业大学 | 三维形貌图像信息解译的方法、装置、设备及存储介质 |
CN110555511A (zh) * | 2019-07-24 | 2019-12-10 | 北京踏歌智行科技有限公司 | 识别区域的方法、装置、电子设备和计算机可读存储介质 |
CN111325687A (zh) * | 2020-02-14 | 2020-06-23 | 上海工程技术大学 | 一种基于端对端深度网络的平滑滤波取证方法 |
CN111325687B (zh) * | 2020-02-14 | 2022-10-14 | 上海工程技术大学 | 一种基于端对端深度网络的平滑滤波取证方法 |
CN112862089A (zh) * | 2021-01-20 | 2021-05-28 | 清华大学深圳国际研究生院 | 一种具有可解释性的医学图像深度学习方法 |
CN112862089B (zh) * | 2021-01-20 | 2023-05-23 | 清华大学深圳国际研究生院 | 一种具有可解释性的医学图像深度学习方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107545571A (zh) | 一种图像检测方法及装置 | |
Ali et al. | Structural crack detection using deep convolutional neural networks | |
CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
CN108776779B (zh) | 基于卷积循环网络的sar序列图像目标识别方法 | |
CN103400151B (zh) | 一体化的光学遥感影像与gis自动配准与水体提取方法 | |
CN106909902B (zh) | 一种基于改进的层次化显著模型的遥感目标检测方法 | |
CN109145872B (zh) | 一种基于CFAR与Fast-RCNN融合的SAR图像舰船目标检测方法 | |
CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
CN109961024A (zh) | 基于深度学习的小麦田间杂草检测方法 | |
CN104217438B (zh) | 基于半监督的图像显著性检测方法 | |
Cao et al. | A coarse-to-fine weakly supervised learning method for green plastic cover segmentation using high-resolution remote sensing images | |
CN107944396A (zh) | 一种基于改进深度学习的刀闸状态识别方法 | |
CN109558806A (zh) | 高分遥感图像变化的检测方法和系统 | |
CN104462494B (zh) | 一种基于无监督特征学习的遥感图像检索方法及系统 | |
CN107909015A (zh) | 基于卷积神经网络及空谱信息融合的高光谱图像分类方法 | |
CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
CN107016405A (zh) | 一种基于分级预测卷积神经网络的害虫图像分类方法 | |
CN107038416A (zh) | 一种基于二值图像改进型hog特征的行人检测方法 | |
CN110543906B (zh) | 基于Mask R-CNN模型的肤质自动识别方法 | |
CN106650812A (zh) | 一种卫星遥感影像的城市水体提取方法 | |
CN109034184A (zh) | 一种基于深度学习的均压环检测识别方法 | |
CN110334656A (zh) | 基于信源概率加权的多源遥感图像水体提取方法及装置 | |
CN105931241A (zh) | 一种自然场景图像的自动标注方法 | |
CN112329771B (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
CN110766016A (zh) | 一种基于概率神经网络的喷码字符识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20201225 |
|
AD01 | Patent right deemed abandoned |