CN113269752A - 一种图像检测方法、装置终端设备及存储介质 - Google Patents

一种图像检测方法、装置终端设备及存储介质 Download PDF

Info

Publication number
CN113269752A
CN113269752A CN202110584207.8A CN202110584207A CN113269752A CN 113269752 A CN113269752 A CN 113269752A CN 202110584207 A CN202110584207 A CN 202110584207A CN 113269752 A CN113269752 A CN 113269752A
Authority
CN
China
Prior art keywords
image
training
detected
sample
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110584207.8A
Other languages
English (en)
Inventor
林天歆
黄健
吴少旭
曾弘
潘杰鑫
陈雄
陈浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen Memorial Hospital Sun Yat Sen University
Original Assignee
Sun Yat Sen Memorial Hospital Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen Memorial Hospital Sun Yat Sen University filed Critical Sun Yat Sen Memorial Hospital Sun Yat Sen University
Priority to CN202110584207.8A priority Critical patent/CN113269752A/zh
Publication of CN113269752A publication Critical patent/CN113269752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

本发明公开了一种图像检测方法、装置终端设备及存储介质，包括：获取图像样本，并将所述图像样本切割成多个图像样本块，所述图像样本标注有感兴趣区域及图像类别；根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型；获取待检测图像，并将所述待检测图像切割成多个待检测图像块；将所述待检测图像块输入到所述图像检测模型，得到所述待检测图像块的概率图；将所述待检测图像块的概率图拼接成所述待检测图像的概率图，以获得所述待检测图像的感兴趣区域定位结果和分类结果，这样实现了面对复杂图像时能够精确、有效的进行主体区域的检测、分离，提高了病理图像检测的准确性，减少了工作量。

Description

一种图像检测方法、装置终端设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像检测方法、装置终端设备及存储介质。
背景技术
图像检测是同时给多个不同的物体进行分类和定位。数字病理全切片是通过专用的扫描成像系统将病理切片转换为可供计算机显示、传输及处理的高倍率大规模数字图像。随着数字病理图像成像技术不断成熟，基于数字病理图像的计算机辅助诊断方法发展迅速。近年来，以卷积神经元网络(convolutional neural network，简称CNN)为代表的深度学习方法成为了病理图像检测的主流方法。现有技术中，采用卷积神经元网络进行病理图像的分割、分类和识别等。但由于病理图像中病变区域和背景区域颜色相近或者背景区域复杂度高，因此目前现有技术中图像主体检测技术面对复杂图像时不能精确、有效的进行主体区域的检测、分离。而且，当卷积神经元网络的训练图像样本有限时，利用深度学习方法需进行较多的参数设置，且需识别的图像具有多样性且图像颜色差异不明显，这样会导致图像处理得到的结果与实际结果偏差较大。
发明内容
本发明实施例提供一种图像检测方法、装置终端设备及存储介质，实现了面对复杂图像时能够精确、有效的进行主体区域的检测、分离，提高了病理图像检测的准确性，减少了工作量。
本发明一实施例提供一种图像检测方法，包括：
获取图像样本，并将所述图像样本切割成多个图像样本块，所述图像样本标注有感兴趣区域及图像类别；
根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型；
获取待检测图像，并将所述待检测图像切割成多个待检测图像块；
将所述待检测图像块输入到所述图像检测模型，得到所述待检测图像块的概率图；
将所述待检测图像块的概率图拼接成所述待检测图像的概率图，以获得所述待检测图像的感兴趣区域定位结果和分类结果。
作为上述方案的改进，通过如下步骤获取图像样本，并将所述图像样本切割成多个图像样本块，具体包括：
根据预先定义的感兴趣区域特征，标注预先采集的图像中的感兴趣区域和类型识别，以构成图像数据集；
对所述图像数据集进行归一化处理；
将归一化处理得到的图像数据集划分为训练图像样本和测试图像样本；
对所述训练图像样本进行数据增强；
将数据增强后的训练图像样本和所述测试图像样本分别切割成多个训练图像样本块和测试图像样本块。
作为上述方案的改进，所述对所述图像数据集进行归一化处理，包括：
读取所述图像数据集中各图像的微米每像素参数及原行(列)像素参数；
根据所述微米每像素参数，通过双线性插值法对所述图像数据集进行缩放；其中，通过如下公式(1)进行缩放：
c＝a*b/mpp (1)
a为归一化参数，b为原行(列)像素参数，c为目标行(列)像素参数，mpp为微米每像素参数。
作为上述方案的改进，所述对所述训练图像样本进行数据增强，具体包括：
随机对所述训练图像样本进行垂直或水平镜像，并将所述训练图像样本与镜像处理得到的训练图像样本组织成第一训练图像集；
对所述第一训练图像集进行顺时针翻转，并将所述第一训练图像集与翻转后的第一训练图像集组织成数据增强后的训练图像样本。
作为上述方案的改进，所述根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型，具体包括：
将所述训练图像样本块作为预先建立的深度卷积神经网络的输入，基于所述深度卷积神经网络的输出结果进行训练和调优；
将所述测试图像样本块输入到训练得到的深度卷积神经网络，输出所述测试图像样本块的概率图；
将所述测试图像样本块的概率图拼接成所述测试图像样本的概率图，并通过对所述测试图像样本的概率图进行降噪，以获得测试结果，所述测试结果包括所述测试图像样本块的感兴趣区域定位结果和分类结果；
根据所述测试结果对训练得到的深度卷积神经网络进行评估，以获得图像检测模型。
作为上述方案的改进，所述将所述训练图像样本块作为预先建立的深度卷积神经网络的输入，基于所述深度卷积神经网络的输出结果进行训练和调优，包括：
使用所述训练图像样本对所述深度卷积神经网络进行训练，将初次训练的深度卷积神经网络从正常的训练图像样本中挖掘出被分类为异常的训练图像样本，将其作为难负例样本；
将所述难负例样本重新加入到所述训练图像样本中再次对初次训练的深度卷积神经网络进行训练；
利用随机梯度下降反向传播的方式对再次训练的深度卷积神经网络进行参数调优；
通过将调优得到的深度卷积神经网络在验证图像样本上统计验证样本集的感兴趣区域定位结果，将每个验证样本集中的图像的所有感兴趣区域定位结果叠加成该图像的感兴趣区域定位模板，所述验证样本集为基于所述训练图像样本划分而成；
计算图像的所述感兴趣区域定位模板与所标注的感兴趣区域的定位误差，并将各图像的定位误差叠加成所述验证样本集的定位误差；
选取当所述验证样本集的定位误差最小时对应的模型作为训练得到的深度卷积神经网络。
作为上述方案的改进，通过如下步骤获得所述待检测图像的感兴趣区域定位结果和分类结果，具体包括：
通过形态学开放操作去除所述待检测图像的概率图中的离群点，以获得所述待检测图像的感兴趣区域定位结果；
从所述待检测图像的概率图中提取最大概率值作为所述待检测图像的分类判断参数；
判断所述待检测图像的分类判断参数是否大于预设阈值，若是，则所述分类结果为异常，否则所述分类结果为正常。
本发明另一实施例对应提供了一种图像检测装置，包括：
图像样本处理模块，用于获取图像样本，并将所述图像样本切割成多个图像样本块，所述图像样本标注有感兴趣区域及图像类别；
模型训练模块，用于根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型；
待检测图像处理模块，用于获取待检测图像，并将所述待检测图像切割成多个待检测图像块；
图像检测模块，用于将所述待检测图像块输入到所述图像检测模型，得到所述待检测图像块的概率图；
结果分析模块，用于将所述待检测图像块的概率图拼接成所述待检测图像的概率图，以获得所述待检测图像的感兴趣区域定位结果和分类结果。
本发明另一实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的图像检测方法。
本发明另一实施例提供了一种存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的图像检测方法。
与现有技术相比，本发明实施例公开的一种图像检测方法、装置终端设备及存储介质，通过获取图像样本，并将所述图像样本切割成多个图像样本块，所述图像样本标注有感兴趣区域及图像类别，根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型，获取待检测图像，并将所述待检测图像切割成多个待检测图像块，将所述待检测图像块输入到所述图像检测模型，得到所述待检测图像块的概率图，将所述待检测图像块的概率图拼接成所述待检测图像的概率图，以获得所述待检测图像的感兴趣区域定位结果和分类结果，这样通过较为复杂的病理图像样本切割成多个图像块进行训练，使得训练得到的模型具有更高的精度，实现了面对复杂图像时能够精确、有效的进行主体区域的检测、分离，提高了病理图像检测的准确性，减少了工作量。
附图说明
图1是本发明一实施例提供的一种图像检测方法的流程示意图；
图2是本发明一实施例提供的图像检测方法的具体流程示意图；
图3是本发明一实施例提供的标记有感兴趣区域的图像的示意图；
图4是本发明一实施例提供的感兴趣区域定位的示意图；
图5是本发明一实施例提供的一种图像检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种图像检测方法的流程示意图，所述方法包括步骤S101至S105。
S101、获取图像样本，并将所述图像样本切割成多个图像样本块，所述图像样本标注有感兴趣区域及图像类别。
S102、根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型。
S103、获取待检测图像，并将所述待检测图像切割成多个待检测图像块。
S104、将所述待检测图像块输入到所述图像检测模型，得到所述待检测图像块的概率图。
S105、将所述待检测图像块的概率图拼接成所述待检测图像的概率图，以获得所述待检测图像的感兴趣区域定位结果和分类结果。
示例性的，在医学图像中感兴趣区域通常为癌变区域，但在此不做限定。参见图2，是本发明一实施例提供的图像检测方法的具体流程示意图，以膀胱癌病理图像为例，获取膀胱癌病理图像，并对该膀胱癌病理图像进行预处理，然后将预处理后的图像切割成一个个小的图像块。进一步，将上述图像块输入到图像检测模型(即图2中的SCAN Net)，对该模型的输出图像进行后处理，实现消除部分噪声，以使获得对图像中癌变区域的定位，以及对后处理得到的图像进行分类，以获得该图像的类别。
本发明实施例公开的一种图像检测方法，通过获取图像样本，并将所述图像样本切割成多个图像样本块，所述图像样本标注有感兴趣区域及图像类别，根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型，获取待检测图像，并将所述待检测图像切割成多个待检测图像块，将所述待检测图像块输入到所述图像检测模型，得到所述待检测图像块的概率图，将所述待检测图像块的概率图拼接成所述待检测图像的概率图，以获得所述待检测图像的感兴趣区域定位结果和分类结果，这样通过较为复杂的病理图像样本切割成多个图像块进行训练，使得训练得到的模型具有更高的精度，实现了面对复杂图像时能够精确、有效的进行主体区域的检测、分离，提高了病理图像检测的准确性，减少了工作量。
在一些实施例中，通过如下步骤获取图像样本，并将所述图像样本切割成多个图像样本块，具体包括：
根据预先定义的感兴趣区域特征，标注预先采集的图像中的感兴趣区域和类型识别，以构成图像数据集；
对所述图像数据集进行归一化处理；
将归一化处理得到的图像数据集划分为训练图像样本和测试图像样本；
对所述训练图像样本进行数据增强；
将数据增强后的训练图像样本和所述测试图像样本分别切割成多个训练图像样本块和测试图像样本块。
具体的，参见图3是本发明一实施例提供的标记有感兴趣区域的图像的示意图，以膀胱癌病理图像为例，膀胱癌病理图像样本中标记有癌变区域，并将该膀胱癌病理图像样本相应标记为非正常。
在上述实施例的基础上，在一些实施例中，所述对所述图像数据集进行归一化处理，包括：
读取所述图像数据集中各图像的微米每像素参数及原行(列)像素参数；
根据所述微米每像素参数，通过双线性插值法对所述图像数据集进行缩放；其中，通过如下公式(1)进行缩放：
c＝a*b/mpp (1)
a为归一化参数，b为原行(列)像素参数，c为目标行(列)像素参数，mpp为微米每像素参数。
需要说明的是，由于选取的图像区域均采样于不同的膀胱病理数字图像，而这些数字图像可能由不同的扫描仪扫描成像，因不同扫描仪的硬件属性，软件参数设置的不同，每张图片单像素代表的实际物理尺寸也会有不同，数据归一化的目的在于尽可能保证使数据集中的图像具有相近的物理尺寸。模型在部署和应用场景中，也应该对输入数据进行同样的归一化处理。具体的，通过读取图像的附加信息可获得该图像的微米每像素(micronper pixel，mpp)参数，mpp代表了每个像素对应的膀胱病理切片上的实际距离，当mpp为1时代表每个像素代表的实际横或纵距离为1微米。
通过读取微米每像素参数，将数据集中的图像通过双线性插值法进行放大或缩小，从而实现数据物理尺度上的归一化。更具体的，本发明将数据集mpp参数归一化为0.5，每张图片的目标行(列)像素数由以下公式得出：
目标行(列)像素数＝0.5*原行(列)像素数/mpp
在上述实施例的基础上，在一些实施例中，所述对所述训练图像样本进行数据增强，具体包括：
随机对所述训练图像样本进行垂直或水平镜像，并将所述训练图像样本与镜像处理得到的训练图像样本组织成第一训练图像集；
对所述第一训练图像集进行顺时针翻转，并将所述第一训练图像集与翻转后的第一训练图像集组织成数据增强后的训练图像样本。
具体的，将训练图像样本中的图像进行随机翻转，镜像等操作，实现对数据集的扩充，通过数据集扩充可以利用有限的训练数据使模型的泛化能力更强，提高了图像的准确度和鲁棒性。镜像：对训练图像样本及其标注图像同时进行随机的垂直或水平镜像，与训练图像样本汇总形成第一训练图像集；翻转：对第一训练图像集及其标注图像同时进行顺时针翻转，翻转角度为90度、180度或270度，与第一训练图像集汇总形成数据增强后的训练图像样本，用于训练深度卷积神经网络。
在一些实施例中，所述根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型，具体包括：
将所述训练图像样本块作为预先建立的深度卷积神经网络的输入，基于所述深度卷积神经网络的输出结果进行训练和调优；
将所述测试图像样本块输入到训练得到的深度卷积神经网络，输出所述测试图像样本块的概率图；
将所述测试图像样本块的概率图拼接成所述测试图像样本的概率图，并通过对所述测试图像样本的概率图进行降噪，以获得测试结果，所述测试结果包括所述测试图像样本块的感兴趣区域定位结果和分类结果；
根据所述测试结果对训练得到的深度卷积神经网络进行评估，以获得图像检测模型。
在本发明中，深度卷积神经网络ScanNet利用一个改进的全卷积神经网络来快速对病理图像进行检测和分割，可以将任意大小的图像作为模型的输入。与传统的用于分割任务的传统全卷积神经网络(FCN)不同，如下表1所示，本发明的深度卷积神经网络未设有上采样路径。由于考虑到全切片的巨大尺寸，上采样路径的增加将大大减缓检测过程。通过删除填充操作以及使用全卷积层1024×1024×2(即内核大小1×1)替换最后三个全连接层来实现基于改进的VGG-16网络的全卷积神经网络。因此，在模型训练阶段时，深度卷积神经网络的输入是从病理图像中裁剪好的大小为224*224的图像块，输出是该图像块的分类结果(阴性图像块或者阳性图像块)。在测试阶段，深度卷积神经网络的输入是2868*2868的测试图像样本块，输出是大小为83*83的概率图。最后，采用滑窗拼接的方法，将这些相邻测试图像样本块的概率图拼接成病理图像的概率图，以此作模型的评估。在本发明中，采用改进后的全卷积神经网络通过迁移学习，利用从大量自然图像中学习到的特征做初始化，从而加速模型的训练和提升模型的鲁棒性。
Figure BDA0003087528140000111
表1
在上述实施例的基础上，在一些实施例中，所述将所述训练图像样本块作为预先建立的深度卷积神经网络的输入，基于所述深度卷积神经网络的输出结果进行训练和调优，包括：
使用所述训练图像样本对所述深度卷积神经网络进行训练，将初次训练的深度卷积神经网络从正常的训练图像样本中挖掘出被分类为异常的训练图像样本，将其作为难负例样本；
将所述难负例样本重新加入到所述训练图像样本中再次对初次训练的深度卷积神经网络进行训练；
利用随机梯度下降反向传播的方式对再次训练的深度卷积神经网络进行参数调优；
通过将调优得到的深度卷积神经网络在验证图像样本上统计验证样本集的感兴趣区域定位结果，将每个验证样本集中的图像的所有感兴趣区域定位结果叠加成该图像的感兴趣区域定位模板，所述验证样本集为基于所述训练图像样本划分而成；
计算图像的所述感兴趣区域定位模板与所标注的感兴趣区域的定位误差，并将各图像的定位误差叠加成所述验证样本集的定位误差；
选取当所述验证样本集的定位误差最小时对应的模型作为训练得到的深度卷积神经网络。
在本实施例中，为了加速全卷积神经网络的学习过程，节省内存空间，灵活地增加训练图像样本，在数据准备过程中实时更新训练图像样本。具体的，由于在膀胱癌病理图像中，有许多来自阴性训练样本，但其中大多数可以很容易地与癌变区域区分，为了避免模型受到负样本的影响，首先使用标注有感兴趣区域及图像类别的训练图像样本对模型进行初次训练，然后将训练好的模型从阴性图像中挖掘假阳性样本，即难负例样本。最后，将这些难负例样本重新加入到训练图像样本当中再次进行训练，从而避免了模型识别出过多的假阳性区域，造成较大误差，提高了模型的准确度。此外，上述训练方式可以通过关注难负例样本使得训练过程更加有效，从而显著提高模型的识别性能。
进一步，深度卷积神经网络的训练采用深度学习中的反向传播算法，针对感兴趣区域定位的区域选择网络以及针对病理分类的分类网络以目标真实类别向量和输入区域相对于输入张量坐标中心坐标为标签，进行模型的参数调优。其中在调优过程中，损失函数为交叉熵函数。
更具体的，深度卷积神经网络的特征提取网络参数由在ImageNet分类网络预训练的网络去除全连接层的参数进行初始化，其它相关网络参数为[0，1]之间服从截断正态分布参数随机初始化。利用随机梯度下降反向传播算法在经过增强的训练集中以0.001的学习率训练90个周期。
更进一步，通过调优得到的深度卷积神经网络在验证样本集上统计分割结果，将验证样本集中的每张图像的所有分割结果叠加在一起构成该图像的分割模板。计算该分割模板与所标注的感兴趣区域的欧几里德距离，该距离为单张图像的推断误差，将验证样本集中所有图像的推断误差加总在一起得到验证样本集的误差，最后令验证样本集的误差最低的模型作为最终训练获得的模型。
在一些实施例中，通过如下步骤获得所述待检测图像的感兴趣区域定位结果和分类结果，具体包括：
通过形态学开放操作去除所述待检测图像的概率图中的离群点，以获得所述待检测图像的感兴趣区域定位结果；
从所述待检测图像的概率图中提取最大概率值作为所述待检测图像的分类判断参数；
判断所述待检测图像的分类判断参数是否大于预设阈值，若是，则所述分类结果为异常，否则所述分类结果为正常。
在本实施例中，对于模型输出的待检测图像块的概率图，通过滑窗拼接的方法将这些概率图重新拼接成待检测图像的概率图。对于区域定位，通过形态学开放操作对拼接后的概率图进行后处理，以去除小的离群点。示例性的，定位结果可参见图4，是本发明一实施例提供的感兴趣区域定位的示意图，图4(a)为待检测图像，图4(b)为待检测图像的感兴趣区域定位结果。对于图像分类，从预测的概率图中提取最大概率作为该图像的分类判断参数，然后判断该概率是否大于阈值(0.5)，如果大于，则视为阳性，否则视为阴性。
参见图5，是本发明一实施例提供的一种图像检测装置的结构示意图，包括：
图像样本处理模块201，用于获取图像样本，并将所述图像样本切割成多个图像样本块，所述图像样本标注有感兴趣区域及图像类别；
模型训练模块202，用于根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型；
待检测图像处理模块203，用于获取待检测图像，并将所述待检测图像切割成多个待检测图像块；
图像检测模块204，用于将所述待检测图像块输入到所述图像检测模型，得到所述待检测图像块的概率图；
结果分析模块205，用于将所述待检测图像块的概率图拼接成所述待检测图像的概率图，以获得所述待检测图像的感兴趣区域定位结果和分类结果。
优选的，图像样本处理模块201包括：
图像数据集构建单元，用于根据预先定义的感兴趣区域特征，标注预先采集的图像中的感兴趣区域和类型识别，以构成图像数据集；
归一化处理单元，用于对所述图像数据集进行归一化处理；
数据集划分单元，用于将归一化处理得到的图像数据集划分为训练图像样本和测试图像样本；
数据增强单元，用于对所述训练图像样本进行数据增强；
切割单元，用于将数据增强后的训练图像样本和所述测试图像样本分别切割成多个训练图像样本块和测试图像样本块。
优选的，归一化处理单元包括：
参数读取单元，用于读取所述图像数据集中各图像的微米每像素参数及原行(列)像素参数；
缩放单元，用于根据所述微米每像素参数，通过双线性插值法对所述图像数据集进行缩放；其中，通过如下公式(1)进行缩放：
c＝a*b/mpp (1)
a为归一化参数，b为原行(列)像素参数，c为目标行(列)像素参数，mpp为微米每像素参数。
优选的，数据增强单元包括：
镜像处理单元，用于随机对所述训练图像样本进行垂直或水平镜像，并将所述训练图像样本与镜像处理得到的训练图像样本组织成第一训练图像集；
翻转单元，用于对所述第一训练图像集进行顺时针翻转，并将所述第一训练图像集与翻转后的第一训练图像集组织成数据增强后的训练图像样本。
优选的，模型训练模块202包括：
训练和调优单元，用于将所述训练图像样本块作为预先建立的深度卷积神经网络的输入，基于所述深度卷积神经网络的输出结果进行训练和调优；
测试输出单元，用于将所述测试图像样本块输入到训练得到的深度卷积神经网络，输出所述测试图像样本块的概率图；
测试结果分析单元，用于将所述测试图像样本块的概率图拼接成所述测试图像样本的概率图，并通过对所述测试图像样本的概率图进行降噪，以获得测试结果，所述测试结果包括所述测试图像样本块的感兴趣区域定位结果和分类结果；
模型评估单元，用于根据所述测试结果对训练得到的深度卷积神经网络进行评估，以获得图像检测模型。
优选的，训练和调优单元包括：
初次训练单元，用于使用所述训练图像样本对所述深度卷积神经网络进行训练，将初次训练的深度卷积神经网络从正常的训练图像样本中挖掘出被分类为异常的训练图像样本，将其作为难负例样本；
二次训练单元，用于将所述难负例样本重新加入到所述训练图像样本中再次对初次训练的深度卷积神经网络进行训练；
参数调优单元，用于利用随机梯度下降反向传播的方式对再次训练的深度卷积神经网络进行参数调优；
验证单元，用于通过将调优得到的深度卷积神经网络在验证图像样本上统计验证样本集的感兴趣区域定位结果，将每个验证样本集中的图像的所有感兴趣区域定位结果叠加成该图像的感兴趣区域定位模板，所述验证样本集为基于所述训练图像样本划分而成；
误差计算单元，用于计算图像的所述感兴趣区域定位模板与所标注的感兴趣区域的定位误差，并将各图像的定位误差叠加成所述验证样本集的定位误差；
模型选取单元，用于选取当所述验证样本集的定位误差最小时对应的模型作为训练得到的深度卷积神经网络。
优选的，结果分析模块205包括：
区域定位单元，用于通过形态学开放操作去除所述待检测图像的概率图中的离群点，以获得所述待检测图像的感兴趣区域定位结果；
概率图转化单元，用于从所述待检测图像的概率图中提取最大概率值作为所述待检测图像的分类判断参数；
分类单元，用于判断所述待检测图像的分类判断参数是否大于预设阈值，若是，则所述分类结果为异常，否则所述分类结果为正常。
本发明实施例公开的一种图像检测装置，通过获取图像样本，并将所述图像样本切割成多个图像样本块，所述图像样本标注有感兴趣区域及图像类别，根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型，获取待检测图像，并将所述待检测图像切割成多个待检测图像块，将所述待检测图像块输入到所述图像检测模型，得到所述待检测图像块的概率图，将所述待检测图像块的概率图拼接成所述待检测图像的概率图，以获得所述待检测图像的感兴趣区域定位结果和分类结果，这样通过较为复杂的病理图像样本切割成多个图像块进行训练，使得训练得到的模型具有更高的精度，实现了面对复杂图像时能够精确、有效的进行主体区域的检测、分离，提高了病理图像检测的准确性，减少了工作量。
该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如图像检测程序。所述处理器执行所述计算机程序时实现上述各个图像检测方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种图像检测方法，其特征在于，包括：
获取图像样本，并将所述图像样本切割成多个图像样本块，所述图像样本标注有感兴趣区域及图像类别；
根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型；
获取待检测图像，并将所述待检测图像切割成多个待检测图像块；
将所述待检测图像块输入到所述图像检测模型，得到所述待检测图像块的概率图；
将所述待检测图像块的概率图拼接成所述待检测图像的概率图，以获得所述待检测图像的感兴趣区域定位结果和分类结果。
2.如权利要求1所述的图像检测方法，其特征在于，通过如下步骤获取图像样本，并将所述图像样本切割成多个图像样本块，具体包括：
根据预先定义的感兴趣区域特征，标注预先采集的图像中的感兴趣区域和类型识别，以构成图像数据集；
对所述图像数据集进行归一化处理；
将归一化处理得到的图像数据集划分为训练图像样本和测试图像样本；
对所述训练图像样本进行数据增强；
将数据增强后的训练图像样本和所述测试图像样本分别切割成多个训练图像样本块和测试图像样本块。
3.如权利要求2所述的图像检测方法，其特征在于，所述对所述图像数据集进行归一化处理，包括：
读取所述图像数据集中各图像的微米每像素参数及原行(列)像素参数；
根据所述微米每像素参数，通过双线性插值法对所述图像数据集进行缩放；其中，通过如下公式(1)进行缩放：
c＝a*b/mpp (1)
a为归一化参数，b为原行(列)像素参数，c为目标行(列)像素参数，mpp为微米每像素参数。
4.如权利要求2所述的图像检测方法，其特征在于，所述对所述训练图像样本进行数据增强，具体包括：
随机对所述训练图像样本进行垂直或水平镜像，并将所述训练图像样本与镜像处理得到的训练图像样本组织成第一训练图像集；
对所述第一训练图像集进行顺时针翻转，并将所述第一训练图像集与翻转后的第一训练图像集组织成数据增强后的训练图像样本。
5.如权利要求2所述的图像检测方法，其特征在于，所述根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型，具体包括：
将所述训练图像样本块作为预先建立的深度卷积神经网络的输入，基于所述深度卷积神经网络的输出结果进行训练和调优；
将所述测试图像样本块输入到训练得到的深度卷积神经网络，输出所述测试图像样本块的概率图；
将所述测试图像样本块的概率图拼接成所述测试图像样本的概率图，并通过对所述测试图像样本的概率图进行降噪，以获得测试结果，所述测试结果包括所述测试图像样本块的感兴趣区域定位结果和分类结果；
根据所述测试结果对训练得到的深度卷积神经网络进行评估，以获得图像检测模型。
6.如权利要求5所述的图像检测方法，其特征在于，所述将所述训练图像样本块作为预先建立的深度卷积神经网络的输入，基于所述深度卷积神经网络的输出结果进行训练和调优，包括：
使用所述训练图像样本对所述深度卷积神经网络进行训练，将初次训练的深度卷积神经网络从正常的训练图像样本中挖掘出被分类为异常的训练图像样本，将其作为难负例样本；
将所述难负例样本重新加入到所述训练图像样本中再次对初次训练的深度卷积神经网络进行训练；
利用随机梯度下降反向传播的方式对再次训练的深度卷积神经网络进行参数调优；
通过将调优得到的深度卷积神经网络在验证图像样本上统计验证样本集的感兴趣区域定位结果，将每个验证样本集中的图像的所有感兴趣区域定位结果叠加成该图像的感兴趣区域定位模板，所述验证样本集为基于所述训练图像样本划分而成；
计算图像的所述感兴趣区域定位模板与所标注的感兴趣区域的定位误差，并将各图像的定位误差叠加成所述验证样本集的定位误差；
选取当所述验证样本集的定位误差最小时对应的模型作为训练得到的深度卷积神经网络。
7.如权利要求5所述的图像检测方法，其特征在于，通过如下步骤获得所述待检测图像的感兴趣区域定位结果和分类结果，具体包括：
通过形态学开放操作去除所述待检测图像的概率图中的离群点，以获得所述待检测图像的感兴趣区域定位结果；
从所述待检测图像的概率图中提取最大概率值作为所述待检测图像的分类判断参数；
判断所述待检测图像的分类判断参数是否大于预设阈值，若是，则所述分类结果为异常，否则所述分类结果为正常。
8.一种图像检测装置，其特征在于，包括：
图像样本处理模块，用于获取图像样本，并将所述图像样本切割成多个图像样本块，所述图像样本标注有感兴趣区域及图像类别；
模型训练模块，用于根据所述图像样本块对预先建立的深度卷积神经网络进行训练和测试，得到图像检测模型；
待检测图像处理模块，用于获取待检测图像，并将所述待检测图像切割成多个待检测图像块；
图像检测模块，用于将所述待检测图像块输入到所述图像检测模型，得到所述待检测图像块的概率图；
结果分析模块，用于将所述待检测图像块的概率图拼接成所述待检测图像的概率图，以获得所述待检测图像的感兴趣区域定位结果和分类结果。
9.一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的图像检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的图像检测方法。
CN202110584207.8A 2021-05-27 2021-05-27 一种图像检测方法、装置终端设备及存储介质 Pending CN113269752A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110584207.8A CN113269752A (zh) 2021-05-27 2021-05-27 一种图像检测方法、装置终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110584207.8A CN113269752A (zh) 2021-05-27 2021-05-27 一种图像检测方法、装置终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN113269752A true CN113269752A (zh) 2021-08-17

Family

ID=77233177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110584207.8A Pending CN113269752A (zh) 2021-05-27 2021-05-27 一种图像检测方法、装置终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113269752A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570001A (zh) * 2021-09-22 2021-10-29 深圳市信润富联数字科技有限公司 分类识别定位方法、装置、设备及计算机可读存储介质
CN117237270A (zh) * 2023-02-24 2023-12-15 靖江仁富机械制造有限公司 耐磨防腐管道生产用成型控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066934A (zh) * 2017-01-23 2017-08-18 华东交通大学 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
CN107945181A (zh) * 2017-12-30 2018-04-20 北京羽医甘蓝信息技术有限公司 用于乳腺癌淋巴转移病理图像的处理方法和装置
CN110738637A (zh) * 2019-09-19 2020-01-31 华中科技大学 一种乳腺癌病理切片的自动分类方法及系统
CN111415352A (zh) * 2020-04-03 2020-07-14 南京信息工程大学 一种基于深度级联网络的癌转移全景病理切片分析方法
AU2020101122A4 (en) * 2020-06-25 2020-07-30 A, Tamilselvi MS Cnn model based approach towards breast cancer features detection from ultra sound images
CN112614119A (zh) * 2020-12-28 2021-04-06 上海市精神卫生中心（上海市心理咨询培训中心） 医学图像感兴趣区域可视化方法、装置、存储介质和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066934A (zh) * 2017-01-23 2017-08-18 华东交通大学 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
CN107945181A (zh) * 2017-12-30 2018-04-20 北京羽医甘蓝信息技术有限公司 用于乳腺癌淋巴转移病理图像的处理方法和装置
CN110738637A (zh) * 2019-09-19 2020-01-31 华中科技大学 一种乳腺癌病理切片的自动分类方法及系统
CN111415352A (zh) * 2020-04-03 2020-07-14 南京信息工程大学 一种基于深度级联网络的癌转移全景病理切片分析方法
AU2020101122A4 (en) * 2020-06-25 2020-07-30 A, Tamilselvi MS Cnn model based approach towards breast cancer features detection from ultra sound images
CN112614119A (zh) * 2020-12-28 2021-04-06 上海市精神卫生中心（上海市心理咨询培训中心） 医学图像感兴趣区域可视化方法、装置、存储介质和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570001A (zh) * 2021-09-22 2021-10-29 深圳市信润富联数字科技有限公司 分类识别定位方法、装置、设备及计算机可读存储介质
CN113570001B (zh) * 2021-09-22 2022-02-15 深圳市信润富联数字科技有限公司 分类识别定位方法、装置、设备及计算机可读存储介质
CN117237270A (zh) * 2023-02-24 2023-12-15 靖江仁富机械制造有限公司 耐磨防腐管道生产用成型控制方法及系统
CN117237270B (zh) * 2023-02-24 2024-03-19 靖江仁富机械制造有限公司 耐磨防腐管道生产用成型控制方法及系统

Similar Documents

Publication Publication Date Title
CN111275129A (zh) 一种图像数据的增广策略选取方法及系统
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN109272016B (zh) 目标检测方法、装置、终端设备和计算机可读存储介质
US10121245B2 (en) Identification of inflammation in tissue images
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN110032998B (zh) 自然场景图片的文字检测方法、系统、装置和存储介质
CN113269257A (zh) 一种图像分类方法、装置、终端设备及存储介质
CN109740606B (zh) 一种图像识别方法及装置
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN113269752A (zh) 一种图像检测方法、装置终端设备及存储介质
CN110570442A (zh) 一种复杂背景下轮廓检测方法、终端设备及存储介质
CN104298947A (zh) 一种对二维条码精确定位的方法及装置
CN113901972A (zh) 遥感图像建筑物的检测方法、装置、设备及存储介质
CN111444807A (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN112836653A (zh) 人脸隐私化方法、设备、装置及计算机存储介质
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
CN114638294A (zh) 一种数据增强方法、装置、终端设备及存储介质
CN112215217A (zh) 模拟医师阅片的数字图像识别方法及装置
CN111951283A (zh) 一种基于深度学习的医学图像识别方法及系统
CN104268550A (zh) 特征提取方法及装置
CN113920434A (zh) 一种基于目标的图像翻拍检测方法、装置及介质
CN113486715A (zh) 图像翻拍识别方法、智能终端以及计算机存储介质
CN111898408B (zh) 一种快速人脸识别方法及装置
CN110909816B (zh) 图片识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210817

RJ01 Rejection of invention patent application after publication