CN110880177A - 一种图像识别方法及装置 - Google Patents

一种图像识别方法及装置 Download PDF

Info

Publication number
CN110880177A
CN110880177A CN201911173044.3A CN201911173044A CN110880177A CN 110880177 A CN110880177 A CN 110880177A CN 201911173044 A CN201911173044 A CN 201911173044A CN 110880177 A CN110880177 A CN 110880177A
Authority
CN
China
Prior art keywords
adaptive
medical image
neural network
convolutional neural
mammary gland
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911173044.3A
Other languages
English (en)
Inventor
高倩
崔星
张荣国
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Infervision Technology Co Ltd
Infervision Co Ltd
Original Assignee
Infervision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Co Ltd filed Critical Infervision Co Ltd
Priority to CN201911173044.3A priority Critical patent/CN110880177A/zh
Publication of CN110880177A publication Critical patent/CN110880177A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像识别方法，该方法包括：采用自适应预处理的方法对待检测的乳腺医学图像进行预处理，这样增强了图像的对比度，使疑似肿块的病灶区域更加的突出；然后通过已训练的自适应卷积神经网络对预处理后的乳腺医学图像进行识别，其中，自适应卷积神经网络是通过标记有感兴趣区域的乳腺医学图像进行训练后得到的；所述自适应卷积神经网络中包括自适应卷积层，所述自适应卷积层通过预设的卷积参数对关联变量进行卷积操作，所述关联变量与变量的像素值、卷积核中像素点的像素值以及偏移量相关。由此，实现了对乳腺医学图像的自动化识别，并且识别结果准确度高，进而有利于医生对病情进行分析。

Description

一种图像识别方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种图像识别方法及装置。
背景技术
乳腺癌是严重危害女性健康的疾病，其发病率和死亡率分别位于女性疾病的第1位和第2位，但是若能在早期发现肿块，可以有效降低乳腺癌的死亡率。
现有技术中对乳腺癌的识别，通常是医生通过查看乳腺的医学图像判断是否发生了癌变，这种识别方式非常依赖于医生的专利素养和经验。由此，通过医生人为识别的方式，不仅耗费人力、物力，而且识别的准确度低，进而不利于医生对病情进行分析。
发明内容
有鉴于此，本发明实施例公开了一种图像识别方法、装置和系统，实现了乳腺图形病灶的自动化检测，节省了人力、物力，并且提高了识别的准确度。
本发明实施例提供了一种图像识别方法，包括：
获取待检测的乳腺医学图像；
采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理；
基于已训练的自适应卷积神经网络对预处理后的所述待检测的乳腺医学图像进行处理，确定所述待检测的乳腺医学图像是否包含感兴趣区域；所述自适应卷积神经网络是通过标记有感兴趣区域的乳腺医学图像进行训练后得到的；所述自适应卷积神经网络中包括自适应卷积层，所述自适应卷积层通过预设的卷积参数对关联变量进行卷积操作，所述关联变量与变量的像素值、卷积核中像素点的像素值以及偏移量相关。
可选的，所述采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理，包括：
对所述待检测的乳腺医学图像进行初始化处理，去除所述待检测的乳腺医学图像中的背景部分；
对去除背景部分的待检测的乳腺医学图像进行加窗处理，得到预处理后的乳腺医学图像。
可选的，所述对所述自适应卷积神经网络的训练过程包括：
获取训练样本；所述训练样本是标记有感兴趣区域的乳腺医学图像；
采用自适应预处理的方法对所述训练样本中的乳腺医学图像进行预处理；
构建自适应卷积神经网络；所述自适应卷积神经网络是预设的卷积神经网络和自适应卷积算法相结合的自适应卷积神经网络；
将所述预处理后的训练样本输入到自适应卷积神经网络中，对所述自适应卷积神经网络进行训练。
可选的，所述将所述预处理后的训练样本输入到自适应卷积神经网络，对所述自适应卷积神经网络进行训练，包括：
提取所述训练样本中乳腺医学图像的特征图；
从所述特征图中选取候选区域，并获取每个候选区域的坐标；
将所述候选区域划分为正样本和负样本；
基于所述候选区域，选取分类损失最大的候选区域；
通过所述分类损失最大的候选区域更新网络参数。
可选的，所述将所述候选区域划分为正样本和负样本，包括：
计算所述候选区域与训练样本中标记区域的交并比；
若所述候选区域与训练样本中标记区域的交并比大于预设的第一阈值，则认为所述候选区域为正样本；
若所述候选区域与训练样本中标记区域的交并比小于预设的第二阈值，则认为所述候选区域为负样本。
本发明实施例公开了一种图像识别装置，包括：
获取单元，用于获取待检测的乳腺医学图像；
第一预处理单元，用于采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理；
识别单元，用于基于已训练的自适应卷积神经网络对预处理后的所述待检测的乳腺医学图像进行处理，确定所述待检测的乳腺医学图像是否包含感兴趣区域；所述自适应卷积神经网络是通过标记有感兴趣区域的乳腺医学图像进行训练后得到的；所述自适应卷积神经网络中包括自适应卷积层，所述自适应卷积层通过预设的卷积参数对关联变量进行卷积操作，所述关联变量与变量的像素值、卷积核中像素点的像素值以及偏移量相关。
可选的，所述第一预处理单元，包括：
初始化单元，用于对所述待检测的乳腺医学图像进行初始化处理，去除所述待检测的乳腺医学图像中的背景部分；
加窗处理单元，用于对去除背景部分的待检测的乳腺医学图像进行加窗处理，得到预处理后的乳腺医学图像。
可选的，还包括：
自适应卷积神经网络的训练单元，用于
样本获取子单元，用于获取训练样本；所述训练样本是标记有感兴趣区域的乳腺医学图像；
第二预处理子单元，用于采用自适应预处理的方法对所述训练样本中的乳腺医学图像进行预处理；
构建子单元，用于构建自适应卷积神经网络；所述自适应卷积神经网络是预设的卷积神经网络和自适应卷积算法相结合的自适应卷积神经网络；
训练子单元，用于将所述预处理后的训练样本输入到自适应卷积神经网络中，对所述自适应卷积神经网络进行训练。
可选的，所述训练子单元，包括：
特征提取子单元，用于提取所述训练样本中乳腺医学图像的特征图；
候选区域选取子单元，用于从所述特征图中选取候选区域，并获取每个候选区域的坐标；
划分子单元，用于将所述候选区域划分为正样本和负样本；
筛选子单元，用于基于所述候选区域，选取分类损失最大的候选区域；
网络参数更新子单元，用于通过所述分类损失最大的候选区域更新网络参数。
可选的，所述划分子单元，包括：
计算子单元，用于计算所述候选区域与训练样本中标记区域的交并比；
第一确定子单元，用于若所述候选区域与训练样本中标记区域的交并比大于预设的第一阈值，则认为所述候选区域为正样本；
第二确定子单元，用于若所述候选区域与训练样本中标记区域的交并比小于预设的第二阈值，则认为所述候选区域为负样本。
本发明实施例提供了一种存储介质，其特征在于，所述存储介质包括存储的程序：
其中，在所述程序运行时控制所述存储介质所在的设备执行上述所述的图像识别方法。
本发明实施例还公开了一种图像识别系统，其特征在于，包括：
图像采集设备、图像处理设备；
所述图像采集设备，用于采集乳腺医学图像；
所述图像处理设备，用于执行上述所述的图像识别方法。
本发明实施例公开了一种图像识别方法、装置及系统，包括：采用自适应预处理的方法对待检测的乳腺医学图像进行加窗处理，这样增强了图像的对比度，使疑似肿块的病灶区域更加的突出；然后通过已训练的自适应卷积神经网络对预处理后的乳腺医学图像进行识别，
其中，自适应卷积神经网络是通过标记有感兴趣区域的乳腺医学图像进行训练后得到的；所述自适应卷积神经网络中包括自适应卷积层，所述自适应卷积层通过预设的卷积参数对关联变量进行卷积操作，所述关联变量与变量的像素值、卷积核中像素点的像素值以及偏移量相关。由此，实现了对乳腺医学图像的自动化识别，并且识别结果准确度高，进而有利于医生对病情进行分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种图像识别方法的流程示意图；
图2示出了本发明实施例提供的一种图像识别方法中进行预处理的流程示意图；
图3示出了本发明实施例提供的一种在适应卷积神经网络的训练方法的流程示意图；
图4示出了本发明实施例提供的一种自适应卷积神经网络的结构示意图；
图5示出了本发明实施例提供的一种图像识别装置的结构示意图；
图6示出了本发明实施例提供的一种图像识别系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，示出了本发明实施例提供的一种图像识别方法的流程示意图，在本实施例中，该方法包括：
S101：获取待检测的乳腺医学图像；
本实施例中，待检测的乳腺医学图像是通过医学摄像设备对乳腺拍摄得到的，例如为X线摄影图像。
S102：采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理；
本实施例中，现有技术中通常采用的预处理的方法得到的乳腺医学图像对比度低，肿块病灶区域不够明显，难以与正常的腺体进行区分，会导致检测结果不理想。
为了解决上述问题，本申请发明人经研究发现，采用自适应预处理的方法对待检测的乳腺医学图像进行处理，从而达到增强图像的对比度，使疑似肿块的病灶区域更加突出的目的。
本实施例中，图像包括背景部分和前景部分，一般情况下背景部分中不包含感兴趣区域，并会对图像的识别产生干扰，因此，为了更加准确的识别出乳腺医学图像中的肿块区域(肿块区域即为感兴趣区域)，可以去除图像中的背景部分，突出前景部分，并对去前景部分(非背景部分)进行加窗处理，得到预处理后的乳腺医学图像。
其中，下文会对自适应预处理的方法进行详细的介绍，本实施例中不再赘述。
S103：基于已训练的自适应卷积神经网络对所述待检测的乳腺医学图像进行处理，确定所述待检测的乳腺医学图像是否包含感兴趣区域。
本实施例中，感兴趣区域可以理解为需要识别的区域，例如病灶区域，具体的，可以为肿块区域。
接下来以肿块作为感兴趣区域进行相应的说明：
本实施例中，自适应卷积神经网络是包含自适应卷积层的卷积神经网络，并且，本实施例中的自适应卷积神经网络是通过标记有肿块的乳腺医学图像的训练样本进行训练后得到的。
由此可知，本申请中，自适应卷积神经网络中的自适应卷积层在进行特征提取时，不仅能够扩大感受野，并且也能改变卷积过程中采样点的位置，这样不仅能够提取到更加鲁棒的特征，而且能够使不同形状的肿块更好的拟合。
本实施例中，自适应卷积层添加在预设的卷积神经网络中的特征提取模块，用于对乳腺医学图像进行卷积操作，从而得到更加鲁棒的特征。
其中，预设的卷积神经网络可以是任何一种卷积神经网络，例如可以为ResNet-101，并在ResNet-101的ResNet-101的res4b20_branch2b层、res4b21_branch2b层、res4b22_branch2b层、res5a_branch2b层、res5b_branch2b层和res5c_branch2b层中加入自适应卷积。
本实施例中，自适应卷积层通过预设的卷积参数对关联变量进行卷积操作，关联变量与变量的像素值、卷积核中像素点的像素值以及偏移量相关。
举例说明：自适应卷积层的卷积算法可以通过如下的公式1)表示：
1)y(p0)＝∑w(p0).x(p0+pn+Δpn)；
其中，P0表示输出层中像素点的像素值，w(p0)表示卷积核中点P0对应的权重，x表示输入层，p0+pn+Δpn表示x的参数值，△Pn表示偏移量，Pn表示卷积核中的点。
本实施例中，在得到预处理后的乳腺医学图像后，通过自适应卷积神经网络对预处理后的乳腺医学图像进行识别，识别的过程可以包括：
提取所述预处理后的乳腺医学图像的特征，得到特征图；
基于所述特征图对所述乳腺医学图像进行识别。
本实施例中，通过自适应卷积神经网络中的特征提取模块提取待检测的乳腺医学图像的特征，特征提取模块中包含自适应卷积层，即通过包含自适应卷积层的特征提取模块提取预处理后的乳腺医学图像中的特征。举例说明：将预处理后的乳腺医学图像进行归一化，将归一化后的图像通过特征提取模块进行前向传播，得到特征图。
本实施例中，采用自适应预处理的方法对待检测的乳腺医学图像进行预处理，这样增强了图像的对比度，使疑似肿块的病灶区域更加的突出；然后通过已训练的自适应卷积神经网络对预处理后的乳腺医学图像进行识别，
其中，自适应卷积神经网络是通过标记有感兴趣区域的乳腺医学图像进行训练后得到的；所述自适应卷积神经网络中包括自适应卷积层，所述自适应卷积层通过预设的卷积参数对关联变量进行卷积操作，所述关联变量与变量的像素值、卷积核中像素点的像素值以及偏移量相关。由此，实现了对乳腺医学图像的自动化识别，并且识别结果准确度高，进而有利于医生对病情进行分析。
参考图2，示出了本发明实施例提供的一种采用自适应预处理方法对图像进行加窗处理的流程示意图，在本实施例中，该方法包括：
S201：对所述待检测的乳腺医学图像进行初始化处理，去除所述待检测的乳腺医学图像中的背景部分；
需要知道的是，图像中包括前景部分和背景部分，前景部分中可能包含有感兴趣的区域。针对乳腺医学图像来说，前景部分为包含乳腺的图像。需要检测的肿块区域位于前景部分中。为了能够提高识别结果的准确度，本实施例中，去除乳腺医学图像的背景部分，突出疑似肿块的区域。
本实施例中，去除背景部分的方法可以包括多种，本实施例中不进行限定，例如可以通过深度学习算法，或者通过阈值比较法。
如下，本实施例中提供一种去除图像背景的实现方法：
计算所述待检测的乳腺医学图像的二值化阈值；
基于所述二值化阈值，对所述乳腺医学图像进行二值化处理；
本实施例中，计算二值化阈值的方法包括很多，本实施例中不进行限定，例如可以采用Otsu算法得到二值化的阈值。
基于二值化阈值，对所述乳腺医学图像进行二值化处理的过程也包括很多，本实施例中不进行限定。
举例说明：将所述待检测的乳腺医学图像与预设的二值化阈值进行比较，将大于所述二值化阈值的像素点设置为1，将小于所述二值化阈值的像素点设置为0。
S202：对去除背景部分的乳腺医学图像进行加窗处理，得到预处理后的乳腺医学图像。
本实施例中，加窗处理的目的是从待检测的乳腺医学图像中提取到重要信息。
其中，加窗处理的过程可以包括：
计算窗宽和窗位；
基于所述窗宽和窗位对去除背景部分的乳腺医学图像进行加窗处理。
其中，窗宽和窗位可以分别通过如下的两个公式计算：
公式2):窗宽ww＝(mod-vmin)+(mod+vmax)；
公式3)：窗位wc＝ww/2；
其中，假设除去背景部分的乳腺医学图像表示为P1，ww表示窗宽，wc表示窗位；mod为通过P1求得的众数，vmin表示预设的最小像素值，vmax表示预设的最大像素值。
其中，加窗处理后的乳腺医学图像的像素值范围为[0,255],在具体实施例中，vmin＝700，vmax＝800。
本实施例中，通过对待检测的乳腺医学图像进行预处理，包括：去除待检测的乳腺医学图像中的背景部分，并对去除背景部分的乳腺医学图像进行加窗处理。这样增强图像的对比度，突出疑似肿块的区域。
参考图3，示出了本发明实施例提供的一种在适应卷积神经网络的训练方法的流程示意图，在本实施例中，该方法包括：
S301：获取训练样本；所述训练样本是标记有感兴趣区域的乳腺医学图像；
S302：采用自适应方法对所述训练样本中的乳腺医学图像进行预处理；
本实施例中，S302的步骤与上述S102的步骤的操作过程一致，本实施例中不进行限定。
S303：构建自适应卷积神经网络；所述自适应卷积神经网络是包含自适应卷积层的卷积神经网络；
本实施例中，自适应卷积神经网络包括预设的卷积神经网络和自适应卷积层。
举例说明：如图4所示，卷积神经网络的结构包括：自适应卷积特征提取模块、RPN模块和fastRCNN模块；其中，自适应卷积提取模块用于提取图像的特征，RPN模块用于确定候选区域，并确定候选区域的正样本和负样本，fastRCNN模块用于对样本进行分类。
本实施例中，自适应卷积特征提取模块中，添加有自适应卷积层。
举例说明：假设预设的卷积神经网络为ResNet-101，在ResNet-101的ResNet-101的res4b20_branch2b层、res4b21_branch2b层、res4b22_branch2b层、res5a_branch2b层、res5b_branch2b层和res5c_branch2b层中加入自适应卷积，得到自适应卷积层。
S304：将所述预处理后的训练样本输入到自适应卷积神经网络中，对所述自适应卷积神经网络进行训练；
本实施例中，对自适应卷积神经网络训练的方法包括很多，本实施例中，不进行限定。
进一步的，申请人发现，为了训练得到更加准确的自适应卷积神经网络，需要通过更加准确的特征对自适应卷积神经网络进行训练，具体的，S304包括：
S304-1：提取所述训练样本中乳腺医学图像的特征图；
通过上述的介绍可知，自适应卷积神经网络中设置有自适应卷积层，用于提取特征。
本实施例中，自适应卷积层通过预设的卷积参数对关联变量进行卷积操作，关联变量与变量的像素值、卷积核中像素点的像素值以及偏移量相关。
举例说明：自适应卷积层的卷积算法可以通过上述公式1)进行卷积操作：
1)y(p0)＝∑w(p0).x(p0+pn+Δpn)；
其中，P0表示输出层中像素点的像素值，w(p0)表示卷积核中点P0对应的权重，x表示输入层，p0+pn+Δpn表示x的参数值，△Pn表示偏移量，Pn表示卷积核中的点。
本实施例中，由于△pn是小数，x(p0+pn+△pn)的值由双线性插值方法计算得到，即：
2)x(p0)＝∑G(q,p)·x(q)；
除此之外，在进行卷积操作之前，将预处理后的图片的尺寸归一化到W*H像素大小，得到归一化后的图片P3,将P3输入到自适应卷积神经网络进行特征提取。
S304-2：确定所述特征图中的候选区域，并基于所述训练样本中标记区域将所述候选区域划分为正样本和负样本，以及每个候选区域的坐标；
本实施例中，确定候选区域的过程包括：
使用预设尺寸的窗口在特征图上进行滑动，以滑动的中心点为中心映射到归一化后的图像上，分别产生预设尺寸的候选区域。例如分别产生尺寸为642、1282、2562、长宽比为1：2、1：3、1：1、2：1、3：1的候选区域。
本实施例中，正样本表示包含肿块的样本集，负样本表示不包含肿块的样本集是不包含肿块的样本集。其中，正负样本可以通过候选区域与标记区域的交并比确定，具体的，包括：
计算所述候选区域与训练样本中标记区域的交并比；
若所述候选区域与训练样本中标记区域的交并比大于预设的第一阈值，则认为所述候选区域为正样本；
若所述候选区域与训练样本中标记区域的交并比小于预设的第二阈值，则认为所述候选区域为负样本。
其中，第一阈值和第二阈值可以相同也可以不同。
举例说明：若候选区域与训练样本中标记区域的交并比大于0.5，则认为该候选区域为正样本；若候选区域与训练样本中标记的交并比小于0.3，则认为候选区域为负样本。
候选区域的坐标可以通过多种方式获取，例如可以获取候选区域的左下角和右上角的坐标。
S304-3：基于所述候选区域，选取分类损失最大的候选区域；
本实施例中，基于候选区域，计算自适应卷积神经网络的分类损失，并将分类损失依据大小进行排序，并选取出损失最大的前N个候选区域作为困难样本。
S304-4：通过所述分类损失最大的候选区域更新网络参数。
本实施例中，通过选取出的困难样本更新网络参数，进而得到分类更加准确的自适应卷积神经网络。
其中，网络参数可以包括：卷积核的大小、卷积核的多少或者卷积步长等。
其中，通过选取出的困难样本更新网络参数，使得训练得到的自适应卷积神经网络的分类性能更高，提高识别的准确度。
本实施例中，通过深度学习模型对待检测的图像进行检测，实现了对乳腺肿块的自动化检测，避免了人为干预，并且，由于自适应卷积神经网络中包含自适应卷积层，自适应卷积层在扩大了感受野的同时，能够改变卷积过程中的采样点位置，达到对不同形状的肿块更好拟合的目的，并且根据分类损失选择困难样本训练网络，提高了分类性能，进而提高了自适应卷积神经网络对肿块识别的准确度。
参考图5，示出了本发明实施例提供的一种图像识别装置的结构示意图，包括：
获取单元501，用于获取待检测的乳腺医学图像；
第一预处理单元502，用于采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理；
识别单元503，用于基于已训练的自适应卷积神经网络对预处理后的所述待检测的乳腺医学图像进行处理，确定所述待检测的乳腺医学图像是否包含感兴趣区域。
可选的，所述第一预处理单元，包括：
初始化单元，用于对所述待检测的乳腺医学图像进行初始化处理，去除所述待检测的乳腺医学图像中的背景部分；
加窗单元，用于对去除背景部分的待检测的乳腺医学图像进行加窗处理，得到预处理后的乳腺医学图像。
可选的，还包括：
自适应卷积神经网络的训练单元，用于
样本获取子单元，用于获取训练样本；所述训练样本是标记有感兴趣区域的乳腺医学图像；
第二预处理子单元，用于采用自适应预处理的方法对所述训练样本中的乳腺医学图像进行预处理；
构建子单元，用于构建自适应卷积神经网络；所述自适应卷积神经网络是预设的卷积神经网络和自适应卷积算法相结合的自适应卷积神经网络；
训练子单元，用于将所述预处理后的训练样本输入到自适应卷积神经网络中，对所述自适应卷积神经网络进行训练。
可选的，所述训练子单元，包括：
特征提取子单元，用于提取所述训练样本中乳腺医学图像的特征图；
候选区域选取子单元，用于从所述特征图中选取候选区域，并获取每个候选区域的坐标；
划分子单元，用于将所述候选区域划分为正样本和负样本；
筛选子单元，用于基于所述候选区域，选取分类损失最大的候选区域；
网络参数更新子单元，用于通过所述分类损失最大的候选区域更新网络参数。
可选的，所述划分子单元，包括：
计算子单元，用于计算所述候选区域与训练样本中标记区域的交并比；
第一确定子单元，用于若所述候选区域与训练样本中标记区域的交并比大于预设的第一阈值，则认为所述候选区域为正样本；
第二确定子单元，用于若所述候选区域与训练样本中标记区域的交并比小于预设的第二阈值，则认为所述候选区域为负样本。
通过本实施例的装置，采用自适应预处理的方法对待检测的乳腺医学图像进行预处理，这样增强了图像的对比度，使疑似肿块的病灶区域更加的突出；然后通过已训练的自适应卷积神经网络对预处理后的乳腺医学图像进行识别，其中，自适应卷积神经网络是通过标记有感兴趣区域的乳腺医学图像进行训练后得到的；所述自适应卷积神经网络中包括自适应卷积层，所述自适应卷积层通过预设的卷积参数对关联变量进行卷积操作，所述关联变量与变量的像素值、卷积核中像素点的像素值以及偏移量相关。由此，实现了对乳腺医学图像的自动化识别，并且识别结果准确度高，进而有利于医生对病情进行分析。
参考图6，示出了本发明实施例提供的一种图像识别系统的结构示意图，在本实施例中，该系统包括：
图像采集设备601、图像处理设备602；
所述图像采集设备601，用于采集乳腺医学图像；
所述图像处理设备602，用于获取待检测的乳腺医学图像；
采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理；
基于已训练的自适应卷积神经网络对预处理后的所述待检测的乳腺医学图像进行处理，确定所述待检测的乳腺医学图像是否包含感兴趣区域。
可选的，所述采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理，包括：
对所述待检测的乳腺医学图像进行初始化处理，去除所述待检测的乳腺医学图像中的背景部分；
对去除背景部分的待检测的乳腺医学图像进行加窗处理，得到预处理后的乳腺医学图像。
可选的，所述对所述自适应卷积神经网络的训练过程包括：
获取训练样本；所述训练样本是标记有感兴趣区域的乳腺医学图像；
采用自适应预处理的方法对所述训练样本中的乳腺医学图像进行预处理；
构建自适应卷积神经网络；所述自适应卷积神经网络是预设的卷积神经网络和自适应卷积算法相结合的自适应卷积神经网络；
将所述预处理后的训练样本输入到自适应卷积神经网络中，对所述自适应卷积神经网络进行训练。
可选的，所述将所述预处理后的训练样本输入到自适应卷积神经网络，对所述自适应卷积神经网络进行训练，包括：
提取所述训练样本中乳腺医学图像的特征图；
从所述特征图中选取候选区域，并获取每个候选区域的坐标；
将所述候选区域划分为正样本和负样本；
基于所述候选区域，选取分类损失最大的候选区域；
通过所述分类损失最大的候选区域更新网络参数。
可选的，所述将所述候选区域划分为正样本和负样本，包括：
计算所述候选区域与训练样本中标记区域的交并比；
若所述候选区域与训练样本中标记区域的交并比大于预设的第一阈值，则认为所述候选区域为正样本；
若所述候选区域与训练样本中标记区域的交并比小于预设的第二阈值，则认为所述候选区域为负样本。
通过本实施例的系统，采用自适应预处理的方法对待检测的乳腺医学图像进行预处理，这样增强了图像的对比度，使疑似肿块的病灶区域更加的突出；然后通过已训练的自适应卷积神经网络对预处理后的乳腺医学图像进行识别，其中，自适应卷积神经网络是通过标记有感兴趣区域的乳腺医学图像进行训练后得到的；所述自适应卷积神经网络中包括自适应卷积层，所述自适应卷积层通过预设的卷积参数对关联变量进行卷积操作，所述关联变量与变量的像素值、卷积核中像素点的像素值以及偏移量相关。由此，实现了对乳腺医学图像的自动化识别，并且识别结果准确度高，进而有利于医生对病情进行分析。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现如下的图像识别操作：
获取待检测的乳腺医学图像；
采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理；
基于已训练的自适应卷积神经网络对预处理后的所述待检测的乳腺医学图像进行处理，确定所述待检测的乳腺医学图像是否包含感兴趣区域；所述自适应卷积神经网络是通过标记有感兴趣区域的乳腺医学图像进行训练后得到的。
可选的，所述采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理，包括：
对所述待检测的乳腺医学图像进行初始化处理，去除所述待检测的乳腺医学图像中的背景部分；
对去除背景部分的待检测的乳腺医学图像进行加窗处理，得到预处理后的乳腺医学图像。
可选的，所述对所述自适应卷积神经网络的训练过程包括：
获取训练样本；所述训练样本是标记有感兴趣区域的乳腺医学图像；
采用自适应预处理的方法对所述训练样本中的乳腺医学图像进行加窗处理；
构建自适应卷积神经网络；所述自适应卷积神经网络是预设的卷积神经网络和自适应卷积算法相结合的自适应卷积神经网络；
将所述预处理后的训练样本输入到自适应卷积神经网络中，对所述自适应卷积神经网络进行训练。
可选的，所述将所述预处理后的训练样本输入到自适应卷积神经网络，对所述自适应卷积神经网络进行训练，包括：
提取所述训练样本中乳腺医学图像的特征图；
从所述特征图中选取候选区域，并获取每个候选区域的坐标；
将所述候选区域划分为正样本和负样本；
基于所述候选区域，选取分类损失最大的候选区域；
通过所述分类损失最大的候选区域更新网络参数。
可选的，所述将所述候选区域划分为正样本和负样本，包括：
计算所述候选区域与训练样本中标记区域的交并比；
若所述候选区域与训练样本中标记区域的交并比大于预设的第一阈值，则认为所述候选区域为正样本；
若所述候选区域与训练样本中标记区域的交并比小于预设的第二阈值，则认为所述候选区域为负样本。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像识别方法，其特征在于，包括：
获取待检测的乳腺医学图像；
采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理；
基于已训练的自适应卷积神经网络对预处理后的所述待检测的乳腺医学图像进行处理，确定所述待检测的乳腺医学图像是否包含感兴趣区域；所述自适应卷积神经网络是通过标记有感兴趣区域的乳腺医学图像进行训练后得到的；所述自适应卷积神经网络中包括自适应卷积层，所述自适应卷积层通过预设的卷积参数对关联变量进行卷积操作，所述关联变量与变量的像素值、卷积核中像素点的像素值以及偏移量相关。
2.根据权利要求1所述的方法，其特征在于，所述采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理，包括：
对所述待检测的乳腺医学图像进行初始化处理，去除所述待检测的乳腺医学图像中的背景部分；
对去除背景部分的待检测的乳腺医学图像进行加窗处理，得到预处理后的乳腺医学图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述自适应卷积神经网络的训练过程包括：
获取训练样本；所述训练样本是标记有感兴趣区域的乳腺医学图像；
采用自适应预处理的方法对所述训练样本中的乳腺医学图像进行预处理；
构建自适应卷积神经网络；所述自适应卷积神经网络是预设的卷积神经网络和自适应卷积算法相结合的自适应卷积神经网络；
将所述预处理后的训练样本输入到自适应卷积神经网络中，对所述自适应卷积神经网络进行训练。
4.根据权利要求3所述的方法，其特征在于，所述将所述预处理后的训练样本输入到自适应卷积神经网络，对所述自适应卷积神经网络进行训练，包括：
提取所述训练样本中乳腺医学图像的特征图；
从所述特征图中选取候选区域，并获取每个候选区域的坐标；
将所述候选区域划分为正样本和负样本；
基于所述候选区域，选取分类损失最大的候选区域；
通过所述分类损失最大的候选区域更新网络参数。
5.根据权利要求4所述的方法，其特征在于，所述将所述候选区域划分为正样本和负样本，包括：
计算所述候选区域与训练样本中标记区域的交并比；
若所述候选区域与训练样本中标记区域的交并比大于预设的第一阈值，则认为所述候选区域为正样本；
若所述候选区域与训练样本中标记区域的交并比小于预设的第二阈值，则认为所述候选区域为负样本。
6.一种图像识别装置，其特征在于，包括：
获取单元，用于获取待检测的乳腺医学图像；
第一预处理单元，用于采用自适应预处理方法对所述待检测的乳腺医学图像进行预处理；
识别单元，用于基于已训练的自适应卷积神经网络对预处理后的所述待检测的乳腺医学图像进行处理，确定所述待检测的乳腺医学图像是否包含感兴趣区域；所述自适应卷积神经网络是通过标记有感兴趣区域的乳腺医学图像进行训练后得到的；所述自适应卷积神经网络中包括自适应卷积层，所述自适应卷积层通过预设的卷积参数对关联变量进行卷积操作，所述关联变量与变量的像素值、卷积核中像素点的值以及偏移量相关。
7.根据权利要求6所述的装置，其特征在于，所述第一预处理单元，包括：
初始化单元，用于对所述待检测的乳腺医学图像进行初始化处理，去除所述待检测的乳腺医学图像中的背景部分；
加窗处理单元，用于对去除背景部分的待检测的乳腺医学图像进行加窗处理，得到预处理后的乳腺医学图像。
8.根据权利要求7所述的装置，其特征在于，还包括：
自适应卷积神经网络的训练单元，用于
样本获取子单元，用于获取训练样本；所述训练样本是标记有感兴趣区域的乳腺医学图像；
第二预处理子单元，用于采用自适应预处理的方法对所述训练样本中的乳腺医学图像进行预处理；
构建子单元，用于构建自适应卷积神经网络；所述自适应卷积神经网络是预设的卷积神经网络和自适应卷积算法相结合的自适应卷积神经网络；
训练子单元，用于将所述预处理后的训练样本输入到自适应卷积神经网络中，对所述自适应卷积神经网络进行训练。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，
其中，在所述程序运行时控制所述存储介质所在的设备执行如权利要求1-5中任一项所述的图像识别方法。
10.一种图像识别系统，其特征在于，包括：
图像采集设备、图像处理设备；
所述图像采集设备，用于采集乳腺医学图像；
所述图像处理设备，用于执行如权利要求1-5任一项的步骤。
CN201911173044.3A 2019-11-26 2019-11-26 一种图像识别方法及装置 Pending CN110880177A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911173044.3A CN110880177A (zh) 2019-11-26 2019-11-26 一种图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911173044.3A CN110880177A (zh) 2019-11-26 2019-11-26 一种图像识别方法及装置

Publications (1)

Publication Number Publication Date
CN110880177A true CN110880177A (zh) 2020-03-13

Family

ID=69730391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911173044.3A Pending CN110880177A (zh) 2019-11-26 2019-11-26 一种图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN110880177A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932482A (zh) * 2020-09-25 2020-11-13 平安科技（深圳）有限公司 图像中目标物的检测方法、装置、电子设备及存储介质
CN111931912A (zh) * 2020-08-07 2020-11-13 北京推想科技有限公司 网络模型的训练方法及装置，电子设备及存储介质
CN112233126A (zh) * 2020-10-15 2021-01-15 推想医疗科技股份有限公司 医学图像的加窗方法及装置
CN112581522A (zh) * 2020-11-30 2021-03-30 平安科技（深圳）有限公司 图像中目标物位置检测方法、装置、电子设备及存储介质
CN112884775A (zh) * 2021-01-20 2021-06-01 推想医疗科技股份有限公司 一种分割方法、装置、设备及介质
CN113160166A (zh) * 2021-04-16 2021-07-23 重庆飞唐网景科技有限公司 通过卷积神经网络模型进行医学影像数据挖掘工作方法
CN116883372A (zh) * 2023-07-19 2023-10-13 重庆大学 一种基于血管区域图像自适应识别肿瘤的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305248A (zh) * 2018-01-17 2018-07-20 慧影医疗科技（北京）有限公司 一种骨折识别模型的构建方法及应用
CN108765387A (zh) * 2018-05-17 2018-11-06 杭州电子科技大学 基于Faster RCNN乳腺DBT影像肿块自动检测方法
CN108898047A (zh) * 2018-04-27 2018-11-27 中国科学院自动化研究所 基于分块遮挡感知的行人检测方法及系统
CN109544526A (zh) * 2018-11-15 2019-03-29 首都医科大学附属北京友谊医院 一种慢性萎缩性胃炎图像识别系统、装置和方法
CN109584218A (zh) * 2018-11-15 2019-04-05 首都医科大学附属北京友谊医院 一种胃癌图像识别模型的构建方法及其应用
CN109671053A (zh) * 2018-11-15 2019-04-23 首都医科大学附属北京友谊医院 一种胃癌图像识别系统、装置及其应用

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305248A (zh) * 2018-01-17 2018-07-20 慧影医疗科技（北京）有限公司 一种骨折识别模型的构建方法及应用
CN108898047A (zh) * 2018-04-27 2018-11-27 中国科学院自动化研究所 基于分块遮挡感知的行人检测方法及系统
CN108765387A (zh) * 2018-05-17 2018-11-06 杭州电子科技大学 基于Faster RCNN乳腺DBT影像肿块自动检测方法
CN109544526A (zh) * 2018-11-15 2019-03-29 首都医科大学附属北京友谊医院 一种慢性萎缩性胃炎图像识别系统、装置和方法
CN109584218A (zh) * 2018-11-15 2019-04-05 首都医科大学附属北京友谊医院 一种胃癌图像识别模型的构建方法及其应用
CN109671053A (zh) * 2018-11-15 2019-04-23 首都医科大学附属北京友谊医院 一种胃癌图像识别系统、装置及其应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ABHINAV SHRIVASTAVA ET AL: "Training Region-based Object Detectors with Online Hard Example Mining", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
JIFENG DAI ET AL: "Deformable Convolutional Networks", 《ARXIV:1703.06211V3》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931912A (zh) * 2020-08-07 2020-11-13 北京推想科技有限公司 网络模型的训练方法及装置，电子设备及存储介质
CN111932482A (zh) * 2020-09-25 2020-11-13 平安科技（深圳）有限公司 图像中目标物的检测方法、装置、电子设备及存储介质
WO2021189912A1 (zh) * 2020-09-25 2021-09-30 平安科技（深圳）有限公司 图像中目标物的检测方法、装置、电子设备及存储介质
CN112233126A (zh) * 2020-10-15 2021-01-15 推想医疗科技股份有限公司 医学图像的加窗方法及装置
CN112581522A (zh) * 2020-11-30 2021-03-30 平安科技（深圳）有限公司 图像中目标物位置检测方法、装置、电子设备及存储介质
CN112581522B (zh) * 2020-11-30 2024-05-07 平安科技（深圳）有限公司 图像中目标物位置检测方法、装置、电子设备及存储介质
CN112884775A (zh) * 2021-01-20 2021-06-01 推想医疗科技股份有限公司 一种分割方法、装置、设备及介质
CN113160166A (zh) * 2021-04-16 2021-07-23 重庆飞唐网景科技有限公司 通过卷积神经网络模型进行医学影像数据挖掘工作方法
CN116883372A (zh) * 2023-07-19 2023-10-13 重庆大学 一种基于血管区域图像自适应识别肿瘤的方法及系统

Similar Documents

Publication Publication Date Title
CN110880177A (zh) 一种图像识别方法及装置
EP3455782B1 (en) System and method for detecting plant diseases
CN108665456B (zh) 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
JP6660313B2 (ja) 画像解析を用いた核のエッジの検出
US10402623B2 (en) Large scale cell image analysis method and system
CN109840913B (zh) 一种乳腺x线图像中肿块分割的方法和系统
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN109363698B (zh) 一种乳腺影像征象识别的方法及装置
CN108682008B (zh) 一种白细胞图像清晰度评价方法及装置
WO2013049153A2 (en) Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
US11501431B2 (en) Image processing method and apparatus and neural network model training method
JP2008520345A (ja) 超音波画像における病変の検出及び分類方法、及びそのシステム
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
WO2020168647A1 (zh) 图像识别方法及相关设备
CN111815624A (zh) 基于图像处理算法的肿瘤间质比判定方法及系统
CN111062953A (zh) 一种超声图像中甲状旁腺增生的识别方法
CN111105427A (zh) 一种基于连通区域分析的肺部图像分割方法及系统
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
JP2018185265A (ja) 情報処理装置、制御方法、及びプログラム
CN116993764B (zh) 一种胃部ct智能分割提取方法
CN115496748B (zh) 小肠图像的肠段识别方法、装置及存储介质
CN111062909A (zh) 乳腺肿块良恶性判断方法及设备
CN111161256A (zh) 图像分割方法、图像分割装置、存储介质及电子设备
CN116092170A (zh) 一种基于大数据技术的专利价值分析系统
CN111275719B (zh) 钙化假阳识别及其模型训练的方法、装置、终端及介质

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200313

RJ01 Rejection of invention patent application after publication