CN107369154A - 图像的检测方法及装置 - Google Patents
图像的检测方法及装置 Download PDFInfo
- Publication number
- CN107369154A CN107369154A CN201710596100.9A CN201710596100A CN107369154A CN 107369154 A CN107369154 A CN 107369154A CN 201710596100 A CN201710596100 A CN 201710596100A CN 107369154 A CN107369154 A CN 107369154A
- Authority
- CN
- China
- Prior art keywords
- network
- region
- default
- detected
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000002604 ultrasonography Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims description 36
- 238000013527 convolutional neural network Methods 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 206010028980 Neoplasm Diseases 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 210000000481 breast Anatomy 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims 6
- 230000007935 neutral effect Effects 0.000 claims 3
- 108010001267 Protein Subunits Proteins 0.000 claims 1
- 238000003475 lamination Methods 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 206010054107 Nodule Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像的检测方法及装置,涉及医学技术领域。所述方法包括获取待检测的超声波图像,再根据预设的目标检测网络模型对所述待检测的超声波图像进行检测,获取所述待检测的超声波图像中的目标对象,以此实现自动检测到超声波图像中的目标对象,操作简单,精度高,耗费时间少。
Description
技术领域
本发明涉及医学技术领域,具体而言,涉及一种图像的检测方法及装置。
背景技术
目前在医院待检测的超声波图像中肿瘤的检测和测量都是凭借医生的经验来进行的。但是肿瘤的标记和测量是一件很麻烦的事情,因为这需要依靠医生娴熟的手法。当在医生认为比较好的肿瘤角度在B超图像上可以呈现时,需要一只手长时间地握测量棒并且保持固定,另外一只手在机器上操作来进行测量。这是一件难度很高的事情,握测量棒的手一旦轻微抖动,都会影响到肿瘤的图像质量。因此,现有的手动测量和标记方法需要耗费大量的时间,人力成本较高,精度比较低,误差比较大。
发明内容
本发明的目的在于提供一种图像的检测方法及装置,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:
第一方面,本发明实施例提供了一种图像的检测方法,所述方法包括:获取待检测的超声波图像;根据预设的目标检测网络模型对所述待检测的超声波图像进行检测,获取所述待检测的超声波图像中的目标对象。
第二方面,本发明实施例提供了一种图像的检测装置,所述装置包括获取单元和检测单元。获取单元,用于获取待检测的超声波图像。检测单元,用于根据预设的目标检测网络模型对所述待检测的超声波图像进行检测,获取所述待检测的超声波图像中的目标对象。
本发明实施例提供了一种图像的检测方法及装置,获取待检测的超声波图像,再根据预设的目标检测网络模型对所述待检测的超声波图像进行检测,获取所述待检测的超声波图像中的目标对象,以此实现自动检测到超声波图像中的目标对象,操作简单,精度高,耗费时间少。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的电子设备的结构框图;
图2为本发明第一实施例提供的图像的检测方法的流程图;
图3为本发明第一实施例提供的图像的检测方法中的Dropout示意图;
图4为本发明第一实施例提供的图像的检测方法中一个检测结果示意图;
图5为本发明第一实施例提供的对比几种方法各自得到的ARP和ARR结果示意图;
图6为本发明第二实施例提供的图像的检测装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
图1示出了一种可应用于本发明实施例中的电子设备100的结构框图。如图1所示,电子设备100可以包括存储器102、存储控制器104、一个或多个(图1中仅示出一个)处理器106、外设接口108、输入输出模块110、音频模块112、显示模块114、射频模块116和图像的检测装置。
存储器102、存储控制器104、处理器106、外设接口108、输入输出模块110、音频模块112、显示模块114、射频模块116各元件之间直接或间接地电连接,以实现数据的传输或交互。例如,这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。图像的检测方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器102中的软件功能模块,例如所述图像的检测装置包括的软件功能模块或计算机程序。
存储器102可以存储各种软件程序以及模块,如本申请实施例提供的图像的检测方法及装置对应的程序指令/模块。处理器106通过运行存储在存储器102中的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现本申请实施例中的图像的检测方法。
存储器102可以包括但不限于随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器106可以是一种集成电路芯片,具有信号处理能力。上述处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述外设接口108将各种输入/输入装置耦合至处理器106以及存储器102。在一些实施例中,外设接口108、处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出模块110用于提供给用户输入数据实现用户与电子设备100的交互。所述输入输出模块110可以是,但不限于,鼠标和键盘等。
音频模块112向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示模块114在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示模块114可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器106进行计算和处理。
射频模块116用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通信网络或者其他设备进行通信。
可以理解,图1所示的结构仅为示意,电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
于本发明实施例中,电子设备100可以作为用户终端,或者作为服务器。用户终端可以为PC(personal computer)电脑、平板电脑、手机、笔记本电脑、智能电视、机顶盒、车载终端等终端设备。
第一实施例
请参阅图2,本发明实施例提供了一种图像的检测方法,所述方法包括步骤S200、步骤S210、步骤S220、步骤S230、步骤S240和步骤S250。
步骤S200:以获取到的多个超声波图像为训练数据,通过优化的反向传播算法对区域建议网络进行训练,获得第一区域建议网络。
在本实施例,多个超声波图像均可以为乳腺超声波图像,可以来自于ImageNet模型。
基于步骤S200,进一步地,以获取到的多个超声波图像为训练数据,利用Dropout对所述区域建议网络进行修改,通过优化的反向传播算法对修改后的区域建议网络进行训练,获得第一区域建立网络。
所述优化的反向传播算法的代价函数为基于在原始的代价函数上增加L1正则项或L2正则项。
具体地,定义原始的代价函数为公式(1):
公式(1)中,x(i)表示向量x中的第i个元素,y(i)表示向量y中的第i个元素,hθ(x(i))为已知的假设函数,m为训练数据的数量。代价函数(Cost Function)是对计算误差的一种衡量,是关于θ的函数。在深度神经网络中,代价函数描述了神经网络输出(前向传播的结果)和实际期望输出的误差,然后根据代价函数,利用反向传播算法(Back Propagation,BP)算法调整神经网络中各个神经元的权值,实现神经网络输出和期望输出一致的结果。代价函数越小的函数,说明拟合训练数据拟合的越好,寻找最佳的权值矩阵,来最小化代价函数。
最小化代价函数的方法有很多种,比如Least squares,Gradient descent,Gauss-Newton algorithm,Levenberg-Marquardt algorithm等,本实施例中采用梯度下降法来最小化代价函数。梯度下降(Gradient Descent)是一种典型的数值方法,它的唯一目的,就是用迭代的方法求出局部最优解。梯度下降解决代价函数最小化过程,对公式(1)中的代价函数J(θ)求偏导:
以公式(4)进行更新:
公式(4)中,θi会向着梯度最小的方向进行减少,α表示步长,也就是每次按照梯度减少的方向变化多少。梯度是有方向的,对于一个向量θ,每一维分量θi都可以求出一个梯度的方向,就可以找到一个整体的方向,在变化的时候,就朝着下降最多的方向进行变化就可以达到一个最小点,不管它是局部的还是全局的。用更简单的数学语言进行描述步骤是这样的:
基于以上公式,初始点不同,获得的最小值也不同,因为梯度下降求得的只是局部最小值,所以下降的步伐大小非常重要,因为如果太小,则找到函数最小值的速度就很慢,如果太大,则可能会出现超调量最小值(overshoot the minimum)的现象。在本实施例中,采用梯度下降法中,公式(4)中的α可以如下计算:
α=base×gfloor(iter/stepsize) (6)
公式(6)中,iter是迭代次数;stepsize是个固定值,可以取为30000;base为基本学习率,可以取为0.0001;g是一个固定参数,可以取为0.5。
深度学习中,由于参数庞大,尤其对于数据集比较小时,非常容易发生过拟合(overfitting)。其直观的表现是,随着训练过程的进行,模型复杂度增加,在训练集上的错误渐渐减小,但是在验证集上的错误却反而渐渐增大,因为训练出来的网络过拟合了训练集,对训练集外的数据却不起效。
由于乳腺超声波图像的收集非常困难,很难获得比较大的数据集,所以过拟合是一个紧急需要解决位问题。由奥卡姆剃刀法则可知,更小的权值w,从某种意义上说,表示网络的复杂度更低,对数据的拟合越好,正则化是通过约束参数的范数使其不要太大,所以可以在一定程度上减少过拟合情况。因此,在原始的代价函数后面增加上一个L1正则项:
表达式(7)中,C为优化的反向传播算法的代价函数,C0表示原始的代价函数,可以指前面的J(θ),表示L1正则项,对表达式(7)进行对w求导数,得到:
表达式(8)中,sgn(w)表示w的符号,那么权重w的更新规则为:w>0,sgn(w)=1;w=0,sgn(w)==;w<0,sgn(w)=-1。具体更新如下:
比原始的更新规则多了这一项。当w为正时,更新后的w变小,当w为负时,更新后的w变大。因此它的效果就是让w往0靠,使网络中的权重尽可能为0,也就相当于减小了网络复杂度,防止过拟合。
此外,还可以在原始的代价函数后面增加上一个L2正则项:
表达式(9)中,C为优化的反向传播算法的代价函数,C0表示原始的代价函数,可以指前面的J(θ),表示L2正则项,对表达式(9)进行对w求导数,得到:
表达式(10)中,可以发现L2正则项对b的更新没有影响,但是对于w的更新有影响,具体更新如下:
(11)中,在不使用L2正则项时,求导结果中w前的系数为1,现在w前面系数为因为η、λ、n都是正数,所以小于1,它的效果是减小w,即权重系数衰减,通过调整权重系数,来达到满意的效果。
以上L1、L2正则化是通过修改代价函数来实现的,而Dropout则是通过修改神经网络本身来实现的,它是在训练网络时用的一种技巧(trike)。它的流程为:假设要训练图3所示的(a)神经网络,在训练开始时,随机地“删除”一半的隐层单元,视它们为不存在,得到如图3所示的(b)神经网络。保持输入输出层不变,按照BP算法更新(a)神经网络中的权值,(b)中虚线连接的单元不更新,因为它们被“临时删除”。
根据以上的分析以及本实施例数据集实际状况,本实施例将采用L1和L2以及Dropout相结合的方式来防止过拟合。在本实施例中,设置L2的惩罚权重为weight_decay,取为0.0005。
区域建议网络(Region Proposal Network,RPN)将一个图像(任意大小)作为输入,输出矩形目标建议框的集合,每个框有一个objectness得分。用全卷积网络对这个过程构建模型。RPN的最终目标是和基于区域的卷积神经网络(Fast R-CNN,Region basedConvolutional Neural Network)目标检测网络共享计算,所以这两个网络共享一系列卷积层。
现在比较著名的深度学习分类网络有alexnet,googLnet,VGG,ZF,VGG等,在本实施例中,从中挑选了比较适合数据集的2个模型,一个简单一些的Zeiler和Fergus的模型(ZF),它有5个可共享的卷积层,以及一个复杂一些的Simonyan和Zisserman的模型(VGG),它有13个可共享的卷积层。并采用这两个网络作为特征提取及候选框生成。
分别对ZF和VGG网络进行修改,参考faster-RCNN的方式,将conv后的部分去掉,换成RPN网络,并在最后一个conv和RPN网络间加一个映射网络,这个网络全连接到输入卷积特征映射的nxn的空间窗口上。每个滑动窗口映射到一个低维向量上(对于ZF是256-d,对于VGG是512-d,每个特征映射的一个滑动窗口对应一个数值)。这个向量输出给两个同级的全连接的层—包围盒回归层(reg)和包围盒分类层(cls)。本实施例中n=3,注意图像的有效感受野很大(ZF是171像素,VGG是228像素)。由于小网络是滑动窗口的形式,所以全连接的层(nxn的)被所有空间位置共享(指所有位置用来计算内积的nxn的层参数相同)。这种结构实现为nxn的卷积层,后接两个同级的1x1的卷积层(分别对应reg和cls),ReLU应用于nxn卷积层的输出。以此生成第一区域建立网络。
步骤S210:以所述第一区域建议网络模输出的多个建议框作为输入,训练基于区域的卷积神经网络。
步骤S220:根据所述基于区域的神经网络的参数初始化与所述基于区域的卷积神经网络共享卷积层的第二区域建议网络。
步骤S230:固定所述卷积层的参数,更新所述第二区域建议网络的网络层及更新所述基于区域的卷积神经网络的网络层,以此重新训练所述第二区域建议网络的网络层及所述基于区域的卷积神经网络,获得预设的区域建议网络模型和预设的卷积神经网络模型。
例如,用ImageNet模型初始化,训练一个RPN网络,利用ImageNet模型初始化,以上述RPN网络产生的多个建议框作为输入,训练一个Fast–RCNN网络,至此,两个网络每一层的参数完全不共享;根据Fast–RCNN的参数初始化一个新的RPN网络,设置RPN、Fast–RCNN共享的卷积层的学习因子为0,更新RPN特有的网络层,重新训练,此时,两个网络已经共享了所有公共的卷积层;再把Fast-RCNN特有的网络层也加入进来,继续训练,获得特有网络模型。
在本实施例中,对于良性结节超声波图像,实施例中采用191例作为训练集,185例作为验证集,97例作为测试集。对于恶性肿块超声波图像,本文采用239例作为训练集,160例作为验证集,58例作为测试集。结果如图4所示的某一超声波图像,方框里面表示肿瘤,结果显示检测到了肿瘤。此外,定义2个重要指标,平均准确率(ARP,average precisionrate)和平均召回率(average recall ate,ARR),针对于良性结节和恶性肿瘤检测,对比几种方法各自得到的ARP和ARR结果如图5所示。
步骤S240:获取待检测的超声波图像。
所述待检测的超声波图像为乳腺超声波图像,所述目标对象为肿瘤。
步骤S250:根据预设的目标检测网络模型对所述待检测的超声波图像进行检测,获取所述待检测的超声波图像中的目标对象。
基于步骤S250,进一步地,所述预设的目标检测网络模型包括预设的区域建议网络模型和与所述预设的区域建议网络模型共享卷积层的预设的卷积神经网络模型,根据所述预设的区域建议网络模型对所述待检测的超声波图像进行特征提取,获得多个目标建议区域;根据所述预设的卷积神经网络模型对所述多个目标建议区域进行检测,获取所述目标建议区域中对应的目标对象。
本发明实施例提供了一种图像的检测方法,获取待检测的超声波图像,再根据预设的目标检测网络模型对所述待检测的超声波图像进行检测,获取所述待检测的超声波图像中的目标对象,以此实现自动检测到超声波图像中的目标对象,操作简单,精度高,耗费时间少。
第二实施例
请参阅图6,本发明实施例提供了一种图像的检测装置300,所示装置300包括建议网络训练单元310、卷积神经网络训练单元320、初始化单元330、更新单元340、获取单元350和检测单元360。
建议网络训练单元310,用于以获取到的多个超声波图像为训练数据,通过优化的反向传播算法对区域建议网络进行训练,获得第一区域建议网络。
建议网络训练单元310包括建议网络训练子单元311。
建议网络训练子单元311,用于以获取到的多个超声波图像为训练数据,利用Dropout对所述区域建议网络进行修改,通过优化的反向传播算法对修改后的区域建议网络进行训练,获得第一区域建立网络。
建议网络训练子单元311可以包括修改子单元312。
修改子单元312,用于以获取到的多个超声波图像为训练数据,利用Dropout对所述区域建议网络进行修改,通过优化的反向传播算法对修改后的区域建议网络进行训练,获得第一区域建立网络。
所述优化的反向传播算法的代价函数为基于在原始的代价函数上增加L1正则项或L2正则项。
卷积神经网络训练单元320,用于以所述第一区域建议网络模输出的多个建议框作为输入,训练基于区域的卷积神经网络。
初始化单元330,用于根据所述基于区域的神经网络的参数初始化与所述基于区域的卷积神经网络共享卷积层的第二区域建议网络。
更新单元340,用于固定所述卷积层的参数,更新所述第二区域建议网络的网络层及更新所述基于区域的卷积神经网络的网络层,以此重新训练所述第二区域建议网络的网络层及所述基于区域的卷积神经网络,获得预设的区域建议网络模型和预设的卷积神经网络模型。
获取单元350,用于获取待检测的超声波图像。
检测单元360,用于根据预设的目标检测网络模型对所述待检测的超声波图像进行检测,获取所述待检测的超声波图像中的目标对象。
所述待检测的超声波图像为乳腺超声波图像,所述目标对象为肿瘤。
所述检测单元360可以包括特征提取单元361和检测子单元362。
特征提取子单元361,用于根据所述预设的区域建议网络模型对所述待检测的超声波图像进行特征提取,获得多个目标建议区域。
检测子单元362,用于根据所述预设的卷积神经网络模型对所述多个目标建议区域进行检测,获取所述目标建议区域中对应的目标对象。
以上各单元可以是由软件代码实现,此时,上述的各单元可存储于存储器102内。以上各单元同样可以由硬件例如集成电路芯片实现。
本发明实施例提供的图像的检测装置300,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种图像的检测方法,其特征在于,所述方法包括:
获取待检测的超声波图像;
根据预设的目标检测网络模型对所述待检测的超声波图像进行检测,获取所述待检测的超声波图像中的目标对象。
2.根据权利要求1所述的方法,其特征在于,所述预设的目标检测网络模型包括预设的区域建议网络模型和与所述预设的区域建议网络模型共享卷积层的预设的卷积神经网络模型,所述根据预设的目标检测网络模型对所述待检测的超声波图像进行检测,获取所述待检测的超声波图像中的目标对象,包括:
根据所述预设的区域建议网络模型对所述待检测的超声波图像进行特征提取,获得多个目标建议区域;
根据所述预设的卷积神经网络模型对所述多个目标建议区域进行检测,获取所述目标建议区域中对应的目标对象。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
以获取到的多个超声波图像为训练数据,通过优化的反向传播算法对区域建议网络进行训练,获得第一区域建议网络;
以所述第一区域建议网络模输出的多个建议框作为输入,训练基于区域的卷积神经网络;
根据所述基于区域的神经网络的参数初始化与所述基于区域的卷积神经网络共享卷积层的第二区域建议网络;
固定所述卷积层的参数,更新所述第二区域建议网络的网络层及更新所述基于区域的卷积神经网络的网络层,以此重新训练所述第二区域建议网络的网络层及所述基于区域的卷积神经网络,获得预设的区域建议网络模型和预设的卷积神经网络模型。
4.根据权利要求3所述的方法,其特征在于,所述以获取到的多个超声波图像为训练数据,通过优化的反向传播算法对区域建议网络进行训练,获得第一区域建议网络,包括:
以获取到的多个超声波图像为训练数据,利用Dropout对所述区域建议网络进行修改,通过优化的反向传播算法对修改后的区域建议网络进行训练,获得第一区域建立网络。
5.根据权利要求3所述的方法,其特征在于,所述优化的反向传播算法的代价函数为基于在原始的代价函数上增加L1正则项或L2正则项。
6.根据权利要求1所述的方法,其特征在于,所述待检测的超声波图像为乳腺超声波图像,所述目标对象为肿瘤。
7.一种图像的检测装置,其特征在于,所述装置包括:
获取单元,用于获取待检测的超声波图像;
检测单元,用于根据预设的目标检测网络模型对所述待检测的超声波图像进行检测,获取所述待检测的超声波图像中的目标对象。
8.根据权利要求7所述的装置,其特征在于,所述预设的目标检测网络模型包括预设的区域建议网络模型和与所述预设的区域建议网络模型共享卷积层的预设的卷积神经网络模型,所述检测单元包括:
特征提取子单元,用于根据所述预设的区域建议网络模型对所述待检测的超声波图像进行特征提取,获得多个目标建议区域;
检测子单元,用于根据所述预设的卷积神经网络模型对所述多个目标建议区域进行检测,获取所述目标建议区域中对应的目标对象。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括:
建议网络训练单元,用于以获取到的多个超声波图像为训练数据,通过优化的反向传播算法对区域建议网络进行训练,获得第一区域建议网络;
卷积神经网络训练单元,用于以所述第一区域建议网络模输出的多个建议框作为输入,训练基于区域的卷积神经网络;
初始化单元,用于根据所述基于区域的神经网络的参数初始化与所述基于区域的卷积神经网络共享卷积层的第二区域建议网络;
更新单元,用于固定所述卷积层的参数,更新所述第二区域建议网络的网络层及更新所述基于区域的卷积神经网络的网络层,以此重新训练所述第二区域建议网络的网络层及所述基于区域的卷积神经网络,获得预设的区域建议网络模型和预设的卷积神经网络模型。
10.根据权利要求9所述的装置,其特征在于,所述建议网络训练单元包括:
建议网络训练子单元,用于以获取到的多个超声波图像为训练数据,利用Dropout对所述区域建议网络进行修改,通过优化的反向传播算法对修改后的区域建议网络进行训练,获得第一区域建立网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710596100.9A CN107369154B (zh) | 2017-07-19 | 2017-07-19 | 图像的检测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710596100.9A CN107369154B (zh) | 2017-07-19 | 2017-07-19 | 图像的检测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107369154A true CN107369154A (zh) | 2017-11-21 |
CN107369154B CN107369154B (zh) | 2020-05-05 |
Family
ID=60307470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710596100.9A Active CN107369154B (zh) | 2017-07-19 | 2017-07-19 | 图像的检测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107369154B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108052881A (zh) * | 2017-11-30 | 2018-05-18 | 华中科技大学 | 一种实时检测施工现场图像中多类实体对象的方法及设备 |
CN108171694A (zh) * | 2017-12-28 | 2018-06-15 | 深圳开立生物医疗科技股份有限公司 | 基于卷积神经网络的结节检测方法、系统及设备 |
CN108416394A (zh) * | 2018-03-22 | 2018-08-17 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
CN108846828A (zh) * | 2018-05-04 | 2018-11-20 | 上海交通大学 | 一种基于深度学习的病理图像目标区域定位方法及系统 |
CN109034245A (zh) * | 2018-07-27 | 2018-12-18 | 燕山大学 | 一种利用特征图融合的目标检测方法 |
CN109620293A (zh) * | 2018-11-30 | 2019-04-16 | 腾讯科技(深圳)有限公司 | 一种图像识别方法、装置以及存储介质 |
CN110826555A (zh) * | 2019-10-12 | 2020-02-21 | 天津大学 | 一种人机协同的图像目标检测数据半自动标注方法 |
CN111103629A (zh) * | 2018-10-25 | 2020-05-05 | 杭州海康威视数字技术股份有限公司 | 一种目标检测方法、装置、nvr设备及安检系统 |
CN111222646A (zh) * | 2019-12-11 | 2020-06-02 | 深圳逻辑汇科技有限公司 | 联邦学习机制的设计方法、装置和存储介质 |
CN114742796A (zh) * | 2022-04-11 | 2022-07-12 | 平安科技(深圳)有限公司 | 一种乳腺超声结节检测方法、装置、电子设备及存储介质 |
CN114842196A (zh) * | 2022-05-07 | 2022-08-02 | 南京大学 | 一种雷达射频图像目标检测方法 |
US11937973B2 (en) | 2018-05-31 | 2024-03-26 | Mayo Foundation For Medical Education And Research | Systems and media for automatically diagnosing thyroid nodules |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021539A (zh) * | 2013-02-28 | 2014-09-03 | 北京三星通信技术研究有限公司 | 用于在超声图像中自动检测肿瘤的系统 |
CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
CN106599939A (zh) * | 2016-12-30 | 2017-04-26 | 深圳市唯特视科技有限公司 | 一种基于区域卷积神经网络的实时目标检测方法 |
-
2017
- 2017-07-19 CN CN201710596100.9A patent/CN107369154B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021539A (zh) * | 2013-02-28 | 2014-09-03 | 北京三星通信技术研究有限公司 | 用于在超声图像中自动检测肿瘤的系统 |
CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
CN106599939A (zh) * | 2016-12-30 | 2017-04-26 | 深圳市唯特视科技有限公司 | 一种基于区域卷积神经网络的实时目标检测方法 |
Non-Patent Citations (3)
Title |
---|
AYELET AKSELROD-BALLIN ET AL: "A Region Based Convolutional Network for Tumor Detection and Classification in Breast Mammography", 《DLMIA 2016/LABELS 2016: DEEP LEARNING AND DATA LABELING FOR MEDICAL》 * |
SHAOQING REN ET AL: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《NIPS 2015》 * |
苏燕妮 等: "乳腺肿瘤超声图像中感兴趣区域的自动检测", 《中国生物医学工程学报》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108052881A (zh) * | 2017-11-30 | 2018-05-18 | 华中科技大学 | 一种实时检测施工现场图像中多类实体对象的方法及设备 |
CN108171694A (zh) * | 2017-12-28 | 2018-06-15 | 深圳开立生物医疗科技股份有限公司 | 基于卷积神经网络的结节检测方法、系统及设备 |
CN108416394B (zh) * | 2018-03-22 | 2019-09-03 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
CN108416394A (zh) * | 2018-03-22 | 2018-08-17 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
CN108846828A (zh) * | 2018-05-04 | 2018-11-20 | 上海交通大学 | 一种基于深度学习的病理图像目标区域定位方法及系统 |
US11937973B2 (en) | 2018-05-31 | 2024-03-26 | Mayo Foundation For Medical Education And Research | Systems and media for automatically diagnosing thyroid nodules |
CN109034245A (zh) * | 2018-07-27 | 2018-12-18 | 燕山大学 | 一种利用特征图融合的目标检测方法 |
CN111103629A (zh) * | 2018-10-25 | 2020-05-05 | 杭州海康威视数字技术股份有限公司 | 一种目标检测方法、装置、nvr设备及安检系统 |
CN109620293A (zh) * | 2018-11-30 | 2019-04-16 | 腾讯科技(深圳)有限公司 | 一种图像识别方法、装置以及存储介质 |
CN109620293B (zh) * | 2018-11-30 | 2020-07-07 | 腾讯科技(深圳)有限公司 | 一种图像识别方法、装置以及存储介质 |
CN110826555A (zh) * | 2019-10-12 | 2020-02-21 | 天津大学 | 一种人机协同的图像目标检测数据半自动标注方法 |
CN111222646A (zh) * | 2019-12-11 | 2020-06-02 | 深圳逻辑汇科技有限公司 | 联邦学习机制的设计方法、装置和存储介质 |
CN114742796A (zh) * | 2022-04-11 | 2022-07-12 | 平安科技(深圳)有限公司 | 一种乳腺超声结节检测方法、装置、电子设备及存储介质 |
CN114842196A (zh) * | 2022-05-07 | 2022-08-02 | 南京大学 | 一种雷达射频图像目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107369154B (zh) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107369154A (zh) | 图像的检测方法及装置 | |
CN104318259B (zh) | 一种识别目标图片的设备、方法以及计算设备 | |
CN110163215A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
WO2020228522A1 (zh) | 目标跟踪方法、装置、存储介质及电子设备 | |
US20210325343A1 (en) | Information processing apparatus, information processing method, learned model generation method, and program | |
CN108304388A (zh) | 机器翻译方法及装置 | |
CN113190757A (zh) | 多媒体资源推荐方法、装置、电子设备及存储介质 | |
CN112232506B (zh) | 网络模型训练方法、图像目标识别方法、装置和电子设备 | |
CN108229658B (zh) | 基于有限样本的物体检测器的实现方法及装置 | |
CN109961001A (zh) | 对空间成像数据的自适应处理 | |
WO2022126480A1 (zh) | 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置 | |
WO2023000491A1 (zh) | 一种应用推荐方法、装置、设备及计算机可读存储介质 | |
CN113065593A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
CN110956131A (zh) | 单目标追踪方法、装置及系统 | |
CN111126262A (zh) | 基于图神经网络的视频精彩片段检测方法及装置 | |
US20160110356A1 (en) | Hash table construction for utilization in recognition of target object in image | |
CN115131604A (zh) | 一种多标签图像分类方法、装置、电子设备及存储介质 | |
Ishikawa et al. | Audio-visual hybrid approach for filling mass estimation | |
CN109104257B (zh) | 一种无线信号检测方法及装置 | |
CN117036894A (zh) | 基于深度学习的多模态数据分类方法、装置及计算机设备 | |
CN114419378B (zh) | 图像分类的方法、装置、电子设备及介质 | |
CN110880018B (zh) | 一种卷积神经网络目标分类方法 | |
WO2023185925A1 (zh) | 一种数据处理方法及相关装置 | |
CN110110628B (zh) | 一种频率综合器劣化的检测方法及检测设备 | |
CN115543115A (zh) | 触控操作识别方法、装置及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |