CN111598882B - 器官检测方法、装置及计算机设备 - Google Patents
器官检测方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN111598882B CN111598882B CN202010424977.1A CN202010424977A CN111598882B CN 111598882 B CN111598882 B CN 111598882B CN 202010424977 A CN202010424977 A CN 202010424977A CN 111598882 B CN111598882 B CN 111598882B
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- images
- map
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000056 organ Anatomy 0.000 title claims abstract description 113
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000002591 computed tomography Methods 0.000 claims description 241
- 238000000034 method Methods 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 63
- 238000010586 diagram Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 37
- 230000006870 function Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 108091006146 Channels Proteins 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010016654 Fibrosis Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007882 cirrhosis Effects 0.000 description 1
- 208000019425 cirrhosis of liver Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012753 partial hepatectomy Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请提出了一种器官检测方法、装置及计算机设备,对待检测对象的多幅时间连续的CT图像进行特征提取,得到每一个CT图像对应的多个特征图,并输入区域生成网络后,并未直接对多个特征图进行目标器官的候选检测框的提取,而是对该CT图像的多个特征图进行处理,得到一幅目标检测准确度更加高的特征指导图,利用该特征指导图,对相应该CT图像对应的多个特征图进行过滤,以得到该CT图像对应的精准度较高的多个目标特征图,从而基于这些目标特征图,实现CT图像中目标器官的检测定位,提高了目标器官的定位检测准确性,且提升了对特征提取的可解释性。
Description
技术领域
本申请主要涉及图像处理技术领域,更具体地说是涉及一种器官检测方法、装置及计算机设备。
背景技术
目前,在肿瘤切除、器官移植等医学影像分析过程中,通常需要先在上腹器官的计算机断层扫描(CT)图像中,检测出各CT图像中的目标器官,才能够保证后续图像处理的准确性及效率。
然而,由于器官与组织之间的强度相似,容易导致对不同器官的错误识别,且如大肿瘤、肝硬化或者部分肝切除后的疤痕等严重的病理,会导致无法准确检测出完整的目标器官,进而影响后续图像处理的效率。
发明内容
有鉴于此,为了提高器官检测准确率,本申请提供了以下技术方案:
一方面,本申请提出了一种器官检测方法,所述方法包括:
获取待检测对象的多幅连续的计算机断层扫描CT图像;
对各CT图像进行特征提取,得到各CT图像分别对应的多个特征图;
将同一CT图像对应的多个特征图输入区域生成网络进行处理,得到相应CT图像的特征指导图;
利用所述特征指导图,对相应CT图像对应的多个特征图进行过滤,得到所述CT图像的多个目标特征图;
基于所述多个目标特征图,定位相应CT图像中的目标器官。
可选的,所述将同一CT图像对应的多个特征图输入区域生成网络进行处理,得到相应CT图像的特征指导图,包括:
对同一CT图像对应的多个特征图进行前后景图像分类,得到所述CT图像的多个前景特征图;
对同一CT图像对应的多个特征图进行回归处理,得到所述CT图像的多个区域特征图,所述区域特征图包含有目标器官的候选检测框;
对同一CT图像对应的所述多个前景特征图和所述多个区域特征图进行融合处理,得到相应CT图像的特征指导图。
可选的,所述对同一CT图像对应的所述多个前景特征图和所述多个区域特征图进行融合处理,得到相应CT图像的特征指导图,包括:
按照深度方向,对同一CT图像对应的所述多个前景特征图和所述多个区域特征图进行累加处理,得到相应CT图像的特征指导图。
可选的,所述利用所述特征指导图,对相应CT图像对应的多个特征图进行过滤,得到所述CT图像的目标特征图,包括:
获取针对所述待检测对象的多幅CT图像的特征图打分表,所述特征图打分表包含多个特征图分数,所述特征图分数的数量与每一个所述CT图像提取到的所述特征图的数量相同;
利用所述特征指导图与相应CT图像对应的多个特征图的比较结果,更新所述特征图打分表中相应特征图分数;
从所述CT图像对应的多个特征图中,确定小于分数阈值的更新后的特征图分数对应的特征图为待过滤特征图;
将所述待过滤特征图更新为所述CT图像对应的特征指导图,得到所述CT图像的多个目标特征图。
可选的,所述利用所述特征指导图与相应CT图像对应的多个特征图的比较结果,更新所述特征图打分表中相应特征图分数,包括:
利用所述特征指导图与相应CT图像对应的多个特征图的比较结果,得到相应特征图的评分权重;
利用所述多个特征图各自对应的所述评分权重,更新所述特征图打分表中相应特征图分数。
可选的,所述利用所述特征指导图与相应CT图像对应的多个特征图的比较结果,得到相应特征图的评分权重,包括:
获取同一CT图像对应的所述多个特征图与所述特征指导图的相似度;
利用所述相似度,得到相应特征图的特征分数;
对多个特征分数进行归一化处理,得到相应特征图的评分权重。
可选的,在确定所述待过滤特征图之后,所述方法还包括:
利用所述CT图像的特征指导图,对所述待过滤特征图进行修正;
将所述修正后的待过滤特征图,以及相应CT图像对应的未过滤特征图,确定为所述CT图像的目标特征图,所述未过滤特征图是指不小于所述分数阈值的更新后的特征图分数对应的特征图。
可选的,所述基于所述多个目标特征图,定位相应CT图像中的目标器官,包括:
利用所述区域生成网络中的多个卷积层对所述多个目标特征图进行处理,得到目标器官的多个候选区域以及每个所述候选区域的区域分数;
对所述多个候选区域进行回归处理,利用回归处理结果,对相应的候选区域进行修正;
选择区域分数较大的预设数量个修正后的候选区域为指导区域;
利用神经网络中的池化层,对所述指导区域及相应CT图像的多个特征图进行处理,得到所述指导区域在所述特征图中对应的指导区域特征;
将所述指导区域特征输入所述神经网络中的全链接层进行处理,利用得到的处理结果,得到相应CT图像中的目标器官的位置信息。
又一方面,本申请还提出了一种器官检测装置,所述装置包括:
CT图像获取模块,用于获取待检测对象的多幅连续的计算机断层扫描CT图像;
特征提取模块,用于对各CT图像进行特征提取,得到各CT图像分别对应的多个特征图;
特征指导图得到模块,用于将同一CT图像对应的多个特征图输入区域生成网络进行处理,得到相应CT图像的特征指导图;
特征图过滤模块,用于利用所述特征指导图,对相应CT图像对应的多个特征图进行过滤,得到所述CT图像的目标特征图;
器官定位模块,用于基于所述目标特征图,定位相应CT图像中的目标器官。
又一方面,本申请还提出了一种计算机设备,所述计算机设备包括:
存储器,用于存储实现如上述的器官检测方法的程序;
处理器,用于加载并执行所述存储器存储的所述程序,以实现如上述的器官检测方法的各个步骤。
由此可见,与现有技术相比,本申请提供了一种器官检测方法、装置及计算机设备,对待检测对象的多幅时间连续的CT图像进行特征提取,得到每一个CT图像对应的多个特征图,并输入区域生成网络后,并未直接对多个特征图进行目标器官的候选检测框的提取,而是对该CT图像的多个特征图进行处理,得到一幅目标检测准确度更加高的特征指导图,利用该特征指导图,对相应该CT图像对应的多个特征图进行过滤,以得到该CT图像对应的精准度较高的多个目标特征图,从而基于这些目标特征图,实现CT图像中目标器官的检测定位,提高了目标器官的定位检测准确性,且提升了对特征提取的可解释性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本申请提出的器官检测方法的一可选示例的流程示意图;
图2示出了本申请提出的器官检测方法的又一可选示例的流程示意图;
图3示出了本申请提出的器官检测方法的又一可选示例的流程示意图;
图4示出了本申请提出的器官检测方法的又一可选示例的流程示意图;
图5示出了本申请提出的器官检测方法中,一种特征打分机制可选示例的应用流程示意图;
图6示出了本申请提出的器官检测装置的一可选示例的结构示意图;
图7示出了本申请提出的器官检测装置的又一可选示例的结构示意图;
图8示出了本申请提出的器官检测装置的又一可选示例的结构示意图;
图9示出了本申请提出的计算机设备的一可选示例的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
应当理解,本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换该词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外,本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
针对背景技术部分提出的现有技术,提出利用Faster R-CNN(Region-Convolutional Neural Networks,基于区域的卷积神经网络)这种两阶段通用目标检测框架,实现器官检测。且,针对计算机断层扫描(Computed Tomography,CT)图像的特殊性,在使用该Faster R-CNN进行器官检测过程中,除了考虑上下文信息,还可以通过反卷积操作和跳跃连接等,将不同层次特征图结合起来,或者是利用注意力门控网络(Attention gatenetwork,AG)生成门控信号,来定位局部和全局信息,以提高器官检测准确性。
然而,在实际应用中,不同分辨率的特征图的组合和生成,通常需要复杂的连接操作,这会增加运算量,降低检测效率,且缺乏对特征提取的可解释性,这在一定程度上会影响器官检测结果。
为了进一步改善上述器官检测方法,本申请考虑到CT图像的特殊性,并可以特征分布相对稳定的上腹部作为待检测对象,将上腹部器官分布的特殊性作为先验特征,去指导整个目标检测过程,显著提升器官的检测和准确定位,并针对每一个CT图像,构建一幅有效的特征指导图,实现对该CT图像对应的多个特征图中,无法准确提取目标器官的特征图的过滤,使得整个指导过程更加透明和可解释,从而提升整个模型的可解释性。具体实现过程可以参照下文实施例相应部分的描述。
参照图1,为本申请提出的器官检测方法的一可选示例的流程示意图,该方法可以适用于计算机设备,该计算机设备可以是服务器,或者是具有一定数据处理能力的终端设备,如智能手机、平板电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、台式计算机等,本申请对计算机设备的设备类型不做限定。如图1所示,本实施例提出的器官检测方法可以包括:
步骤S11,获取待检测对象的多幅连续的计算机断层扫描CT图像;
在实际应用中,对被扫描对象(如患者的患病部位的待检测器官)进行CT扫描,通常会得到时间连续的一系列CT图像,本申请对该CT图像的来源及其获取方式不做限定,如可以是CT设备扫描到待检测器官的多幅连续的CT图像后,直接上传至计算机设备,也可以是通过其他电子设备转发至计算机设备等等,可以根据实际应用场景确定。
步骤S12,对各CT图像进行特征提取,得到各CT图像分别对应的多个特征图;
本申请实际应用中,得到上述多幅CT图像后,可以将其输入如上述提出的FasterR-CNN网络,由该网络的多个卷积层对每一幅CT图像进行卷积处理,得到该CT图像的多个特征图,即利用卷积网络实现对CT图像的特征提取,具体实现过程本申请不做详述。
步骤S13,将同一CT图像对应的多个特征图输入区域生成网络进行处理,得到相应CT图像的特征指导图;
通常情况下,区域生成网络(Region Proposal Network,RPN)是用来提取候选框的网络,可以应用到Faste R-CNN网络中,即将物体检测整个流程融入到一个神经网络中,得到Faster R-CNN网络结构,以提高目标检测的效率及准确性,本申请对该区域生成网络的工作原理不做详述。
而在本申请中,针对每一个CT图像,经过上述特征提取操作,得到相应的多个特征图(feature map)后,可以将这多个特征图输入RPN进行处理,不仅仅是提取各特征图的候选检测框,而是生成一幅针对该CT图像的高层的特征指导图,即能够更加精准地表征该CT图像上前景类别,以及各候选检测框的位置的特征图,具体实现过程本实施例不做详述。
步骤S14,利用该特征指导图,对相应CT图像对应的多个特征图进行过滤,得到该CT图像的目标特征图;
在一些实施例中,本申请可以对CT图像对应的特征指导图,与该CT图像对应的多个特征图分别进行相似度计算,从而依据相似度大小,实现对这多个特征图的过滤,即过滤相似度较低的特征图,将剩余的特征图记为该CT图像的目标特征图。
本申请对上述特征指导图及特征图之间的相似度计算方法不做限定,可以根据实际需求,灵活选择,本申请不做一一详述。当然,关于步骤S14的具体实现过程,也并不局限于上文描述的实现方法。
在本申请实际应用中,按照上述方式得到的每一个CT图像的目标特征图通常包括多个特征图(如相似度较高的多个特征图),以使如Faster-R-CNN的后续网络对各CT图像分别对应的目标特征图继续进行处理,以实现对目标器官的定位检测。
步骤S15,基于目标特征图,定位相应CT图像中的目标器官。
结合Faster-R-CNN网络的工作原理,按照上述处理方式得到各CT图像分别对应的准确性较高的目标特征图后,可以利用RPN网络的其他层,如卷积层、全链接层等继续对得到的每一个CT图像对应的多个目标特征图进行处理,以得到估测评分较高的待检测对象的候选区域为指导区域,之后,可以将这些指导区域与各CT图像对应多个特征图输入神经网络的池化层进行处理,以得到该指导区域在特征图中的指导区域特征,进而输入神经网络的全链接层进行处理,以实现对各CT图像中目标器官的位置信息,根据需要在各CT图像上输出目标器官的检测框,以便在具体应用场景下,用户能够直观看到各CT图像上的目标器官的位置。
可见,针对Faster-R-CNN网络的目标检测原理,本申请在传统的RPN网络中增加了特征指导分支(Feature Guidance Branch,FGB),对从CT图像直接提取得到的多个特征图进行过滤,得到更加精准的多个目标特征图后,再由RPN网络的其他网络层继续处理,以实现候选区域的提取,相对于传统的RPN网络直接将从CT图像提取的多个特征图输入各网络层进行处理,得到候选区域的实现方法,提高了所得候选区域的准确性,进而提高了Faste-R-CNN利用提取到的候选区域,实现目标器官检测的准确性。
基于上述分析,在一些实施例中,上述步骤S15可以采用以下方式实现,但并不局限于这种实现方式:
对于任一幅CT图像的多个目标特征图,可以利用区域生成网络中的多个卷积层对这多个目标特征图进行处理,得到目标器官的多个候选区域,以及每个候选区域的区域分数后,可以对这多个候选区域进行回归处理,利用回归处理结果,对相应的候选区域进行修正,具体实现过程不做详述,之后,可以选择区域分数较大的预设数量个修正后的候选区域为指导区域,从而利用神经网络中的池化层,对指导区域及相应CT图像的多个特征图进行处理,得到指导区域在特征图中对应的指导区域特征,进而将得到的指导区域特征输入后续的网络,即神经网络的全链接层进行处理,利用得到的处理结果,得到相应CT图像中的目标器官的位置信息,关于神经网络的池化层和全链接层对输入数据的具体处理过程,本申请不做详述。
综上,本实施例中,对待检测对象的多幅时间连续的CT图像进行特征提取,得到每一个CT图像对应的多个特征图,并输入区域生成网络后,并未直接对多个特征图进行特征提取,以获取指导候选区域,而是对多个特征图进行处理,得到一幅精准度更加高的特征指导图,来对相应该CT图像对应的多个特征图进行过滤,以得到该CT图像对应的精准度较高的目标特征图,之后,将利用这些目标特征图,实现CT图像中目标器官的定位,相对于传统Faster-R-CNN网络直接利用从CT图像提取的多个特征图,实现目标器官的检测定位,提高了目标器官的定位检测准确性,且提升了模型的可解释性。
参照图2,为本申请提出的器官检测方法的又一可选示例的流程示意图,本实施例可以是对上述实施例描述的器官检测方法的一可选细化实现方式,但并不局限于这种细化实现方式,如图2所示,该方法可以包括:
步骤S21,获取待检测对象的多幅连续的计算机断层扫描CT图像;
步骤S22,对各CT图像进行特征提取,得到各CT图像分别对应的多个特征图;
关于步骤S21和步骤S22的实现过程,可以参照上述实施例相应部分的描述,本实施例不再赘述。
步骤S23,对同一CT图像对应的多个特征图进行前后景图像分类,得到该CT图像的多个前景特征图;
在一些实施例中,将得到每一个CT图像对应的多个特征图输入区域生成网络后,可以对各特征图进行特征提取,再利用分类器对提取到的特征进行分类,以识别各特征图中的前景特征(即目标器官的特征)和后景特征(即背景特征),即实现前景特征与后景特征的分类,从而将一个特征图分类处理,得到其包含的前景特征图和后景特征图,本申请后续可以使用前景特征图,来得到指导特征图,因此,本实施例步骤仅对前景特征图进行了描述。
其中,对于实现对特征图的前后景图像分类,可以利用如softmax分类函数实现,本申请对步骤S23的具体实现过程不详述。需要说明的是,对于一幅CT图像的多个特征图,可能有些特征图并未包含目标器官,使得经过上述步骤S23的处理后,所得到的前景特征图的数量往往小于该CT图像的多个特征图的数量。
举例说明,假设上述得到的多个特征图可以是尺寸为H×W的C个通道的图像,关于特征图的宽和高的尺寸数值本申请不做限定,通常预设为固定尺寸,如H=51,W=39等,而图像通道数依据各卷积核的尺寸及采样要求确定,如C=256等,本申请对从CT图像中提取到的各特征图的H×W×C的具体数值不做限定。以上述H×W×256为例进行说明,经过步骤S23的处理,得到的每一个CT图像的前景特征图可以表示为H×W×9,即每一个CT图像可以得到9幅前景特征图,9幅后景特征图,但并不局限于9这个数值。
步骤S24,对同一CT图像对应的多个特征图进行回归处理,得到该CT图像的多个区域特征图;
本实施例得到每一个CT图像对应的多个特征图后,除了将其输入区域生成网络的分类层,得到该CT图像对应的多个前景特征图后,还可以将该CT图像对应的多个特征图输入边框回归层,实现目标器官的候选检测框的提取,还可以对各特征图包含的候选检测框进行归一化处理,以实现对候选检测框的修正,具体实现过程本申请不做详述。
结合上述分析,本申请按照上述处理得到的每一个CT图像的多个区域特征图中,包含有目标器官的候选检测框。通常情况下,每一个CT图像对应的多个区域特征图的数量,小于该CT图像对应的多个特征图的数量。仍以上述H×W×256的特征图为例进行说明,经过回归处理后,将得到该CT图的H×W×36个区域特征图。
应该理解的是,为了方便后续网络处理,得到特定尺寸的特征图后,后续对该特征图进行处理,无论得到什么图所具有的尺寸不变,这样,输入给后续网络的图像仍为特定尺寸,但本申请对该特定尺寸的大小不做限定,并不局限于上述举例的51×39。
步骤S25,对同一CT图像对应的多个前景特征图和多个区域特征图进行融合处理,得到相应CT图像的特征指导图;
由于上述多个区域特征图包含相对准确的候选检测框,且多个前景特征图和多个区域特征图的尺寸相同,这样,将这多个前景特征图和多个区域特征图直接进行累加融合过程中,可以对这多个区域特征图和多个前景特征图进行不断调整,以使得融合得到的特征指导图能够更加精准地输出目标器官的检测框。本申请对步骤S25的具体实现方法不做限定。
在一些实施例中,可以按照深度方向,对同一CT图像对应的多个前景特征图和多个区域特征图进行累加处理,得到相应CT图像的特征指导图,但并不局限于这种融合处理方法。
步骤S26,获取针对所述待检测对象的多幅CT图像的特征图打分表;
本申请中,可以根据经验以及待检测对象的特征分别特点等因素,来为预设数量个通道图中的每一个通道图,配置初始特征图分数,如上述C=256的情况,可以配置256个初始特征图分数,构成一个特征图打分表,且该特征图打分表中各初始特征图分数,可以按照通道顺序存储,以便后调用更新。
由此可见,该特征图打分表可以作为对这多幅CT图像中,每一幅CT图像的每一个特征图的准确性评分的打分指南,由于该特征图打分表包含多个特征图分数(该特征图打分表未使用之前,其包含的特征图分数为上述初始特征图分数),且该特征图分数的数量与每一个CT图像提取到的特征图的数量相同。
需要说明,本申请对上述特征图打分表的表示形式及其存储方式,以及其包含的初始特征图分数的确定方式均不作限定,可以根据实际需求灵活调整。
步骤S27,利用特征指导图与相应CT图像对应的多个特征图的比较结果,更新特征图打分表中相应特征图分数;
结合上文对特征指导图的分析可知,各CT图像分别对应的特征指导图,都是能够更加精准表明相应CT图像中的目标器官位置的特征图,所以,将该特征指导图与相应CT图像直接提取出的各特征图进行比较,能够利用该高层的特征指导图的语义和空间特征信息,指导底层特征图(即从CT图像中直接提取到的多个特征图)的特征提取,以提高该底层特征图中目标器官的检测框的精准度。
之后,本申请并未采用传统特征图过滤方式,即直接利用比较结果,提取精准度较高(即评分较高)的特征图为目标特征图,而是利用各CT图像中特征之间的关联关系,提出一种可解释性的特征评分机制,即特征指导分支FGB,针对每一个CT图像的特征指导图与对应的多个特征图的比较结果,将利用该比较结果,更新特征图打分表中相应位置的特征图分数,以使得本次更新后的特征图分数,能够包含本次处理的CT图像的各特征图的精准度的同时,也包含了上一个CT图像的各特征图的精准度。
也就是说,本申请顺次利用多幅连续CT图像各自的特征指导图,与相应特征图的比较结果,都是对该特征图打分表中相应位置的特征图分数进行更新,每对一幅CT图像执行一次特征指导评分,就会对该特征图打分表中相应位置的特征图分数更新一次,所以说,对特征图打分表中多个特征图分数的更新次数,与获取的待检测对象的CT图像的个数相同。
由此可见,本申请利用可视化的特征图分数,建立了各CT图像的特征图之间的关系,之后,可以利用该关系来提升模型的可解释性。
在一些实施例中,对于步骤S27的实现方式,可以利用利用特征指导图与相应CT图像对应的多个特征图的比较结果,得到相应特征图的评分权重,再利用多个特征图各自对应的评分权重,更新特征图打分表中相应特征图分数,如将该评分权重与特征图打分表中相应位置的特征图分数进行乘积,以实现对特征图分数的更新,得到新的特征图分数。这样,在得到下一个CT图像的各特征图的评分权重后,可以按照这种乘积的方式,继续对特征图打分表中的各特征图分数进行更新。本申请对上述各特征图的评分权重的获取方式不做限定。
步骤S28,从CT图像对应的多个特征图中,确定小于分数阈值的更新后的特征图分数对应的特征图为待过滤特征图;
继上述处理,利用每一个CT图像的特征指导图,与该CT图像的特征图的比较结果,更新特征打分表中相应位置的特征图分数后,可以利用更新后的多个特征图分数的大小,选择出小于分数阈值的更新后的特征图分数,并确定这类特征图分数对应的该CT图像的特征图,为了方便后续描述,可以将确定该特征图记为待过滤特征图,即目标器官的检测精准度较低的特征图。
在一些实施例中,本申请可以对特征打分表中更新后的多个特征图分数进行排序,再依据排序结果,确定出小于分数阈值的更新后的特征图分数对应的待过滤特征图。当然,在另一种可能的实现方式中,本申请也可以将特征打分表中更新后的每个特征图分数,与预设的分数阈值进行比较,确定出本次处理的CT图像的多个特征图中的待过滤特征图等等,本申请对上述步骤S28的具体实现过程不作限定。
需要说明,本申请对上述分数阈值的具体数值将其确定方式不做限定,在对不同CT图像的多个特征图进行过滤过程中,所依据的分数阈值的具体数值可以相同,也可以不同,本申请对此不做限定。
步骤S29,将待过滤特征图更新为CT图像对应的特征指导图,得到CT图像的多个目标特征图;
由于上述针对每一个CT图像确定出的待过滤特征图,无法准确检测目标器官,本实施例可以采用精准度更高的特征指导图,来替换这些待过滤特征图,以使得CT图像的目标特征图的数量,与该CT图像直接提取的多个特征图的数量相同。
需要说明,关于利用每一个CT图像的特征指导图,对该CT图像对应的多个特征图的过滤处理,并不局限于本实施例描述这种特征指导图替换方式,还可以利用该CT图像的特征指导图,对上述确定的待过滤特征图进行修正,之后,可以将修改后的待过滤特征图,以及相应CT图像对应的未过滤特征图,确定为该CT图像的目标特征图,该未过滤特征图是指不小于分数阈值的更新后的特征图分数对应的特征图。
步骤S210,基于多个目标特征图,定位相应CT图像中的目标器官。
关于步骤S210的具体实现过程,可以参照上述实施例相应部分的描述,本实施例不做赘述。
综上所述,参照图3所示的器官检测方法的又一可选流程示意图,对待检测对象的多幅连续CT图像进行特征提取,得到每一个CT图像对应的多个特征图(如图3中的H×W×C个特征图),并将多幅CT图像各自对应的特征图依次输入区域生成网络后,对于每一个CT图像对应的多个特征图,本实施例分别通过分类处理和回归处理,得到该CT图像的多个前景特征图(如图3中的H×W×9个前景特征图),以及呈现目标器官的候选检测框的多个区域特征图(如图3中的H×W×36个区域特征图),之后,通过对该多个前景特征图和多个区域特征图进行融合处理(如得到图3中H×W×45个特征图的过程),得到用于实现对CT图像的目标器官检测定位的高精准度的特征指导图(如图3中的H×W×1的特征指导图),之后,可以由特征RPN网络中的特征指导分支FGB,利用该特征指导图,实现对该CT图像对应的多个特征图的过滤处理,得到H×W×C个更加精准的目标特征图,以使得后续网络据此实现对目标器官的更准确分类定位。
其中,在对多个特征图进行过滤处理中,本实施例将利用各特征指导图与特征图的比较结果,对特征图打分表中的特征图分数进行不断更新,利用可视化的特征图分数,建立各特征图之间的关系,以提升模型的可解释性,并在每次更新后,利用相应CT图像的特征指导图,替换该CT图像对应的更新后的特征图分数较低的特征图,以使得到的该CT图像的多个目标特征图对目标器官检测的准确性更高。
参照图4,为本申请提出的器官检测方法的又一可选示例的流程示意图,本实施例可以是对上述实施例描述的器官检测方法的又一可选细化实现方式,主要是对上述特征图打分表的更新过程的细化过程的描述,但并不局限于这种细化实现方式,且本实施例主要对得到CT图像的特征指导图后的实现过程进行描述,关于获取每一个CT图像的特征指导图的实现过程,可以参照上述实施例相应部分的描述,不再赘述。如图4所示,结合图5所示的特征打分机制的应用流程示意图,该方法可以包括:
步骤S31,获取针对所述待检测对象的多幅CT图像的特征图打分表;
关于该特征图打分表的获取方式及其包含的内容,可以参照上述实施例相应部分的描述,不做赘述。仍以每一个CT图像得到的H×W×C个特征图为例进行说明,该特征图打分表的尺度可以为1×1×C的向量,包含了C个初始特征图分数,且C个初始特征图分数的排序与各CT图像生成的多个特征图的排序方式相同,这样,在对该特征图打分表中的C个初始特征图分数进行更新,或者对更新后得到的特征图分数进行再次更新时,可以依据该特征图在多个特征图的排序次序,确定该特征图打分表中相应次序的特征图分数,再对其进行更新。
需要说明的是,对于待检测对象的不同时刻的CT图像的目标器官检测定位方法相同,本实施例仅以对任一CT图像的多个特征图的处理过程为例进行说明。
步骤S32,获取同一CT图像对应的多个特征图与特征指导图的相似度;
本申请对图像之间的相似度计算方法不做限定,可以采用余弦相似度函数、特征向量距离计算、哈希算法等相似度计算方式,具体可以根据实际需求确定,本申请在此不做一一详述。
步骤S33,利用相似度,得到相应特征图的特征分数;
通常情况下,与特征指导图的相似度越高的特征图,其检测目标器官的准确度越高,该特征图的特征分数也就越高,本申请可以按照该规则实现步骤S33,得到该特征指导图对应的CT图像的多个特征图各自的特征分数。关于相似度与特征分数之间的具体关系,本申请不做限定。
步骤S34,对多个特征分数进行归一化处理,得到相应特征图的评分权重;
本实施例的归一化处理,可以将数据变换为(0,1)之间的小数,方便后续数据处理,通常情况下,特征分数较大的特征图,其得到的评分权重相对较大;反之,特征分数较小的特征图,其得到的评分权重相对较小,本申请对步骤S34的具体实现过程不做详述。
步骤S35,利用多个特征图各自对应的评分权重,更新特征图打分表中相应特征图分数,得到该CT图像的相应特征图的最终特征分数;
在一些实施例中,在得到某一CT图像的多个特征图各自对应的评分权重后,可以将该评分权重,与特征图打分表中相应位置的特征图分数进行乘积,以实现对该特征图打分表中相应位置的特征图分数的更新,得到该CT图像的多个特征图各自的最终特性分数,但并不局限于这种特征图分数更新方式。
应该理解的是,结合上述分析,在得到下一幅CT图像的多个特征图各自的评分权重后,是在本次对特征图打分表中的特征图分数更新后的基础上继续更新。
参照图5所示的应用流程示意图,得到任一个CT图像的H×W×1尺度的特征指导图后,可以据此对该CT图像对应的H×W×C个特征图进行特征打分,得到各特征图对应的特征分数,并按照上述方式得到各特征图对应的评分权重,读取当前特征图打分表记录的C个特征图分数,利用得到的多个评分权重,对相应的特征图分数进行更新,并由更新后的特征图分数替换特征图打分表中的相应特征图分数,即实现对特征图打分表的更新,具体更新方法可以参照上述实施例相应部分的描述。
步骤S36,确定该最终特征分数小于分数阈值的特征图为待过滤特征图;
步骤S37,利用该CT图像的特征指导图,对该CT图像的多个特征图中的待过滤特征图进行更新,得到该CT图像的多个目标特征图;
步骤S38,基于多个目标特征图,定位相应CT图像的目标器官。
关于对待过滤特征图的更新方式,以及对目标器官的定位检测过程,可以参照上述实施例相应部分的描述,不再赘述。
继上述描述,参照图5所示的应用流程示意图,完成本次对特征图打分表的更新后,可以利用1×1×C个更新后的特征图分数,对该CT图像中的H×W×C个特征图进行特征过滤,以得到该CT图像对应的H×W×C个目标特征图。
可见,如图5所示的本申请在传统区域生成网络RPN中增加的特征指导分支,称为Feature-RPN,具体的,采用注意力机制构建特征打分机制,实现对无法高准确度地提取目标特征的特征图的过滤,提高目标器官的检测定位准确度。需要说明,该Feature-RPN网络可以通过端到端训练实现,具体训练过程可以参照上述应用过程确定,本申请不做详述。
综上所述,本实施例在传统的区域生成网络中,增加了可解释性的特征评分机制,通过对每个CT图像的多个特征图进行分类和回归处理,得到该CT图像对应的特征指导图后,将利用该特征指导图与该CT图像对应的每一个特征图的相似度,对相应特征图进行特征打分,得到各特征图的特征分数,并对多个特征图的特征分数进行归一化处理,得到各特征图的评分权重,实现对特征图打分表中相应特征图分数的更新,得到该CT图像对应的各特征图的最终特征分数,即通过可视化方式建立了各特征图之间的关系,以提升目标器官检测模型的可解释性。
之后,本实施例将利用该CT图像的特征指导图,对小于分数阈值的最终特征分数对应的特征图进行更新,从而得到该CT图像的多个目标特征图,之后,利用区域生成网络的其他网络层,对多个目标特征图进行候选检测框提取,进而输入faster-R-CNN网络的后续网络进行目标器官的检测定位。相对于传统区域生成网络对接收到的各CT图像的特征图后,直接进行分类和归回处理,得到目标器官的候选检测框,进而输入入faster-R-CNN网络的后续网络进行目标器官的检测定位的目标检测方法,大大提高了目标器官检测准确性。
参照图6,为本申请提出的器官检测装置的一可选示例的结构示意图,该装置可以适用于计算机设备,如图6所示,该器官检测装置可以包括:
CT图像获取模块11,用于获取待检测对象的多幅连续的计算机断层扫描CT图像;
特征提取模块12,用于对各CT图像进行特征提取,得到各CT图像分别对应的多个特征图;
特征指导图得到模块13,用于将同一CT图像对应的多个特征图输入区域生成网络进行处理,得到相应CT图像的特征指导图;
特征图过滤模块14,用于利用所述特征指导图,对相应CT图像对应的多个特征图进行过滤,得到所述CT图像的目标特征图;
器官定位模块15,用于基于所述目标特征图,定位相应CT图像中的目标器官。
在一些实施例中,如图7所示,该特征指导图得到模块13可以包括:
图像分类单元131,用于对同一CT图像对应的多个特征图进行前后景图像分类,得到所述CT图像的多个前景特征图;
回归处理单元132,用于对同一CT图像对应的多个特征图进行回归处理,得到所述CT图像的多个区域特征图,所述区域特征图包含有目标器官的候选检测框;
融合处理单元133,用于对同一CT图像对应的所述多个前景特征图和所述多个区域特征图进行融合处理,得到相应CT图像的特征指导图。
在一种可能的实现方式中,该融合处理单元133可以包括:
按照深度方向(如同一CT图像的多个特征图的序列方向),对同一CT图像对应的多个前景特征图和多个区域特征图进行累加处理,得到相应CT图像的特征指导图。
在一些实施例中,如图8所示,上述特征图过滤模块14可以包括:
特征图打分表获取单元141,用于获取针对所述待检测对象的多幅CT图像的特征图打分表;
其中,特征图打分表包含多个特征图分数,且特征图分数的数量与每一个CT图像提取到的所述特征图的数量相同。在本实施例中,每次对一幅CT图像的多个特征图进行打分处理,均可以利用打分处理结果,更新该特征图打分表,具体实现过程可以参照但并不局限于下文实现方式。
特征图分数更新单元142,用于利用所述特征指导图与相应CT图像对应的多个特征图的比较结果,更新所述特征图打分表中相应特征图分数;
在一种可能的实现方式中,如图8所示,上述特征图分数更新单元142可以包括:
评分权重得到单元1421,用于利用所述特征指导图与相应CT图像对应的多个特征图的比较结果,得到相应特征图的评分权重;
更新单元1422,用于利用所述多个特征图各自对应的所述评分权重,更新所述特征图打分表中相应特征图分数。
在一些实施例中,上述评分权重得到单元1421可以包括:
相似度获取单元,用于获取同一CT图像对应的所述多个特征图与所述特征指导图的相似度;
特征分数得到单元,用于利用所述相似度,得到相应特征图的特征分数;
归一化单元,用于对多个特征分数进行归一化处理,得到相应特征图的评分权重。
待过滤特征图确定单元143,用于从所述CT图像对应的多个特征图中,确定小于分数阈值的更新后的特征图分数对应的特征图为待过滤特征图;
目标特征图得到单元144,用于将所述待过滤特征图更新为所述CT图像对应的特征指导图,得到所述CT图像的多个目标特征图。
关于上述对特征图的过滤方式,并不局限于上文描述的方式,在得到某一CT图像的待过滤特征图之后,上述器官检测装置还可以包括:
修正模块,用于利用所述CT图像的特征指导图,对所述待过滤特征图进行修正;
目标特征图确定模块,用于将所述修正后的待过滤特征图,以及相应CT图像对应的未过滤特征图,确定为所述CT图像的目标特征图,所述未过滤特征图是指不小于所述分数阈值的更新后的特征图分数对应的特征图。
在上述各实施例描述的器官检测装置的基础上,器官定位模块15可以包括:
特征图处理单元,用于利用所述区域生成网络中的多个卷积层对所述多个目标特征图进行处理,得到目标器官的多个候选区域以及每个所述候选区域的区域分数;
候选区域修正单元,用于对所述多个候选区域进行回归处理,利用回归处理结果,对相应的候选区域进行修正;
指导区域选择单元,用于选择区域分数较大的预设数量个修正后的候选区域为指导区域;
指导区域特征得到单元,用于利用神经网络中的池化层,对所述指导区域及相应CT图像的多个特征图进行处理,得到所述指导区域在所述特征图中对应的指导区域特征;
定位处理单元,用于将所述指导区域特征输入所述神经网络中的全链接层进行处理,利用得到的处理结果,得到相应CT图像中的目标器官的位置信息。
需要说明的是,关于上述各装置实施例中的各种模块、单元等,均可以作为程序模块存储在存储器中,由处理器执行存储在存储器中的上述程序模块,以实现相应的功能,关于各程序模块及其组合所实现的功能,以及达到的技术效果,可以参照上述方法实施例相应部分的描述,本实施例不再赘述。
参照图9,为本申请提出的一种计算机设备的一可选示例的硬件结构示意图,需要说明,该计算机设备的设备类型可以包括但并不局限于上文实施例相应部分的描述,对于不同类型的计算机设备,可以根据其功能确定其包含的结构组成,但适用于本申请提出的器官检测方法的计算机设备,均可以包括:存储器21和处理器22,其中:
存储器21可以用于存储实现上述各方法实施例描述的器官检测方法的程序;处理器22可以加载并执行存储器存储的该程序,以实现上述相应方法实施例描述的器官检测方法的各个步骤,具体实现过程可以参照上述实施例相应部分的描述,不再赘述。
在实际应用中,存储器21和处理器22可以连接通信总线,通过该通信总线实现相互之间,以及与计算机设备的其他结构组成之间的数据交互,具体可以根据实际需求确定,本申请不做详述。
本申请实施例中,存储器21可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器22,可以为中央处理器(Central Processing Unit,CPU)、特定应用集成电路(application-specificintegrated circuit,ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。本申请对上述存储器21和处理器22的结构及其型号不做限定,可以根据实际需求灵活调整。
在一种可能的实现方式中,存储器21可以包括程序存储区和数据存储区,该程序存储区可以存储操作系统、以及至少一个功能(如特征图中目标器官的检测框的显示功能、CT图像及其包含的目标器官检测框的显示功能等)所需的应用程序、实现本申请提出的器官检测方法的程序等;数据存储区可以存储计算机设备使用过程中所产生的数据,如输入的各患者的待检测对象的一系列CT图像、各CT图像对应的特征指导图等。
应该理解的是,图9所示的计算机设备的结构并不构成对本申请实施例中计算机设备的限定,在实际应用中,计算机设备可以包括比图9所示的更多或更少的部件,或者组合某些部件,如各种输入设备和/或输出设备等等,本申请在此不做一一列举。
本说明书中各个实施例采用递进或并列的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、计算机设备而言,由于其与实施例公开的方法对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种器官检测方法,所述方法包括:
获取待检测对象的多幅连续的计算机断层扫描CT图像;
对各CT图像进行特征提取,得到各CT图像分别对应的多个特征图;
将同一CT图像对应的多个特征图输入区域生成网络进行处理,得到相应CT图像的特征指导图;
利用所述特征指导图,对相应CT图像对应的多个特征图进行过滤,得到所述CT图像的多个目标特征图;
基于所述多个目标特征图,定位相应CT图像中的目标器官;
所述将同一CT图像对应的多个特征图输入区域生成网络进行处理,得到相应CT图像的特征指导图,包括:
对同一CT图像对应的多个特征图进行前后景图像分类,得到所述CT图像的多个前景特征图;
对同一CT图像对应的多个特征图进行回归处理,得到所述CT图像的多个区域特征图,所述区域特征图包含有目标器官的候选检测框;
对同一CT图像对应的所述多个前景特征图和所述多个区域特征图进行融合处理,得到相应CT图像的特征指导图。
2.根据权利要求1所述的方法,所述对同一CT图像对应的所述多个前景特征图和所述多个区域特征图进行融合处理,得到相应CT图像的特征指导图,包括:
按照深度方向,对同一CT图像对应的所述多个前景特征图和所述多个区域特征图进行累加处理,得到相应CT图像的特征指导图。
3.根据权利要求1所述的方法,所述利用所述特征指导图,对相应CT图像对应的多个特征图进行过滤,得到所述CT图像的目标特征图,包括:
获取针对所述待检测对象的多幅CT图像的特征图打分表,所述特征图打分表包含多个特征图分数,所述特征图分数的数量与每一个所述CT图像提取到的所述特征图的数量相同;
利用所述特征指导图与相应CT图像对应的多个特征图的比较结果,更新所述特征图打分表中相应特征图分数;
从所述CT图像对应的多个特征图中,确定小于分数阈值的更新后的特征图分数对应的特征图为待过滤特征图;
将所述待过滤特征图更新为所述CT图像对应的特征指导图,得到所述CT图像的多个目标特征图。
4.根据权利要求3所述的方法,所述利用所述特征指导图与相应CT图像对应的多个特征图的比较结果,更新所述特征图打分表中相应特征图分数,包括:
利用所述特征指导图与相应CT图像对应的多个特征图的比较结果,得到相应特征图的评分权重;
利用所述多个特征图各自对应的所述评分权重,更新所述特征图打分表中相应特征图分数。
5.根据权利要求4所述的方法,所述利用所述特征指导图与相应CT图像对应的多个特征图的比较结果,得到相应特征图的评分权重,包括:
获取同一CT图像对应的所述多个特征图与所述特征指导图的相似度;
利用所述相似度,得到相应特征图的特征分数;
对多个特征分数进行归一化处理,得到相应特征图的评分权重。
6.根据权利要求3所述的方法,在确定所述待过滤特征图之后,所述方法还包括:
利用所述CT图像的特征指导图,对所述待过滤特征图进行修正;
将所述修正后的待过滤特征图,以及相应CT图像对应的未过滤特征图,确定为所述CT图像的目标特征图,所述未过滤特征图是指不小于所述分数阈值的更新后的特征图分数对应的特征图。
7.根据权利要求1~6任一项所述的方法,所述基于所述多个目标特征图,定位相应CT图像中的目标器官,包括:
利用所述区域生成网络中的多个卷积层对所述多个目标特征图进行处理,得到目标器官的多个候选区域以及每个所述候选区域的区域分数;
对所述多个候选区域进行回归处理,利用回归处理结果,对相应的候选区域进行修正;
选择区域分数较大的预设数量个修正后的候选区域为指导区域;
利用神经网络中的池化层,对所述指导区域及相应CT图像的多个特征图进行处理,得到所述指导区域在所述特征图中对应的指导区域特征;
将所述指导区域特征输入所述神经网络中的全链接层进行处理,利用得到的处理结果,得到相应CT图像中的目标器官的位置信息。
8.一种器官检测装置,所述装置包括:
CT图像获取模块,用于获取待检测对象的多幅连续的计算机断层扫描CT图像;
特征提取模块,用于对各CT图像进行特征提取,得到各CT图像分别对应的多个特征图;
特征指导图得到模块,用于将同一CT图像对应的多个特征图输入区域生成网络进行处理,得到相应CT图像的特征指导图;
特征图过滤模块,用于利用所述特征指导图,对相应CT图像对应的多个特征图进行过滤,得到所述CT图像的目标特征图;
器官定位模块,用于基于所述目标特征图,定位相应CT图像中的目标器官;
所述特征指导图得到模块具体用于:
对同一CT图像对应的多个特征图进行前后景图像分类,得到所述CT图像的多个前景特征图;
对同一CT图像对应的多个特征图进行回归处理,得到所述CT图像的多个区域特征图,所述区域特征图包含有目标器官的候选检测框;
对同一CT图像对应的所述多个前景特征图和所述多个区域特征图进行融合处理,得到相应CT图像的特征指导图。
9.一种计算机设备,所述计算机设备包括:
存储器,用于存储实现如权利要求1~7任一项所述的器官检测方法的程序;
处理器,用于加载并执行所述存储器存储的所述程序,以实现如权利要求1~7任一项所述的器官检测方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010424977.1A CN111598882B (zh) | 2020-05-19 | 2020-05-19 | 器官检测方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010424977.1A CN111598882B (zh) | 2020-05-19 | 2020-05-19 | 器官检测方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111598882A CN111598882A (zh) | 2020-08-28 |
CN111598882B true CN111598882B (zh) | 2023-11-24 |
Family
ID=72183693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010424977.1A Active CN111598882B (zh) | 2020-05-19 | 2020-05-19 | 器官检测方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111598882B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012135A (zh) * | 2021-03-23 | 2021-06-22 | 慧影医疗科技(北京)有限公司 | 二维骨折图像的修正方法、装置、系统、电子设备和介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166104A (zh) * | 2018-08-01 | 2019-01-08 | 沈阳东软医疗系统有限公司 | 一种病变检测方法、装置及设备 |
CN109255352A (zh) * | 2018-09-07 | 2019-01-22 | 北京旷视科技有限公司 | 目标检测方法、装置及系统 |
CN110738643A (zh) * | 2019-10-08 | 2020-01-31 | 上海联影智能医疗科技有限公司 | 脑出血的分析方法、计算机设备和存储介质 |
CN110766643A (zh) * | 2019-10-28 | 2020-02-07 | 电子科技大学 | 一种面向眼底图像的微动脉瘤检测方法 |
CN111027547A (zh) * | 2019-12-06 | 2020-04-17 | 南京大学 | 一种针对二维图像中的多尺度多形态目标的自动检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014113786A1 (en) * | 2013-01-18 | 2014-07-24 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Quantitative predictors of tumor severity |
US10157462B2 (en) * | 2016-06-27 | 2018-12-18 | University Of Central Florida Research Foundation, Inc. | System and method for image-based quantification of white and brown adipose tissue at the whole-body, organ and body-region levels |
EP3629898A4 (en) * | 2017-05-30 | 2021-01-20 | Arterys Inc. | AUTOMATED LESION DETECTION, SEGMENTATION AND LONGITUDINAL IDENTIFICATION |
US10679351B2 (en) * | 2017-08-18 | 2020-06-09 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
-
2020
- 2020-05-19 CN CN202010424977.1A patent/CN111598882B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166104A (zh) * | 2018-08-01 | 2019-01-08 | 沈阳东软医疗系统有限公司 | 一种病变检测方法、装置及设备 |
CN109255352A (zh) * | 2018-09-07 | 2019-01-22 | 北京旷视科技有限公司 | 目标检测方法、装置及系统 |
CN110738643A (zh) * | 2019-10-08 | 2020-01-31 | 上海联影智能医疗科技有限公司 | 脑出血的分析方法、计算机设备和存储介质 |
CN110766643A (zh) * | 2019-10-28 | 2020-02-07 | 电子科技大学 | 一种面向眼底图像的微动脉瘤检测方法 |
CN111027547A (zh) * | 2019-12-06 | 2020-04-17 | 南京大学 | 一种针对二维图像中的多尺度多形态目标的自动检测方法 |
Non-Patent Citations (5)
Title |
---|
Medical Imaging 2018:Image Processing;ELSA D.Angelini etc.;The international society for optics and photonics;全文 * |
基于双卷积链Fast R-CNN的番茄关键器官识别方法;周云成;许童羽;邓寒冰;苗腾;;沈阳农业大学学报(01);全文 * |
基于改进Faster R-CNN图像小目标检测;王凯等;电视技术(第20期);全文 * |
基于改进Faster R-CNN的嘴部检测方法;魏文韬等;计算机系统应用(第12期);全文 * |
基于改进Mask R-CNN模型的电力场景目标检测方法;孔英会等;科学技术与工程(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111598882A (zh) | 2020-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109255352B (zh) | 目标检测方法、装置及系统 | |
CN106897666B (zh) | 一种室内场景识别的闭环检测方法 | |
ES2731327T3 (es) | Método para caracterizar imágenes adquiridas a través de un dispositivo médico de vídeo | |
CN109815770B (zh) | 二维码检测方法、装置及系统 | |
CN116420159A (zh) | 缺陷检测方法、装置和系统 | |
CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN109002562B (zh) | 一种仪器识别模型训练方法和装置及仪器识别方法和装置 | |
CN109960742B (zh) | 局部信息的搜索方法及装置 | |
US9576218B2 (en) | Selecting features from image data | |
CN111581414B (zh) | 服饰识别、分类及检索的方法、装置、设备及存储介质 | |
KR20140079262A (ko) | 이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치 | |
CN105069457B (zh) | 图像识别方法和装置 | |
CN106687990A (zh) | 用于基于渐进式改良从视频序列选择帧的方法 | |
Wang et al. | A vision-based active learning convolutional neural network model for concrete surface crack detection | |
US10007678B2 (en) | Image processing apparatus, image processing method, and recording medium | |
CN108229289B (zh) | 目标检索方法、装置和电子设备 | |
CN113129335B (zh) | 一种基于孪生网络的视觉跟踪算法及多模板更新策略 | |
US8989505B2 (en) | Distance metric for image comparison | |
CN110889421A (zh) | 目标物检测方法及装置 | |
JP2021530773A (ja) | 画像に基づく関係分析の方法およびそのシステム | |
Li et al. | Saliency transfer: An example-based method for salient object detection. | |
US20170053172A1 (en) | Image processing apparatus, and image processing method | |
CN111598882B (zh) | 器官检测方法、装置及计算机设备 | |
Tong et al. | Improving classification of breast cancer by utilizing the image pyramids of whole-slide imaging and multi-scale convolutional neural networks | |
Xu et al. | AdaZoom: Towards scale-aware large scene object detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |