CN110009599A - 肝占位检测方法、装置、设备及存储介质 - Google Patents
肝占位检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110009599A CN110009599A CN201910102836.5A CN201910102836A CN110009599A CN 110009599 A CN110009599 A CN 110009599A CN 201910102836 A CN201910102836 A CN 201910102836A CN 110009599 A CN110009599 A CN 110009599A
- Authority
- CN
- China
- Prior art keywords
- liver
- masses
- detection model
- medical image
- hepatic lesion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种肝占位检测方法、装置、设备及存储介质,属于医学图像领域。所述方法包括:获取三维形式的肝部医学图像;获取肝占位病变检测模型,肝占位病变检测模型为基于三维深度卷积神经网络训练得到的模型,肝占位病变检测模型包括特征提取网络和策略函数;调用肝占位病变检测模型将肝部医学图像输入至特征提取网络中,输出得到图像特征数据;根据图像特征数据采用策略函数计算得到检测结果,检测结果包括肝占位的类别信息和/或三维形式的位置信息。本申请实施例通过三维深度卷积神经网络进行肝占位检测,有助于学习到病变区域的三维空间分布信息,相较于传统的检测方法,提高了肝占位检测的准确率和有效性,保证了肝占位的检测效果。
Description
技术领域
本申请实施例涉及医学图像领域,特别涉及一种肝占位检测方法、装置、设备及存储介质。
背景技术
随着影像技术的发展,肝占位检测方法得到越来越多的重视。肝占位检测方法为对肝脏占位性病变区域进行检测的方法。
目前的肝占位检测方法大多包括如下几个步骤:获取肝部的二维(2-dimension,2D)形式的医学图像,采用分割算法确定该医学图像中的多个候选肝占位区域,对候选肝占位区域进行筛选得到检测结果。
在上述方法中,由于只对肝部的2D形式的医学图像进行检测,且某些肝占位区域较小,采用分割算法确定候选肝占位区域时容易出现漏检的情况,导致肝占位检测的准确率和有效性较低。
发明内容
本申请实施例提供了一种肝占位检测方法、装置、设备及存储介质,可以用于解决目前的肝占位检测的准确率和有效性较低的问题。所述技术方案如下:
一方面,本申请实施例提供了一种肝占位检测方法,所述方法包括:
获取三维形式的肝部医学图像;
获取肝占位病变检测模型,所述肝占位病变检测模型为基于三维深度卷积神经网络训练得到的模型;
调用所述肝占位病变检测模型将所述肝部医学图像输入至所述特征提取网络中,输出得到图像特征数据;
根据所述图像特征数据采用所述策略函数计算得到检测结果,所述检测结果包括所述肝占位的类别信息和/或三维形式的位置信息。
另一方面,本申请实施例提供了一种肝占位检测装置,所述装置包括:
第一获取模块,用于获取三维形式的肝部医学图像;
第二获取模块,用于获取肝占位病变检测模型,所述肝占位病变检测模型为基于三维深度卷积神经网络训练得到的模型;
第一检测模块,用于调用所述肝占位病变检测模型将所述肝部医学图像输入至所述特征提取网络中,输出得到图像特征数据;
第二检测模块,用于根据所述图像特征数据采用所述策略函数计算得到检测结果,所述检测结果包括所述肝占位的类别信息和/或三维形式的位置信息。另一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述第一方面所述的肝占位检测方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述第一方面所述的肝占位检测方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过计算机设备获取三维形式的肝部医学图像,获取基于三维深度卷积神经网络训练得到的肝占位病变检测模型,调用肝占位病变检测模型将肝部医学图像输入至特征提取网络中,输出得到图像特征数据;根据图像特征数据采用策略函数计算得到检测结果,检测结果包括肝占位的类别信息和/或三维形式的位置信息;使得计算机设备能够采用三维深度卷积神经网络的检测方法,端对端的进行肝占位检测,相较于传统的检测方法提高了肝占位检测的准确率和有效性,保证了肝占位的检测效果。
附图说明
图1和图2是相关技术中提供的肝占位检测方法的原理示意图;
图3是本申请一个示意性实施例提供的计算机设备的结构示意图;
图4是本申请一个示意性实施例提供的肝占位检测方法的流程图;
图5是本申请一个示意性实施例提供的肝占位检测方法的界面示意图;
图6是本申请另一个示意性实施例提供的肝占位病变检测模型训练过程的流程图;
图7是本申请另一个示意性实施例提供的肝占位检测方法涉及的模块的结构示意图;
图8是本申请另一个示意性实施例提供的肝占位检测方法涉及的原始参数模型的网络结构图;
图9是本申请另一个示意性实施例提供的肝占位检测方法涉及的模块的原理示意图;
图10是本申请另一个示意性实施例提供的肝占位检测方法涉及的交叉比的原理示意图;
图11是本申请另一个示意性实施例提供的肝占位检测方法的流程图;
图12是本申请另一个示意性实施例提供的肝占位检测方法涉及的界面示意图;
图13是本申请一个示意性实施例提供的肝占位检测方法涉及的非极大值抑制过程的流程图;
图14是本申请一个示意性实施例提供的肝占位检测方法涉及的模型融合的原理示意图;
图15是本申请一个示意性实施例提供的肝占位检测方法的原理示意图;
图16是本申请一个示意性实施例提供的肝占位检测装置的结构示意图;
图17是本申请一个示意性实施例提供的终端的结构框图;
图18是本申请一个示意性实施例提供的服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,对本申请实施例涉及到的一些名词进行解释:
候选区域(英文:Proposal):是可能存在待检测物体的区域。
单阶段检测模型(英文:One stage detection):是通过深度网络直接预测待检测物体的检测结果的模型,该检测过程中无需确定候选区域。可选的,待检测物体的检测结果包括待检测物体的类别信息和/或三维形式的位置信息。
两阶段检测(英文:Two stage detection):是通过深度网络确定候选区域,再基于候选区域预测待检测物体的检测结果的模型。可选的,待检测物体的检测结果包括待检测物体的类别信息和/或三维形式的位置信息。
电子计算机断层扫描(Computed Tomography,CT)值:是测定人体某一局部组织或器官密度大小的一种计量单位,通常称亨氏单位(hounsfield unit,HU)空气为-1000,致密骨为+1000。
相关技术中,基于深度学习的肝占位检测方法通常包括两种检测算法:一种为基于分割的肝癌检测算法,另一种为基于二维(2-dimension,2D)卷积神经网络的肝癌检测算法。如图1所示,基于分割的肝癌检测算法从分割的角度训练一个分割网络,从而分割出病灶体。如图2所示,基于2D卷积神经网络的肝癌检测算法使用的是2D卷积神经网络训练一个检测算法。上述方法中均只对肝部的2D形式的医学图像进行检测,忽略了病变区域在3D上呈现出的空间特性,导致肝占位检测的准确率和有效性较低的问题。
本申请实施例提供了一种肝占位检测方法、装置、设备及存储介质,基于三维深度卷积神经网络进行肝占位检测,有助于学习到病变区域的三维空间分布信息,相较于传统的检测方法,提高了肝占位检测的准确率和有效性,保证了肝占位的检测效果。
请参考图3,其示出了本申请一个示意性实施例提供的计算机设备的结构示意图。
该计算机设备100可以是终端或者服务器。终端包括平板电脑、膝上型便携计算机和台式计算机等等。服务器可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。
可选的,该计算机设备100安装有图像处理应用程序,该图像处理应用程序是具有处理医学图像功能的应用程序。
如图3所示,计算机设备包括处理器10、存储器20以及通信接口30。本领域技术人员可以理解,图3中示出的结构并不构成对该计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器10是计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器20内的软件程序和/或模块,以及调用存储在存储器20内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体控制。处理器10可以由CPU实现,也可以由图形处理器(Graphics Processing Unit,GPU)实现。
存储器20可用于存储软件程序以及模块。处理器10通过运行存储在存储器20的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器20可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统21、第一获取模块22、第二获取模块23、检测模块24和至少一个功能所需的应用程序25(比如神经网络训练等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。存储器20可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read OnlyMemory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。相应地,存储器20还可以包括存储器控制器,以提供处理器10对存储器20的访问。
其中,处理器20通过运行第一获取模块22执行以下功能:获取三维形式的肝部医学图像;处理器20通过第二获取模块23执行以下功能:获取肝占位病变检测模型,肝占位病变检测模型为基于三维深度卷积神经网络训练得到的模型;处理器20通过检测模块24执行以下功能:调用肝占位病变检测模型将肝部医学图像输入至特征提取网络中,输出得到图像特征数据;根据图像特征数据采用策略函数计算得到检测结果,检测结果包括肝占位的类别信息和/或三维形式的位置信息。下面,采用示意性的实施例对肝占位检测方法进行介绍。
请参考图4,其示出了本申请一个示意性实施例提供的肝占位检测方法的流程图。本实施例以该肝占位检测方法应用于图3所示出的计算机设备来举例说明。该肝占位检测方法包括:
步骤401,获取三维形式的肝部医学图像。
可选的,肝部医学图像为三维的包括肝部信息的医学图像。医学图像包括由各种成像系统获得的投影图像数据。
成像系统可以为单模成像系统,例如CT系统、超声成像系统、X射线光学成像系统、正电子发射断层摄影(Positron Emission Tomography,PET)系统等。成像系统也可以为多模成像系统,例如正电子发射断层-计算机断层摄影(英文:PET-CT)、正电子发射断层摄影-磁共振成像(PET-MRI)系统、单光子发射断层摄影-计算机断层摄影(英文:SPECT-CT)系统、数字减影血管造影-计算机断层摄影(英文:DSA-CT)系统等。
可选的,肝部医学图像为肝部的CT图像。示意性的,肝部医学图像为肝部的CT增强图像。CT增强图像为在CT平扫基础上对可疑部位在静脉注射造影剂后继续进行扫描而获取到的CT图像。
可选的,当计算机设备为服务器时,终端向服务器发送肝部医学图像,对应的,服务器接收终端发送的肝部医学图像。
步骤402,获取肝占位病变检测模型,肝占位病变检测模型为基于三维深度卷积神经网络训练得到的模型。
计算机设备获取训练好的肝占位病变检测模型。在一种可能的实现方式中,当计算机设备为终端时,终端获取自身存储的训练好的肝占位病变检测模型,或者从服务器中获取训练好的肝占位病变检测模型。在另一种可能的实现方式中,当计算机设备为服务器时,服务器获取自身存储的训练好的肝占位病变检测模型。
可选的,肝占位病变检测模型为采用样本肝部医学图像对三维深度卷积神经网络进行训练得到的模型。样本肝部医学图像是标注有肝占位的真实检测结果的肝部医学图像,该真实检测结果包括真实类别信息和/或真实位置信息。
需要说明的是,本申请实施例中的肝占位为肝脏占位性病变的简称。
肝占位病变检测模型是具有对肝部医学图像中肝占位的类别信息和/或三维形式的位置信息进行识别的三维深度卷积神经网络模型。
肝占位病变检测模型是根据样本肝部医学图像和预先标定的真实检测结果所确定的。
可选的,肝占位病变检测模型用于将输入的肝部医学图像转化为检测结果。该检测结果包括肝占位的类别信息和/或三维形式的位置信息。
可选的,肝占位病变检测模型用于提取输入的肝部医学图像中的肝占位的类别信息和/或三维形式的位置信息。
可选的,肝占位病变检测模型用于表示肝部医学图像与肝占位的类别信息之间的相关关系,和/或,用于表示肝部医学图像与肝占位的位置信息之间的相关关系。
可选的,肝占位病变检测模型为预设的数学模型,该肝占位病变检测模型包括肝部医学图像与检测结果之间的模型系数。模型系数可以为固定值,也可以是随时间动态修改的值,还可以是随着使用场景动态修改的值。
其中,肝占位病变检测模型包括特征提取网络和策略函数。
步骤403,调用肝占位病变检测模型将肝部医学图像输入至特征提取网络中,输出得到图像特征数据。
可选的,特征提取网络是用于对输入的肝部医学图像进行特征提取后得到图像特征数据的神经网络,特征提取网络包括一个或者多个特征提取网络。本申请实施例对此不加以限定。
可选的,特征提取网络包括残差网络、基础为VGG网络(英文:VisualGeometryGroup Network)的特征金字塔网络和基础为残差网络的特征金字塔网络中的一种或多种。示意性的,残差网络、VGG网络为三维深度卷积神经网络。在本申请实施例中,以特征提取网络包括基础为VGG网络的特征金字塔网络为例,以提高检测的准确率。
可选的,计算机设备通过特征提取网络提取肝部医学图像的图像特征数据。
可选的,计算机设备对肝部医学图像进行预处理,得到处理后的肝部医学图像,将处理后的肝部医学图像输入至特征提取网络中,输出得到图像特征数据。示意性的,图像特征数据为该肝部医学图像对应的特征矩阵。
步骤404,根据图像特征数据采用策略函数计算得到检测结果,检测结果包括肝占位的类别信息和/或三维形式的位置信息。
策略函数是用于根据特征提取网络提取得到的图像特征数据计算得到检测结果的函数。可选的,特征提取网络对肝部医学图像的图像特征数据进行提取后将图像特征数据发送至策略函数。
可选的,计算机设备根据图像特征数据采用策略函数计算得到检测结果,检测结果包括肝占位的类别信息和/或三维形式的位置信息。
可选的,肝占位的类别信息用于指示肝占位的类别,肝占位的类别包括血管瘤(英文:Hemangioma)、肝腺瘤(英文:Hepatic Adenoma)、局灶性结节增生(英文:Focal NodularHyperplasia)、肝囊肿(英文:Hepatic Cyst)、肝细胞癌(英文:hepatocellularcarcinoma,HCC)、肝脓肿(英文:Hepatic Abscess)和转移瘤(英文:Metastasis)中的至少一种。
可选的,肝占位的三维形式的位置信息用于指示肝占位在肝部医学图像中的三维空间位置,肝占位的位置信息包括肝占位所在病变区域的边界框的尺寸信息和/或三维形式的坐标信息。
在一个示意性的例子中,如图5所示,计算机设备获取三维形式的肝部医学图像51,获取基于三维深度卷积神经网络训练得到的肝占位病变检测模型,调用肝占位病变检测模型将肝部医学图像51输入至特征提取网络中,输出得到图像特征数据,根据图像特征数据采用策略函数计算得到肝占位的位置信息,在肝部医学图像51上显示肝占位所在病变区域的边界框52。
综上所述,本申请实施例通过计算机设备获取三维形式的肝部医学图像,获取基于三维深度卷积神经网络训练得到的肝占位病变检测模型,调用肝占位病变检测模型将肝部医学图像输入至特征提取网络中,输出得到图像特征数据;根据图像特征数据采用策略函数计算得到检测结果,检测结果包括肝占位的类别信息和/或三维形式的位置信息;使得计算机设备能够采用三维深度卷积神经网络的检测方法,端对端的进行肝占位检测,相较于传统的检测方法提高了肝占位检测的准确率和有效性,保证了肝占位的检测效果。
本申请实施例还通过采用肝占位病变检测模型同时做肝占位的类别判断和位置回归这两个任务,使得输出的检测结果除了包括肝占位的位置信息,还包括肝占位的类别信息,进而使得计算机设备在检测到多个肝占位所在病变区域的位置的同时,能够精确检测出多种类型的肝占位,满足临床上对肝占位检测的需求。
需要说明的是,在计算机设备获取肝占位病变检测模型之前,需要对训练样本集进行训练得到肝占位病变检测模型。下面对肝占位病变检测模型的训练过程进行介绍。
在一种可能的实现方式中,如图6所示,对肝占位病变检测模型的训练过程包括如下几个步骤:
步骤601,计算机设备获取训练样本集,训练样本集包括至少一组样本数据组。
其中,每组所述样本数据组包括:样本肝部医学图像和预先标注的真实检测结果。真实检测结果包括肝占位的真实类别信息和/或真实位置信息。
在一个示意性的例子中,训练样本集如表一所示。训练样本集中的每组样本数据组包括样本肝部医学图像、由人工标注并经过脱敏处理的真实检测结果,真实检测结果包括肝占位的类别、数量和肝占位所在区域在样本肝部医学图像中的边界框。
表一
类别 | 数量 |
血管瘤 | 69 |
肝腺瘤 | 9 |
局灶性结节增生 | 77 |
肝囊肿 | 23 |
肝细胞癌 | 101 |
肝脓肿 | 95 |
转移瘤 | 50 |
可选的,真实位置信息采用四维向量Q表示,Q=(Qx,Qy,Qz,Qr),其中(Qx,Qy,Qz)为预先标注的肝占位的中心位置,Qr为预先标注的肝占位的半径大小。
步骤602,计算机设备对于至少一组样本数据组中的每组样本数据组,将样本肝部医学图像输入原始参数模型,得到训练结果。
可选的,下面仅以样本肝部医学图像为样本肝部CT图像为例进行说明。由于CT值的大小具有物理意义,不同大小的CT值对应不同的人体部位,因此将肝部CT图像按照数值剪裁至[-250,200],然后规范化到[0,255],以此作为模型的输入参数。
可选的,该原始参数模型以三维深度卷积神经网络为基础网络,基础网络的结构如表二所示。其中,操作类型包括卷积(Convolution,Conv)、批标准化(BatchNormalization,BN)和线性整流函数(Rectified Linear Unit,ReLU)、最大池化(英文:MaxPooling)、残差网络模块(英文:ResNet Block)、密集卷积网络模块(英文:DenseNetBlock)等等。
表二
可选的,每个ResNet Block和DenseNet Block的结构示意图如图7所示。为考虑肝占位所在病变区域的多尺度信息,采用特征金字塔网络(Feature Pyra mid Network,FPN))来搭建基础网络。
可选的,特征金字塔网络包括池化层、卷积模块和反卷积模块,池化层与卷积模块相连,卷积模块与反卷积模块相连。
可选的,反卷积模块包括反卷积层、归一化层和ReLU激活层,反卷积层与归一化层相连,归一化层与ReLU激活层相连。
可选的,卷积模块包括多个卷积层,并相邻两个卷积层之间设置有一个激活层和一个批量归一化层。比如,卷积模块所包括的卷积层的层数为13层。
示意性的,卷积模块中的卷积层的卷积核的大小为3*3到11*11之间。卷积模块中的卷积层的输出个数为32~512中的任意值。
需要说明的是,本申请实施例对特征金字塔网络包括的卷积层的层数、卷集合的大小,卷积层的输出个数均不加以限定。
可选的,原始参数模型在基础网络的多尺度信息做预测,该原始参数模型的网络结构图如图8所示。针对每个预测设计,设计如图9所示的模块同时做肝占位的类别判断和位置回归这两个任务,即输出得到包括肝占位的预测类别信息和预测位置信息的训练结果。其中,图9中的L表示长,H表示高,W表示宽,class_nums表示类别数量,anchor_nums表示锚数量。
可选的,原始参数模型包括特征提取网络和策略函数。
其中,训练结果包括肝占位的预测类别信息和/或预测位置信息。
可选的,预测位置信息采用四维向量P表示,P=(Px,Py,Pz,Pr),其中(Px,Py,Pz)为预测的肝占位的中心位置,Pr为预测的肝占位的半径大小。
步骤603,计算机设备将训练结果与真实检测结果进行比较,计算损失函数的损失值。
其中,损失值用于指示训练结果与真实检测结果之间的误差。
可选的,损失值通过交叉比(intersection-over-union,IOU)来表示。通过如下公式计算交叉比:IOU=(A∩B)/(A∪B)。其中,A和B分别表示两个区域,A∩B的物理含义如图10所示。
可选的,下面的实施例中仅以训练结果包括肝占位的预测类别信息和预测位置信息为例进行说明,即针对每个训练结果,计算两个损失函数:分类损失和回归损失。整体损失函数为分类损失与回归损失之和。
分类损失也称病变类别预测损失函数,可选的,分类损失为Focal loss函数。示意性的,定义Focal loss函数如下:
FL(pt)=-(1-pt)γlog(pt)
其中,
其中,y∈{-1,+1}是真实标签,p∈[0,1]用于指示当前anchor为肝占位的概率。γ≥0是Focal loss函数的聚焦参数,比如γ设置为2。当pt→1时用于指示训练样本集易于分类,当pt→0时用于指示训练结果的预测不准确。
回归损失也称病变位置回归损失函数,可选的,定义回归损失Lloc(t,v)如下:
其中,
tx=(Gx-Px)/Pr
ty=(Gy-Py)/Pr
tz=(Gz-Pz)/Pr
tr=log(Gr/Pr)
其中,t表示预测的肝占位的边框位置,v表示预先标注的肝占位的真实位置,x、y、z和r分别表示肝占位的边框的中心横纵坐标和边框的宽高,为损失值,为的物理表达式,根据表达式的值获得,x为ti-vi,i表示预测的肝占位的边框序号。
需要说明的是,上面仅以示意性地介绍了分类损失和回归损失的定义,本申请实施例对此不加以限定。
步骤604,计算机设备根据至少一组样本数据组各自对应的损失值,训练得到肝占位病变检测模型。
可选的,计算机设备根据至少一组样本数据组各自对应的损失值,采用误差反向传播算法训练得到肝占位病变检测模型。
可选的,计算机设备通过反向传播算法根据计算损失确定肝占位病变检测模型的梯度方向,从肝占位病变检测模型的输出层逐层向前更新肝占位病变检测模型中的模型参数。
请参考图11,其示出了本申请另一个示意性实施例提供的肝占位检测方法的流程图。本实施例以该肝占位检测方法应用于图3所示出的计算机设备来举例说明。该肝占位检测方法包括:
步骤1101,获取三维的肝部CT影像。
可选的,当计算机设备为服务器时,终端向服务器发送三维的肝部CT影像,对应的,服务器接收终端发送的肝部CT影像。
步骤1102,从肝部CT影像中获取预设尺寸的肝部医学图像。
由于肝部CT影像为三维数据,数据量太大,无法一次性将肝部CT影像输入至肝占位病变检测模型中,所以计算机设备先从肝部CT影像中获取预设尺寸的肝部医学图像。
可选的,计算机设备从肝部CT影像中获取多个预设尺寸的肝部医学图像。针对多个预设尺寸的肝部医学图像中的每个预设尺寸的肝部医学图像,执行下述步骤1103和步骤1104。
可选的,计算机设备以patch-wise的形式,每次从肝占位所在病变区域取样预设尺寸的肝部医学图像作为后续模型的输入参数。示意性的,预设尺寸为128×128×32。
可选的,取样的多个预设尺寸的肝部医学图像中存在至少两个肝部医学图像之间存在重叠区域。在一个示意性的例子中,如图12所示,计算机设备获取三维的肝部CT影像,从肝部CT影像中以带有重叠部分patch-wise的方式取样三个预设尺寸的肝部医学图像,其中肝部医学图像1201与肝部医学图像1202存在重叠区域,肝部医学图像1202与肝部医学图像1203存在重叠区域。
步骤1103,获取肝占位病变检测模型,肝占位病变检测模型为基于三维深度卷积神经网络训练得到的模型。
其中,肝占位病变检测模型是根据至少一组样本数据组训练得到的,每组样本数据组包括:样本肝部医学图像和预先标注的真实检测结果。
可选的,肝占位病变检测模型是基于特征金字塔网络的三维深度卷积神经网络模型。
可选的,肝占位病变检测模型是单阶段检测模型。
可选的,肝占位病变检测模型是基于特征金字塔网络的单阶段检测模型。
计算机设备获取训练好的肝占位病变检测模型。肝占位病变检测模型的训练过程可参考上述实施例中的相关细节。
步骤1104,调用肝占位病变检测模型将肝部医学图像输入至特征提取网络中,输出得到图像特征数据。
计算机设备将肝部医学图像输入至特征提取网络中,输出得到图像特征数据的过程可参考上述实施例中的相关细节,在此不再赘述。
步骤1105,根据图像特征数据采用策略函数计算得到初始检测结果。
可选的,初始检测结果包括初始检测出的多个肝占位的类别信息和/或多个肝占位的三维形式的位置信息。
计算机设备根据图像特征数据采用策略函数计算得到初始检测结果的过程可参考上述实施例中的相关细节,在此不再赘述。
步骤1106,对初始检测结果进行非极大值抑制得到目标检测结果。
可选的,计算机设备对初始检测结果进行非极大值抑制(Non-MaximumSuppression,NMS)得到目标检测结果。
可选的,初始检测结果包括多个肝占位的位置信息,即初始检测结果用于指示多个肝占位所在病变区域的位置,由于可能存在距离很近的多个位置,因此计算机设备可以对初始检测结果进行非极大值抑制来去除多余的位置。
在一种可能的实现方式中,计算机设备对初始检测结果进行非极大值抑制得到目标检测结果的过程包括但不限于以下几个步骤,如图13所示:
步骤1301,判断初始检测结果是否满足输出条件。
可选的,计算机设备判断初始检测结果是否满足输出条件,若初始检测结果满足输出条件,则执行步骤1302;若初始检测结果不满足输出条件,则执行步骤1303。
可选的,输出条件包括初始检测结果所指示的多个肝占位所在病变区域的位置小于预设输出个数。
步骤1302,当初始检测结果满足输出条件时,将初始检测结果作为目标检测结果进行输出。
可选的,当多个肝占位所在病变区域的位置小于预设输出个数时,计算机设备将初始检测结果作为目标检测结果进行输出,结束进程。
步骤1303,当初始检测结果未满足输出条件时,计算当前的预测最大概率,将对应的最大预测区域的位置信息加入至初始检测结果中。
可选的,当多个肝占位所在病变区域的位置大于预设输出个数时,计算机设备计算当前的预测最大概率,将预测最大概率对应的最大预测区域的位置信息加入至初始检测结果中。
步骤1304,分别计算初始检测结果所指示的其他预测区域与最大预测区域之间的交叉比。
对于初始检测结果所指示的其他预测区域中的每个预测区域,计算该预测区域与最大预测区域之间的交叉比。
初始检测结果所指示的其他预测区域为除了最大预测区域以外的其它预测区域。
预测区域与最大预测区域之间的交叉比用于指示预测区域与最大预测区域之间的重叠程度,预测区域与最大预测区域之间的交叉比与重叠程度呈正相关关系,即交叉比越大表示预测区域与最大预测区域之间的重叠程度越高。
需要说明的是,交叉比的计算方式可参考上述实施例中的相关细节,在此不再赘述。
步骤1305,去除初始检测结果中交叉比大于预定阈值的位置信息,继续执行判断初始检测结果是否满足输出条件的步骤。
可选的,计算机设备计算得到各个其它预测区域与最大预测区域之间的交叉比,将交叉比大于预定阈值的预测区域的位置信息从初始检测结果中去除,即将该位置信息对应的预测概率设置为零。
预定阈值为计算机设备预先设置的阈值。比如,预定阈值为0.1。本实施例对此不加以限定。
可选的,计算机设备去除初始检测结果中交叉比大于预定阈值的位置信息之后,再次执行步骤1301。
需要说明的是,本申请实施例提供的肝占位病变检测模型的基础网络中的层数是可以改变的,不同的肝占位病变检测模型由于基础网络中的层数不同,对肝占位检测的能力也不同,因此可以对多个肝占位病变检测模型进行模型融合。由于非极大值抑制是不断按照最大概率排序并去除较大重叠区域的方式运行的,因此可以将多个肝占位病变检测模型采用非极大值抑制进行模型融合,得到融合后的肝占位病变检测模型,将非极大值抑制与模型融合相结合的原理示意图如图14所示。
可选的,计算机设备将肝部医学图像和检测结果添加至训练样本集,得到更新后的训练样本集;根据更新后的训练样本集对肝占位病变检测模型进行训练,得到更新后的肝占位病变检测模型。
在一个示意性的例子中,如图15所示,计算机设备的后端获取训练样本集,根据训练样本集中的至少一组样本数据组,采用三维的原始参数模型进行训练,得到训练好的肝占位病变检测模型。1、当计算机设备的前端A获取肝部CT影像时,将肝部CT影像上传至后端。对应的,后端从肝部CT影像中获取预设尺寸的肝部医学图像。将肝部医学图像输入至训练好的肝占位病变检测模型中输出得到检测结果。2、后端将检测结果输出到前端B。
综上所述,本申请还通过采用特征金字塔网络构建肝占位病变检测模型的基础网络,使得计算机设备能够通过肝占位病变检测模型获取肝占位所在病变区域的多尺度信息,保证了肝占位病变检测模型对不同大小的肝占位的检测效果。
本申请实施例还通过采用单阶段检测算法构建肝占位病变检测模型,使得计算机设备能够通过肝占位病变检测模型直接检测肝占位的类别信息和/或三维形式的位置信息,避免了相关技术中需要先提取候选区域再给予候选区域进行检测的情况,满足了临床上的实时性需求。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图16,其示出了本申请一个示意性实施例提供的肝占位检测装置的结构示意图。该肝占位检测装置可以通过专用硬件电路,或者,软硬件的结合实现成为图3中的计算机设备的全部或一部分,该肝占位检测装置包括:第一获取模块1610、第二获取模块1620、第一检测模块1630和第二检测模块1640。
第一获取模块1610,用于执行上述步骤401。
第二获取模块1620,用于执行上述步骤402或者1103。
第一检测模块1630,用于执行上述步骤403或者1104;
第二检测模块1640,用于执行上述步骤404或者1105。
可选的,特征提取网络包括基础为VGG网络的特征金字塔网络,肝占位病变检测模型是基于特征金字塔网络的单阶段检测模型。
可选的,特征金字塔网络包括池化层、卷积模块和反卷积模块,池化层与卷积模块相连,卷积模块与反卷积模块相连;
反卷积模块包括反卷积层、归一化层和线性整流函数ReLU激活层。
可选的,第二检测模块1640,还用于执行上述步骤1105和1106。
可选的,第二检测模块1640,还用于执行上述步骤1301至步骤1305。
可选的,第一获取模块1610,还用于执行上述步骤1101和1102。
可选的,肝占位的位置信息采用四维向量(Px,Py,Pz,Pr)表示,其中(Px,Py,Pz)为肝占位的中心位置,Pr的值为肝占位的半径大小。
可选的,肝占位病变检测模型是根据至少一组样本数据组训练得到的,每组样本数据组包括:样本肝部医学图像和预先标注的真实检测结果。
可选的,第二获取模块1620,还用于执行上述步骤601至步骤605。
可选的,该装置还包括:更新模块,该更新模块用于将肝部医学图像和检测结果添加至训练样本集,得到更新后的训练样本集;
根据更新后的训练样本集对肝占位病变检测模型进行训练,得到更新后的肝占位病变检测模型。
相关细节可结合参考图4至图15所示的方法实施例。其中,第一获取模块1610和第二获取模块1620还用于实现上述方法实施例中其他任意隐含或公开的与获取步骤相关的功能;第一检测模块1630和第二检测模块1640还用于实现上述方法实施例中其他任意隐含或公开的与检测步骤相关的功能。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图17示出了本申请一个示意性实施例提供的终端1700的结构框图。该终端1700可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1700包括有:处理器1701和存储器1702。
处理器1701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1701可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1701可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1701还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1702中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1701所执行以实现本申请中方法实施例提供的肝占位检测方法。
在一些实施例中,终端1700还可选包括有:外围设备接口1703和至少一个外围设备。处理器1701、存储器1702和外围设备接口1703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1703相连。具体地,外围设备包括:射频电路1704、触摸显示屏1705、摄像头1706、音频电路1707、定位组件1708和电源1709中的至少一种。
外围设备接口1703可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1701和存储器1702。在一些实施例中,处理器1701、存储器1702和外围设备接口1703被集成在同一芯片或电路板上;在一些其他实施例中,处理器1701、存储器1702和外围设备接口1703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1704用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1704包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1704还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1705用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1705是触摸显示屏时,显示屏1705还具有采集在显示屏1705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1701进行处理。此时,显示屏1705还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1705可以为一个,设置终端1700的前面板;在另一些实施例中,显示屏1705可以为至少两个,分别设置在终端1700的不同表面或呈折叠设计;在再一些实施例中,显示屏1705可以是柔性显示屏,设置在终端1700的弯曲表面上或折叠面上。甚至,显示屏1705还可以设置成非矩形的不规则图形,也即异形屏。显示屏1705可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1706用于采集图像或视频。可选地,摄像头组件1706包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1706还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1701进行处理,或者输入至射频电路1704以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1701或射频电路1704的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1707还可以包括耳机插孔。
定位组件1708用于定位终端1700的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1708可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1709用于为终端1700中的各个组件进行供电。电源1709可以是交流电、直流电、一次性电池或可充电电池。当电源1709包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1700还包括有一个或多个传感器1710。该一个或多个传感器1710包括但不限于:加速度传感器1711、陀螺仪传感器1712、压力传感器1713、指纹传感器1714、光学传感器1715以及接近传感器1716。
加速度传感器1711可以检测以终端1700建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1711可以用于检测重力加速度在三个坐标轴上的分量。处理器1701可以根据加速度传感器1711采集的重力加速度信号,控制触摸显示屏1705以横向视图或纵向视图进行用户界面的显示。加速度传感器1711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1712可以检测终端1700的机体方向及转动角度,陀螺仪传感器1712可以与加速度传感器1711协同采集用户对终端1700的3D动作。处理器1701根据陀螺仪传感器1712采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1713可以设置在终端1700的侧边框和/或触摸显示屏1705的下层。当压力传感器1713设置在终端1700的侧边框时,可以检测用户对终端1700的握持信号,由处理器1701根据压力传感器1713采集的握持信号进行左右手识别或快捷操作。当压力传感器1713设置在触摸显示屏1705的下层时,由处理器1701根据用户对触摸显示屏1705的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1714用于采集用户的指纹,由处理器1701根据指纹传感器1714采集到的指纹识别用户的身份,或者,由指纹传感器1714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1701授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1714可以被设置终端1700的正面、背面或侧面。当终端1700上设置有物理按键或厂商Logo时,指纹传感器1714可以与物理按键或厂商Logo集成在一起。
光学传感器1715用于采集环境光强度。在一个实施例中,处理器1701可以根据光学传感器1715采集的环境光强度,控制触摸显示屏1705的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1705的显示亮度;当环境光强度较低时,调低触摸显示屏1705的显示亮度。在另一个实施例中,处理器1701还可以根据光学传感器1715采集的环境光强度,动态调整摄像头组件1706的拍摄参数。
接近传感器1716,也称距离传感器,通常设置在终端1700的前面板。接近传感器1716用于采集用户与终端1700的正面之间的距离。在一个实施例中,当接近传感器1716检测到用户与终端1700的正面之间的距离逐渐变小时,由处理器1701控制触摸显示屏1705从亮屏状态切换为息屏状态;当接近传感器1716检测到用户与终端1700的正面之间的距离逐渐变大时,由处理器1701控制触摸显示屏1705从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图17中示出的结构并不构成对终端1700的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
请参考图18,其示出了本申请一个示意性实施例提供的服务器1800的结构示意图。具体来讲:所述服务器1800包括中央处理单元(CPU)1801、包括随机存取存储器(RAM)1802和只读存储器(ROM)1803的系统存储器1804,以及连接系统存储器1804和中央处理单元1801的系统总线1805。所述服务器1800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1806,和用于存储操作系统1813、应用程序1814和其他程序模块1815的大容量存储设备1807。
所述基本输入/输出系统1806包括有用于显示信息的显示器1808和用于用户输入信息的诸如鼠标、键盘之类的输入设备1809。其中所述显示器1808和输入设备1809都通过连接到系统总线1805的输入输出控制器1810连接到中央处理单元1801。所述基本输入/输出系统1806还可以包括输入输出控制器1810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1810还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1807通过连接到系统总线1805的大容量存储控制器(未示出)连接到中央处理单元1801。所述大容量存储设备1807及其相关联的计算机可读介质为服务器1800提供非易失性存储。也就是说,所述大容量存储设备1807可以包括诸如硬盘或者CD-ROI驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1804和大容量存储设备1807可以统称为存储器。
根据本申请的各种实施例,所述服务器1800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1800可以通过连接在所述系统总线1805上的网络接口单元1811连接到网络1812,或者说,也可以使用网络接口单元1811来连接到其他类型的网络或远程计算机系统(未示出)。
可选的,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各个方法实施例提供的肝占位检测方法。
本申请实施例还提供一种计算机设备,该计算机设备可以是上述图17提供的终端1700,也可以是上述图18提供的服务器1800。
本申请还提供一种计算机可读存储介质,该计算机可读存储介质存储有至少一条指令,至少一条指令用于被处理器执行以实现上述各个方法实施例提供的肝占位检测方法。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的肝占位检测方法中全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (13)
1.一种肝占位检测方法,其特征在于,所述方法包括:
获取三维形式的肝部医学图像;
获取肝占位病变检测模型,所述肝占位病变检测模型为基于三维深度卷积神经网络训练得到的模型,所述肝占位病变检测模型包括特征提取网络和策略函数;
调用所述肝占位病变检测模型将所述肝部医学图像输入至所述特征提取网络中,输出得到图像特征数据;
根据所述图像特征数据采用所述策略函数计算得到检测结果,所述检测结果包括所述肝占位的类别信息和/或三维形式的位置信息。
2.根据权利要求1所述的方法,其特征在于,所述特征提取网络包括基础为VGG网络的特征金字塔网络,所述肝占位病变检测模型是基于所述特征金字塔网络的单阶段检测模型。
3.根据权利要求2所述的方法,其特征在于,所述特征金字塔网络包括池化层、卷积模块和反卷积模块,所述池化层与所述卷积模块相连,所述卷积模块与所述反卷积模块相连;
所述反卷积模块包括反卷积层、归一化层和线性整流函数ReLU激活层。
4.根据权利要求1至3任一所述的方法,其特征在于,所述根据所述图像特征数据采用所述策略函数计算得到检测结果,包括:
根据所述图像特征数据采用所述策略函数计算得到初始检测结果;
对所述初始检测结果进行非极大值抑制得到目标检测结果。
5.根据权利要求4所述的方法,其特征在于,所述对所述初始检测结果进行非极大值抑制得到目标检测结果,包括:
判断所述初始检测结果是否满足输出条件,所述输出条件包括所述初始检测结果所指示的多个肝占位所在病变区域的位置小于预设输出个数;
当所述初始检测结果满足所述输出条件时,将所述初始检测结果作为所述目标检测结果进行输出;
当所述初始检测结果未满足所述输出条件时,计算当前的预测最大概率,将对应的最大预测区域的位置信息加入至所述初始检测结果中;分别计算所述初始检测结果所指示的其他预测区域与所述最大预测区域之间的交叉比;去除所述初始检测结果中所述交叉比大于预定阈值的位置信息,继续执行判断所述初始检测结果是否满足输出条件的步骤。
6.根据权利要求1所述的方法,其特征在于,所述获取三维形式的肝部医学图像,包括:
获取三维的肝部电子计算机断层扫描CT影像;
从所述肝部CT影像中获取预设尺寸的所述肝部医学图像。
7.根据权利要求1所述的方法,其特征在于,所述肝占位的位置信息采用四维向量(Px,Py,Pz,Pr)表示,其中(Px,Py,Pz)为所述肝占位的中心位置,所述Pr的值为所述肝占位的半径大小。
8.根据权利要求1至3任一所述的方法,其特征在于,所述肝占位病变检测模型是根据至少一组样本数据组训练得到的,每组所述样本数据组包括:样本肝部医学图像和预先标注的真实检测结果。
9.根据权利要求8所述的方法,其特征在于,所述获取肝占位病变检测模型,包括:
获取训练样本集,所述训练样本集包括所述至少一组样本数据组;
对于所述至少一组样本数据组中的每组样本数据组,将所述样本肝部医学图像输入原始参数模型,得到训练结果;
将所述训练结果与所述真实检测结果进行比较,计算损失函数的损失值,所述损失值用于指示所述训练结果与所述真实检测结果之间的误差;
根据所述至少一组样本数据组各自对应的损失值,训练得到所述肝占位病变检测模型。
10.根据权利要求9所述的方法,其特征在于,所述根据所述图像特征数据采用所述策略函数计算得到检测结果之后,还包括:
将所述肝部医学图像和所述检测结果添加至所述训练样本集,得到更新后的训练样本集;
根据所述更新后的训练样本集对所述肝占位病变检测模型进行训练,得到更新后的肝占位病变检测模型。
11.一种肝占位检测装置,其特征在于,所述装置包括:
第一获取模块,用于获取三维形式的肝部医学图像;
第二获取模块,用于获取肝占位病变检测模型,所述肝占位病变检测模型为基于三维深度卷积神经网络训练得到的模型,所述肝占位病变检测模型包括特征提取网络和策略函数;
第一检测模块,用于调用所述肝占位病变检测模型将所述肝部医学图像输入至所述特征提取网络中,输出得到图像特征数据;
第二检测模块,用于根据所述图像特征数据采用所述策略函数计算得到检测结果,所述检测结果包括所述肝占位的类别信息和/或三维形式的位置信息。
12.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一所述的肝占位检测方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一所述的肝占位检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910102836.5A CN110009599A (zh) | 2019-02-01 | 2019-02-01 | 肝占位检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910102836.5A CN110009599A (zh) | 2019-02-01 | 2019-02-01 | 肝占位检测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110009599A true CN110009599A (zh) | 2019-07-12 |
Family
ID=67165658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910102836.5A Pending CN110009599A (zh) | 2019-02-01 | 2019-02-01 | 肝占位检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110009599A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260618A (zh) * | 2020-01-13 | 2020-06-09 | 北京妙医佳健康科技集团有限公司 | 病灶检测系统构建的方法、装置及电子设备 |
CN112651400A (zh) * | 2020-12-31 | 2021-04-13 | 重庆西山科技股份有限公司 | 一种立体内窥镜辅助检测方法、系统、装置及存储介质 |
CN112669293A (zh) * | 2020-12-31 | 2021-04-16 | 上海商汤智能科技有限公司 | 图像检测方法和检测模型的训练方法及相关装置、设备 |
CN113420826A (zh) * | 2020-07-14 | 2021-09-21 | 十堰市太和医院 | 一种肝脏病灶图像处理系统及图像处理方法 |
CN114582449A (zh) * | 2022-01-17 | 2022-06-03 | 内蒙古大学 | 基于XLNet-BiGRU-CRF模型的电子病历命名实体标准化方法和系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105765629A (zh) * | 2013-09-25 | 2016-07-13 | 西门子公司 | 病变的早期治疗反应评估 |
WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
CN107657225A (zh) * | 2017-09-22 | 2018-02-02 | 电子科技大学 | 一种基于聚合通道特征的行人检测方法 |
CN107832807A (zh) * | 2017-12-07 | 2018-03-23 | 深圳联影医疗科技有限公司 | 一种图像处理方法和系统 |
CN108154105A (zh) * | 2017-12-21 | 2018-06-12 | 深圳先进技术研究院 | 水下生物检测与识别方法、装置、服务器及终端设备 |
CN108171709A (zh) * | 2018-01-30 | 2018-06-15 | 北京青燕祥云科技有限公司 | 肝占位性病灶区域的检测方法、装置和实现装置 |
CN108257128A (zh) * | 2018-01-30 | 2018-07-06 | 浙江大学 | 一种基于3d卷积神经网络的肺结节检测装置的建立方法 |
CN108765369A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技(深圳)有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
CN108742679A (zh) * | 2018-06-29 | 2018-11-06 | 上海联影医疗科技有限公司 | 结节检测装置和方法 |
CN108830205A (zh) * | 2018-06-04 | 2018-11-16 | 江南大学 | 基于改进全卷积网络的多尺度感知行人检测方法 |
CN108830826A (zh) * | 2018-04-28 | 2018-11-16 | 四川大学 | 一种检测肺结节的系统及方法 |
CN108961216A (zh) * | 2018-06-05 | 2018-12-07 | 青岛大学附属医院 | 一种组合式骨肿瘤微创切开活检器及控制方法 |
CN109034221A (zh) * | 2018-07-13 | 2018-12-18 | 马丁 | 一种宫颈细胞学图像特征的处理方法及其装置 |
CN109102502A (zh) * | 2018-08-03 | 2018-12-28 | 西北工业大学 | 基于三维卷积神经网络的肺结节检测方法 |
-
2019
- 2019-02-01 CN CN201910102836.5A patent/CN110009599A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105765629A (zh) * | 2013-09-25 | 2016-07-13 | 西门子公司 | 病变的早期治疗反应评估 |
WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
CN107657225A (zh) * | 2017-09-22 | 2018-02-02 | 电子科技大学 | 一种基于聚合通道特征的行人检测方法 |
CN107832807A (zh) * | 2017-12-07 | 2018-03-23 | 深圳联影医疗科技有限公司 | 一种图像处理方法和系统 |
CN108154105A (zh) * | 2017-12-21 | 2018-06-12 | 深圳先进技术研究院 | 水下生物检测与识别方法、装置、服务器及终端设备 |
CN108257128A (zh) * | 2018-01-30 | 2018-07-06 | 浙江大学 | 一种基于3d卷积神经网络的肺结节检测装置的建立方法 |
CN108171709A (zh) * | 2018-01-30 | 2018-06-15 | 北京青燕祥云科技有限公司 | 肝占位性病灶区域的检测方法、装置和实现装置 |
CN108765369A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技(深圳)有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
CN108830826A (zh) * | 2018-04-28 | 2018-11-16 | 四川大学 | 一种检测肺结节的系统及方法 |
CN108830205A (zh) * | 2018-06-04 | 2018-11-16 | 江南大学 | 基于改进全卷积网络的多尺度感知行人检测方法 |
CN108961216A (zh) * | 2018-06-05 | 2018-12-07 | 青岛大学附属医院 | 一种组合式骨肿瘤微创切开活检器及控制方法 |
CN108742679A (zh) * | 2018-06-29 | 2018-11-06 | 上海联影医疗科技有限公司 | 结节检测装置和方法 |
CN109034221A (zh) * | 2018-07-13 | 2018-12-18 | 马丁 | 一种宫颈细胞学图像特征的处理方法及其装置 |
CN109102502A (zh) * | 2018-08-03 | 2018-12-28 | 西北工业大学 | 基于三维卷积神经网络的肺结节检测方法 |
Non-Patent Citations (8)
Title |
---|
JUNJIE ZHANG 等: "NODULe: Combining Constrained Multi-Scale LoG Filters with Densely Dilated 3D Deep Convolutional Neural Network for Pulmonary Nodule Detection", 《NEUROCOMPUTING》 * |
JUNJIE ZHANG 等: "NODULe: Combining Constrained Multi-Scale LoG Filters with Densely Dilated 3D Deep Convolutional Neural Network for Pulmonary Nodule Detection", 《NEUROCOMPUTING》, 23 November 2018 (2018-11-23), pages 159 - 167 * |
ZHEN YE 等: "A Decision Fusion Model for 3D Detection of Autonomous Driving", 《2018 CHINESE AUTOMATION CONGRESS (CAC)》, pages 3773 - 3777 * |
吕晓琪等: "基于三维卷积神经网络的低剂量CT肺结节检测", 《光学精密工程》 * |
吕晓琪等: "基于三维卷积神经网络的低剂量CT肺结节检测", 《光学精密工程》, vol. 26, no. 05, 15 May 2018 (2018-05-15), pages 1211 - 1218 * |
曾钰廷: "基于深度学习的物体检测与跟踪方法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 138 - 1624 * |
李雅迪: "基于三维卷积神经网络模型的肺癌CT图像识别", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
李雅迪: "基于三维卷积神经网络模型的肺癌CT图像识别", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 December 2018 (2018-12-15), pages 138 - 1282 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260618A (zh) * | 2020-01-13 | 2020-06-09 | 北京妙医佳健康科技集团有限公司 | 病灶检测系统构建的方法、装置及电子设备 |
CN111260618B (zh) * | 2020-01-13 | 2023-08-25 | 北京妙医佳健康科技集团有限公司 | 病灶检测系统构建的方法、装置及电子设备 |
CN113420826A (zh) * | 2020-07-14 | 2021-09-21 | 十堰市太和医院 | 一种肝脏病灶图像处理系统及图像处理方法 |
CN112651400A (zh) * | 2020-12-31 | 2021-04-13 | 重庆西山科技股份有限公司 | 一种立体内窥镜辅助检测方法、系统、装置及存储介质 |
CN112669293A (zh) * | 2020-12-31 | 2021-04-16 | 上海商汤智能科技有限公司 | 图像检测方法和检测模型的训练方法及相关装置、设备 |
CN112651400B (zh) * | 2020-12-31 | 2022-11-15 | 重庆西山科技股份有限公司 | 一种立体内窥镜辅助检测方法、系统、装置及存储介质 |
CN114582449A (zh) * | 2022-01-17 | 2022-06-03 | 内蒙古大学 | 基于XLNet-BiGRU-CRF模型的电子病历命名实体标准化方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7085062B2 (ja) | 画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム | |
CN108549863B (zh) | 人体姿态预测方法、装置、设备及存储介质 | |
CN109360210B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
CN110009599A (zh) | 肝占位检测方法、装置、设备及存储介质 | |
CN108648235A (zh) | 相机姿态追踪过程的重定位方法、装置及存储介质 | |
CN110348543A (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
CN109978936A (zh) | 视差图获取方法、装置、存储介质及设备 | |
CN109947886A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN107833219B (zh) | 图像识别方法及装置 | |
JP5785664B2 (ja) | 深度画像における人の頭部の検出 | |
CN109976930A (zh) | 异常数据的检测方法、系统及存储介质 | |
CN110110787A (zh) | 目标的位置获取方法、装置、计算机设备及存储介质 | |
CN110097576A (zh) | 图像特征点的运动信息确定方法、任务执行方法和设备 | |
CN110276840A (zh) | 多虚拟角色的控制方法、装置、设备及存储介质 | |
CN109815150A (zh) | 应用测试方法、装置、电子设备及存储介质 | |
CN110064200A (zh) | 基于虚拟环境的物体构建方法、装置及可读存储介质 | |
CN110148178A (zh) | 相机定位方法、装置、终端及存储介质 | |
CN110135336A (zh) | 行人生成模型的训练方法、装置及存储介质 | |
CN110400304A (zh) | 基于深度学习的物体检测方法、装置、设备及存储介质 | |
CN110047152A (zh) | 基于虚拟环境的物体构建方法、装置及可读存储介质 | |
CN109886208A (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
CN108616691A (zh) | 基于自动白平衡的拍照方法、装置、服务器及存储介质 | |
CN109947338A (zh) | 图像切换显示方法、装置、电子设备及存储介质 | |
CN109948581A (zh) | 图文渲染方法、装置、设备及可读存储介质 | |
CN109360222A (zh) | 图像分割方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |