CN111275673A - 肺叶提取方法、装置及存储介质 - Google Patents

肺叶提取方法、装置及存储介质 Download PDF

Info

Publication number
CN111275673A
CN111275673A CN202010044260.4A CN202010044260A CN111275673A CN 111275673 A CN111275673 A CN 111275673A CN 202010044260 A CN202010044260 A CN 202010044260A CN 111275673 A CN111275673 A CN 111275673A
Authority
CN
China
Prior art keywords
lung
image
lobe
extracted
lobes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010044260.4A
Other languages
English (en)
Inventor
魏征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010044260.4A priority Critical patent/CN111275673A/zh
Publication of CN111275673A publication Critical patent/CN111275673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种肺叶提取方法、装置和存储介质,涉及金融科技领域,所述方法包括:获取肺部图像的肺叶分割图像;确定拟提取的肺叶;对所述拟提取的肺叶进行标记;根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶。本发明能够解决对整个肺的定量分析效率较低的技术问题。

Description

肺叶提取方法、装置及存储介质
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及一种肺叶提取方法、装置及存储介质。
背景技术
在医学图像处理领域,常常需要对原始数据进行重建,然后对原始数据进行分析,得到要想要的或者是感兴趣的区域。在肺疾病中的小气道病变或者肺气肿领域,常常只需要对最严重的肺叶进行定量分析。
如,慢性阻塞性肺疾病(chronic obstructive pulmonary diseases,COPD),简称慢阻肺。肺气肿是以气流受限不完全可逆为主要特点,并且肺气肿常呈进行性加重的趋势。依据《2018年GOLD慢性阻塞性肺疾病诊断、治疗及预防全球策略解读》将COPD患者分为4个级别:GOLD1级、GOLD2级、GOLD3级和GOLD4级。肺气肿的空间分布特点反映了不同肺叶气流受限的严重程度,国内外研究者对于不同肺叶肺气肿对肺功能的影响进行了相关性研究。双肺下叶主要与肺气流受限相关性更高,可能原因是由于重力作用,引起双肺下叶气道在呼气时关闭较早,进而引起气流受限;同时导致呼出的气体大多数为双肺下叶的气体,因此,弥散功能主要由双肺上叶引起。进一步地,COPD最先发生在右肺上叶。同时,随着肺功能严重程度加重,COPD亦逐渐向双肺下叶发展。如先对右肺上叶进行性阻塞性肺疾病快速定位与评估。如果右肺上叶没有发现有肺气肿迹象,则可以初步诊断肺部不存在肺气肿;如右肺上叶发现有肺气肿迹象,则进一步判断双肺下叶。
目前,需要对整个肺进行定量分析,以实现慢性阻塞性肺疾病快速定位与评估。然而,对整个肺图像进行定量分析,会造成数据量庞大,计算速度较慢,从而导致对整个肺的定量分析效率较低。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
有鉴于此,本发明提供一种肺叶提取方法、装置和存储介质,以解决目前对整个肺图像进行定量分析的效率较低的问题。
第一方面,本发明提供一种肺叶提取方法,包括:
获取肺部图像的肺叶分割图像;
确定拟提取的肺叶;
对拟提取的肺叶进行标记;
根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶。
可选地,所述根据标记后拟提取的肺叶和所述肺部分割图像得到目标肺叶,包括:
根据所述肺叶分割图像得到掩码图像,并根据所述掩码图像和所述标记后拟提取的肺叶得到标记的掩码图像;
利用所述标记的掩码图像乘以所述肺部图像,得到目标肺叶。
可选地,所述根据所述肺叶分割图像得到掩码图像,并根据所述掩码图像和所述标记后拟提取的肺叶得到标记的掩码图像,包括:
对所述肺叶分割图像进行掩码处理,得到各个肺叶的掩码图像,根据所述各个肺叶的掩码图像的预设掩码值以及所述标记后拟提取的肺叶的标记,得到所述标记的掩码图像。
可选地,所述利用所述标记的掩码图像乘以所述肺部图像,得到目标肺叶,包括:
依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶。
可选地,利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶之前,所述方法还包括:
分别确定所述肺部图像的层数和所述标记的掩码图像的层数;
判断所述肺部图像的层数和所述标记的掩码图像的层数是否相等;
所述依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶,包括:
若相等,则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶;
若不相等,则将所述标记的掩码图像或者所述肺部图像进行插值,以得到与所述肺部图像相同层数的掩码图像,然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶。
可选地,所述利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶之前,所述方法还包括:
确定所述标记后拟提取的肺叶的标记是否在预设掩码值范围内;
所述利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶,包括:
如果在预设掩码值的范围内,则确定所述标记后拟提取的肺叶的标记与所述预设掩码值相同;
如果相同,则利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶。
可选地,在所述获取肺部图像的肺叶分割图像之前,还包括:
获取所述肺部图像;
获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征;
利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正;
利用校正后的肺叶裂隙特征对所述肺图像进行分割,得到所述肺叶分割图像。
第二方面,本发明提供一种肺叶提取装置,包括:
获取单元,用于获取肺部图像的肺叶分割图像;
确定单元,用于确定拟提取的肺叶;
标记单元,用于对拟提取的肺叶进行标记;
提取单元,用于根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶。
可选地,提取单元包括:
确定模块,用于根据所述肺叶分割图像得到掩码图像,并根据所述掩码图像和所述标记后拟提取的肺叶得到标记的掩码图像;
提取模块,用于利用所述标记的掩码图像乘以所述肺部图像,得到目标肺叶。
可选地,确定模块,具体用于对所述肺叶分割图像进行掩码处理,得到各个肺叶的掩码图像,根据所述各个肺叶的掩码图像的预设掩码值以及所述标记后拟提取的肺叶的标记,得到所述标记的掩码图像。
可选地,提取模块,具体用于依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶。
可选地,提取单元还包括:判断模块,
确定模块,还用于分别确定所述肺部图像的层数和所述标记的掩码图像的层数;
判断模块,用于判断所述肺部图像的层数和所述标记的掩码图像的层数是否相等;
提取模块,具体用于若相等,则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶;
若不相等,则将所述标记的掩码图像或者所述肺部图像进行插值,以得到与所述肺部图像相同层数的掩码图像,然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶。
可选地,所述确定单元,还用于确定所述标记后拟提取的肺叶的标记是否在预设掩码值范围内;
所述提取单元,具体用于如果所述标记后拟提取的肺叶的标记在预设掩码值的范围内,则确定所述标记后拟提取的肺叶的标记与所述预设掩码值是否相同;
如果所述标记后拟提取的肺叶的标记与所述预设掩码值相同,则利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶。
可选地,所述装置还包括:
分割单元,用于获取所述肺部图像;获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征;利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正;利用校正后的肺叶裂隙特征对所述肺图像进行分割,得到所述肺叶分割图像。
第三方面,本发明还提供一种终端设备,所述纵向联邦学习系统优化设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如上所述的肺叶提取方法的步骤。
第四方面,本发明还提出一种存储介质,所述存储介质上存储有程序,所述程序被处理器执行时实现如上所述的肺叶提取方法的步骤。
本发明提供的一种肺叶提取方法,装置及存储介质,通过获取肺部图像的肺叶分割图像;确定拟提取的肺叶;对所述拟提取的肺叶进行标记;能够根据标记后拟提取的肺叶和所述肺部分割图像得到目标肺叶,从而能够对确定或单独的单肺叶进行定量分析,因此,通过实现单个肺叶的提取,能够克服对整个肺进行定量分析造成数据量庞大,计算速度较慢的问题。
附图说明
通过以下参考附图对本发明实施例的描述,本发明的上述以及其它目的、特征和优点更为清楚,在附图中:
图1是本发明实施例方案涉及的硬件运行环境中终端设备的结构示意图;
图2是本发明实施例中一种肺叶提取方法的流程示意图;
图3是本发明实施例中一种肺叶提取装置的流程示意图;
图4是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的原CT图像;
图5是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的掩码图像;
图6是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的右肺上肺叶的提取示意图;
图7是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图;
图8是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。
具体实施方式
以下基于实施例对本发明进行描述,但是值得说明的是,本发明并不限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。然而,对于没有详尽描述的部分,本领域技术人员也可以完全理解本发明。
此外,本领域普通技术人员应当理解,所提供的附图只是为了说明本发明的目的、特征和优点,附图并不是实际按照比例绘制的。
同时,除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包含但不限于”的含义。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境中终端设备的结构示意图。
本发明实施例终端设备可以是PC、分布式业务系统的中心服务器等,如图1所示,该终端设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端设备还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。
本领域技术人员可以理解,图1中示出的终端设备结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及终端程序。
在图1所示的终端设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的终端程序。
在本实施例中,终端设备包括:存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的终端程序,其中,处理器1001调用存储器1005中存储的终端程序时,并执行下述终端方法中的操作。
本发明实施例旨在提出分割后目标肺叶,肺包括左肺和右肺,右肺包括右上叶、右中叶和右下叶,左肺包括左上叶和左下叶。本发明目标肺叶为右上叶、右中叶、右下叶、左上叶和左下叶的一个或多个肺叶。
图2是一种肺叶提取方法的流程示意图。如图2所示,一种肺叶提取方法,包括:步骤S101获取肺部图像的肺叶分割图像;步骤S102确定拟提取的肺叶;步骤S103对所述拟提取的肺叶进行标记;步骤S104根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶。以解决目前需要对整个肺进行定量分析造成数据量庞大,计算速度较慢,不能利用确定或单独的单肺叶进行定量分析的问题。具体地,本发明实施例可以应用于带电子计算机断层扫描(Computed Tomography,CT)值的肺叶提取,同时,本发明提取了目标肺叶,在之后单个肺叶的三维重建更加快速,有利于医生进一步的对每个肺叶单独观察,不会出现肺叶阻挡的情况。值得说明的是,本发明实施例中的目标肺叶即为要提取的或者拟提取的肺叶。
步骤S101:获取肺部图像的肺叶分割图像。
本发明的实施例,首先获取肺部图像,此处的肺部图像为原始肺部图像,即从影响设备,如CT机,得到的薄层扫描数据。
步骤S102:确定拟提取的肺叶。
具体地说,肺部分为右肺和左肺,共有5个肺叶,右肺包括3个肺叶,分别是右上叶、右中叶、右下叶。左肺包括2个肺叶,分别是左上叶和左下叶。本发明可以实现5个肺叶的任一个或者多个肺叶的提取。
步骤S103:对所述拟提取的肺叶进行标记。
对拟提取的肺叶进行标记是为了确定要进行提取的肺叶,可以对多个肺叶进行标记,也可以只对一个肺叶进行标记。
步骤S104:根据标记后拟提取的肺叶和所述肺部分割图像得到目标肺叶。
其中,所述目标肺叶为要提取(拟提取)的肺叶的最终肺叶结果。如已经确定了要提取(拟提取)的肺叶,并对要提取的肺叶进行标记,此时就可以根据没有分割之前的肺部图像进行肺叶的提取了,具体可详见下文的详细描述。
如,需要提取右肺的右上叶,则执行下列操作,首先获取肺部图像,对肺部图像进行肺叶分割,得到肺叶分割图像。然后执行获取肺部图像的肺叶分割图像,确定拟提取的肺叶为右肺的右上叶,对所述右肺的右上叶的肺叶进行标记,根据标记的右肺的右上叶的肺叶和所述肺部图像得到所述要提取的右肺的右上叶。
在本发明的实施例中,步骤S104根据标记后拟提取的肺叶和所述肺部分割图像得到目标肺叶的具体方法为:
根据所述肺叶分割图像得到掩码图像,并根据所述掩码图像和所述标记后拟提取的肺叶得到标记的掩码图像;利用所述标记的掩码图像乘以所述肺部图像,得到目标肺叶。其中,掩码图像、标记的掩码图像以及肺部图像的尺度相同。
也就是说,获取肺部图像的肺叶分割图像后,对已经完成肺叶分割图像的每个肺叶进行mask掩码操作,mask掩码操作在计算机学科及数字逻辑中指的是一串二进制数字,通过与目标数字的按位操作,达到屏蔽指定位而实现需求。
所述根据所述肺叶分割图像得到掩码图像,并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像的方法为:对所述肺叶分割图像进行掩码处理,得到每个肺叶的掩码图像,根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图像;并将所述标记的掩码图像内的像素置1,以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0。所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶,也就是说,掩码图像、标记的掩码图像以及肺部图像的大小(size)相同。
其中,对所述肺叶分割图像进行掩码处理,得到每个肺叶的掩码图像,即对获取肺部图像的肺叶分割图像进行掩码处理,分别得到肺部图像中每个肺叶的掩码图像,然后根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图的具体操作为:根据所述拟提取肺叶的掩码图像的预设掩码值和所述标记来确定所述拟提取的肺叶以得到所述标记的掩码图像。
具体地说,对所述拟提取的肺叶进行标记,根据右上叶、右中叶、右下叶、左上叶和左下叶的预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5来确定所述拟提取的肺叶以得到所述标记的掩码图像,对所述拟提取的肺叶进行标记的标记值只能取1-5中的一个或几个。
更为具体地说,对已经完成分割的所述肺叶分割图像的每个肺叶进行mask掩码操作,以区别右上叶、右中叶、右下叶、左上叶和左下叶的5个肺叶,右上叶、右中叶、右下叶、左上叶和左下叶的肺叶可以为分别定义为预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5。其中,对所述拟提取的肺叶进行标记为选择预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5中的一个或者几个。如,所述标记为1,则与预设掩码值1相同,表示所述拟提取肺叶的标记为右上叶,即得到所述标记的掩码图。
值得说明的是,根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶之前,还需要判断所述标记是不是在预设掩码值的范围内,如果在预设掩码值的范围内,则根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶,如果不在则进行提示。如标记为6,则标记不是在预设掩码值的范围内,进行提示,如提示报错。
进一步地说,如果在预设掩码值的范围内,进一步判断预设掩码值与拟提取的肺叶的标记是否相同,如果相同则不需要将所述标记的掩码图像内的像素置1,之后再根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶;否则(如果不相同),将右肺的右上叶内像素置1,之后再根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶。其中,预设掩码值为像素或者像素值。
例如,确定拟提取的肺叶为右肺的右上叶,右肺的右上叶为预设掩码值1,标记为1表示提取预设掩码值1的右肺的右上叶,由于预设掩码值1与像素值1相同,此时不需要将右肺的右上叶的掩码图像内的内像素置1,将标记之外的肺叶分割图像的区域的像素置0得到所述标记的掩码图像,用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶。
在发本发明的实施例中,根据所述肺叶分割图像得到掩码图像,并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像,利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶的具体方法为:依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶,将若干层所述拟提取的肺叶进行三维重建,得到三维拟提取的肺叶。
在本发明的实施例中,构建标记的掩码图像,利用掩码图像乘以肺部图像,得到拟提取的肺叶之前,分别确定肺部图像的层数和掩码图像的层数;判断肺部图像的层数和掩码图像的层数是否相等;若相等,则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶,将若干层所述拟提取的肺叶进行三维重建,得到三维拟提取的肺叶;若不相等,将掩码图像进行插值,以得到与肺部图像相同层数的掩码图像,然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶,将若干层所述拟提取的肺叶进行三维重建,得到三维拟提取的肺叶。
例如,肺部图像为从影像设备中采集得到原始图像,肺部图像的层数为400层,掩码图像的层数也为400层,肺部图像与掩码图像的每一层都是对应的。对所述肺叶分割图像进行掩码处理,得到每个肺叶的掩码图像,根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图像;并将所述标记的掩码图像内的像素置1,以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0。第一层的肺部图像乘以标记的掩码图像得到所述拟提取的肺叶的第一层数据,依次类推,最后得到所述拟提取的肺叶第400层的数据,然后对所述拟提取的肺叶的第一层数据到所述拟提取的肺叶第400层的数据进行三维重建,得到三维拟提取的肺叶。在本领域三维重建(3DReconstruction)的方法为现有技术,本领域人员可以根据需要自由选择。
在所述获取肺部图像的肺叶分割图像之前,还包括:获取所述肺部图像;对所述肺部图像进行肺叶分割,得到所述肺叶分割图像;以及/或对所述肺部图像进行肺叶分割,得到所述肺叶分割图像的方法的有多种,有基于传统的肺叶方式,也有基于深度学习的方法,如利用U-net分割网络或者V-net分割网络进行肺叶分割,也可以基于论文Automaticsegmentation of pulmonary lobes using a progressive dense v-network提出的PDV网络进行肺叶分割。
在本发明中对所述肺部图像进行肺叶分割,得到所述肺叶分割图像的方法可以选择一种基于多视角下的肺叶分割方法或装置,以解决没有充分利用其他视角的信息对肺叶进行分割,造成信息丢失,不能准确的分割肺叶的问题。
具体地说,一种基于多视角下的肺叶分割方法或装置,包括:获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征;利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正。具体可见图6和图7中的详细说明。
同时,本发明还提出了一种肺叶提取装置,如图3所示,包括:获取单元201,用于获取肺部图像的肺叶分割图像;确定单元202,用于确定拟提取的肺叶;标记单元203,用于对拟提取的肺叶进行标记;提取单元204,用于根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶;其中,获取单元201分别与确定单元202以及提取单元204连接,确定单元202还与标记单元203连接,标记单元203还与提取单元204连接。以解决目前需要对整个肺进行定量分析造成数据量庞大,计算速度较慢,不能利用确定或单独的单肺叶CT值进行定量分析的问题。同时,本发明提取了需目标肺叶,在之后单个肺叶的三维重建更加快速,有利于医生进一步的对每个肺叶单独观察,不会出现肺叶阻挡的情况。值得说明的是,本发明中的目标肺叶即为拟提取的肺叶。具体可参考一种肺叶提取方法内的描述。
在图3中,本发明实施例提出的一种肺叶提取装置,还包括:分割单元;分割单元与获取单元201连接,用于获取肺部图像,对肺部图像进行肺叶分割,得到肺叶分割图像。以及/或所述分割单元,执行以下操作:获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征;利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正;利用校正后的肺叶裂隙特征对所述肺图像进行分割。也就是说,在所述获取肺部图像的肺叶分割图像之前,还包括:获取所述肺部图像;对所述肺部图像进行肺叶分割,得到所述肺叶分割图像。
对所述肺部图像进行肺叶分割,得到所述肺叶分割图像的方法的有多种,有基于传统的肺叶方式,也有基于深度学习的方法,如利用U-net分割网络或者V-net分割网络进行肺叶分割,也可以基于论文Automatic segmentation of pulmonary lobes using aprogressive dense v-network提出的PDV网络进行肺叶分割。
在本发明中对所述肺部图像进行肺叶分割,得到所述肺叶分割图像的方法可以选择一种基于多视角下的肺叶分割方法和装置,以解决没有充分利用其他视角的信息对肺叶进行分割,造成信息丢失,不能准确的分割肺叶的问题。
具体地说,本发明实施例一种基于多视角下的肺叶分割方法和装置,包括:获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征;利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正。具体可见图6和图7中的详细说明。
在图3中,本发明实施例提出的一种肺叶提取装置的所述提取单元204,包括:确定模块以及提取模块;所述确定模块分别与所述获取单元201、所述标记单元203和所述提取模块连接,用于根据所述肺叶分割图像得到掩码图像,并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像;所述提取模块,用于利用所述标记的掩码图像乘以所述肺部图像,得到所述目标肺叶。其中,掩码图像、标记的掩码图像以及肺部图像的尺度相同,也就是说,掩码图像、标记的掩码图像以及肺部图像的大小(size)相同。
在图3中,所述确定模块根据所述肺叶分割图像得到掩码图像,并根据所述掩码图像和所述拟提取肺叶的标记得到标记的掩码图像,利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶执行下列操作:对所述肺叶分割图像进行掩码处理,得到每个肺叶的掩码图像,根据所述每个肺叶的掩码图像的预设掩码值以及所述拟提取肺叶的标记以得到所述标记的掩码图像;并将所述标记的掩码图像内的像素置1,以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0,所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶。
所述确定模块,具体用于对所述肺叶分割图像进行掩码处理,得到各个肺叶的掩码图像,根据所述各个肺叶的掩码图像的预设掩码值以及所述标记后拟提取的肺叶的标记,得到所述标记的掩码图像。
所述提取模块,具体用于依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶。
所述提取单元还包括:判断模块。确定模块,还用于分别确定所述肺部图像的层数和所述标记的掩码图像的层数;判断模块,用于判断所述肺部图像的层数和所述标记的掩码图像的层数是否相等;提取模块,具体用于若相等,则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶;若不相等,则将所述标记的掩码图像或者所述肺部图像进行插值,以得到与所述肺部图像相同层数的掩码图像,然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶。
此外,所述确定单元,还用于确定所述标记后拟提取的肺叶的标记是否在预设掩码值范围内;所述提取单元,具体用于如果所述标记后拟提取的肺叶的标记在预设掩码值的范围内,则确定所述标记后拟提取的肺叶的标记与所述预设掩码值是否相同;肺叶的标记与所述预设掩码值相同,则利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶。
在本发明的实施例中,根据所述肺叶分割图像得到掩码图像所执行的操作为:对获取肺部图像的肺叶分割图像进行掩码处理,得到每个肺叶的掩码图像。也就是说,获取肺部图像的肺叶分割图像后,对已经完成肺叶分割图像的每个肺叶进行mask掩码操作。mask掩码操作在计算机学科及数字逻辑中指的是一串二进制数字,通过与目标数字的按位操作,达到屏蔽指定位而实现需求。
在本发明的实施例中,具体地说,对获取肺部图像的肺叶分割图像进行掩码处理,分别得到肺部图像中5个肺叶的掩码图像,根据所述掩码图像的预设掩码值以及确定所述拟提取肺叶的标记以得到所述标记的掩码图像。其中,对已经完成肺叶分割图像的每个肺叶进行mask掩码操作即完成区别右上叶、右中叶、右下叶、左上叶和左下叶的5个肺叶的区域定位,右上叶、右中叶、右下叶、左上叶和左下叶的区域可以为分别定义为预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5。其中,对所述拟提取的肺叶进行标记为选择预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5中的一种一个或者几个。
在本发明的实施例中,根据所述拟提取肺叶的掩码图像的预设掩码值确定所述拟提取的肺叶以得到所述标记的掩码图像,具体地说为对所述拟提取的肺叶进行标记后得到拟提取肺叶的标记,右上叶、右中叶、右下叶、左上叶和左下叶的预设掩码值1、预设掩码值2、预设掩码值3、预设掩码值4和预设掩码值5和拟提取肺叶的标记来确定所述标记的掩码图像,对所述拟提取的肺叶进行标记的标记值只能取1-5中的一个或几个。
其中,预设掩码值与所述拟提取肺叶的标记一一对应的关系,如预设掩码值1表示右上叶,此时如果拟提取的肺叶为右上叶,拟提取的肺叶的标记为1。
值得说明的是,根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶之前,还需要判断所述标记是不是在预设掩码值的范围内,如果在预设掩码值的范围内,则根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶,如果不在则进行提示。如标记为6,则标记不是在预设掩码值的范围内,进行提示,如提示报错。
进一步地说,如果在预设掩码值的范围内,进一步判断预设掩码值与拟提取的肺叶的标记是否相同,如果相同则不需要将所述标记的掩码图像内的像素置1,之后再根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶;否则(如果不相同),将右肺的右上叶内像素置1,之后再根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶。
例如,确定拟提取的肺叶为右肺的右上叶,右肺的右上叶为预设掩码值1,标记为1表示提取预设掩码值1的右肺的右上叶,由于预设掩码值1与像素值1相同,此时不需要将右肺的右上叶的掩码图像内的内像素置1,将标记之外的肺叶分割图像的区域的像素置0得到所述标记的掩码图像,用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶。其中,预设掩码值为像素或者像素值。
如果拟提取的肺叶为是右中叶、右下叶、左上叶和左下叶,则并将所述标记的掩码图像内的像素置1,以及将所述标记的掩码图像之外的所述肺叶分割图像的区域的像素置0。利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶。
在图3中,本发明实施例提出的一种肺叶提取装置的所述提取单元204,还包括:判断单元;判断单元,分别与掩码图像构建单元以及提取模块连接,用于判断肺部图像的层数和掩码图像的层数是否相等;若相等,则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶,将若干层所述拟提取的肺叶进行三维重建,得到三维拟提取的肺叶;若不相等,将掩码图像进行插值,以得到与肺部图像相同层数的掩码图像,然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层所述拟提取的肺叶,将若干层所述拟提取的肺叶进行三维重建,得到三维拟提取的肺叶。
另外,本发明实施例还提出了一种存储介质,包括:存储器和处理器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序为如上的一种肺叶提取方法,处理器执行程序时实现以下步骤:获取肺部图像的肺叶分割图像;确定拟提取的肺叶;对拟提取的肺叶进行标记;根据标记后拟提取的肺叶和所述肺部图像得到目标肺叶。
图4是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的原CT图像;图5是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的掩码图像;图6是本发明实施例中一种带有CT值的肺叶提取方法或/和装置提取的右肺上肺叶的提取示意图。
图7是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图。图8是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。如图7和8所示,本发明实施例提供的基于多视角下的肺叶分割方法的执行主体可以为任意的图像处理装置,例如基于多视角下的肺叶分割方法可以由终端设备或服务器执行,其中,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。服务器可以为本地服务器或者云端服务器。在一些可能的实现方式中,该基于多视角下的肺叶分割方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
图7是本发明实施例一种基于多视角下的肺叶分割方法的流程图示意图。如图7所示,本发明实施例中的基于多视角下的肺叶分割方法,包括:
步骤101:获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。
在一些可能的实施方式中,可以通过特征提取处理的方式,提取不同视角下的肺图像的肺叶裂隙特征。肺叶裂隙特征是用于执行肺图像中的各肺叶区域的分割处理的特征。
本发明实施例可以分别对矢状面、冠状面以及横断面视角下的肺图像执行特征提取处理,得到相应视角下的肺图像的裂隙特征,即可以分别得到肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。本发明实施例中,各视角下的肺叶裂隙特征可以表示为矩阵或者向量的形式,肺叶裂隙特征可以表示相应视角下的肺图像在各像素点处的特征值。
在一些可能的实施方式中,本发明实施例可以通过拍摄CT(ComputedTomography,计算机断层影像)的方式得到在不同视角下的肺图像。对应的,在每个视角下可以得到多个断层图像,即为肺图像,同时同一视角下的该多个肺图像可以构造形成三维肺部图像。例如,可以将同一视角下的该多个肺图像进行堆叠,得到三维肺部图像,或者也可以执行线性拟合或者曲面拟合,得到三维肺部图像。
在一些可能的实施方式中,可以通过特征提取神经网络执行该特征提取处理。例如可以对神经网络训练,实现神经网络对肺部图像的肺叶裂隙特征的精确提取,并通过得到的特征执行肺叶分割。在肺叶分割的精度超过精度阈值的情况下,表示该神经网络得到的肺叶裂隙特征的精确度满足要求,此时可以将神经网络中执行分割的网络层去掉,保留的网络部分即可以作为本发明实施例的特征提取神经网络。其中,特征提取神经网络可以为卷积神经网络,如可以为残差网络、金字塔特征网络、U网络,上述仅为示例性说明,不作为本发明的具体限定。
步骤102:利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正。
在一些可能的实施方式中,在得到三个视角下的肺叶裂隙特征的情况下,可以利用其中两个视角下的肺叶裂隙特征对第三个视角下的肺叶裂隙特征进行校正,提高第三个视角下的肺叶裂隙特征的精确度。
在一个示例中,本发明实施例可以利用冠状面和横断面视角下的肺叶裂隙特征,对矢状面视角下的肺叶裂隙特征进行校正。在其他实施例中,也可以通过三种视角的肺叶裂隙特征中任意两种肺叶裂隙特征校正另一肺叶裂隙特征。为了方便描述,下述实施例中通过第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正进行描述。其中第一肺叶裂隙特征、第二肺叶裂隙特征以及第三肺叶裂隙特征与本发明实施例的三个视角下的肺叶裂隙特征分别对应。
在一些可能的实施方式中,可以采用映射的方式将第一肺叶裂隙特征和第二肺叶裂隙特征转换到第三肺叶裂隙特征的视角下,并利用映射得到的两个肺叶裂隙特征与第三肺叶裂隙特征执行特征融合,得到校正后的肺叶裂隙特征。
步骤103:利用校正后的肺叶裂隙特征对所述肺图像进行分割。
在一些可能的实施方式中,可以直接通过校正后的肺叶裂隙特征执行肺叶分割,得到肺叶裂隙的分割结果。或者,在其他实施方式中,也可以将校正后的肺叶裂隙特征与第三肺叶裂隙特征执行特征融合处理,基于融合结果执行肺叶分割,得到肺叶裂隙的分割结果。其中,分割结果可以包括识别出的肺图像中的各个分区对应的位置信息。例如,肺图像可以包括五个肺叶区域,分别为右上叶、右中叶、右下叶、左上叶和左下叶,得到分割结果中可以包括上述五个肺叶在肺图像中分别所在的位置信息。本发明实施例可以通过掩码特征的方式表示分割结果,也就是说,本发明实施例得到的分割结果可以是表示为掩码形式的特征,例如,本发明实施例可以为上述五个肺叶区域分别分配唯一对应的掩码值(设定掩码值),如1、2、3、4和5,每个掩码值形成的区域即为相应的肺叶所在的位置区域。上述掩码值仅为示例性说明,在其他实施例中也可以配置其他的掩码值。
基于上述实施例,可以充分融合三个视角下的肺叶裂隙特征,提高校正后的裂隙特征的信息含量以及准确度,进而提高肺叶分割结果的精确度。
为了详细的说明本发明实施例,下面分别对本发明实施例的各过程进行说明。
本发明实施例中,所述获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征的方法为:
获得在矢状面、冠状面以及横断面下的多序列肺图像;分别对所述矢状面、冠状面以及横断面下的多序列肺图像进行肺叶裂隙特征提取,得到在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。
本发明实施例可以首先获取三个视角下的多序列肺图像,如上述实施例所述,可以通过CT成像的方式采集肺图像在不同视角下的多层肺图像(多序列图像),通过每个视角下的多层肺图像均可以得到三维形式的肺部图像。
在得到三个视角下的多序列肺图像的情况下,可以对各肺图像执行特征提取处理,例如通过上述特征提取神经网络对各视角下的肺图像执行特征提取处理,得到三个视角下的每个图像的肺叶裂隙特征,如在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。其中,由于每个视角下可以包括多个肺图像,本发明实施例可以通过多个特征提取神经网络并行的执行该多个肺图像的特征提取处理,提高特征提取效率。
图7是本发明实施例一种基于多视角下的肺叶分割方法和/或装置的网络结构示意图。如图7所示,本发明实施例执行特征提取处理的网络可以为U网络(U-net),也可以为其他的能够执行特征提取的卷积神经网络。
在得到各个视角下的肺图像的肺叶裂隙特征的情况下,可以利用矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正,该过程可以包括:将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角;利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正。
为了描述方便,下述以第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正为例进行说明。
由于在不同视角下,提取的肺叶裂隙特征不同,本发明实施例可以将三个视角下的肺叶裂隙特征映射转换到一个视角下。其中,所述将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角的方法为:将所述矢状面、冠状面以及横断面任意二个的多序列肺图像的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角。也就是说,可以将第一肺叶裂隙特征和第二肺叶裂隙特征映射转换到第三肺叶裂隙特征所在的视角。其中,通过视角的映射转换,可以使得映射后得到的肺叶裂隙特征中融合映射之前视角的特征信息。
如上述实施例所述,本发明实施例在每个视角下可以得到多个肺图像,该多个肺图像对应的具有多个肺叶裂隙特征。肺叶裂隙特征中各特征值与相应的肺图像各像素点一一对应。
本发明实施例可以根据一个视角下的多个肺图像形成的三维立肺图像,确定将该视角转换到另一视角时肺图像中各像素点之间位置映射关系,如某一像素点从第一视角的第一位置切换到第二视角的第二位置,此时,该第一视角下的第一位置对应的特征值被映射到第二位置。通过上述实施例,可以实现不同视角下各肺图像的肺叶裂隙特征之间的映射转换。
在一些可能的实施方式中,在将三个视角的肺叶裂隙特征映射到相同的视角下的情况下,可以利用映射后的两个肺叶裂隙特征对第三肺叶裂隙特征执行校正处理,提高第三肺叶裂隙特征的信息含量和精确度。
本发明实施例中,所述利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正的方法为:
分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合,得到第一融合特征和第二融合特征;根据所述第一融合特征和所述第二融合特征得到校正后的所述第三个肺叶裂隙特征。
本发明实施例可以将第一肺叶裂隙特征映射后的特征称为第一映射特征,以及将第二肺叶裂隙特征映射后的特征称为第二映射特征。在得到第一映射特征和第二映射特征的情况下,可以执行第一映射特征和第三肺叶裂隙特征之间的空间注意力特征融合,得到第一融合特征,以及执行第二映射特征和第三肺叶裂隙特征之间的空间注意力特征融合,得到第二融合特征。
其中,所述分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合,得到第一融合特征和第二融合特征的方法为:
分别将所述任意二个的肺叶裂隙特征与所述第三个肺叶裂隙特征进行连接,得到第一连接特征和第二连接特征;对所述第一连接特征进行第一卷积操作得到第一卷积特征,以及对所述第二连接特征进行第一卷积操作得到第二卷积特征;对所述第一卷积特征进行第二卷积操作得到第一注意力系数,以及对所述第二卷积特征进行第二卷积操作得到第二注意力系数;利用第一卷积特征和第一注意力系数得到所述第一融合特征,以及利用第二卷积特征和第二注意力系数得到所述第二融合特征。
在一些可能的实施方式中,如图7所示,可以通过空间注意力机制的网络模块执行上述空间注意力特征融合处理本发明实施例考虑到肺叶裂隙特征在不同位置上的重要性不同,采用了空间注意力机制。其中,可以通过空间注意力神经网络(attention)实现基于注意力机制的卷积处理,得到的融合特征中进一步突出了重要的特征。在该空间注意力神经网络的训练过程中可以自适应的学到空间特征每个位置的重要性,形成与每个位置的特征对象的注意力系数,例如该系数可以表示[0,1]区间的系数值,系数越大说明相应位置的特征越重要。
在执行空间注意力融合处理的过程中,可以首先对第一映射特征和第三肺叶裂隙特征执行连接处理得到第一连接特征,对第二映射特征和第三肺叶裂隙特征执行连接处理得到第二连接特征,上述连接处理可以为在通道方向上进行连接(concatenate)。本发明实施例中,第一映射特征、第二映射特征以及第三肺叶裂隙特征的尺度均可以标识为(C/2,H,W),其中C表示各特征的通道数,H表示特征的高度,W表示特征的宽度。对应的,通过连接处理得到的第一连接特征和第二连接特征的尺度可以表示为(C,H,W)。
在得到第一连接特征和第二连接特征的情况下,可以分别对各第一连接特征和第二连接特征执行第一卷积操作,如利用卷积层A通过3*3的卷积核执行该第一卷积操作,而后还可以执行批归一化(bn)以及激活函数(relu)处理,得到与第一连接特征对应的第一卷积特征,以及与第二连接特征对应的第二卷积特征。该第一卷积特征和第二卷积特征的尺度可以表示为(C/2,H,W),通过第一卷积操作可以减少特征图中的参数,减少了后续的计算成本。
在一些可能的实施方式中,在得到第一卷积特征和第二卷积特征的情况下,可以分别对第一卷积特征和第二卷积特征执行第二卷积操作以及sigmoid函数处理,分别得到对应的第一注意力系数和第二注意力系数。其中第一注意力系数可以表示第一卷积特征各个元素的特征的重要程度,以及第二注意力系数可以表示第二卷积特征中元素的特征的重要程度。
如图7所示,针对第一卷积特征或者第二卷积特征,均可以采用两个卷积层B和C执行该第二卷积操作,其中卷积层B通过1*1的卷积核处理后,执行批归一化(bn)以及激活函数(relu)处理,得到第一中间特征,该第一中间特征图的尺度可以表示为(C/8,H,W),而后通过第二个卷积层C对该第一中间特征图执行1*1卷积核的卷积操作,得到(1,H,W)的第二中间特征图。进一步可以对该第二中间特征图使用sigmoid函数执行激活函数处理,得到第一卷积特征或者第二局演技特征对应的注意力系数,注意力系数的系数值可以为[0,1]范围内的数值。
通过上述第二卷积操作可以对第一连接特征和第二连接特征执行降维处理,得到单通道的注意力系数。
在一些可能的实施方式中,在得到第一卷积特征对应的第一注意力系数以及第二卷积特征对应的第二注意力系数的情况下,可以对第一卷积特征和第一注意力系数执行乘积处理,并将乘积结果与第一卷积特征相加,得到第一融合特征。以及对第二卷积特征和第二注意力系数矩阵执行乘积处理,并将乘积结果与第二卷积特征相加得到第二融合特征。其中,乘积处理(mul)可以为对应元素相乘,以及特征相加(add)可以为对应元素相加。通过上述方式可以将实现三个视角下特征的有效融合。
或者,在另一些实施方式中,也可以利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加,并对相加得到的特征进行若干卷积操作得到所述第一融合特征;以及利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加,并对相加得到的特征进行若干卷积操作得到所述第二融合特征。通过该方式可以进一步提高融合特征的精确度,以及提高融合的信息含量。
在得到第一融合特征以及第二融合特征的情况下,可以利用第一融合特征和第二融合特征得到校正后的第三肺叶裂隙特征。
在一些可能的实施方式中,由于第一融合特征和第二融合特征中分别包括三个视角下的特征信息,因此可以直接通过将第一融合特征和第二融合特征进行连接,并对连接后的特征执行第三卷积操作,得到校正后的第三肺叶裂隙特征。或者,也可以将第一融合特征、第二融合特征以及第三肺叶裂隙特征连接,并对连接后的特征执行第三卷积操作,得到校正后的第三肺叶裂隙特征。
其中,该第三卷积操作可以包括分组卷积处理。通过第三卷积操作可以进一步实现每个特征中的特征信息的进一步融合。如图7所示,本发明实施例的第三卷积操作可以包括分组卷积D(depth wise conv),其中分组卷积可以加快卷积速度,同时提高卷积特征的精度。
在通过第三卷积操作得到校正后的第三肺叶裂隙特征的情况下,可以利用校正后的肺叶裂隙特征对所述肺图像进行分割。本发明实施例可以利用卷积的方式得到校正后的肺叶裂隙特征对应的分割结果。如图7所示,本发明实施例可以将校正后的肺叶裂隙特征输入到卷积层E中,通过1*1的卷积核执行标准卷积,得到肺图像的分割结果。如上述实施例所述,该分割结果中可以表示肺图像中的五个肺叶分别所在的位置区域。如图7所示,肺图像中各肺叶区域通过深浅填充色的方式进行区分。
基于上述配置,本发明实施例提供的基于多视角下的肺叶分割方法可以以解决没有充分利用其他视角的信息对肺叶进行分割,造成信息丢失,不能准确的分割肺叶的技术问题。
如上述实施例所述本发明实施例可以通过神经网络实现,如图7所示,本发明实施例执行多视角下的肺叶分割方法的神经网络可以包括特征提取神经网络、空间注意力神经网络以及分割网络(包括卷积层D和E)。
本发明实施例可以包括三个特征提取神经网络,分别用于提取不同视角下的肺叶裂隙特征。其中,可以将三个特征提取网络称为第一分支网络、第二分支网络和第三分支网络。其中,本发明实施例的三个分支网络的结构完全相同,每个分支网络的输入图像各不相同。例如矢状面的肺图像样本输入到第一分支网络、冠状面的肺图像样本输入到第二分支网络,以及横断面的肺图像样本输入到第三分支网络,用以分别执行各视角下的肺图像样本的特征提取处理。
具体的,本发明实施例中,训练所述特征提取神经网络的过程,包括:
获取矢状面下、冠状面下以及横断面下的训练样本,所述训练样本为带有标记肺叶裂隙特征的肺图像样本;利用所述第一分支网络对矢状面下的肺图像样本执行特征提取,得到第一预测肺叶裂隙特征;利用所述第二分支网络对冠状面下的肺图像样本执行特征提取,得到第二预测肺叶裂隙特征;利用所述第三分支网络对横断面下的肺图像样本执行特征提取,得到第三预测肺叶裂隙特征;分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失,并利用所述网络损失调整所述第一分支网络、所述第二分支网络和所述第三分支网络的参数。
如上述实施例所述,分别利用第一分支网络、第二分支网络和第三分支网络执行矢状面、冠状面以及横断面视角下的肺图像样本的特征提取处理,进而可以对应的得到预测的特征,即第一预测肺叶裂隙特征、第二预测肺叶裂隙特征和第三预测肺叶裂隙特征。
在得到各预测的肺叶裂隙特征的情况下,可以分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失。例如,本发明实施例的损失函数可以为对数损失函数,通过第一预测肺叶裂隙特征和标记的真实肺叶裂隙特征,可以得到第一分支网络的网络损失,通过第二预测肺叶裂隙特征和标记的真实肺叶裂隙特征,可以得到第二分支网络的网络损失,以及通过第三预测肺叶裂隙特征和标记的真实肺叶裂隙特征,可以得到第三分支网络的网络损失。
在得到各分支网络的网络损失的情况下,可以根据各网络的网络损失的调整第一分支网络、所述第二分支网络和所述第三分支网络的参数,直至满足终止条件。其中,本发明实施例可以利用所述第一分支网络、所述第二分支网络和所述第三分支网络中任一分支的网络损失分别同时调整所述第一分支网络、所述第二分支网络和所述第三分的网络参数,如卷积参数等。从而可以使得任一视角下网络参数与其余两个视角下的特征相关,可以提高提取的肺叶裂隙特征与其余两个视角下的肺叶裂隙特征的相关性以及实现各视角下的肺叶裂隙特征的初步融合。
另外,特征提取神经网络的训练终止条件为各个分支网络的网络损失均小于第一损失阈值,此时表明特征提取神经网络的各分支网络均能够精确的提取相应视角下的肺图像的肺叶裂隙特征。
在训练完成特征提取神经网络的情况下,可以利用特征提取神经网络、空间注意力神经网络以及分割网络同时进行训练,并利用分割网络输出的分割结果与标记的肺叶裂隙特征中对应的标记结果,确定整个神经网络的网络损失。并利用整个神经网络的网络损失进一步反馈调节特征提取神经网络、空间注意力神经网络以及分割网络的网络参数,直至整个神经网络的网络损失小于第二损失阈值。本发明实施例中的第一损失阈值大于或者等于第二损失阈值,从而可以提高网络的网络精度。
在应用本发明实施例的神经网络执行基于多视角下的肺叶分割时,可以将同一肺部的不同视角下肺图像分别对应的输入至三个分支网络中,最终通过这个神经网络得到最终的肺图像的分割结果。
综上所述,本发明实施例提供的一种基于多视角下的肺叶分割方法和装置,可以对多视角特征信息进行融合,执行肺图像的肺叶分割,解决没有充分利用其他视角的信息对肺叶进行分割,造成信息丢失,不能准确的分割肺叶的问题。
另外,本发明实施例还提供了一种基于多视角下的肺叶分割装置或分割单元,其包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述实施例中任意一项所述的基于多视角下的肺叶分割方法。
在一些实施例中,本发明实施例提供一种基于多视角下的肺叶分割装置或分割单元具有的功能或包含的模块可以用于执行上文一种基于多视角下的肺叶分割实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
以上所述实施例仅为表达本发明的实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形、同等替换、改进等,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种肺叶提取方法,其特征在于,包括:
获取肺部图像的肺叶分割图像;
确定拟提取的肺叶;
对所述拟提取的肺叶进行标记;
根据标记后拟提取的肺叶和所述肺部分割图像得到目标肺叶。
2.根据权利要求1所述的方法,其特征在于,所述根据标记后拟提取的肺叶和所述肺部分割图像得到目标肺叶,包括:
根据所述肺叶分割图像得到掩码图像,并根据所述掩码图像和所述标记后拟提取的肺叶得到标记的掩码图像;
利用所述标记的掩码图像乘以所述肺部图像,得到目标肺叶。
3.根据权利要求2所述的方法,其特征在于,所述根据所述肺叶分割图像得到掩码图像,并根据所述掩码图像和所述标记后拟提取的肺叶得到标记的掩码图像,包括:
对所述肺叶分割图像进行掩码处理,得到各个肺叶的掩码图像,根据所述各个肺叶的掩码图像的预设掩码值以及所述标记后拟提取的肺叶的标记,得到所述标记的掩码图像。
4.根据权利要求2所述的方法,其特征在于,所述利用所述标记的掩码图像乘以所述肺部图像,得到目标肺叶,包括:
依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的肺叶,将若干层的肺叶进行三维重建,得到三维的目标肺叶。
5.根据权利要求4所述的方法,其特征在于,利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶之前,所述方法还包括:
分别确定所述肺部图像的层数和所述标记的掩码图像的层数;
判断所述肺部图像的层数和所述标记的掩码图像的层数是否相等;
所述依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶,包括:
若相等,则依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶;
若不相等,则将所述标记的掩码图像或者所述肺部图像进行插值,以得到与所述肺部图像相同层数的掩码图像,然后依次利用所在相同层数的所述标记的掩码图像乘以所述肺部图像得到一层的拟提取肺叶,将若干层的拟提取肺叶进行三维重建,得到三维的目标肺叶。
6.根据权利要求2所述的方法,其特征在于,所述利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶之前,所述方法还包括:
确定所述标记后拟提取的肺叶的标记是否在预设掩码值范围内;
所述利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶,包括:
如果在预设掩码值的范围内,则确定所述标记后拟提取的肺叶的标记与所述预设掩码值是否相同;
如果相同,则利用所述标记的掩码图像乘以所述肺部图像,得到所述拟提取的肺叶。
7.根据权利要求1-6任一项所述的方法,其特征在于,在所述获取肺部图像的肺叶分割图像之前,还包括:
获取所述肺部图像;
获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征;
利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正;
利用校正后的肺叶裂隙特征对所述肺图像进行分割,得到所述肺叶分割图像。
8.一种肺叶提取装置,其特征在于,包括:
获取单元,用于获取肺部图像的肺叶分割图像;
确定单元,用于确定拟提取的肺叶;
标记单元,用于对所述拟提取的肺叶进行标记;
提取单元,用于根据标记后拟提取的肺叶和所述肺部分割图像得到目标肺叶。
9.一种终端设备,其特征在于,所述终端设备设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序,所述肺裂隙平面的运动位移确定程序被所述处理器执行时实现如权利要求1至7中任一项所述的肺叶提取的步骤。
10.一种存储介质,其特征在于,所述计算机可读存储介质上存储有终端程序,所述终端程序被处理器执行时实现如权利要求1至7中任一项所述的肺叶提取方法的步骤。
CN202010044260.4A 2020-01-15 2020-01-15 肺叶提取方法、装置及存储介质 Pending CN111275673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010044260.4A CN111275673A (zh) 2020-01-15 2020-01-15 肺叶提取方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010044260.4A CN111275673A (zh) 2020-01-15 2020-01-15 肺叶提取方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111275673A true CN111275673A (zh) 2020-06-12

Family

ID=71001638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010044260.4A Pending CN111275673A (zh) 2020-01-15 2020-01-15 肺叶提取方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111275673A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950554A (zh) * 2021-02-05 2021-06-11 慧影医疗科技(北京)有限公司 一种基于肺分割的肺叶分割优化方法及系统
CN114418931A (zh) * 2021-11-23 2022-04-29 东北大学 术后剩余肺叶的提取方法及装置、电子设备和存储介质
CN115147359A (zh) * 2022-06-06 2022-10-04 北京医准智能科技有限公司 肺叶分割网络模型训练方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070092864A1 (en) * 2005-09-30 2007-04-26 The University Of Iowa Research Foundation Treatment planning methods, devices and systems
CN103400365A (zh) * 2013-06-26 2013-11-20 成都金盘电子科大多媒体技术有限公司 肺区ct序列自动分割方法
CN105488796A (zh) * 2015-11-27 2016-04-13 上海联影医疗科技有限公司 肺分割方法
CN107230204A (zh) * 2017-05-24 2017-10-03 东北大学 一种从胸部ct图像中提取肺叶的方法及装置
CN107665497A (zh) * 2016-07-29 2018-02-06 上海联影医疗科技有限公司 一种医学图像中计算心胸比的方法
CN108389190A (zh) * 2018-02-08 2018-08-10 贵州联科卫信科技有限公司 一种基于深度学习方法的肺结节自动检测方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109685776A (zh) * 2018-12-12 2019-04-26 华中科技大学 一种基于ct图像的肺结节检测方法及系统
CN110555853A (zh) * 2019-08-07 2019-12-10 杭州深睿博联科技有限公司 基于解剖学先验的分割算法评估的方法和装置
CN110689547A (zh) * 2019-09-25 2020-01-14 重庆大学 一种基于三维ct影像的肺结节分割方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070092864A1 (en) * 2005-09-30 2007-04-26 The University Of Iowa Research Foundation Treatment planning methods, devices and systems
CN103400365A (zh) * 2013-06-26 2013-11-20 成都金盘电子科大多媒体技术有限公司 肺区ct序列自动分割方法
CN105488796A (zh) * 2015-11-27 2016-04-13 上海联影医疗科技有限公司 肺分割方法
CN107665497A (zh) * 2016-07-29 2018-02-06 上海联影医疗科技有限公司 一种医学图像中计算心胸比的方法
CN107230204A (zh) * 2017-05-24 2017-10-03 东北大学 一种从胸部ct图像中提取肺叶的方法及装置
CN108389190A (zh) * 2018-02-08 2018-08-10 贵州联科卫信科技有限公司 一种基于深度学习方法的肺结节自动检测方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109685776A (zh) * 2018-12-12 2019-04-26 华中科技大学 一种基于ct图像的肺结节检测方法及系统
CN110555853A (zh) * 2019-08-07 2019-12-10 杭州深睿博联科技有限公司 基于解剖学先验的分割算法评估的方法和装置
CN110689547A (zh) * 2019-09-25 2020-01-14 重庆大学 一种基于三维ct影像的肺结节分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴刚: "数字X光胸片肺部分割的研究", 中国科学院深圳先进技术研究院, 15 March 2015 (2015-03-15) *
范春梅;李志雄;周建华;: "实验猕猴肺部CT影像断层初步观察", 中国比较医学杂志, no. 09, 30 September 2011 (2011-09-30) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950554A (zh) * 2021-02-05 2021-06-11 慧影医疗科技(北京)有限公司 一种基于肺分割的肺叶分割优化方法及系统
CN114418931A (zh) * 2021-11-23 2022-04-29 东北大学 术后剩余肺叶的提取方法及装置、电子设备和存储介质
CN114418931B (zh) * 2021-11-23 2024-06-04 东北大学 术后剩余肺叶的提取方法及装置、电子设备和存储介质
CN115147359A (zh) * 2022-06-06 2022-10-04 北京医准智能科技有限公司 肺叶分割网络模型训练方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109886997B (zh) 基于目标检测的识别框确定方法、装置及终端设备
CN108389201B (zh) 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法
CN107665492B (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN111275673A (zh) 肺叶提取方法、装置及存储介质
CN108346154B (zh) 基于Mask-RCNN神经网络的肺结节分割装置的建立方法
CN112132166B (zh) 一种数字细胞病理图像智能分析方法、系统及装置
US20220383661A1 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN110853082A (zh) 医学图像配准方法、装置、电子设备及计算机存储介质
CN109741395B (zh) 双心室量化方法、装置、电子设备及存储介质
CN111462097A (zh) 基于联邦学习的图像处理方法、装置、设备及存储介质
CN111292343B (zh) 一种基于多视角下的肺叶分割方法和装置
CN104732520A (zh) 一种胸部数字影像的心胸比测量算法及系统
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN113362314B (zh) 医学图像识别方法、识别模型训练方法及装置
CN112102259A (zh) 一种基于边界引导深度学习的图像分割算法
CN112700461A (zh) 一种肺结节检测和表征类别识别的系统
CN111666890A (zh) 脊柱变形人群识别方法、装置、计算机设备及存储介质
CN117523350A (zh) 基于多模态特征的口腔影像识别方法、系统及电子设备
WO2023142753A1 (zh) 图像相似性度量方法及其装置
CN104766068A (zh) 一种多规则融合的随机游走舌像提取方法
CN115881304B (zh) 基于智能检测的风险评估方法、装置、设备及介质
EP4167184A1 (en) Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection
CN111260627A (zh) 一种基于肺叶的肺气肿区域判断方法和装置
CN113344890B (zh) 医学图像识别方法、识别模型训练方法及装置
CN115406359A (zh) 一种基于图像的混凝土裂缝测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination