CN110517257B - 危及器官标注信息处理方法及相关装置 - Google Patents
危及器官标注信息处理方法及相关装置 Download PDFInfo
- Publication number
- CN110517257B CN110517257B CN201910815209.6A CN201910815209A CN110517257B CN 110517257 B CN110517257 B CN 110517257B CN 201910815209 A CN201910815209 A CN 201910815209A CN 110517257 B CN110517257 B CN 110517257B
- Authority
- CN
- China
- Prior art keywords
- value
- data
- volume value
- region
- target organ
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明的实施例提供一种危及器官标注信息处理方法、装置、可读存储介质和电子设备,属于深度学习技术领域,对CT数据已有的标注信息进行重定义,即进行自动化的二次标注,依据Hu值对轮廓区域和邻近组织区域进行不同的标注,比原始标注信息更适合用于深度学习模型的训练。由重定义后的标注信息,训练得到的深度学习模型对危及器官勾画准确性更高。
Description
技术领域
本发明涉及深度学习技术领域,更具体地说,涉及危及器官标注信息处理方法、装置、可读存储介质和电子设备。
背景技术
放射治疗是一种利用放射线对肿瘤区域进行辐射以达到杀死肿瘤细胞的治疗方法。放射线不仅对肿瘤细胞有杀伤能力,还对健康细胞有杀伤能力。医生在制定放射治疗计划时,需要对人体中的病变区域和其附近的健康区域有清晰的分界。处于这种健康区域的一些器官,如:食管、心脏、气管和主动脉等,被称为危及器官。
目前,利用深度学习的方法,对CT(Computed Tomography,即电子计算机断层扫描)图像中的危及器官进行自动勾画。深度学习是一种数据驱动方法,即通过对已有数据的建模来实现对未知数据的基于规则的相应处理。深度学习模型对CT图像中危及器官的勾画准确性,依赖于训练数据的标注质量。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:CT图像的标注数据只对应于危及器官和其它区域两类,但是危及器官的轮廓区域与邻近组织(位于其它区域)具有高度相似性,这增加了深度学习模型的学习难度,使得训练后的深度学习模型对危及器官的勾画准确性较低。
发明内容
有鉴于此,本发明提出危及器官标注信息处理方法、装置、可读存储介质和电子设备,以提供更适合用于训练的样本给深度学习模型,进而提高深度学习模型对危及器官的勾画准确性。
为了实现上述目的,现提出的方案如下:
第一方面,提供了一种危及器官标注信息处理方法,包括:
获取一组CT数据的标注数据,所述一组CT数据为通过CT扫描得到的多个CT图像,所述一组CT数据包含目标危及器官区域和非目标危及器官区域;
获取一组CT数据包含整个区域的所有Hu值;
针对每个第一Hu值,所述目标危及器官区域的轮廓区域的Hu值为所述第一Hu值,判断所述第一Hu值是否小于预设的第一阈值,若是,则将与所述第一Hu值对应的标注数据重置为第一标识数据;
针对每个第二Hu值,所述非目标危及器官区域的邻近组织区域的Hu值为第二Hu值,判断所述第二Hu值是否小于所述第一阈值,若否,则将与所述第二Hu值对应的标注数据重置为第二标识数据,若是,则判断所述第二Hu值是否大于预设的第二阈值,所述第二阈值小于所述第一阈值;
若所述第二Hu值大于所述第二阈值,则将与所述第二Hu值对应的标注数据重置为第三标识数据。
结合第一方面,在第一方面的某些实现方式中,所述轮廓区域的计算过程,包括:
根据所述标注数据,确定所述目标危及器官区域的体积值;
确定训练集中第一体积值和第二体积值,所述训练集包括多组CT数据和各组所述CT数据的标注数据,所述第一体积值为所述训练集中用户标注的最大目标危及器官区域的体积值,所述第二体积值为所述训练集中用户标注的最小目标危及器官区域的体积值;
计算得到第一差值与第二差值的比值,所述第一差值为所述目标危及器官区域的体积值和所述第二体积值的差值,所述第二差值为所述第一体积值和第二体积值的差值;
根据所述比值确定所述目标危及器官区域边缘向内的多层像素为所述轮廓区域,所述比值越大,则像素层数越大。
结合第一方面,在第一方面的某些实现方式中,所述邻近组织区域的计算过程,包括:
根据所述标注数据,确定所述目标危及器官区域的体积值;
确定训练集中第一体积值和第二体积值,所述训练集包括多组CT数据和各组所述CT数据的标注数据,所述第一体积值为所述训练集中用户标注的最大目标危及器官区域的体积值,所述第二体积值为所述训练集中用户标注的最小目标危及器官区域的体积值;
计算得到第一差值与第二差值的比值,所述第一差值为所述目标危及器官区域的体积值和所述第二体积值的差值,所述第二差值为所述第一体积值和第二体积值的差值;
根据所述比值确定所述目标危及器官区域边缘向外的多层像素为所述邻近组织区域,所述比值越大,则像素层数越大。
结合第一方面,在第一方面的某些实现方式中,所述第一阈值的计算过程具体为:
将所述训练集中全组CT数据的所述轮廓区域的Hu值进行排序,并取排序在10%位置的Hu值为所述第一阈值。
结合第一方面,在第一方面的某些实现方式中,所述第二阈值的计算过程具体为:
将所述训练集中全组CT数据的所述邻近组织区域的Hu值进行排序,并取排序在5%位置的Hu值为所述第二阈值。
第二方面,提供了一种危及器官标注信息处理装置,包括:
第一获取单元,用于获取一组CT数据的标注数据,所述一组CT数据为通过CT扫描得到的多个CT图像,所述一组CT数据包含目标危及器官区域和非目标危及器官区域;
第二获取单元,用于获取一组CT数据包含整个区域的所有Hu值;
第一判断单元,用于针对每个第一Hu值,所述目标危及器官区域的轮廓区域的Hu值为所述第一Hu值,判断所述第一Hu值是否小于预设的第一阈值,若是,则将与所述第一Hu值对应的标注数据重置为第一标识数据;
第二判断单元,用于针对每个第二Hu值,所述非目标危及器官区域的邻近组织区域的Hu值为第二Hu值,判断所述第二Hu值是否小于所述第一阈值,若否,则将与所述第二Hu值对应的标注数据重置为第二标识数据,若是,则执行第三判断单元;
所述第三判断单元,用于判断所述第二Hu值是否大于预设的第二阈值,所述第二阈值小于所述第一阈值,若是,则将与所述第二Hu值对应的标注数据重置为第三标识数据。
结合第二方面,在第二方面的某些实现方式中,所述第一判断单元,包括:
第一确定子单元,用于根据所述标注数据,确定所述目标危及器官区域的体积值;
第二确定子单元,用于确定训练集中第一体积值和第二体积值,所述训练集包括多组CT数据和各组所述CT数据的标注数据,所述第一体积值为所述训练集中用户标注的最大目标危及器官区域的体积值,所述第二体积值为所述训练集中用户标注的最小目标危及器官区域的体积值;
比值计算子单元,用于计算得到第一差值与第二差值的比值,所述第一差值为所述目标危及器官区域的体积值和所述第二体积值的差值,所述第二差值为所述第一体积值和第二体积值的差值;
第一区域确定子单元,用于根据所述比值确定所述目标危及器官区域边缘向内的多层像素为所述轮廓区域,所述比值越大,则像素层数越大。
结合第二方面,在第二方面的某些实现方式中,所述第二判断单元,包括:
第一确定子单元,根据所述标注数据,确定所述目标危及器官区域的体积值;
第二确定子单元,确定训练集中第一体积值和第二体积值,所述训练集包括多组CT数据和各组所述CT数据的标注数据,所述第一体积值为所述训练集中用户标注的最大目标危及器官区域的体积值,所述第二体积值为所述训练集中用户标注的最小目标危及器官区域的体积值;
比值计算子单元,计算得到第一差值与第二差值的比值,所述第一差值为所述目标危及器官区域的体积值和所述第二体积值的差值,所述第二差值为所述第一体积值和第二体积值的差值;
第二区域确定子单元,用于根据所述比值确定所述目标危及器官区域边缘向外的多层像素为所述邻近组织区域,所述比值越大,则像素层数越大。
第三方面,提供了一种可读存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时,实现上述第一方面任一项可能的危及器官标注信息处理方法的各个步骤。
第四方面,提供了一种电子设备,包括存储器和处理器,所述存储器,用于存储程序,其特征在于,所述处理器,用于执行所述程序,实现上述第一方面任一项可能的危及器官标注信息处理方法的各个步骤。
与现有技术相比,本发明的技术方案具有以下优点:
上述技术方案提供的一种危及器官标注信息处理方法,对CT数据已有的标注信息进行重定义,即进行自动化的二次标注,利用CT数据包含整个区域的所有Hu值,使得重定义后的标注信息,比原始标注信息更适合用于深度学习模型的训练。由重定义后的标注信息,训练得到的深度学习模型对危及器官勾画准确性更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种电子设备的结构示意图;
图2为本发明实施例提供的一种危及器官标注信息处理方法的流程图;
图3为本发明实施例提供的CT图像;
图4为本发明实施例提供的三维标注矩阵体素的示意图;
图5为本发明实施例提供的轮廓区域计算过程的示意图;
图6为本发明实施例提供的邻近组织区域计算过程的示意图;
图7为本发明实施例提供的一种危及器官标注信息处理装装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如背景技术中介绍的,目前对包含危及器官的CT数据进行标注时,只区分了危及器官区域和其它区域两类,但是危及器官的轮廓区域与邻近组织(位于其它区域)具有高度相似性,这增加了深度学习模型的学习难度。举例来说,对于深度学习模型来说,危及器官的主体区域与轮廓区域的区别,相比危及器官的轮廓区域与其它区域的邻近组织的区别要大,但是危及器官的主体区域与轮廓区域却具有相同的标注信息,轮廓区域与邻近组织具有不同的标注信息,所以这会增加深度学习模型的学习难度。
本发明实施例提供的一种危及器官标注信息处理方法,可应用于电子设备,利用CT数据包含整个区域的所有Hu值,对CT数据已有的标注信息进行重定义,依据Hu值对轮廓区域和邻近组织区域进行不同的标注,进行使得重定义后的标注信息,比原始标注信息更适合用于深度学习模型的训练。
本发明实施例提供的危及器官标注信息处理方法可应用于用于手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等电子设备上,本发明实施例对电子设备的具体类型不作任何限制。
示例性的,图1示出了电子设备的结构示意图。电子设备的硬件结构可以包括:至少一个处理器11,至少一个通信接口12,至少一个存储器13和至少一个通信总线14。且处理器11、通信接口12、存储器13通过通信总线14完成相互间的通信。
处理器11在一些实施例中可以是一个CPU(Central Processing Unit,中央处理器),或者是ASIC(Application Specific Integrated Circuit,特定集成电路),或者是被配置成实施本发明实施例的一个或多个集成电路等。
通信接口12可以包括标准的有线接口、无线接口(如WI-FI接口)。通常用于在电子设备与其他电子设备或系统之间建立通信连接。
存储器13包括至少一种类型的可读存储介质。可读存储介质可以为如闪存、硬盘、多媒体卡、卡型存储器等NVM(non-volatile memory,非易失性存储器)。可读存储介质还可以是高速RAM(random access memory,随机存取存储器)存储器。可读存储介质在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的硬盘。在另一些实施例中,可读存储介质还可以是电子设备的外部存储设备,例如该电子设备上配备的插接式硬盘、SMC(Smart Media Card,智能存储卡)、SD(Secure Digital,安全数字)卡,闪存卡(FlashCard)等。
其中,存储器13存储有计算机程序,处理器11可调用存储器13存储的计算机程序,所述计算机程序用于实现危及器官标注信息处理方法。
图1仅示出了具有组件11~14的数据校验设备,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,该电子设备还可以包括用户接口,用户接口可以包括输入单元(比如键盘)、语音输入装置(比如包含麦克风的具有语音识别功能的设备)和/或语音输出装置(比如音响、耳机等)。可选地,用户接口还可以包括标准的有线接口和/或无线接口。
可选地,该电子设备还可以包括显示器,显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(OrganicLight-Emitting Diode,有机发光二极管)显示器等。显示器用于显示可视化的用户界面。
可选地,该电子设备还包括触摸传感器。触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外,触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且,触摸传感器不仅包括接触式的触摸传感器,也可包括接近式的触摸传感器等。此外,触摸传感器可以为单个传感器,也可以为例如阵列布置的多个传感器。用户可以通过触摸触控区域输入信息。
此外,该数据校验设备的显示器的面积可以与触摸传感器的面积相同,也可以不同。可选地,将显示器与触摸传感器层叠设置,以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
该数据校验设备还可以包括RF(Radio Frequency,射频)电路、传感器和音频电路等等,在此不再赘。
参见图2,为本发明实施例提供的一种危及器官标注信息处理方法的流程图,该方法可以包括步骤:
S21:获取一组CT数据的标注数据。
一组CT数据为通过CT扫描得到的多个CT图像。CT扫描是一种逐层成像来表示三维物体的方式,因此由多个CT图像组合到一起得到的CT数据是三维数据。一组CT数据包含目标危及器官区域和非目标危及器官区域。医生对一组CT数据中的每一个CT图像进行目标危及器官区域的勾画,生成对应目标危及器官区域的标注信息,以及非目标危及器官区域的标注信息,以区分这连个区域。示例性的,图3示出了肺部的一个CT图像,目标危及器官为心脏,医生勾画出了心脏。一组CT数据对应一个三维标注矩阵,对于医生勾画出的心脏区域,三维标注矩阵中对应区域的标注数据值为1;对于其它区域,三维标注矩阵中对应区域的标注数据值为0。
S22:获取一组CT数据包含整个区域的所有Hu值。
Hu值为人体中组织对CT射线的吸收率,水的Hu值为0,空气的Hu值为-1000。通过对CT图像的像素值,也就是灰度值进行转化可以得到对应的Hu值。
S23:针对每个第一Hu值,判断第一Hu值是否小于预设的第一阈值,若是,则将与第一Hu值对应的标注数据重置为第一标识数据。
在本发明中目标危及器官区域的轮廓区域的Hu值为第一Hu值;非目标危及器官区域的邻近组织区域的Hu值为第二Hu值。重置后的标识数据与原来的标注数据值均不相同。第一Hu值不小于第一阈值,表示轮廓区域的该点与目标危及器官区域的主体区域的图像表现相似性较高,则认为该点属于目标危及器官的主体区域,不对标注数据进行重置,反之,则认为该点属于目标危及器官的轮廓区域,重置对应的标注数据为第一标识数据。
S24:针对每个第二Hu值,判断第二Hu值是否小于第一阈值,若否,则将与第二Hu值对应的标注数据重置为第二标识数据,若是,则执行步骤S25。
第二Hu值不小于第一阈值,表示邻近组织区域的该点与目标危及器官区域的主体区域的图像表现相似性较高,则认为其属于与目标危及器官组成相似的邻近组织,将对应的标注数据重置为第二标识数据。
S25:判断第二Hu值是否大于预设的第二阈值,若是,则将与第二Hu值对应的标注数据重置为第三标识数据。
第二阈值小于第一阈值。第二Hu值大于第二阈值且小于第一阈值,表示邻近组织区域的该点与重置为第一标识数据的区域的图像表现相似性较高,则认为属于目标危及器官的轮廓区域,将对应的标注数据重置为第三标识数据;若第二Hu值小于第二阈值,则认为与目标危及器官不相关,对应的标注数据不做处理。
在一个具体实施例中,第一阈值的计算过程具体为:将训练集中全组CT数据的轮廓区域的Hu值进行排序,并取排序在10%位置的Hu值为第一阈值。第二阈值的计算过程具体为:将训练集中全组CT数据的邻近组织区域的Hu值进行排序,并取排序在5%位置的Hu值为第二阈值。
本实施例提供的危及器官标注信息处理方法,利用CT数据包含整个区域的所有Hu值,依据Hu值对轮廓区域和邻近组织区域进行不同的标注,进行使得重定义后的标注信息,比原始标注信息更适合用于深度学习模型的训练。
下面详细介绍轮廓区域的计算过程,包括:
1.1根据标注数据,确定目标危及器官区域的体积值。
1.2确定训练集中第一体积值和第二体积值。
训练集包括多组CT数据和各组CT数据的标注数据。第一体积值为训练集中用户标注的最大目标危及器官区域的体积值;第二体积值为训练集中用户标注的最小目标危及器官区域的体积值。
一组CT数据的标注数据中,值为1的数据总量为目标危及器官区域的体积值。不同组CT数据的目标危及器官区域的体积值不同。
1.3计算得到第一差值与第二差值的比值。
第一差值为目标危及器官区域的体积值和第二体积值的差值,第二差值为第一体积值和第二体积值的差值。
1.4根据比值确定目标危及器官区域边缘向内的多层像素为轮廓区域,比值越大,则像素层数越大。
下面详细介绍邻近组织区域的计算过程,包括:
2.1根据标注数据,确定目标危及器官区域的体积值;
2.2确定训练集中第一体积值和第二体积值。
训练集包括多组CT数据和各组CT数据的标注数据。第一体积值为训练集中用户标注的最大目标危及器官区域的体积值;第二体积值为训练集中用户标注的最小目标危及器官区域的体积值。
一组CT数据的标注数据中,值为1的数据总量为目标危及器官区域的体积值。不同组CT数据的目标危及器官区域的体积值不同。
2.3计算得到第一差值与第二差值的比值。
第一差值为目标危及器官区域的体积值和第二体积值的差值,第二差值为第一体积值和第二体积值的差值。
2.4根据比值确定目标危及器官区域边缘向外的多层像素为邻近组织区域,比值越大,则像素层数越大。
需要说明的是,如果通过上述公式计算的到数为小数则向上取整,并作为像素层数。
下面通过三维标注矩阵对轮廓区域进行说明。三维标注矩阵每个体素附近应该有不同数量的其它体素,如4图所示。(a)所示顶点处的体素周围有7个其它体素,(b)所示边上的体素周围有11个其它体素,(c)所示表面上的体素周围有17个其它体素,(d)所示除上述情况外每个体素周围都有26个其它体素。
如果某个体素值为1,且其周围有某一个体素的值为0,则称这个体素为目标危及器官区域边缘的体素。以目标危及器官区域边缘的体素为基准,根据目标危及器官区域的体积值向内侧扩展相应层数的体素,将扩展得到的体素区域记为轮廓区域,将目标危及器官区域内不属于轮廓区域的体素区域记为主体区域。
计算轮廓区域和主体区域的具体过程为:
3.2使用一个尺寸为3x3x3的滑动块在Labe(三维标注矩阵)上滑动,滑动块在Label的每个位置上都会根据滑动块内的体素值得到一个对应值。当滑动块在整个Label上滑动过一次以后得到一个输出,将这一输出记为Label(输出1)。Label(输出1)的尺寸与Label完全一致,Label(输出1)中的每个体素值由滑动框在Label上对应位置的块内体素值决定。当块内体素值全都为1时,Label(输出1)对应位置的体素值为1;否则Label(输出1)对应位置的体素值为0。过程如图5所示。
3.3将3.2中的过程重复迭代m次,第一次迭代的输入记为Label(输入1),也就是原始标注信息Label,即Label(输入1)=Label,第一次迭代的输出记为Label(输出1);第二次迭代的输入记为Label(输入2),它是第一次迭代的输出,即Label(输入2)=Label(输出1),第二次迭代的输出记为Label(输出2)。由此推断得到,第i次迭代的输入为Label(输入i)=Label(输出i-1),其输出为Label(输出i)。最后一次迭代(即第m次)的输出为Label(输出m)。
根据上述过程得到最终的输出为Label(输出m)。主体区域即Label(输出m)中体素为1的位置在CT数据中对应区域。将Label(输出m)与原始Label做差,如果某个体素在Label中为1,在Label(输出m)中为0,这样的体素组成的区域在CT数据中对应区域为轮廓区域。
以目标危及器官区域边缘的体素为基准,根据目标危及器官区域的体积值向外侧扩展相应层数的体素,将扩展得到的体素区域记为邻近组织区域。Label上邻近组织区域和轮廓区域是相邻的。
计算邻近组织区域的具体过程为:
4.2使用一个尺寸为3x3x3的滑动块在Label上滑动,滑动块在Label的每个位置上都会根据滑动块内的体素值得到一个对应值。当滑动块在整个Label上滑动过一次以后得到一个输出,将这一输出记为Label(输出1)。Label(输出1)的尺寸与Label完全一致,Label(输出1)中的每个体素值由滑动框在Label上对应位置的块内体素值决定。当块内体素值全都为0时,Label(输出1)对应位置的体素值为0;否则Label(输出1)对应位置的体素值为1。过程图6所示。
4.3将4.2中的过程重复迭代m次,第一次迭代的输入记为Label(输入1),也就是原始标注信息Label,即Label(输入1)=Label,第一次迭代的输出记为Label(输出1);第二次迭代的输入记为Label(输入2),它是第一次迭代的输出,即Label(输入2)=Label(输出1),第二次迭代的输出记为Label(输出2)。由此推断得到,第i次迭代的输入为Label(输入i)=Label(输出i-1),其输出为Label(输出i)。最后一次迭代(即第m次)的输出为Label(输出m)。
将Label(输出m)与原始Label做差,如果某个体素在Label中为0,在Label(输出m)中为1,这样的体素组成的区域在CT数据中的对应区域为邻近组织区域。
本发明提供的技术方案,将CT数据的原始标注数据,即包含0和1两个标注类别的标注数据,进行重新分类。具体的,根据分出的三个主体区域、轮廓区域、邻近组织区域和区域内每个Hu值,重新定义Label上的值,重定义标注规则如下表所示。
体素所属区域 | 体素Hu值 | 原始标注信息 | 重定义标注信息 |
主体 | 全部 | 1 | 1 |
轮廓 | Hu值不小于0 | 1 | 1 |
轮廓 | Hu值小于0 | 1 | 2 |
邻近组织 | Hu值不小于0 | 0 | 3 |
邻近组织 | Hu值小于0大于-200 | 0 | 4 |
邻近组织 | Hu值小于-200 | 0 | 0 |
其它 | 全部 | 0 | 0 |
深度学习模型的输出类别在训练和测试时是固定的,比如训练深度学习模型时要求深度学习模型输出5类标注结果,即0、1、2、3和4;那么测试深度学习模型时,深度学习模型输出的标注结果也分为5类,即0、1、2、3和4。但是,测试深度学习模型时,可以对深度学习模型输出的标注结果进行二次处理,使其转换为需要的类别。具体的,为了评估深度学习模型对危及器官区域的勾画能力,在测试深度学习模型时,将深度学习模型输出的类别0、3和4均转换为0,以及将深度学习模型输出的类别1和2均转换为1。将转换后的类别和CT数据的原始标注信息进行比较,来分析深度学习模型对危及器官区域的勾画能力。
下面对深度学习模型的性能提升进行说明。本发明使用InternationalSymposium on Biomedical Imaging(ISBI)2019的SegTHOR挑战赛中的数据验证通过本发明提供方法对标注数据重定义后,对提升深度学习模型性能的有效性。比赛主办方提供的数据分为两部分,第一部分包含40例有标注信息的CT数据,第二部分包含20例没有标注信息的CT数据。标注信息包含四种危及器官:食管,心脏,气管,主动脉。本发明中以心脏为例,验证深度学习模型对危及器官的勾画能力。
深度学习模型对危及器官的勾画能力使用Dice系数作为衡量标准,其定义式为:
其中,V(A)、V(B)分别表示深度学习模型自动勾画的危及器官区域和医生手动勾画的危及器官区域的体积,V(A∩B)表示深度学习模型自动勾画的危及器官区域和医生手动勾画的危及器官区域重叠部分的体积,自动勾画区域和手动勾画区域重合度越高,Dice的值越大,完全重合的情况下Dice值为1。Dice系数更适合医学领域评级标准,可以更好的体现医生手动勾画和深度学习模型自动勾画的效果差异。
本发明随机选取第一部分数据中的10例作为验证集,其它30例作为训练集,第二部分数据作为测试集。深度学习模型在验证集上的Dice系数根据验证集的标注信息计算得到。深度学习模型在测试集上的Dice系数通过将深度学习模型对测试集数据的勾画结果提交到挑战赛官方服务器得到。
除了Dice系数,挑战赛的官方服务器还会衡量深度学习模型,自动勾画区域与医生手动勾画区域的Hausdorff距离,该距离越小表示深度学习模型自动勾画的区域越接近于医生的手动勾画区域。计算所有深度学习模型自动勾画出的区域到与其最近的医生手动勾画区域的距离,计算出的最大距离记为ha;计算医生手动勾画区域到最近的模型自动勾画区域的距离,计算出的最大距离为hb。Hausdorff距离为ha和hb中更大的值,即Hausdorff=max(ha,hb)。
对比不使用和使用本发明中标注数据重定义方法,深度学习模型在验证集和测试集上的Dice系数,结果见下表。可以看出使用本发明中提出方案对标注数据进行重定义后,使得训练后的深度学习模型的Dice系数有了大幅提高。
验证集 | 测试集 | |
未使用 | 0.935 | 0.9337 |
使用 | 0.9527 | 0.9542 |
与挑战赛其它提交结果的比较见下表。可以看出本发明中提出的方法在测试集的两项指标都获得了第一名,且在Hausdorff距离上具有较大的领先。考虑Hausdorff距离的计算原理,可以认为这种提高是由本方法中提出的标注数据重定义方法取得的。
测试集Dice系数 | 测试集Hausdorff距离 | |
Gaoking132 | 0.9536 | 0.1272 |
elias | 0.9527 | 0.1299 |
MILab | 0.9500 | 0.1383 |
dp | 0.9519 | 0.1325 |
本发明提出的方法 | 0.9542 | 0.1208 |
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
参见图7为本发明实施例提供的一种危及器官标注信息处理装装置,包括:
第一获取单元71,用于获取一组CT数据的标注数据,所述一组CT数据为通过CT扫描得到的多个CT图像,所述一组CT数据包含目标危及器官区域和非目标危及器官区域;
第二获取单元72,用于获取一组CT数据包含整个区域的所有Hu值;
第一判断单元73,用于针对每个第一Hu值,所述目标危及器官区域的轮廓区域的Hu值为所述第一Hu值,判断所述第一Hu值是否小于预设的第一阈值,若是,则将与所述第一Hu值对应的标注数据重置为第一标识数据;
第二判断单元74,用于针对每个第二Hu值,所述非目标危及器官区域的邻近组织区域的Hu值为第二Hu值,判断所述第二Hu值是否小于所述第一阈值,若否,则将与所述第二Hu值对应的标注数据重置为第二标识数据,若是,则执行第三判断单元75;
所述第三判断单元75,用于判断所述第二Hu值是否大于预设的第二阈值,所述第二阈值小于所述第一阈值,若是,则将与所述第二Hu值对应的标注数据重置为第三标识数据。
可选的,所述第一判断单元73,包括:
第一确定子单元,用于根据所述标注数据,确定所述目标危及器官区域的体积值;
第二确定子单元,用于确定训练集中第一体积值和第二体积值,所述训练集包括多组CT数据和各组所述CT数据的标注数据,所述第一体积值为所述训练集中用户标注的最大目标危及器官区域的体积值,所述第二体积值为所述训练集中用户标注的最小目标危及器官区域的体积值;
比值计算子单元,用于计算得到第一差值与第二差值的比值,所述第一差值为所述目标危及器官区域的体积值和所述第二体积值的差值,所述第二差值为所述第一体积值和第二体积值的差值;
第一区域确定子单元,用于根据所述比值确定所述目标危及器官区域边缘向内的多层像素为所述轮廓区域,所述比值越大,则像素层数越大。
可选的,所述第二判断单元74,包括:
第一确定子单元,根据所述标注数据,确定所述目标危及器官区域的体积值;
第二确定子单元,确定训练集中第一体积值和第二体积值,所述训练集包括多组CT数据和各组所述CT数据的标注数据,所述第一体积值为所述训练集中用户标注的最大目标危及器官区域的体积值,所述第二体积值为所述训练集中用户标注的最小目标危及器官区域的体积值;
比值计算子单元,计算得到第一差值与第二差值的比值,所述第一差值为所述目标危及器官区域的体积值和所述第二体积值的差值,所述第二差值为所述第一体积值和第二体积值的差值;
第二区域确定子单元,用于根据所述比值确定所述目标危及器官区域边缘向外的多层像素为所述邻近组织区域,所述比值越大,则像素层数越大。
本发明实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的程序,所述程序用于:
获取一组CT数据的标注数据,所述一组CT数据为通过CT扫描得到的多个CT图像,所述一组CT数据包含目标危及器官区域和非目标危及器官区域;
获取一组CT数据包含整个区域的所有Hu值;
针对每个第一Hu值,所述目标危及器官区域的轮廓区域的Hu值为所述第一Hu值,判断所述第一Hu值是否小于预设的第一阈值,若是,则将与所述第一Hu值对应的标注数据重置为第一标识数据;
针对每个第二Hu值,所述非目标危及器官区域的邻近组织区域的Hu值为第二Hu值,判断所述第二Hu值是否小于所述第一阈值,若否,则将与所述第二Hu值对应的标注数据重置为第二标识数据,若是,则判断所述第二Hu值是否大于预设的第二阈值,所述第二阈值小于所述第一阈值;
若所述第二Hu值大于所述第二阈值,则将与所述第二Hu值对应的标注数据重置为第三标识数据。
所述程序的细化功能和扩展功能可参照上文描述。
对于装置实施例而言,由于其基本相应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对本发明所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种危及器官标注信息处理方法,其特征在于,包括:
获取一组CT数据的标注数据,所述一组CT数据为通过CT扫描得到的多个CT图像,所述一组CT数据包含目标危及器官区域和非目标危及器官区域;
获取一组CT数据包含整个区域的所有Hu值;
针对每个第一Hu值,所述目标危及器官区域的轮廓区域的Hu值为所述第一Hu值,判断所述第一Hu值是否小于预设的第一阈值,若是,则将与所述第一Hu值对应的标注数据重置为第一标识数据;
针对每个第二Hu值,所述非目标危及器官区域的邻近组织区域的Hu值为第二Hu值,判断所述第二Hu值是否小于所述第一阈值,若否,则将与所述第二Hu值对应的标注数据重置为第二标识数据,若是,则判断所述第二Hu值是否大于预设的第二阈值,所述第二阈值小于所述第一阈值;
若所述第二Hu值大于所述第二阈值,则将与所述第二Hu值对应的标注数据重置为第三标识数据;
所述邻近组织区域的计算过程,包括:
根据所述标注数据,确定所述目标危及器官区域的体积值;
确定训练集中第一体积值和第二体积值,所述训练集包括多组CT数据和各组所述CT数据的标注数据,所述第一体积值为所述训练集中用户标注的最大目标危及器官区域的体积值,所述第二体积值为所述训练集中用户标注的最小目标危及器官区域的体积值;
计算得到第一差值与第二差值的比值,所述第一差值为所述目标危及器官区域的体积值和所述第二体积值的差值,所述第二差值为所述第一体积值和第二体积值的差值;
根据所述比值确定所述目标危及器官区域边缘向外的多层像素为所述邻近组织区域,所述比值越大,则像素层数越大。
2.根据权利要求1所述的危及器官标注信息处理方法,其特征在于,所述轮廓区域的计算过程,包括:
根据所述标注数据,确定所述目标危及器官区域的体积值;
确定训练集中第一体积值和第二体积值,所述训练集包括多组CT数据和各组所述CT数据的标注数据,所述第一体积值为所述训练集中用户标注的最大目标危及器官区域的体积值,所述第二体积值为所述训练集中用户标注的最小目标危及器官区域的体积值;
计算得到第一差值与第二差值的比值,所述第一差值为所述目标危及器官区域的体积值和所述第二体积值的差值,所述第二差值为所述第一体积值和第二体积值的差值;
根据所述比值确定所述目标危及器官区域边缘向内的多层像素为所述轮廓区域,所述比值越大,则像素层数越大。
3.根据权利要求2所述的危及器官标注信息处理方法,其特征在于,所述第一阈值的计算过程具体为:
将所述训练集中全组CT数据的所述轮廓区域的Hu值进行排序,并取排序在10%位置的Hu值为所述第一阈值。
4.根据权利要求1所述的危及器官标注信息处理方法,其特征在于,所述第二阈值的计算过程具体为:
将所述训练集中全组CT数据的所述邻近组织区域的Hu值进行排序,并取排序在5%位置的Hu值为所述第二阈值。
5.一种危及器官标注信息处理装置,其特征在于,包括:
第一获取单元,用于获取一组CT数据的标注数据,所述一组CT数据为通过CT扫描得到的多个CT图像,所述一组CT数据包含目标危及器官区域和非目标危及器官区域;
第二获取单元,用于获取一组CT数据包含整个区域的所有Hu值;
第一判断单元,用于针对每个第一Hu值,所述目标危及器官区域的轮廓区域的Hu值为所述第一Hu值,判断所述第一Hu值是否小于预设的第一阈值,若是,则将与所述第一Hu值对应的标注数据重置为第一标识数据;
第二判断单元,用于针对每个第二Hu值,所述非目标危及器官区域的邻近组织区域的Hu值为第二Hu值,判断所述第二Hu值是否小于所述第一阈值,若否,则将与所述第二Hu值对应的标注数据重置为第二标识数据,若是,则执行第三判断单元;
所述第三判断单元,用于判断所述第二Hu值是否大于预设的第二阈值,所述第二阈值小于所述第一阈值,若是,则将与所述第二Hu值对应的标注数据重置为第三标识数据;
所述第二判断单元,包括:
第一确定子单元,根据所述标注数据,确定所述目标危及器官区域的体积值;
第二确定子单元,确定训练集中第一体积值和第二体积值,所述训练集包括多组CT数据和各组所述CT数据的标注数据,所述第一体积值为所述训练集中用户标注的最大目标危及器官区域的体积值,所述第二体积值为所述训练集中用户标注的最小目标危及器官区域的体积值;
比值计算子单元,计算得到第一差值与第二差值的比值,所述第一差值为所述目标危及器官区域的体积值和所述第二体积值的差值,所述第二差值为所述第一体积值和第二体积值的差值;
第二区域确定子单元,用于根据所述比值确定所述目标危及器官区域边缘向外的多层像素为所述邻近组织区域,所述比值越大,则像素层数越大。
6.根据权利要求5所述的危及器官标注信息处理装置,其特征在于,所述第一判断单元,包括:
第一确定子单元,用于根据所述标注数据,确定所述目标危及器官区域的体积值;
第二确定子单元,用于确定训练集中第一体积值和第二体积值,所述训练集包括多组CT数据和各组所述CT数据的标注数据,所述第一体积值为所述训练集中用户标注的最大目标危及器官区域的体积值,所述第二体积值为所述训练集中用户标注的最小目标危及器官区域的体积值;
比值计算子单元,用于计算得到第一差值与第二差值的比值,所述第一差值为所述目标危及器官区域的体积值和所述第二体积值的差值,所述第二差值为所述第一体积值和第二体积值的差值;
第一区域确定子单元,用于根据所述比值确定所述目标危及器官区域边缘向内的多层像素为所述轮廓区域,所述比值越大,则像素层数越大。
7.一种可读存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时,实现如权利要求1~4中任一项所述的危及器官标注信息处理方法的各个步骤。
8.一种电子设备,包括存储器和处理器,所述存储器,用于存储程序,其特征在于,所述处理器,用于执行所述程序,实现如权利要求1~4中任一项所述的危及器官标注信息处理方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910815209.6A CN110517257B (zh) | 2019-08-30 | 2019-08-30 | 危及器官标注信息处理方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910815209.6A CN110517257B (zh) | 2019-08-30 | 2019-08-30 | 危及器官标注信息处理方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110517257A CN110517257A (zh) | 2019-11-29 |
CN110517257B true CN110517257B (zh) | 2020-08-11 |
Family
ID=68629551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910815209.6A Active CN110517257B (zh) | 2019-08-30 | 2019-08-30 | 危及器官标注信息处理方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110517257B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111986254B (zh) * | 2020-08-21 | 2022-11-18 | 四川大学华西医院 | 一种靶区轮廓的分析方法、装置、存储介质及电子设备 |
CN115439686B (zh) * | 2022-08-30 | 2024-01-09 | 一选(浙江)医疗科技有限公司 | 一种基于扫描影像的关注对象检测方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110136151A (zh) * | 2019-03-28 | 2019-08-16 | 青岛大学附属医院 | 基于ct图像获取肝脏体积的系统及方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6687395B1 (en) * | 1999-07-21 | 2004-02-03 | Surromed, Inc. | System for microvolume laser scanning cytometry |
CN100589124C (zh) * | 2008-03-04 | 2010-02-10 | 浙江大学 | 多排螺旋ct影像中的自动分割肝脏区域的方法 |
US8208707B2 (en) * | 2008-09-02 | 2012-06-26 | General Electric Company | Tissue classification in medical images |
CN105976367B (zh) * | 2016-04-29 | 2019-06-28 | 上海联影医疗科技有限公司 | 图像分割方法、肺结节检测方法及其计算机辅助检测系统 |
US10098606B2 (en) * | 2016-02-29 | 2018-10-16 | Varian Medical Systems, Inc. | Automatic organ-dose-estimation for patient-specific computed tomography scans |
CN109300136B (zh) * | 2018-08-28 | 2021-08-31 | 众安信息技术服务有限公司 | 一种基于卷积神经网络的危及器官自动分割方法 |
CN109146899A (zh) * | 2018-08-28 | 2019-01-04 | 众安信息技术服务有限公司 | Ct图像的危及器官分割方法及装置 |
CN109785306A (zh) * | 2019-01-09 | 2019-05-21 | 上海联影医疗科技有限公司 | 器官勾画方法、装置、计算机设备和存储介质 |
CN110070546B (zh) * | 2019-04-18 | 2021-08-27 | 山东师范大学 | 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统 |
-
2019
- 2019-08-30 CN CN201910815209.6A patent/CN110517257B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110136151A (zh) * | 2019-03-28 | 2019-08-16 | 青岛大学附属医院 | 基于ct图像获取肝脏体积的系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110517257A (zh) | 2019-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lee et al. | Automated mammographic breast density estimation using a fully convolutional network | |
Shaukat et al. | Fully automatic detection of lung nodules in CT images using a hybrid feature set | |
Kohlberger et al. | Evaluating segmentation error without ground truth | |
Liu et al. | Mediastinal lymph node detection and station mapping on chest CT using spatial priors and random forest | |
Wu et al. | Optimal topological cycles and their application in cardiac trabeculae restoration | |
WO2022088581A1 (zh) | 图像检测模型的训练方法及相关装置、设备、存储介质 | |
US11424021B2 (en) | Medical image analyzing system and method thereof | |
US11896407B2 (en) | Medical imaging based on calibrated post contrast timing | |
Juang et al. | Psoriasis image identification using k-means clustering with morphological processing | |
Lu et al. | Precise segmentation of multiple organs in CT volumes using learning-based approach and information theory | |
Liu et al. | Accurate colorectal tumor segmentation for CT scans based on the label assignment generative adversarial network | |
US11684333B2 (en) | Medical image analyzing system and method thereof | |
CN107229952A (zh) | 图像的识别方法及装置 | |
Xu et al. | Quantifying the margin sharpness of lesions on radiological images for content‐based image retrieval | |
JP2017512091A (ja) | 適応性放射線治療における自動輪郭抽出システム及び方法 | |
CN108846829A (zh) | 病变部位识别方法及装置、计算机装置及可读存储介质 | |
CN109978004B (zh) | 图像识别方法及相关设备 | |
CN110517257B (zh) | 危及器官标注信息处理方法及相关装置 | |
Cheng et al. | ACCOMP: augmented cell competition algorithm for breast lesion demarcation in sonography | |
CN108765427A (zh) | 一种前列腺图像分割方法 | |
Ma et al. | A combined learning algorithm for prostate segmentation on 3D CT images | |
Kisilev et al. | Semantic description of medical image findings: structured learning approach. | |
CN110796659A (zh) | 一种目标检测结果的鉴别方法、装置、设备及存储介质 | |
CN113035334B (zh) | 鼻腔nkt细胞淋巴瘤放疗靶区自动勾画方法和装置 | |
Zhou et al. | Computerized image analysis: texture‐field orientation method for pectoral muscle identification on MLO‐view mammograms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: Room B401, floor 4, building 1, Shangdi Information 12, Haidian District, Beijing 100085 Patentee after: Tuxiang Medical Technology Co., Ltd Address before: Room B401, floor 4, building 1, Shangdi Information 12, Haidian District, Beijing 100085 Patentee before: Beijing Tuoxiang Technology Co.,Ltd. |