CN113487572A - 基于同源多窗技术的医学图像深度学习方法和装置 - Google Patents

基于同源多窗技术的医学图像深度学习方法和装置 Download PDF

Info

Publication number
CN113487572A
CN113487572A CN202110770721.0A CN202110770721A CN113487572A CN 113487572 A CN113487572 A CN 113487572A CN 202110770721 A CN202110770721 A CN 202110770721A CN 113487572 A CN113487572 A CN 113487572A
Authority
CN
China
Prior art keywords
image
windowing
window
extraction
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110770721.0A
Other languages
English (en)
Inventor
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Medical Center of PLA General Hospital
Original Assignee
First Medical Center of PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Medical Center of PLA General Hospital filed Critical First Medical Center of PLA General Hospital
Priority to CN202110770721.0A priority Critical patent/CN113487572A/zh
Publication of CN113487572A publication Critical patent/CN113487572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Abstract

本申请公开了一种基于同源多窗技术的医学图像深度学习方法和装置。该方法包括基于设定的窗位和窗宽对医学样本图像进行开窗生成至少两种开窗CT图像；对每种开窗CT图像进行特征提取，生成第一图像特征；基于注意力机制对开窗CT图像进行处理，得到第二图像特征、提取区域和得到提取区域图像的第三图像特征；对第一图像特征、第二图像特征和第三图像特征进行融合，得到第一融合图像特征；将每个第一融合图像特征进行融合，得到第二融合图像特征，从而基于第二融合图像特征完成医学图像深度学习。本申请先进行多窗位开窗，对多个开窗中的感兴趣区域进行再开窗，从而实现基于同源多窗技术进行医学图像深度学习的目的。

Description

基于同源多窗技术的医学图像深度学习方法和装置
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种基于同源多窗技术的医学图像深度学习方法和装置。
背景技术
从1895年伦琴发现X线到现在的一百多年里，影像学的发展经历了由原来的模拟成像到现在数字化成像的一个过程。近年来，医学影像存档与通讯系统(PictureAchieving&Communication System，PACS)迅速发展；为了影像设备之间互传，国际上制定了医学数字图像通讯标准(Digital Imaging and Communication in Medicine,DICOM)。从目前的发展来看，DIC0M已经成为普遍适用的标准，即大部分医学图像设备及PACS系统都使用DIC0M作为其互连标准。目前大家遵循的是DICOM3.0版本。
DICOM文件由多个数据集组成。数据集表现了信息对象的相关属性，如病人姓名、性别、身高等。数据集由数据元素组成，数据元素包含信息对象属性的值，并由数据元素标签(Tag)唯一标识。所有数据元素都包含标签、值长度和数据值体。标签是一个16位无符号整数对，按顺序排列包括组号和元素号。数据集中的数据元素按其标签号的递增顺序组织，且在一个数据集中最多出现一次。值长度是一个16或32位无符号整数，表明了准确的数据值的长度，按字节数目记录。数据值体表明了数据元素的值，其长度为偶数字节，该字段的数据类型是由数据元素的VR所明确定义。
X线成像是一种重要的医学影像技术。X线之所以能使人体组织在荧屏上或胶片上形成影像，主要基于X线的穿透性、荧光效应和感光效应，和基于人体组织之间密度和厚度的差别。当X线透过人体不同组织结构时，被吸收的程度不同，所以到达荧屏或胶片上的X线量就会有差异，在荧屏或胶片上就形成了明暗对比的影像。这样，医生就可以根据经验，通过观察这些明暗对比的影像来发现病变和进行诊断。
平片和CT是目前常见的X线影像形式，为了定量衡量组织对于X光的吸收率，Hounsfield定义了一个新的标度“CT值”：针对人体组织，将线性衰减系数划分为2000个单位，以水为0值，最上界骨的CT值为1000；最下界空气的CT值为-1000。也就是说，人体组织CT值的范围为-1000到+1000共2000个分度。但是人眼不能分辨这样微小灰度的差别，仅能分辨16个左右的灰阶。为了提高组织结构细节的显示，能分辨出差别较小的组织，可以根据诊断需要调节图像的对比度和亮度，这种调节技术称为加窗技术(Window Technique)——窗宽、窗位的选择。
开窗显示技术，指通过一个特定窗口，将窗口区域的图像线性地转换到显示器的最大显示范围内，高于或低于窗口上下限的图像数据则分别设置为最高或最低的显示值。这样通过动态地调节窗口的窗宽(需显示的图像数据的范围)和窗位(需显示的图像数据的中心值)，则可以观察图像的更多信息。
不同部位使用不同窗位、窗宽能更充分地反映出局部结构的影像差异。不同部位、不同组织的CT值差别很大，医生在大量的实践中，总结出了一些常用的窗位、窗宽设定范围。例如：常规胸部CT检查一般用纵隔窗及肺窗观察；纵隔窗可观察心脏、大血管、纵隔内淋巴结、纵隔肿块及这些结构的比邻关系，一般纵隔窗可以设定为窗宽300Hu～500Hu，窗位30Hu～50Hu；而肺为含气组织，在上述纵隔窗下几乎无法显示，因此又开设了肺窗，肺窗可以观察肺的形态结构、支气管、肺动静脉和肺裂、肺内肿物的形态、分叶、胸膜凹陷征、毛刺征等病理征象，一般肺窗可以设定为窗宽1300Hu～1700Hu，窗位-600Hu～-800Hu；此外，为了更好地显示胸骨、肋骨、锁骨、脊柱等骨性结构，以及上述骨的骨折等异常表现，还会另开设骨窗，一般骨窗可以设定为窗宽800Hu～2000Hu，窗位250Hu～500Hu。
医生进行诊断时常常需要手动调整窗位、窗宽，同时会去缩小或放大以显示全局或观察局部，甚至需要翻转、旋转以及多角度重建等以对病变进行更加细致的观察。然而在目前的深度学习中，一般会选择一幅特定窗位和窗宽的图像进行学习。这样可能就会导致大量DICOM图像信息的丢失，不能更大限度地发挥其价值。
此外，仅在一个窗位、窗宽下显示会丢失很多疾病信息，需要结合多个窗位和窗宽去综合呈现。例如，胸部外伤，常常同时合并有肺挫伤、肋骨骨折和血、气胸等。此时，如果仅看肺窗图像，虽然能够很好地显示肺挫伤，但是血、气胸就会显示得较差、肋骨骨折几乎不能被看到；而如果仅看纵隔窗图像，虽然能够很好地显示血、气胸，但是肋骨骨折就会显示得较差、肺挫伤几乎不能被看到；同样，如果仅看骨窗图像，虽然能够很好地显示肋骨骨折，但是血、气胸就会显示得较差、肺挫伤仍然几乎不能被看到。所以，虽然是一幅DICOM图像，却不应转化为成一个窗位、窗宽的位图进行深度学习。
一种疾病常常需要其他窗位和窗宽的图像去提供间接征象以便于辅助诊断。例如，肺癌虽然发生于肺组织，单纯用肺窗也可以全面地看到病变的部位、大小以及一些良恶性鉴别的征象；但是肺癌常常会伴有纵隔淋巴结的肿大，甚至会出现一些侵及周围血管、压迫周边脏器的表现，这些间接征象对于肺癌的诊断和分期至关重要，这些恰恰是肺窗不能提供的，必须要纵隔窗的辅助。所以，对于一幅DICOM图像，分解成不同窗位、窗宽的位图去学习非常重要。
针对相关技术中通过深度学习训练出的图像识别模块对医疗影像识别准确性较低的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于同源多窗技术的医学图像深度学习方法和装置，以解决相关技术中通过深度学习训练出的图像识别模块对医疗影像识别准确性较低的问题。
为了实现上述目的，第一方面，本申请提供了一种基于同源多窗技术的医学图像深度学习方法，该方法包括：
基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；
对于每一种所述开窗CT图像，基于卷积神经网络对该开窗CT图像进行特征提取，生成第一图像特征；
基于注意力机制对所述开窗CT图像进行处理，得到第二图像特征和提取区域；
获取所述提取区域对应的提取区域图像；
基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的第三图像特征；
对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到第一融合图像特征；
将每一种所述开窗CT图像对应的所述第一融合图像特征进行融合，得到第二融合图像特征，从而基于所述第二融合图像特征完成基于同源多窗技术的医学图像深度学习。
可选地，所述获取所述提取区域对应的提取区域图像，包括：
计算出所述提取区域对应的提取窗位和提取窗宽；
基于所述提取窗位和所述提取窗宽对所述医学样本图像进行开窗，生成提取区域图像。
可选地，该方法还包括：
判断所述提取区域图像中所述提取窗宽与指定灰阶的比值是否小于1；
当所述提取区域图像中所述提取窗宽与指定灰阶的比值小于1时，执行所述基于卷积神经网络对所述提取区域图像进行特征提取的步骤。
可选地，该方法还包括：
当所述提取区域图像中所述提取窗宽与指定灰阶的比值不小于1时，重新执行所述基于注意力机制对所述开窗CT图像进行处理的步骤。
可选地，所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种。
可选地，所述基于设定的窗位和窗宽对医学样本图像进行开窗，包括：
基于设定的窗位和窗宽对医学样本图像进行开窗，分别生成以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像。
第二方面，本申请还提供了一种基于同源多窗技术的医学图像深度学习装置，该装置包括：
第一开窗模块，用于基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；
第一提取模块，用于对于每一种所述开窗CT图像，基于卷积神经网络对该开窗CT图像进行特征提取，生成第一图像特征；
注意力机制模块，用于基于注意力机制对所述开窗CT图像进行处理，得到第二图像特征和提取区域；
获取模块，用于获取所述提取区域对应的提取区域图像；
第二提取模块，用于基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的第三图像特征；
第一融合模块，用于对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到第一融合图像特征；
第二融合模块，用于将每一种所述开窗CT图像对应的所述第一融合图像特征进行融合，得到第二融合图像特征，从而基于所述第二融合图像特征完成基于同源多窗技术的医学图像深度学习。
可选地，所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种。
第三方面，本申请还提供了一种计算机设备，包括：存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算机程序；
所述计算机程序用于执行上述的基于同源多窗技术的医学图像深度学习方法。
第四方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，上述的基于同源多窗技术的医学图像深度学习方法被执行。
在本申请提供的基于同源多窗技术的医学图像深度学习方法中，通过基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；对于每一种所述开窗CT图像，基于卷积神经网络对该开窗CT图像进行特征提取，生成第一图像特征；基于注意力机制对所述开窗CT图像进行处理，得到第二图像特征和提取区域；获取所述提取区域对应的提取区域图像；基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的第三图像特征；对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到第一融合图像特征；将每一种所述开窗CT图像对应的所述第一融合图像特征进行融合，得到第二融合图像特征，从而基于所述第二融合图像特征完成基于同源多窗技术的医学图像深度学习。由于相关技术中医生在进行诊断时，常常需要观察多个窗位、窗宽下的图像，而目前医学影像的深度学习中普遍使用单一窗位、窗宽下的图像，这样会丢失很多关键病情特征。针对这种情况，本申请提供的基于同源多窗技术的医学图像深度学习方法中，先通过对同一幅DICOM图像采用多个不同开窗的位图作为神经网络的输入，再通过卷积神经网络提取开窗CT图像的第一图像特征，又通过注意力机制对提取区域进行再次开窗，进而得到第二图像特征和第三图像特征，使得本图像识别模块训练方法可以在全局图像学习的基础上，对感兴趣区域(注意力机制确定出的提取区域)进行再开窗，采用多个窗位、窗宽作为神经网络的输入，从而提高了深度学习训练出的图像识别模块对医疗影像识别准确性。进而解决相关技术中通过深度学习训练出的图像识别模块对医疗影像识别准确性较低的问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例提供的一种基于同源多窗技术的医学图像深度学习方法的流程示意图；
图2是本申请实施例提供的一种实施基于同源多窗技术的医学图像深度学习方法的系统框架图；
图3是本申请实施例提供的一种基于同源多窗技术的医学图像深度学习装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
一个方面，本申请实施例提供了一种基于同源多窗技术的医学图像深度学习方法，图1是本申请实施例提供的一种基于同源多窗技术的医学图像深度学习方法的流程示意图，如图1所示，该方法包括如下的步骤110至步骤170：
110，基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像。
其中，可选地，所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种。
具体的，根据病情，确定需要观察的组织，并根据需要观察的组织，设定对应的窗位、窗宽值，从而得到相应组织的开窗CT图像，如果原始图像提供了三种状态下的最优的窗位和窗宽值，我们就用原始的；如果没提供，通常可以设置设定：
肺窗：WW 1600HU、WL-600HU
纵膈窗：WW400 HU、WL40 HU
骨窗：WW2600HU、WL800HU
具体的，步骤110可以具体为：基于设定的窗位和窗宽对医学样本原始格式图像进行开窗，生成至少两种不同窗位和窗宽的CT图像。这样，步骤110中可以对同一幅DICOM图像采用多个不同开窗的位图作为神经网络的输入，从而实现并行式的多窗位、窗宽CT图像作为输入，进行基于不同窗位、窗宽的同源多窗技术的医学图像深度学习方法。
具体的，步骤110，所述基于设定的窗位和窗宽对医学样本图像进行开窗，包括：
基于设定的窗位和窗宽对医学样本图像进行开窗，分别生成以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像。
从而基于肺部开窗CT图像、骨部开窗CT图像和纵隔部开窗CT图像这三个窗口，来实现基于不同窗位、窗宽的同源多窗技术的医学图像深度学习方法。
在本实施例中，开窗CT图像是以CT值来说明组织影像密度的高低，它不是绝对值，而是以水为标准，其他组织与水相比较的相对值，单位为亨(Hu)。即以水的CT值为0Hu，空气为-1000H，骨为+3720H的4000多个等级。
120，对于每一种所述开窗CT图像，基于卷积神经网络对该开窗CT图像进行特征提取，生成第一图像特征。
具体的，对于每一种所述开窗CT图像，通过CNN网络(Convolutional NeuralNetworks，简称卷积神经网络)对每一种所述开窗CT图像分别进行的特征提取，进而输出得到每一种所述开窗CT图像对应的第一图像特征。
130，基于注意力机制对所述开窗CT图像进行处理，得到第二图像特征和提取区域。
具体的，其中，Attention(注意力)机制的本质是模仿人类视觉注意力机制，学习出对图像特征的权重分布，再把这个权重分布施加到原来的特征上，为后续的任务如图像分类、图像识别等提供不同的特征影响，使整个机器学习过程更加关注一些重点特征，忽略一些不重要特征，提高任务效率。
具体的，通过注意力机制对所述开窗CT图像进行处理，得到第二图像特征以及提取区域，其中，提取区域具体为通过attention机制对开窗CT图像进行处理生成的感兴趣区域坐标，以x，y，tx，ty表示。其中(x,y)表示中心点的坐标，tx，ty表示区域的长度和宽度。进而注意力机制可以通过图像灰阶情况重新开窗，以获取优选的体现组织的特征图像(提取区域图像)。
需要说明书的是，基于注意力机制对所述开窗CT图像进行处理时，可能会得到多个提取区域，而针对多个提取区域中每个提取区域均分别进行步骤140。
140，获取所述提取区域对应的提取区域图像。
具体的，基于提取区域(即感兴趣区域坐标)可以计算提取区域的窗位和窗宽，再根据计算出的窗位和窗宽重新进行开窗，得到提取区域图像。进而，本申请以递进聚焦式的方式生成相对开窗CT图像训练效果更优的提取区域图像，并通过向特征提取生成与第一图像特征相不同的第三图像特征。
150，基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的第三图像特征。
具体的，再基于卷积神经网络对提取区域图像进行特征提取，从而得到第三图像特征。
160，对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到第一融合图像特征。
170，将每一种所述开窗CT图像对应的所述第一融合图像特征进行融合，得到第二融合图像特征，从而基于所述第二融合图像特征完成基于同源多窗技术的医学图像深度学习。
具体的，将每一种所述开窗CT图像对应的所述第一融合图像特征进行融合，得到第二融合图像特征，以进行图像识别模块训练，而通过全连接层则可以用于病情的诊断。
在本实施例中，由于相关技术中医生在进行诊断时，常常需要观察多个窗位、窗宽下的图像，而目前医学影像的深度学习中普遍使用单一窗位、窗宽下的图像，这样会丢失很多关键病情特征。针对这种情况，本申请提供的基于同源多窗技术的医学图像深度学习方法中，先通过对同一幅DICOM图像采用多个不同开窗的位图作为神经网络的输入，再通过卷积神经网络提取开窗CT图像的第一图像特征，又通过注意力机制对提取区域进行再次开窗，进而得到第二图像特征和第三图像特征，使得本图像识别模块训练方法可以在全局图像学习的基础上，对感兴趣区域(注意力机制确定出的提取区域)进行再开窗，采用多个窗位、窗宽作为神经网络的输入，从而提高了深度学习训练出的图像识别模块对医疗影像识别准确性。
可选地，步骤140，获取所述提取区域对应的提取区域图像，包括：
计算出所述提取区域对应的提取窗位和提取窗宽；
基于所述提取窗位和所述提取窗宽对所述医学样本图像进行开窗，生成提取区域图像。
具体为，先计算出显示出提取区域所对应的提取窗位和提取窗宽，进而根据提取窗位和所述提取窗宽在原始的医学样本图像中进行开窗，得到提取区域图像。
需要说明的是，提取区域图像可以在开窗CT图像中生成，而获得提取区域图像的方式并不限于通过开窗技术，本领域的技术人员可以根据需要具体设置。
在本实施例中，图2是本申请实施例提供的一种实施图像识别模块训练方法的系统框架图，如图2所示：
①表示医学样本图像。
②表示以获取肺部组织特征为目的肺部开窗图像(初始的肺窗开窗CT图像)。
③表示以获取骨部组织特征为目的骨部开窗图像(初始的骨窗开窗CT图像)。
④表示以获取纵隔部组织特征为目的纵隔部开窗图像(初始的纵隔窗开窗CT图像)。
⑤表示初始的肺窗开窗CT图像的特征提取。
⑥表示初始的骨窗开窗CT图像的特征提取。
⑦表示初始的纵隔窗开窗CT图像的特征提取。
⑧表示根据肺窗开窗CT图像进行病变区域的标定。
⑨表示根据骨窗开窗CT图像进行病变区域的标定。
⑩表示根据纵隔窗开窗CT图像进行病变区域的标定。
Figure BDA0003152401070000121
表示根据新标定的肺窗区域得到新开窗的肺窗开窗CT图像。
Figure BDA0003152401070000122
表示根据新标定的骨窗区域得到新开窗的骨窗开窗CT图像。
Figure BDA0003152401070000123
表示根据新标定的纵隔窗区域得到新开窗的纵隔窗开窗CT图像。
Figure BDA0003152401070000124
表示新的肺窗开窗CT图像的特征提取。
Figure BDA0003152401070000125
表示新的骨窗开窗CT图像的特征提取。
Figure BDA0003152401070000126
表示新的纵隔窗开窗CT图像的特征提取。
Figure BDA0003152401070000127
表示多个新开窗的开窗CT图像的特征融合。
Figure BDA0003152401070000128
表示全连接层用于病情的诊断。
可选地，本申请提供的基于同源多窗技术的医学图像深度学习方法中还包括：
判断所述提取区域图像中所述提取窗宽与指定灰阶的比值是否小于1；
当所述提取区域图像中所述提取窗宽与指定灰阶的比值小于1时，执行所述基于卷积神经网络对所述提取区域图像进行特征提取的步骤。
其中，按照8比特位存储的方式，对灰阶能表示在256的范围内，因此，可以设定指定灰阶为256。
具体的，在得到提取区域图像后，需要确定出提取区域图像中所述提取窗宽与指定灰阶的比值是否小于1，当所述提取区域图像中所述提取窗宽与指定灰阶的比值小于1时，可以理解为该提取区域图像符合训练要求，进而执行步骤140。
可选地，本申请提供的基于同源多窗技术的医学图像深度学习方法中还包括：
当所述提取区域图像中所述提取窗宽与指定灰阶的比值不小于1时，重新执行所述基于注意力机制对所述开窗CT图像进行处理的步骤。
具体的，当所述提取区域图像中所述提取窗宽与指定灰阶的比值不小于1时，可以理解为该提取区域图像并不符合训练要求，重新执行步骤120，进而重新获取提取区域，以及重新计算提取窗位和提取窗宽，直到当所述提取区域图像中所述提取窗宽与指定灰阶的比值小于1，进而执行步骤140。
在本申请提供的基于同源多窗技术的医学图像深度学习方法中，通过基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；对于每一种所述开窗CT图像，基于卷积神经网络对该开窗CT图像进行特征提取，生成第一图像特征；基于注意力机制对所述开窗CT图像进行处理，得到第二图像特征和提取区域；获取所述提取区域对应的提取区域图像；基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的第三图像特征；对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到第一融合图像特征；将每一种所述开窗CT图像对应的所述第一融合图像特征进行融合，得到第二融合图像特征，从而基于所述第二融合图像特征完成基于同源多窗技术的医学图像深度学习。由于相关技术中医生在进行诊断时，常常需要观察多个窗位、窗宽下的图像，而目前医学影像的深度学习中普遍使用单一窗位、窗宽下的图像，这样会丢失很多关键病情特征。针对这种情况，本申请提供的基于同源多窗技术的医学图像深度学习方法中，先通过对同一幅DICOM图像采用多个不同开窗的位图作为神经网络的输入，再通过卷积神经网络提取开窗CT图像的第一图像特征，又通过注意力机制对提取区域进行再次开窗，进而得到第二图像特征和第三图像特征，使得本图像识别模块训练方法可以在全局图像学习的基础上，对感兴趣区域(注意力机制确定出的提取区域)进行再开窗，采用多个窗位、窗宽作为神经网络的输入，从而提高了深度学习训练出的图像识别模块对医疗影像识别准确性。而且，本方法可以在不同组织层面抓取更丰富的疾病特征信息。进而解决相关技术中通过深度学习训练出的图像识别模块对医疗影像识别准确性较低的问题。
基于相同的技术构思，本申请还提供了一种基于同源多窗技术的医学图像深度学习装置，图3是本申请实施例提供的一种基于同源多窗技术的医学图像深度学习装置的结构示意图，如图3所示，该装置包括：
第一开窗模块10，用于基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；
第一提取模块20，用于对于每一种所述开窗CT图像，基于卷积神经网络对该开窗CT图像进行特征提取，生成第一图像特征；
注意力机制模块30，用于基于注意力机制对所述开窗CT图像进行处理，得到第二图像特征和提取区域；
获取模块40，用于获取所述提取区域对应的提取区域图像；
第二提取模块50，用于基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的第三图像特征；
第一融合模块60，用于对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到第一融合图像特征；
第二融合模块70，用于将每一种所述开窗CT图像对应的所述第一融合图像特征进行融合，得到第二融合图像特征，从而基于所述第二融合图像特征完成基于同源多窗技术的医学图像深度学习。
可选地，所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种。
可选地，所述获取模块40，用于：
计算出所述提取区域对应的提取窗位和提取窗宽；
基于所述提取窗位和所述提取窗宽对所述医学样本图像进行开窗，生成提取区域图像。
可选地，该装置还包括：
判断模块，用于判断所述提取区域图像中所述提取窗宽与指定灰阶的比值是否小于1；
当所述提取区域图像中所述提取窗宽与指定灰阶的比值小于1时，执行第二提取模块50。
可选地，该装置还包括：
当所述提取区域图像中所述提取窗宽与指定灰阶的比值不小于1时，重新执行注意力机制模块30。
基于相同的技术构思，本申请实施例还提供了一种计算机设备，包括：存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算机程序；
所述计算机程序用于执行如上述的基于同源多窗技术的医学图像深度学习方法。
基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，上述的基于同源多窗技术的医学图像深度学习方法被执行。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的计算机可读存储介质的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
本申请所涉及的计算机程序可以存储于计算机可读存储介质中，计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体装置、虚拟装置、优盘、移动硬盘、磁碟、光盘、计算机存储器、只读计算机存储器(Read-Only Memory，ROM)、随机存取计算机存储器(Random Access Memory，RAM)、电载波信号、电信信号以及其他软件分发介质等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于同源多窗技术的医学图像深度学习方法，其特征在于，该方法包括：
基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；
对于每一种所述开窗CT图像，基于卷积神经网络对该开窗CT图像进行特征提取，生成第一图像特征；
基于注意力机制对所述开窗CT图像进行处理，得到第二图像特征和提取区域；
获取所述提取区域对应的提取区域图像；
基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的第三图像特征；
对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到第一融合图像特征；
将每一种所述开窗CT图像对应的所述第一融合图像特征进行融合，得到第二融合图像特征，从而基于所述第二融合图像特征完成基于同源多窗技术的医学图像深度学习。
2.根据权利要求1所述的基于同源多窗技术的医学图像深度学习方法，其特征在于，所述获取所述提取区域对应的提取区域图像，包括：
计算出所述提取区域对应的提取窗位和提取窗宽；
基于所述提取窗位和所述提取窗宽对所述医学样本图像进行开窗，生成提取区域图像。
3.根据权利要求2所述的基于同源多窗技术的医学图像深度学习方法，其特征在于，该方法还包括：
判断所述提取区域图像中所述提取窗宽与指定灰阶的比值是否小于1；
当所述提取区域图像中所述提取窗宽与指定灰阶的比值小于1时，执行所述基于卷积神经网络对所述提取区域图像进行特征提取的步骤。
4.根据权利要求3所述的基于同源多窗技术的医学图像深度学习方法，其特征在于，该方法还包括：
当所述提取区域图像中所述提取窗宽与指定灰阶的比值不小于1时，重新执行所述基于注意力机制对所述开窗CT图像进行处理的步骤。
5.根据权利要求1所述的基于同源多窗技术的医学图像深度学习方法，其特征在于，所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种。
6.根据权利要求5所述的基于同源多窗技术的医学图像深度学习方法，其特征在于，所述基于设定的窗位和窗宽对医学样本图像进行开窗，包括：
基于设定的窗位和窗宽对医学样本图像进行开窗，分别生成以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像。
7.一种基于同源多窗技术的医学图像深度学习装置，其特征在于，该装置包括：
第一开窗模块，用于基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；
第一提取模块，用于对于每一种所述开窗CT图像，基于卷积神经网络对该开窗CT图像进行特征提取，生成第一图像特征；
注意力机制模块，用于基于注意力机制对所述开窗CT图像进行处理，得到第二图像特征和提取区域；
获取模块，用于获取所述提取区域对应的提取区域图像；
第二提取模块，用于基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的第三图像特征；
第一融合模块，用于对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到第一融合图像特征；
第二融合模块，用于将每一种所述开窗CT图像对应的所述第一融合图像特征进行融合，得到第二融合图像特征，从而基于所述第二融合图像特征完成基于同源多窗技术的医学图像深度学习。
8.根据权利要求7所述的基于同源多窗技术的医学图像深度学习装置，其特征在于，所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种。
9.一种计算机设备，其特征在于，包括：存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算机程序；
所述计算机程序用于执行如权利要求1-6任一项所述的基于同源多窗技术的医学图像深度学习方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如权利要求1-6任一项所述的基于同源多窗技术的医学图像深度学习方法被执行。
CN202110770721.0A 2021-07-07 2021-07-07 基于同源多窗技术的医学图像深度学习方法和装置 Pending CN113487572A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110770721.0A CN113487572A (zh) 2021-07-07 2021-07-07 基于同源多窗技术的医学图像深度学习方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110770721.0A CN113487572A (zh) 2021-07-07 2021-07-07 基于同源多窗技术的医学图像深度学习方法和装置

Publications (1)

Publication Number Publication Date
CN113487572A true CN113487572A (zh) 2021-10-08

Family

ID=77937421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110770721.0A Pending CN113487572A (zh) 2021-07-07 2021-07-07 基于同源多窗技术的医学图像深度学习方法和装置

Country Status (1)

Country Link
CN (1) CN113487572A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663319A (zh) * 2014-09-05 2017-05-10 皇家飞利浦有限公司 谱图像数据的可视化
US20190156481A1 (en) * 2017-11-17 2019-05-23 Sysmex Corporation Image analysis method, apparatus, program, and learned deep learning algorithm
CN111368827A (zh) * 2020-02-27 2020-07-03 北京推想科技有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN111626972A (zh) * 2020-06-02 2020-09-04 上海鹰瞳医疗科技有限公司 Ct图像重构方法、模型训练方法及设备
CN112819818A (zh) * 2021-02-26 2021-05-18 中国人民解放军总医院第一医学中心 图像识别模块训练方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663319A (zh) * 2014-09-05 2017-05-10 皇家飞利浦有限公司 谱图像数据的可视化
US20190156481A1 (en) * 2017-11-17 2019-05-23 Sysmex Corporation Image analysis method, apparatus, program, and learned deep learning algorithm
CN111368827A (zh) * 2020-02-27 2020-07-03 北京推想科技有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN111626972A (zh) * 2020-06-02 2020-09-04 上海鹰瞳医疗科技有限公司 Ct图像重构方法、模型训练方法及设备
CN112819818A (zh) * 2021-02-26 2021-05-18 中国人民解放军总医院第一医学中心 图像识别模块训练方法和装置

Similar Documents

Publication Publication Date Title
US11455754B2 (en) System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement
US20190340753A1 (en) Systems and methods for detecting an indication of a visual finding type in an anatomical image
Krupinski The importance of perception research in medical imaging
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
DE202019005911U1 (de) Systeme zur Erkennung einer Indikation eines visuellen Befundtyps in einem anatomischen Bild
JP5026939B2 (ja) 画像処理装置およびそのプログラム
US9373181B2 (en) System and method for enhanced viewing of rib metastasis
CN103222876B (zh) 医用图像处理装置、图像诊断装置、计算机系统以及医用图像处理方法
CN105719324A (zh) 图像处理装置以及图像处理方法
DE102018108072A1 (de) Einrichtung, Verfahren und Programm zur Klassifizierung medizinischer Bilder
CN111368827B (zh) 医学图像处理方法、装置、计算机设备及存储介质
CN110619318A (zh) 基于人工智能的图像处理方法、显微镜、系统和介质
CN109919254B (zh) 乳腺密度分类方法、系统、可读存储介质和计算机设备
CN112819818B (zh) 图像识别模块训练方法和装置
Chen et al. Enhancement of chest radiographs obtained in the intensive care unit through bone suppression and consistent processing
CN112382360A (zh) 一种诊断报告自动生成系统、存储介质及电子设备
CN112686866A (zh) 基于医学影像的随访方法、装置及计算机可读存储介质
CN116758087A (zh) 一种腰椎ct骨窗侧隐窝间隙检测方法及装置
CN113487572A (zh) 基于同源多窗技术的医学图像深度学习方法和装置
Gao et al. Deep learning-based framework for segmentation of multiclass rib fractures in CT utilizing a multi-angle projection network
CN113496487B (zh) 多尺度递进聚焦的医学图像深度学习方法和装置
CN113299369B (zh) 一种医学图像调窗优化方法
Mello-Thoms et al. A preliminary report on the role of spatial frequency analysis in the perception of breast cancers missed at mammography screening1
CN111462067B (zh) 图像分割方法及装置
JP7275961B2 (ja) 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination