CN113496487B - 多尺度递进聚焦的医学图像深度学习方法和装置 - Google Patents
多尺度递进聚焦的医学图像深度学习方法和装置 Download PDFInfo
- Publication number
- CN113496487B CN113496487B CN202110770724.4A CN202110770724A CN113496487B CN 113496487 B CN113496487 B CN 113496487B CN 202110770724 A CN202110770724 A CN 202110770724A CN 113496487 B CN113496487 B CN 113496487B
- Authority
- CN
- China
- Prior art keywords
- image
- windowed
- window
- windowing
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000000750 progressive effect Effects 0.000 title claims abstract description 40
- 230000003902 lesion Effects 0.000 claims abstract description 44
- 210000004072 lung Anatomy 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 39
- 210000001519 tissue Anatomy 0.000 claims description 37
- 210000000988 bone and bone Anatomy 0.000 claims description 33
- 210000001370 mediastinum Anatomy 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000003745 diagnosis Methods 0.000 description 11
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 208000034656 Contusions Diseases 0.000 description 4
- 208000027790 Rib fracture Diseases 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000009519 contusion Effects 0.000 description 4
- 201000003144 pneumothorax Diseases 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 206010017076 Fracture Diseases 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000005015 mediastinal lymph node Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 208000018280 neoplasm of mediastinum Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 210000003492 pulmonary vein Anatomy 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种多尺度递进聚焦的医学图像深度学习方法和装置。该方法包括基于设定的窗位和窗宽对医学样本图像进行开窗，生成多种开窗图像；对每种开窗图像进行特征提取，生成每种开窗图像对应的第一图像特征；对每种开窗图像对应病变区域进行标定；根据该开窗图像中标定的病变区域重新计算最优的窗位和窗宽，并根据开窗图像最优的窗位和窗宽生成该开窗图像对应的二次开窗图像；对每个开窗图像二次开窗图像进行特征提取，得到第二图像特征；将全部的开窗图像第二图像特征进行融合，得到融合图像特征。本申请解决相关技术中通过深度学习训练出的图像识别模块对医疗影像识别准确性较低的问题。
Description
技术领域
本申请涉及医学图像人工智能技术领域，具体而言，涉及一种多尺度递进聚焦的医学图像深度学习方法和装置。
背景技术
从1895年伦琴发现X线到现在的一百多年里，影像学的发展经历了由原来的模拟成像到现在数字化成像的一个过程。近年来，医学影像存档与通讯系统(PictureAchieving&Communication System，PACS)迅速发展；为了影像设备之间互传，国际上制定了医学数字图像通讯标准(Digital Imaging and Communication in Medicine,DICOM)。从目前的发展来看，DIC0M已经成为普遍适用的标准，即大部分医学图像设备及PACS系统都使用DIC0M作为其互连标准。目前大家遵循的是DICOM3.0版本。
DICOM文件由多个数据集组成。数据集表现了信息对象的相关属性，如病人姓名、性别、身高等。数据集由数据元素组成，数据元素包含信息对象属性的值，并由数据元素标签(Tag)唯一标识。所有数据元素都包含标签、值长度和数据值体。标签是一个16位无符号整数对，按顺序排列包括组号和元素号。数据集中的数据元素按其标签号的递增顺序组织，且在一个数据集中最多出现一次。值长度是一个16或32位无符号整数，表明了准确的数据值的长度，按字节数目记录。数据值体表明了数据元素的值，其长度为偶数字节，该字段的数据类型是由数据元素的VR所明确定义。
X线成像是一种重要的医学影像技术。X线之所以能使人体组织在荧屏上或胶片上形成影像，主要基于X线的穿透性、荧光效应和感光效应，和基于人体组织之间密度和厚度的差别。当X线透过人体不同组织结构时，被吸收的程度不同，所以到达荧屏或胶片上的X线量就会有差异，在荧屏或胶片上就形成了明暗对比的影像。这样，医生就可以根据经验，通过观察这些明暗对比的影像来发现病变和进行诊断。
平片和CT是目前常见的X线影像形式，为了定量衡量组织对于X光的吸收率，Hounsfield定义了一个新的标度“CT值”：针对人体组织，将线性衰减系数划分为2000个单位，以水为0值，最上界骨的CT值为1000；最下界空气的CT值为-1000。也就是说，人体组织CT值的范围为-1000到+1000共2000个分度。但是人眼不能分辨这样微小灰度的差别，仅能分辨16个左右的灰阶。为了提高组织结构细节的显示，能分辨出差别较小的组织，可以根据诊断需要调节图像的对比度和亮度，这种调节技术称为加窗技术(Window Technique)——窗宽、窗位的选择。
开窗显示技术，指通过一个特定窗口，将窗口区域的图像线性地转换到显示器的最大显示范围内，高于或低于窗口上下限的图像数据则分别设置为最高或最低的显示值。这样通过动态地调节窗口的窗宽(需显示的图像数据的范围)和窗位(需显示的图像数据的中心值)，则可以观察图像的更多信息。
不同部位使用不同窗位、窗宽能更充分地反映出局部结构的影像差异。不同部位、不同组织的CT值差别很大，医生在大量的实践中，总结出了一些常用的窗位、窗宽设定范围。例如：常规胸部CT检查一般用纵隔窗及肺窗观察；纵隔窗可观察心脏、大血管、纵隔内淋巴结、纵隔肿块及这些结构的比邻关系，一般纵隔窗可以设定为窗宽300Hu～500Hu，窗位30Hu～50Hu；而肺为含气组织，在上述纵隔窗下几乎无法显示，因此又开设了肺窗，肺窗可以观察肺的形态结构、支气管、肺动静脉和肺裂、肺内肿物的形态、分叶、胸膜凹陷征、毛刺征等病理征象，一般肺窗可以设定为窗宽1300Hu～1700Hu，窗位-600Hu～-800Hu；此外，为了更好地显示胸骨、肋骨、锁骨、脊柱等骨性结构，以及上述骨的骨折等异常表现，还会另开设骨窗，一般骨窗可以设定为窗宽800Hu～2000Hu，窗位250Hu～500Hu。
医生进行诊断时常常需要手动调整窗位、窗宽，同时会去缩小或放大以显示全局或观察局部，甚至需要翻转、旋转以及多角度重建等以对病变进行更加细致的观察。然而在目前的深度学习中，一般会选择一幅特定窗位和窗宽的图像进行学习。这样可能就会导致大量DICOM图像信息的丢失，不能更大限度地发挥其价值。
此外，仅在一个窗位、窗宽下显示会丢失很多疾病信息，需要结合多个窗位和窗宽去综合呈现。例如，胸部外伤，常常同时合并有肺挫伤、肋骨骨折和血、气胸等。此时，如果仅看肺窗图像，虽然能够很好地显示肺挫伤，但是血、气胸就会显示得较差、肋骨骨折几乎不能被看到；而如果仅看纵隔窗图像，虽然能够很好地显示血、气胸，但是肋骨骨折就会显示得较差、肺挫伤几乎不能被看到；同样，如果仅看骨窗图像，虽然能够很好地显示肋骨骨折，但是血、气胸就会显示得较差、肺挫伤仍然几乎不能被看到。所以，虽然是一幅DICOM图像，却不应转化为成一个窗位、窗宽的位图进行深度学习。
一种疾病常常需要其他窗位和窗宽的图像去提供间接征象以便于辅助诊断。例如，肺癌虽然发生于肺组织，单纯用肺窗也可以全面地看到病变的部位、大小以及一些良恶性鉴别的征象；但是肺癌常常会伴有纵隔淋巴结的肿大，甚至会出现一些侵及周围血管、压迫周边脏器的表现，这些间接征象对于肺癌的诊断和分期至关重要，这些恰恰是肺窗不能提供的，必须要纵隔窗的辅助。所以，对于一幅DICOM图像，分解成不同窗位、窗宽的位图去学习非常重要。
针对相关技术中通过深度学习训练出的图像识别模块对医疗影像识别准确性较低的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种多尺度递进聚焦的医学图像深度学习方法和装置，以解决相关技术中通过深度学习训练出的图像识别模块对医疗影像识别准确性较低的问题。
为了实现上述目的，第一方面，本申请提供了一种多尺度递进聚焦的医学图像深度学习方法，该方法包括：
基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；
基于卷积神经网络对每种所述开窗CT图像对应病变区域进行标定；
对于每种所述开窗CT图像，根据该开窗CT图像中标定的病变区域重新计算再次开窗的窗位和窗宽，并根据所述再次开窗的窗位和窗宽生成该开窗CT图像对应的二次开窗CT图像；
基于卷积神经网络对每个所述二次开窗CT图像进行特征提取，得到第二图像特征；
将全部的所述第二图像特征进行融合，得到融合图像特征，从而基于所述融合图像特征完成多尺度递进聚焦的医学图像深度学习。
可选地，所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种。
可选地，所述基于设定的窗位和窗宽对医学样本图像进行开窗，包括：
基于设定的窗位和窗宽对医学样本图像进行开窗，分别生成以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像。
可选地，所述基于卷积神经网络对每种所述开窗CT图像对应病变区域进行标定，包括：
基于卷积神经网络对每种所述开窗CT图像进行特征提取，生成每种所述开窗CT图像对应的第一图像特征；
根据每种所述开窗CT图像对应的第一图像特征对每种所述开窗CT图像对应病变区域进行标定。
可选地，该方法还包括：
在每种所述开窗CT图像包括的第一图像特征和/或第二图像特征之间确定是否存在指定匹配关系，其中，所述指定匹配关系包括的至少一个设定匹配关系；
当在至少两种所述开窗CT图像包括的第一图像特征和/或第二图像特征之间确定存在指定匹配关系时，根据所述指定匹配关系对该第一图像特征和/或第二图像特征进行标识。
第二方面，本申请还提供了一种多尺度递进聚焦的医学图像深度学习装置，该装置包括：
第一开窗模块，用于基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；
标定模块，用于基于卷积神经网络对每种所述开窗CT图像对应病变区域进行标定；
第二开窗模块，用于对于每种所述开窗CT图像，根据该开窗CT图像中标定的病变区域重新计算最优的窗位和窗宽，并根据所述最优的窗位和窗宽生成该开窗CT图像对应的二次开窗CT图像；
第二提取模块，用于基于卷积神经网络对每个所述二次开窗CT图像进行特征提取，得到第二图像特征；
融合特征模块，用于将全部的所述第二图像特征进行融合，得到融合图像特征，从而基于所述融合图像特征完成多尺度递进聚焦的医学图像深度学习。
可选地，该装置还包括：
所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种。
可选地，所述标定模块，具体用于：
基于卷积神经网络对每种所述开窗CT图像进行特征提取，生成每种所述开窗CT图像对应的第一图像特征；
根据每种所述开窗CT图像对应的第一图像特征对每种所述开窗CT图像对应病变区域进行标定。
第三方面，本申请还提供了一种计算机设备，包括：存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算机程序；
所述计算机程序用于执行上述的多尺度递进聚焦的医学图像深度学习方法。
第四方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，上述的多尺度递进聚焦的医学图像深度学习方法被执行。
在本申请提供的多尺度递进聚焦的医学图像深度学习方法中，基于卷积神经网络对指定医学图像进行特征提取，生成第一图像特征；基于注意力机制对所述指定医学图像进行处理，得到第二图像特征和提取区域；获取所述提取区域对应的提取区域图像；基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的第三图像特征；对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到融合图像特征，从而基于所述融合图像特征完成多尺度递进聚焦的医学图像深度学习。这样，通过对同一幅DICOM图像采用多个不同开窗的位图作为神经网络的输入，进行基于不同窗位、窗宽的多尺度递进聚焦的医学图像深度学习方法，即可以在不同组织层面抓取更丰富的疾病特征信息，同时对多个开窗图像进行学习获取图像的病变区域，并根据病变区域重新对图像开窗，并对新开窗的开窗CT图像进行特征提取，从而提高诊断的准确性。进而解决了相关技术中通过深度学习训练出的图像识别模块对医疗影像识别准确性较低的技术问题。于此同时，本方法通过专注于优化图像来源，重新分配网络的学习能力，从而降低原始任务的难度，使网络更加容易训练。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例提供的一种多尺度递进聚焦的医学图像深度学习方法的流程示意图；
图2是本申请实施例提供的一种实施多尺度递进聚焦的医学图像深度学习方法的系统框架图；
图3是本申请实施例提供的一种多尺度递进聚焦的医学图像深度学习装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
一个方面，本申请实施例提供了一种多尺度递进聚焦的医学图像深度学习方法，图1是本申请实施例提供的一种多尺度递进聚焦的医学图像深度学习方法的流程示意图，如图1所示，该方法包括如下的步骤110至步骤150：
110，基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像。
其中，可选地，所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种。
具体的，根据病情，确定需要观察的组织，并根据需要观察的组织，设定对应的窗位、窗宽值，从而得到相应组织的开窗CT图像，如果原始图像提供了三种状态下的最优的窗位和窗宽值，我们就用原始的；如果没提供，通常可以设置设定：
肺窗：WW 1600HU、WL-600HU
纵膈窗：WW400HU、WL40HU
骨窗：WW2600HU、WL800HU
具体的，步骤110可以具体为：基于设定的窗位和窗宽对医学样本原始格式图像进行开窗，生成至少两种不同窗位和窗宽的CT图像。这样，步骤110中可以对同一幅DICOM图像采用多个不同开窗的位图作为神经网络的输入，从而实现并行式的多窗位、窗宽CT图像作为输入，进行基于不同窗位、窗宽的同源多窗技术的医学图像深度学习方法。
具体的，步骤110，所述基于设定的窗位和窗宽对医学样本图像进行开窗，包括：
基于设定的窗位和窗宽对医学样本图像进行开窗，分别生成以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像。
从而基于肺部开窗CT图像、骨部开窗CT图像和纵隔部开窗CT图像这三个窗口，来实现基于不同窗位、窗宽的同源多窗技术的医学图像深度学习方法。
在本实施例中，开窗CT图像是以CT值来说明组织影像密度的高低，它不是绝对值，而是以水为标准，其他组织与水相比较的相对值，单位为亨(Hu)。即以水的CT值为0Hu，空气为-1000H，骨为+3720H的4000多个等级。
120，基于卷积神经网络对每种所述开窗CT图像对应病变区域进行标定。
具体的，对于每一种所述开窗CT图像，通过CNN网络(Convolutional NeuralNetworks，简称卷积神经网络)对每一种所述开窗CT图像分别进行的特征提取，并根据提取的特征确定出病变区域，再对病变区域进行标定。
其中，可选地，所述步骤120，基于卷积神经网络对每种所述开窗CT图像对应病变区域进行标定，具体为：
基于卷积神经网络对每种所述开窗CT图像进行特征提取，生成每种所述开窗CT图像对应的第一图像特征；
根据每种所述开窗CT图像对应的第一图像特征对每种所述开窗CT图像对应病变区域进行标定。
具体的，基于卷积神经网络对每种所述开窗CT图像进行特征提取，得到每种所述开窗CT图像中的每个第一图像特征，而第一图像特征是通过第一轮深度学习确定的病变特征，通过反向分析，确定了病变区域所在位置分布，并进行位置标定，这样就可以根据这个病变特征的图像CT值分布进行再次开窗，即执行步骤130。
130，对于每种所述开窗CT图像，根据该开窗CT图像中标定的病变区域重新计算再次开窗的窗位和窗宽，并根据所述再次开窗的窗位和窗宽生成该开窗CT图像对应的二次开窗CT图像。
具体的，对于每种所述开窗CT图像，根据该开窗CT图像中标定的病变区域重新计算再次开窗的窗位和窗宽，其中，可以以递进聚焦式的方式生成相对开窗CT图像训练效果更优的二次开窗CT图像，该再次开窗的窗位和窗宽为让病变特征呈现最显著的窗位和窗宽，具体的计算再次开窗的窗位和窗宽的方法有多种，例如，可以根据灰度分布直方图等方式设定再次开窗的窗位和窗宽。
需要说明书的是，在对所述开窗CT图像进行处理时，可能会得到多个病变区域，而针对多个病变区域中每个病变区域均分别进行步骤130。
140，基于卷积神经网络对每个所述二次开窗CT图像进行特征提取，得到第二图像特征。
具体的，基于卷积神经网络对每个所述二次开窗CT图像进行特征提取，得到每个述二次开窗CT图像对应的第二图像特征。
150，将全部的所述第二图像特征进行融合，得到融合图像特征，从而基于所述融合图像特征完成多尺度递进聚焦的医学图像深度学习。
具体的，将每一种所述开窗CT图像对应的所述第二图像特征进行融合，得到融合图像特征，以基于所述融合图像特征完成多尺度递进聚焦的医学图像深度学习，而通过全连接层则可以用于病情的诊断。
在本实施例中，由于相关技术中医生在进行诊断时，常常需要观察多个窗位、窗宽下的图像，而目前医学影像的深度学习中普遍使用单一窗位、窗宽下的图像，这样会丢失很多关键病情特征。针对这种情况，在本申请提供的多尺度递进聚焦的医学图像深度学习方法中，通过对同一幅DICOM图像采用多个不同开窗的位图作为神经网络的输入，进行基于不同窗位、窗宽的多尺度递进聚焦的医学图像深度学习方法，即可以在不同组织层面抓取更丰富的疾病特征信息，同时对多个开窗图像进行学习获取图像的病变区域，并根据病变区域重新对图像开窗，并对新开窗的开窗CT图像进行特征提取，从而提高诊断的准确性。
可选地，本申请提供的多尺度递进聚焦的医学图像深度学习方法还包括：
在每种所述开窗CT图像包括的第一图像特征和/或第二图像特征之间确定是否存在指定匹配关系，其中，所述指定匹配关系包括的至少一个设定匹配关系；
当在至少两种所述开窗CT图像包括的第一图像特征和/或第二图像特征之间确定存在指定匹配关系时，根据所述指定匹配关系对该第一图像特征和/或第二图像特征进行标识。
具体的，由于在进行诊断时，常常需要观察多个窗位、窗宽下的图像，因此，在进行诊断前，本申请可以先确定每种所述开窗CT图像包括的第一图像特征和/或第二图像特征之间是否存在指定匹配关系，所述指定匹配关系包括的至少一个设定匹配关系，而每个设定匹配关系可以对应一种病症对应的图像特征，这样，当确定存在不同开窗CT图像之间的图像特征存在指定匹配关系，可以根据所述指定匹配关系对该第一图像特征和/或第二图像特征进行标识，再进行输出，以辅助后期全连接后进行疾病的诊断。
在本实施例中，图2是本申请实施例提供的一种实施图像识别模块训练方法的系统框架图，如图2所示：
①表示医学样本图像。
②表示以获取肺部组织特征为目的肺部开窗图像(初始的肺窗开窗CT图像)。
③表示以获取骨部组织特征为目的骨部开窗图像(初始的骨窗开窗CT图像)。
④表示以获取纵隔部组织特征为目的纵隔部开窗图像(初始的纵隔窗开窗CT图像)。
⑤表示初始的肺窗开窗CT图像的特征提取。
⑥表示初始的骨窗开窗CT图像的特征提取。
⑦表示初始的纵隔窗开窗CT图像的特征提取。
⑧表示根据肺窗开窗CT图像进行病变区域的标定。
⑨表示根据骨窗开窗CT图像进行病变区域的标定。
⑩表示根据纵隔窗开窗CT图像进行病变区域的标定。
表示根据新标定的肺窗区域得到新开窗的肺窗开窗CT图像。
表示根据新标定的骨窗区域得到新开窗的骨窗开窗CT图像。
表示根据新标定的纵隔窗区域得到新开窗的纵隔窗开窗CT图像。
表示新的肺窗开窗CT图像的特征提取。
表示新的骨窗开窗CT图像的特征提取。
表示新的纵隔窗开窗CT图像的特征提取。
表示多个新开窗的开窗CT图像的特征融合。
表示全连接层用于病情的诊断。
在本申请提供的多尺度递进聚焦的医学图像深度学习方法中，基于卷积神经网络对指定医学图像进行特征提取，生成第一图像特征；基于注意力机制对所述指定医学图像进行处理，得到第二图像特征和提取区域；获取所述提取区域对应的提取区域图像；基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的第三图像特征；对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到融合图像特征，从而基于所述融合图像特征完成多尺度递进聚焦的医学图像深度学习。这样，通过对同一幅DICOM图像采用多个不同开窗的位图作为神经网络的输入，进行基于不同窗位、窗宽的多尺度递进聚焦的医学图像深度学习方法，即可以在不同组织层面抓取更丰富的疾病特征信息，同时对多个开窗图像进行学习获取图像的病变区域，并根据病变区域重新对图像开窗，并对新开窗的开窗CT图像进行特征提取，从而提高诊断的准确性。进而解决了相关技术中通过深度学习训练出的图像识别模块对医疗影像识别准确性较低的技术问题。于此同时，本方法通过专注于优化图像来源，重新分配网络的学习能力，从而降低原始任务的难度，使网络更加容易训练。
基于相同的技术构思，本申请还提供了一种多尺度递进聚焦的医学图像深度学习装置，图3是本申请实施例提供的一种多尺度递进聚焦的医学图像深度学习装置的结构示意图，如图3所示，该装置包括：
第一开窗模块10，用于基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；
标定模块20，用于基于卷积神经网络对每种所述开窗CT图像对应病变区域进行标定；
第二开窗模块30，用于对于每种所述开窗CT图像，根据该开窗CT图像中标定的病变区域重新计算最优的窗位和窗宽，并根据所述最优的窗位和窗宽生成该开窗CT图像对应的二次开窗CT图像；
第二提取模块40，用于基于卷积神经网络对每个所述二次开窗CT图像进行特征提取，得到第二图像特征；
融合特征模块50，用于将全部的所述第二图像特征进行融合，得到融合图像特征，从而基于所述融合图像特征完成多尺度递进聚焦的医学图像深度学习。
可选地，该装置还包括：
所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种。
可选地，所述标定模块，具体用于：
基于卷积神经网络对每种所述开窗CT图像进行特征提取，生成每种所述开窗CT图像对应的第一图像特征；
根据每种所述开窗CT图像对应的第一图像特征对每种所述开窗CT图像对应病变区域进行标定。
基于相同的技术构思，本申请实施例还提供了一种计算机设备，包括：存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算机程序；
所述计算机程序用于执行如上述的多尺度递进聚焦的医学图像深度学习方法。
基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，上述的多尺度递进聚焦的医学图像深度学习方法被执行。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的计算机可读存储介质的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
本申请所涉及的计算机程序可以存储于计算机可读存储介质中，计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体装置、虚拟装置、优盘、移动硬盘、磁碟、光盘、计算机存储器、只读计算机存储器(Read-Only Memory，ROM)、随机存取计算机存储器(Random Access Memory，RAM)、电载波信号、电信信号以及其他软件分发介质等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (5)
1.一种多尺度递进聚焦的医学图像深度学习方法，其特征在于，该方法包括：
基于设定的窗位和窗宽对医学样本图像进行开窗；
生成至少两种开窗CT图像；所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种；
基于卷积神经网络对每种所述开窗CT图像对应病变区域进行标定；
所述基于卷积神经网络对每种所述开窗CT图像对应病变区域进行标定，具体包括：基于卷积神经网络对每种所述开窗CT图像进行特征提取，生成每种所述开窗CT图像对应的第一图像特征；根据每种所述开窗CT图像对应的第一图像特征对每种所述开窗CT图像对应病变区域进行标定；
对于每种所述开窗CT图像，根据该开窗CT图像中标定的病变区域重新计算再次开窗的窗位和窗宽，并根据所述再次开窗的窗位和窗宽生成该开窗CT图像对应的二次开窗CT图像；
基于卷积神经网络对每个所述二次开窗CT图像进行特征提取，得到第二图像特征；
将全部的所述第二图像特征进行融合，得到融合图像特征，从而基于所述融合图像特征完成多尺度递进聚焦的医学图像深度学习。
2.根据权利要求1所述的多尺度递进聚焦的医学图像深度学习方法，其特征在于，该方法还包括：
在每种所述开窗CT图像包括的第一图像特征和/或第二图像特征之间确定是否存在指定匹配关系，其中，所述指定匹配关系包括的至少一个设定匹配关系；
当在至少两种所述开窗CT图像包括的第一图像特征和/或第二图像特征之间确定存在指定匹配关系时，根据所述指定匹配关系对该第一图像特征和/或第二图像特征进行标识。
3.一种多尺度递进聚焦的医学图像深度学习装置，其特征在于，该装置包括：
第一开窗模块，用于基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种；
标定模块，用于基于卷积神经网络对每种所述开窗CT图像对应病变区域进行标定；具体用于：基于卷积神经网络对每种所述开窗CT图像进行特征提取，生成每种所述开窗CT图像对应的第一图像特征；根据每种所述开窗CT图像对应的第一图像特征对每种所述开窗CT图像对应病变区域进行标定；
第二开窗模块，用于对于每种所述开窗CT图像，根据该开窗CT图像中标定的病变区域重新计算最优的窗位和窗宽，并根据所述最优的窗位和窗宽生成该开窗CT图像对应的二次开窗CT图像；
第二提取模块，用于基于卷积神经网络对每个所述二次开窗CT图像进行特征提取，得到第二图像特征；
融合特征模块，用于将全部的所述第二图像特征进行融合，得到融合图像特征，从而基于所述融合图像特征完成多尺度递进聚焦的医学图像深度学习。
4.一种计算机设备，其特征在于，包括：存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算机程序；
所述计算机程序用于执行如权利要求1-2任一项所述的多尺度递进聚焦的医学图像深度学习方法。
5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如权利要求1-2任一项所述的多尺度递进聚焦的医学图像深度学习方法被执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110770724.4A CN113496487B (zh) | 2021-07-07 | 2021-07-07 | 多尺度递进聚焦的医学图像深度学习方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110770724.4A CN113496487B (zh) | 2021-07-07 | 2021-07-07 | 多尺度递进聚焦的医学图像深度学习方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113496487A CN113496487A (zh) | 2021-10-12 |
| CN113496487B true CN113496487B (zh) | 2023-11-14 |
Family
ID=77996275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110770724.4A Active CN113496487B (zh) | 2021-07-07 | 2021-07-07 | 多尺度递进聚焦的医学图像深度学习方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496487B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106878631A (zh) * | 2017-01-05 | 2017-06-20 | 浙江大华技术股份有限公司 | 一种图像显示方法及装置 |
| CN109801254A (zh) * | 2017-11-14 | 2019-05-24 | 西门子保健有限责任公司 | 医学成像中的传递函数确定 |
| CN111783796A (zh) * | 2020-06-19 | 2020-10-16 | 哈尔滨工业大学 | 一种基于深度特征融合的pet/ct影像识别系统 |
| CN112146834A (zh) * | 2020-09-30 | 2020-12-29 | 石家庄铁道大学 | 结构振动位移测量方法及装置 |
| EP3813075A1 (en) * | 2019-10-22 | 2021-04-28 | Qure.Ai Technologies Private Limited | System and method for automating medical images screening and triage |
| CN112819818A (zh) * | 2021-02-26 | 2021-05-18 | 中国人民解放军总医院第一医学中心 | 图像识别模块训练方法和装置 |
-
2021
- 2021-07-07 CN CN202110770724.4A patent/CN113496487B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106878631A (zh) * | 2017-01-05 | 2017-06-20 | 浙江大华技术股份有限公司 | 一种图像显示方法及装置 |
| CN109801254A (zh) * | 2017-11-14 | 2019-05-24 | 西门子保健有限责任公司 | 医学成像中的传递函数确定 |
| EP3813075A1 (en) * | 2019-10-22 | 2021-04-28 | Qure.Ai Technologies Private Limited | System and method for automating medical images screening and triage |
| CN111783796A (zh) * | 2020-06-19 | 2020-10-16 | 哈尔滨工业大学 | 一种基于深度特征融合的pet/ct影像识别系统 |
| CN112146834A (zh) * | 2020-09-30 | 2020-12-29 | 石家庄铁道大学 | 结构振动位移测量方法及装置 |
| CN112819818A (zh) * | 2021-02-26 | 2021-05-18 | 中国人民解放军总医院第一医学中心 | 图像识别模块训练方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| "影像引导中分割与配准关键技术研究";伍世宾;《中国科学院大学博士学位论文》(第2019年第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113496487A (zh) | 2021-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10949968B2 (en) | Systems and methods for detecting an indication of a visual finding type in an anatomical image | |
| US10706545B2 (en) | Systems and methods for analysis of anatomical images | |
| US10832467B2 (en) | Method and system for rule based display of sets of images using image content derived parameters | |
| JP5026939B2 (ja) | 画像処理装置およびそのプログラム | |
| US10909679B2 (en) | Method and system for rule based display of sets of images using image content derived parameters | |
| EP3567525A1 (en) | Systems and methods for analysis of anatomical images each captured at a unique orientation | |
| US20040151358A1 (en) | Medical image processing system and method for processing medical image | |
| JP2005103055A (ja) | 医用画像処理装置 | |
| JP6719421B2 (ja) | 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム | |
| WO2019146357A1 (ja) | 医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラム | |
| JP2018175226A (ja) | 医用画像分類装置、方法およびプログラム | |
| US11200674B2 (en) | Image processing apparatus, method, and storage medium for enabling user to REC0GNT7E change over time represented by substraction image | |
| US20230386125A1 (en) | Method and system for rule based display of sets of images using image content derived parameters | |
| CN111986182A (zh) | 辅助诊断方法、系统、电子设备及存储介质 | |
| CN116433695B (zh) | 一种乳腺钼靶图像的乳腺区域提取方法及系统 | |
| CN113496487B (zh) | 多尺度递进聚焦的医学图像深度学习方法和装置 | |
| Gao et al. | Deep learning-based framework for segmentation of multiclass rib fractures in CT utilizing a multi-angle projection network | |
| JP2019165923A (ja) | 診断支援システム及び診断支援方法 | |
| CN113487572A (zh) | 基于同源多窗技术的医学图像深度学习方法和装置 | |
| JP2005103053A (ja) | 医用画像処理システム及び医用画像処理方法 | |
| KR102608783B1 (ko) | 컴퓨터 단층촬영 영상 재구성 방법 및 장치 | |
| CN115132357B (zh) | 基于医学影像图预测目标疾病指标状态的装置 | |
| WO2022215529A1 (ja) | 医用画像解析装置、医用画像解析方法、及び医用画像解析プログラム | |
| Ciano et al. | A Multi-Stage GAN for Multi-Organ Chest X-ray Image Generation and Segmentation. Mathematics 2021, 9, 2896 | |
| JP2024018562A (ja) | 画像処理装置、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |