CN109754389B - 一种图像处理方法、装置及设备 - Google Patents
一种图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN109754389B CN109754389B CN201811500631.4A CN201811500631A CN109754389B CN 109754389 B CN109754389 B CN 109754389B CN 201811500631 A CN201811500631 A CN 201811500631A CN 109754389 B CN109754389 B CN 109754389B
- Authority
- CN
- China
- Prior art keywords
- feature map
- neural network
- axis dimension
- image
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000005070 sampling Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000009467 reduction Effects 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims description 144
- 230000003902 lesion Effects 0.000 claims description 103
- 238000001514 detection method Methods 0.000 claims description 63
- 238000012549 training Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 19
- 238000011478 gradient descent method Methods 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 16
- 201000011510 cancer Diseases 0.000 abstract description 6
- 230000010339 dilation Effects 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 241000193830 Bacillus <bacterium> Species 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 230000001717 pathogenic effect Effects 0.000 description 3
- 201000008827 tuberculosis Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 208000014081 polyp of colon Diseases 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Pulmonology (AREA)
- Physiology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请公开了一种图像处理方法、装置及设备,方法包括:获取包括多张采样切片的第一图像,所述第一图像为包括X轴维度、Y轴维度以及Z轴维度的三维图像;对所述第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图;所述第一特征图包括X轴维度、Y轴维度以及Z轴维度的三维特征;将所述第一特征图所包含的特征进行降维处理,生成第二特征图;所述第二特征图包括X轴维度以及Y轴维度的二维特征;对所述第二特征图的特征进行检测,得到所述第二特征图中每一个病灶的位置以及所述位置对应的置信度。采用本申请,可准确地检测出患者体内多个部位的病灶情况,实现对患者全身范围的癌症初步评估。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理的方法、装置及设备。
背景技术
计算机辅助诊断(Computer aided diagosis,CAD)是指通过影像学、医学图像分析技术以及其他可能的生理、生化等手段,结合计算机的分析计算,自动地重影像中发现病灶。实践证明,计算机辅助诊断在提高诊断准确率、减少漏诊和提高医生工作效率等方面起到了极大的积极促进作用。其中,病灶指的是组织或器官遭受致病因子的作用而引起病变的部位,是机体上发生病变的部分。例如,人体肺部的某一部分被结核菌破坏,那么这一部分就是肺结核病灶。
近年来,随着计算机视觉和深度学习技术的快速发展,基于CT图像的图像处理方法受到越来越多的关注。然而,目前大多数的图像处理方法往往只专注于某种病变类型的检测,例如肺结节、皮肤损伤、肝肿瘤、淋巴结肿大、结肠息肉等,另外,现有技术中,对病灶的测量的判断通常都是没有考虑到三维的上下文信息,导致测量的结果不够精确。
发明内容
本申请提供一种图像处理方法、装置及设备,准确地检测出患者体内多个部位的病灶情况,实现对患者全身范围的癌症初步评估。
第一方面,本申请提供了一种图像处理方法,该方法包括:
获取包括多张采样切片的第一图像,所述第一图像为包括X轴维度、Y轴维度以及Z轴维度的三维图像;
对所述第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图;所述第一特征图包括所述X轴维度、Y轴维度以及Z轴维度的三维特征;
将所述第一特征图所包含的特征进行降维处理,生成第二特征图;所述第二特征图为包括所述X轴维度以及所述Y轴维度的二维图像;
对所述第二特征图进行检测,得到所述第二特征图中每一个病灶的位置以及所述位置对应的置信度。
结合第一方面,在一些可能的实施例中,
所述获取包括多张采样切片的第一图像,包括:
以第一采样间隔对获取到的患者的CT图像进行重采样,生成包括多张采样切片的第一图像。
结合第一方面,在一些可能的实施例中,所述对所述第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图,包括:
通过第一神经网络对所述第一图像进行下采样,生成第三特征图;
通过所述第二神经网络的残差模块对所述第三特征图进行下采样,生成第四特征图;
通过所述第二神经网络的DenseASPP模块对所述第四特征图中不同尺度的病灶的特征进行提取;
经过所述DenseASPP模块处理后,生成与所述第四特征图的分辨率大小相同的第四预设特征图,以及通过所述第二神经网络的反卷积层以及所述残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第三特征图的分辨率大小相同的第三预设特征图;
将所述第三特征图与所述第三预设特征图生成与所述第三预设特征图的分辨率大小相同的第一特征图,以及将所述第四特征图与所述第四预设特征图进行融合生成与所述第四预设特征图的分辨率大小相同的第一特征图;所述第三预设特征图及所述第四预设特征图分别包括病灶的位置;所述病灶的位置用于生成第一特征图中病灶的位置。
结合第一方面,在一些可能的实施例中,
所述对所述第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图,包括:
通过第二神经网络的残差模块对所述第一图像进行下采样,生成比所述第一图像的分辨率小的第四特征图;
通过所述第二神经网络的DenseASPP模块对所述第四特征图中不同尺度的病灶的特征进行提取;
经过所述DenseASPP模块处理后,通过所述第二神经网络的反卷积层以及所述残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第一图像分辨率大小相同的所述第一预设特征图;
将所述第一图像与所述第一预设特征图生成与所述第一预设特征图的分辨率大小相同的第一特征图;所述第一预设特征图包括病灶的位置;所述病灶的位置用于生成第一特征图中病灶的位置。
结合第一方面,在一些可能的实施例中,
所述对所述第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图,包括:
通过第一神经网络对所述第一图像进行下采样,生成比所述第一图像的分辨率小的第三特征图;
通过所述第二神经网络的残差模块对所述第三特征图进行下采样,生成比所述第三特征图的分辨率小的第四特征图;
通过所述第二神经网络的残差模块对所述第四特征图进行下采样,生成比所述第四特征图的分辨率小的第五特征图;
通过所述第二神经网络的DenseASPP模块对所述第五特征图中不同尺度的病灶的特征进行提取;
经过所述DenseASPP模块处理后,生成与所述第五特征图的分辨率大小相同的第五预设特征图;通过所述第二神经网络的反卷积层和所述残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第四特征图的分辨率大小相同的第四预设特征图;或者,通过所述第二神经网络的反卷积层和残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第三特征图的分辨率大小相同的第三预设特征图;
将所述第三特征图与所述第三预设特征图生成与所述第三预设特征图的分辨率大小相同的第一特征图;将所述第四特征图与所述第四预设特征图进行融合生成与所述第四预设特征图的分辨率大小相同的第一特征图;以及将所述第五特征图与所述第五预设特征图进行融合生成与所述第五预设特征图的分辨率大小相同的第一特征图;所述第三预设特征图、所述第四预设特征图以及所述第五预设特征图分别包括病灶的位置;所述病灶的位置用于生成第一特征图中病灶的位置。
结合第一方面,在一些可能的实施例中,
所述第一神经网络,包括:卷积层以及与所述卷积层相级联的残差模块;
所述第二神经网络,包括:3D U-Net网络,所述3D U-Net网络包括:卷积层、反卷积层、残差模块以及所述DenseASPP模块。
结合第一方面,在一些可能的实施例中,
所述第二神经网络为堆叠的多个3D U-Net网络。
结合第一方面,在一些可能的实施例中,
所述残差模块包括:卷积层、批量归一化层、ReLU激活函数以及最大池化层。
结合第一方面,在一些可能的实施例中,
所述将所述第一特征图所包含的特征进行降维处理,生成第二特征图,包括:
分别将所述第一特征图的所有特征中每一个特征的通道维度和Z轴维度进行合并,使得所述第一特征图的所有特征中每一个特征的维度由X轴维度以及Y轴维度组成;所述所有特征中每一个特征的维度由X轴维度以及Y轴维度组成的第一特征图为所述第二特征图。
结合第一方面,在一些可能的实施例中,
所述对所述第二特征图进行检测,包括:
通过第一检测子网络对所述第二特征图进行检测,检测出所述第二特征图中每一个病灶的位置的坐标;
通过第二检测子网络对所述第二特征图进行检测,检测出所述第二特征图中每一个病灶对应的置信度。
结合第一方面,在一些可能的实施例中,
所述第一检测子网络包括:多个卷积层,所述多个卷积层中每一个卷积层与一个ReLU激活函数相连;
所述第二检测子网络包括:多个卷积层,所述多个卷积层中每一个卷积层与一个ReLU激活函数相连。
结合第一方面,在一些可能的实施例中,
所述对所述第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图之前,还包括:
通过将预存的包含多个病灶标注的三维图像输入到所述第一神经网络,所述病灶标注用于对病灶进行标注;并利用梯度下降法分别对所述第一神经网络、所述第二神经网络、所述DenseASPP模块、所述第一检测子网络以及所述第二检测子网络的各项参数进行训练;其中,所述多个病灶中每一个病灶的位置由所述第一检测子网络输出。
结合第一方面,在一些可能的实施例中,
所述对所述第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图之前,还包括:
通过将预存的包含多个病灶标注的三维图像输入到所述第一神经网络,所述病灶标注用于对病灶进行标注;,并利用梯度下降法分别对所述第二神经网络、所述DenseASPP模块、所述第一检测子网以及所述第二检测子网的各项参数进行训练;其中,所述多个病灶中每一个病灶的位置由所述第一检测子网络输出。
第二方面,本申请提供了一种图像处理装置,该装置包括:
获取单元,用于获取包括多张采样切片的第一图像,所述第一图像为包括X轴维度、Y轴维度以及Z轴维度的三维图像;
第一生成单元,用于对所述第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图;所述第一特征图包括所述X轴维度、Y轴维度以及Z轴维度的三维特征;
第二生成单元,用于将所述第一特征图所包含的特征进行降维处理,生成第二特征图;所述第二特征图包括所述X轴维度以及所述Y轴维度的二维特征;
检测单元,用于对所述第二特征图进行检测,得到第二特征图中每一个病灶的位置以及所述位置对应的置信度。
结合第二方面,在一些可能的实施例中,
所述获取单元,具体用于:
以第一采样间隔对获取到的患者的CT图像进行重采样,生成包括多张采样切片的第一图像。
结合第二方面,在一些可能的实施例中,
所述第一生成单元,具体用于:
通过第一神经网络对所述第一图像进行下采样,生成比所述第一图像的分辨率小的第三特征图;
通过所述第二神经网络的残差模块对所述第三特征图进行下采样,生成比所述第三特征图的分辨率小的第四特征图;
通过所述第二神经网络的DenseASPP模块对所述第四特征图中不同尺度的病灶的特征进行提取;
经过所述DenseASPP模块处理后,生成与所述第四特征图的分辨率大小相同的第四预设特征图,以及通过所述第二神经网络的反卷积层以及所述残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第三特征图的分辨率大小相同的第三预设特征图;
将所述第三特征图与所述第三预设特征图生成与所述第三预设特征图的分辨率大小相同的第一特征图,以及将所述第四特征图与所述第四预设特征图进行融合生成与所述第四预设特征图的分辨率大小相同的第一特征图;所述第三预设特征图及所述第四预设特征图分别包括病灶的位置;所述病灶的位置用于生成第一特征图中病灶的位置。
结合第二方面,在一些可能的实施例中,
所述第一生成单元,具体用于:
通过第一神经网络对所述第一图像进行下采样,生成比所述第一图像的分辨率小的第四特征图;
通过所述第二神经网络的DenseASPP模块对所述第四特征图中不同尺度的病灶的特征进行提取;
经过所述DenseASPP模块处理后,通过所述第二神经网络的反卷积层以及所述残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第一图像分辨率大小相同的所述第一预设特征图;
将所述第一图像与所述第一预设特征图生成与所述第一预设特征图的分辨率大小相同的第一特征图;所述第一预设特征图包括病灶的位置;所述病灶的位置用于生成第一特征图中病灶的位置。
结合第二方面,在一些可能的实施例中,
所述第一生成单元,具体用于:
通过第二神经网络对所述第一图像的残差模块进行下采样,生成比所述第一图像的分辨率小的第三特征图;
通过所述第二神经网络的残差模块对所述第三特征图进行下采样,生成比所述第三特征图的分辨率小的第四特征图;
通过所述第二神经网络的残差模块对所述第四特征图进行下采样,生成比所述第四特征图的分辨率小的第五特征图;
通过所述第二神经网络的DenseASPP模块对所述第五特征图中不同尺度的病灶的特征进行提取;
经过所述DenseASPP模块处理后,生成与所述第五特征图的分辨率大小相同的第五预设特征图;通过所述第二神经网络的反卷积层和所述残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第四特征图的分辨率大小相同的第四预设特征图;或者,通过所述第二神经网络的反卷积层和残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第三特征图的分辨率大小相同的第三预设特征图;
将所述第三特征图与所述第三预设特征图生成与所述第三预设特征图的分辨率大小相同的第一特征图;将所述第四特征图与所述第四预设特征图进行融合生成与所述第四预设特征图的分辨率大小相同的第一特征图;以及将所述第五特征图与所述第五预设特征图进行融合生成与所述第五预设特征图的分辨率大小相同的第一特征图;所述第三预设特征图、所述第四预设特征图以及所述第五预设特征图分别包括病灶的位置;所述病灶的位置用于生成第一特征图中病灶的位置。
结合第二方面,在一些可能的实施例中,
所述第一神经网络,包括:卷积层以及与所述卷积层相级联的残差模块;
所述第二神经网络,包括:3D U-Net网络,所述3D U-Net网络包括:卷积层、反卷积层、残差模块以及所述DenseASPP模块。
结合第二方面,在一些可能的实施例中,
所述第二神经网络为堆叠的多个3D U-Net网络。
结合第二方面,在一些可能的实施例中,
所述残差模块包括:卷积层、批量归一化层、ReLU激活函数以及最大池化层。
结合第二方面,在一些可能的实施例中,
所述第三特征单元,具体用于:分别将所述第一特征图的所有特征中每一个特征的通道维度和Z轴维度进行合并,使得所述第一特征图的所有特征中每一个特征的维度由X轴维度以及Y轴维度组成;所述所有特征中每一个特征的维度由X轴维度以及Y轴维度组成的第一特征图为所述第二特征图。
结合第二方面,在一些可能的实施例中,
所述检测单元,具体用于:
通过第一检测子网络对所述第二特征图进行检测,检测出所述第二特征图中每一个病灶的位置的坐标;
通过第二检测子网络对所述第二特征图进行检测,检测出所述第二特征图中每一个病灶对应的置信度。
结合第二方面,在一些可能的实施例中,
所述第一检测子网络包括:多个卷积层,所述多个卷积层中每一个卷积层与一个ReLU激活函数相连;
所述第二检测子网络包括:多个卷积层,所述多个卷积层中每一个卷积层与一个ReLU激活函数相连。
结合第二方面,在一些可能的实施例中,
还包括:
训练单元,具体用于:
在所述第一生成单元对所述第一图像进行特征提取,生成包含病灶的特征的第一特征图之前,通过将预存的包含多个病灶标注的三维图像输入到所述第一神经网络,所述病灶标注用于对病灶进行标注;并利用梯度下降法分别对所述第一神经网络、所述第二神经网络、所述第一检测子网络以及所述第二检测子网络的各项参数进行训练;其中,所述多个病灶中每一个病灶的位置由所述第一检测子网络输出。
结合第二方面,在一些可能的实施例中,
还包括:
训练单元,具体用于:
在所述第一生成单元对所述第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图之前,通过将包含多个病灶标注的三维图像输入到所述第二神经网络,所述病灶标注用于对病灶进行标注;并利用梯度下降法分别对所述第二神经网络、所述第一检测子网以及所述第二检测子网的各项参数进行训练;其中,所述多个病灶中每一个病灶的位置由所述第一检测子网络输出。
第三方面,本申请提供了一种图像处理设备,包括处理器、显示器和存储器,所述处理器、显示器和存储器相互连接,其中,所述显示器用于显示病灶的位置以及所述位置对应的置信度,所述存储器用于存储应用程序代码,所述处理器被配置用于调用所述程序代码,执行上述第一方面的图像处理方法。
第四方面,本申请提供了一种计算机可读的存储介质,用于存储一个或多个计算机程序,上述一个或多个计算机程序包括指令,当上述计算机程序在计算机上运行时,上述指令用于执行上述第一方面的图像处理方法。
第五方面,本申请提供了一种计算机程序,该计算机程序包括图像处理指令,当该计算机程序在计算机上执行时,上述利用图像处理指令用于执行上述第一方面提供的图像处理方法。
本申请提供了一种图像处理方法、装置及设备。首先,获取包括多张采样切片的第一图像,第一图像为包括X轴维度、Y轴维度以及Z轴维度的三维图像。进而,对第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图。然后,第一特征图包括X轴维度、Y轴维度以及Z轴维度的三维图像;将第一特征图所包含的特征进行降维处理,生成第二特征图;第二特征图包括X轴维度以及Y轴维度的二维特征。最后,对第二特征图的特征进行检测,得到第二特征图中每一个病灶的特征以及位置对应的置信度。采用本申请,可准确地检测出患者体内多个部位的病灶情况,实现对患者全身范围的癌症初步评估。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种图像处理系统的网络架构示意图;
图2是本申请提供的一种图像处理方法的示意流程图;
图3是本申请提供的一种图像处理装置的示意性框图;
图4是本申请提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
具体实现中,本申请中描述的设备包括但不限于诸如具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是,在某些实施例中,所述设备并非便携式通信设备,而是具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中,描述了包括显示器和触摸敏感表面的设备。然而,应当理解的是,设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
设备支持各种应用程序,例如以下中的一个或多个:绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及设备上显示的相应信息。这样,设备的公共物理架构(例如,触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
为了更好的理解本申请,下面对本申请适用的网络架构进行描述。请参阅图1,图1是本申请提供的一种图像处理系统的示意图。如图1所示,系统10可包括:第一神经网络101、第二神经网络102、检测子网络103。
本申请实施例中,病灶指的是组织或器官遭受致病因子的作用而引起病变的部位,是机体上发生病变的部分。例如,人体肺部的某一部分被结核菌破坏,那么这一部分就是肺结核病灶。
应当说明的,第一神经网络101包括卷积层(Conv1)以及与卷积层级联的残差模块(SEResBlock)。其中,残差模块可包括:批量归一化层(Batch Normalization,BN)、ReLU激活函数以及最大池化层(Max-pooling)。
其中,第一神经网络101可用于对输入到第一神经网络101的第一图像进行在X轴维度以及Y轴维度的下采样,生成第三特征图。应当说明的,第一图像为包括X轴维度、Y轴维度以及Z轴维度的三维图像(也即是说,第一图像为多张包括由X轴维度、Y轴维度的二维图像组成的包括X轴维度、Y轴维度以及Z轴维度的三维图像),例如第一图像可为512*512*9的三维图像。
具体的,第一神经网络101通过卷积层中的卷积核生成对第一图像进行处理,生成特征图,进而,第一神经网络101通过残差模块对特定特征图进行池化,可生成分辨率比第一图像小的第三特征图。举例来说,可通过第一神经网络101将512*512*9的三维图像处理为256*256*9的三维图像,或还可通过第一神经网络101将512*512*9的三维图像处理为128*128*9的三维图像。下采样的过程可以将输入的第一图像中包含的病灶特征提取出来,剔除第一图像中一些不必要的区域。
应当说明的,本申请实施例中下采样的目的生成第一图像的缩略图,使第一图像符合显示区域的大小。本申请实施例中上采样的目的是通过在原始图像的像素之间进行内插值的方式插入新的像素实现放大原始图像。有利于小的病灶的检测。
下面例举一个例子对本申请实施例中的下采样进行简单说明。例如:对于一幅图像I的尺寸为M*N,对图像I进行S倍下采样,即可得到(M/S)*(N/S)尺寸的分辨率图像。也即是说,把原始图像I内S*S窗口内的图像变成一个像素,其中,该像素的像素值为该S*S窗口内所有像素的最大值。其中,水平方向或垂直方向滑动的步长(Stride)可为2。
第二神经网络102可包括四个堆叠的3D U-net网络。3D U-net网络的展开图如图1中所示的104。多个3D U-net网络的检测可以提升检测的准确性,本申请实施例对3D U-net网络的个数仅作举例,不作限定。其中,3D U-Net网络包括:卷积层、反卷积层、残差模块以及DenseASPP模块。
其中,第二神经网络102的残差模块可用于对第一神经网络101输出的第三特征图在X轴维度以及Y轴维度上进行下采样,生成第四特征图。
另外,第二神经网络102的残差模块还可用于对第四特征图在X轴维度以及Y轴维度上进行下采样,生成第五特征图。
接着,通过第二神经网络102的DenseASPP模块对第五特征图中不同尺度的病灶的特征进行提取。
经过DenseASPP模块处理后,生成与第五特征图的分辨率大小相同的第五预设特征图;通过所述第二神经网络102的反卷积层和所述残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第四特征图的分辨率大小相同的第四预设特征图;或者,通过所述第二神经网络102的反卷积层和残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第三特征图的分辨率大小相同的第三预设特征图。
将第三特征图与第三预设特征图融合生成与第三预设特征图的分辨率大小相同的第一特征图;将第四特征图与第四预设特征图进行融合生成与第四预设特征图的分辨率大小相同的第一特征图;以及将第五特征图与第五预设特征图进行融合生成与第五预设特征图的分辨率大小相同的第一特征图;所述第三预设特征图、所述第四预设特征图以及所述第五预设特征图分别包括病灶的位置;所述病灶的位置用于生成第一特征图中病灶的位置。
应当说明的,DenseASPP模块包括5个扩张率不同的扩张卷积组合级联,可对不同尺度的病灶的特征进行提取。其中,5个扩张率不同的扩张卷积分别为:扩张率d=3的扩张卷积、扩张率d=6的扩张卷积、扩张率d=12的扩张卷积、扩张率d=18的扩张卷积以及扩张率d=24的扩张卷积。
检测子网络103可包括:第一检测子网络以及第二检测子网络。第一检测子网络包括:多个卷积层,多个卷积层中每一个卷积层与一个ReLU激活函数相连。同理,第二检测子网络包括:多个卷积层,多个卷积层中每一个卷积层与一个ReLU激活函数相连。
第一检测子网络用于对由第一特征图进行降维后的第二特征图进行检测,检测出第二特征图中每一个病灶的位置的坐标。
具体的,通过第一检测子网络中4个级联的卷积层对输入的第二特征图进行处理,其中,每个卷积层包括一个Y*Y的卷积核,可通过先后获得每一个病灶的左上角的坐标(x1,y1)以及病灶的右下角的坐标(x2,y2),以确定出第二特征图中各个病灶的位置。
通过第二检测子网络对上述第二特征图进行检测,检测出第二特征图中每一个病灶对应的置信度。
具体的,通过第二检测子网络中4个级联的卷积层对输入的第二特征图进行处理,其中,每个卷积层包括一个Y*Y的卷积核,可通过先后获得每一个病灶的左上角的坐标(x1,y1)以及病灶的右下角的坐标(x2,y2),以确定出第二特征图中各个病灶的位置,进而,输出该位置所对应的置信度。
应当说明的,本申请实施例中的位置对应的置信度为用户对该位置为病灶的真实性相信的程度。
例如某个病灶的位置的置信度可为90%。
综上所述,从而可实现准确地检测出患者体内多个部位的病灶情况,并可实现对患者全身范围的癌症初步评估。
应当说明的,在对第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图之前,还包括以下步骤:
通过将预存的包含多个病灶标注的三维图像输入到所述第一神经网络,病灶标注用于对病灶进行标注(例如:一方面,通过框的形式将病灶标注出来,另一方面,标注出该病灶的位置的坐标);并利用梯度下降法分别对第一神经网络、第二神经网络、第一检测子网络以及第二检测子网络的各项参数进行训练;其中,多个病灶中每一个病灶的位置由第一检测子网络输出。
应当说明的,通过梯度下降法对各项参数进行训练的过程中,可通过反向传播算法对梯度下降法的梯度进行计算。
或者,
通过将预存的包含多个病灶标注的三维图像输入到第二神经网络,病灶标注用于对病灶进行标注;并利用梯度下降法分别对第二神经网络、第一检测子网络以及第二检测子网络的各项参数进行训练;其中,多个病灶中每一个病灶的位置由第一检测子网络输出。
参见图2,是本申请提供的一种图像处理方法的示意流程图。如图2所示,该方法可以至少包括以下几个步骤:
S201、获取包括多张采样切片的第一图像,第一图像为包括X轴维度、Y轴维度以及Z轴维度的三维图像。
具体的,在一种可选的实现方式中,以第一采样间隔对获取到的患者的CT图像进行重采样,生成包括多张采样切片的第一图像。其中,患者的CT图像可包括130层的断层数,每一层的断层的厚度为2.0mm,在X轴维度、Y轴维度上的第一采样间隔可为2.0mm。
本申请实施例中,患者的CT图像为关于患者的组织或器官的一个包括多个断层数的扫描序列,断层数可为130。
病灶指的是指患者的组织或器官遭受致病因子的作用而引起病变的部位,是机体上发生病变的部分。例如,人体肺部的某一部分被结核菌破坏,那么这一部分就是肺结核病灶。
应当说明的,第一图像为包括X轴维度、Y轴维度以及Z轴维度的三维图像(也即是说,第一图像为N张包括由X轴维度、Y轴维度的二维图像组成的包括X轴维度、Y轴维度以及Z轴维度的三维图像,N大于或等于2;每张二维图像为待检测组织的不同位置上的横截面图像),例如第一图像可为512*512*9的三维图像。
应当说明的,在对CT图像进行重采样之前,还包括以下步骤:
基于阈值法去除CT图像中多余的背景。
S202、对第一图像进行特征提取,生成包含病灶的特征的第一特征图;第一特征图包括所述X轴维度、Y轴维度以及Z轴维度的三维特征。
具体的,对第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图,可包括但不限于以下几种情形。
情形1:通过第一神经网络对第一图像进行下采样,生成第三特征图。
通过第二神经网络的残差模块对第三特征图进行下采样,生成第四特征图。
通过第二神经网络的DenseASPP模块对第四特征图中不同尺度的病灶的特征进行提取。
经过DenseASPP模块处理后,生成与第四特征图的分辨率大小相同的第四预设特征图,以及通过第二神经网络的反卷积层以及残差模块对经过DenseASPP模块处理后的特征图进行上采样,生成与第三特征图的分辨率大小相同的第三预设特征图。
将第三特征图与第三预设特征图生成与第三预设特征图的分辨率大小相同的第一特征图,以及将第四特征图与第四预设特征图进行融合生成与第四预设特征图的分辨率大小相同的第一特征图;第三预设特征图及第四预设特征图分别包括病灶的位置;病灶的位置用于生成第一特征图中病灶的位置。
情形2:通过第二神经网络的残差模块对第一图像进行下采样,生成第四特征图。
通过第二神经网络的DenseASPP模块对第四特征图中不同尺度的病灶的特征进行提取。
经过DenseASPP模块处理后,通过第二神经网络的反卷积层以及残差模块对经过DenseASPP模块处理后的特征图进行上采样,生成与第一图像分辨率大小相同的第一预设特征图。
将所述第一图像与第一预设特征图生成与第一预设特征图的分辨率大小相同的第一特征图;第一预设特征图包括病灶的位置;病灶的位置用于生成第一特征图中病灶的位置。
情形3:通过第一神经网络对第一图像进行下采样,生成第三特征图。
通过第二神经网络的残差模块对第三特征图进行下采样,生成第四特征图。
通过第二神经网络的残差模块对第四特征图进行下采样,生成第五特征图。
通过第二神经网络的DenseASPP模块对第五特征图中不同尺度的病灶的特征进行提取。
经过DenseASPP模块处理后,生成与第五特征图的分辨率大小相同的第五预设特征图;通过第二神经网络的反卷积层和残差模块对经过DenseASPP模块处理后的特征图进行上采样,生成与第四特征图的分辨率大小相同的第四预设特征图;或者,通过第二神经网络的反卷积层和残差模块对经过DenseASPP模块处理后的特征图进行上采样,生成与第三特征图的分辨率大小相同的第三预设特征图。
将第三特征图与第三预设特征图生成与第三预设特征图的分辨率大小相同的第一特征图;将第四特征图与第四预设特征图进行融合生成与第四预设特征图的分辨率大小相同的第一特征图;以及将第五特征图与第五预设特征图进行融合生成与第五预设特征图的分辨率大小相同的第一特征图;所述第三预设特征图、所述第四预设特征图以及所述第五预设特征图分别包括病灶的位置;所述病灶的位置用于生成第一特征图中病灶的位置。
应当说明的,第一神经网络,包括:卷积层以及与卷积层相级联的残差模块;
第二神经网络,包括:3D U-Net网络;其中,3D U-Net网络包括:卷积层、反卷积层、残差模块以及DenseASPP模块。
其中,残差模块可包括:卷积层、批量归一化层(BN层)、ReLU激活函数以及最大池化层。
可选的,第二神经网络为堆叠的多个3D U-Net网络。如果第二神经网络为堆叠的多个3D U-Net网络,则可提高图像处理系统的稳定性以及检测的准确性,本申请实施例对3D U-net网络的个数不做限制。
S203、将第一特征图所包含的特征进行降维处理,生成第二特征图;第二特征图包括X轴维度以及Y轴维度的二维特征。
具体的,分别将第一特征图的所有特征中每一个特征的通道维度和Z轴维度进行合并,使得第一特征图的所有特征中每一个特征的维度由X轴维度以及Y轴维度组成;所有特征中每一个特征的维度由X轴维度以及Y轴维度组成的第一特征图为第二特征图。第二特征图是三维的特征图,而输出至检测子网络103进行检测时,需转换为二维,因此需要对第二特征图进行降维。
应当说明的,上述某个特征的通道表示某个特征的分布数据。
S204、对第二特征图的特征进行检测,将检测到的第二特征图中每一个病灶的特征以及位置对应的置信度进行显示。
具体的,通过第一检测子网络对第二特征图进行检测,检测出第二特征图中每一个病灶的位置的坐标。
更具体的,通过第一检测子网络中多个级联的卷积层对输入的第二特征图进行处理,其中,每个卷积层包括一个Y*Y的卷积核,可通过先后获得每一个病灶的左上角的坐标(x1,y1)以及病灶的右下角的坐标(x2,y2),以确定出第二特征图中各个病灶的位置。
通过第二检测子网络对所述第二特征图进行检测,检测出所述第二特征图中每一个病灶对应的置信度。
更具体的,通过第二检测子网络中多个级联的卷积层对输入的第二特征图进行处理,其中,每个卷积层包括一个Y*Y的卷积核,可通过先后获得每一个病灶的左上角的坐标(x1,y1)以及病灶的右下角的坐标(x2,y2),以确定出第二特征图中各个病灶的位置,进而,输出该位置所对应的置信度。
综上可知,本申请实施例可准确地检测出患者体内多个部位的病灶情况,实现对患者全身范围的癌症初步评估。
应当说明的,在对第一图像进行特征提取,生成包含病灶的特征的第一特征图之前,还包括以下步骤:
通过将预存的包含多个病灶标注的三维图像输入到第一神经网络,病灶标注用于对病灶进行标注;并利用梯度下降法分别对第一神经网络、第二神经网络、第一检测子网络以及第二检测子网络的各项参数进行训练;其中,多个病灶中每一个病灶的位置由第一检测子网络输出。
或者,
通过将包含多个病灶标注的三维图像输入到第二神经网络,病灶标注用于对病灶进行标注;并利用梯度下降法分别对第二神经网络、第一检测子网络以及第二检测子网络的各项参数进行训练;其中,多个病灶中每一个病灶的位置由第一检测子网络输出。
综上所述,本申请中,首先,获取包括多张采样切片的第一图像,第一图像为包括X轴维度、Y轴维度以及Z轴维度的三维图像。进而,对第一图像进行特征提取,生成包含病灶的特征的第一特征图。然后,第一特征图包括X轴维度、Y轴维度以及Z轴维度的三维特征;将第一特征图所包含的特征进行降维处理,生成第二特征图;第二特征图包括X轴维度以及Y轴维度的二维特征。最后,对第二特征图的特征进行检测,得到第二特征图中每一个病灶的位置以及位置对应的置信度。通过采用本申请实施例,可准确地检测出患者体内多个部位的病灶情况,实现对患者全身范围的癌症初步评估。
可理解的,图2方法实施例中未提供的相关定义和说明可参考图1的实施例,此处不再赘述。
参见图3,是本申请提供的一种图像处理装置。如图3所示,图像处理装置30包括:获取单元301、第一生成单元302、第二生成单元303以及检测单元304。其中:
获取单元301,用于获取包括多张采样切片的第一图像,第一图像为包括X轴维度、Y轴维度以及Z轴维度的三维图像。
第一生成单元302,用于对第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图;第一特征图包括X轴维度、Y轴维度以及Z轴维度的三维特征。
第二生成单元303,用于将第一特征图所包含的特征进行降维处理,生成第二特征图;第二特征图包括X轴维度以及Y轴维度的二维特征。
检测单元304,用于对第二特征图进行检测,得到第二特征图中每一个病灶的位置以及位置对应的置信度。
获取单元302,具体用于:
以第一采样间隔对获取到的患者的CT图像进行重采样,生成包括多张采样切片的第一图像。
第一生成单元303,具体可用于以下三种情况:
情况1:通过第一神经网络对第一图像进行下采样,生成第三特征图。
通过第二神经网络的残差模块对第三特征图进行下采样,生成第四特征图。
通过第二神经网络的DenseASPP模块对第四特征图中不同尺度的病灶的特征进行提取。
经过DenseASPP模块处理后,生成与第四特征图的分辨率大小相同的第四预设特征图,以及通过第二神经网络的反卷积层以及残差模块对经过DenseASPP模块处理后的特征图进行上采样,生成与第三特征图的分辨率大小相同的第三预设特征图。
将第三特征图与第三预设特征图生成与第三预设特征图的分辨率大小相同的第一特征图,以及将第四特征图与第四预设特征图进行融合生成与第四预设特征图的分辨率大小相同的第一特征图;第三预设特征图及第四预设特征图分别包括病灶的位置;病灶的位置用于生成第一特征图中病灶的位置。
情况2:通过第二神经网络的残差模块对所述第一图像进行下采样,生成第四特征图;
通过第二神经网络的DenseASPP模块对第四特征图中不同尺度的病灶的特征进行提取。
经过DenseASPP模块处理后,通过第二神经网络的反卷积层以及残差模块对经过DenseASPP模块处理后的特征图进行上采样,生成与第一图像分辨率大小相同的第一预设特征图。
将第一图像与第一预设特征图生成与第一预设特征图的分辨率大小相同的第一特征图;第一预设特征图包括病灶的位置;病灶的位置用于生成第一特征图中病灶的位置。
情况3:通过第一神经网络对所述第一图像进行下采样,生成第三特征图。
通过第二神经网络的残差模块对第三特征图进行下采样,生成第四特征图。
通过第二神经网络的残差模块对第四特征图进行下采样,生成第五特征图。
通过第二神经网络的DenseASPP模块对第五特征图中不同尺度的病灶的特征进行提取。
经过DenseASPP模块处理后,生成与第五特征图的分辨率大小相同的第五预设特征图;通过第二神经网络的反卷积层和残差模块对经过DenseASPP模块处理后的特征图进行上采样,生成与第四特征图的分辨率大小相同的第四预设特征图;或者,通过第二神经网络的反卷积层和残差模块对经过DenseASPP模块处理后的特征图进行上采样,生成与第三特征图的分辨率大小相同的第三预设特征图。
将第三特征图与第三预设特征图生成与第三预设特征图的分辨率大小相同的第一特征图;将第四特征图与第四预设特征图进行融合生成与第四预设特征图的分辨率大小相同的第一特征图;以及将第五特征图与第五预设特征图进行融合生成与第五预设特征图的分辨率大小相同的第一特征图;第三预设特征图、第四预设特征图以及第五预设特征图分别包括病灶的位置;病灶的位置用于生成第一特征图中病灶的位置。
应当说明的,第一神经网络,包括:卷积层以及与卷积层相级联的残差模块;
第二神经网络,包括:3D U-Net网络;其中,3D U-Net网络可包括:卷积层、反卷积层、残差模块以及DenseASPP模块。
可选的,第二神经网络可包括堆叠的多个3D U-Net网络。多个3D U-net网络的检测可以提升检测的准确性,本申请实施例对3D U-net网络的个数仅作举例。
应当说明的,残差模块可包括:卷积层、批量归一化层(BN层)、ReLU激活函数以及最大池化层。
第三特征单元304,具体用于:分别将第一特征图的所有特征中每一个特征的通道维度和Z轴维度进行合并,使得第一特征图的所有特征中每一个特征的维度由X轴维度以及Y轴维度组成;所有特征中每一个特征的维度由X轴维度以及Y轴维度组成的第一特征图为第二特征图。
检测单元305,具体用于:
通过第一检测子网络对第二特征图进行检测,检测出第二特征图中每一个病灶的位置的坐标。
通过第二检测子网络对第二特征图进行检测,检测出第二特征图中每一个病灶对应的置信度。
应当说明的,第一检测子网络包括:多个卷积层,多个卷积层中每一个卷积层与一个ReLU激活函数相连。
第二检测子网络包括:多个卷积层,多个卷积层中每一个卷积层与一个ReLU激活函数相连。
图像处理装置30包括:获取单元301、第一生成单元302、第二生成单元303以及检测单元304之外,还包括:显示单元。
显示单元,具体用于对检测单元304检测到的病灶的位置以及位置的置信度进行显示。
图像处理装置30包括:获取单元301、第一生成单元302、第二生成单元303以及检测单元304之外,还包括:训练单元。
训练单元,具体用于:
在第一生成单元对所述第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图之前,通过将预存的包含多个病灶标注的三维图像输入到第一神经网络,病灶标注用于对病灶进行标注;并利用梯度下降法分别对第一神经网络、第二神经网络、第一检测子网络以及第二检测子网络的各项参数进行训练;其中,多个病灶中每一个病灶的位置由第一检测子网络输出。
或者,
在第一生成单元对所述第一图像进行特征提取,生成包含病灶的特征和位置的第一特征图之前,通过将包含多个病灶标注的三维图像输入到第二神经网络,病灶标注用于对病灶进行标注;并利用梯度下降法分别对第二神经网络、第一检测子网以及第二检测子网的各项参数进行训练。
应当理解,图像处理装置30仅为本申请实施例提供的一个例子,并且,图像处理装置30可具有比示出的部件更多或更少的部件,可以组合两个或更多个部件,或者可具有部件的不同配置实现。
可理解的,关于图3的图像处理装置30包括的功能块的具体实现方式,可参考前述图2所述的方法实施例,这里不再赘述。
图4是本申请提供的一种图像处理设备的结构示意图。本申请实施例中,图像处理设备可以包括移动手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、移动互联网设备(Mobile Internet Device,MID)、智能穿戴设备(如智能手表、智能手环)等各种设备,本申请实施例不作限定。如图4所示,图像处理设备40可包括:基带芯片401、存储器402(一个或多个计算机可读存储介质)、外围系统403。这些部件可在一个或多个通信总线404上通信。
基带芯片401包括:一个或多个处理器(CPU)405、一个或多个图形处理器(GPU)406。其中,图形处理器406可用于对输入的法线贴图进行处理。
存储器402与处理器405耦合,可用于存储各种软件程序和/或多组指令。具体实现中,存储器402可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器402可以存储操作系统(下述简称系统),例如ANDROID,IOS,WINDOWS,或者LINUX等嵌入式操作系统。存储器402还可以存储网络通信程序,该网络通信程序可用于与一个或多个附加设备,一个或多个设备,一个或多个网络设备进行通信。存储器402还可以存储用户接口程序,该用户接口程序可以通过图形化的操作界面将应用程序的内容形象逼真的显示出来,并通过菜单、对话框以及按键等输入控件接收用户对应用程序的控制操作。
可理解的,存储器402可用于存储实现图像处理方法的程序代码。
可理解的,处理器405可用于调用存储于存储器402的执行图像处理方法的程序代码。
存储器402还可以存储一个或多个应用程序。如图4所示,这些应用程序可包括:社交应用程序(例如Facebook),图像管理应用程序(例如相册),地图类应用程序(例如谷歌地图),浏览器(例如Safari,Google Chrome)等等。
外围系统403主要用于实现图像处理设备40和用户/外部环境之间的交互功能,主要包括图像处理设备40的输入输出设备。具体实现中,外围系统403可包括:显示屏控制器407、摄像头控制器408、鼠标-键盘控制器409以及音频控制器410。其中,各个控制器可与各自对应的外围设备(如显示屏411、摄像头412、鼠标-键盘413以及音频电路414)耦合。在一些实施例中,显示屏可以配置有自电容式的悬浮触控面板的显示屏,也可以是配置有红外线式的悬浮触控面板的显示屏。在一些实施例中,摄像头412可以是3D摄像头。需要说明的,外围系统403还可以包括其他I/O外设。
可理解的,显示屏411可用于对检测到的病灶的位置和位置的置信度进行显示。
应当理解,图像处理设备40仅为本申请实施例提供的一个例子,并且,图像处理设备40可具有比示出的部件更多或更少的部件,可以组合两个或更多个部件,或者可具有部件的不同配置实现。
可理解的,关于图4的图像处理设备40包括的功能模块的具体实现方式,可参考图2的方法实施例,此处不再赘述。
本申请提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现。
该计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元,例如设备的硬盘或内存。该计算机可读存储介质也可以是设备的外部存储设备,例如设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步的,该计算机可读存储介质还可以既包括设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储计算机程序以及设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请还提供一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,该计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,该计算机包括电子装置。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
上述描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、设备或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,目标区块链节点设备,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (22)
1.一种图像处理方法,其特征在于,包括:
以第一采样间隔对获取到的患者的CT图像进行重采样,生成包括多张采样切片的第一图像,所述第一图像为包括X轴维度、Y轴维度以及Z轴维度的三维图像;
通过第一神经网络对所述第一图像进行下采样,生成第三特征图;
通过第二神经网络的残差模块对所述第三特征图进行下采样,生成第四特征图;
通过所述第二神经网络的残差模块对所述第四特征图进行下采样,生成比所述第四特征图的分辨率小的第五特征图;
通过所述第二神经网络的DenseASPP模块对所述第五特征图中不同尺度的病灶的特征进行提取;
经过所述DenseASPP模块处理后,生成与所述第五特征图的分辨率大小相同的第五预设特征图;通过所述第二神经网络的反卷积层和所述残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第四特征图的分辨率大小相同的第四预设特征图;或者,通过所述第二神经网络的反卷积层和残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第三特征图的分辨率大小相同的第三预设特征图;
将所述第三特征图与所述第三预设特征图生成与所述第三预设特征图的分辨率大小相同的第一特征图;将所述第四特征图与所述第四预设特征图进行融合生成与所述第四预设特征图的分辨率大小相同的第一特征图;以及将所述第五特征图与所述第五预设特征图进行融合生成与所述第五预设特征图的分辨率大小相同的第一特征图;所述第三预设特征图、所述第四预设特征图以及所述第五预设特征图分别包括病灶的位置;所述病灶的位置用于生成第一特征图中病灶的位置;所述第一特征图包括所述X轴维度、Y轴维度以及Z轴维度的三维特征;
将所述第一特征图所包含的特征进行降维处理,生成第二特征图;所述第二特征图包括所述X轴维度以及所述Y轴维度的二维特征;
对所述第二特征图进行检测,得到所述第二特征图中每一个病灶的位置以及所述位置对应的置信度。
2.如权利要求1所述的方法,其特征在于,
所述第一神经网络,包括:卷积层以及与所述卷积层相级联的残差模块;
所述第二神经网络,包括:3D U-Net网络,所述3D U-Net网络包括:卷积层、反卷积层、残差模块以及所述DenseASPP模块。
3.如权利要求2所述的方法,其特征在于:
所述第二神经网络为堆叠的多个3D U-Net网络。
4.如权利要求2所述的方法,其特征在于:
所述残差模块包括:卷积层、批量归一化层、ReLU激活函数以及最大池化层。
5.如权利要求1所述的方法,其特征在于,
所述将所述第一特征图所包含的特征进行降维处理,生成第二特征图,包括:
分别将所述第一特征图的所有特征中每一个特征的通道维度和Z轴维度进行合并,使得所述第一特征图的所有特征中每一个特征的维度由X轴维度以及Y轴维度组成;所述所有特征中每一个特征的维度由X轴维度以及Y轴维度组成的第一特征图为所述第二特征图。
6.如权利要求1所述的方法,其特征在于,所述对所述第二特征图进行检测,包括:
通过第一检测子网络对所述第二特征图进行检测,检测出所述第二特征图中每一个病灶的位置的坐标;
通过第二检测子网络对所述第二特征图进行检测,检测出所述第二特征图中每一个病灶对应的置信度。
7.如权利要求6所述的方法,其特征在于,
所述第一检测子网络包括:多个卷积层,所述多个卷积层中每一个卷积层与一个ReLU激活函数相连;
所述第二检测子网络包括:多个卷积层,所述多个卷积层中每一个卷积层与一个ReLU激活函数相连。
8.如权利要求6或7所述的方法,其特征在于,
所述通过第一神经网络对所述第一图像进行下采样,生成第三特征图之前,还包括:
通过将预存的包含多个病灶标注的三维图像输入到所述第一神经网络,所述病灶标注用于对病灶进行标注;并利用梯度下降法分别对所述第一神经网络、所述第二神经网络、所述第一检测子网络以及所述第二检测子网络的各项参数进行训练;其中,所述多个病灶中每一个病灶的位置由所述第一检测子网络输出。
9.如权利要求6或7所述的方法,其特征在于,
所述通过第一神经网络对所述第一图像进行下采样,生成第三特征图之前,还包括:
通过将包含多个病灶标注的三维图像输入到所述第二神经网络,所述病灶标注用于对病灶进行标注;并利用梯度下降法分别对所述第二神经网络、所述第一检测子网以及所述第二检测子网的各项参数进行训练;其中,所述多个病灶中每一个病灶的位置由所述第一检测子网络输出。
10.根据权利要求8所述的方法,其特征在于,所述通过第一神经网络对所述第一图像进行下采样,生成第三特征图之前,还包括:
通过将包含多个病灶标注的三维图像输入到所述第二神经网络,所述病灶标注用于对病灶进行标注;并利用梯度下降法分别对所述第二神经网络、所述第一检测子网以及所述第二检测子网的各项参数进行训练;其中,所述多个病灶中每一个病灶的位置由所述第一检测子网络输出。
11.一种图像处理装置,其特征在于,包括:
获取单元,用于以第一采样间隔对获取到的患者的CT图像进行重采样,生成包括多张采样切片的第一图像,所述第一图像为包括X轴维度、Y轴维度以及Z轴维度的三维图像;
第一生成单元,用于通过第一神经网络对所述第一图像进行下采样,生成第三特征图;
通过第二神经网络的残差模块对所述第三特征图进行下采样,生成第四特征图;
通过所述第二神经网络的残差模块对所述第四特征图进行下采样,生成比所述第四特征图的分辨率小的第五特征图;
通过所述第二神经网络的DenseASPP模块对所述第五特征图中不同尺度的病灶的特征进行提取;
经过所述DenseASPP模块处理后,生成与所述第五特征图的分辨率大小相同的第五预设特征图;通过所述第二神经网络的反卷积层和所述残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第四特征图的分辨率大小相同的第四预设特征图;或者,通过所述第二神经网络的反卷积层和残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述第三特征图的分辨率大小相同的第三预设特征图;
将所述第三特征图与所述第三预设特征图生成与所述第三预设特征图的分辨率大小相同的第一特征图;将所述第四特征图与所述第四预设特征图进行融合生成与所述第四预设特征图的分辨率大小相同的第一特征图;以及将所述第五特征图与所述第五预设特征图进行融合生成与所述第五预设特征图的分辨率大小相同的第一特征图;所述第三预设特征图、所述第四预设特征图以及所述第五预设特征图分别包括病灶的位置;所述病灶的位置用于生成第一特征图中病灶的位置;所述第一特征图包括所述X轴维度、Y轴维度以及Z轴维度的三维特征;
第二生成单元,用于将所述第一特征图所包含的特征进行降维处理,生成第二特征图;所述第二特征图包括X轴维度以及Y轴维度的二维特征;
检测单元,用于对所述第二特征图进行检测,得到所述第二特征图中每一个病灶的位置以及所述位置对应的置信度。
12.如权利要求11所述的装置,其特征在于,
所述第一神经网络,包括:卷积层以及与所述卷积层相级联的残差模块;
所述第二神经网络,包括:3D U-Net网络,所述3D U-Net网络包括:卷积层、反卷积层、残差模块以及所述DenseASPP模块。
13.如权利要求12所述的装置,其特征在于,
所述第二神经网络为堆叠的多个3D U-Net网络。
14.如权利要求12所述的装置,其特征在于,
所述残差模块包括:卷积层、批量归一化层、ReLU激活函数以及最大池化层。
15.如权利要求11所述的装置,其特征在于,
所述第二生成单元,具体用于:分别将所述第一特征图的所有特征中每一个特征的通道维度和Z轴维度进行合并,使得所述第一特征图的所有特征中每一个特征的维度由X轴维度以及Y轴维度组成;所述所有特征中每一个特征的维度由X轴维度以及Y轴维度组成的第一特征图为所述第二特征图。
16.如权利要求11所述的装置,其特征在于,
所述检测单元,具体用于:
通过第一检测子网络对所述第二特征图进行检测,以检测出所述第二特征图中每一个病灶的位置的坐标;
通过第二检测子网络对所述第二特征图进行检测,以检测出所述第二特征图中每一个病灶对应的置信度。
17.如权利要求16所述的装置,其特征在于,
所述第一检测子网络包括:多个卷积层,所述多个卷积层中每一个卷积层与一个ReLU激活函数相连;
所述第二检测子网络包括:多个卷积层,所述多个卷积层中每一个卷积层与一个ReLU激活函数相连。
18.如权利要求16或17所述的装置,其特征在于,还包括:
训练单元,具体用于:
在所述第一生成单元通过第一神经网络对所述第一图像进行下采样,生成第三特征图之前,通过将预存的包含多个病灶标注的三维图像输入到所述第一神经网络,病灶标注用于对病灶进行标注;并利用梯度下降法分别对所述第一神经网络、所述第二神经网络、所述第一检测子网络以及所述第二检测子网络的各项参数进行训练;其中,所述多个病灶中每一个病灶的位置由所述第一检测子网络输出。
19.如权利要求16或17所述的装置,其特征在于,还包括:
训练单元,具体用于:
在所述第一生成单元通过第一神经网络对所述第一图像进行下采样,生成第三特征图之前,通过将包含多个病灶标注的三维图像输入到所述第二神经网络,所述病灶标注用于对病灶进行标注;并利用梯度下降法分别对所述第二神经网络、所述第一检测子网以及所述第二检测子网的各项参数进行训练;其中,所述多个病灶中每一个病灶的位置由所述第一检测子网络输出。
20.根据权利要求18所述的装置,其特征在于,还包括:
训练单元,具体用于:
在所述第一生成单元通过第一神经网络对所述第一图像进行下采样,生成第三特征图之前,通过将包含多个病灶标注的三维图像输入到所述第二神经网络,所述病灶标注用于对病灶进行标注;并利用梯度下降法分别对所述第二神经网络、所述第一检测子网以及所述第二检测子网的各项参数进行训练;其中,所述多个病灶中每一个病灶的位置由所述第一检测子网络输出。
21.一种图像处理设备,其特征在于,包括:显示器、存储器以及耦合于所述存储器的处理器,其中,所述显示器用于显示病灶的位置以及所述位置对应的置信度,所述存储器用于存储应用程序代码,所述处理器被配置用于调用所述程序代码,执行如权利要求1-10任一项所述的图像处理方法。
22.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-10任一项所述的图像处理方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811500631.4A CN109754389B (zh) | 2018-12-07 | 2018-12-07 | 一种图像处理方法、装置及设备 |
CN202010071412.XA CN111292301A (zh) | 2018-12-07 | 2018-12-07 | 一种病灶检测方法、装置、设备及存储介质 |
JP2021500548A JP7061225B2 (ja) | 2018-12-07 | 2019-10-30 | 病巣検出方法、装置、機器および記憶媒体 |
KR1020207038088A KR20210015972A (ko) | 2018-12-07 | 2019-10-30 | 병소 검출 방법, 장치, 기기 및 기억 매체 |
PCT/CN2019/114452 WO2020114158A1 (zh) | 2018-12-07 | 2019-10-30 | 一种病灶检测方法、装置、设备及存储介质 |
SG11202013074SA SG11202013074SA (en) | 2018-12-07 | 2019-10-30 | Method, apparatus and device for detecting lesion, and storage medium |
TW108144288A TWI724669B (zh) | 2018-12-07 | 2019-12-04 | 病灶檢測方法及其裝置及其設備及儲存媒體 |
US17/134,771 US20210113172A1 (en) | 2018-12-07 | 2020-12-28 | Lesion Detection Method, Apparatus and Device, and Storage Medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811500631.4A CN109754389B (zh) | 2018-12-07 | 2018-12-07 | 一种图像处理方法、装置及设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010071412.XA Division CN111292301A (zh) | 2018-12-07 | 2018-12-07 | 一种病灶检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109754389A CN109754389A (zh) | 2019-05-14 |
CN109754389B true CN109754389B (zh) | 2021-08-24 |
Family
ID=66402643
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010071412.XA Pending CN111292301A (zh) | 2018-12-07 | 2018-12-07 | 一种病灶检测方法、装置、设备及存储介质 |
CN201811500631.4A Active CN109754389B (zh) | 2018-12-07 | 2018-12-07 | 一种图像处理方法、装置及设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010071412.XA Pending CN111292301A (zh) | 2018-12-07 | 2018-12-07 | 一种病灶检测方法、装置、设备及存储介质 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210113172A1 (zh) |
JP (1) | JP7061225B2 (zh) |
KR (1) | KR20210015972A (zh) |
CN (2) | CN111292301A (zh) |
SG (1) | SG11202013074SA (zh) |
TW (1) | TWI724669B (zh) |
WO (1) | WO2020114158A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292301A (zh) * | 2018-12-07 | 2020-06-16 | 北京市商汤科技开发有限公司 | 一种病灶检测方法、装置、设备及存储介质 |
CN110175993A (zh) * | 2019-05-27 | 2019-08-27 | 西安交通大学医学院第一附属医院 | 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法 |
CA3143172A1 (en) | 2019-06-12 | 2020-12-17 | Carnegie Mellon University | Deep-learning models for image processing |
CN110533637B (zh) * | 2019-08-02 | 2022-02-11 | 杭州依图医疗技术有限公司 | 一种检测对象的方法及装置 |
CN110580948A (zh) * | 2019-09-12 | 2019-12-17 | 杭州依图医疗技术有限公司 | 医学影像的显示方法及显示设备 |
CN111402252B (zh) * | 2020-04-02 | 2021-01-15 | 和宇健康科技股份有限公司 | 精准医疗图像分析方法及机器人手术系统 |
CN111816281B (zh) * | 2020-06-23 | 2024-05-14 | 无锡祥生医疗科技股份有限公司 | 超声影像查询装置 |
CN112116562A (zh) * | 2020-08-26 | 2020-12-22 | 重庆市中迪医疗信息科技股份有限公司 | 基于肺部影像数据检测病灶的方法、装置、设备及介质 |
CN112258564B (zh) * | 2020-10-20 | 2022-02-08 | 推想医疗科技股份有限公司 | 生成融合特征集合的方法及装置 |
CN112017185B (zh) * | 2020-10-30 | 2021-02-05 | 平安科技(深圳)有限公司 | 病灶分割方法、装置及存储介质 |
US11830622B2 (en) * | 2021-06-11 | 2023-11-28 | International Business Machines Corporation | Processing multimodal images of tissue for medical evaluation |
CN114943717B (zh) * | 2022-05-31 | 2023-04-07 | 北京医准智能科技有限公司 | 一种乳腺病灶检测方法、装置、电子设备及可读存储介质 |
CN115170510B (zh) * | 2022-07-04 | 2023-04-07 | 北京医准智能科技有限公司 | 一种病灶检测方法、装置、电子设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108257674A (zh) * | 2018-01-24 | 2018-07-06 | 龙马智芯(珠海横琴)科技有限公司 | 疾病预测方法和装置、设备、计算机可读存储介质 |
CN108717569A (zh) * | 2018-05-16 | 2018-10-30 | 中国人民解放军陆军工程大学 | 一种膨胀全卷积神经网络及其构建方法 |
CN108764241A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技(深圳)有限公司 | 分割股骨近端的方法、装置、计算机设备和存储介质 |
CN108852268A (zh) * | 2018-04-23 | 2018-11-23 | 浙江大学 | 一种消化内镜图像异常特征实时标记系统及方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5974108A (en) * | 1995-12-25 | 1999-10-26 | Kabushiki Kaisha Toshiba | X-ray CT scanning apparatus |
US7747057B2 (en) * | 2006-05-26 | 2010-06-29 | General Electric Company | Methods and apparatus for BIS correction |
US9208556B2 (en) * | 2010-11-26 | 2015-12-08 | Quantitative Insights, Inc. | Method, system, software and medium for advanced intelligent image analysis and display of medical images and information |
US10238368B2 (en) * | 2013-09-21 | 2019-03-26 | General Electric Company | Method and system for lesion detection in ultrasound images |
WO2016054779A1 (en) * | 2014-10-09 | 2016-04-14 | Microsoft Technology Licensing, Llc | Spatial pyramid pooling networks for image processing |
US10282663B2 (en) * | 2015-08-15 | 2019-05-07 | Salesforce.Com, Inc. | Three-dimensional (3D) convolution with 3D batch normalization |
JP6849966B2 (ja) * | 2016-11-21 | 2021-03-31 | 東芝エネルギーシステムズ株式会社 | 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、動体追跡装置および放射線治療システム |
KR101879207B1 (ko) * | 2016-11-22 | 2018-07-17 | 주식회사 루닛 | 약한 지도 학습 방식의 객체 인식 방법 및 장치 |
CN106780460B (zh) * | 2016-12-13 | 2019-11-08 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测系统 |
JP7054787B2 (ja) * | 2016-12-22 | 2022-04-15 | パナソニックIpマネジメント株式会社 | 制御方法、情報端末、及びプログラム |
CN108022238B (zh) * | 2017-08-09 | 2020-07-03 | 深圳科亚医疗科技有限公司 | 对3d图像中对象进行检测的方法、计算机存储介质和系统 |
CN108171709A (zh) * | 2018-01-30 | 2018-06-15 | 北京青燕祥云科技有限公司 | 肝占位性病灶区域的检测方法、装置和实现装置 |
CN108447046B (zh) * | 2018-02-05 | 2019-07-26 | 龙马智芯(珠海横琴)科技有限公司 | 病灶的检测方法和装置、计算机可读存储介质 |
CN111292301A (zh) * | 2018-12-07 | 2020-06-16 | 北京市商汤科技开发有限公司 | 一种病灶检测方法、装置、设备及存储介质 |
-
2018
- 2018-12-07 CN CN202010071412.XA patent/CN111292301A/zh active Pending
- 2018-12-07 CN CN201811500631.4A patent/CN109754389B/zh active Active
-
2019
- 2019-10-30 WO PCT/CN2019/114452 patent/WO2020114158A1/zh active Application Filing
- 2019-10-30 KR KR1020207038088A patent/KR20210015972A/ko active Search and Examination
- 2019-10-30 SG SG11202013074SA patent/SG11202013074SA/en unknown
- 2019-10-30 JP JP2021500548A patent/JP7061225B2/ja active Active
- 2019-12-04 TW TW108144288A patent/TWI724669B/zh active
-
2020
- 2020-12-28 US US17/134,771 patent/US20210113172A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108257674A (zh) * | 2018-01-24 | 2018-07-06 | 龙马智芯(珠海横琴)科技有限公司 | 疾病预测方法和装置、设备、计算机可读存储介质 |
CN108764241A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技(深圳)有限公司 | 分割股骨近端的方法、装置、计算机设备和存储介质 |
CN108852268A (zh) * | 2018-04-23 | 2018-11-23 | 浙江大学 | 一种消化内镜图像异常特征实时标记系统及方法 |
CN108717569A (zh) * | 2018-05-16 | 2018-10-30 | 中国人民解放军陆军工程大学 | 一种膨胀全卷积神经网络及其构建方法 |
Non-Patent Citations (3)
Title |
---|
"3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation";Ahmed Abdulkadir 等;《arXiv:1606.06650v1》;20160621;第1-8页 * |
"V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation";Fausto Milletari 等;《arXiv:1606.04797v1》;20160615;第1-11页 * |
"语义分割—(DenseASPP)DenseASPP for Semantic Semantic Segmentation in Street Scenes";DFann;《https://blog.csdn.net/u011974639/article/details/80844304》;20180628;全文 * |
Also Published As
Publication number | Publication date |
---|---|
JP7061225B2 (ja) | 2022-04-27 |
WO2020114158A1 (zh) | 2020-06-11 |
KR20210015972A (ko) | 2021-02-10 |
SG11202013074SA (en) | 2021-01-28 |
US20210113172A1 (en) | 2021-04-22 |
TW202032579A (zh) | 2020-09-01 |
TWI724669B (zh) | 2021-04-11 |
JP2021531565A (ja) | 2021-11-18 |
CN111292301A (zh) | 2020-06-16 |
CN109754389A (zh) | 2019-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109754389B (zh) | 一种图像处理方法、装置及设备 | |
JP7085062B2 (ja) | 画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム | |
US10242490B2 (en) | Displaying system for displaying digital breast tomosynthesis data | |
TWI713054B (zh) | 圖像分割方法及裝置、電子設備和儲存媒體 | |
CN110348543B (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
KR102529120B1 (ko) | 영상을 획득하는 방법, 디바이스 및 기록매체 | |
Andriole et al. | Optimizing analysis, visualization, and navigation of large image data sets: one 5000-section CT scan can ruin your whole day | |
WO2022151755A1 (zh) | 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序 | |
US11900266B2 (en) | Database systems and interactive user interfaces for dynamic conversational interactions | |
CN113939844B (zh) | 检测组织病变的方法、装置和介质 | |
CN110276408B (zh) | 3d图像的分类方法、装置、设备及存储介质 | |
CN107194163A (zh) | 一种显示方法和系统 | |
US20210407637A1 (en) | Method to display lesion readings result | |
CN107480673B (zh) | 确定医学图像中感兴趣区域的方法、装置及图像编辑系统 | |
JP2019536505A (ja) | コンテキスト依存拡大鏡 | |
EP3843038B1 (en) | Image processing method and system | |
CN112967279A (zh) | 一种检测肺结节的方法、装置、存储介质和电子设备 | |
WO2018209515A1 (zh) | 显示系统及方法 | |
JPWO2005104953A1 (ja) | 画像診断支援装置及びその方法 | |
KR20240033342A (ko) | 의료데이터 컴퓨팅 시스템 및 방법 | |
CN113077440A (zh) | 病理图像的处理方法、装置、计算机设备和存储介质 | |
JP7151464B2 (ja) | 肺画像処理プログラム、肺画像処理方法および肺画像処理システム | |
CN114972007A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
WO2020093987A1 (zh) | 医学图像处理方法、系统、计算机设备以及可读存储介质 | |
CN111028173A (zh) | 图像增强方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |