CN109461495B - 一种医学图像的识别方法、模型训练的方法及服务器 - Google Patents
一种医学图像的识别方法、模型训练的方法及服务器 Download PDFInfo
- Publication number
- CN109461495B CN109461495B CN201811296263.6A CN201811296263A CN109461495B CN 109461495 B CN109461495 B CN 109461495B CN 201811296263 A CN201811296263 A CN 201811296263A CN 109461495 B CN109461495 B CN 109461495B
- Authority
- CN
- China
- Prior art keywords
- medical image
- identified
- region
- sample
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000012545 processing Methods 0.000 claims description 97
- 238000002372 labelling Methods 0.000 claims description 92
- 238000001514 detection method Methods 0.000 claims description 48
- 238000010606 normalization Methods 0.000 claims description 40
- 238000012795 verification Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 23
- 238000003706 image smoothing Methods 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 21
- 238000010200 validation analysis Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 13
- 210000004072 lung Anatomy 0.000 description 98
- 238000002591 computed tomography Methods 0.000 description 42
- 238000001914 filtration Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 26
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000009466 transformation Effects 0.000 description 11
- 230000002146 bilateral effect Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 206010014561 Emphysema Diseases 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 238000009499 grossing Methods 0.000 description 8
- 238000002604 ultrasonography Methods 0.000 description 8
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 7
- 201000005202 lung cancer Diseases 0.000 description 7
- 208000020816 lung neoplasm Diseases 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000002308 calcification Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 201000009267 bronchiectasis Diseases 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 208000019693 Lung disease Diseases 0.000 description 4
- 230000003321 amplification Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012821 model calculation Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 210000004872 soft tissue Anatomy 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 210000003739 neck Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 206010003598 Atelectasis Diseases 0.000 description 2
- 206010016654 Fibrosis Diseases 0.000 description 2
- 208000002151 Pleural effusion Diseases 0.000 description 2
- 208000007123 Pulmonary Atelectasis Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000007596 consolidation process Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000004761 fibrosis Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000001370 mediastinum Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 210000003281 pleural cavity Anatomy 0.000 description 2
- 201000003144 pneumothorax Diseases 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 206010063045 Effusion Diseases 0.000 description 1
- 206010048725 Hydropneumothorax Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 201000002491 encephalomyelitis Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 210000001365 lymphatic vessel Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 210000003492 pulmonary vein Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Library & Information Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Bioethics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Signal Processing (AREA)
Abstract
本发明实施例公开了一种医学图像的识别方法,包括:获取待识别医学图像集合,待识别医学图像集合中包含至少一个待识别医学图像;提取待识别医学图像集合中每个待识别医学图像所对应的待识别区域,待识别区域属于待识别医学图像中的部分图像;通过医学图像识别模型确定每个待识别区域的识别结果,医学图像识别模型为根据医学图像样本集合训练得到的,医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,标注信息用于表示医学图像样本的类型,识别结果用于表示待识别医学图像的类型。本发明实施例还公开了一种模型训练的方法以及服务器。本发明大幅地节省人工标注成本与时间成本,具有较强的可靠性和可信度。
Description
技术领域
本发明涉及人工智能领域,尤其涉及一种医学图像的识别方法、模型训练的方法及服务器。
背景技术
随着计算机断层扫描(computed tomography,CT)、核磁共振成像 (magneticresonance imaging,MRI)以及超声(ultrasonic,US)等医学成像技术的产生和飞速发展,医院中产生并存储了大量的可供临床诊断和分析的医学图像。近年来,随着计算机及其相关技术的迅速发展以及图形图像技术的日趋成熟,医务工作者可以从多方位、多层次、多角度地对医学图像进行观察,从而辅助医生对病变体及其他感兴趣区域进行重点分析,提高了临床诊断的准确性。
目前,针对医学图像的识别,主要是先通过医务工作者对医学图像进行标注来获取异常情况,再将异常情况反馈给医疗机构或者医学专家进行确认,最后,一些大型的影像中心会将确认后的医学图像进行分类存储,以供分析和研究。
然而,大量的医学图像还需要消耗医务工作者大量的时间来标注,导致标注成本较高。此外,人工标注医学图像容易出现错误,降低了对医学图像识别的可靠性和准确度。
发明内容
本发明实施例提供了一种医学图像的识别方法、模型训练的方法及服务器,可以大幅地节省人工标注成本与时间成本。此外,采用该模型对医学图像进行识别,可以适用于多种场景,识别的准确率不会随着使用者的不同而造成偏差,具有较强的可靠性和可信度。
有鉴于此,本发明的第一方面提供了一种医学图像的识别方法,包括:
获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像;
提取所述待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像;
通过医学图像识别模型确定每个待识别区域的识别结果,其中,所述医学图像识别模型为根据医学图像样本集合训练得到的,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述识别结果用于表示待识别医学图像的类型。
本发明的第二方面提供了一种模型训练的方法,包括:
获取待训练的医学图像样本集合,其中,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型;
提取所述医学图像样本集合中每个医学图像样本所对应的待训练区域,其中,所述待训练区域属于所述医学图像样本中的部分图像;
根据所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型。
本发明的第三方面提供一种服务器,包括:
获取模块,用于获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像;
提取模块,用于提取所述获取模块获取的所述待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像;
确定模块,用于通过医学图像识别模型确定所述提取模块提取的每个待识别区域的识别结果,其中,所述医学图像识别模型为根据医学图像样本集合训练得到的,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述识别结果用于表示待识别医学图像的类型。
本发明的第四方面提供了一种服务器,包括:
获取模块,用于获取待训练的医学图像样本集合,其中,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型;
提取模块,用于提取所述获取模块获取的所述医学图像样本集合中每个医学图像样本所对应的待训练区域,其中,所述待训练区域属于所述医学图像样本中的部分图像;
训练模块,用于根据所述提取模块提取的所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型。
本发明的第五方面提供了一种服务器,所述服务器包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像;
提取所述待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像;
通过医学图像识别模型确定每个待识别区域的识别结果,其中,所述医学图像识别模型为根据医学图像样本集合训练得到的,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述识别结果用于表示待识别医学图像的类型;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本发明的第六方面提供了一种服务器,所述服务器包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待训练的医学图像样本集合,其中,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型;
提取所述医学图像样本集合中每个医学图像样本所对应的待训练区域,其中,所述待训练区域属于所述医学图像样本中的部分图像;
根据所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本发明的第七方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例中,提供了一种医学图像的识别方法,首先,服务器获取待识别医学图像集合,待识别医学图像集合中包含至少一个待识别医学图像,然后提取待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,待识别区域属于待识别医学图像中的部分图像,最后通过医学图像识别模型确定每个待识别区域的识别结果,医学图像识别模型为根据医学图像样本集合训练得到的,医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,标注信息用于表示医学图像样本的类型,识别结果用于表示待识别医学图像的类型。通过上述方式,采用医学图像识别模型代替人工标注,可以大幅地节省人工标注成本与时间成本。此外,采用该模型对医学图像进行识别,可以适用于多种场景,识别的准确率不会随着使用者的不同而造成偏差,具有较强的可靠性和可信度。
附图说明
图1为本发明实施例中医学图像识别系统的一个架构示意图;
图2为本发明实施例应用于肺癌早期筛查项目的一个场景示意图;
图3为本发明实施例应用于影像中心数据整理的一个场景示意图;
图4为本发明实施例中医学图像的识别方法一个实施例示意图;
图5为本发明实施例中识别医学图像的一个流程示意图;
图6为本发明实施例中模型训练的方法一个实施例示意图;
图7为本发明实施例中训练医学图像识别模型的一个流程示意图;
图8为本发明实施例中确定医学图像样本的一个流程示意图;
图9为本发明实施例中提取待训练区域的一个流程示意图;
图10为本发明实施例中调整待训练区域的一个流程示意图;
图11为本发明实施例中建立医学图像识别模型的一个流程示意图;
图12为本发明实施例中加载医学图像识别模型的一个流程示意图;
图13为本发明实施例中服务器一个实施例示意图;
图14为本发明实施例中服务器另一个实施例示意图;
图15为本发明实施例中服务器另一个实施例示意图;
图16为本发明实施例中服务器另一个实施例示意图;
图17为本发明实施例中服务器另一个实施例示意图;
图18为本发明实施例中服务器一个结构示意图。
具体实施方式
本发明实施例提供了一种医学图像的识别方法、模型训练的方法及服务器,可以大幅地节省人工标注成本与时间成本。此外,采用该模型对医学图像进行识别,可以适用于多种场景,识别的准确率不会随着使用者的不同而造成偏差,具有较强的可靠性和可信度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本发明实施例可应用于医学图像处理场景。随着医疗检测设备的不断研究发展以及检测技术的不断提升,医学影像数据呈现井喷式爆发。在大量的医学影像数据需求下,难免会混入许多无关的图像数据,或者与本身研究相悖的样本。这些数据需要进行有效剔除后,才可以使得整个数据集用于研究计算、训练以及推断,所以在实际过程中,人们不得不耗费大量的人力、物力和财力,对已有的数据进行重新筛选剔除,通过精准标注的方法对数据“二次加工”,来满足数据精准度需求。
具体地,请参阅图1,图1为本发明实施例中医学图像识别系统的一个架构示意图,如图所示,通过医疗检测设备可以获取大量的医学图像,需要说明的是,医学图像包含但不仅限于计算机断层扫描(computed tomography, CT)图像、核磁共振成像(magneticresonance imaging,MRI)图像以及超声 (ultrasonic,US)图像。
其中,CT图像是由一定数目由黑到白不同灰度的像素按矩阵排列所构成。这些像素反映的是相应体素的X线吸收系数。CT图像是以不同的灰度来表示,反映器官和组织对X线的吸收程度。因此,与X线图像所示的黑白影像一样,黑影表示低吸收区,即低密度区,如含气体多的肺部;白影表示高吸收区,即高密度区,如骨骼。但是CT图像与X线图像相比,CT的密度分辨力高,即有高的密度分辨力。因此,CT图像可以更好地显示由软组织构成的器官,如脑、脊髓、纵隔、肺、肝、胆、胰以及盆部器官等,并在良好的解剖图像背景上显示出病变的影像。
MRI图像已应用于全身各系统的成像诊断。效果最佳的是颅脑、脊髓、心脏大血管、关节骨骼、软组织及盆腔等。对心血管疾病不但可以观察各腔室、大血管及瓣膜的解剖变化,而且可作心室分析,进行定性及半定量的诊断,可作多个切面图,空间分辨率较高,显示心脏及病变全貌,及其与周围结构的关系,优于其他X线成像、二维超声、核素及CT检查。在对脑脊髓病变诊断时,可作冠状、矢状及横断面像。
US图像是反映介质中声学参数的差异,可得到不同于光学、X射线以及γ射线等的信息。超声对人体软组织有良好的分辨能力,有利于识别生物组织的微小病变。超声图像显示活体组织时不用染色处理,即可获得所需图像。
医疗检测设备将医学图像发送至服务器,通过服务器中训练得到的模型可以对这些医学图像进行识别以及分类,再由服务器将图像识别结果发送至终端设备,终端设备可以根据识别结果生成报告并打印出来,也可以直接在显示屏幕上展示识别结果。需要说明的是,终端设备包含但不仅限于掌上电脑、手机、打印机、个人电脑、笔记本电脑以及平板电脑。
需要说明的是,医学图像识别系统所包括的医疗检测设备、服务器以及终端设备可以为三台独立的设备,也可以是集成与同一个系统内,此处不做限定。
应理解,本发明具体可以应用于肺癌早期筛查项目的数据筛选,以及医疗影像中心对医学图像数据进行数据归档确认,又或者是对历史数据的整理。
为了便于理解,请参阅图2,图2为本发明实施例应用于肺癌早期筛查项目的一个场景示意图,如图所示,在步骤A1中,首先通过医疗检测设备采集大量与肺部有关的原始数据集,然后在步骤A2中将原始数据集输入至肺部 CT图像异常检测系统中,该系统运行有本发明提供的医学图像识别模型,利用该医学图像识别模型可以对原始数据集进行分类。在步骤A3中,将分类得到的结果输入汉字肺癌筛查系统,由肺癌筛查系统对分类结果进行统计和筛查,从而推断出具有肺癌风险的情况。相应地,在利用肺部CT图像异常检测系统进行检测时,还可以筛选出不满足分类条件的图像,即在步骤A4中筛选并排除异常的肺部图像,从而保证检测的可靠性。
请参阅图3,图3为本发明实施例应用于影像中心数据整理的一个场景示意图,如图所示,在步骤B1中,首先通过医疗检测设备采集大量与肺部有关的原始数据集,然后在步骤B2中将原始数据集输入至肺部CT图像异常检测系统中,该系统运行有本发明提供的医学图像识别模型,利用该医学图像识别模型可以对原始数据集进行分类。在步骤B3中,对肺部CT图像按照“正常肺部”与“异常肺部”进行划分,然后在“异常肺部”的CT图像中,按照疾病性状以及疾病类型进行具体归类,从而实现肺部CT图像按照类别做出疾病归属,减少了肺癌早期筛查带来的可能噪声混淆问题。各类肺部图像可以分为支气管扩张、肺气肿、肺不张、渗出、实变、增值、纤维化、钙化、肿块、结节、空洞、空腔、胸腔积液、液气胸以及气胸等症状。由此,帮助或取代医生对各类疾病的肺部图像进行分类,帮助医生减少工作量提高效率,同时提升了检测标注结果的准确性。
可以理解的是,本发明是以肺部图像为例进行介绍的,然而在实际应用中,医学图像还可以是胃部图像、腹部图像或者脑部图像等,此处将肺部图像作为医学图像仅为一个示意,并不应理解为对本发明的限定。
下面将从服务器的角度,对本发明中医学图像的识别方法进行介绍,请参阅图4,本发明实施例中医学图像的识别方法一个实施例包括:
101、获取待识别医学图像集合,其中,待识别医学图像集合中包含至少一个待识别医学图像;
本实施例中,服务器获取待识别医学图像集合,需要说明的是,这里的待识别医学图像集合可以只包括一个待识别医学图像,也可以包括多个待识别医学图像,且该医学图像可以是CT图像、MRI图像或者US图像。而待识别医学图像具体可以是肺部图像、胃部图像、脑部图像、肝脏图像或者心脏图像等,本发明实施例将以肺部图像为例进行介绍,然而这并不应理解为对本发明的限定。
102、提取待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,待识别区域属于待识别医学图像中的部分图像;
本实施例中,服务器在得到待识别医学图像集合之后,需要对每个待识别医学图像进行特征提取,由此得到待识别区域,其中,待识别区域属于待识别医学图像中的部分图像,且这部分图像是能够反映病状特征。
103、通过医学图像识别模型确定每个待识别区域的识别结果,其中,医学图像识别模型为根据医学图像样本集合训练得到的,医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,标注信息用于表示医学图像样本的类型,识别结果用于表示待识别医学图像的类型。
本实施例中,服务器将每个待识别区域输入至医学图像模型,由该医学图像模型输出每个待识别区域所对应的识别结果,该识别结果即可表示待识别医学图像的类型,比如“正常”、“肺气肿”、“支气管扩张”或者“钙化”等。其中,医学图像识别模型为通过大量医学图像样本训练得到的,每个医学图像样本携带对应的标注信息,比如1号肺部图像样本的标注信息为“正常”,2号肺部图像样本的标注信息为“肺气肿”,3号肺部图像样本的标注信息为“钙化”等等,这里的标注信息通常是人工标注得到的。
为了便于介绍,请参阅图5,图5为本发明实施例中识别医学图像的一个流程示意图,具体地:在步骤C1中,首先服务器通过医疗检测设备采集大量与肺部有关的原始数据集;在步骤C2中,通过标签信息与模板匹配对原始数据集中的每张医学图像进行判断,由此得到可用于识别的肺部图像;在步骤 C3中对可识别肺部图像进行肺部区域的分割和提取;在步骤C4中,再对分割和提取后的肺部区域进行图像插值处理以及归一化处理;在步骤C5中,采用深度学习网络对步骤C4中所得到的肺部区域进行分类推断,最后可以在步骤C6中得到相应的识别结果,如“正常”、“支气管扩张”、“肺气肿”或者“肺部空洞”等。
本发明实施例中,提供了一种医学图像的识别方法,首先,服务器获取待识别医学图像集合,待识别医学图像集合中包含至少一个待识别医学图像,然后提取待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,待识别区域属于待识别医学图像中的部分图像,最后通过医学图像识别模型确定每个待识别区域的识别结果,医学图像识别模型为根据医学图像样本集合训练得到的,医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,标注信息用于表示医学图像样本的类型,识别结果用于表示待识别医学图像的类型。通过上述方式,采用医学图像识别模型代替人工标注,可以大幅地节省人工标注成本与时间成本。此外,采用该模型对医学图像进行识别,可以适用于多种场景,识别的准确率不会随着使用者的不同而造成偏差,具有较强的可靠性和可信度。
可选地,在上述图4对应的实施例的基础上,本发明实施例提供的模型训练的方法第一个可选实施例中,获取待识别医学图像集合之前,还可以包括:
获取待识别原始医学图像集合,其中,待识别原始医学图像集合包含至少一个待识别原始医学图像;
获取待识别原始医学图像集合中每个待识别原始医学图像的标签信息,其中,标签信息包括与待识别原始医学图像关联的信息;
若待识别原始医学图像的标签信息满足样本提取条件,则确定待识别原始医学图像为待识别医学图像,直至从原始待识别医学图像集合中获取到待识别医学图像集合。
本实施例中,介绍了一种医学图像的预处理方式,无论是针对医学图像识别的场景还是医学图像训练的场景,首先需要对不满足识别场景后者训练场景的医学图像进行剔除。具体地,首先服务器获取待识别原始医学图像集合,其中,待识别原始医学图像集合包含至少一个待识别原始医学图像,接下来需要分别判断每个待识别原始医学图像是否满足训练场景或者识别场景,最后对于不满足这些场景的待识别原始医学图像进行剔除。
在判断的过程中,可以对待识别原始医学图像进行信息比对,即判断每个待识别原始医学图像所对应的标签信息(又称为Meta信息)是否满足样本提取条件。其中,标签信息包含但不仅限于该待识别原始医学图像所对应的病人标识、医院标识、检测设备标识、检测部位信息以及检测医生信息。标签信息的属性定义了相关联的名称和值对。
当然,在实际应用中,如果在待识别原始医学图像集合中混入一下非CT 图像,也需要将这些待识别原始医学图像进行剔除,又或者待识别原始医学图像本身由于存储等问题造成损坏,同样需要将这些待识别原始医学图像进行剔除。
可选地,在上述图4对应的实施例的基础上,本发明实施例提供的模型训练的方法第二个可选实施例中,获取待识别医学图像集合之前,还可以包括:
获取待识别原始医学图像集合,其中,原始待识别医学图像集合包含至少一个待识别原始医学图像;
获取待识别原始医学图像集合中每个待识别原始医学图像的标签信息,其中,标签信息包括与待识别原始医学图像关联的信息;
若待识别原始医学图像的标签信息满足样本提取条件,则将待识别原始医学图像与目标医学图像进行匹配,其中,目标医学图像为预先设定的图像模板;
若待识别原始医学图像与目标医学图像匹配成功,则确定待识别原始医学图像为待识别医学图像,直至从原始待识别医学图像集合中获取到待识别医学图像集合。
本实施例中,介绍了另一种医学图像的预处理方式,无论是针对医学图像识别的场景还是医学图像训练的场景,首先需要对不满足识别场景后者训练场景的医学图像进行剔除。具体地,首先服务器获取待识别原始医学图像集合,其中,待识别原始医学图像集合包含至少一个待识别原始医学图像,接下来需要分别判断每个待识别原始医学图像是否满足训练场景或者识别场景,最后对于不满足这些场景的待识别原始医学图像进行剔除。
当然,在实际应用中,如果在待识别原始医学图像集合中混入一下非CT 图像,也需要将这些待识别原始医学图像进行剔除,又或者待识别原始医学图像本身由于存储等问题造成损坏,同样需要将这些待识别原始医学图像进行剔除。在校验过程中,还可以通过训练图片分类模型,对进行肺部区域与其他区域的区分,或者采用图片像素统计分布的方式确定待识别原始医学图像是否为肺部区域。
可选地,在上述图4对应的实施例的基础上,本发明实施例提供的模型训练的方法第三个可选实施例中,提取待识别医学图像集合中每个待识别医学图像所对应的待识别区域,可以包括:
根据预设反射值对待识别医学图像集合中每个待识别医学图像进行二值化处理,以得到每个待识别医学图像所对应的二值医学图像;
采用目标医学图像对每个二值医学图像进行匹配,以提取每个二值医学图像所对应的待处理区域,其中,目标医学图像为预先设定的图像模板;
对每个待处理区域进行图像平滑处理,以生成每个待处理区域所对应的待提取轮廓,其中,图像平滑处理包括对每个待处理区域进行开操作处理和/ 或闭操作处理;
采用每个待提取轮廓从每个待识别医学图像中分别提取对应的待识别区域。
本实施例中,在对待识别原始医学图像进行有效性校验之后,即可得到待识别医学图像,其中,至少一个待识别医学图像可构成待识别的医学图像样本集合。接下来还需要从每个待识别医学图像中提取待识别区域(如肺部区域)。为了有效的滤除肺野以外的区域可能带来的噪声,使后续模型判断更为精准,减少了肺野以外的计算量。
以从待识别医学图像中提取待识别区域(或待训练区域)为例,首先,对医学图像样本进行二值化分离,也就是将医学图像样本通过适当的阈值方法进行二值化分离。不同的器官组织有不同的反射值(如CT值),根据CT 值可以准确地从医学图像样本找出肺部的大致轮廓。假设针对肺部的预设反射值为30亨氏单位(Hu),则提取Hu为30的二值医学图像。
接下来,再对提取肺叶区域后的待处理区域进行平滑处理,得到待处理区域所对应的待提取轮廓,具体包括对每个待处理区域进行开操作处理或闭操作处理,又或者是同时进行开操作以及闭操作处理。其中,开操作可以使图像的轮廓变得光滑,断开较窄的狭颈和消除细的突出物。使结构元B对集合A进行开操作,定义为:
含义:先用B对A进行腐蚀,然后用B对结果进行膨胀。
闭操作同样使图像的轮廓变得光滑,但与开操作相反,它能弥合狭窄的间断和细长的沟壑,消除小的孔洞,并填补轮廓线中的裂痕。使用结构元B 对集合A进行闭操作,定义为:
含义:先用B对A进行膨胀,然后用B对结果进行腐蚀。
使用开操作和闭操作可以去除待处理区域中孤立的噪声点与空洞,使得待处理区域变得更加平滑。
最后,采用每个待提取轮廓从每个医学图像样本中分别提取对应的待训练区域。具体地,在得到待提取轮廓之后,将该待提取轮廓作为索引,返回至医学图像样本中将待识别区域(或待训练区域)取出来。
可选地,在上述图4对应的实施例的基础上,本发明实施例提供的模型训练的方法第四个可选实施例中,提取待识别医学图像集合中每个待识别医学图像所对应的待识别区域之后,还可以包括:
若待识别区域大于或等于第一预设区域,则对待识别区域进行缩小处理;
若待识别区域小于或等于第二预设区域,则对待识别区域进行放大处理。
本实施例中,在分割得到待识别区域之后,还需要对待识别区域进行插值处理。其目的在于让图像在三维图像中各方向的单位物理长度为等距状态,方便度量与模型计算。
由于在实际情况下,不同待识别医学图像的待识别区域大小是不同的,比如,小孩的肺部图像尺寸往往会小于正常成年人的肺部图像尺寸,这个时候就需要一个比例尺,比如一个像素等于1毫米。如果待识别区域大于或等于第一预设区域,则表示该待识别区域的尺寸可能偏大,这个时候需要按照比例对该待识别区域进行缩小处理,尽量使得待识别区域中每个像素的长度等于1毫米。反之,如果待识别区域小于或等于第二预设区域,则表示该待识别区域的尺寸可能偏大,这个时候需要按照比例对该待处理区域进行缩小处理,尽量使得待识别区域中每个像素的长度等于1毫米。
可选地,在上述图4对应的实施例的基础上,本发明实施例提供的模型训练的方法第五个可选实施例中,提取待识别医学图像集合中每个待识别医学图像所对应的待识别区域之后,还可以包括:
获取每个待识别区域所对应的反射值区间,其中,反射值区间的最大值为第一反射值,反射值区间的最小值为第二反射值;
根据反射值区间对每个待识别区域进行归一化处理,以得到归一化区域;
通过医学图像识别模型确定每个待识别区域的识别结果,包括:
通过医学图像识别模型确定每个待识别区域的归一化区域所对应的识别结果;
其中,根据反射值区间对每个待识别区域进行归一化处理,以得到归一化区域,包括:
采用如下方式得到归一化区域:
其中,xout表示归一化区域,x表示待识别区域的像素点值,xmax表示第一反射值,xmin表示第二反射值。
本实施例中,在分割得到待识别区域之后,还需要对待训练区域进行归一化处理。其目的在于使所有待识别区域在量纲上处于统一状态,方便度量与模型计算。
具体地,归一化处理可以将图像所有像素集中在肺窗为-600Hu至1024Hu 区间内,然后将整张图像线性放缩至0.0至1.0之间。其中,肺窗的窗宽表示可视化CT值的范围,不同的窗宽可以看到不同的内容细节。采用图像方式可以得到归一化区域:
其中,xout表示归一化区域,x表示待识别区域的像素点值,xmax表示第一反射值,xmin表示第二反射值。
以上述肺窗为-600Hu至1024Hu为例,那么xmax为1024,而xmin为-600,假设x为1000,则得到xout的归一化区域表示为0.985。
下面将从服务器的角度,对本发明中模型训练的方法进行介绍,请参阅图6,本发明实施例中模型训练的方法一个实施例包括:
201、获取待训练的医学图像样本集合,其中,医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,标注信息用于表示医学图像样本的类型;
本实施例中,首先由服务器获取待训练的医学图像样本集合,需要说明的是,这里的待训练的医学图像样本集合可以只包括一个待训练的医学图像样本,也可以包括多个待训练的医学图像样本,且该待训练的医学图像样本可以是CT图像样本、MRI图像样本或者US图像样本。而医学图像样本具体可以是肺部图像、胃部图像、脑部图像、肝脏图像或者心脏图像等,本发明实施例将以肺部图像为例进行介绍,然而这并不应理解为对本发明的限定。
202、提取医学图像样本集合中每个医学图像样本所对应的待训练区域,其中,待训练区域属于医学图像样本中的部分图像;
本实施例中,服务器在得到待训练的医学图像样本集合之后,需要对每个医学图像样本进行特征提取,由此得到待训练区域,其中,待训练区域属于医学图像样本中的部分图像,且这部分图像是能够反映病状特征。
203、根据每个医学图像样本所对应的待训练区域以及每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型。
本实施例中,服务器建立深度学习网络,利用每个医学图像样本携带对应的标注信息以及每个医学图像样本所对应的待训练区域,训练并保存医学图像识别模型。需要说明的是,深度学习网络包含但不仅限于卷积神经网络 (convolutional neural networks,CNN)、深度卷积神经网络(deep convolutional neural networks,DCNN)、反卷积神经网络(deconvolutional networks,DN)、生成式对抗网络(generative adversarial networks,GAN)、循环神经网络 (recurrent neural networks,RNN)、长短时记忆网络(long shortterm memory, LSTM)、神经图灵机(neural turing machines,NTM)以及深度残差网络(deep residual networks,DRN)等神经网络中的至少一种。
为了便于介绍,请参阅图7,图7为本发明实施例中训练医学图像识别模型的一个流程示意图,具体地:在步骤D1中,首先服务器通过医疗检测设备采集大量与肺部有关的原始数据集;在步骤D2中,通过标签信息与模板匹配对原始数据集中的每张医学图像进行判断,由此得到可用于训练的肺部图像;在步骤D3中对可训练肺部图像进行肺部区域的分割和提取;在步骤D4中,再对分割和提取后的肺部区域进行图像插值处理以及归一化处理;在步骤D5 中,还可以获取额外的肺部图像标注信息,其中,这里的标识信息通常是人工标注得到的,比如对1号肺部图像样本进行标注后得到的标注信息为“正常”,对2号肺部图像样本进行标注后得到的标注信息为“肺气肿”;对步骤 D4中处理后所得到的肺部区域与步骤D5获取到的标注信息进行训练,从而得到医学图像识别模型;最后,在步骤D7中还可以对该医学图像识别模型进行评估,由此优化医学图像识别模型。
本发明实施例中,获取待训练的医学图像样本集合,其中,医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,标注信息用于表示医学图像样本的类型,然后提取医学图像样本集合中每个医学图像样本所对应的待训练区域,其中,待训练区域属于医学图像样本中的部分图像,最后根据每个医学图像样本所对应的待训练区域以及每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型。通过上述方式,可以训练得到医学图像识别模型,该模型能够代替人工标注,可以大幅地节省人工标注成本与时间成本。此外,模型还可以根据实际需求进行训练,优化输出的结果,相比于人工输出结果而言具有更强的容错性。
可选地,在上述图6对应的实施例的基础上,本发明实施例提供的模型训练的方法第一个可选实施例中,获取待训练的医学图像样本集合之前,还可以包括:
获取原始医学图像集合,其中,原始医学图像集合包含至少一个原始医学图像;
获取原始医学图像集合中每个原始医学图像的标签信息,其中,标签信息包括与原始医学图像关联的信息;
若原始医学图像的标签信息满足样本提取条件,则确定原始医学图像为医学图像样本,直至从原始医学图像集合中获取到待训练的医学图像样本集合。
本实施例中,介绍了一种医学图像的预处理方式,无论是针对医学图像识别的场景还是医学图像训练的场景,首先需要对不满足识别场景后者训练场景的医学图像进行剔除。具体地,首先服务器获取原始医学图像集合,其中,原始医学图像集合包含至少一个原始医学图像,接下来需要分别判断每个原始医学图像是否满足训练场景或者识别场景,最后对于不满足这些场景的原始医学图像进行剔除。
在判断的过程中,可以对原始医学图像进行信息比对,即判断每个原始医学图像所对应的标签信息(又称为Meta信息)是否满足样本提取条件。其中,标签信息包含但不仅限于该原始医学图像所对应的病人标识、医院标识、检测设备标识、检测部位信息以及检测医生信息。标签信息的属性定义了相关联的名称和值对。
为了便于介绍,请参阅表1,表1为原始医学图像集合中标签信息的一个示意。
表1
原始医学图像集合 | 检测部位信息 |
原始医学图像1 | 肺部 |
原始医学图像2 | 肺部 |
原始医学图像3 | 肝脏 |
原始医学图像4 | 肺部 |
原始医学图像5 | 心脏 |
原始医学图像6 | 肺部 |
原始医学图像7 | 肺部 |
由表1可见,如果需要识别的原始医学图像应为肺部图像,那么根据标签信息中的检测部位信息,可以从原始医学图像集合中剔除原始医学图像3 以及原始医学图像5。
当然,在实际应用中,如果在原始医学图像集合中混入一下非CT图像,也需要将这些原始医学图像进行剔除,又或者原始医学图像本身由于存储等问题造成损坏,同样需要将这些原始医学图像进行剔除。
其次,本发明实施例中,在获取原始医学图像集合,需要对原始医学图像集合中每个原始医学图像的标签信息进行分析,只有标签信息满足样本提取条件的原始医学图像才能作为医学图像样本。通过上述方式,利用标签信息可以滤除大量无关的原始医学图像,从而节省训练的时间成本,使得整体数据更纯粹,由此提升模型训练的质量和效果。
可选地,在上述图6对应的实施例的基础上,本发明实施例提供的模型训练的方法第二个可选实施例中,获取待训练的医学图像样本集合之前,还可以包括:
获取原始医学图像集合,其中,原始医学图像集合包含至少一个原始医学图像;
获取原始医学图像集合中每个原始医学图像的标签信息,其中,标签信息包括与原始医学图像关联的信息;
若原始医学图像的标签信息满足样本提取条件,则将原始医学图像与目标医学图像进行匹配,其中,目标医学图像为预先设定的图像模板;
若原始医学图像与目标医学图像匹配成功,则确定原始医学图像为医学图像样本,直至从原始医学图像集合中获取到待训练的医学图像样本集合。
本实施例中,介绍了另一种医学图像的预处理方式,无论是针对医学图像识别的场景还是医学图像训练的场景,首先需要对不满足识别场景后者训练场景的医学图像进行剔除。具体地,首先服务器获取原始医学图像集合,其中,原始医学图像集合包含至少一个原始医学图像,接下来需要分别判断每个原始医学图像是否满足训练场景或者识别场景,最后对于不满足这些场景的原始医学图像进行剔除。
为了便于介绍,请参阅图8,图8为本发明实施例中确定医学图像样本的一个流程示意图,如图所示,在判断的过程中,可以对原始医学图像进行信息比对,即判断每个原始医学图像所对应的标签信息是否满足样本提取条件 (即进行Meta信息校对)。其中,标签信息包含但不仅限于该原始医学图像所对应的病人标识、医院标识、检测设备标识、检测部位信息以及检测医生信息。标签信息的属性定义了相关联的名称和值对。同时,还需要对原始医学图像进行模板匹配(即进行肺部模板匹配),首先读取肺部图像,对照模板 (即目标医学图像)进行肺部匹配。大多数正常肺部都是由左右两个肺野(肺野即为充满气体的两肺在胸片上表现为均匀一致较为透明的区域)组成,如果目标CT图像整体形状与肺部模板匹配成功,那么会被确定医学图像样本,直至从原始医学图像集合中获取到待训练的医学图像样本集合。通过这两项校验,可以保证整体输入数据在后续处理的有效性,避免无关数据混入整体系统,对整个异常检测分类至关重要。在进行有效性校验之后,就可以进一步进行数据处理了。
当然,在实际应用中,如果在原始医学图像集合中混入一下非CT图像,也需要将这些原始医学图像进行剔除,又或者原始医学图像本身由于存储等问题造成损坏,同样需要将这些原始医学图像进行剔除。在校验过程中,还可以通过训练图片分类模型,对进行肺部区域与其他区域的区分,或者采用图片像素统计分布的方式确定原始医学图像是否为肺部区域。
其次,本发明实施例中,首先服务器获取原始医学图像集合,然后获取原始医学图像集合中每个原始医学图像的标签信息,如果原始医学图像的标签信息满足样本提取条件,则继续将原始医学图像与目标医学图像进行匹配,只有在原始医学图像与目标医学图像匹配成功的情况下,才可以确定原始医学图像为医学图像样本,直至从原始医学图像集合中获取到待训练的医学图像样本集合。通过上述方式,同时利用标签信息以及模板对原始医学图像进行匹配,双重校验保证了整体输入数据在后续处理的有效性,避免无关数据混入整体系统,对整个异常检测分类至关重要,从而进一步节省训练的时间成本,由此提升模型训练的质量和效果。
可选地,在上述图6对应的实施例的基础上,本发明实施例提供的模型训练的方法第三个可选实施例中,提取医学图像样本集合中每个医学图像样本所对应的待训练区域,可以包括:
根据预设反射值对医学图像样本集合中每个医学图像样本进行二值化处理,以得到每个医学图像样本所对应的二值医学图像;
采用目标医学图像对每个二值医学图像进行匹配,以提取每个二值医学图像所对应的待处理区域,其中,目标医学图像为预先设定的图像模板;
对每个待处理区域进行图像平滑处理,以生成每个待处理区域所对应的待提取轮廓,其中,图像平滑处理包括对每个待处理区域进行开操作处理和/ 或闭操作处理;
采用每个待提取轮廓从每个医学图像样本中分别提取对应的待训练区域。
本实施例中,在对原始医学图像进行有效性校验之后,即可得到医学图像样本,其中,至少一个医学图像样本可构成待训练的医学图像样本集合。接下来还需要从每个医学图像样本中提取待训练区域(如肺部区域)。为了有效的滤除肺野以外的区域可能带来的噪声,使后续模型判断更为精准,减少了肺野以外的计算量。
为了便于介绍,请参阅图9,图9为本发明实施例中提取待训练区域的一个流程示意图,如图所示,具体地,以从医学图像样本中提取待训练区域(或待识别区域)为例,首先,对医学图像样本进行二值化分离,也就是将医学图像样本通过适当的阈值方法进行二值化分离。不同的器官组织有不同的反射值(如CT值),根据CT值可以准确地从医学图像样本找出肺部的大致轮廓。假设针对肺部的预设反射值为30亨氏单位(Hu),则提取Hu为30的二值医学图像。
其中,CT值用于反映CT图像像素内组织结构线性衰减系数相对值的数值,某物质的CT值等于该物质的衰减系数与水的吸收系数之差,再与水的衰减系数相比之后乘以分度因素。物质的CT值反映物质的密度,即物质的CT 值越高相当于物质密度越高,即:
CT值=α×(μm-μw)/μw;
α为分度因数,其取值为1000时,CT值的单位为Hu)。人体内不同的组织具有不同的衰减系数,因而其CT值也各不相同。按照CT值的高低分别为骨组织、软组织、脂肪、水、气体,水的CT值为0Hu左右。
需要说明的是,在实际应用中,也可以采用其他阈值方法二值化,比如可以计算图像连接度,再通过计算两个最大的连通量来确定肺部区域。也可以采用诸如区域生长等方法计算肺部凸包区域确定肺部区域,此处不做限定。
对经过二值化分离后的二值医学图像提取肺叶区域,提取的方式为,通过肺部CT模板(即上述图6对应的第二个实施例中涉及的目标医学图像)提取相应的肺部区域。即采用目标医学图像对每个二值医学图像进行匹配,以提取每个二值医学图像所对应的待处理区域,其中,目标医学图像为预先设定的图像模板。
肺部区域上往往会有肺纹理,其中,肺纹理是自肺门向外呈放射分布的树枝状影,主要是由肺动脉和肺静脉构成的影像,支气管和淋巴管也参与肺纹理构成。肺上端钝圆叫肺尖,向上经胸廓上口突入颈根部,底位于膈上面,对向肋和肋间隙的面叫肋面,朝向纵隔的面叫内侧面,该面中央的支气管、血管、淋巴管和神经出入处叫肺门,这些出入肺门的结构,被结缔组织包裹在一起叫肺根。左肺由斜裂分为上和下二个肺叶,右肺除斜裂外,还有一水平裂将其分为上、中和下三个肺叶。
接下来,再对提取肺叶区域后的待处理区域进行平滑处理,得到待处理区域所对应的待提取轮廓,具体包括对每个待处理区域进行开操作处理或闭操作处理,又或者是同时进行开操作以及闭操作处理。其中,开操作可以使图像的轮廓变得光滑,断开较窄的狭颈和消除细的突出物。使结构元B对集合A进行开操作,定义为:
含义:先用B对A进行腐蚀,然后用B对结果进行膨胀。
闭操作同样使图像的轮廓变得光滑,但与开操作相反,它能弥合狭窄的间断和细长的沟壑,消除小的孔洞,并填补轮廓线中的裂痕。使用结构元B 对集合A进行闭操作,定义为:
含义:先用B对A进行膨胀,然后用B对结果进行腐蚀。
使用开操作和闭操作可以去除待处理区域中孤立的噪声点与空洞,使得待处理区域变得更加平滑。
需要说明的是,在实际应用中,除了可以采用开操作和闭操作对待处理区域进行平滑处理以外,还可以采用不同的滤波方式。比如:
(1)均值滤波;
均值滤波是典型的线性滤波算法,它是指在图像上对目标像素给一个模板,该模板包括了其周围的临近像素(以目标象素为中心的周围8个像素,构成一个滤波模板,即去掉目标像素本身),再用模板中的全体像素的平均值来代替原来像素值。对噪声图像特别是有大的孤立点的图像非常敏感,即使有极少数量点存在较大差异也会导致平均值的明显波动。
(2)中值滤波;
中值滤波法是一种非线性平滑技术,它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值,也就是将中心像素的值用所有像素值的中间值(不是平均值)替换。中值滤波通过选择中间值避免图像孤立噪声点的影响,对脉冲噪声有良好的滤除作用,特别是在滤除噪声的同时,能够保护信号的边缘,使之不被模糊。这些优良特性是线性滤波方法所不具有的。此外,中值滤波的算法比较简单,也易于用硬件实现。所以,中值滤波方法一经提出后,便在数字信号处理领得到重要的应用。
(3)高斯滤波;
高斯滤波是一种线性平滑滤波,适用于消除高斯噪声,广泛应用于图像处理的减噪过程。通俗的讲,高斯滤波就是对整幅图像进行加权平均的过程,每一个像素点的值,都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是:用一个模板(或称卷积、掩模)扫描图像中的每一个像素,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。进行高斯滤波的通常原因是真实图像在空间内的像素是缓慢变化的,因此临近点的像素变化不会很明显,但是随机的两个点就可能形成很大的像素差。正是基于这一点,高斯滤波在保留信号的条件下减少噪声。遗憾的是,这种方法在接近边缘处就无效了,因此高斯滤波会破平边缘。但是,高斯平滑滤波器对于抑制服从正态分布的噪声仍然是非常有效的。
(4)双边滤波;
双边滤波(Bilateral filter)是一种非线性的滤波方法,是结合图像的空间邻近度和像素值相似度的一种折衷处理,同时考虑空域信息和灰度相似性,达到保边去噪的目的。具有简单、非迭代、局部的特点。双边滤波能够提供一种不会将边缘平滑掉的方法,但作为代价,需要更多的处理时间。与高斯滤波类似,双边滤波会依据每个像素及其领域构造一个加权平均值,加权计算包括两个部分,其中第一部分加权方式与高斯平滑中相同,第二部分也属于高斯加权,但不是基于中心像素点与其他像素点的空间距离之上的加权,而是基于其他像素与中心像素的亮度差值的加权。可以将双边滤波视为高斯平滑,对相似的像素赋予较高的权重,不相似的像素赋予较小的权重,也可用于图像分类。
双边滤波器的好处是可以做边缘保存(edge preserving),一般过去用的维纳滤波或者高斯滤波去降噪,都会较明显地模糊边缘,对于高频细节的保护效果并不明显。双边滤波器顾名思义比高斯滤波多了一个高斯方差,它是基于空间分布的高斯滤波函数,所以在边缘附近,离的较远的像素不会太多影响到边缘上的像素值,这样就保证了边缘附近像素值的保存。但是由于保存了过多的高频信息,对于彩色图像里的高频噪声,双边滤波器不能够干净的滤掉,只能够对于低频信息进行较好的滤波。
最后,采用每个待提取轮廓从每个医学图像样本中分别提取对应的待训练区域。具体地,在得到待提取轮廓之后,将该待提取轮廓作为索引,返回至医学图像样本中将待训练区域(或待识别区域)取出来。
其次,本发明实施例中,提取医学图像样本集合中每个医学图像样本所对应的待训练区域,具体可以包括先根据预设反射值对医学图像样本集合中每个医学图像样本进行二值化处理,以得到每个医学图像样本所对应的二值医学图像,然后采用目标医学图像对每个二值医学图像进行匹配,以提取每个二值医学图像所对应的待处理区域,再对每个待处理区域进行图像平滑处理,以生成每个待处理区域所对应的待提取轮廓,最后采用每个待提取轮廓从每个医学图像样本中分别提取对应的待训练区域。通过上述方式,能够更准确地从医学图像样本中提取待训练区域,从而节省大量的计算时间成本,使医学图像识别模型专注于具体区域的检测,避免造成错误信息检测,提升模型准确率。
可选地,在上述图6对应的实施例的基础上,本发明实施例提供的模型训练的方法第四个可选实施例中,提取医学图像样本集合中每个医学图像样本所对应的待训练区域之后,还可以包括:
若待训练区域大于或等于第一预设区域,则对待训练区域进行缩小处理;
若待训练区域小于或等于第二预设区域,则对待训练区域进行放大处理。
本实施例中,在分割得到待训练区域之后,为了让模型能够更取得更好的训练效果,还需要对待训练区域进行插值处理。其目的在于让图像在三维图像中各方向的单位物理长度为等距状态,方便度量与模型计算。
由于在实际情况下,不同医学图像样本的待训练区域大小是不同的,比如,小孩的肺部图像尺寸往往会小于正常成年人的肺部图像尺寸,这个时候就需要一个比例尺,比如一个像素等于1毫米。如果待训练区域大于或等于第一预设区域,则表示该待训练区域的尺寸可能偏大,这个时候需要按照比例对该待处理区域进行缩小处理,尽量使得待训练区域中每个像素的长度等于1毫米。反之,如果待训练区域小于或等于第二预设区域,则表示该待训练区域的尺寸可能偏大,这个时候需要按照比例对该待处理区域进行缩小处理,尽量使得待训练区域中每个像素的长度等于1毫米。
实现上述图像处理的方式为,在纵轴(z轴)方向上进行插值,本发明采用了常用的线性插值,使图像在xyz三个方向上单位物理距离相同。
插值可以分为图像内插值和图像间插值,其主要应用是对图像进行放大以及旋转等操作,是根据一幅较低分辨率图像再生出另一幅均具有较高分辨率的图像,是图像内插值。图像间的插值,也叫图像的超分辨率重建,是指在一图像序列之间再生出若干幅新的图像,可应用于医学图像序列切片和视频序列之间的插值图像内插值实际上是对单帧图像的图像重建过程,这就意味着生成原始图像中没有的数据。
需要说明的是,本发明所采用的插值方式可以是邻近插值、样条插值、双线性插值、双平方插值、双立方插值以及其他高阶方法,此处不做限定。
其中,最临近插值即将每一个原像素原封不动地复制映射到扩展后对应多个像素中。这种方法在放大图像的同时保留了所有的原图像的所有信息。在传统图像插值算法中,最临近像素插值较简单,容易实现。
双线性插值法具有平滑功能,能有效地克服最临近像素插值的不足。
高阶插值是在放大倍数比较高时,如双三次插值和三次样条插值等比低阶插值效果好。
其次,本发明实施例中,服务器还可以在提取医学图像样本集合中每个医学图像样本所对应的待训练区域之后,对待训练区域进行相应的处理,如果待训练区域大于或等于第一预设区域,则对待训练区域进行缩小处理,反之,如果待训练区域小于或等于第二预设区域,则对待训练区域进行放大处理。通过上述方式,即可对待训练区域进行图像插值处理,可以从低分辨率图像生成高分辨率图像,用以恢复图像中所丢失的信息,让待训练区域在三维图像中各方向的单位物理长度为等距状态,便于模型的度量和计算。
可选地,在上述图6或者图6对应的第四个实施例的基础上,本发明实施例提供的模型训练的方法第五个可选实施例中,提取医学图像样本集合中每个医学图像样本所对应的待训练区域之后,还可以包括:
获取每个待训练区域所对应的反射值区间,其中,反射值区间的最大值为第一反射值,反射值区间的最小值为第二反射值;
根据反射值区间对每个待训练区域进行归一化处理,以得到归一化区域;
根据每个医学图像样本所对应的待训练区域以及每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型,可以包括:
根据每个医学图像样本所对应的归一化区域,以及每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型;
其中,根据反射值区间对每个待训练区域进行归一化处理,以得到归一化区域,可以包括:
采用如下方式得到归一化区域:
其中,xout表示归一化区域,x表示待训练区域的像素点值,xmax表示第一反射值,xmin表示第二反射值。
本实施例中,在分割得到待训练区域之后,为了让模型能够更取得更好的训练效果,还需要对待训练区域进行归一化处理。其目的在于使所有待训练区域在量纲上处于统一状态,方便度量与模型计算。
为了便于介绍,请参阅图10,图10为本发明实施例中调整待训练区域的一个流程示意图,如图所示,在获取到待训练区域之后还需要根据反射值区间对待训练区域进行归一化处理,从而得到归一化区域。在后续的模型训练过程中,采用经过归一化处理后的归一化区域以及每个医学图像样本携带对应的标注信息进行训练,从而得到医学图像识别模型。
具体地,归一化处理可以将图像所有像素集中在肺窗为-600Hu至1024Hu 区间内,然后将整张图像线性放缩至0.0至1.0之间。其中,肺窗的窗宽表示可视化CT值的范围,不同的窗宽可以看到不同的内容细节。采用图像方式可以得到归一化区域:
其中,xout表示归一化区域,x表示待训练区域的像素点值,xmax表示第一反射值,xmin表示第二反射值。
以上述肺窗为-600Hu至1024Hu为例,那么xmax为1024,xmin为-600,假设x为1000,则得到xout的归一化区域表示为0.985。
可以理解的是,图像归一化是指对图像进行了一系列标准的处理变换,使之变换为一固定标准形式的过程,该标准图像称作归一化图像。原始图像在经历一些处理或攻击后可以得到多种副本图像,这些图像在经过相同参数的图像归一化处理后能够得到相同形式的标准图像。
图像归一化利用图像的不变矩,寻找一组参数使其能够消除其他变换函数对图像变换的影响,将待处理的原始图像转换成相应的唯一标准形式(该标准形式图像对平移、旋转以及缩放等仿射变换具有不变特性)。
基于矩的图像归一化技术基本工作原理为,首先利用图像中对仿射变换具有不变性的矩来确定变换函数的参数,然后利用此参数确定的变换函数把原始图像变换为一个标准形式的图像(该图像与仿射变换无关)。一般说来,基于矩的图像归一化过程包括4个步骤,即坐标中心化、x-shearing归一化、缩放归一化和旋转归一化。图像归一化使得图像可以抵抗几何变换的攻击,它能够找出图像中的那些不变量,从而得知这些图像原本就是一样的或者一个系列的。
归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。目的是为了:第一,避免具有不同物理意义和量纲的输入变量不能平等使用;第二,神经网络中常采用sigmoid函数作为转移函数,归一化能够防止净输入绝对值过大引起的神经元输出饱和现象;第三,保证输出数据中数值小的不被吞食。
神经网络中归一化的原因具体为,归一化是为了加快训练网络的收敛性,可以不进行归一化处理;归一化的具体作用是归纳统一样本的统计分布性。归一化在0至1之间是统计的概率分布。无论是为了建模还是为了计算,首先基本度量单位要同一,神经网络是以样本在事件中的统计分别几率来进行训练(概率计算)和预测的,归一化是同一在0至1之间的统计概率分布。当所有样本的输入信号都为正值时,与第一隐含层神经元相连的权值只能同时增加或减小,从而导致学习速度很慢。为了避免出现这种情况,加快网络学习速度,可以对输入信号进行归一化,使得所有样本的输入信号其均值接近于0或与其均方差相比很小。归一化是因为sigmoid函数的取值是0到1之间的,网络最后一个节点的输出也是如此,所以经常要对样本的输出归一化处理。
线性归一化可以放大和缩小原始图像的长度和宽度,保留图像的线性性质。有时候特征块图像可能不是所要求的形式,这时就要求进行对切割后的图像中心的位置做适当的更正,使之统一到相同的位置上,故采用非线性归一化技术。
图像归一化的好处包括,第一,转换成标准模式,防止仿射变换的影响。第二,减小几何变换的影响。第三,加快梯度下降求最优解的速度。
再次,本发明实施例中,在提取医学图像样本集合中每个医学图像样本所对应的待训练区域之后,为了让模型能够取得更好的训练效果,服务器还可以获取每个待训练区域所对应的反射值区间,再根据反射值区间对每个待训练区域进行归一化处理,以得到归一化区域。通过上述方式,对待训练区域进行归一化处理,将整个待训练区域线性缩放至0到1之间,把有量纲表达式变为无量纲表达式,使所有待训练区域所对应的图像在量纲上处于统一状态,从而便于数据处理,使得数据的运算更加便捷高效。
可选地,在上述图6对应的实施例的基础上,本发明实施例提供的模型训练的方法第六个可选实施例中,根据每个医学图像样本所对应的待训练区域以及每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型,可以包括:
采用随机梯度下降算法SGD,通过残差网络resnet-18结构对每个医学图像样本所对应的待训练区域,以及每个医学图像样本携带对应的标注信息进行训练,以得到训练结果;
根据训练结果获取多个验证集损失值;
根据多个验证集损失值确定医学图像识别模型。
本实施例中,在获取到经过处理的医学图像样本之后,可以结合每个医学图像样本携带对应的标注信息进行异常检测的分类网络训练。医学图像识别模型根据不同图像的标注信息,将各类图像分为支气管扩张、肺气肿、肺不张、渗出、实变、增值、纤维化、钙化、肿块、结节、空洞、空腔、胸腔积液、液气胸以及气胸等症状。该医学图像识别模型采用深度学习中的残差网络resnet-18结构,通过随机梯度下降算法(stochastic gradient descent,SGD) 进行模型优化。最后进行模型评估,选取符合指标的模型结果并保存。
为了便于介绍,请参阅图11,图11为本发明实施例中建立医学图像识别模型的一个流程示意图,如图所示,首先建立一个深度学习神经网络——残差网络resnet-18结构。其中,残差函数更容易优化,能使网络层数大大加深,且残差学习解决了随网络深度增加带来的退化问题,残差网络更容易优化,收敛更快。而本发明采用resnet-18结构进行深度学习,具有更高的性价比。
接下来,需要训练优化函数SGD,设定学习率与迭代次数,学习率越大表示收敛更快,根据训练结果可以得到每组验证集所对应的验证集损失值,选择其中的最小值作为最优解,从而推导出相应的模型。
以简单的二元函数为例,如果我们想找到二元函数的极值,一般第一步我们是对该二元函数求导,然后令其为0,找出此时自变量的值,将该自变量代入函数式,即可求出该函数的极值。随机梯度下降算法是为了解决深度学习中多元目标函数的最优值问题,已经有很多该算法的变种算法。那么在深度学习中,针对实际问题,我们首先需要建立一个模型,然后确定一个目标函数。目标函数通常是网络输出值和目标之间的误差,误差的形式有很多种,例如常见的有平方差以及交叉熵等等。训练模型的目的是使得目标函数达到极小值。对于一个深度神经网络,它的参数数目比较庞大,因此目标函数通常是一个包含很多参量的非线性函数。对于这个非线性函数,我们采用的是随机梯度下降算法来对参数进行更新。具体步骤如下:(1)对网络参数进行初始化,一般情况下,权重初始化为均值是0,方差为0.01的高斯分布随机值,而偏置统一初始化为0;(2)将参数代入网络计算前馈输出值,从而可以根据已有的目标标签得出目标函数值;(3)根据目标函数值以及各参数与目标函数所构成的树结构,运用后向传播算法计算出每个参数的梯度;(4)设置学习率大小(随着迭代的步骤增多,学习率通常要逐渐减小,这样可以有效避免训练中出现误差震荡情况),进行参数更新,最一般的更新方式是新参数=旧参数-学习率×梯度;(5)重复进行第2至4步,直到网络收敛为止,从而确定模型。
需要说明的是,在实际应用中,除了可以采用resnet-18结构进行模型训练,还可以采用多种基于卷积神经网络的模型结构进行分类,其本质都是属于神经网络对图像进行特征提取、特征融合以及特征判别。
此外,在特征的提取上还可以采用尺度不变特征变换(scale-invariant featuretransform,SIFT)或者方向梯度直方图(histogram of oriented gradient,HOG)等图像处理算法,用诸如支持向量机(support vector machine,SVM)、多层感知器(multi-layerperceptron,MLP)或者迭代算法(adaboost)等分类器进行分类处理,此处不做限定。
其次,本发明实施例中,介绍了一种训练得到医学图像识别模型的方式,具体可以采用SGD的方式再通过resnet-18结构对每个医学图像样本所对应的待训练区域,以及每个医学图像样本携带对应的标注信息进行训练,以得到训练结果,然后根据训练结果获取多个验证集损失值,最后根据多个验证集损失值确定医学图像识别模型。通过上述方式,使用SGD对参数进行更新能够保证模型训练的性能,而resnet-18结构具有较好的性价比,同样有利于模型训练性能的优化。
可选地,在上述图6对应的第六个实施例的基础上,本发明实施例提供的模型训练的方法第七个可选实施例中,根据多个验证集损失值确定医学图像识别模型,可以包括:
从多个验证集损失值中确定目标验证集损失值,其中,目标验证集损失值属于多个验证集损失值中的最小值;
将目标验证集损失值所对应的训练结果确定为医学图像识别模型。
本实施例中,将介绍一种优化优化医学图像识别模型的方式。服务器需要从多个验证集损失值中确定目标验证集损失值,其中,该目标验证集损失值属于多个验证集损失值中的最小值,然后将目标验证集损失值所对应的训练结果确定为医学图像识别模型。
具体地,在对模型进行训练之前会提前设定一个目标函数,且尽可能使得训练集均在该目标函数上。然而,事实上并不一定能使得这些训练集都能拟合在目标函数上,因此,需要对该目标函数进行反复调整和修改。当这些训练集与目标函数之间的距离最小时,则表示拟合效果已经达到最优化,因此,也就可以将最小值状态下的目标函数作为最后所需的训练结果,从而得到医学图像识别模型。
其中,拟合就是把平面上一系列的点,用一条光滑的曲线连接起来。因为这条曲线有无数种可能,从而有各种拟合方法。很多因素会对曲线拟合产生影响,导致拟合效果又好有坏,为了改善拟合质量。可以采用如下方式:
(1)模型的选择:这是最主要的一个因素,试着用各种不同的模型对数据进行拟合比较;
(2)数据预处理:在拟合前对数据进行预处理也很有用,这包括对响应数据进行变换以及剔除有明显错误的点;
(3)合理的拟合应该具有处理出现奇异而使得预测趋于无穷大的时候的能力;
(5)将数据分解为几个子集,对不同的子集采用不同的曲线拟合;
(6)复杂的问题最好通过进化的方式解决,即一个间题的少量独立变量先解决。低阶问题的解通常通过近似映射作为高阶问题解的起始点。
再次,本发明实施例中,介绍了一种优化医学图像识别模型的方式,即服务器先从多个验证集损失值中确定目标验证集损失值,其中,目标验证集损失值属于多个验证集损失值中的最小值,然后将目标验证集损失值所对应的训练结果确定为医学图像识别模型。通过上述方式,在得到验证集损失值中的最小值时,表示当前这个模型更满足实际情况,也就表示更贴近于模型的真实性,由此得到优化后的医学图像识别模型,选择符合指标的模型结果并保存。
可选地,在上述图6对应的实施例的基础上,本发明实施例提供的模型训练的方法第八个可选实施例中,根据每个医学图像样本所对应的待训练区域以及每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型之后,还可以包括:
获取待识别医学图像集合,其中,待识别医学图像集合中包含至少一个待识别医学图像;
提取待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,待识别区域属于待识别医学图像中的部分图像;
通过医学图像识别模型确定每个待识别区域的识别结果,其中,识别结果用于表示待识别医学图像的类型。
本实施例中,介绍了一种使用医学图像识别模型对医学图像进行识别的方式。以肺部图像为例进行介绍,请参阅图12,图12为本发明实施例中加载医学图像识别模型的一个流程示意图,如图所示,在医学图像识别的场景下,服务器首先获取待识别医学图像集合,需要说明的是,这里的待识别医学图像集合可以只包括一个待识别医学图像,也可以包括多个待识别医学图像。接下来,服务器会对对每个待识别医学图像进行特征提取,由此得到待识别区域,提取特征的过程中包括对待识别医学图像进行图像插值以及归一化处理。服务器将每个待识别区域输入至医学图像模型,由该医学图像模型输出每个待识别区域所对应的识别结果,该识别结果即可表示待识别医学图像的类型,比如“正常”、“肺气肿”、“支气管扩张”或者“钙化”等。
其中,医学图像识别模型为通过大量医学图像样本训练得到的,每个医学图像样本携带对应的标注信息,比如1号肺部图像样本的标注信息为“正常”,2号肺部图像样本的标注信息为“肺气肿”,3号肺部图像样本的标注信息为“钙化”等等,这里的标注信息通常是人工标注得到的。
其次,本发明实施例中,服务器在训练得到医学图像识别模型之后,还可以利用该医学图像识别模型对待识别医学图像集合进行识别,即先提取待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,待识别区域属于待识别医学图像中的部分图像,再通过医学图像识别模型确定每个待识别区域的识别结果。通过上述方式,采用医学图像识别模型代替人工标注,可以大幅地节省人工标注成本与时间成本。此外,采用该模型对医学图像进行识别,可以适用于多种场景,识别的准确率不会随着使用者的不同而造成偏差,具有较强的可靠性和可信度。
下面对本发明中一个实施例所对应的服务器进行详细描述,请参阅图 13,图13为本发明实施例中服务器一个实施例示意图,服务器30包括:
获取模块301,用于获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像;
提取模块302,用于提取所述获取模块301获取的所述待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像;
确定模块303,用于通过医学图像识别模型确定所述提取模块302提取的每个待识别区域的识别结果,其中,所述医学图像识别模型为根据医学图像样本集合训练得到的,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述识别结果用于表示待识别医学图像的类型。
本实施例中,获取模块301获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像,提取模块302提取所述获取模块301获取的所述待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像,确定模块303通过医学图像识别模型确定所述提取模块302提取的每个待识别区域的识别结果,其中,所述医学图像识别模型为根据医学图像样本集合训练得到的,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述识别结果用于表示待识别医学图像的类型。
本发明实施例中,提供了一种医学图像的识别方法,首先,服务器获取待识别医学图像集合,待识别医学图像集合中包含至少一个待识别医学图像,然后提取待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,待识别区域属于待识别医学图像中的部分图像,最后通过医学图像识别模型确定每个待识别区域的识别结果,医学图像识别模型为根据医学图像样本集合训练得到的,医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,标注信息用于表示医学图像样本的类型,识别结果用于表示待识别医学图像的类型。通过上述方式,采用医学图像识别模型代替人工标注,可以大幅地节省人工标注成本与时间成本。此外,采用该模型对医学图像进行识别,可以适用于多种场景,识别的准确率不会随着使用者的不同而造成偏差,具有较强的可靠性和可信度。
下面对本发明中另一个实施例所对应的服务器进行详细描述,请参阅图 14,图14为本发明实施例中服务器一个实施例示意图,服务器40包括:
获取模块401,用于获取待训练的医学图像样本集合,其中,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型;
提取模块402,用于提取所述获取模块401获取的所述医学图像样本集合中每个医学图像样本所对应的待训练区域,其中,所述待训练区域属于所述医学图像样本中的部分图像;
训练模块403,用于根据所述提取模块提取的所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型。
本实施例中,获取模块401获取待训练的医学图像样本集合,其中,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,提取模块402 提取所述获取模块401获取的所述医学图像样本集合中每个医学图像样本所对应的待训练区域,其中,所述待训练区域属于所述医学图像样本中的部分图像,训练模块403根据所述提取模块提取的所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型。
本发明实施例中,获取待训练的医学图像样本集合,其中,医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,标注信息用于表示医学图像样本的类型,然后提取医学图像样本集合中每个医学图像样本所对应的待训练区域,其中,待训练区域属于医学图像样本中的部分图像,最后根据每个医学图像样本所对应的待训练区域以及每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型。通过上述方式,可以训练得到医学图像识别模型,该模型能够代替人工标注,可以大幅地节省人工标注成本与时间成本。此外,模型还可以根据实际需求进行训练,优化输出的结果,相比于人工输出结果而言具有更强的容错性。
可选地,在上述图14所对应的实施例的基础上,请参阅图15,本发明实施例提供的服务器40的另一实施例中,所述服务器40还包括确定模块404;
所述获取模块401,还用于获取待训练的医学图像样本集合之前,所获取原始医学图像集合,其中,所述原始医学图像集合包含至少一个原始医学图像;
所述获取模块401,还用于获取所述原始医学图像集合中每个原始医学图像的标签信息,其中,所述标签信息包括与所述原始医学图像关联的信息;
所述确定模块404,用于若所述获取模块401获取的所述原始医学图像的标签信息满足样本提取条件,则确定所述原始医学图像为所述医学图像样本,直至从所述原始医学图像集合中获取到所述待训练的医学图像样本集合。
其次,本发明实施例中,在获取原始医学图像集合,需要对原始医学图像集合中每个原始医学图像的标签信息进行分析,只有标签信息满足样本提取条件的原始医学图像才能作为医学图像样本。通过上述方式,利用标签信息可以滤除大量无关的原始医学图像,从而节省训练的时间成本,使得整体数据更纯粹,由此提升模型训练的质量和效果。
可选地,在上述图14所对应的实施例的基础上,请参阅图16,本发明实施例提供的服务器40的另一实施例中,所述服务器40还包括确定模块404 以及匹配模块405;
所述获取模块401,还用于获取原始医学图像集合,其中,所述原始医学图像集合包含至少一个原始医学图像;
所述获取模块401,还用于获取所述原始医学图像集合中每个原始医学图像的标签信息,其中,所述标签信息包括与所述原始医学图像关联的信息;
所述匹配模块405,用于若所述获取模块401获取的所述原始医学图像的标签信息满足样本提取条件,则将所述原始医学图像与目标医学图像进行匹配,其中,所述目标医学图像为预先设定的图像模板;
所述确定模块404,用于若所述获取模块401获取的所述原始医学图像与所述目标医学图像匹配成功,则确定所述原始医学图像为所述医学图像样本,直至从所述原始医学图像集合中获取到所述待训练的医学图像样本集合。
其次,本发明实施例中,首先服务器获取原始医学图像集合,然后获取原始医学图像集合中每个原始医学图像的标签信息,如果原始医学图像的标签信息满足样本提取条件,则继续将原始医学图像与目标医学图像进行匹配,只有在原始医学图像与目标医学图像匹配成功的情况下,才可以确定原始医学图像为医学图像样本,直至从原始医学图像集合中获取到待训练的医学图像样本集合。通过上述方式,同时利用标签信息以及模板对原始医学图像进行匹配,双重校验保证了整体输入数据在后续处理的有效性,避免无关数据混入整体系统,对整个异常检测分类至关重要,从而进一步节省训练的时间成本,由此提升模型训练的质量和效果。
可选地,在上述图14所对应的实施例的基础上,本发明实施例提供的服务器40的另一实施例中,
所述提取模块402,具体用于根据预设反射值对所述所述医学图像样本集合中每个医学图像样本进行二值化处理,以得到所述每个医学图像样本所对应的二值医学图像;
采用目标医学图像对每个二值医学图像进行匹配,以提取所述每个二值医学图像所对应的待处理区域,其中,所述目标医学图像为预先设定的图像模板;
对每个待处理区域进行图像平滑处理,以生成所述每个待处理区域所对应的待提取轮廓,其中,所述图像平滑处理包括对所述每个待处理区域进行开操作处理和/或闭操作处理;
采用每个待提取轮廓从所述每个医学图像样本中分别提取对应的所述待训练区域。
其次,本发明实施例中,提取医学图像样本集合中每个医学图像样本所对应的待训练区域,具体可以包括先根据预设反射值对医学图像样本集合中每个医学图像样本进行二值化处理,以得到每个医学图像样本所对应的二值医学图像,然后采用目标医学图像对每个二值医学图像进行匹配,以提取每个二值医学图像所对应的待处理区域,再对每个待处理区域进行图像平滑处理,以生成每个待处理区域所对应的待提取轮廓,最后采用每个待提取轮廓从每个医学图像样本中分别提取对应的待训练区域。通过上述方式,能够更准确地从医学图像样本中提取待训练区域,从而节省大量的计算时间成本,使医学图像识别模型专注于具体区域的检测,避免造成错误信息检测,提升模型准确率。
可选地,在上述图14所对应的实施例的基础上,请参阅图17,本发明实施例提供的服务器40的另一实施例中,所述服务器40还包括处理模块406;
所述处理模块406,用于所述提取模块402提取的所述医学图像样本集合中每个医学图像样本所对应的待训练区域之后,若所述待训练区域大于或等于第一预设区域,则对所述待训练区域进行缩小处理;
所述处理模块406,用于若所述提取模块402提取的所述待训练区域小于或等于第二预设区域,则对所述待训练区域进行放大处理。
其次,本发明实施例中,服务器还可以在提取医学图像样本集合中每个医学图像样本所对应的待训练区域之后,对待训练区域进行相应的处理,如果待训练区域大于或等于第一预设区域,则对待训练区域进行缩小处理,反之,如果待训练区域小于或等于第二预设区域,则对待训练区域进行放大处理。通过上述方式,即可对待训练区域进行图像插值处理,可以从低分辨率图像生成高分辨率图像,用以恢复图像中所丢失的信息,让待训练区域在三维图像中各方向的单位物理长度为等距状态,便于模型的度量和计算。
可选地,在上述图14或图17所对应的实施例的基础上,本发明实施例提供的服务器40的另一实施例中,
所述获取模块401,还用于所述提取模块402提取所述医学图像样本集合中每个医学图像样本所对应的待训练区域之后,获取每个待训练区域所对应的反射值区间,其中,所述反射值区间的最大值为第一反射值,所述反射值区间的最小值为第二反射值;
所述处理模块406,还用于根据所述获取模块401获取的所述反射值区间对所述每个待训练区域进行归一化处理,以得到归一化区域;
所述训练模块403,具体用于根据所述每个医学图像样本所对应的归一化区域,以及所述每个医学图像样本携带对应的标注信息,训练得到所述医学图像识别模型;
所述处理模块406,具体用于采用如下方式得到所述归一化区域:
其中,所述xout表示所述归一化区域,所述x表示所述待训练区域的像素点值,所述xmax表示所述第一反射值,所述xmin表示所述第二反射值。
再次,本发明实施例中,在提取医学图像样本集合中每个医学图像样本所对应的待训练区域之后,为了让模型能够取得更好的训练效果,服务器还可以获取每个待训练区域所对应的反射值区间,再根据反射值区间对每个待训练区域进行归一化处理,以得到归一化区域。通过上述方式,对待训练区域进行归一化处理,将整个待训练区域线性缩放至0到1之间,把有量纲表达式变为无量纲表达式,使所有待训练区域所对应的图像在量纲上处于统一状态,从而便于数据处理,使得数据的运算更加便捷高效。
可选地,在上述图14所对应的实施例的基础上,本发明实施例提供的服务器40的另一实施例中,
所述训练模块403,具体用于采用随机梯度下降算法SGD,通过残差网络resnet-18结构对所述每个医学图像样本所对应的待训练区域,以及所述每个医学图像样本携带对应的标注信息进行训练,以得到训练结果;
根据所述训练结果获取多个验证集损失值;
根据所述多个验证集损失值确定所述医学图像识别模型。
其次,本发明实施例中,介绍了一种训练得到医学图像识别模型的方式,具体可以采用SGD的方式再通过resnet-18结构对每个医学图像样本所对应的待训练区域,以及每个医学图像样本携带对应的标注信息进行训练,以得到训练结果,然后根据训练结果获取多个验证集损失值,最后根据多个验证集损失值确定医学图像识别模型。通过上述方式,使用SGD对参数进行更新能够保证模型训练的性能,而resnet-18结构具有较好的性价比,同样有利于模型训练性能的优化。
可选地,在上述图14所对应的实施例的基础上,本发明实施例提供的服务器40的另一实施例中,
所述确定模块404,具体用于从所述多个验证集损失值中确定目标验证集损失值,其中,所述目标验证集损失值属于所述多个验证集损失值中的最小值;
将所述目标验证集损失值所对应的训练结果确定为所述医学图像识别模型。
再次,本发明实施例中,介绍了一种优化医学图像识别模型的方式,即服务器先从多个验证集损失值中确定目标验证集损失值,其中,目标验证集损失值属于多个验证集损失值中的最小值,然后将目标验证集损失值所对应的训练结果确定为医学图像识别模型。通过上述方式,在得到验证集损失值中的最小值时,表示当前这个模型更满足实际情况,也就表示更贴近于模型的真实性,由此得到优化后的医学图像识别模型,选择符合指标的模型结果并保存。
可选地,在上述图14所对应的实施例的基础上,本发明实施例提供的服务器40的另一实施例中,
所述获取模块401,还用于所述训练模块403根据所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型之后,获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像;
所述提取模块402,还用于提取所述获取模块401获取的所述待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像;
所述确定模块404,还用于通过所述医学图像识别模型确定所述提取模块 402提取的每个待识别区域的识别结果,其中,所述识别结果用于表示待识别医学图像的类型。
其次,本发明实施例中,服务器在训练得到医学图像识别模型之后,还可以利用该医学图像识别模型对待识别医学图像集合进行识别,即先提取待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,待识别区域属于待识别医学图像中的部分图像,再通过医学图像识别模型确定每个待识别区域的识别结果。通过上述方式,采用医学图像识别模型代替人工标注,可以大幅地节省人工标注成本与时间成本。此外,采用该模型对医学图像进行识别,可以适用于多种场景,识别的准确率不会随着使用者的不同而造成偏差,具有较强的可靠性和可信度。
图18是本发明实施例提供的一种服务器结构示意图,该服务器500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器 (central processingunits,CPU)522(例如,一个或一个以上处理器)和存储器532,一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器522可以设置为与存储介质530通信,在服务器500上执行存储介质530中的一系列指令操作。
服务器500还可以包括一个或一个以上电源526,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口558,和/或,一个或一个以上操作系统541,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM, FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图18所示的服务器结构。
本发明实施例中,CPU 522用于执行如下步骤:
获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像;
提取所述待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像;
通过医学图像识别模型确定每个待识别区域的识别结果,其中,所述医学图像识别模型为根据医学图像样本集合训练得到的,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述识别结果用于表示待识别医学图像的类型。
本发明实施例中,CPU 522用于执行如下步骤:
获取待训练的医学图像样本集合,其中,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型;
提取所述医学图像样本集合中每个医学图像样本所对应的待训练区域,其中,所述待训练区域属于所述医学图像样本中的部分图像;
根据所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型。
可选地,本发明实施例中,CPU 522还用于执行如下步骤:
获取原始医学图像集合,其中,所述原始医学图像集合包含至少一个原始医学图像;
获取所述原始医学图像集合中每个原始医学图像的标签信息,其中,所述标签信息包括与所述原始医学图像关联的信息;
若所述原始医学图像的标签信息满足样本提取条件,则确定所述原始医学图像为所述医学图像样本,直至从所述原始医学图像集合中获取到所述待训练的医学图像样本集合。
可选地,本发明实施例中,CPU 522还用于执行如下步骤:
获取原始医学图像集合,其中,所述原始医学图像集合包含至少一个原始医学图像;
获取所述原始医学图像集合中每个原始医学图像的标签信息,其中,所述标签信息包括与所述原始医学图像关联的信息;
若所述原始医学图像的标签信息满足样本提取条件,则将所述原始医学图像与目标医学图像进行匹配,其中,所述目标医学图像为预先设定的图像模板;
若所述原始医学图像与所述目标医学图像匹配成功,则确定所述原始医学图像为所述医学图像样本,直至从所述原始医学图像集合中获取到所述待训练的医学图像样本集合。
可选地,本发明实施例中,CPU 522具体用于执行如下步骤:
根据预设反射值对所述所述医学图像样本集合中每个医学图像样本进行二值化处理,以得到所述每个医学图像样本所对应的二值医学图像;
采用目标医学图像对每个二值医学图像进行匹配,以提取所述每个二值医学图像所对应的待处理区域,其中,所述目标医学图像为预先设定的图像模板;
对每个待处理区域进行图像平滑处理,以生成所述每个待处理区域所对应的待提取轮廓,其中,所述图像平滑处理包括对所述每个待处理区域进行开操作处理和/或闭操作处理;
采用每个待提取轮廓从所述每个医学图像样本中分别提取对应的所述待训练区域。
可选地,本发明实施例中,CPU 522还用于执行如下步骤:
若所述待训练区域大于或等于第一预设区域,则对所述待训练区域进行缩小处理;
若所述待训练区域小于或等于第二预设区域,则对所述待训练区域进行放大处理。
可选地,本发明实施例中,CPU 522还用于执行如下步骤:
获取每个待训练区域所对应的反射值区间,其中,所述反射值区间的最大值为第一反射值,所述反射值区间的最小值为第二反射值;
根据所述反射值区间对所述每个待训练区域进行归一化处理,以得到归一化区域;
CPU 522具体用于执行如下步骤:
根据所述每个医学图像样本所对应的归一化区域,以及所述每个医学图像样本携带对应的标注信息,训练得到所述医学图像识别模型;
CPU 522具体用于执行如下步骤:
采用如下方式得到所述归一化区域:
其中,所述xout表示所述归一化区域,所述x表示所述待训练区域的像素点值,所述xmax表示所述第一反射值,所述xmin表示所述第二反射值。
可选地,本发明实施例中,CPU 522具体用于执行如下步骤:
采用随机梯度下降算法SGD,通过残差网络resnet-18结构对所述每个医学图像样本所对应的待训练区域,以及所述每个医学图像样本携带对应的标注信息进行训练,以得到训练结果;
根据所述训练结果获取多个验证集损失值;
根据所述多个验证集损失值确定所述医学图像识别模型。
可选地,本发明实施例中,CPU 522具体用于执行如下步骤:
从所述多个验证集损失值中确定目标验证集损失值,其中,所述目标验证集损失值属于所述多个验证集损失值中的最小值;
将所述目标验证集损失值所对应的训练结果确定为所述医学图像识别模型。
可选地,本发明实施例中,CPU 522还用于执行如下步骤:
获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像;
提取所述待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像;
通过所述医学图像识别模型确定每个待识别区域的识别结果,其中,所述识别结果用于表示待识别医学图像的类型。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(Digital Versatile Disc,DVD))、或者半导体介质(例如固态硬盘(Solid State Disk,SSD)等。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (15)
1.一种医学图像的识别方法,其特征在于,包括:
获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像,所述待识别医学图像集合为根据待识别原始医学图像的标签信息对待识别原始医学图像集合进行筛选得到的,所述标签信息包括待识别原始医学图像所对应的病人标识、医院标识、检测设备标识、检测部位信息以及检测医生信息中的任意一种或组合;
根据预设反射值对所述待识别医学图像集合中每个待识别医学图像进行二值化处理,以得到所述每个待识别医学图像所对应的二值医学图像;
采用目标医学图像对每个二值医学图像进行匹配,以提取每个二值医学图像所对应的待处理区域,其中,所述目标医学图像为预先设定的图像模板;
对每个待处理区域进行图像平滑处理,以生成所述每个待处理区域所对应的待提取轮廓,其中,所述图像平滑处理包括对所述每个待处理区域进行开操作处理和/或闭操作处理;
采用每个待提取轮廓从所述每个待识别医学图像中分别提取对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像;
通过医学图像识别模型确定每个待识别区域的识别结果,其中,所述医学图像识别模型为根据医学图像样本集合训练得到的,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述识别结果用于表示待识别医学图像的类型。
2.根据权利要求1所述的识别方法,其特征在于,所述获取待识别医学图像集合之前,所述方法还包括:
获取待识别原始医学图像集合,其中,所述待识别原始医学图像集合包含至少一个待识别原始医学图像;
获取所述待识别原始医学图像集合中每个待识别原始医学图像的标签信息,其中,所述标签信息包括与所述待识别原始医学图像关联的信息;
若所述待识别原始医学图像的标签信息满足样本提取条件,则确定所述待识别原始医学图像为所述待识别医学图像,直至从所述待识别原始医学图像集合中获取到所述待识别医学图像集合。
3.根据权利要求1所述的识别方法,其特征在于,所述获取待识别医学图像集合之前,所述方法还包括:
获取待识别原始医学图像集合,其中,所述待识别原始医学图像集合包含至少一个待识别原始医学图像;
获取所述待识别原始医学图像集合中每个待识别原始医学图像的标签信息,其中,所述标签信息包括与所述待识别原始医学图像关联的信息;
若所述待识别原始医学图像的标签信息满足样本提取条件,则将所述待识别原始医学图像与目标医学图像进行匹配,其中,所述目标医学图像为预先设定的图像模板;
若所述待识别原始医学图像与所述目标医学图像匹配成功,则确定所述待识别原始医学图像为所述待识别医学图像,直至从所述待识别原始医学图像集合中获取到所述待识别医学图像集合。
4.根据权利要求1所述的方法,其特征在于,所述提取所述待识别医学图像集合中每个待识别医学图像所对应的待识别区域之后,所述方法还包括:
若所述待识别区域大于或等于第一预设区域,则对所述待识别区域进行缩小处理;
若所述待识别区域小于或等于第二预设区域,则对所述待识别区域进行放大处理。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述提取所述待识别医学图像集合中每个待识别医学图像所对应的待识别区域之后,所述方法还包括:
获取每个待识别区域所对应的反射值区间,其中,所述反射值区间的最大值为第一反射值,所述反射值区间的最小值为第二反射值;
根据所述反射值区间对所述每个待识别区域进行归一化处理,以得到归一化区域;
所述通过医学图像识别模型确定每个待识别区域的识别结果,包括:
通过所述医学图像识别模型确定所述每个待识别区域的归一化区域所对应的识别结果;
其中,所述根据所述反射值区间对所述每个待识别区域进行归一化处理,以得到归一化区域,包括:
采用如下方式得到所述归一化区域:
其中,所述xout表示所述归一化区域,所述x表示所述待识别区域的像素点值,所述xmax表示所述第一反射值,所述xmin表示所述第二反射值。
6.一种模型训练的方法,其特征在于,包括:
获取待训练的医学图像样本集合,其中,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述待训练的医学图像样本集合为根据待训练的医学图像样本的标签信息对待训练的医学图像样本集合进行筛选得到的,所述标签信息包括待训练的医学图像样本所对应的病人标识、医院标识、检测设备标识、检测部位信息以及检测医生信息中的任意一种或组合;
根据预设反射值对所述医学图像样本集合中每个医学图像样本进行二值化处理,以得到所述每个医学图像样本所对应的二值医学图像;
采用目标医学图像对每个二值医学图像进行匹配,以提取每个二值医学图像所对应的待处理区域,其中,所述目标医学图像为预先设定的图像模板;
对每个待处理区域进行图像平滑处理,以生成所述每个待处理区域所对应的待提取轮廓,其中,所述图像平滑处理包括对所述每个待处理区域进行开操作处理和/或闭操作处理;
采用每个待提取轮廓从所述每个医学图像样本中分别提取对应的待训练区域,其中,所述待训练区域属于所述医学图像样本中的部分图像;
根据所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型。
7.根据权利要求6所述的方法,其特征在于,所述根据所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型,包括:
采用随机梯度下降算法SGD,通过残差网络resnet-18结构对所述每个医学图像样本所对应的待训练区域,以及所述每个医学图像样本携带对应的标注信息进行训练,以得到训练结果;
根据所述训练结果获取多个验证集损失值;
根据所述多个验证集损失值确定所述医学图像识别模型。
8.根据权利要求7所述的方法,其特征在于,所述根据所述多个验证集损失值确定所述医学图像识别模型,包括:
从所述多个验证集损失值中确定目标验证集损失值,其中,所述目标验证集损失值属于所述多个验证集损失值中的最小值;
将所述目标验证集损失值所对应的训练结果确定为所述医学图像识别模型。
9.根据权利要求6所述的方法,其特征在于,所述根据所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型之后,所述方法还包括:
获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像;
提取所述待识别医学图像集合中每个待识别医学图像所对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像;
通过所述医学图像识别模型确定每个待识别区域的识别结果,其中,所述识别结果用于表示待识别医学图像的类型。
10.一种服务器,其特征在于,包括:
获取模块,用于获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像,所述待识别医学图像集合为根据待识别原始医学图像的标签信息对待识别原始医学图像集合进行筛选得到的,所述标签信息包括待识别原始医学图像所对应的病人标识、医院标识、检测设备标识、检测部位信息以及检测医生信息中的任意一种或组合;
提取模块,用于根据预设反射值对所述待识别医学图像集合中每个待识别医学图像进行二值化处理,以得到所述每个待识别医学图像所对应的二值医学图像;采用目标医学图像对每个二值医学图像进行匹配,以提取每个二值医学图像所对应的待处理区域,其中,所述目标医学图像为预先设定的图像模板;对每个待处理区域进行图像平滑处理,以生成所述每个待处理区域所对应的待提取轮廓,其中,所述图像平滑处理包括对所述每个待处理区域进行开操作处理和/或闭操作处理;采用每个待提取轮廓从所述每个待识别医学图像中分别提取对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像;
确定模块,用于通过医学图像识别模型确定所述提取模块提取的每个待识别区域的识别结果,其中,所述医学图像识别模型为根据医学图像样本集合训练得到的,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述识别结果用于表示待识别医学图像的类型。
11.一种服务器,其特征在于,包括:
获取模块,用于获取待训练的医学图像样本集合,其中,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述待训练的医学图像样本集合为根据待训练的医学图像样本的标签信息对待训练的医学图像样本集合进行筛选得到的,所述标签信息包括待训练的医学图像样本所对应的病人标识、医院标识、检测设备标识、检测部位信息以及检测医生信息中的任意一种或组合;
提取模块,用于根据预设反射值对所述医学图像样本集合中每个医学图像样本进行二值化处理,以得到所述每个医学图像样本所对应的二值医学图像;采用目标医学图像对每个二值医学图像进行匹配,以提取每个二值医学图像所对应的待处理区域,其中,所述目标医学图像为预先设定的图像模板;对每个待处理区域进行图像平滑处理,以生成所述每个待处理区域所对应的待提取轮廓,其中,所述图像平滑处理包括对所述每个待处理区域进行开操作处理和/或闭操作处理;采用每个待提取轮廓从所述每个医学图像样本中分别提取对应的待训练区域,其中,所述待训练区域属于所述医学图像样本中的部分图像;
训练模块,用于根据所述提取模块提取的所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型。
12.一种服务器,其特征在于,所述服务器包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待识别医学图像集合,其中,所述待识别医学图像集合中包含至少一个待识别医学图像,所述待识别医学图像集合为根据待识别原始医学图像的标签信息对待识别原始医学图像集合进行筛选得到的,所述标签信息包括待识别原始医学图像所对应的病人标识、医院标识、检测设备标识、检测部位信息以及检测医生信息中的任意一种或组合;
根据预设反射值对所述待识别医学图像集合中每个待识别医学图像进行二值化处理,以得到所述每个待识别医学图像所对应的二值医学图像;
采用目标医学图像对每个二值医学图像进行匹配,以提取每个二值医学图像所对应的待处理区域,其中,所述目标医学图像为预先设定的图像模板;
对每个待处理区域进行图像平滑处理,以生成所述每个待处理区域所对应的待提取轮廓,其中,所述图像平滑处理包括对所述每个待处理区域进行开操作处理和/或闭操作处理;
采用每个待提取轮廓从所述每个待识别医学图像中分别提取对应的待识别区域,其中,所述待识别区域属于所述待识别医学图像中的部分图像;
通过医学图像识别模型确定每个待识别区域的识别结果,其中,所述医学图像识别模型为根据医学图像样本集合训练得到的,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述识别结果用于表示待识别医学图像的类型;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
13.一种服务器,其特征在于,所述服务器包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待训练的医学图像样本集合,其中,所述医学图像样本集合包含至少一个医学图像样本,每个医学图像样本携带对应的标注信息,所述标注信息用于表示医学图像样本的类型,所述待训练的医学图像样本集合为根据待训练的医学图像样本的标签信息对待训练的医学图像样本集合进行筛选得到的,所述标签信息包括待训练的医学图像样本所对应的病人标识、医院标识、检测设备标识、检测部位信息以及检测医生信息中的任意一种或组合;
根据预设反射值对所述医学图像样本集合中每个医学图像样本进行二值化处理,以得到所述每个医学图像样本所对应的二值医学图像;
采用目标医学图像对每个二值医学图像进行匹配,以提取每个二值医学图像所对应的待处理区域,其中,所述目标医学图像为预先设定的图像模板;
对每个待处理区域进行图像平滑处理,以生成所述每个待处理区域所对应的待提取轮廓,其中,所述图像平滑处理包括对所述每个待处理区域进行开操作处理和/或闭操作处理;
采用每个待提取轮廓从所述每个医学图像样本中分别提取对应的待训练区域,其中,所述待训练区域属于所述医学图像样本中的部分图像;
根据所述每个医学图像样本所对应的待训练区域以及所述每个医学图像样本携带对应的标注信息,训练得到医学图像识别模型;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
14.一种医学图像识别系统,其特征在于,所述医学图像识别系统包括图像扫描设备图像处理设备;
图像扫描设备用于扫描医学图像,并向所述图像处理设备发送所述医学图像;
图像处理设备用于执行如上述权利要求1至5中任一项所述的方法,或者执行如上述权利要求6至9中任一项所述的方法。
15.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如上述权利要求1至5中任一项所述的方法,或者执行如上述权利要求6至9中任一项所述的方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811296263.6A CN109461495B (zh) | 2018-11-01 | 2018-11-01 | 一种医学图像的识别方法、模型训练的方法及服务器 |
JP2021508060A JP7383010B2 (ja) | 2018-11-01 | 2019-10-29 | 医用画像認識方法及びシステム、並びに、モデルトレーニング方法、コンピュータ装置、及びプログラム |
PCT/CN2019/114090 WO2020088469A1 (zh) | 2018-11-01 | 2019-10-29 | 一种医学图像的识别方法、模型训练的方法及计算机设备 |
EP19878946.3A EP3770850B1 (en) | 2018-11-01 | 2019-10-29 | Medical image identifying method, model training method, and computer device |
US17/078,266 US11961226B2 (en) | 2018-11-01 | 2020-10-23 | Medical image recognition method, model training method, and computer device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811296263.6A CN109461495B (zh) | 2018-11-01 | 2018-11-01 | 一种医学图像的识别方法、模型训练的方法及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109461495A CN109461495A (zh) | 2019-03-12 |
CN109461495B true CN109461495B (zh) | 2023-04-14 |
Family
ID=65609213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811296263.6A Active CN109461495B (zh) | 2018-11-01 | 2018-11-01 | 一种医学图像的识别方法、模型训练的方法及服务器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11961226B2 (zh) |
EP (1) | EP3770850B1 (zh) |
JP (1) | JP7383010B2 (zh) |
CN (1) | CN109461495B (zh) |
WO (1) | WO2020088469A1 (zh) |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109461495B (zh) * | 2018-11-01 | 2023-04-14 | 腾讯科技(深圳)有限公司 | 一种医学图像的识别方法、模型训练的方法及服务器 |
CN109820507B (zh) * | 2019-03-25 | 2024-03-08 | 钟霁媛 | 疾病辅助诊断方法及装置 |
CN109934841A (zh) * | 2019-03-27 | 2019-06-25 | 上海宽带技术及应用工程研究中心 | 肝部轮廓的检测方法、系统、存储介质、终端及显示系统 |
CN109978860B (zh) * | 2019-03-27 | 2021-07-16 | 北京青燕祥云科技有限公司 | 胸水判别方法、装置和计算机设备 |
CN110009645B (zh) * | 2019-04-11 | 2023-06-23 | 东北大学 | 一种肝癌病灶影像的双层轮廓分割方法 |
CN110176302A (zh) * | 2019-04-17 | 2019-08-27 | 南京医科大学 | 利用生成对抗网络模型的下肢力线智能标定确认方法 |
US11195277B2 (en) * | 2019-04-25 | 2021-12-07 | GE Precision Healthcare LLC | Systems and methods for generating normative imaging data for medical image processing using deep learning |
CN110135508B (zh) * | 2019-05-21 | 2022-11-29 | 腾讯科技(深圳)有限公司 | 模型训练方法、装置、电子设备及计算机可读存储介质 |
CN110491480B (zh) * | 2019-05-22 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 一种医疗图像处理方法、装置、电子医疗设备和存储介质 |
CN110175255B (zh) * | 2019-05-29 | 2022-04-05 | 腾讯医疗健康(深圳)有限公司 | 图像标注的方法、基于病理图像的标注展示方法及装置 |
CN110390665B (zh) * | 2019-05-30 | 2021-11-02 | 哈尔滨工业大学(深圳) | 基于深度学习多通道与图嵌法的膝关节病症超声诊断方法 |
CN110363744B (zh) * | 2019-06-10 | 2021-08-06 | 深圳市智影医疗科技有限公司 | 一种肺部年龄检测方法及设备 |
CN110276411B (zh) * | 2019-06-28 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、设备、存储介质和医疗电子设备 |
CN110288097A (zh) * | 2019-07-01 | 2019-09-27 | 腾讯科技(深圳)有限公司 | 一种模型训练的方法以及相关装置 |
CN110378313B (zh) * | 2019-07-26 | 2021-05-18 | 玖壹叁陆零医学科技南京有限公司 | 细胞团识别方法、装置及电子设备 |
KR102078876B1 (ko) * | 2019-09-03 | 2020-02-20 | 주식회사 루닛 | 기흉 검출 방법 및 시스템 |
CN110766652B (zh) * | 2019-09-06 | 2022-12-20 | 上海联影智能医疗科技有限公司 | 网络训练方法、装置、分割方法、计算机设备和存储介质 |
CN110517783B (zh) * | 2019-09-18 | 2023-02-03 | 东软集团股份有限公司 | 模型训练方法、装置以及心脏疾病诊断装置、设备、介质 |
CN110633385B (zh) * | 2019-09-24 | 2023-05-12 | 天津医科大学 | 一种医学影像的检索与压缩方法 |
CN110717910B (zh) * | 2019-10-16 | 2020-09-08 | 太原华瑞星辰医药科技有限公司 | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 |
CN112855127A (zh) * | 2019-11-28 | 2021-05-28 | 北京国双科技有限公司 | 气井积液识别方法及装置 |
CN111191062B (zh) * | 2019-12-11 | 2023-08-04 | 中国平安财产保险股份有限公司 | 图片处理方法、装置、计算机设备和存储介质 |
CN111079753B (zh) * | 2019-12-20 | 2023-08-22 | 长沙千视通智能科技有限公司 | 一种基于深度学习与大数据结合的车牌识别方法及装置 |
CN111163265A (zh) * | 2019-12-31 | 2020-05-15 | 成都旷视金智科技有限公司 | 图像处理方法、装置、移动终端及计算机存储介质 |
CN111311589A (zh) * | 2020-03-05 | 2020-06-19 | 上海市肺科医院(上海市职业病防治院) | 一种肺部结节检测及性质判定系统及方法 |
US11599742B2 (en) * | 2020-04-22 | 2023-03-07 | Dell Products L.P. | Dynamic image recognition and training using data center resources and data |
CN111784631A (zh) * | 2020-05-20 | 2020-10-16 | 上海联影智能医疗科技有限公司 | 一种图像处理装置、方法及存储介质 |
CN111640126B (zh) * | 2020-05-29 | 2023-08-22 | 成都金盘电子科大多媒体技术有限公司 | 基于医学影像的人工智能诊断辅助方法 |
CN111640127B (zh) * | 2020-05-29 | 2023-08-22 | 成都金盘电子科大多媒体技术有限公司 | 一种用于骨科的精准临床诊断导航方法 |
CN113515988B (zh) * | 2020-07-09 | 2023-05-23 | 腾讯科技(深圳)有限公司 | 掌纹识别方法、特征提取模型训练方法、设备及介质 |
CN112053292B (zh) * | 2020-07-21 | 2024-06-07 | 深圳先进技术研究院 | 医学图像的处理方法、处理装置及计算机可读存储介质 |
CN111861926B (zh) * | 2020-07-24 | 2023-09-29 | 南京信息工程大学滨江学院 | 一种基于空域组增强机制与长短时记忆网络的图像去雨方法 |
CN112233125B (zh) * | 2020-10-15 | 2023-06-02 | 平安科技(深圳)有限公司 | 图像分割方法、装置、电子设备及计算机可读存储介质 |
CN112259199B (zh) * | 2020-10-29 | 2024-08-13 | 西交利物浦大学 | 医疗图像分类模型的训练方法、系统、存储介质及医疗图像处理装置 |
CN112257638A (zh) * | 2020-10-30 | 2021-01-22 | 重庆紫光华山智安科技有限公司 | 一种图像比对方法、系统、设备及计算机可读存储介质 |
TWI777319B (zh) * | 2020-12-03 | 2022-09-11 | 鴻海精密工業股份有限公司 | 幹細胞密度確定方法、裝置、電腦裝置及儲存介質 |
CN112883774A (zh) * | 2020-12-31 | 2021-06-01 | 厦门易仕特仪器有限公司 | 行人重识别数据增强方法、装置、设备及可读存储介质 |
CN112967778B (zh) * | 2021-03-17 | 2024-02-02 | 复旦大学附属华山医院 | 基于机器学习的炎症性肠病精准用药方法及系统 |
CN113688788B (zh) * | 2021-04-02 | 2023-04-25 | 四川大学 | 基于深度学习的头侧片上气道图像自动识别方法和系统 |
US11830189B2 (en) * | 2021-04-02 | 2023-11-28 | Anode IP LLC | Systems and methods to process ultrasound images for musculoskeletal conditions |
CN112991320B (zh) * | 2021-04-07 | 2022-04-01 | 德州市人民医院 | 脑出血患者血肿扩大风险预测系统及方法 |
CN112948952B (zh) * | 2021-04-08 | 2023-05-23 | 郑州航空工业管理学院 | 一种盾构隧道衬砌背后空洞的演化预测方法 |
CN112927230B (zh) * | 2021-04-26 | 2024-08-16 | 常州市第一人民医院 | 一种影像图像的处理分析系统 |
IT202100012116A1 (it) * | 2021-05-11 | 2022-11-11 | Lightscience Srl | Sistema e metodo di controllo qualità di campioni biologici |
CN113362225B (zh) * | 2021-06-03 | 2022-06-14 | 太原科技大学 | 基于残差递归补偿和特征融合的多描述压缩图像增强方法 |
CN113361435A (zh) * | 2021-06-16 | 2021-09-07 | 中国农业大学 | 一种卷积神经网络实现的信号曲线自动解卷积方法 |
CN113610764A (zh) * | 2021-07-12 | 2021-11-05 | 深圳市银星智能科技股份有限公司 | 地毯识别方法、装置、智能设备及存储介质 |
CN113380381A (zh) * | 2021-07-13 | 2021-09-10 | 深圳市中科微光医疗器械技术有限公司 | 获取医学诊断信息的方法、装置、电子设备及存储介质 |
CN113762285A (zh) * | 2021-09-10 | 2021-12-07 | 程明霞 | 一种分析和处理医学影像的系统及方法 |
US11521321B1 (en) * | 2021-10-07 | 2022-12-06 | Qure.Ai Technologies Private Limited | Monitoring computed tomography (CT) scan image |
CN113903433B (zh) * | 2021-10-14 | 2022-11-15 | 数坤(北京)网络科技股份有限公司 | 一种图像处理方法、装置和电子设备 |
CN113962974A (zh) * | 2021-10-27 | 2022-01-21 | 阿波罗智联(北京)科技有限公司 | 图像处理方法、装置、电子设备和介质 |
CN113786214B (zh) * | 2021-11-16 | 2022-03-08 | 深圳迈瑞软件技术有限公司 | 一种超声成像设备及其超声图像的快速标注方法 |
US11861832B2 (en) * | 2021-12-03 | 2024-01-02 | Qure.Ai Technologies Private Limited | Automatically determining a brock score |
CN114092470B (zh) * | 2021-12-08 | 2022-08-09 | 之江实验室 | 一种基于深度学习的肺裂自动检测方法及装置 |
CN114429638B (zh) * | 2022-04-06 | 2022-07-08 | 四川省大数据中心 | 一种施工图审查管理系统 |
CN114881937B (zh) * | 2022-04-15 | 2022-12-09 | 北京医准智能科技有限公司 | 一种针对超声切面的检测方法、装置及计算机可读介质 |
CN115272328B (zh) * | 2022-09-28 | 2023-01-24 | 北京核信锐视安全技术有限公司 | 一种面向新冠肺炎的肺部超声影像检测模型训练系统 |
CN116152246B (zh) * | 2023-04-19 | 2023-07-25 | 之江实验室 | 一种图像识别方法、装置、设备及存储介质 |
CN116597988B (zh) * | 2023-07-18 | 2023-09-19 | 济南蓝博电子技术有限公司 | 一种基于医疗信息的智慧医院运营方法及系统 |
CN116681701B (zh) * | 2023-08-02 | 2023-11-03 | 青岛市妇女儿童医院(青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心) | 一种儿童肺部超声图像处理方法 |
CN117808975B (zh) * | 2024-02-27 | 2024-05-03 | 天津市肿瘤医院(天津医科大学肿瘤医院) | 一种基于深度学习的肺部图像手术规划三维重建方法 |
CN117934286B (zh) * | 2024-03-21 | 2024-06-04 | 西华大学 | 一种轻量级图像超分辨率方法、装置及其电子设备 |
CN118230098B (zh) * | 2024-05-23 | 2024-08-02 | 电子科技大学(深圳)高等研究院 | 用于医学图像的模型训练方法、分割方法及设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE212015000240U1 (de) * | 2015-12-17 | 2017-05-24 | Hefei University Of Technology | System zur medizinischen Bildannotation |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3852998B2 (ja) * | 1996-12-25 | 2006-12-06 | シャープ株式会社 | 画像処理装置 |
US7400757B2 (en) * | 2001-10-04 | 2008-07-15 | Siemens Medical Solutions Usa, Inc. | System and method for segmenting the left ventricle in a cardiac image |
JPWO2015015851A1 (ja) | 2013-07-30 | 2017-03-02 | コニカミノルタ株式会社 | 医用画像システム及び関節軟骨状態のスコア判定方法 |
CN104462738B (zh) * | 2013-09-24 | 2018-10-30 | 西门子公司 | 一种标注医学图像的方法、装置和系统 |
JP6296769B2 (ja) * | 2013-11-29 | 2018-03-20 | セコム株式会社 | 物体検出装置 |
CN115690558A (zh) * | 2014-09-16 | 2023-02-03 | 华为技术有限公司 | 数据处理的方法和设备 |
CN105975793A (zh) * | 2016-05-23 | 2016-09-28 | 麦克奥迪(厦门)医疗诊断系统有限公司 | 一种基于数字病理图像的癌症辅助诊断方法 |
JP7037875B2 (ja) * | 2016-06-20 | 2022-03-17 | 日本電信電話株式会社 | 画像正規化装置、方法、及びコンピュータ読み取り可能な記録媒体 |
US10417788B2 (en) * | 2016-09-21 | 2019-09-17 | Realize, Inc. | Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks |
US10242443B2 (en) | 2016-11-23 | 2019-03-26 | General Electric Company | Deep learning medical systems and methods for medical procedures |
CN106780460B (zh) * | 2016-12-13 | 2019-11-08 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测系统 |
JP2018117883A (ja) | 2017-01-25 | 2018-08-02 | 国立大学法人大阪大学 | 学習装置、識別装置、識別方法、及びプログラム |
JP6801490B2 (ja) * | 2017-02-14 | 2020-12-16 | 日本電気株式会社 | 画像認識システム |
US10169873B2 (en) * | 2017-03-23 | 2019-01-01 | International Business Machines Corporation | Weakly supervised probabilistic atlas generation through multi-atlas label fusion |
CN107563983B (zh) * | 2017-09-28 | 2020-09-01 | 上海联影医疗科技有限公司 | 图像处理方法以及医学成像设备 |
CN108427951B (zh) * | 2018-02-08 | 2023-08-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
JP7028322B2 (ja) * | 2018-07-09 | 2022-03-02 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
CN109461495B (zh) * | 2018-11-01 | 2023-04-14 | 腾讯科技(深圳)有限公司 | 一种医学图像的识别方法、模型训练的方法及服务器 |
JP2022113972A (ja) * | 2021-01-26 | 2022-08-05 | 株式会社エヌ・ティ・ティ・ロジスコ | 画像認識を用いた検品システム、検品方法及び検品システム用プログラム |
-
2018
- 2018-11-01 CN CN201811296263.6A patent/CN109461495B/zh active Active
-
2019
- 2019-10-29 WO PCT/CN2019/114090 patent/WO2020088469A1/zh unknown
- 2019-10-29 EP EP19878946.3A patent/EP3770850B1/en active Active
- 2019-10-29 JP JP2021508060A patent/JP7383010B2/ja active Active
-
2020
- 2020-10-23 US US17/078,266 patent/US11961226B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE212015000240U1 (de) * | 2015-12-17 | 2017-05-24 | Hefei University Of Technology | System zur medizinischen Bildannotation |
Also Published As
Publication number | Publication date |
---|---|
EP3770850A1 (en) | 2021-01-27 |
EP3770850A4 (en) | 2021-08-18 |
WO2020088469A1 (zh) | 2020-05-07 |
CN109461495A (zh) | 2019-03-12 |
EP3770850B1 (en) | 2024-06-26 |
US11961226B2 (en) | 2024-04-16 |
US20210042564A1 (en) | 2021-02-11 |
JP2021518966A (ja) | 2021-08-05 |
JP7383010B2 (ja) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109461495B (zh) | 一种医学图像的识别方法、模型训练的方法及服务器 | |
Yun et al. | Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net | |
CN110706246B (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
US11562491B2 (en) | Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
El-Regaily et al. | Survey of computer aided detection systems for lung cancer in computed tomography | |
CN110310287B (zh) | 基于神经网络的危及器官自动勾画方法、设备和存储介质 | |
Suzuki et al. | Massive-training artificial neural network coupled with Laplacian-eigenfunction-based dimensionality reduction for computer-aided detection of polyps in CT colonography | |
WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
CN110706225B (zh) | 基于人工智能的肿瘤识别系统 | |
CN110276741B (zh) | 结节检测及其模型训练的方法和装置以及电子设备 | |
CN114092450B (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
Liu et al. | A fully automatic segmentation algorithm for CT lung images based on random forest | |
Liu et al. | Automatic lung segmentation based on image decomposition and wavelet transform | |
CN115136189A (zh) | 基于图像处理的肿瘤的自动化检测 | |
Tan et al. | Segmentation of lung airways based on deep learning methods | |
CN109978004B (zh) | 图像识别方法及相关设备 | |
Khordehchi et al. | Automatic lung nodule detection based on statistical region merging and support vector machines | |
Liu et al. | Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement | |
Lee et al. | Hybrid airway segmentation using multi-scale tubular structure filters and texture analysis on 3D chest CT scans | |
Klinder et al. | Lobar fissure detection using line enhancing filters | |
CN112862787B (zh) | Cta影像数据处理方法、装置及存储介质 | |
CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
Mousavi Moghaddam et al. | Lung parenchyma segmentation from CT images with a fully automatic method | |
CN112862785A (zh) | Cta影像数据识别方法、装置及存储介质 | |
Obayya et al. | Lung cancer recognition using radon transform and adaptive neuro fuzzy inference system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |