CN113724186A - 一种数据处理方法、装置、设备及介质 - Google Patents
一种数据处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113724186A CN113724186A CN202110263415.8A CN202110263415A CN113724186A CN 113724186 A CN113724186 A CN 113724186A CN 202110263415 A CN202110263415 A CN 202110263415A CN 113724186 A CN113724186 A CN 113724186A
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- angiographic
- intracranial
- angiography
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000002583 angiography Methods 0.000 claims abstract description 286
- 238000007917 intracranial administration Methods 0.000 claims abstract description 283
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 279
- 238000012545 processing Methods 0.000 claims abstract description 164
- 238000012549 training Methods 0.000 claims abstract description 101
- 238000000034 method Methods 0.000 claims abstract description 70
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 85
- 238000013467 fragmentation Methods 0.000 claims description 60
- 238000006062 fragmentation reaction Methods 0.000 claims description 60
- 238000002372 labelling Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 20
- 210000002385 vertebral artery Anatomy 0.000 claims description 17
- 230000000704 physical effect Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000007499 fusion processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 36
- 201000008450 Intracranial aneurysm Diseases 0.000 description 51
- 210000004556 brain Anatomy 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 210000001367 artery Anatomy 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 10
- 210000001715 carotid artery Anatomy 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000013526 transfer learning Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 206010002329 Aneurysm Diseases 0.000 description 4
- 208000010392 Bone Fractures Diseases 0.000 description 4
- 206010017076 Fracture Diseases 0.000 description 4
- 239000002872 contrast media Substances 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 208000028698 Cognitive impairment Diseases 0.000 description 2
- 208000032851 Subarachnoid Hemorrhage Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000001627 cerebral artery Anatomy 0.000 description 2
- 208000010877 cognitive disease Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 230000035899 viability Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 210000000702 aorta abdominal Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001105 femoral artery Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000004013 groin Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000002690 local anesthesia Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Vascular Medicine (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Epidemiology (AREA)
- Biophysics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请实施例公开了一种数据处理方法、装置、设备及介质,其中,该方法包括:获取初始样本血管造影图像集;基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签,并将处理后样本血管造影图像以及第二标签添加至目标样本血管造影图像集中;采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型。采用本申请实施例能够解决样本数量不足的问题,保证造影图像识别模型的训练过程,保证训练后的造影图像识别模型的性能。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、一种数据处理装置、一种数据处理设备及一种计算机可读存储介质。
背景技术
颅内动脉瘤是颅内动脉血管壁经过血流长期冲击而形成的、一种外形和瘤体相似的异物。由于潜伏无症状的颅内动脉瘤在一般人群中并不少见,并且颅内动脉瘤破裂所导致的蛛网膜下腔出血致死率较高(约为50%),并且大部分幸存者(高达46%)可能遭受长期认知障碍,极大影响生活能力和质量。因此,预测颅内动脉瘤的破碎风险具有较为重要的意义。
又由于颅内动脉瘤的破碎风险与颅内血管具有相关性,如某一颅内血管中的颅内动脉瘤的破碎风险较大,因此可以通过识别颅内动脉瘤DSA(Digital subtractionangiography,数字减影血管造影)影像中的颅内血管,从而预测该颅内血管中颅内动脉瘤的破碎风险。而如何识别颅内动脉瘤DSA影像中的颅内血管成为医学领域研究的重要话题。
发明内容
本申请实施例提供一种数据处理方法、装置、设备及介质,能够解决样本数量不足的问题,保证造影图像识别模型的训练过程,保证训练后的造影图像识别模型的性能。
一方面,本申请实施例提供一种数据处理方法,该数据处理方法包括:
获取初始样本血管造影图像集,初始样本血管造影图像集包括第一样本血管造影图像和第一样本血管造影图像的第一标签,第一样本血管造影图像的第一标签指示第一样本血管造影图像是对颅内第一血管进行造影处理得到的;
基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签,并将处理后样本血管造影图像以及第二标签添加至目标样本血管造影图像集中;第二标签指示处理后样本血管造影图像是对颅内第二血管进行造影处理得到的,颅内第一血管和颅内第二血管之间满足颅内血管的物理特性;
采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型,训练后的造影图像识别模型用于预测任意血管造影图像,任意血管图像是通过对颅内目标血管进行造影处理得到的。
另一方面,本申请实施例提供一种数据处理装置,该装置包括:
获取单元,用于获取初始样本血管造影图像集,初始样本血管造影图像集包括第一样本血管造影图像和第一样本血管造影图像的第一标签,第一样本血管造影图像的第一标签指示第一样本血管造影图像是对颅内第一血管进行造影处理得到的;
处理单元,用于基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签,并将处理后样本血管造影图像以及第二标签添加至目标样本血管造影图像集中;第二标签指示处理后样本血管造影图像是对颅内第二血管进行造影处理得到的,颅内第一血管和颅内第二血管之间满足颅内血管的物理特性;
处理单元,还用于采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型,训练后的造影图像识别模型用于预测任意血管造影图像,任意血管图像是通过对颅内目标血管进行造影处理得到的。
在一种实现方式中,颅内血管的物理特性包括对称性;处理单元用于基于颅内血管的物理特性对所述第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像时,具体用于:
基于颅内血管的物理特性所包括的对称性,对第一样本血管造影图像进行左右镜像处理,得到与第一样本血管造影图像对称的处理后样本血管造影图像,并将处理后样本血管造影图像添加至目标样本血管造影图像集中。
在一种实现方式中,颅内第一血管为颅内血管中任意一种,颅内血管包括:左颈动脉血管、右颈动脉血管、左椎动脉血管以及右椎动脉血管;任一血管造影图像的标签是包括多个元素的向量,每个元素对应一个颅内血管;
第一样本血管造影图像对应的第一标签中,与颅内第一血管对应的元素值为第一元素值,与除颅内第一血管外其他颅内血管对应的元素值为第二元素值。
在一种实现方式中,处理单元用于基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签时,具体用于:
将第一标签中颅内第一血管对应的元素值由第一元素值调整为第二元素值;以及,将第一标签中的颅内第二血管对应的元素值由所述第二元素值,调整为第一元素值;
将调整后的第一标签作为处理后样本血管造影图像的第二标签。
在一种实现方式中,初始样本血管造影图像集中还包括第二样本血管造影图像,第二样本血管造影图像是对颅内第三血管进行造影处理得到的,颅内第一血管与颅内第三血管不同;颅内血管的物理特性包括可融合性;处理单元用于基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,具体用于:
基于颅内血管的物理特性所包含的可融合性,将第一样本血管造影图像和第二样本血管造影图像进行融合处理,得到处理后样本血管造影图像。
在一种实现方式中,处理单元用于基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签时,具体用于:
将第一标签中,与颅内第三血管对应的元素值调整为第一元素值;
将调整后的第一标签确定为处理后样本血管造影图像的第二标签。
在一种实现方式中,处理单元用于采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型时,具体用于:
调用造影图像识别模型对初始样本血管造影图像集中多个样本血管造影图像进行识别处理,得到初始样本血管造影图像集中多个样本血管造影图像对应的多个第一识别结果;
调用造影图像识别模型对目标样本血管造影图像集中多个样本血管造影图像进行识别处理,得到目标样本血管造影图像集中多个样本血管造影图像对应的多个第二识别结果;
基于多个第一识别结果与相应样本血管造影图像对应的第一标签之间的差异性,以及多个第二识别结果与相应样本血管造影图像对应的第二标签之间的差异性,得到造影图像识别模型的第一损失函数;
基于第一损失函数更新造影图像识别模型的参数,以训练造影图像识别模型。
在一种实现方式中,处理单元用于基于第一损失函数更新所述造影图像识别模型的参数时,具体用于:
获取标注样本血管造影图像集,标注样本血管造影图像集包括多个标注样本血管造影图像和每个标注样本血管造影图像的标注信息,任一标注样本血管造影图像的标注信息指示任一标注样本血管造影图像中颅内第四血管所包含的目标对象的破碎信息,破碎信息包括目标对象的破碎风险信息以及目标对象的破碎时间信息;
调用造影图像识别模型对标注样本血管造影图像集中多个标注样本血管造影图像进行预测处理,得到多个标注样本血管造影图像中目标对象的预测破碎信息;
根据每个标注样本血管造影图像中目标对象的预测破碎信息与相应标注样本血管造影图像的标注信息之间的差异性,得到造影图像识别模型的第二损失函数;
基于第一损失函数、第二损失函数优化造影图像识别模型,训练后的造影图像识别模型用于预测任意血管造影图像中的颅内目标血管,以及预测任意血管造影图像中颅内目标血管的目标对象的破碎信息。
在一种实现方式中,处理单元用于基于第一损失函数、第二损失函数优化造影图像识别模型时,具体用于:
对第一损失函数和第二损失函数进行加权处理,得到加权处理后的第三损失函数;
根据第三损失函数更新造影图像识别模型的参数。
在一种实现方式中,处理单元还用于:
获取标注样本血管造影图像集,标注样本血管造影图像集包括多个标注样本血管造影图像和每个标注样本血管造影图像的标注信息,任一标注样本血管造影图像的标注信息指示任一标注样本血管造影图像中颅内第四血管所包含的目标对象的破碎信息,破碎信息包括目标对象的破碎风险信息、目标对象的破碎时间信息;
调用标注样本血管造影图像集对训练后的造影图像识别模型进行训练,得到目标造影图像识别模型,目标造影图像识别模型用于预测任意血管造影图像中包括的颅内目标血管,以及所述颅内目标血管中的目标对象的破碎信息。
在一种实现方式中,处理单元还用于:
获取待分析的血管造影图像;
调用训练后的造影图像识别模型对待分析的血管造影图像进行识别处理,得到血管造影图像中的颅内目标血管,以及颅内目标血管的目标对象的破碎信息。
另一方面,本申请实施例提供一种数据处理设备,该数据处理设备包括:
处理器,适于执行计算机程序;
计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时,实现如上述的数据处理方法。
另一方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,计算机程序适于由处理器加载并执行如上述的数据处理方法。
另一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。数据处理设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该数据处理设备执行上述的数据处理方法。
本申请实施例中,第一样本血管造影图像中具体包括哪一颅内血管是在DSA扫描前就确定的,则第一样本血管造影图像的标注信息(即颅内动脉瘤DSA影像包含哪条颅内动脉)已经蕴含在第一样本血管造影图像的第一标签中,无需人工标注数据,可提高训练效率,减少工作量;并且,基于颅内血管的物理特性对初始样本血管造影图像集中的样本血管造影图像进行数据扩充处理,得到较为丰富的、用于训练造影图像识别模型的样本血管造影图像,可保证造影图像识别模型的训练过程,得到性能较优的造影图像识别模型。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a示出了本申请一个示例性实施例提供的一种颅内动脉瘤的示意图;
图1b示出了本申请一个示例性实施例提供的一种颅内动脉瘤DSA影像的示意图;
图2示出了本申请一个示例性实施例提供的一种数据处理方法的流程示意图;
图3示出了本申请一个示例性实施例提供的一种基于对称性进行数据扩充处理的示意图;
图4示出了本申请一个示例性实施例提供的一种基于可融合性进行数据扩充处理的示意图;
图5示出了本申请一个示例性实施例提供的一种造影图像识别模型的示意图;
图6a示出了本申请一个示例性实施例提供的另一种造影图像识别模型的示意图;
图6b示出了本申请一个示例性实施例提供的另一种数据处理方法的流程示意图;
图7示出了本申请一个示例性实施例提供的另一种数据处理方法的流程示意图;
图8示出了本申请一个示例性实施例提供的另一种数据处理方法的流程示意图;
图9示出了本申请一个示例性实施例提供的一种数据处理装置的结构示意图;
图10示出了本申请一个示例性实施例提供的一种数据处理设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提出一种数据处理方案,该数据处理方案涉及如下概念及术语:
一、人工智能等技术。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。机器学习可以被看成一项任务,这个任务的目标就是让机器(广义上的计算机)通过学习来获得类似人类的智能。例如人类会下围棋,计算机程序(AlphaGo或AlphaGo Zero)被设计成掌握了围棋知识、会下围棋的程序。其中,多种方法可用来实现机器学习的任务,比如,神经网络、线性回归、决策树、支持向量机、贝叶斯分类器、强化学习、概率图模型、聚类等多种方法。
二、自监督预训练等技术。
经过实践发现,颅内动脉瘤DSA影像不同于自然图像,颅内动脉瘤DSA影像是三维医学影像数据。由于用于处理三维图像的网络模型(如三维深度卷积神经网络)拥有远远多于二维网络模型的参数需要学习,且根据颅内动脉瘤DSA影像是三维数据这一特性,使得需要大量的标注数据对网络模型进行训练,才能获得用于预测颅内动脉瘤DSA影像的网络模型。然而,在临床实践中,由于各种客观限制往往难以获取大量具有标注的数据。基于此,本申请实施例涉及的数据处理方案还涉及迁移学习(transfer learning)和自监督预训练(self-supervised pretraining),其中:
迁移学习是自然图像领域用来解决训练数据和/或标注不足的一种常用技术。迁移学习把(使用非当前任务的数据和标注)预先训练好的模型参数迁移(拷贝)到新的网络模型帮助训练。然而,在二维图像或者自然视频数据上预训练好的网络模型的参数对于颅内动脉瘤DSA影响这种三维医学影像数据不适用或不理想。
自监督预训练可以认为是迁移学习的一种变体。不同于迁移学习使用非当前任务的数据和标注对网络模型的参数进行预训练,自监督预训练依赖直接定义在当前目标任务数据上的代理任务进行预训练,并由代理任务本身提供监督信号(无需提供额外标注)。研究表明,经过自监督代理任务预训练的网络模型仅需更少的标注即可达到满意的效果。
简而言之,上述自监督预训练的主要原理包括:基于样本数量较为充足的代理任务(或称为自监督任务)对网络模型进行预训练,得到预训练后的网络模型;并由代理任务提供监督信息,基于少量标注数据的目标任务对预训练得到网络模型进行训练,(即将预训练得到的网络模型的参数迁移至新网络模型,以便于基于少量标注数据的目标任务对新网络模型进行训练)得到训练后的网络模型(或新网络模型);其中,自监督任务和目标任务具有较高的关联性。这样可以较好地解决标注不足的问题,保证网络模型的训练过程,确保训练后的网络模型的性能。
三、血管造影等技术。
血管造影是一种血管的辅助检查技术;通过将显影剂(或称为造影剂)注入血管,并利用X光(即一种电磁波,医学上常用作辅助检查)无法穿透显影剂这一特性,从而得到血管的血管造影图像。常见的血管造影技术包括数字减影血管造影(Digital SubtractionAngiography,DSA)技术,DSA技术是颅内动脉瘤诊断的金标准,通过DSA对人脑进行扫描可得到人脑的颅内动脉瘤DSA影像。所谓颅内动脉瘤(或简称为动脉瘤)是颅内动脉血管壁经过血流长期冲击而形成的、一种外形和瘤体相似的异物,颅内动脉瘤的示意图可参见图1a。
其中,采用DSA技术采集颅内的血管的血管造影图像,即对脑部的动脉血管进行血管造影处理的方式可包括:首先,对腹股沟特定区域进行局部麻醉;其次,将一根微导管插入股动脉,之后导管上行通过腹主动脉等大动脉后到达脑部的动脉血管;最后,将造影剂通过导管注入脑动脉,使其显影增强,再通过X线透射获取血管造影图像。此处的血管造影图像为颅内动脉瘤DSA影像,一并参见图1b,血管造影图像(即颅内动脉瘤DSA影像)中的颅内血管包括2条颈动脉血管(即左颈动脉血管、右颈动脉血管)和2条椎动脉血管(即左椎动脉血管、右椎动脉血管)。
需要说明的是,颅内血管具有特有的物理特性(即临床成像特点),包括但不限于:对称性(即人脑的左右对称性)、可融合性(即根据包含不同颅内血管的多张血管造影图像,可融合得到包含多个颅内血管的血管造影图像)、颅内动脉瘤DSA影像中只包含1条或2条动脉、颅内动脉瘤的好发位置(如动脉瘤好发于左颈动脉血管等等)具有偏好性等等。
由于潜伏无症状的颅内动脉瘤在一般人群中并不少见——未破裂的颅内动脉瘤的总体患病率估计为3.2%。除非偶然发现或者压迫到临近神经,大部分颅内动脉瘤在破裂前没有明显症状;并且,颅内动脉瘤破裂所导致的蛛网膜下腔出血致死率较高(约为50%),并且大部分幸存者(高达46%)可能遭受长期认知障碍,极大影响生活能力和质量。因此,鉴于颅内动脉瘤的普遍性和破裂时的高危性,颅内动脉瘤的早筛以及合适治疗方案的制定有重要临床价值。
在实际研究中发现,不同颅内血管上的动脉瘤劈裂风险不同,也就是说动脉瘤的破裂风险与其存在于哪条颅内动脉上具有一定的关联性。基于此,为了辅助医生更好地分析颅内动脉瘤的破碎风险、破碎时间等信息,以帮助患者治疗疾病,目前主要通过对颅内动脉瘤DSA影像进行预测,即预测颅内动脉瘤DSA影像中包含的是哪条颅内血管,得到颅内血管识别结果;再根据颅内血管与颅内动脉瘤之间的相关性,如某一颅内血管中的颅内动脉瘤的破碎风险较大等,采用颅内血管识别结果辅助医生分析颅内动脉瘤的破碎风险等信息。通过上述过程可知,较为准确地从颅内动脉瘤DSA影像中识别出颅内血管,对于后续分析颅内动脉瘤的破碎信息,具有较为重要的意义。基于此,本申请实施例提出一种基于颅内动脉瘤DSA影像的临床成像特点的自监督训练任务,该自监督训练任务提出一种预测颅内动脉瘤DSA影像中的颅内目标血管的预测任务;本申请实施例提出的数据处理方案是基于该自监督训练任务对造影图像识别模型进行训练实现的。
另外,本申请实施例提出的数据处理方案可以由计算机设备(或数据处理设备)来执行。此处的计算机设备可包括但不限于:诸如智能手机、平板电脑、膝上计算机、台式电脑等终端设备;或者,诸如数据处理服务器、web服务器、应用服务器等服务设备,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器,这里的服务器可以是区块链上的节点服务器。终端设备以及服务设备可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。为便于阐述,后续均以计算机设备执行本申请实施例提出的数据处理方案为例进行说明,在此对执行数据处理方案的执行主体进行说明,并不对本申请实施例产生限定。
该数据处理方案的具体实现可包括:获取初始样本血管造影图像集,初始样本血管造影图像集包括第一样本血管造影图像和第一样本血管造影图像的第一标签;基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签,并将处理后样本血管造影图像以及第二标签添加至目标样本血管造影图像集;采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型。
上述过程中,第一样本血管造影图像中具体包括哪一颅内血管是在DSA扫描前就确定的,则第一样本血管造影图像的标注信息(即颅内动脉瘤DSA影像包含哪条颅内动脉)已经蕴含在第一样本血管造影图像的第一标签中,无需人工标注数据,可提高训练效率,减少工作量;并且,基于颅内血管的物理特性对初始样本血管造影图像集中的样本血管造影图像进行数据扩充处理,得到较为丰富的、用于训练造影图像识别模型的样本血管造影图像,可保证造影图像识别模型的训练过程,得到性能较优的造影图像识别模型。
下面结合附图2详细介绍本申请提出的数据处理方案。图2示出了本申请一个示例性实施例提供的一种数据处理方法的流程示意图。该数据处理方法可以由上述提及的计算机设备来执行。该方案包括但不限于步骤S201-S203,其中:
S201、获取初始样本血管造影图像集。
初始样本血管造影图像集包括多个样本血管造影图像和每个样本血管造影图像的第一标签。其中,多个样本血管造影图像中包括第一样本血管造影图像,以及第一样本血管造影图像的第一标签;第一样本血管造影图像的第一标签可以用于指示第一样本血管造影图像是对颅内第一血管进行造影处理得到的;换句话说,通过分析第一样本血管造影图像的第一标签,可以确定第一样本血管造影图像具体包含哪一颅内血管。其中,颅内第一血管是颅内血管中的任意一种血管,正如前述所描述的,颅内血管包括:左颈动脉血管、右颈动脉血管、左椎动脉血管以及右椎动脉血管,那么颅内第一血管可以是左颈动脉血管、右颈动脉血管、左椎动脉血管以及右椎动脉血管中的任一种。
需要说明的是,(1)第一样本血管造影图像中除包括颅内第一血管外,还可以包括其他颅内血管;换句话说,一帧血管造影图像中可包括多个颅内血管。(2)若血管造影图像是通过对人体的其他部位(如胸部)进行造影处理得到的,则此时血管造影图像中包含的血管的数量和类型会与上述颅内血管有所不同,在此不作详细阐述。
下面详细介绍任一血管造影图像的标签。可选的,任一血管造影图像的标签可以表示为一个包括多个元素的向量,每个元素对应一个颅内血管。具体实现中,将任一血管造影图像的标签表示为向量y=[y1,y2,y3,y4],其中,元素y1代表左颈动脉血管,元素y2代表右颈动脉血管,元素y3代表左椎动脉血管,元素y4代表右椎动脉血管;当该任一血管造影图像中包含某一颅内血管时,该某一颅内血管对应的元素值为第一元素值(如数值1),否则,该某一颅内血管对应的元素值为第二元素值(如数值0)。例如:假设第一样本血管造影图像包含的颅内第一血管为左颈动脉血管,则在该第一样本血管造影图像对应的第一标签中,与颅内第一血管(即左颈动脉血管)对应的元素值(即元素y1的元素值)设置为第一元素值,与除颅内第一血管外其他颅内血管的元素值(即元素y2,元素y3,元素y4)设置为第二元素值;进一步的,得到该第一样本血管造影图像的第一标签为y=[0,1,0,0],表示该第一样本血管造影图像是对右颈动脉血管进行血管造影处理得到的。其中,向量y=[y1,y2,y3,y4]中的各个元素在向量中的位置可变化,如向量y=[y1,y2,y3,y4]表现为向量y=[y3,y1,y3,y4]等等,本申请实施例对此不作限定。
S202、基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签,并将处理后样本血管造影图像以及第二标签添加至目标样本血管造影图像集。
正如前述所描述的,颅内血管具有特有的颅内血管的物理特性,因此除了前述提及的自监督训练任务外,本申请实施例还支持基于颅内血管的物理特性,通过操作第一样本血管造影图像和该第一样本血管造影图像对应的第一标签,来进一步丰富用来对造影图像识别模型进行预训练的任务和数据。具体地,基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理得到处理后样本血管造影图像,以及对第一样本血管造影图像的第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签;其中,处理后样本血管造影图像的第二标签可以用于指示处理后样本血管造影图像是对颅内第二血管进行造影处理得到的,这样颅内第一血管和颅内第二血管之间满足颅内血管的物理特性。
根据不同的颅内血管的物理特性,对第一样本血管造影图像的数据扩充处理,和对第一标签的标签转化处理的方式会有所不同,下面以两种颅内血管的物理特性为例,详细阐述对第一样本血管造影图像的数据扩充处理以及对第一标签的标签转化处理的方式,其中:
(1)颅内血管的物理特性包括对称性。
基于医学领域的知识可知,人脑大致上是左右对称的,人脑的左右对称包括人脑所包含的动脉血管的左右对称。例如,左颈动脉血管和右颈动脉血管之间具有对称性,又如,左椎动脉血管和右椎动脉血管之间具有对称性。此处的左右对称可理解为:通过左脑的血管造影图像可得到同一人脑的右脑的血管造影图像。此时左脑的血管造影图像和右脑的血管造影图像之间呈现左右镜像对称。
下面以初始样本血管造影图像集中包括第一样本血管造影图像,以及第一样本血管造影图像的第一标签为例,对基于对称性对第一样本血管造影图像进行数据扩充处理,以及对第一标签进行标签转化处理的实现方式进行介绍,其中:
1)基于对称性对第一样本血管造影图像进行数据扩充处理的实现过程包括:基于颅内血管的物理特性所包括的对称性,对第一样本血管造影图像进行左右镜像处理,得到与第一样本血管造影图像对称的处理后样本血管造影图像;并将处理后样本血管造影图像添加至目标样本血管造影图像集中。举例来说,假设某一用户的左脑的血管造影图像为图3中的第一样本血管造影图像301,那么基于颅内血管的物理特性所包括的对称性,对第一样本血管造影图像301进行左右镜像处理后,可得到该某一用户的右脑的血管造影图像为图3中的处理后样本血管造影图像302。基于图3可知,第一样本血管造影图像301和处理后样本血管造影图像302呈现左右镜像对称。
2)基于对称性对第一样本血管造影图像的第一标签进行标签转化处理的实现过程包括:首先,将第一样本血管造影图像的第一标签中颅内第一血管对应的元素值,由第一元素值调整为第二元素值;其次,将第一标签中颅内第二血管对应的元素由第二元素值,调整为第一元素值;最后,将调整后的第一标签作为处理后样本血管造影图像的第二标签。再参见图3,第一样本血管造影图像301中包括的颅内第一血管为右颈动脉血管,那么第一样本血管造影图像301的标签为y=[0,1,0,0];采用上述步骤将第一样本血管造影图像301的标签进行调整,可得到处理后样本血管造影图像的第二标签为y=[1,0,0,0],即处理后样本血管造影图像是对左颈动脉血管(即颅内第二血管)进行造影处理得到的。
综上述,通过人脑的左右对称性,对第一样本血管造影图像进行数据扩充处理时,不仅产生第一样本血管造影图像对应的处理后样本血管造影图像,而且产生处理后样本血管造影图像的第二标签,可以丰富用于预训练的任务和数据,进一步提高基于样本血管造影图像训练得到的造影图像识别模型的性能。
(2)颅内血管的物理特性包括可融合性。
所谓可融合性是指将初始样本血管造影图像集中的至少两帧样本血管造影图像进行融合,来获得更为丰富的样本血管造影图像;其中,至少两帧样本血管造影图像是对不相同的颅内血管进行造影处理得到的。为了便于阐述,后续以两帧样本血管造影图像为例进行说明,两帧样本血管造影图像分别为:第一样本血管造影图像以及第二血管造影图像;其中,第二样本血管造影图像是对颅内第三血管进行造影处理得到的,颅内第一血管与颅内第三血管不同;换句话说,第一样本血管造影图像和第二样本血管造影图像是对不相同的颅内血管进行造影处理得到的。
下面以初始样本血管造影图像集中包括第一样本血管造影图像、第二样本血管造影图像、第一样本血管造影图像的第一标签以及第二样本血管造影图像的第一标签为例,对基于可融合性对第一样本血管造影图像和第二样本血管造影图像进行数据扩充处理,以及对第一样本血管造影图像的第一标签以及第二样本血管造影图像的第一标签进行标签转化处理的实现方式进行介绍,其中:
1)基于可融合性对第一样本血管造影图像和第二样本血管造影图像进行数据扩充处理的实现过程包括:基于颅内血管的物理特性所包含的可融合性,将第一样本血管造影图像和第二样本血管造影图像进行融合处理,得到处理后样本血管造影图像。结合附图4进行说明,假设初始样本血管造影图像集中包括第一样本血管造影图像401和第二血管造影图像402,那么基于颅内血管的物理特性所包括的可融合性,对第一样本血管造影图像401和目标第二血管造影图像402进行融合处理后,可得到融合后的处理后样本血管造影图像403。基于图4可知,第二样本血管造影图像402中包括第一样本血管造影图像301和第二样本血管造影图像401。
2)基于可融合性对第一样本血管造影图像的第一标签和第二样本血管造影图像的第一标签进行标签转化处理的实现过程包括:将第一样本血管造影图像的第一标签中,与颅内第三血管对应的元素值调整为第一元素值,并将调整后的第一标签确定为处理后样本血管造影图像的第二标签。换句话说,上述过程可详细阐述为如下步骤:首先,确定第二样本血管造影图像中的元素值为第一元素值的元素对应的颅内第三血管;其次,将第一样本血管造影图像的第一标签中颅内第三血管对应的元素值由第二元素值调整为第一元素值;最后,将调整后的第一样本血管造影图像的第一标签,作为处理后样本血管造影图像的第二标签。举例来说,再参见图4,假设第一样本血管造影图像401中包括的颅内第一血管为右颈动脉血管,那么第一样本血管造影图像301的第一标签为y=[0,1,0,0],假设第二样本血管造影图像401中包括的颅内第三血管为左颈动脉血管,那么第二样本血管造影图像401的第一标签为y=[1,0,0,0];将第一样本血管造影图像401的第一标签y=[0,1,0,0]和第二样本血管造影图像402的第一标签y=[1,0,0,0]进行融合处理后,得到处理后样本血管造影图像403的第二标签为y=[1,1,0,0]。
值得一提的是,上述实现方式是基于第一样本血管造影图像的第一标签进行标签转化的,在其他实现方式中还可以基于第二样本血管造影图像的第一标签进行标签转化,或者,基于所有元素的元素值均为第二元素值的原始标签(如标签y=[0,0,0,0])进行标签转化,本申请实施例对此不作限定。
需要说明的是,至少两帧样本血管造影图像的融合方式除了上述的直接融合外,还可以采用其他融合方式。例如,将至少两帧样本血管造影图像先分别进行左右镜像处理,再对镜像处理后的至少两帧样本血管造影图像进行融合处理,得到融合后的处理后样本血管造影图像。这一实现方式的具体实施过程可包括:获取空白的原始图像;其次,将第一样本血管造影图像进行左右镜像处理,以使空白的原始图像变更为包含第一样本血管造影图像对应的处理后样本血管造影图像的图像;最后,将该包含第一样本血管造影图像对应的处理后血管造影图像的图像作为原始图像,将第二样本血管造影图像进行左右镜像处理,得到同时包含第一样本血管造影图像对应的处理后血管造影图像以及第二样本血管造影图像对应的处理后血管造影图像的图像,并将该图像作为融合处理后的处理后样本血管造影图像。
S203、采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型。
造影图像识别模型可以是各种常见的轻量级分类网络模型,包括但不限于:ResNet18、EfficientNet-B0等等网络模型;其中,ResNet18分类网络模型是一种CNN特征提取网络;EfficientNet-B0分类网络模型的网络模型是一种基线网络模型,通过优化EfficientNet-B0分类网络模型的深度、宽度以及输入分辨率,可以使EfficientNet-B0分类网络模型获得较高的精度,从而保证EfficientNet-B0分类网络模型的性能。需要说明的是,造影图像识别模型可以是上述两种分类网络模型中的任一种,还可以是其他轻量级分类网络模型,本申请实施例对造影图像识别模型具体为哪种分类网络模型不作限定。
具体实现中,采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练的大致原理如下:首先,调用造影图像识别模型对初始样本血管造影图像集中多个样本血管造影图像进行识别处理,得到初始样本血管造影图像中多个样本血管造影图像对应的多个第一识别结果;其次,调用造影图像识别模型对目标样本血管造影图像集中多个样本血管造影图像进行识别处理,得到目标样本血管造影图像中多个样本血管造影图像对应的多个第二识别结果;其次,基于多个第一识别结果与相应样本血管造影图像对应的第一标签之间的差异性,以及多个第二识别结果与相应样本血管造影图像对应的第二标签之间的差异值,得到造影图像识别模型的第一损失函数;最后,基于第一损失函数更新造影图像识别模型的参数,以训练造影图像识别模型。
值得一提的是,本申请实施例支持采用二值交叉熵损失来监督造影图像识别模型的训练,其中,二值交叉熵的损失函数为:
需要说明的是,判断训练后的造影图像识别模型是否满足训练要求,是通过判断损失函数是否满足训练要求实现的。在一种实现方式,如果某一轮训练中,损失函数的损失值小于损失阈值,则确定训练得到的造影图像识别模型达到训练要求,此时可结束训练;如果某一轮训练中,损失函数的损失值等于或大于损失阈值,则确定训练得到的造影图像识别模型未达到训练要求,采用当前训练得到的造影图像识别模型进行预测不够准确,那么需要根据损失值调整造影图像识别模型的参数,实现优化造影图像识别模型,并再次输入样本血管造影图像对前一次参数调整后的造影图像识别模型进行训练,直到造影图像识别模型满足训练要求。需要说明的是,不同的网络模型其损失阈值可能不同,这里不作详细说明。在又一种实现方式中,在某一轮训练后,将损失函数的损失与历史损失值进行比较,若损失值与历史损失值的差异较小,则确定训练得到的造影图像识别模型达到训练要求,此时可结束训练;否则,再次输入样本血管造影图像对前一次参数调整后的造影图像识别模型进行训练,直到造影图像识别模型满足训练要求。
下面结合图5,以具体的一个样本血管造影图像来训练造影图像识别模型为例,对上述预训练的实现过程进行介绍。在实际的预训练过程中,包括如下步骤:①将初始样本血管造影图像集(或目标样本血管造影图像集)中的任一样本血管造影图像作为造影图像识别模型的输入。②造影识别图像模型识别该任一样本血管造影图像中包含每个颅内血管的概率,得到识别结果。其中,可用向量来表示该任一样本血管造影图像中包含每个颅内血管的概率;举例来说,用于表示该任一样本血管造影图像中包含每个颅内血管的概率的向量为p=[p3,p1,p3,p4],px对应一个颅内血管,如p1对应左颈动脉血管、p2对应右颈动脉血管、p3对应左椎动脉血管以及p4对应右椎动脉血管,px的数值可以是大于或等于0,且小于或等于100%的任意百分数,其中,x为1、2、3、4。例如,任一样本血管造影图像中包括每个颅内血管的概率表示为p=[0,100%,80%,40%],表示:该任一样本血管造影图像中包括左颈动脉血管的概率为0、该任一样本血管造影图像中包括右颈动脉血管的概率为100%、该任一样本血管造影图像中包括左椎动脉血管的概率为80%、以及该任一样本血管造影图像中包括右椎动脉血管的概率为40%。③基于该任一样本血管造影图像的识别结果与该任一样本血管造影图像对应的标签之间的差异性,得到造影图像识别模型的第一损失函数。④若第一损失函数达到训练要求,则结束训练,得到训练后的造影图像识别模型,若第一损失函数未达到训练要求,则基于第一损失函数对造影图像识别模型的参数进行调整,并重复上述步骤①-④,直至第一损失函数达到训练要求,得到训练后的造影图像识别模型。
本申请实施例中,第一样本血管造影图像中具体包括哪一颅内血管是在DSA扫描前就确定的,则第一样本血管造影图像的标注信息(即颅内动脉瘤DSA影像包含哪条颅内动脉)已经蕴含在第一样本血管造影图像的第一标签中,无需人工标注数据,可提高训练效率,减少工作量;并且,基于颅内血管的物理特性对初始样本血管造影图像集中的样本血管造影图像进行数据扩充处理,得到较为丰富的、用于训练造影图像识别模型的样本血管造影图像,可保证造影图像识别模型的训练过程,得到性能较优的造影图像识别模型。
正如前述所描述的,上述对造影图像识别模型的预训练过程是基于自监督训练任务实现的,训练得到的造影图像识别模型能够较为准确地识别出任意血管造影图像中所包含的颅内目标血管。又根据颅内血管的物理特性(如颅内动脉瘤好发位置具有偏好性、颅内动脉瘤在不同颅内血管上的发病率有着明显差异、颅内动脉瘤的破碎信息与每条颅内血管的相关性等等),本申请还支持基于自监督训练任务提出与自监督训练任务具有较高相关性的目标任务;该目标任务可以包括但不限于:预测颅内血管中颅内动脉瘤(即目标对象)的破碎信息,其中,破碎信息包括目标对象的破碎风险信息以及目标对象的破碎时间信息等等。那么基于目标任务对基于自监督训练任务训练得到的造影图像识别模型再次进行训练,可得到训练后的造影图像识别模型;该训练后造影图像识别模型可用于预测任意血管造影图像中的颅内目标血管,以及预测任意血管造影图像中颅内目标血管的目标对象的破碎信息。这样可通过少量标注信息(即标注目标对象的破碎信息的信息)的样本数据,来训练得到用于预测任意血管造影图像中颅内目标血管的目标对象的破碎信息的造影图像识别模型,提高标注信息不足的情况下造影图像识别模型在血管造影图像分析任务上的表现,得到预测性能较优的造影图像识别模型。
需要说明的是,本申请实施例支持基于自监督训练任务和目标任务一起对造影图像识别模型进行训练,得到训练后的造影图像识别模型。本申请实施例还支持先基于自监督训练任务对造影图像识别模型进行训练,得到训练后的造影图像识别模型,再基于目标任务对训练后的造影图像识别模型进行训练,得到目标造影图像识别模型。下面分别对上述这种训练方式进行介绍,其中:
(1)基于自监督训练任务和目标任务一起对造影图像识别模型进行训练,得到训练后的造影图像识别模型。
下面结合附图6a和附图6b来详细阐述这一实现方式。其中,图6a示出了本申请一个示例性实施例提供的一种多任务训练的造影图像识别模型;图6b示出了本申请一个示例性实施例提供的一种数据处理方法的流程示意图;该数据处理方法可以由上述提及的计算机设备来执行。该方案包括但不限于步骤S601-S608,其中:
S601、获取初始样本血管造影图像集,初始样本血管造影图像集包括第一样本血管造影图像和第一样本血管造影图像的第一标签。
S602、基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签,并将处理后样本血管造影图像以及第二标签添加至目标样本血管造影图像集中。
S603、调用造影图像识别模型对初始样本血管造影图像集中多个样本血管造影图像进行识别处理,得到初始样本血管造影图像中多个样本血管造影图像对应的多个第一识别结果;调用造影图像识别模型对目标样本血管造影图像集中多个样本血管造影图像进行识别处理,得到目标样本血管造影图像中多个样本血管造影图像对应的多个第二识别结果。
S604、基于多个第一识别结果与相应样本血管造影图像对应的第一标签之间的差异性,以及多个第二识别结果与相应样本血管造影图像对应的第二标签之间的差异性,得到造影图像识别模型的第一损失函数。
需要说明的是,步骤S601-S604的具体实施过程可参见图2所示实施例中步骤S201-S203的具体实施过程的相关描述,在此不作赘述。
S605、获取标注样本血管造影图像集,标注样本血管造影图像集包括多个标注样本血管造影图像和每个标注样本血管造影图像的标注信息。
其中,任一标注样本血管造影图像的标注信息指示该任一标注样本血管造影图像中颅内第四血管所包含的目标对象(如颅内动脉瘤)的破碎信息。
S606、调用造影图像识别模型对标注样本血管造影图像集中多个标注样本血管造影图像进行预测处理,得到多个标注样本血管造影图像中目标对象的预测破碎信息。
其中,根据目标任务的不同,目标对象的预测破碎信息的表现形式可不相同。例如,目标任务为预测颅内血管中目标对象的破碎风险信息,那么目标对象的预测破碎信息可表现为百分比、小数等形式;又如,目标任务为预测颅内血管中目标对象的破碎时间,那么目标对象的预测破碎信息科表现为时间段形式(如24小时)或时刻形式(如12:00)等。
S607、根据每个标注样本血管造影图像中目标对象的预测破碎信息与相应样本血管造影图像的标注信息之间的差异性,得到造影图像识别模型的第二损失函数。
需要说明的是,与第一损失函数相似的是,本申请实施例同样可采用二值交叉熵损失来监督,基于目标任务对造影图像识别模型的训练,在此不作赘述。
S608、基于第一损失函数、第二损失函数优化所述造影图像识别模型,得到训练后的造影图像识别模型。
其中,基于第一损失函数、第二损失函数优化得到的造影图像识别模型可以同时用于预测任意血管造影图像中的颅内目标血管,以及用于预测该任意血管造影图像中目标对象的破碎信息。
作为一种可选的实施方式,基于第一损失函数和第二损失函数优化造影图像识别模型的实现方式可包括:对第一损失函数和第二损失函数进行加权处理,得到加权处理后的第三损失函数;根据第三损失函数更新造影图像识别模型的参数,以训练造影图像识别模型。举例来说,假设第一损失函数为L1、第二损失函数为为L2,第一损失函数为L1的加权系数为a,第二损失函数为L2的加权系数为b,则第三损失函数L3=a*L1+b*L2。
(2)先基于自监督训练任务对造影图像识别模型进行训练,得到训练后的造影图像识别模型,再基于目标任务对训练后的造影图像识别模型进行训练,得到目标造影图像识别模型。
下面结合附图7来详细阐述这一实现方式。图7示出了本申请一个示例性实施例提供的一种数据处理方法的流程示意图;该数据处理方法可以由上述提及的计算机设备来执行。该方案包括但不限于步骤S701-S705,其中:
S701、获取初始样本血管造影图像集,初始样本血管造影图像集包括第一样本血管造影图像和第一样本血管造影图像的第一标签。
S702、基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签,并将处理后样本血管造影图像以及第二标签添加至目标样本血管造影图像集中。
S703、采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型。
S704、获取标注样本血管造影图像集,标注样本血管造影图像集包括多个标注样本血管造影图像和每个标注样本血管造影图像的标注信息。
需要说明的是,步骤S701-S703的具体实施过程可参见图2所示实施例中步骤S201-S203所示的具体实施过程的相关描述,步骤S704的具体实施过程可参见图6b所示实施例中步骤605所示的具体实施过程的相关描述,在此不作赘述。
S705、调用标注样本血管造影图像集对训练后的造影图像识别模型进行训练,得到目标造影图像识别模型。
其中,调用标注样本血管造影图像集对训练后的造影图像识别模型(即基于自监督训练任务训练得到的造影图像识别模型)进行训练的过程类似于前述描述的,调用初始样本血管造影图像集和目标样本血管踪影图像集对造影图像识别模型进行训练的过程。在此进行简要说明:调用训练后的造影图像识别模型对标注样本血管造影图像集中的多个标注样本血管造影图像进行识别处理,得到标注样本血管造影图像集中多个标注样本血管造影图像对应的预测破碎结果;基于多个标注样本血管造影图像对应的预测破碎结果与相应标注样本血管造影图像对应的标注信息之间的差异性,得到造影图像识别模型的第四损失函数;基于第四损失函数对训练后的造影图像识别模型的参数进行调整,以训练得到造影图像识别模型;训练得到的目标造影图像识别模型可以用于预测任意血管造影图像中的颅内目标血管,以及预测任意血管造影图像中颅内目标血管的目标对象的破碎信息。
综上所述,由于自监督预训练时的样本血管造影图像的标注信息已经蕴含在样本血管造影图像的标签中,因此不需要人工标注,就可以得到满足自监督训练任务的造影图像识别模型,又由于自监督训练任务与目标任务具有较高的相关度,那么通过少量标注了目标任务的标注样本血管造影图像,就可以得到满足目标任务的目标造影图像识别模型,确保少量标注下训练得到的造影图像识别模型的性能。另外,同时基于自监督训练任务和目标任务对造影图像识别模型进行训练,实现一次训练就可以得到,既可以识别血管造影图像中的颅内目标血管,又可以预测颅内目标血管上目标对象的破碎信息的目标造影图像识别模型,提高训练效率和速度。
请参见图8,图8示出了本申请一个示例性实施例提供的另一种数据处理方法的流程示意图;该数据处理方法可由前述提及的计算机设备来执行。该数据处理方法可包括步骤S801-S807,其中:
S801、获取初始样本血管造影图像集,初始样本血管造影图像集包括第一样本血管造影图像和第一样本血管造影图像的第一标签。
S802、基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签,并将处理后样本血管造影图像以及第二标签添加至目标样本血管造影图像集中。
S803、采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型。
S804、获取标注样本血管造影图像集,标注样本血管造影图像集包括多个标注样本血管造影图像和每个标注样本血管造影图像的标注信息。
S805、调用标注样本血管造影图像集对训练后的造影图像识别模型进行训练,得到目标造影图像识别模型。
需要说明的是,步骤S801-S805的具体实施过程可参见图7所示实施例中步骤S701-S705所示的具体实施过程的相关描述,在此不作赘述。
S806、获取待分析的血管造影图像。
S807、调用训练后的造影图像识别模型对待分析的血管造影图像进行识别处理,得到血管造影图像中的颅内目标血管,以及颅内目标血管的目标对象的破碎信息。
本申请实施例中,可基于颅内血管的物理特性对初始样本血管造影图像集中的样本血管造影图像进行数据扩充处理,得到较为丰富的、用于训练造影图像识别模型的样本血管造影图像,进而得到性能较优的造影图像识别模型;采用该造影图像识别模型能够有效识别任意血管造影图像(如颅内动脉瘤DSA影像)中的颅内目标血管,以及预测颅内目标血管中目标对象的破碎信息,这具有重要的临床意义。
上述详细阐述了本申请实施例的方法,为了便于更好地实施本申请实施例的上述方案,相应地,下面提供了本申请实施例的装置。
图9示出了本申请一个示例性实施例提供的一种数据处理装置的结构示意图,该数据处理装置可以用于是运行于终端中的一个计算机程序(包括程序代码);该数据处理装置可以用于执行图2、图6b、图7以及图8所示的方法实施例中的部分或全部步骤。请参见图9,该数据处理装置包括如下单元:
获取单元901,用于获取初始样本血管造影图像集,初始样本血管造影图像集包括第一样本血管造影图像和第一样本血管造影图像的第一标签,第一样本血管造影图像的第一标签指示第一样本血管造影图像是对颅内第一血管进行造影处理得到的;
处理单元902,用于基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签,并将处理后样本血管造影图像以及第二标签添加至目标样本血管造影图像集中;第二标签指示处理后样本血管造影图像是对颅内第二血管进行造影处理得到的,颅内第一血管和颅内第二血管之间满足颅内血管的物理特性;
处理单元902,还用于采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型,训练后的造影图像识别模型用于预测任意血管造影图像,任意血管造影是通过对颅内目标血管进行造影处理得到的。
在一种实现方式中,颅内血管的物理特性包括对称性;处理单元902用于基于颅内血管的物理特性对所述第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像时,具体用于:
基于颅内血管的物理特性所包括的对称性,对第一样本血管造影图像进行左右镜像处理,得到与第一样本血管造影图像对称的处理后样本血管造影图像,并将处理后样本血管造影图像添加至目标样本血管造影图像集中。
在一种实现方式中,颅内第一血管为颅内血管中任意一种,颅内血管包括:左颈动脉血管、右颈动脉血管、左椎动脉血管以及右椎动脉血管;任一血管造影图像的标签是包括多个元素的向量,每个元素对应一个颅内血管;
第一样本血管造影图像对应的第一标签中,与颅内第一血管对应的元素值为第一元素值,与除颅内第一血管外其他颅内血管对应的元素值为第二元素值。
在一种实现方式中,处理单元902用于基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签时,具体用于:
将第一标签中颅内第一血管对应的元素值由第一元素值调整为第二元素值;以及,将第一标签中的颅内第二血管对应的元素值由所述第二元素值,调整为第一元素值;
将调整后的第一标签作为处理后样本血管造影图像的第二标签。
在一种实现方式中,初始样本血管造影图像集中还包括第二样本血管造影图像,第二样本血管造影图像是对颅内第三血管进行造影处理得到的,颅内第一血管与颅内第三血管不同;颅内血管的物理特性包括可融合性;处理单元902用于基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像时,具体用于:
基于颅内血管的物理特性所包含的可融合性,将第一样本血管造影图像和第二样本血管造影图像进行融合处理,得到处理后样本血管造影图像。
在一种实现方式中,处理单元902用于基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签时,具体用于:
将第一标签中,与颅内第三血管对应的元素值调整为第一元素值;
将调整后的第一标签确定为处理后样本血管造影图像的第二标签。
在一种实现方式中,处理单元902用于采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型时,具体用于:
调用造影图像识别模型对初始样本血管造影图像集中多个样本血管造影图像进行识别处理,得到初始样本血管造影图像集中多个样本血管造影图像对应的多个第一识别结果;
调用造影图像识别模型对目标样本血管造影图像集中多个样本血管造影图像进行识别处理,得到目标样本血管造影图像集中多个样本血管造影图像对应的多个第二识别结果;
基于多个第一识别结果与相应样本血管造影图像对应的第一标签之间的差异性,以及多个第二识别结果与相应样本血管造影图像对应的第二标签之间的差异性,得到造影图像识别模型的第一损失函数;
基于第一损失函数更新造影图像识别模型的参数,以训练造影图像识别模型。
在一种实现方式中,处理单元902用于基于第一损失函数更新所述造影图像识别模型的参数时,具体用于:
获取标注样本血管造影图像集,标注样本血管造影图像集包括多个标注样本血管造影图像和每个标注样本血管造影图像的标注信息,任一标注样本血管造影图像的标注信息指示任一标注样本血管造影图像中颅内第四血管所包含的目标对象的破碎信息,破碎信息包括目标对象的破碎风险信息以及目标对象的破碎时间信息;
调用造影图像识别模型对标注样本血管造影图像集中多个标注样本血管造影图像进行预测处理,得到多个标注样本血管造影图像中目标对象的预测破碎信息;
根据每个标注样本血管造影图像中目标对象的预测破碎信息与相应标注样本血管造影图像的标注信息之间的差异性,得到造影图像识别模型的第二损失函数;
基于第一损失函数、第二损失函数优化造影图像识别模型,训练后的造影图像识别模型用于预测任意血管造影图像中的颅内目标血管,以及预测任意血管造影图像中颅内目标血管的目标对象的破碎信息。
在一种实现方式中,处理单元902用于基于第一损失函数、第二损失函数优化造影图像识别模型时,具体用于:
对第一损失函数和第二损失函数进行加权处理,得到加权处理后的第三损失函数;
根据第三损失函数更新造影图像识别模型的参数。
在一种实现方式中,处理单元902还用于:
获取标注样本血管造影图像集,标注样本血管造影图像集包括多个标注样本血管造影图像和每个标注样本血管造影图像的标注信息,任一标注样本血管造影图像的标注信息指示任一标注样本血管造影图像中颅内第四血管所包含的目标对象的破碎信息,破碎信息包括目标对象的破碎风险信息、目标对象的破碎时间信息;
调用标注样本血管造影图像集对训练后的造影图像识别模型进行训练,得到目标造影图像识别模型,目标造影图像识别模型用于预测任意血管造影图像中包括的颅内目标血管,以及颅内目标血管中目标对象的破碎信息。
在一种实现方式中,处理单元902还用于:
获取待分析的血管造影图像;
调用训练后的造影图像识别模型对待分析的血管造影图像进行识别处理,得到血管造影图像中的颅内目标血管,以及颅内目标血管的目标对象的破碎信息。
根据本申请的一个实施例,图9所示的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该数据处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2、图6b、图7及图8所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图9中所示的数据处理装置,以及来实现本申请实施例的数据处理方法。计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本申请实施例中,第一样本血管造影图像中具体包括哪一颅内血管是在DSA扫描前就确定的,则第一样本血管造影图像的标注信息(即颅内动脉瘤DSA影像包含哪条颅内动脉)已经蕴含在第一样本血管造影图像的第一标签中,无需人工标注数据,可提高训练效率,减少工作量;并且,处理单元902基于颅内血管的物理特性对初始样本血管造影图像集中的样本血管造影图像进行数据扩充处理,得到较为丰富的、用于训练造影图像识别模型的样本血管造影图像,可保证造影图像识别模型的训练过程,得到性能较优的造影图像识别模型。
图10示出了本申请一个示例性实施例提供的一种数据处理设备的结构示意图。请参见图10,该数据处理设备包括处理器1001、通信接口1002以及计算机可读存储介质1003。其中,处理器1001、通信接口1002以及计算机可读存储介质1003可通过总线或者其它方式连接。其中,通信接口1002用于接收和发送数据。计算机可读存储介质1003可以存储在终端的存储器中,计算机可读存储介质1003用于存储计算机程序,计算机程序包括程序指令,处理器801用于执行计算机可读存储介质1003存储的程序指令。处理器1001(或称CPU(Central Processing Unit,中央处理器))是终端的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是终端中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了终端的处理系统。并且,在该存储空间中还存放了适于被处理器1001加载并执行的一条或多条的指令,这些指令可以是一个或多个的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一个实施例中,该计算机可读存储介质中存储有一条或多条指令;由处理器1001加载并执行计算机可读存储介质中存放的一条或多条指令,以实现上述数据处理方法实施例中的相应步骤;具体实现中,计算机可读存储介质中的一条或多条指令由处理器1001加载并执行如下步骤:
获取初始样本血管造影图像集,初始样本血管造影图像集包括第一样本血管造影图像和第一样本血管造影图像的第一标签,第一样本血管造影图像的第一标签指示第一样本血管造影图像是对颅内第一血管进行造影处理得到的;
基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签,并将处理后样本血管造影图像以及第二标签添加至目标样本血管造影图像集中;第二标签指示处理后样本血管造影图像是对颅内第二血管进行造影处理得到的,颅内第一血管和颅内第二血管之间满足颅内血管的物理特性;
采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型,训练后的造影图像识别模型用于预测任意血管造影图像,任意血管造影图像是通过对颅内目标血管进行造影处理得到的。
在一种实现方式中,颅内血管的物理特性包括对称性;计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行基于颅内血管的物理特性对所述第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像时,具体执行如下步骤:
基于颅内血管的物理特性所包括的对称性,对第一样本血管造影图像进行左右镜像处理,得到与第一样本血管造影图像对称的处理后样本血管造影图像,并将处理后样本血管造影图像添加至目标样本血管造影图像集中。
在一种实现方式中,颅内第一血管为颅内血管中任意一种,颅内血管包括:左颈动脉血管、右颈动脉血管、左椎动脉血管以及右椎动脉血管;任一血管造影图像的标签是包括多个元素的向量,每个元素对应一个颅内血管;
第一样本血管造影图像对应的第一标签中,与颅内第一血管对应的元素值为第一元素值,与除颅内第一血管外其他颅内血管对应的元素值为第二元素值。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签时,具体执行如下步骤:
将第一标签中颅内第一血管对应的元素值由第一元素值调整为第二元素值;以及,将第一标签中的颅内第二血管对应的元素值由所述第二元素值,调整为第一元素值;
将调整后的第一标签作为处理后样本血管造影图像的第二标签。
在一种实现方式中,初始样本血管造影图像集中还包括第二样本血管造影图像,第二样本血管造影图像是对颅内第三血管进行造影处理得到的,颅内第一血管与颅内第三血管不同;颅内血管的物理特性包括可融合性;计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行基于颅内血管的物理特性对第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像时,具体执行如下步骤:
基于颅内血管的物理特性所包含的可融合性,将第一样本血管造影图像和第二样本血管造影图像进行融合处理,得到处理后样本血管造影图像。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行基于颅内血管的物理特性对第一标签进行标签转化处理,得到处理后样本血管造影图像的第二标签时,具体执行如下步骤:
将第一标签中,与颅内第三血管对应的元素值调整为第一元素值;
将调整后的第一标签确定为处理后样本血管造影图像的第二标签。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行采用初始样本血管造影图像集和目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型时,具体执行如下步骤:
调用造影图像识别模型对初始样本血管造影图像集中多个样本血管造影图像进行识别处理,得到初始样本血管造影图像集中多个样本血管造影图像对应的多个第一识别结果;
调用造影图像识别模型对目标样本血管造影图像集中多个样本血管造影图像进行识别处理,得到目标样本血管造影图像集中多个样本血管造影图像对应的多个第二识别结果;
基于多个第一识别结果与相应样本血管造影图像对应的第一标签之间的差异性,以及多个第二识别结果与相应样本血管造影图像对应的第二标签之间的差异性,得到造影图像识别模型的第一损失函数;
基于第一损失函数更新造影图像识别模型的参数,以训练造影图像识别模型。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行基于第一损失函数更新所述造影图像识别模型的参数时,具体执行如下步骤:
获取标注样本血管造影图像集,标注样本血管造影图像集包括多个标注样本血管造影图像和每个标注样本血管造影图像的标注信息,任一标注样本血管造影图像的标注信息指示任一标注样本血管造影图像中颅内第四血管所包含的目标对象的破碎信息,破碎信息包括目标对象的破碎风险信息以及目标对象的破碎时间信息;
调用造影图像识别模型对标注样本血管造影图像集中多个标注样本血管造影图像进行预测处理,得到多个标注样本血管造影图像中目标对象的预测破碎信息;
根据每个标注样本血管造影图像中目标对象的预测破碎信息与相应标注样本血管造影图像的标注信息之间的差异性,得到造影图像识别模型的第二损失函数;
基于第一损失函数、第二损失函数优化造影图像识别模型,训练后的造影图像识别模型用于预测任意血管造影图像中的颅内目标血管,以及预测任意血管造影图像中颅内目标血管的目标对象的破碎信息。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并在执行基于第一损失函数、第二损失函数优化造影图像识别模型时,具体执行如下步骤:
对第一损失函数和第二损失函数进行加权处理,得到加权处理后的第三损失函数;
根据第三损失函数更新造影图像识别模型的参数。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并还执行如下步骤:
获取标注样本血管造影图像集,标注样本血管造影图像集包括多个标注样本血管造影图像和每个标注样本血管造影图像的标注信息,任一标注样本血管造影图像的标注信息指示任一标注样本血管造影图像中颅内第四血管所包含的目标对象的破碎信息,破碎信息包括目标对象的破碎风险信息、目标对象的破碎时间信息;
调用标注样本血管造影图像集对训练后的造影图像识别模型进行训练,得到目标造影图像识别模型,目标造影图像识别模型用于预测任意血管造影图像中包括的颅内目标血管,以及颅内目标血管中目标对象的破碎信息。
在一种实现方式中,计算机可读存储介质中的一条或多条指令由处理器1001加载并还执行如下步骤:
获取待分析的血管造影图像;
调用训练后的造影图像识别模型对待分析的血管造影图像进行识别处理,得到血管造影图像中的颅内目标血管,以及颅内目标血管的目标对象的破碎信息。
本申请实施例中,第一样本血管造影图像中具体包括哪一颅内血管是在DSA扫描前就确定的,则第一样本血管造影图像的标注信息(即颅内动脉瘤DSA影像包含哪条颅内动脉)已经蕴含在第一样本血管造影图像的第一标签中,无需人工标注数据,可提高训练效率,减少工作量;并且,处理器1001基于颅内血管的物理特性对初始样本血管造影图像集中的样本血管造影图像进行数据扩充处理,得到较为丰富的、用于训练造影图像识别模型的样本血管造影图像,可保证造影图像识别模型的训练过程,得到性能较优的造影图像识别模型。
本申请实施例还提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。数据处理设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该数据处理设备执行上述数据处理方法。
本领域普通技术人员可以意识到,结合本申请中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用,使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程设备。计算机指令可以存储在计算机可读存储介质中,或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如,同轴电缆、光纤、数字用户线(DSL))或无线(例如,红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种数据处理方法,其特征在于,包括:
获取初始样本血管造影图像集,所述初始样本血管造影图像集包括第一样本血管造影图像和所述第一样本血管造影图像的第一标签,所述第一样本血管造影图像的第一标签指示所述第一样本血管造影图像是对颅内第一血管进行造影处理得到的;
基于颅内血管的物理特性对所述第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于所述颅内血管的物理特性对所述第一标签进行标签转化处理,得到所述处理后样本血管造影图像的第二标签,并将所述处理后样本血管造影图像以及所述第二标签添加至目标样本血管造影图像集中;所述第二标签指示所述处理后样本血管造影图像是对颅内第二血管进行造影处理得到的,所述颅内第一血管和所述颅内第二血管之间满足所述颅内血管的物理特性;
采用所述初始样本血管造影图像集和所述目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型,所述训练后的造影图像识别模型用于预测任意血管造影图像,所述任意血管图像是通过对颅内目标血管进行造影处理得到的。
2.如权利要求1所述的方法,其特征在于,所述颅内血管的物理特性包括对称性;所述基于颅内血管的物理特性对所述第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,包括:
基于所述颅内血管的物理特性所包括的对称性,对所述第一样本血管造影图像进行左右镜像处理,得到与所述第一样本血管造影图像对称的处理后样本血管造影图像,并将所述处理后样本血管造影图像添加至所述目标样本血管造影图像集中。
3.如权利要求2所述的方法,其特征在于,所述颅内第一血管为颅内血管中任意一种,所述颅内血管包括:左颈动脉血管、右颈动脉血管、左椎动脉血管以及右椎动脉血管;任一血管造影图像的标签是包括多个元素的向量,每个元素对应一个颅内血管;
所述第一样本血管造影图像对应的第一标签中,与所述颅内第一血管对应的元素值为第一元素值,与除所述颅内第一血管外其他颅内血管对应的元素值为第二元素值。
4.如权利要求3所述的方法,其特征在于,所述基于所述颅内血管的物理特性对所述第一标签进行标签转化处理,得到所述处理后样本血管造影图像的第二标签,包括:
将所述第一标签中所述颅内第一血管对应的元素值由所述第一元素值调整为所述第二元素值;以及,将所述第一标签中的所述颅内第二血管对应的元素值由所述第二元素值,调整为所述第一元素值;
将调整后的第一标签作为所述处理后样本血管造影图像的第二标签。
5.如权利要求2所述的方法,其特征在于,所述初始样本血管造影图像集中还包括第二样本血管造影图像,所述第二样本血管造影图像是对颅内第三血管进行造影处理得到的,所述颅内第一血管与所述颅内第三血管不同;所述颅内血管的物理特性包括可融合性;
所述基于颅内血管的物理特性对所述第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,包括:
基于所述颅内血管的物理特性所包含的可融合性,将所述第一样本血管造影图像和所述第二样本血管造影图像进行融合处理,得到所述处理后样本血管造影图像。
6.如权利要求5所述的方法,其特征在于,所述基于所述颅内血管的物理特性对所述第一标签进行标签转化处理,得到所述处理后样本血管造影图像的第二标签,包括:
将所述第一标签中,与所述颅内第三血管对应的元素值调整为所述第一元素值;
将调整后的所述第一标签确定为所述处理后样本血管造影图像的第二标签。
7.如权利要求2所述的方法,其特征在于,所述采用所述初始样本血管造影图像集和所述目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型,包括:
调用所述造影图像识别模型对所述初始样本血管造影图像集中多个样本血管造影图像进行识别处理,得到所述初始样本血管造影图像集中多个样本血管造影图像对应的多个第一识别结果;
调用所述造影图像识别模型对所述目标样本血管造影图像集中多个样本血管造影图像进行识别处理,得到所述目标样本血管造影图像集中多个样本血管造影图像对应的多个第二识别结果;
基于所述多个第一识别结果与相应样本血管造影图像对应的第一标签之间的差异性,以及所述多个第二识别结果与相应样本血管造影图像对应的第二标签之间的差异性,得到所述造影图像识别模型的第一损失函数;
基于所述第一损失函数更新所述造影图像识别模型的参数,以训练所述造影图像识别模型。
8.如权利要求7所述的方法,其特征在于,所述基于所述第一损失函数更新所述造影图像识别模型的参数,包括:
获取标注样本血管造影图像集,所述标注样本血管造影图像集包括多个标注样本血管造影图像和每个标注样本血管造影图像的标注信息,任一标注样本血管造影图像的标注信息指示所述任一标注样本血管造影图像中颅内第四血管所包含的目标对象的破碎信息,所述破碎信息包括所述目标对象的破碎风险信息以及所述目标对象的破碎时间信息;
调用所述造影图像识别模型对所述标注样本血管造影图像集中多个标注样本血管造影图像进行预测处理,得到所述多个标注样本血管造影图像中目标对象的预测破碎信息;
根据每个标注样本血管造影图像中目标对象的预测破碎信息与相应标注样本血管造影图像的标注信息之间的差异性,得到所述造影图像识别模型的第二损失函数;
基于所述第一损失函数、所述第二损失函数优化所述造影图像识别模型,所述训练后的造影图像识别模型用于预测任意血管造影图像中的颅内目标血管,以及预测所述任意血管造影图像中颅内目标血管的目标对象的破碎信息。
9.如权利要求8所述的方法,其特征在于,所述基于所述第一损失函数、所述第二损失函数优化所述造影图像识别模型,包括:
对所述第一损失函数和所述第二损失函数进行加权处理,得到加权处理后的第三损失函数;
根据所述第三损失函数更新所述造影图像识别模型的参数。
10.如权利要求1所述的方法,其特征在于,所述采用所述初始样本血管造影图像集和所述目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型之后,还包括:
获取标注样本血管造影图像集,所述标注样本血管造影图像集包括多个标注样本血管造影图像和每个标注样本血管造影图像的标注信息,任一标注样本血管造影图像的标注信息指示所述任一标注样本血管造影图像中颅内第四血管所包含的目标对象的破碎信息,所述破碎信息包括所述目标对象的破碎风险信息、所述目标对象的破碎时间信息;
调用所述标注样本血管造影图像集对所述训练后的造影图像识别模型进行训练,得到目标造影图像识别模型,所述目标造影图像识别模型用于预测任意血管造影图像中包括的颅内目标血管,以及所述颅内目标血管中目标对象的破碎信息。
11.如权利要求8或10所述的方法,其特征在于,所述方法还包括:
获取待分析的血管造影图像;
调用所述训练后的造影图像识别模型对所述待分析的血管造影图像进行识别处理,得到所述血管造影图像中的颅内目标血管,以及所述颅内目标血管的目标对象的破碎信息。
12.一种数据处理装置,其特征在于,包括:
获取单元,用于获取初始样本血管造影图像集,所述初始样本血管造影图像集包括第一样本血管造影图像和所述第一样本血管造影图像的第一标签,所述第一样本血管造影图像的第一标签指示所述第一样本血管造影图像是对颅内第一血管进行造影处理得到的;
处理单元,用于基于颅内血管的物理特性对所述第一样本血管造影图像进行数据扩充处理,得到处理后样本血管造影图像,以及基于所述颅内血管的物理特性对所述第一标签进行标签转化处理,得到所述处理后样本血管造影图像的第二标签,并将所述处理后样本血管造影图像以及所述第二标签添加至目标样本血管造影图像集中;所述第二标签指示所述处理后样本血管造影图像是对颅内第二血管进行造影处理得到的,所述颅内第一血管和所述颅内第二血管之间满足所述颅内血管的物理特性;
所述处理单元,还用于采用所述初始样本血管造影图像集和所述目标样本血管造影图像集对造影图像识别模型进行预训练,得到训练后的造影图像识别模型,所述训练后的造影图像识别模型用于预测任意血管造影图像,所述任意血管图像,所述任意血管图像是通过对颅内目标血管进行造影处理得到的。
13.一种数据处理设备,其特征在于,包括:
处理器,适于执行计算机程序;
计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1-11任一项所述的数据处理方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行如权利要求1-11任一项所述的数据处理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110263415.8A CN113724186A (zh) | 2021-03-10 | 2021-03-10 | 一种数据处理方法、装置、设备及介质 |
PCT/CN2022/079164 WO2022188695A1 (zh) | 2021-03-10 | 2022-03-04 | 一种数据处理方法、装置、设备及介质 |
US18/075,314 US20230108389A1 (en) | 2021-03-10 | 2022-12-05 | Data processing method and apparatus, device and medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110263415.8A CN113724186A (zh) | 2021-03-10 | 2021-03-10 | 一种数据处理方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113724186A true CN113724186A (zh) | 2021-11-30 |
Family
ID=78672548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110263415.8A Pending CN113724186A (zh) | 2021-03-10 | 2021-03-10 | 一种数据处理方法、装置、设备及介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230108389A1 (zh) |
CN (1) | CN113724186A (zh) |
WO (1) | WO2022188695A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022188695A1 (zh) * | 2021-03-10 | 2022-09-15 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及介质 |
CN116030247A (zh) * | 2023-03-20 | 2023-04-28 | 之江实验室 | 一种医学图像样本生成方法、装置、存储介质及电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018001099A1 (zh) * | 2016-06-30 | 2018-01-04 | 上海联影医疗科技有限公司 | 一种血管提取方法与系统 |
CN106408562B (zh) * | 2016-09-22 | 2019-04-09 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
CN107292887B (zh) * | 2017-06-20 | 2020-07-03 | 电子科技大学 | 一种基于深度学习自适应权重的视网膜血管分割方法 |
CN108629784A (zh) * | 2018-05-08 | 2018-10-09 | 上海嘉奥信息科技发展有限公司 | 一种基于深度学习的ct图像颅内血管分割方法及系统 |
CN109118495B (zh) * | 2018-08-01 | 2020-06-23 | 东软医疗系统股份有限公司 | 一种视网膜血管分割方法和装置 |
CN111584077A (zh) * | 2020-04-08 | 2020-08-25 | 北京市神经外科研究所 | 一种动脉瘤破裂风险评估方法及系统 |
CN113724186A (zh) * | 2021-03-10 | 2021-11-30 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及介质 |
-
2021
- 2021-03-10 CN CN202110263415.8A patent/CN113724186A/zh active Pending
-
2022
- 2022-03-04 WO PCT/CN2022/079164 patent/WO2022188695A1/zh unknown
- 2022-12-05 US US18/075,314 patent/US20230108389A1/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022188695A1 (zh) * | 2021-03-10 | 2022-09-15 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及介质 |
CN116030247A (zh) * | 2023-03-20 | 2023-04-28 | 之江实验室 | 一种医学图像样本生成方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2022188695A1 (zh) | 2022-09-15 |
US20230108389A1 (en) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110490242B (zh) | 图像分类网络的训练方法、眼底图像分类方法及相关设备 | |
CN110490239B (zh) | 图像质控网络的训练方法、质量分类方法、装置及设备 | |
CN110298844B (zh) | X光造影图像血管分割与识别方法及装置 | |
Yu et al. | Popular deep learning algorithms for disease prediction: a review | |
CN110942466B (zh) | 一种基于深度学习技术的脑动脉分割方法及装置 | |
JP7386370B1 (ja) | 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム | |
US20230108389A1 (en) | Data processing method and apparatus, device and medium | |
CN111881292B (zh) | 一种文本分类方法及装置 | |
CN113469958A (zh) | 一种胚胎发育潜能预测方法、系统、设备及存储介质 | |
Islam et al. | A case study of healthcare platform using big data analytics and machine learning | |
CN110503636B (zh) | 参数调整方法、病灶预测方法、参数调整装置及电子设备 | |
Pérez-García et al. | Transfer learning of deep spatiotemporal networks to model arbitrarily long videos of seizures | |
CN114611879A (zh) | 一种基于多任务学习的临床风险预测系统 | |
Sampath et al. | Ensemble Nonlinear Machine Learning Model for Chronic Kidney Diseases Prediction | |
Tariq et al. | Diabetic retinopathy detection using transfer and reinforcement learning with effective image preprocessing and data augmentation techniques | |
CN113724187A (zh) | 医疗影像处理方法、装置、电子设备和存储介质 | |
Chen et al. | [Retracted] Artificial Neural Network Assisted Cancer Risk Prediction of Oral Precancerous Lesions | |
CN115985513B (zh) | 一种基于多组学癌症分型的数据处理方法、装置及设备 | |
CN116958693A (zh) | 图像分析方法、装置、设备、存储介质和程序产品 | |
Zhang et al. | A deep learning model for drug screening and evaluation in bladder cancer organoids | |
Brown et al. | Deep learning for computer-aided diagnosis in ophthalmology: a review | |
Cao et al. | Assessment of intracranial aneurysm rupture risk using a point cloud-based deep learning model | |
CN116759079B (zh) | 基于多特征融合的出血转化判定方法、装置、介质及终端 | |
Shaheen et al. | Hi-Le and HiTCLe: Ensemble Learning Approaches for Early Diabetes Detection using Deep Learning and eXplainable Artificial Intelligence | |
CN117438104B (zh) | 一种智能药品预警方法、电子设备以及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |