CN116630386B - Cta扫描图像处理方法及其系统 - Google Patents
Cta扫描图像处理方法及其系统 Download PDFInfo
- Publication number
- CN116630386B CN116630386B CN202310691068.8A CN202310691068A CN116630386B CN 116630386 B CN116630386 B CN 116630386B CN 202310691068 A CN202310691068 A CN 202310691068A CN 116630386 B CN116630386 B CN 116630386B
- Authority
- CN
- China
- Prior art keywords
- pulmonary artery
- image
- artery cta
- feature
- cta scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 210000001147 pulmonary artery Anatomy 0.000 claims abstract description 267
- 239000011159 matrix material Substances 0.000 claims abstract description 136
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 101
- 238000000034 method Methods 0.000 claims description 43
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 22
- 230000002457 bidirectional effect Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 20
- 238000003062 neural network model Methods 0.000 claims description 18
- 238000009792 diffusion process Methods 0.000 claims description 12
- 210000001367 artery Anatomy 0.000 claims description 8
- 238000013508 migration Methods 0.000 claims description 8
- 230000005012 migration Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 206010008479 Chest Pain Diseases 0.000 abstract description 26
- 238000003745 diagnosis Methods 0.000 abstract description 13
- 238000010968 computed tomography angiography Methods 0.000 description 173
- 208000024891 symptom Diseases 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 208000004476 Acute Coronary Syndrome Diseases 0.000 description 4
- 208000002251 Dissecting Aneurysm Diseases 0.000 description 4
- 206010002895 aortic dissection Diseases 0.000 description 4
- 239000002872 contrast media Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 210000004351 coronary vessel Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013399 early diagnosis Methods 0.000 description 3
- 208000002193 Pain Diseases 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000000709 aorta Anatomy 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 208000035474 group of disease Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 206010014513 Embolism arterial Diseases 0.000 description 1
- 208000000616 Hemoptysis Diseases 0.000 description 1
- 208000006396 Pulmonary artery stenosis Diseases 0.000 description 1
- 206010037340 Pulmonary artery thrombosis Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 210000004879 pulmonary tissue Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及扫描图像处理技术领域,其具体地公开了一种CTA扫描图像处理方法及其系统,包括:获取肺动脉CTA扫描图像;对所述肺动脉CTA扫描图像进行图像预处理以得到预处理后肺动脉CTA扫描图像;对所述预处理后肺动脉CTA扫描图像进行图像特征提取以得到空间强化肺动脉CTA扫描特征矩阵;以及,对所述空间强化肺动脉CTA扫描特征矩阵进行肺动脉CTA扫描图像重建以得到肺动脉重建图像。通过这样的方式,能够准确进行肺动脉图像的重建,从而基于重建图像来辅助医生进行胸痛三联征的诊断,提高医生的工作效率且降低误诊率,便于患者早期治疗。
Description
技术领域
本申请涉及扫描图像处理技术领域,且更为具体地,涉及一种CTA扫描图像处理方法及其系统。
背景技术
胸痛三联征(chest pain triple-rule-out,TRO)主要表现为急性胸痛发作的3种疾病及并发症,临床上最常见的病因包括急性冠状动脉综合征(ACS)、肺动脉栓塞(PE)和胸腹主动脉夹层(AD)。
急性胸痛是急诊科及心血管内科最常见的疾病之一,起病很急,发病凶险可危及生命,临床症状主要表现为胸痛、呼吸困难和咯血等。然而,急性胸痛是临床上最常见的症状之一,是以胸痛为主要表现的一组异质性疾病群。不同病因导致的胸痛症状既相似,又有不同特征,具体可表现为不同部位、不同性质和不同程度的疼痛,且伴随症状亦可不同。因此,若仅凭临床症状及实验室检查难以及时确诊,而且实验室和超声等检查耗时长,不利于TRO早期诊断。不仅如此,常规的CT检查也只能满足单项的CTA检查,不能同时兼顾三种疾病,很容易忽略ACS、PE或AD其中一到两个疾病的检出,容易出现误诊或漏诊。
因此,期望一种优化的CTA扫描图像处理方案,以辅助医生进行胸痛三联征的诊断,提高医生的工作效率且降低误诊率。
发明内容
本申请提供一种CTA扫描图像处理方法及其系统,能够准确进行肺动脉图像的重建,从而基于重建图像来辅助医生进行胸痛三联征的诊断,提高医生的工作效率且降低误诊率,便于患者早期治疗。
第一方面,提供了一种CTA扫描图像处理方法,所述方法包括:获取肺动脉CTA扫描图像;对所述肺动脉CTA扫描图像进行图像预处理以得到预处理后肺动脉CTA扫描图像;对所述预处理后肺动脉CTA扫描图像进行图像特征提取以得到空间强化肺动脉CTA扫描特征矩阵;以及,对所述空间强化肺动脉CTA扫描特征矩阵进行肺动脉CTA扫描图像重建以得到肺动脉重建图像。。
第二方面,提供了一种CTA扫描图像处理系统,所述系统包括:图像获取模块,用于获取肺动脉CTA扫描图像;图像预处理模块,用于对所述肺动脉CTA扫描图像进行图像预处理以得到预处理后肺动脉CTA扫描图像;图像特征提取模块,用于对所述预处理后肺动脉CTA扫描图像进行图像特征提取以得到空间强化肺动脉CTA扫描特征矩阵;以及,图像生成模块,用于对所述空间强化肺动脉CTA扫描特征矩阵进行肺动脉CTA扫描图像重建以得到肺动脉重建图像。
第三方面,提供了一种芯片,该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线,该至少一个存储器用于存储指令,该至少一个处理器用于调用该至少一个存储器中的指令,以执行第一方面中的方法。
第四方面,提供了一种计算机可读介质,用于存储计算机程序,所述计算机程序包括用于执行上述第一方面中的方法。
第五方面,提供了一种包括指令的计算机程序产品,当计算机运行所述计算机程序产品的所述指时,所述计算机执行上述第一方面中的方法。
本申请提供的一种CTA扫描图像处理方法及其系统,能够准确进行肺动脉图像的重建,从而基于重建图像来辅助医生进行胸痛三联征的诊断,提高医生的工作效率且降低误诊率,便于患者早期治疗。
附图说明
图1是本申请实施例的CTA扫描图像处理方法的示意性流程图。
图2是本申请实施例的CTA扫描图像处理方法的模型架构的示意图。
图3是本申请实施例的将所述预处理后肺动脉CTA扫描图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双管线模型以得到多尺度肺动脉CTA扫描特征矩阵的示意性流程图。
图4是本申请实施例的将所述多尺度肺动脉CTA扫描特征矩阵通过双向注意力模块以得到空间强化肺动脉CTA扫描特征矩阵的示意性流程图。
图5是本申请实施例的CTA扫描图像处理系统的示意性框图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本申请的部分实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本申请保护的范围。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
如上所述,急性胸痛是临床上最常见的症状之一,是以胸痛为主要表现的一组异质性疾病群。因不同病因导致的胸痛症状既相似,又有不同特征,具体可表现为不同部位、不同性质和不同程度的疼痛,且伴随症状亦可不同。因此,若仅凭临床症状及实验室检查难以及时确诊,而且实验室和超声等检查耗时长,不利于TRO早期诊断。不仅如此,常规的CT检查也只能满足单项的CTA检查,不能同时兼顾三种疾病,很容易忽略ACS、PE或AD其中一到两个疾病的检出,容易出现误诊或漏诊。因此,期望一种优化的CTA扫描图像处理方案,以辅助医生进行胸痛三联征的诊断,提高医生的工作效率且降低误诊率。
应可以理解,基于多层螺旋CT成像技术的快速发展,拥有宽体探测器、高时间分辨率、成像速度快及低辐射剂量等技术被广泛地应用于临床,使冠状动脉、肺动脉及主动脉血管同时成像成为可能。“一站式”CTA扫描技术是指只需注射一次造影剂,进行一次CT扫描,即可获得冠状动脉、肺动脉及主动脉图像,通过CT扫描技术并进行图像后处理,可同时评估肺动脉、主动脉及冠状动脉情况,缩短了病因诊断时间,大大提高了诊断效率。因此,一站式CTA扫描对急性胸痛早期诊断具有快速、准确、无创等优点。
这里,肺动脉CTA扫描图像是一种通过计算机断层扫描(CT)技术生成的图像,用于评估肺动脉的状况。CTA代表“计算机断层扫描血管造影”,是一种非侵入性检查方法,可以在不使用针头或导管的情况下检查血管。在肺动脉CTA扫描中,医生会注射一种特殊的造影剂进入患者的静脉,然后使用CT扫描仪拍摄多张图像,以获取肺动脉的三维图像。这些图像可以帮助医生检测肺动脉狭窄、血栓或其他异常情况。但考虑到在肺动脉检测过程中,肺动脉CTA扫描图像可以提供清晰的肺动脉血管树形结构信息,但由于扫描时的种种因素影响,如噪声、偏移等,图像上出现远离中心部位的血管结构容易变形和模糊,影响了图像质量,导致对于图像中关于患者肺动脉的隐含特征的捕捉造成困难,极大制约了临床医生诊断的能力。因此,对肺动脉CTA扫描图像进行分析来进行肺动脉图像重建,即使用一系列算法和技术对数据进行处理和优化,以获得更高品质、更接近真实情况的影像结果,可以辅助医生进行胸痛三联征的诊断,提高医生的工作效率且降低误诊率。
随着计算机技术的不断进步,迭代重建技术已常规应用于临床工作中,相对于传统滤波反投影(FBP)重建技术,迭代重建技术可在保持相同图像质量的情况下降低32%-65%的辐射剂量。
基于此,在本申请的技术方案中,在对于患者的肺动脉进行检测过程中,期望通过对于肺动脉CTA扫描图像进行分析来进行肺动脉图像的重建,从而优化图像质量和图像特征的表达,以辅助医生进行胸痛三联征的诊断。但是,由于所述肺动脉CTA扫描图像中存在有大量的信息量,而关于肺动脉的特征信息在实际监测的过程中为小尺度的隐性特征信息,难以进行充分捕捉。因此,在此过程中,难点在于如何进行所述肺动脉CTA扫描图像中关于肺动脉的隐含特征分布信息的充分表达,以此来进行肺动脉图像的重建,进而基于重建图像来辅助医生进行胸痛三联征的诊断,提高医生的工作效率且降低误诊率,便于患者早期治疗。
近年来,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述肺动脉CTA扫描图像中关于肺动脉的隐含特征分布信息提供了新的解决思路和方案。
图1是本申请实施例的CTA扫描图像处理方法的示意性流程图。图2是本申请实施例的CTA扫描图像处理方法的模型架构的示意图。如图1和图2所示,CTA扫描图像处理方法,包括:S110,获取肺动脉CTA扫描图像;S120,对所述肺动脉CTA扫描图像进行图像预处理以得到预处理后肺动脉CTA扫描图像;S130,对所述预处理后肺动脉CTA扫描图像进行图像特征提取以得到空间强化肺动脉CTA扫描特征矩阵;以及,S140,对所述空间强化肺动脉CTA扫描特征矩阵进行肺动脉CTA扫描图像重建以得到肺动脉重建图像。
步骤S110,获取肺动脉CTA扫描图像。具体地,在本申请技术方案中,在对于患者的肺动脉进行检测过程中,期望通过对于肺动脉CTA扫描图像进行分析来进行肺动脉图像的重建,从而优化图像质量和图像特征的表达,以辅助医生进行胸痛三联征的诊断。但是,由于所述肺动脉CTA扫描图像中存在有大量的信息量,而关于肺动脉的特征信息在实际监测的过程中为小尺度的隐性特征信息,难以进行充分捕捉。因此,在此过程中,难点在于如何进行所述肺动脉CTA扫描图像中关于肺动脉的隐含特征分布信息的充分表达,以此来进行肺动脉图像的重建,进而基于重建图像来辅助医生进行胸痛三联征的诊断,提高医生的工作效率且降低误诊率,便于患者早期治疗。
步骤S120,对所述肺动脉CTA扫描图像进行图像预处理以得到预处理后肺动脉CTA扫描图像。应理解,由于肺动脉是身体内部的组织,在实际进行肺动脉CTA扫描图像采集的过程中,会受到多种因素的干扰导致图像存在噪声而变得模糊,例如,呼吸运动、心跳、造影剂的注入、患者的体重和体型、扫描参数的设置、仪器的性能等,具体地,呼吸运动会导致肺组织的运动,从而影响图像的清晰度。心跳会导致血流速度的变化,从而影响图像的清晰度。造影剂的注入可能会引起血管内的运动,从而影响图像的清晰度。患者的体重和体型可能会影响图像的质量和清晰度。扫描参数的设置可能会影响图像的清晰度和噪声水平。仪器的性能可能会影响图像的质量和清晰度。这些因素都会导致图像存在噪声而变得模糊,进而影响到图像的质量和后续肺动脉图像重建的精准度。因此,在进行所述肺动脉CTA扫描图像的分析和处理之前,首先对所述肺动脉CTA扫描图像进行图像预处理以得到预处理后肺动脉CTA扫描图像,以去除图像中的噪声干扰,提高图像的清晰度和准确性,以便更好地进行后续图像分析并得到准确的肺动脉重建图像。在本申请的一个实施例中,对所述肺动脉CTA扫描图像进行图像预处理以得到预处理后肺动脉CTA扫描图像的方式包括:采用滤波器或其他技术去除对于影响图像质量的伪影,如金属伪影或斑点伪影。使用去噪算法去除图像中的噪声,如高斯滤波器或中值滤波器。对于图像的对比度和亮度不足的情况,可以采用直方图均衡化等技术进行图像增强。
步骤S130,对所述预处理后肺动脉CTA扫描图像进行图像特征提取以得到空间强化肺动脉CTA扫描特征矩阵。应理解,对预处理后的肺动脉CTA扫描图像进行图像特征提取可以提取出图像中的重要信息,例如血管分支、血管壁和血流速度等特征。这些特征可以用于构建空间强化肺动脉CTA扫描特征矩阵,该矩阵可以提供更全面、准确的肺动脉CTA扫描图像信息。
可选的,在本申请的一种实施方式中,步骤S130,包括:对所述预处理后肺动脉CTA扫描图像进行多尺度卷积编码以得到多尺度肺动脉CTA扫描特征矩阵;以及,将所述多尺度肺动脉CTA扫描特征矩阵通过双向注意力模块以得到所述空间强化肺动脉CTA扫描特征矩阵。
具体地,对所述预处理后肺动脉CTA扫描图像进行多尺度卷积编码以得到多尺度肺动脉CTA扫描特征矩阵,包括:将所述预处理后肺动脉CTA扫描图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双管线模型以得到所述多尺度肺动脉CTA扫描特征矩阵。应理解,由于肺动脉的各个局部隐含特征之间具有着不同程度的关联性,并且,所述肺动脉的各个局部隐含关联特征对于肺动脉的图像重建和患者肺动脉检测有着重要意义。因此,在本申请的技术方案中,为了能够捕捉到充分的肺动脉局部隐含关联特征信息,需要将所述预处理后肺动脉CTA扫描图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双管线模型以得到多尺度肺动脉CTA扫描特征矩阵。特别地,这里,所述第一卷积神经网络模型和所述第二卷积神经网络模型使用不同尺度的二维卷积核来进行所述预处理后肺动脉CTA扫描图像的特征挖掘,以提取出所述预处理后肺动脉CTA扫描图像中关于肺动脉隐含局部特征的多尺度关联特征信息。
图3是本申请实施例的CTA扫描图像处理方法中将所述预处理后肺动脉CTA扫描图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双管线模型以得到多尺度肺动脉CTA扫描特征矩阵的示意性流程图。可选地,在本申请一实施例中,将所述预处理后肺动脉CTA扫描图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双管线模型以得到多尺度肺动脉CTA扫描特征矩阵,包括:S210,使用双管线模型的第一卷积神经网络模型对所述预处理后肺动脉CTA扫描图像进行基于第一卷积核的特征提取以得到第一尺度动脉CTA扫描特征矩阵,其中,所述第一卷积神经网络模型使用第一尺度的第一卷积核;S220,使用双管线模型的第二卷积神经网络模型对所述预处理后肺动脉CTA扫描图像进行基于第二卷积核的特征提取以得到第二尺度动脉CTA扫描特征矩阵,其中,所述第二卷积神经网络模型使用第二尺度的第二卷积核,所述第一尺度不同于所述第二尺度;以及,S230,融合所述第一尺度动脉CTA扫描特征矩阵和所述第二尺度动脉CTA扫描特征矩阵以得到所述多尺度肺动脉CTA扫描特征矩阵。
可选地,在本申请一实施例中,使用双管线模型的第一卷积神经网络模型对所述预处理后肺动脉CTA扫描图像进行基于第一卷积核的特征提取以得到第一尺度动脉CTA扫描特征矩阵,包括:使用所述第一卷积神经网络模型的各层分别对输入数据进行:基于第一卷积核对所述输入数据进行第一尺度的卷积处理以生成卷积特征图;对所述卷积特征图进行沿通道维度的均值池化处理以生成池化特征图;以及。对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图;其中,所述第一卷积神经网络模型的最后一层的输出为所述第一尺度动脉CTA扫描特征矩阵,所述第一卷积神经网络模型的输入为所述预处理后肺动脉CTA扫描图像。
可选的,在本申请的另一实施例中,对所述预处理后肺动脉CTA扫描图像进行多尺度卷积编码以得到多尺度肺动脉CTA扫描特征矩阵,包括:将预处理后的肺动脉CTA扫描图像通过图像金字塔以得到多尺度肺动脉CTA扫描特征矩阵。应理解,肺动脉CTA扫描图像中的不同结构和重要特征可能出现在不同的尺度上。通过使用多尺度图像,可以更全面地捕捉到这些特征,从而提高特征提取的效果和模型的准确性。因此,在进行多尺度特征提取时,可以使用图像金字塔技术将原始图像缩小到不同的尺寸,然后对每个尺度的图像进行特征提取。具体来说,可以通过下采样或高斯模糊等方法来生成不同尺度的图像。对于每个尺度的图像,可以使用相同的CNN模型来提取特征。提取的特征可以在不同尺度之间进行融合,例如将特征向量级联起来或使用加权平均等方法。最终,这些特征向量可以组成多尺度肺动脉CTA扫描特征矩阵。
可选地,在本申请一实施例中,使用双管线模型的第二卷积神经网络模型对所述预处理后肺动脉CTA扫描图像进行基于第二卷积核的特征提取以得到第二尺度动脉CTA扫描特征矩阵,包括:使用所述第二卷积神经网络模型的各层分别对输入数据进行:基于第二卷积核对所述输入数据进行第二尺度的卷积处理以生成卷积特征图;对所述卷积特征图进行沿通道维度的均值池化处理以生成池化特征图;以及。对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图;其中,所述第二卷积神经网络模型的最后一层的输出为所述第二尺度动脉CTA扫描特征矩阵,所述第二卷积神经网络模型的输入为所述预处理后肺动脉CTA扫描图像。
具体地,将所述多尺度肺动脉CTA扫描特征矩阵通过双向注意力模块以得到空间强化肺动脉CTA扫描特征矩阵。应理解,考虑到由于肺动脉的特征复杂多样,保留和传递浅层细节特征对提高算法检测和肺动脉图像重建的准确率非常重要。因此,期望在U-Net网络中,通过跳跃连接将编码器的特征信息直接传递到解码器,实现浅层特征与深层特征融合,补充解码器细节特征信息,但这种在同尺度之间特征直接传递的方式过于简单,没有对肺动脉的特征信息进行筛选,进而无法有效对肺动脉的病理局部隐含关联特征进行充分表达。因此,在本申请的技术方案中,进一步使用双向注意力机制模块来对所述多尺度肺动脉CTA扫描特征矩阵进行处理以得到空间强化肺动脉CTA扫描特征矩阵。这样,能够充分利用上下文信息来进行空间增强所述肺动脉的特征响应且抑制背景特征响应。具体地,所述双向注意力模块分别从水平方向和垂直方向对整个多尺度肺动脉CTA扫描特征矩阵的注意力权重校准并获取复杂特征关系,从而能够从空间的全局特征中获取局部特征信息。
图4是本申请实施例的CTA扫描图像处理方法中将所述多尺度肺动脉CTA扫描特征矩阵通过双向注意力模块以得到空间强化肺动脉CTA扫描特征矩阵的示意性流程图。可选地,在本申请一实施例中,将所述多尺度肺动脉CTA扫描特征矩阵通过双向注意力模块以得到空间强化肺动脉CTA扫描特征矩阵,包括:S310,将所述多尺度肺动脉CTA扫描特征矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量;S320,对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵;S330,将所述双向关联矩阵输入Sigmoid激活函数以得到注意力特征矩阵;S340,将所述多尺度肺动脉CTA扫描特征矩阵和所述注意力特征矩阵分别展开为特征向量以得到多尺度肺动脉CTA扫描特征向量和注意力特征向量;S350,融合所述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量以得到融合关联特征向量;以及,S360,将所述融合关联特征向量进行维度重构以得到所述空间强化肺动脉CTA扫描特征矩阵。
可选地,在本申请一实施例中,对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵,包括:以如下关联编码公式对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵;其中,所述关联编码公式为:
其中表示向量相乘,M表示所述双向关联矩阵,Va表示所述第一向池化向量,Vb表示所述第二向池化向量,/>表示所述第二向池化向量的转置。
应理解,所述双向注意力机制模块是将从所述多尺度肺动脉CTA扫描特征矩阵得到的注意力特征矩阵与所述多尺度肺动脉CTA扫描特征矩阵融合来得到所述空间强化肺动脉CTA扫描特征矩阵,而所述注意力特征矩阵又是从所述多尺度肺动脉CTA扫描特征矩阵进行基于所述多尺度肺动脉CTA扫描特征矩阵的水平方向和垂直方向的注意力权重校准的关联特征提取而获得的,因此所述注意力特征矩阵的特征分布相对于所述多尺度肺动脉CTA扫描特征矩阵的特征分布在高维特征空间内会存在空间迁移。由此,如果提升在具有空间迁移情况下的所述多尺度肺动脉CTA扫描特征矩阵和所述注意力特征矩阵的融合效果,则能够提升所述空间强化肺动脉CTA扫描特征矩阵的表达效果。
因此,本申请的申请人首先将所述多尺度肺动脉CTA扫描特征矩阵和所述注意力特征矩阵展开为多尺度肺动脉CTA扫描特征向量和注意力特征向量,再采用类转换器空间迁移置换融合来融合所述多尺度肺动脉CTA扫描特征向量,例如记为V1和所述注意力特征向量,例如记为V2。
可选地,在本申请一实施例中,融合所述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量以得到融合关联特征向量,包括:通过采用类转换器空间迁移置换融合的方式,以如下融合公式来融合所述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量以得到所述融合关联特征向量;其中,所述融合公式为:
其中,V1和V2分别是述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量,D(V1,V2)为向量之间的距离矩阵,d(V1,V2)表示向量间的欧式距离,t为掩码阈值超参数,且向量均为行向量,和⊙分别表示特征向量的逐位置相加、相减和相乘,/>表示矩阵乘法,Mask(·)表示Mask函数,Vc是所述融合关联特征向量。
这里,所述类转换器空间迁移置换融合通过以所述多尺度肺动脉CTA扫描特征向量V1和所述注意力特征向量V2的特征值对的差分表征来对特征值对的空间距离进行类转换器机制的掩码预测,实现了空间强化肺动脉CTA扫描特征向量Vc在高维特征空间内的边仿射编码,并通过施加转换器的自注意力机制下的隐状态偏置,来通过空间强化肺动脉CTA扫描特征向量Vc相对于待融合的所述多尺度肺动脉CTA扫描特征向量V1和所述注意力特征向量V2在转换器机制下的全局旋转和平移不变形,实现所述多尺度肺动脉CTA扫描特征向量V1和所述注意力特征向量V2的特征分布的空间迁移可置换性。这样,再将所述空间强化肺动脉CTA扫描特征向量Vc还原为所述空间强化肺动脉CTA扫描特征矩阵,就提升了所述空间强化肺动脉CTA扫描特征矩阵对所述多尺度肺动脉CTA扫描特征矩阵和所述注意力特征矩阵的融合效果,从而提升了所述空间强化肺动脉CTA扫描特征矩阵的表达效果,也就提升了其通过基于扩散模型的重建生成器得到的所述肺动脉重建图像的图像质量。这样,能够准确进行肺动脉图像的重建,从而基于重建图像来辅助医生进行胸痛三联征的诊断,提高医生的工作效率且降低误诊率,便于患者早期治疗。
可选地,在本申请另一种实施方式中,所述步骤S130,包括:提取预处理后肺动脉CTA扫描图像的感兴趣区域(ROI);使用图像分割算法,如阈值分割或边缘检测等技术,从整个CTA扫描图像中提取出肺动脉区域。使用图像处理算法,如形态学操作、滤波器、边缘检测器等技术,提取出肺动脉CTA扫描图像的特征,如形状、大小、纹理等。接着,使用特征描述算法,如局部二值模式(LBP)、方向梯度直方图(HOG)等技术,将图像的特征转换为能够用于机器学习算法的向量形式。根据特征的重要性和相关性,选择最具有代表性的特征向量。将特征向量进行归一化处理,以消除不同特征之间的量纲差异。使用降维算法,如主成分分析(PCA)、线性判别分析(LDA)等技术,将高维特征向量降低到更低的维度,以减少特征向量的复杂性和计算量。最终,可以得到一个空间强化肺动脉CTA扫描特征矩阵,该矩阵可以用于生成肺动脉重建图像。
步骤S140,将所述空间强化肺动脉CTA扫描特征矩阵通过基于扩散模型的重建生成器以得到肺动脉重建图像。应理解,为了能够基于特征增强后的所述肺动脉的多尺度局部关联特征来生成肺动脉重建图像,以此来辅助医生进行胸痛三联征的诊断,在本申请的技术方案中,需要进一步将所述空间强化肺动脉CTA扫描特征矩阵通过基于扩散模型的重建生成器以得到肺动脉重建图像。特别地,在本申请的一个具体示例中,所述基于扩散模型的重建生成器包括前向扩散过程和反向生成过程,前向扩散过程可以对所述空间强化肺动脉CTA扫描特征矩阵逐渐添加高斯噪音直至变成随机噪音,而反向生成过程是去噪音过程,将对于所述随机噪音开始逐渐去噪音直至生成所述肺动脉重建图像。应可以理解,由于所述扩散模型的整体结构原理并不复杂,其可以通过大规模训练具备的及其丰富的特征空间,由此获得强大生成能力的模型,并且扩散模型是正态分布上的每个点都是真实数据的映射,具有更好的可解释性。这样,能够准确地进行肺动脉图像的重建,以此来辅助医生进行胸痛三联征的诊断。
可选地,在本申请的另一个具体示例中,使用反卷积神经网络(DeconvolutionalNeural Network)对空间强化肺动脉CTA扫描特征矩阵进行处理以得到肺动脉重建图像。具体地,反卷积神经网络是一种用于图像重建的神经网络,其可以将特征矩阵转换为图像。具体来说,其通过反向卷积和上采样等操作来逆转卷积神经网络的特征提取过程,从而将特征矩阵映射回原始图像空间中。具体地,所述反卷积神经网络包括多个反卷积层、上采样层和卷积层,通过多个反卷积层、上采样层和卷积层对所述空间强化肺动脉CTA扫描特征矩阵进行处理以得到肺动脉重建图像。
综上,本申请提供的一种CTA扫描图像处理方法,能够准确进行肺动脉图像的重建,从而基于重建图像来辅助医生进行胸痛三联征的诊断,提高医生的工作效率且降低误诊率,便于患者早期治疗。
图5是本申请实施例的CTA扫描图像处理系统的示意性框图。如图5所示,所述CTA扫描图像处理系统100,包括:图像获取模块110,用于获取肺动脉CTA扫描图像;图像预处理模块120,用于对所述肺动脉CTA扫描图像进行图像预处理以得到预处理后肺动脉CTA扫描图像;图像特征提取模块130,用于对所述预处理后肺动脉CTA扫描图像进行图像特征提取以得到空间强化肺动脉CTA扫描特征矩阵;以及,图像生成模块140,用于对所述空间强化肺动脉CTA扫描特征矩阵进行肺动脉CTA扫描图像重建以得到肺动脉重建图像。
可选的,在本申请的一个实施例中,所述图像特征提取模块,包括:多尺度卷积编码单元,用于对所述预处理后肺动脉CTA扫描图像进行多尺度卷积编码以得到多尺度肺动脉CTA扫描特征矩阵;以及,双向注意力编码单元,用于将所述多尺度肺动脉CTA扫描特征矩阵通过双向注意力模块以得到所述空间强化肺动脉CTA扫描特征矩阵。
这里,本领域技术人员可以理解,上述CTA扫描图像处理系统中的各个模块和单元的具体操作已经在上面参考图1到图4的CTA扫描图像处理方法的描述中得到了详细介绍,并因此,将省略其重复描述。
本发明实施例还提供一种芯片系统,芯片系统包括至少一个处理器,当程序指令在该至少一个处理器中执行时,使得本申请实施例提供的方法得以实现。
本发明实施例还提供一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得,该计算机执行上述方法实施例的方法。
本发明实施例还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
Claims (2)
1.一种CTA扫描图像处理方法,其特征在于,包括:
获取肺动脉CTA扫描图像;
对所述肺动脉CTA扫描图像进行图像预处理以得到预处理后肺动脉CTA扫描图像;
对所述预处理后肺动脉CTA扫描图像进行图像特征提取以得到空间强化肺动脉CTA扫描特征矩阵;以及
对所述空间强化肺动脉CTA扫描特征矩阵进行肺动脉CTA扫描图像重建以得到肺动脉重建图像;
其中,对所述预处理后肺动脉CTA扫描图像进行图像特征提取以得到空间强化肺动脉CTA扫描特征矩阵,包括:
对所述预处理后肺动脉CTA扫描图像进行多尺度卷积编码以得到多尺度肺动脉CTA扫描特征矩阵;以及
将所述多尺度肺动脉CTA扫描特征矩阵通过双向注意力模块以得到所述空间强化肺动脉CTA扫描特征矩阵;
其中,将所述多尺度肺动脉CTA扫描特征矩阵通过双向注意力模块以得到空间强化肺动脉CTA扫描特征矩阵,包括:
将所述多尺度肺动脉CTA扫描特征矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量;
对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵;
将所述双向关联矩阵输入Sigmoid激活函数以得到注意力特征矩阵;
将所述多尺度肺动脉CTA扫描特征矩阵和所述注意力特征矩阵分别展开为特征向量以得到多尺度肺动脉CTA扫描特征向量和注意力特征向量;
融合所述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量以得到融合关联特征向量;以及
将所述融合关联特征向量进行维度重构以得到所述空间强化肺动脉CTA扫描特征矩阵;
其中,融合所述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量以得到融合关联特征向量,包括:
通过采用类转换器空间迁移置换融合的方式,以如下融合公式来融合所述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量以得到所述融合关联特征向量;
其中,所述融合公式为:
,
其中,和/>分别是所述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量,为向量之间的距离矩阵,/>表示向量间的欧式距离,/>为掩码阈值超参数,且向量均为行向量,/>、/>和/>分别表示特征向量的逐位置相加、相减和相乘,/>表示矩阵乘法,表示/>函数,/>是所述融合关联特征向量;
其中,对所述预处理后肺动脉CTA扫描图像进行多尺度卷积编码以得到多尺度肺动脉CTA扫描特征矩阵,包括:将所述预处理后肺动脉CTA扫描图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双管线模型以得到所述多尺度肺动脉CTA扫描特征矩阵;
其中,对所述空间强化肺动脉CTA扫描特征矩阵进行肺动脉CTA扫描图像重建以得到肺动脉重建图像,包括:将所述空间强化肺动脉CTA扫描特征矩阵通过基于扩散模型的重建生成器以得到肺动脉重建图像;
其中,将所述预处理后肺动脉CTA扫描图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双管线模型以得到多尺度肺动脉CTA扫描特征矩阵,包括:
使用双管线模型的第一卷积神经网络模型对所述预处理后肺动脉CTA扫描图像进行基于第一卷积核的特征提取以得到第一尺度动脉CTA扫描特征矩阵,其中,所述第一卷积神经网络模型使用第一尺度的第一卷积核;
使用双管线模型的第二卷积神经网络模型对所述预处理后肺动脉CTA扫描图像进行基于第二卷积核的特征提取以得到第二尺度动脉CTA扫描特征矩阵,其中,所述第二卷积神经网络模型使用第二尺度的第二卷积核,所述第一尺度不同于所述第二尺度;
融合所述第一尺度动脉CTA扫描特征矩阵和所述第二尺度动脉CTA扫描特征矩阵以得到所述多尺度肺动脉CTA扫描特征矩阵。
2.一种CTA扫描图像处理系统,其特征在于,包括:
图像获取模块,用于获取肺动脉CTA扫描图像;
图像预处理模块,用于对所述肺动脉CTA扫描图像进行图像预处理以得到预处理后肺动脉CTA扫描图像;
图像特征提取模块,用于对所述预处理后肺动脉CTA扫描图像进行图像特征提取以得到空间强化肺动脉CTA扫描特征矩阵;以及
图像生成模块,用于对所述空间强化肺动脉CTA扫描特征矩阵进行肺动脉CTA扫描图像重建以得到肺动脉重建图像;
其中,所述图像特征提取模块,包括:
多尺度卷积编码单元,用于对所述预处理后肺动脉CTA扫描图像进行多尺度卷积编码以得到多尺度肺动脉CTA扫描特征矩阵;以及
双向注意力编码单元,用于将所述多尺度肺动脉CTA扫描特征矩阵通过双向注意力模块以得到所述空间强化肺动脉CTA扫描特征矩阵;
其中,所述双向注意力编码单元,包括:
将所述多尺度肺动脉CTA扫描特征矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量;
对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵;
将所述双向关联矩阵输入Sigmoid激活函数以得到注意力特征矩阵;
将所述多尺度肺动脉CTA扫描特征矩阵和所述注意力特征矩阵分别展开为特征向量以得到多尺度肺动脉CTA扫描特征向量和注意力特征向量;
融合所述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量以得到融合关联特征向量;以及
将所述融合关联特征向量进行维度重构以得到所述空间强化肺动脉CTA扫描特征矩阵;
其中,融合所述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量以得到融合关联特征向量,包括:
通过采用类转换器空间迁移置换融合的方式,以如下融合公式来融合所述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量以得到所述融合关联特征向量;
其中,所述融合公式为:
,
其中,和/>分别是所述多尺度肺动脉CTA扫描特征向量和所述注意力特征向量,为向量之间的距离矩阵,/>表示向量间的欧式距离,/>为掩码阈值超参数,且向量均为行向量,/>、/>和/>分别表示特征向量的逐位置相加、相减和相乘,/>表示矩阵乘法,表示/>函数,/>是所述融合关联特征向量;
其中,所述多尺度卷积编码单元,包括:将所述预处理后肺动脉CTA扫描图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双管线模型以得到所述多尺度肺动脉CTA扫描特征矩阵;
其中,对所述空间强化肺动脉CTA扫描特征矩阵进行肺动脉CTA扫描图像重建以得到肺动脉重建图像,包括:将所述空间强化肺动脉CTA扫描特征矩阵通过基于扩散模型的重建生成器以得到肺动脉重建图像;
其中,将所述预处理后肺动脉CTA扫描图像通过包含第一卷积神经网络模型和第二卷积神经网络模型的双管线模型以得到多尺度肺动脉CTA扫描特征矩阵,包括:
使用双管线模型的第一卷积神经网络模型对所述预处理后肺动脉CTA扫描图像进行基于第一卷积核的特征提取以得到第一尺度动脉CTA扫描特征矩阵,其中,所述第一卷积神经网络模型使用第一尺度的第一卷积核;
使用双管线模型的第二卷积神经网络模型对所述预处理后肺动脉CTA扫描图像进行基于第二卷积核的特征提取以得到第二尺度动脉CTA扫描特征矩阵,其中,所述第二卷积神经网络模型使用第二尺度的第二卷积核,所述第一尺度不同于所述第二尺度;
融合所述第一尺度动脉CTA扫描特征矩阵和所述第二尺度动脉CTA扫描特征矩阵以得到所述多尺度肺动脉CTA扫描特征矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310691068.8A CN116630386B (zh) | 2023-06-12 | 2023-06-12 | Cta扫描图像处理方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310691068.8A CN116630386B (zh) | 2023-06-12 | 2023-06-12 | Cta扫描图像处理方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116630386A CN116630386A (zh) | 2023-08-22 |
CN116630386B true CN116630386B (zh) | 2024-02-20 |
Family
ID=87609825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310691068.8A Active CN116630386B (zh) | 2023-06-12 | 2023-06-12 | Cta扫描图像处理方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116630386B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
WO2021139266A1 (zh) * | 2020-07-16 | 2021-07-15 | 平安科技(深圳)有限公司 | 融合外部知识的bert模型的微调方法、装置及计算机设备 |
CN114549552A (zh) * | 2022-02-15 | 2022-05-27 | 上海翰宇生物科技有限公司 | 基于空间邻域分析的肺部ct图像分割装置 |
CN114780701A (zh) * | 2022-04-20 | 2022-07-22 | 平安科技(深圳)有限公司 | 自动问答匹配方法、装置、计算机设备及存储介质 |
CN114897780A (zh) * | 2022-04-12 | 2022-08-12 | 南通大学 | 一种基于mip序列的肠系膜上动脉血管重建方法 |
CN114897694A (zh) * | 2022-05-10 | 2022-08-12 | 南京航空航天大学 | 基于混合注意力和双层监督的图像超分辨率重建方法 |
CN114998292A (zh) * | 2022-06-21 | 2022-09-02 | 杭州电子科技大学 | 一种基于残差双注意力机制的心血管钙化斑块检测系统 |
CN115063592A (zh) * | 2022-08-16 | 2022-09-16 | 之江实验室 | 一种基于多尺度的全扫描病理特征融合提取方法及系统 |
CN115187468A (zh) * | 2022-06-01 | 2022-10-14 | 南京大学 | 基于双级特征融合的红外图像去噪方法 |
WO2022227913A1 (zh) * | 2021-04-25 | 2022-11-03 | 浙江师范大学 | 一种基于物联网感知的双特征融合的语义分割系统及方法 |
WO2023280148A1 (zh) * | 2021-07-07 | 2023-01-12 | 杭州深睿博联科技有限公司 | 一种血管分割方法、装置、电子设备和可读介质 |
CN115688028A (zh) * | 2023-01-05 | 2023-02-03 | 杭州华得森生物技术有限公司 | 肿瘤细胞生长状态检测设备 |
CN116189179A (zh) * | 2023-04-28 | 2023-05-30 | 北京航空航天大学杭州创新研究院 | 循环肿瘤细胞扫描分析设备 |
WO2023102223A1 (en) * | 2021-12-03 | 2023-06-08 | Innopeak Technology, Inc. | Cross-coupled multi-task learning for depth mapping and semantic segmentation |
WO2023098524A1 (zh) * | 2021-12-02 | 2023-06-08 | 天津御锦人工智能医疗科技有限公司 | 多模态医学数据融合的评估方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3719744B1 (en) * | 2019-04-06 | 2023-08-23 | Kardiolytics Inc. | Method and system for machine learning based segmentation of contrast filled coronary artery vessels on medical images |
US11170504B2 (en) * | 2019-05-02 | 2021-11-09 | Keyamed Na, Inc. | Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network |
CN113920213B (zh) * | 2021-09-27 | 2022-07-05 | 深圳技术大学 | 基于长距离注意力模型重建的多层磁共振成像方法及装置 |
-
2023
- 2023-06-12 CN CN202310691068.8A patent/CN116630386B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
WO2021139266A1 (zh) * | 2020-07-16 | 2021-07-15 | 平安科技(深圳)有限公司 | 融合外部知识的bert模型的微调方法、装置及计算机设备 |
WO2022227913A1 (zh) * | 2021-04-25 | 2022-11-03 | 浙江师范大学 | 一种基于物联网感知的双特征融合的语义分割系统及方法 |
WO2023280148A1 (zh) * | 2021-07-07 | 2023-01-12 | 杭州深睿博联科技有限公司 | 一种血管分割方法、装置、电子设备和可读介质 |
WO2023098524A1 (zh) * | 2021-12-02 | 2023-06-08 | 天津御锦人工智能医疗科技有限公司 | 多模态医学数据融合的评估方法、装置、设备及存储介质 |
WO2023102223A1 (en) * | 2021-12-03 | 2023-06-08 | Innopeak Technology, Inc. | Cross-coupled multi-task learning for depth mapping and semantic segmentation |
CN114549552A (zh) * | 2022-02-15 | 2022-05-27 | 上海翰宇生物科技有限公司 | 基于空间邻域分析的肺部ct图像分割装置 |
CN114897780A (zh) * | 2022-04-12 | 2022-08-12 | 南通大学 | 一种基于mip序列的肠系膜上动脉血管重建方法 |
CN114780701A (zh) * | 2022-04-20 | 2022-07-22 | 平安科技(深圳)有限公司 | 自动问答匹配方法、装置、计算机设备及存储介质 |
CN114897694A (zh) * | 2022-05-10 | 2022-08-12 | 南京航空航天大学 | 基于混合注意力和双层监督的图像超分辨率重建方法 |
CN115187468A (zh) * | 2022-06-01 | 2022-10-14 | 南京大学 | 基于双级特征融合的红外图像去噪方法 |
CN114998292A (zh) * | 2022-06-21 | 2022-09-02 | 杭州电子科技大学 | 一种基于残差双注意力机制的心血管钙化斑块检测系统 |
CN115063592A (zh) * | 2022-08-16 | 2022-09-16 | 之江实验室 | 一种基于多尺度的全扫描病理特征融合提取方法及系统 |
CN115688028A (zh) * | 2023-01-05 | 2023-02-03 | 杭州华得森生物技术有限公司 | 肿瘤细胞生长状态检测设备 |
CN116189179A (zh) * | 2023-04-28 | 2023-05-30 | 北京航空航天大学杭州创新研究院 | 循环肿瘤细胞扫描分析设备 |
Non-Patent Citations (9)
Title |
---|
BANet: Small and multi-object detection with a bidirectional attention network for traffic scenes;Sheng-ye Wang等;Engineering Applications of Artificial Intelligence;第117卷;第1-10页 * |
CT扫描三维重建对维吾尔族全膝关节置换术的应用价值;王志芳等;中国CT和MRI杂志;第20卷(第04期);第173-176页 * |
CT重建技术的应用与研究;赵雄等;兵团医学;第52卷(第02期);第47-48页 * |
Restoring Vision in Adverse Weather Conditions With Patch-Based Denoising Diffusion Models;Ozan Özdenizci等;IEEE Transactions on Pattern Analysis and Machine Intelligence;第45卷(第08期);第 10346 - 10357页 * |
八度卷积和双向门控循环单元结合的X光安检图像分类;吴海滨等;中国光学;第13卷(第05期);第1138-1146页 * |
基于U-Net网络的成像测井图像修复方法研究;曹茂俊等;计算机技术与发展;第33卷(第06期);第61-68页 * |
基于双注意力编码-解码器架构的视网膜血管分割;李天培等;计算机科学(第05期);第166-171页 * |
基于非对称卷积的遥感图像语义分割算法研究;姜垚;中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑(第02期);第C028-397页 * |
面向轴承早期故障检测的多尺度残差注意力深度领域适配模型;毛文涛等;计算机应用;第40卷(第10期);第2890-2898页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116630386A (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3726460B1 (en) | Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images | |
JP2016525893A (ja) | 血管内画像におけるマルチモーダルセグメンテーション | |
CN111784788A (zh) | 一种基于深度学习的pet快速成像方法和系统 | |
CN113298710B (zh) | 基于外部注意力机制的光学相干层析超分辨率成像方法 | |
CN112435164B (zh) | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 | |
JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
CN112184690B (zh) | 冠脉血管走向的预测方法、预测模型的训练方法及装置 | |
CN111667478A (zh) | Cta到mra跨模态预测的颈动脉斑块识别方法及系统 | |
Mredhula et al. | An extensive review of significant researches on medical image denoising techniques | |
Huang et al. | Joint spine segmentation and noise removal from ultrasound volume projection images with selective feature sharing | |
Huang et al. | Analysis methods of coronary artery intravascular images: a review | |
Zreik et al. | Combined analysis of coronary arteries and the left ventricular myocardium in cardiac CT angiography for detection of patients with functionally significant stenosis | |
US20230394654A1 (en) | Method and system for assessing functionally significant vessel obstruction based on machine learning | |
CN112991220A (zh) | 一种基于多重约束的卷积神经网络校正图像伪影的方法 | |
CN116630386B (zh) | Cta扫描图像处理方法及其系统 | |
CN112419175A (zh) | 一种共享权重的双区域生成对抗网络及其图像生成方法 | |
Kumar et al. | Medical images classification using deep learning: a survey | |
US20220292641A1 (en) | Dynamic imaging and motion artifact reduction through deep learning | |
Huang et al. | MLNAN: Multi-level noise-aware network for low-dose CT imaging implemented with constrained cycle Wasserstein generative adversarial networks | |
Sajda et al. | Multi-resolution and wavelet representations for identifying signatures of disease | |
Chen et al. | Spatio-temporal multi-task network cascade for accurate assessment of cardiac CT perfusion | |
Arega et al. | Using Polynomial Loss and Uncertainty Information for Robust Left Atrial and Scar Quantification and Segmentation | |
Wang et al. | SemiMAR: Semi-Supervised Learning for CT Metal Artifact Reduction | |
EP3667618A1 (en) | Deep partial-angle coronary restoration | |
Wang et al. | Cardiac MRI segmentation of the atria based on UU-NET |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |