CN113706419A - 一种图像处理方法和系统 - Google Patents
一种图像处理方法和系统 Download PDFInfo
- Publication number
- CN113706419A CN113706419A CN202111070115.4A CN202111070115A CN113706419A CN 113706419 A CN113706419 A CN 113706419A CN 202111070115 A CN202111070115 A CN 202111070115A CN 113706419 A CN113706419 A CN 113706419A
- Authority
- CN
- China
- Prior art keywords
- image
- material density
- model
- density image
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 239000000463 material Substances 0.000 claims abstract description 307
- 238000012545 processing Methods 0.000 claims abstract description 226
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 102
- 230000009467 reduction Effects 0.000 claims abstract description 34
- 239000013077 target material Substances 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims description 74
- 238000000034 method Methods 0.000 claims description 68
- 238000012549 training Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000009466 transformation Effects 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 239000000523 sample Substances 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 43
- 239000000203 mixture Substances 0.000 description 34
- 238000002591 computed tomography Methods 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 25
- 239000011159 matrix material Substances 0.000 description 17
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000002829 reductive effect Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 230000000670 limiting effect Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000002216 heart Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 206010007027 Calculus urinary Diseases 0.000 description 1
- 208000000913 Kidney Calculi Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010029148 Nephrolithiasis Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 206010041541 Spinal compression fracture Diseases 0.000 description 1
- 208000009911 Urinary Calculi Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000003570 air Substances 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- XQPRBTXUXXVTKB-UHFFFAOYSA-M caesium iodide Chemical compound [I-].[Cs+] XQPRBTXUXXVTKB-UHFFFAOYSA-M 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 208000019425 cirrhosis of liver Diseases 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 239000003925 fat Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- PNDPGZBMCMUPRI-UHFFFAOYSA-N iodine Chemical compound II PNDPGZBMCMUPRI-UHFFFAOYSA-N 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000003101 oviduct Anatomy 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000000614 rib Anatomy 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- LENZDBCJOHFCAS-UHFFFAOYSA-N tris Chemical compound OCC(N)(CO)CO LENZDBCJOHFCAS-UHFFFAOYSA-N 0.000 description 1
- 210000000626 ureter Anatomy 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 229910001868 water Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Public Health (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本说明书实施例提供一种图像处理方法和系统。所述图像处理方法包括:获取初始材料密度图像;将所述初始材料密度图像输入训练好的图像处理模型以获取目标材料密度图像;其中,所述训练好的图像处理模型对所述初始材料密度图像同时进行分解处理与降噪和/或去伪影处理。
Description
技术领域
本说明书涉及图像处理领域,特别涉及一种图像处理方法和系统。
背景技术
电子计算机断层扫描(Computed Tomography,CT)在如肝纤维定量化、乳腺肿瘤诊断、脊柱压缩骨折诊断及肾结石尿结石成分探测中,其材料分解技术显示出重要的应用价值。通常可以利用在两个不同的能谱上采集的两个衰减值来求解光电和康普顿贡献,其包括材料的质量衰减系数,从而通过其光电和康普顿贡献的值来识别未知材料实现材料分解。然而,现有的CT成像方法在实际应用时面临着一些不便,例如,CT图像直接通过矩阵求逆材料分解或者最小二乘分解的材料密度图像信噪比会严重退化。
因此,希望提供一种图像处理方法,以得到高信噪比、低噪声的材料密度图像。
发明内容
本说明书一个方面提供一种图像处理方法。所述方法包括:获取初始材料密度图像;将所述初始材料密度图像输入训练好的图像处理模型以获取目标材料密度图像;其中,所述训练好的图像处理模型对所述初始材料密度图像同时进行分解处理与降噪和/或去伪影处理。
在一些实施例中,所述图像处理模型包括用于对所述初始材料密度图像进行降噪和/或去伪影处理的神经网络模块,以及,用于迭代分解更新所述初始材料密度图像的迭代分解模块。
在一些实施例中,所述获取初始材料密度图像包括:获取待处理图像;基于所述待处理图像,确定所述初始材料密度图像。
在一些实施例中,所述神经网络模块包括基于卷积神经网络构建的图像转换模型,所述迭代分解模块包括含有数据保真项和基于所述图像转换模型确定的惩罚项的目标函数。
在一些实施例中,所述目标函数是获取所述数据保真项与所述基于所述图像转换模型确定的惩罚项之和达到最小值时的变量取值。
在一些实施例中,所述训练好的图像处理模型对所述初始材料密度图像同时进行分解处理与降噪和/或去伪影处理包括:利用迭代方法对所述初始材料密度图像同时进行分解处理与降噪和/或去伪影处理。
在一些实施例中,所述神经网络模块在所述降噪和/或去伪影处理的迭代计算中初次计算的输入项为所述初始材料密度图像,后续迭代计算中第m次计算的输入项为所述迭代分解模块第m-1次计算得到的更新后的材料密度图像,所述m为大于1的正整数;所述迭代分解模块在所述分解处理的迭代计算中第n次计算的输入项为所述神经网络模块第n次计算输出的材料成分图像,所述n为任意正整数。
在一些实施例中,所述目标材料密度图像为所述图像处理模型在满足第一迭代停止条件时确定的材料密度图像,所述第一迭代停止条件包括所述迭代计算的迭代次数达到第一预设迭代次数和/或在所述迭代计算中的第一损失函数小于或等于第一预设损失函数阈值。
在一些实施例中,所述训练好的图像处理模型通过以下方式获得:更新初始图像转换模型的模型参数:获取第一训练集,所述第一训练集包括由初始材料密度图像和对应的标签材料密度图像组成的样本对,所述标签材料密度图像的信噪比大于所述初始材料密度图像的信噪比;利用所述第一训练集训练所述初始图像转换模型以更新所述初始图像转换模型的模型参数;进一步调整所述模型参数过程:将所述初始材料密度图像输入至更新后的图像转换模型中,获得样本材料成分图像;基于所述样本材料成分图像,利用所述迭代分解模块更新所述初始材料密度图像;基于更新后的初始材料密度图像和相对应的标签材料密度图像确定第二训练集,利用所述第二训练集进一步训练所述更新后的图像转换模型,以进一步调整所述模型参数;将所述更新后的初始材料密度图像作为所述更新后的图像转换模型的输入项,并迭代执行所述进一步调整所述模型参数过程,以获得训练好的图像处理模型。
在一些实施例中,所述迭代执行所述进一步调整所述模型参数过程,以获得训练好的图像处理模型包括:迭代执行所述进一步调整所述模型参数过程,当满足设定的第二迭代停止条件时停止迭代,获得所述训练好的图像处理模型;其中,所述第二迭代停止条件包括迭代次数达到第二预设迭代次数和/或在所述迭代执行中的第二损失函数小于或等于第二预设损失函数阈值。
本说明书另一个方面提供一种图像处理系统。所述系统包括:获取模块和图像处理模块;所述获取模块用于获取初始材料密度图像;所述图像处理模块用于将所述初始材料密度图像输入训练好的图像处理模型以获取目标材料密度图像;其中,所述训练好的图像处理模型对所述初始材料密度图像同时进行分解处理与降噪和/或去伪影处理;所述图像处理模型包括用于对所述初始材料密度图像进行降噪和/或去伪影处理的神经网络模块,以及,用于迭代分解更新所述初始材料密度图像的迭代分解模块。
本说明书另一个方面提供一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行如前所述的图像处理方法。
本说明书的另一方面提供一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如前所述的图像处理方法。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的图像处理系统的示例性应用场景示意图;
图2是根据本说明书一些实施例所示的图像处理系统的示例性模块图;
图3是根据本说明书一些实施例所示的图像处理方法的示例性流程图;
图4是根据本说明书一些实施例所示的图像处理模型迭代计算过程的示例性流程图;
图5是根据本说明书一些实施例所示的图像处理模型确定方法的示例性流程图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”、“第四”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作,相关描述是为帮助更好地理解医学成像方法和/或系统。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
电子计算机断层扫描(Computed Tomography,CT)目前在临床诊断中应用广泛。光子计数CT通过设置若干个阈值,对不同能量区间的光子进行计数,从而可以获得具有不同能量区间的X射线穿过物体以后的投影,最后重建能谱CT图像,其可以获得多个不同能量段的扫描数据。
基于多个能量段的数据,可以实现多材料密度的分解。然而,由于材料密度分解系数组成的矩阵具有非常大的条件数,使得直接矩阵求逆材料分解或者最小二乘分解的材料密度图像信噪比会严重退化。在一些实施例中,可以通过迭代材料分解或卷积网络降噪模型对直接矩阵求逆材料分解和最小二乘分解获得的材料密度图像进行材料降噪和/或去伪影。但是,迭代材料分解速度较慢,难以满足临床需求,同时比较难找到很好的权衡图像质量的惩罚函数。直接使用卷积网络降噪模型进行材料降噪和/或去伪影,可能会产生网络过拟合的风险,同时需要较多的训练集合。
本说明书实施例披露了一种图像处理方法,通过边迭代分解边降噪和/或去伪影的方法实现对材料密度图像的降噪和去伪影,基于卷积神经网络确定惩罚函数,能够有效避免神经网络训练时的过拟合,提高材料密度图像的信噪比。以下通过对附图的描述详细阐述本说明书所披露的技术方案。
图1是根据本说明书一些实施例所示的图像处理系统的示例性应用场景示意图。
在一些实施例中,图像处理系统100可以用于获取CT图像(或X-射线图像),并通过矩阵求逆材料分解或者最小二乘分解对CT图像(或X-射线图像)进行分解得到初始材料密度图像。在一些实施例中,图像处理系统100可以用于对初始材料密度图像进行降噪和/或去伪影处理,获得目标材料密度图像。
如图1所示,在一些实施例中,图像处理系统100可以包括成像设备110、网络120、终端130、处理设备140以及存储设备150。
成像设备110可以用于扫描位于其检测区域内的目标对象或其一部分,并生成与该目标对象或其一部分有关的图像。在一些实施例中,目标对象可以包括身体、物质等,或其任意组合。在一些实施例中,目标对象可以包括身体的特定部分,例如头部、胸部、腹部等,或其任意组合。在一些实施例中,目标对象可以包括特定器官,例如心脏、食道、气管、支气管、胃、胆囊、小肠、结肠、膀胱、输尿管、子宫、输卵管等。在一些实施例中,目标对象可以包括患者或者其他医学实验对象(例如,试验用小白鼠等其他动物)等。
在一些实施例中,成像设备110可以包括X射线扫描仪、计算机断层扫描(CT)仪。
在一些实施例中,成像设备110可以包括机架111、探测器112、扫描区域113和扫描床114。目标对象可以放置于扫描床114上以便接受扫描。机架111可以用于支撑探测器112。探测器112可以用于探测放射线束。扫描区域113为放射线束扫描的成像区域。
在一些实施例中,探测器112可以包括一个或多个探测器单元。在一些实施例中,探测器单元可以包括单排探测器和/或多排探测器。在一些实施例中,探测器单元可以包括闪烁探测器(例如,碘化铯探测器)和其他探测器等。在一些实施例中,机架111可以旋转,例如,在CT成像设备中,机架111可以围绕机架旋转轴线顺时针或逆时针旋转。在一些实施例中,成像设备110可以进一步包括放射扫描源,放射扫描源可以与机架111一同旋转。放射扫描源可以发出放射线束(例如,X射线)到目标对象,经目标对象衰减后被探测器112探测到,进而产生图像信号。在一些实施例中,扫描床114可以可移动地设置于机器前方并与地面平行,扫描床114可以通过移动以进出扫描区域113,扫描床114也可以在垂直方向移动,调整进入到扫描区域113内时,扫描床上的目标对象与探测器112(或扫描中心)之间的距离,以在扫描范围内对目标对象进行扫描。
处理设备140可以处理从成像设备110、终端130和/或存储设备150获得的数据和/或信息。例如,处理设备140可以对成像设备110探测到的图像信息进行处理,以得到CT图像或X-射线图像。又例如,处理设备140可以对包含多个能量段的CT图像或X-射线图像进行处理,得到多种材料的材料密度图像。在一些实施例中,处理设备140可以是单个服务器或服务器组。服务器组可以是集中式的,也可以是分布式的。在一些实施例中,处理设备140可以是本地的或远程的。例如,处理设备140可以通过网络120从成像设备110、终端130和/或存储设备150访问信息和/或数据。又例如,处理设备140可以直接连接成像设备110、终端130和/或存储设备150以访问信息和/或数据。在一些实施例中,处理设备140可以在云平台上实现。例如,云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等其中一种或几种的组合。
终端130可以包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。在一些实施例中,终端130可以通过网络120与图像处理系统100中的其他组件交互。例如,终端130可以通过网络120向成像设备110发送一种或多种控制指令以控制成像设备110按照指令对目标对象进行扫描。又例如,终端130还可以通过网络120接收处理设备140确定的材料密度图像,并显示材料密度图像供操作者分析确认。在一些实施例中,移动设备131可以包括智能家居装置、可穿戴设备、移动装置、虚拟现实装置、增强现实装置等或其任意组合。在一些实施例中,智能家居装置可以包括智能照明装置、智能电器控制装置、智能监控装置、智能电视、智能射线机、对讲机等或其任意组合。在一些实施例中,可穿戴设备可以包括手链、鞋袜、眼镜、头盔、手表、衣服、背包、智能附件等或其任意组合。在一些实施例中,移动装置可包括移动电话、个人数字助理(PDA)、游戏装置、导航装置、POS装置、笔记本电脑、平板电脑、台式机等或其任意组合。在一些实施例中,该虚拟现实装置和/或增强现实装置可包括虚拟现实头盔、虚拟现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁等或其任意组合。例如,该虚拟现实装置和/或增强现实装置可包括Google GlassTM、Oculus RiftTM、HoloLensTM或Gear VRTM等。
在一些实施例中,终端130可以是处理设备140的一部分。在一些实施例中,终端130可以与处理设备140整合为一体,作为成像设备110的操作台。例如,图像处理系统100的用户/操作者(例如,医生或护士)可以通过该操作台控制成像设备110的运行,比如,对目标对象进行扫描、控制扫描床114移动、图像处理模型的训练、使用图像处理模型获取材料密度图像等。
存储设备150可以存储数据(例如,对目标对象的扫描数据)、指令和/或任何其他信息。在一些实施例中,存储设备150可以存储从成像设备110、终端130和/或处理设备140处获得的数据。例如,存储设备150可以存储从成像设备110获得的治疗计划、目标对象的扫描数据等。在一些实施例中,存储设备150可以存储处理设备140可以执行或使用的数据和/或指令,以执行本说明书中描述的示例性方法。在一些实施例中,存储设备150可包括大容量存储器、可移除存储器、易失性读写存储器、只读存储器(ROM)等其中一种或几种的组合。大容量存储可以包括磁盘、光盘、固态硬盘、移动存储等。可移除存储器可以包括闪存驱动器、软盘、光盘、存储卡、ZIP磁盘、磁带等。易失性读写存储器可以包括随机存取存储器(RAM)。RAM可以包括动态随机存储器(DRAM)、双数据率同步动态随机存取存储器(DDR-SDRAM)、静态随机存取存储器(SRAM)、可控硅随机存取存储器(T-RAM)、零电容随机存取存储器(Z-RAM)等。ROM可以包括掩模只读存储器(MROM)、可编程的只读存储器(PROM)、可擦除可编程只读存储器(EPROM),电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)、数字多功能光盘等。在一些实施例中,存储设备150可以通过本申请中描述的云平台实现。
在一些实施例中,存储设备150可以连接网络120,以与图像处理系统100中的一个或多个组件(例如,处理设备140、终端130等)之间实现通信。图像处理系统100中的一个或多个组件可以通过网络120读取存储设备150中的数据或指令。在一些实施例中,存储设备150可以是处理设备140的一部分,也可以是独立的,与处理设备140直接或间接相连。
网络120可以包括能够促进图像处理系统100的信息和/或数据交换的任何合适的网络。在一些实施例中,图像处理系统100的一个或多个组件(例如,成像设备110、终端130、处理设备140、存储设备150等)可以通过网络120与图像处理系统100的一个或多个组件之间交换信息和/或数据。例如,处理设备140可以通过网络120从成像设备110中获取扫描数据。在一些实施例中,网络120可以包括公共网络(如互联网)、私人网络(例如,局域网(LAN)、广域网(WAN))等)、有线网络(如以太网)、无线网络(例如,802.11网络、无线Wi-Fi网络等)、蜂窝网络(例如,长期演进(LTE)网络)、帧中继网络、虚拟专用网络(VPN)、卫星网络、电话网络、路由器、集线器、服务器计算机等其中一种或几种的组合。例如,网络120可以包括有线网络、光纤网络、电信网络、局域网、无线局域网(WLAN)、城域网(MAN),公用电话交换网(PSTN)、蓝牙TM网络,ZigBeeTM网络、近场通信(NFC)网络等其中一种或几种的组合。在一些实施例中,网络120可以包括一个或多个网络接入点。例如,网络120可以包括有线和/或无线网络接入点,例如基站和/或因特网交换点,通过所述接入点,图像处理系统100的一个或多个组件可以连接网络120以交换数据和/或信息。
应当注意,对图像处理系统100的以上描述仅出于说明的目的,而无意于限制本申请的范围。对于本领域普通技术人员而言,可以根据本申请进行各种变型和修改。然而,这些变化和修改不脱离本申请的范围。例如,图像处理系统100中还可以包括显示设备,用于输出显示经处理设备140处理后的材料密度图像等。又例如,成像设备110、处理设备140与终端130可以共用一个存储设备150,也可以有各自的存储设备。
图2是根据本说明书一些实施例所示的图像处理系统的示例性模块图。
如图2所示,在一些实施例中,图像处理系统200可以包括获取模块210和图像处理模块220。在一些实施例中,图像处理系统200中的一个或以上模块可以相互连接。连接可以是无线的或有线的。图像处理系统200的至少一部分可以在如图1所示的处理设备140或终端130上实现。
获取模块210可以用于获取初始材料密度图像。在一些实施例中,获取模块210可以用于获取待处理图像。
图像处理模块220可以用于进行图像处理。例如,图像处理模块220可以将初始材料密度图像输入训练好的图像处理模型以获取目标材料密度图像。在一些实施例中,图像处理模型可以包括神经网络模块和迭代分解模块。
在一些实施例中,图像处理模型可以采用同时对初始材料密度图像进行迭代处理和降噪和/或去伪影处理的方式确定目标材料密度图像。在一些实施例中,图像处理模块220可以通过图像处理模型利用迭代方法对初始材料密度图像同时进行分解处理与降噪和/或去伪影处理。
在一些实施例中,神经网络模块可以用于对初始材料密度图像进行降噪和/或去伪影处理。在一些实施例中,神经网络模块可以包括基于卷积神经网络构建的图像转换模型。在一些实施例中,迭代分解模块可以用于迭代更新初始材料密度图像。在一些实施例中,迭代分解模块可以包括含有数据保真项和基于图像转换模型确定的惩罚项的目标函数。在一些实施例中,目标函数可以包括:
其中,X(μ,x)为数据保真项;μ表示待处理图像;x表示待更新的材料密度图像,x的初始值为初始材料密度图像;Y(x,u)为基于图像转换模型确定的惩罚项;u表示利用图像转换模型获得的材料成分图像。
在一些实施例中,神经网络模块在降噪和/或去伪影处理的迭代计算中初次计算的输入项可以为初始材料密度图像,后续迭代计算中第m次计算的输入项可以为迭代分解模块第m-1次计算得到的更新后的材料密度图像,m为大于1的正整数;迭代分解模块在分解处理的迭代计算中第n次计算的输入项可以为神经网络模块第n次计算输出的材料成分图像,n为任意正整数。
在一些实施例中,目标材料密度图像可以为图像处理模型在满足第一迭代停止条件时确定的材料密度图像,其中,第一迭代停止条件可以包括迭代计算的迭代次数达到第一预设迭代次数和/或在迭代计算中的第一损失函数小于或等于第一预设损失函数阈值。
在一些实施例中,图像处理模块220还可以用于基于待处理图像,确定初始材料密度图像。
在一些实施例中,图像处理系统200还可以包括训练模块230。训练模块230可以用于训练图像处理模型。在一些实施例中,训练模块230可以用于更新初始神经网络模块(如初始图像转换模型)的模型参数。例如,训练模块230可以获取第一训练集,第一训练集可以包括由初始材料密度图像和对应的标签材料密度图像组成的样本对,标签材料密度图像的信噪比大于初始材料密度图像的信噪比;利用第一训练集训练初始图像转换模型以更新初始图像转换模型的模型参数。在一些实施例中,训练模块230可以进一步调整模型参数。例如,训练模块230可以将初始材料密度图像输入至更新后的图像转换模型中,获得样本材料成分图像;基于样本材料成分图像,利用迭代分解模块更新初始材料密度图像;基于更新后的初始材料密度图像和相对应的标签材料密度图像确定第二训练集,利用第二训练集进一步训练更新后的图像转换模型,以进一步调整模型参数。在一些实施例中,训练模块230可以将更新后的初始材料密度图像作为更新后的图像转换模型的输入项,并迭代执行进一步调整模型参数过程,以获得训练好的图像处理模型。
在一些实施例中,训练模块230还可以用于迭代执行进一步调整模型参数过程,当满足设定的第二迭代停止条件时停止迭代执行,获得训练好的图像处理模型;其中,第二迭代停止条件可以包括迭代执行的迭代次数达到第二预设迭代次数和/或在迭代执行中的第二损失函数小于或等于第二预设损失函数阈值。
在一些实施例中,获取模块210、图像处理模块220和训练模块230可以为相同或不同处理设备中的模块。例如,获取模块210、图像处理模块220和训练模块230可以均为处理设备140中的模块。又如,获取模块210和图像处理模块220可以为处理设备140中的模块,训练模块230可以为处理设备140之外的其他处理设备中的模块。
应当注意,对图像处理系统200的以上描述仅出于说明的目的,而无意于限制本申请的范围。对于本领域普通技术人员而言,可以根据本申请进行各种变型和修改。然而,这些变化和修改不脱离本申请的范围。例如,上述图像处理系统200的一个或以上模块可以被省略或集成为单个模块。又例如,图像处理系统200可以包括一个或以上附加模块,例如,用于数据存储的存储模块。
图3是根据本说明书一些实施例所示的图像处理方法的示例性流程图。
流程300可以由处理设备140执行。例如,流程300可以被实现为存储在例如存储设备150、图像处理系统(例如,图像处理系统100或图像处理系统200)外部并且可由图像处理系统访问的存储器中的指令集(例如,应用程序)。处理设备140可以执行指令集,并且在执行指令时,可以将其配置为执行流程300。下面呈现的流程300的操作示意图是说明性的。在一些实施例中,可以利用一个或以上未描述的附加操作和/或未讨论的一个或以上操作来完成该过程。另外,图3中示出的和下面描述的流程300的操作的顺序不旨在是限制性的。
步骤310,获取待处理图像。在一些实施例中,步骤310可以由处理设备140或获取模块210执行。
在一些实施例中,待处理图像可以为通过成像设备(如成像设备110)以射线扫描目标对象得到的CT图像或者X-射线图像。在一些实施例中,目标对象可以包括患者或者其他医学实验对象(例如,试验用小白鼠等其他动物)等。在一些实施例中,目标对象还可以是患者或其他医学实验对象的一部分,包括器官和/或组织,例如,心脏、肺、肋骨、腹腔等。在一些实施例中,待处理图像可以包括目标对象(如人、动物)的至少一部分,如,头部、脊柱、颈部、胸部、肺部、心脏、胃、血管、软组织、肿瘤、结节等。在一些实施例中,初始图像可以为二维图像和/或三维图像。
在一些实施例中,处理设备140可以通过成像设备以不同能量的射线对目标对象进行同一或不同角度的扫描成像以得到包含两个或两个以上能量段的待处理图像。在一些实施例中,待处理图像可以为光子计数型等能谱CT设备扫描获得的CT图像。在一些实施例中,待处理图像可以为X-射线图像。
在一些实施例中,处理设备140可以通过从成像设备、数据库、存储设备中读取,以及调用数据接口等方式获取目标对象的待处理图像。
步骤320,基于待处理图像,确定初始材料密度图像。在一些实施例中,步骤320可以由处理设备140或图像处理模块220执行。
CT成像的本质是衰减系数成像,其原理为X射线具有穿透性,可穿透目标对象(例如,生命体、物体),目标对象的不同组织对X射线的吸收与透过率不同,当X射线穿过目标对象,目标对象不同部位对X射线的衰减不同,因此,通过测量衰减后的X射线,就可得到目标对象不同部位的数据,将所获取的数据进行处理后,就可重建出目标对象被检查部位的断面或立体的图像。而目标对象的线性衰减系数可以表示为一种或多种材料的材料密度图像和材料成分的线性组合,由于CT图像的CT值与线性衰减系数呈线性关系,因此目标对象的CT图像可以表示为所述材料的材料密度图像和材料成分矩阵的线性组合,如等式(2)所示:
其中,μBN表示各个能量段下的CT图像(即,待处理图像),脚标B1、B2、BN分别指代各个能量段;由μB1,1、…、μBN,M组成的矩阵为材料成分矩阵A,μE,l是材料成分矩阵A中材料l(l=1,2,…,M)在能量段E(E=B1,B2,…,BN)下的质量衰减系数(即材料密度系数),M指代材料的种类;xM表示各材料对应的材料密度图像。
材料密度图像可以反映材料的密度分布情况。在一些实施例中,材料可以包括钙、碘、水、空气、脂肪、软组织、血管等,或其任意组合。在一些实施例中,处理设备140可以基于待处理图像确定初始材料密度图像。例如,处理设备140可以基于等式(2),将待处理图像带入等式(2),并通过矩阵求逆分解(例如,双基分解、三基分解或者多基物质分解等)或者最小二乘分解等方式确定初始材料密度图像。又例如,处理设备140可以将待处理图像输入至训练好的图像处理模型,以获得初始材料密度图像。在一些实施例中,处理设备140可以利用图像处理模型中的迭代分解模块获得初始材料密度图像。例如,处理设备140可以令目标函数(1)的惩罚项为0,将待处理图像代入目标函数(1)的数据保真项,通过矩阵求逆分解或者最小二乘分解等方式确定初始材料密度图像。在一些实施例中,图像处理模型可以包括用于确定初始材料密度图像的图像分解模块。初始材料密度图像表示还未进行处理的材料密度图像。
在一些实施例中,通过对包含不同能量段的CT图像(或X-射线图像)进行矩阵求逆分解或者最小二乘分解得到的初始材料密度图像的信噪比可能会产生退化。在一些实施例中,可以通过对初始材料密度图像进行降噪和/或去伪影处理提高图像信噪比。信噪比为图像中信号与噪声的比值,信噪比可以反应图像中噪声(如高斯噪声、泊松噪声等)的大小,图像的信噪比越大,图像中噪声越小。
步骤330,将初始材料密度图像输入训练好的图像处理模型以获取目标材料密度图像。在一些实施例中,步骤330可以由处理设备140或图像处理模块220执行。
目标材料密度图像可以指降噪和/或去伪影后的材料密度图像。在一些实施例中,目标材料密度图像可以用于对扫描部位疾病的分析和诊断等。在一些实施例中,处理设备140可以利用训练好的图像处理模型对初始材料密度图像同时进行分解处理与降噪和/或去伪影处理,以得到目标材料密度图像。
在一些实施例中,图像处理模型可以包括神经网络模块和迭代分解模块。
在一些实施例中,神经网络模块可以用于对材料密度图像进行降噪和/或去伪影处理。在一些实施例中,神经网络模块可以包括基于卷积神经网络、图神经网络、深度神经网络等中的一种或多种的组合构建的图像转换模型。优选地,神经网络模块可以包括基于卷积神经网络构建的图像转换模型。在一些实施例中,神经网络模块的输入项可以为信噪比较低的材料密度图像,输出项可以为信噪比更高和/或去伪影后的材料成分图像。例如,神经网络模块的输入项可以为初始材料密度图像,或通过迭代分解模块迭代更新后的材料密度图像,输出可以为材料成分图像(也可以称为中间材料密度图像)或目标材料密度图像。
在一些实施例中,迭代分解模块可以用于迭代分解更新材料密度图像,以平衡材料密度图像的信号与噪声。例如,迭代分解模块可以用于平衡材料成分图像的信号与噪声,以减少材料成分图像的噪声,同时保证材料成分图像的有用信号不被降低或影响,以获得更新后的噪声更低的材料密度图像。在一些实施例中,迭代分解模块的输入项可以为神经网络模块输出的信噪比相对较低的材料成分图像,输出可以为更新后的信噪比相对较高的材料密度图像。
在一些实施例中,迭代分解模块可以包括数据保真项和惩罚项。在一些实施例中,迭代分解模块可以包括含有数据保真项和基于图像转换模型确定的惩罚项的目标函数,例如,获取数据保真项与基于图像转换模型确定的惩罚项之和达到最小值时的变量取值的目标函数(1)。在一些实施例中,迭代分解模块可以通过惩罚项权衡神经网络模块输出的材料成分图像和数据保真项的材料密度图像之间的噪声,以获得信噪比更高的材料密度图像。
在一些实施例中,图像处理模型可以利用迭代方法对初始材料密度图像同时进行分解处理与降噪和/或去伪影处理,以确定目标材料密度图像。例如,图像处理模型可以将初始材料密度图像输入进神经网络模块,并将神经网络模块输出的处理后的材料成分图像作为迭代分解模块的输入项,然后将迭代分解模块输出的更新后的材料密度图像再次输入进神经网络模块进行处理,经过多次诸如此类迭代分解模块和神经网络模块进行的迭代计算,确定目标材料密度图像。
在一些实施例中,神经网络模块在降噪和/或去伪影处理的迭代计算中初次计算的输入项可以为初始材料密度图像,后续迭代计算中第m次计算的输入项可以为迭代分解模块第m-1次计算得到的更新后的材料密度图像,m为大于1的正整数;迭代分解模块在分解处理的迭代计算中第n次计算的输入项可以为神经网络模块第n次计算输出的材料成分图像,n为任意正整数。例如,图像处理模型的迭代计算中,神经网络模块第5次计算的输入项可以为迭代分解模块第4次计算得到的更新后的材料密度图像;迭代分解模块第4次计算的输入项可以为神经网络模块第4次计算输出的材料成分图像。
在一些实施例中,目标材料密度图像可以为图像处理模型在满足第一迭代停止条件时确定的材料密度图像,例如满足第一迭代停止条件时神经网络模块输出的材料成分图像或迭代分解模块输出的材料密度图像。图像处理模型在满足第一迭代停止条件后迭代终止,输出目标材料密度图像。在一些实施例中,第一迭代停止条件可以包括迭代计算的迭代次数满足第一预设迭代次数(例如,迭代次数达到第一预设迭代次数)、或迭代计算中的第一损失函数满足第一预设损失函数阈值(例如,小于或等于第一预设损失函数阈值)、或目标材料密度图像的信噪比大于信噪比阈值等中的至少一种。其中,第一损失函数可以为图像处理模型的前后相邻两次迭代计算得到的两组材料成分图像或更新后的材料密度图像之间的差异。
在一些实施例中,第一预设迭代次数可以为任意合理的表示图像处理模型迭代计算的迭代次数的阈值,仅作为示例,第一预设迭代次数可以为2、10、100、500等数值。
在一些实施例中,第一预设损失函数阈值可以为表示前后相邻两次迭代计算得到的两组材料成分图像或更新后的材料密度图像之间的差异(例如,距离、或相似度等)的阈值。在一些实施例中,第一预设损失函数阈值可以表示为百分数(如1%,5%等)、或小数(如,0.01、0.03等)、或分数、或整数等任意合理的数值类型。在一些实施例中,前后相邻两次迭代计算得到的两组更新后的材料密度图像之间的差异可以包括两组更新后的材料密度图像的图像质量值的差值或比值等。
在一些实施例中,信噪比阈值可以为表示目标材料密度图像的信噪比的阈值。仅作为示例,信噪比阈值可以为10dB、20dB、50dB等。
关于迭代计算过程的具体内容可以参见图4及其相关描述,此处不再赘述。
图4是根据本说明书一些实施例所示的迭代计算过程的示例性流程图。
流程400可以由处理设备140执行。例如,流程400可以被实现为存储在例如存储设备150、图像处理系统(例如,图像处理系统100或图像处理系统200的图像处理模块220)外部并且可由图像处理系统访问的存储器中的指令集(例如,应用程序)。处理设备140可以执行指令集,并且在执行指令时,可以将其配置为执行流程400。下面呈现的流程400的操作示意图是说明性的。在一些实施例中,可以利用一个或以上未描述的附加操作和/或未讨论的一个或以上操作来完成该过程。另外,图4中示出的和下面描述的流程400的操作的顺序不是限制性的。
步骤410,基于初始材料密度图像或更新后的材料密度图像,通过神经网络模块确定材料成分图像。
材料成分图像可以为通过神经网络模块进行降噪和/或去伪影处理过程中其中一次处理得到的材料成分图像。在一些实施例中,处理设备140可以将初始材料密度图像或更新后的材料密度图像(例如,由迭代分解模块更新后的材料密度图像)输入到神经网络模块,得到由神经网络模块输出的材料成分图像。
在一些实施例中,神经网络模块可以包括卷积层和全连接层。卷积层可以用于获取输入数据的局部特征,全连接层可以用于获取输入数据的全局特征。例如,神经网络模块的卷积层可以基于输入的初始材料密度图像x1获取其局部特征{x1,1,x1,2,…,x1,M},其中,x1,1表示材料1与其自身的相关性,x1,2表示材料1与材料2之间的相关性,x1,M表示材料1与材料M之间的相关性;全连接层可以通过权重矩阵或求和运算等方式对局部特征进行重新组装以获得对应的材料成分图像u1。全连接层可以整合关于每一种材料的局部特征。在一些实施例中,卷积层可以包括一个或多个卷积核。
在一些实施例中,初始材料密度图像和/或更新后的材料密度图像为x,可以包括一张或多张图像。例如,x可以包括基于CT图像或X-射线图像分解得到的M张分别代表M种不同材料的材料密度图像x1,x2,…,xM。在一些实施例中,M张材料密度图像可以分别或同时输入神经网络模块,得到对应的M张材料成分图像u1,u2,…,uM。例如,材料成分图像u1可以通过对表示M种材料中每种材料与材料1的相关性的局部特征x1,1,x2,1,…,xM,1整合获得,材料成分图像u2可以通过对表示M种材料中每种材料与材料2的相关性的局部特征x1,2,x2,2,…,xM,2整合获得,材料成分图像uM可以通过对表示M种材料中每种材料与材料M的相关性的局部特征x1,M,x2,M,…,xM,M整合获得。
在一些实施例中,神经网络模块可以包括一个卷积层,图像处理模型可以将M张材料密度图像同时输入神经网络模块,经卷积层获得每张材料密度图像的自相关和互相关的特征图像后,再经全连接层分别针对每种材料将表示材料与其自身相关性的自相关的特征图像以及表示其他材料与该材料的相关性的互相关的特征图像(例如,针对材料1,对应特征图像可以为:x1,1,x2,1,…,xM,1)进行合并,输出M张降噪和/或去伪影后的材料成分图像。其中,自相关的特征图像可以表示材料密度图像与自身之间的相关性特征,互相关的特征图像可以表示材料密度图像与M张材料密度图像中其他材料密度图像之间的相关性特征。在一些实施例中,神经网络模块可以包括多个卷积层(例如,M个卷积层),图像处理模型可以将M张材料密度图像分别输入神经网络模块,每个卷积层可以计算与之对应的一个材料密度图像的自相关和互相关的特征图像,后再经全连接层,输出M张降噪和/或去伪影后的材料成分图像。
步骤420,基于材料成分图像,利用迭代分解模块确定更新后的材料密度图像。
在一些实施例中,处理设备140可以将材料成分图像输入到迭代分解模块得到迭代分解模块输出的更新后的材料密度图像。更新后的材料密度图像可以平衡材料成分图像的有用信号和噪声,使得材料密度图像的噪声降低的同时保持图像中有用信号不被干扰或降低,进而使材料密度图像的降噪和/或去伪影效果更优。在一些实施例中,迭代分解模块可以包括含有数据保真项和基于神经网络模块(如图像转换模型)确定的惩罚项的目标函数。在一些实施例中,迭代分解模块的目标函数可以包括获取数据保真项与基于图像转换模型确定的惩罚项之和达到最小值时的变量取值的目标函数,例如,图2中描述的等式(1)。
在一些实施例中,目标函数中的数据保真项可以用于迫使体积分数x的线性组合(例如,Ax,其中A表示材料成分矩阵)逼近真实CT图像(或X-射线图像)μ,惩罚项可以用于权衡神经网络模块输出的材料成分图像和数据保真项的材料密度图像,使得更新后的材料密度图像的噪声低于神经网络模块输出的材料成分图像的噪声的同时,保证更新后的材料密度图像的图像质量(如有用信号)不被干扰或降低。其中,x的初始值是指在迭代计算开始前初始化的值,材料成分矩阵A与图像的能量段以及需要分解的材料种类有关。在一些实施例中,惩罚项中的惩罚因子与材料密度图像需要达到的降噪和/或去伪影水平、材料成分等相关。
可以理解,上述目标函数(1)仅作为示例,在一些替代性实施例中,迭代分解模块可以采用其他合理的目标函数实现对材料密度图像的更新迭代,本说明书对此不作限制。
在一些实施例中,处理设备140可以将更新后的材料密度图像再次输入神经网络模块,确定材料成分图像。例如,迭代分解模块第n-1次计算得到的更新后的材料密度图像x(n-1)可以作为输入数据再次输入至神经网络模块,以得到神经网络模块第n次输出的材料成分图像u(n)。通过将更新后的材料密度图像再次输入神经网络模块进行计算,可以进一步降噪和/或去伪影并且尽可能的保留图像中的有用信息。
步骤430,判断当前是否满足第一迭代停止条件。
在一些实施例中,处理设备140可以判断本次迭代计算的结果是否满足第一迭代停止条件,若满足第一迭代停止条件,则可以进入步骤440,将本次迭代计算输出的更新后的材料密度图像确定为目标材料密度图像;若不满足第一迭代停止条件,则将更新后的材料密度图像作为神经网络模块的输入数据,继续执行步骤410-步骤420,直至满足第一迭代停止条件。关于第一迭代停止条件的更多内容可以参见步骤330及其相关说明,此处不再赘述。
步骤440,确定目标材料密度图像。
在一些实施例中,处理设备140可以将图像处理模型满足第一迭代停止条件时输出的更新后的材料密度图像确定为目标材料密度图像。在一些实施例中,处理设备140可以判断目标材料密度图像是否满足预设条件(如是否大于预设的信噪比阈值或图像质量阈值),若不满足预设条件则可以对该目标材料密度图像进行后处理或再次通过图像处理模型进行处理。
仅作为示例,在迭代开始前,初始材料密度图像x(0)被输入至神经网络模块,得到神经网络模块的输出,即材料成分图像u(1)。材料成分图像u(1)被输入至迭代分解模块,迭代分解模块针对目标函数,进行第一次迭代计算。经过第一次迭代计算,可以得到更新后的材料密度图像x(1)。更新后的材料密度图像x(1)再被输入至神经网络模块,得到神经网络模块的输出,即材料成分图像u(2)。材料成分图像u(2)被输入至迭代分解模块,迭代分解模块针对目标函数,进行第二次迭代计算。经过第二次迭代计算,可以得到更新后的材料密度图像x(2)。更新后的材料密度图像x(2)再被输入至神经网络模块,得到神经网络模块的输出,即材料成分图像u(3)。与此类似,第n次迭代中,利用神经网络模块确定的材料成分图像u(n),经过迭代模型分解模块(即迭代分解模块)可以输出得到更新后的材料密度图像x(n)。经过若干次迭代,直到满足第一迭代停止条件时,迭代计算被终止,确定的更新后的材料密度图像x(n)即为目标材料密度图像。
在一些实施例中,目标材料密度图像可以用于了解目标部位材料密度的分布,便于目标部位疾病的诊断以及发现未知的疾病。
应当注意,关于流程300和/或流程400的以上描述仅是出于说明的目的而提供的,并且无意于限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改不脱离本申请的范围。在一些实施例中,流程300和/或流程400可以包括一个或以上附加操作,或者可以省略上述一个或以上操作。例如,流程400可以包括一个或以上附加操作以确定一个或以上材料密度图像。
图5是根据本说明书一些实施例所示的图像处理模型确定方法的示例性流程图。
在一些实施例中,流程500可以由处理设备140执行。例如,流程500可以被实现为存储在例如存储设备150、图像处理系统(例如,图像处理系统100或图像处理系统200中训练模块230)外部并且可由图像处理系统访问的存储器中的指令集(例如,应用程序)。处理设备140可以执行指令集,并且在执行指令时,可以将其配置为执行流程500。在一些实施例中,流程300、流程400和流程500可以由不同的处理设备执行。例如,流程300和流程400可以由处理设备140执行,流程500可以由处理设备140之外的其他处理设备执行。下面呈现的流程500的操作示意图是说明性的。在一些实施例中,可以利用一个或以上未描述的附加操作和/或未讨论的一个或以上操作来完成该过程。另外,图5中示出的和下面描述的流程500的操作的顺序不旨是限制性的。
步骤510,获取第一训练集。
第一训练集为训练神经网络模块的初始训练数据。在一些实施例中,第一训练集可以包括由初始材料密度图像和对应的标签材料密度图像组成的样本对。其中,初始材料密度图像是指基于与目标对象相同或不同的扫描对象的样本待处理图像(如CT图像或者X-射线图像)获得的未经处理的材料密度图像,标签材料密度图像是指对初始材料密度图像进行降噪和/或去伪影处理后的材料密度图像,即标签材料密度图像的信噪比大于初始材料密度图像的信噪比。在一些实施例中,初始材料密度图像可以通过对待处理图像进行矩阵求逆分解或者最小二乘分解等方式获得,标签材料密度图像可以通过对初始材料密度图像进行降噪和/或去伪影处理等方式获得。在一些实施例中,标签材料密度图像的信噪比可以高于材料密度图像的信噪比阈值,例如阈值可以为1dB,2dB,或5dB等。
在一些实施例中,初始材料密度图像在训练中可以为神经网络模块的输入数据,标签材料密度图像可以为神经网络模块的期望输出数据。
在一些实施例中,处理设备(或训练模块230)可以获取预先存储在存储设备中的第一训练集。在一些实施例中,处理设备(或训练模块230)可以通过接口获取第一训练集,该接口包括但不限于程序接口、数据接口、传输接口等。
步骤520,利用第一训练集训练初始图像转换模型以更新初始图像转换模型的模型参数。
初始图像转换模型是指未经训练的图像转换模型(即初始神经网络模块)。在一些实施例中,处理设备可以基于卷积神经网络构建初始图像转换模型,以根据输入的材料密度图像预测输出材料成分图像,并利用第一训练集训练该初始图像转换模型以确定初始图像转换模型的模型参数,进而实现对初始图像转换模型的模型参数的更新。在一些实施例中,处理设备可以使用任意合理可行的训练方法(例如梯度下降法等,本说明书对此不作限制)训练初始图像转换模型以更新初始图像转换模型的模型参数,获得更新后的图像转换模型。
步骤530,将初始材料密度图像输入至更新后的图像转换模型中,获得样本材料成分图像。
样本材料成分图像为更新后的图像转换模型预测输出的信噪比更高的图像。在一些实施例中,处理设备可以将多个初始材料密度图像分别输入至更新后的图像转换模型中,分别获得多个与输入的初始材料密度图像对应的样本材料成分图像。
步骤540,基于样本材料成分图像,利用迭代分解模块更新初始材料密度图像。
在一些实施例中,处理设备可以将样本材料成分图像输入到迭代分解模块,通过一次迭代计算获得更新后的初始材料密度图像。例如,迭代分解模块可以使用含有数据保真项和基于图像转换模型确定的惩罚项的目标函数(1),基于样本材料成分图像计算获得更新后的初始材料密度图像。初始材料密度图像的更新与步骤420中材料密度图像的更新类似,更多内容可以参见步骤420中相关描述,此处不再赘述。在一些实施例中,此步骤与步骤420中利用迭代分解模块更新初始材料密度图像/材料密度图像的过程可以仅包括一次基于目标函数的迭代计算。
步骤550,基于更新后的初始材料密度图像确定第二训练集,并利用第二训练集进一步训练更新后的图像转换模型。
在一些实施例中,处理设备可以将更新后的初始材料密度图像和与其对应的标签材料密度图像作为第二训练集,并利用第二训练集进一步训练更新后的图像转换模型。其中,更新后的初始材料密度图像可以作为更新后的图像转换模型训练的输入数据,对应的标签材料密度图像可以作为更新后的图像转换模型的期望输出数据。
在一些实施例中,处理设备可以使用与步骤530中基于第一训练集训练初始图像转换模型相同或不同的训练方法,基于第二训练集训练更新后的图像转换模型以获得更新后的神经网络模块。
步骤560,判断是否满足第二迭代停止条件。
在一些实施例中,步骤510-步骤520也可以称为更新初始图像转换模型的模型参数过程,步骤530-步骤550可以称为进一步调整所述模型参数过程,处理设备可以将更新后的初始材料密度图像作为更新后的图像转换模型的输入项,并迭代执行进一步调整所述模型参数过程,以获得训练好的图像处理模型。在一些实施例中,处理设备可以迭代执行进一步调整所述模型参数过程,当确定满足设定的第二迭代停止条件时,进入步骤570,停止迭代执行,获得训练好的图像处理模型;当不满足第二迭代停止条件时,则继续重复执行步骤530-步骤550,直至满足第二迭代停止条件。
在一些实施例中,第二迭代停止条件为神经网络模块训练的停止条件。第二迭代停止条件可以包括迭代执行的迭代次数达到第二预设迭代次数和/或迭代执行中的第二损失函数小于或等于第二预设损失函数阈值。其中,第二损失函数可以为图像处理模型训练过程中前后相邻两次迭代执行获得的两组样本材料成分图像或两组更新后的初始材料密度图像之间的差异。
在一些实施例中,第二预设迭代次数可以为图像处理模型训练的总迭代执行次数的阈值,例如,阈值可以为5,100,500,1000等。在一些实施例中,当迭代执行次数满足第二预设迭代次数时,停止图像处理模型训练过程,获得训练好的图像处理模型。
在一些实施例中,第二预设损失函数阈值可以为表示前后相邻两次迭代执行获得的两组更新后的材料密度图像之间的差异的阈值。在一些实施例中,第二预设损失函数阈值可以表示为百分数(如1%,5%等)、或小数(如,0.01、0.03等)、或分数、或整数等任意合理的数值类型。在一些实施例中,前后相邻两次迭代执行获得的两组更新后的材料密度图像之间的差异可以包括两组更新后的材料密度图像的图像质量值的差值或比值等。在一些实施例中,当前后相邻两次迭代执行获得的两组更新后的材料密度图像之间的差异小于或等于第二预设损失函数阈值时,停止图像处理模型训练过程,获得训练好的图像处理模型。
在一些实施例中,第二预设迭代次数和第一预设迭代次数可以为不同的数值,第二预设损失函数阈值和第一预设损失函数阈值可以为不同的数值。
步骤570,获得训练好的图像处理模型。
在一些实施例中,处理设备可以将满足第二迭代停止条件后的图像处理模型作为训练好的图像处理模型。
在一些实施例中,在对初始神经网络模块(如初始图像转换模型)或更新后的神经网络模块(如更新后的图像转换模型)进行训练的过程中,可以优化目标损失函数为训练目标,对神经网络模块的参数进行调整。
应当注意,关于流程500的以上描述仅是出于说明的目的而提供的,并且无意于限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的变化和修改。然而,这些变化和修改不脱离本申请的范围。在一些实施例中,流程500可以包括一个或以上附加操作,或者可以省略上述一个或以上操作。例如,步骤510之前可以包括初始神经网络模块的构建过程。
本申请实施例通过图像处理模型对初始材料密度图像进行边迭代分解边降噪和/或去伪影的处理,可以提高图像处理模型的精确度,提高材料密度图像的降噪和/或去伪影效率,可以使得基于CT图像或X-射线图像获得的材料分解图像更精确。由于在每次降噪和/或去伪影的过程中神经网络模块降噪和/或去伪影的过程是多次的,每次降噪和/或去伪影都会提高一点图像的信噪比,经过这样的迭代处理后,一步一步的逐渐降噪和/或去伪影,从而可以使降噪和/或去伪影效果更加突出。本申请实施例中通过边迭代分解边训练的方式训练图像处理模型,可以使得神经网络模块在训练过程中逐步降低材料密度图像的噪声,而非一次性达到最终降噪和/或去伪影效果,可以得到噪声更低质量更好的材料密度图像。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取初始材料密度图像;
将所述初始材料密度图像输入训练好的图像处理模型以获取目标材料密度图像;其中,
所述训练好的图像处理模型对所述初始材料密度图像同时进行分解处理与降噪和/或去伪影处理。
2.根据权利要求1所述的方法,其特征在于,所述图像处理模型包括用于对所述初始材料密度图像进行降噪和/或去伪影处理的神经网络模块,以及,用于迭代分解更新所述初始材料密度图像的迭代分解模块。
3.根据权利要求1所述的方法,其特征在于,所述获取初始材料密度图像包括:
获取待处理图像;
基于所述待处理图像,确定所述初始材料密度图像。
4.根据权利要求2所述的方法,其特征在于,所述神经网络模块包括基于卷积神经网络构建的图像转换模型,所述迭代分解模块包括获取数据保真项与基于所述图像转换模型确定的惩罚项之和达到最小值时的变量取值的目标函数。
5.根据权利要求2所述的方法,其特征在于,所述神经网络模块在所述降噪和/或去伪影处理的迭代计算中初次计算的输入项为所述初始材料密度图像,后续迭代计算中第m次计算的输入项为所述迭代分解模块第m-1次计算得到的更新后的材料密度图像,所述m为大于1的正整数;
所述迭代分解模块在所述分解处理的迭代计算中第n次计算的输入项为所述神经网络模块第n次计算输出的材料成分图像,所述n为任意正整数。
6.根据权利要求1所述的方法,其特征在于,所述训练好的图像处理模型对所述初始材料密度图像同时进行分解处理与降噪和/或去伪影处理包括:
利用迭代方法对所述初始材料密度图像同时进行分解处理与降噪和/或去伪影处理。
7.根据权利要求6所述的方法,其特征在于,所述目标材料密度图像为所述图像处理模型在满足第一迭代停止条件时确定的材料密度图像,所述第一迭代停止条件包括迭代计算的迭代次数达到第一预设迭代次数和/或在所述迭代计算中的第一损失函数小于或等于第一预设损失函数阈值。
8.根据权利要求1所述的方法,其特征在于,所述训练好的图像处理模型通过以下方式获得:
更新初始图像转换模型的模型参数:
获取第一训练集,所述第一训练集包括由所述初始材料密度图像和对应的标签材料密度图像组成的样本对;
利用所述第一训练集训练所述初始图像转换模型以更新所述初始图像转换模型的模型参数;
进一步调整所述模型参数过程:
将所述初始材料密度图像输入至更新后的图像转换模型中,获得样本材料成分图像;
基于所述样本材料成分图像,利用迭代分解模块更新所述初始材料密度图像;
基于更新后的初始材料密度图像和相对应的标签材料密度图像确定第二训练集,利用所述第二训练集进一步训练所述更新后的图像转换模型,以进一步调整所述模型参数;
将所述更新后的初始材料密度图像作为所述更新后的图像转换模型的输入项,并迭代执行所述进一步调整所述模型参数过程,以获得训练好的图像处理模型。
9.根据权利要求8所述的方法,其特征在于,所述迭代执行所述进一步调整所述模型参数过程,以获得训练好的图像处理模型包括:
迭代执行所述进一步调整所述模型参数过程,当满足设定的第二迭代停止条件时停止迭代,获得所述训练好的图像处理模型;
其中,所述第二迭代停止条件包括迭代次数达到第二预设迭代次数和/或在所述迭代执行中的第二损失函数小于或等于第二预设损失函数阈值。
10.一种图像处理系统,其特征在于,包括获取模块和图像处理模块;
所述获取模块用于获取初始材料密度图像;
所述图像处理模块用于将所述初始材料密度图像输入训练好的图像处理模型以获取目标材料密度图像;
其中,所述训练好的图像处理模型对所述初始材料密度图像同时进行分解处理与降噪和/或去伪影处理;所述图像处理模型包括用于对所述初始材料密度图像进行降噪和/或去伪影处理的神经网络模块,以及,用于迭代分解更新所述初始材料密度图像的迭代分解模块。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111070115.4A CN113706419A (zh) | 2021-09-13 | 2021-09-13 | 一种图像处理方法和系统 |
EP22866795.2A EP4330835A1 (en) | 2021-09-13 | 2022-09-13 | Methods and systems for image processing |
PCT/CN2022/118439 WO2023036334A1 (en) | 2021-09-13 | 2022-09-13 | Methods and systems for image processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111070115.4A CN113706419A (zh) | 2021-09-13 | 2021-09-13 | 一种图像处理方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113706419A true CN113706419A (zh) | 2021-11-26 |
Family
ID=78660182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111070115.4A Pending CN113706419A (zh) | 2021-09-13 | 2021-09-13 | 一种图像处理方法和系统 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4330835A1 (zh) |
CN (1) | CN113706419A (zh) |
WO (1) | WO2023036334A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023036334A1 (en) * | 2021-09-13 | 2023-03-16 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for image processing |
CN116485937A (zh) * | 2023-06-21 | 2023-07-25 | 吉林大学 | 基于图神经网络的ct运动伪影消除方法及系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105025794A (zh) * | 2013-02-21 | 2015-11-04 | 皇家飞利浦有限公司 | 谱ct的结构传播恢复 |
US20190139276A1 (en) * | 2017-11-06 | 2019-05-09 | Samsung Electronics Co., Ltd. | Method and apparatus for generating x-ray tomographic image data |
CN110428395A (zh) * | 2019-06-20 | 2019-11-08 | 浙江大学 | 单能谱ct图像的多材料分解方法 |
CN111047524A (zh) * | 2019-11-13 | 2020-04-21 | 浙江工业大学 | 基于深度卷积神经网络的低剂量ct肺部图像的去噪方法 |
US20200134461A1 (en) * | 2018-03-20 | 2020-04-30 | Sri International | Dynamic adaptation of deep neural networks |
CN111145281A (zh) * | 2019-12-12 | 2020-05-12 | 南京航空航天大学 | 一种双能ct直接迭代基材料分解图像重建方法 |
CN111968195A (zh) * | 2020-08-20 | 2020-11-20 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 |
CN112381741A (zh) * | 2020-11-24 | 2021-02-19 | 佛山读图科技有限公司 | 基于spect数据采样与噪声特性的断层图像重建方法 |
US20210104023A1 (en) * | 2020-05-18 | 2021-04-08 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image reconstruction |
US20210142476A1 (en) * | 2020-05-18 | 2021-05-13 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image optimization |
CN112862728A (zh) * | 2021-03-22 | 2021-05-28 | 上海壁仞智能科技有限公司 | 伪影去除方法、装置、电子设备和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103649990B (zh) * | 2011-07-15 | 2017-06-06 | 皇家飞利浦有限公司 | 用于谱ct的图像处理 |
EP3431007B1 (en) * | 2017-07-21 | 2020-06-17 | Koninklijke Philips N.V. | Creation of electron density datasets from spectral ct datasets |
CN108010098B (zh) * | 2017-12-04 | 2020-12-25 | 首都师范大学 | 一种双能谱ct基材料图像迭代重建方法 |
CN113298905B (zh) * | 2021-05-28 | 2022-12-16 | 同济大学 | 基于基础材料分解的多能谱ct重建方法及计算机可读介质 |
CN113706419A (zh) * | 2021-09-13 | 2021-11-26 | 上海联影医疗科技股份有限公司 | 一种图像处理方法和系统 |
-
2021
- 2021-09-13 CN CN202111070115.4A patent/CN113706419A/zh active Pending
-
2022
- 2022-09-13 WO PCT/CN2022/118439 patent/WO2023036334A1/en active Application Filing
- 2022-09-13 EP EP22866795.2A patent/EP4330835A1/en active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105025794A (zh) * | 2013-02-21 | 2015-11-04 | 皇家飞利浦有限公司 | 谱ct的结构传播恢复 |
US20190139276A1 (en) * | 2017-11-06 | 2019-05-09 | Samsung Electronics Co., Ltd. | Method and apparatus for generating x-ray tomographic image data |
US20200134461A1 (en) * | 2018-03-20 | 2020-04-30 | Sri International | Dynamic adaptation of deep neural networks |
CN110428395A (zh) * | 2019-06-20 | 2019-11-08 | 浙江大学 | 单能谱ct图像的多材料分解方法 |
CN111047524A (zh) * | 2019-11-13 | 2020-04-21 | 浙江工业大学 | 基于深度卷积神经网络的低剂量ct肺部图像的去噪方法 |
CN111145281A (zh) * | 2019-12-12 | 2020-05-12 | 南京航空航天大学 | 一种双能ct直接迭代基材料分解图像重建方法 |
US20210104023A1 (en) * | 2020-05-18 | 2021-04-08 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image reconstruction |
US20210142476A1 (en) * | 2020-05-18 | 2021-05-13 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image optimization |
CN111968195A (zh) * | 2020-08-20 | 2020-11-20 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 |
CN112381741A (zh) * | 2020-11-24 | 2021-02-19 | 佛山读图科技有限公司 | 基于spect数据采样与噪声特性的断层图像重建方法 |
CN112862728A (zh) * | 2021-03-22 | 2021-05-28 | 上海壁仞智能科技有限公司 | 伪影去除方法、装置、电子设备和存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023036334A1 (en) * | 2021-09-13 | 2023-03-16 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for image processing |
CN116485937A (zh) * | 2023-06-21 | 2023-07-25 | 吉林大学 | 基于图神经网络的ct运动伪影消除方法及系统 |
CN116485937B (zh) * | 2023-06-21 | 2023-08-29 | 吉林大学 | 基于图神经网络的ct运动伪影消除方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2023036334A1 (en) | 2023-03-16 |
EP4330835A1 (en) | 2024-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11554272B2 (en) | System and method for diagnostic and treatment | |
CN108030502B (zh) | 用于空气校正的系统和方法 | |
CN113689342B (zh) | 一种图像质量优化的方法及系统 | |
CN109409503B (zh) | 神经网络的训练方法、图像转换方法、装置、设备及介质 | |
CN103649990B (zh) | 用于谱ct的图像处理 | |
JP2020168352A (ja) | 医用装置及びプログラム | |
CN110751702B (zh) | 图像重建方法、系统、装置及存储介质 | |
JP6223990B2 (ja) | イメージ領域のノイズ除去 | |
JP6453892B2 (ja) | 二次尤度汎関数を用いてデータの統計モデリングを行う方法およびシステム | |
CN113706419A (zh) | 一种图像处理方法和系统 | |
Bai et al. | Z-index parameterization for volumetric CT image reconstruction via 3-D dictionary learning | |
Zhong et al. | Image restoration for low-dose CT via transfer learning and residual network | |
CN111260703B (zh) | 一种获取脊柱拉直图像集的方法、系统、介质及存储介质 | |
WO2022000192A1 (zh) | 一种ct图像的构建方法、ct设备以及存储介质 | |
US20150117742A1 (en) | Medical imaging apparatus and method of reconstructing medical image | |
CN110853742A (zh) | 一种图像重建方法、系统、装置及存储介质 | |
US20230076352A1 (en) | Systems and methods for image processing | |
CN109646026A (zh) | 一种乳腺图像去散射处理方法和系统 | |
JP7362460B2 (ja) | 医用画像処理装置、方法及び記憶媒体 | |
KR101590874B1 (ko) | 의료 영상 장치의 영상 재구성 방법 및 그 의료 영상 장치 | |
KR101886235B1 (ko) | Ct 영상 기반의 신체크기 특이적 피폭선량 및 화질지수 제공 장치 및 방법 | |
WO2024002125A1 (en) | Methods and systems for determining scanning parameters | |
WO2024002109A1 (en) | Methods and systems for imaging | |
CN115222605A (zh) | 一种图像成像方法和系统 | |
Moilanen | Denoising computed tomography images with 3D-convolution based neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |