CN117437144A - 用于图像去噪的方法和系统 - Google Patents
用于图像去噪的方法和系统 Download PDFInfo
- Publication number
- CN117437144A CN117437144A CN202310800759.7A CN202310800759A CN117437144A CN 117437144 A CN117437144 A CN 117437144A CN 202310800759 A CN202310800759 A CN 202310800759A CN 117437144 A CN117437144 A CN 117437144A
- Authority
- CN
- China
- Prior art keywords
- noise
- image
- input image
- denoising
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 162
- 230000006870 function Effects 0.000 claims description 105
- 238000003384 imaging method Methods 0.000 claims description 60
- 238000013507 mapping Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 description 51
- 230000005855 radiation Effects 0.000 description 34
- 238000009607 mammography Methods 0.000 description 32
- 230000006835 compression Effects 0.000 description 15
- 238000007906 compression Methods 0.000 description 15
- 210000000481 breast Anatomy 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 239000002872 contrast media Substances 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000001574 biopsy Methods 0.000 description 6
- 210000003484 anatomy Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 230000003902 lesion Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 229910052740 iodine Inorganic materials 0.000 description 3
- 239000011630 iodine Substances 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013275 image-guided biopsy Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- PNDPGZBMCMUPRI-UHFFFAOYSA-N iodine Chemical compound II PNDPGZBMCMUPRI-UHFFFAOYSA-N 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了用于图像去噪的各种方法和系统。在一个示例中,一种方法包括:获得(602)输入图像和表示输入图像中的噪声的噪声图,从噪声图并且基于校准因子生成(604)强度图,将输入图像和强度图作为输入输入(606)到被训练为基于输入图像和强度图输出去噪图像的去噪模型,以及显示和/或保存(610)由去噪模型输出的去噪图像。
Description
技术领域
本文所公开的主题的实施方案涉及成像,并且更具体地,涉及图像去噪。
背景技术
乳房造影术是一种医学成像规程,其包括采集用于检测乳房中的一个或多个肿瘤或病灶的存在的x射线图像。在数字乳房造影术中,可以拍摄患者的定位或预拍图像以确定x射线技术(例如,x射线管电流和电压、曝光时间)以采集具有足够亮度的患者的图像。在确定x射线技术时,可以采集患者的一个或多个x射线图像。在一些示例中,可以不同视角和/或不同能级来采集多个x射线图像。可能期望减少用于采集x射线图像的x射线的剂量,但是低剂量x射线图像可能呈现可能限制剂量减少的噪声。
发明内容
在一个实施方案中,一种方法包括:获得输入图像和表示输入图像中的噪声的噪声图,从噪声图并且基于校准函数生成强度图,将输入图像和强度图作为输入输入到被训练为基于输入图像和强度图输出去噪图像的去噪模型,以及显示和/或保存由去噪模型输出的去噪图像。
应当理解,提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征,该主题的范围由具体实施方式后的权利要求书唯一地限定。此外,所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本公开,其中以下:
图1为根据一个实施方案的数字乳房造影系统的示意图;
图2示意性地示出了根据一个实施方案的示例去噪模型;
图3是示出去噪强度和特征保留之间的权衡的一组去噪图像;
图4是描绘针对多个不同图像信号电平的作为去噪强度的函数的图像噪声降低的示例曲线图;
图5是示出根据本公开的第一实施方案的用于确定用于选择去噪强度图的校准函数的方法的流程图;
图6是示出用于使用去噪模型和使用图5的方法确定的校准函数对图像去噪的方法的流程图;
图7是示出根据本公开的第二实施方案的用于确定用于选择去噪强度图的校准函数的方法的流程图;
图8是示出用于使用去噪模型和使用图7的方法确定的校准函数对图像去噪的方法的流程图;
图9是示出根据一个实施方案的用于生成去噪强度图的方法的流程图;
图10是示出根据本公开的第三实施方案的用于确定用于选择去噪强度图的校准函数的方法的流程图;并且
图11是示出用于使用去噪模型和使用图10的方法确定的校准函数对图像去噪的方法的流程图。
具体实施方式
以下描述涉及用于校准去噪模型的各种实施方案,该去噪模型被配置为减少存在于数字图像中的噪声以选择/控制去噪性质以便实现给定目标(诸如期望的噪声减少),同时限制伪影(诸如特征损失)。例如,在数字图像中,当为了减少运动引起的模糊或降低患者辐射剂量而限制曝光时间时,可能引入噪声。去噪模型已被开发以利于去除数字图像中的噪声。一些去噪模型(诸如深度学习模型)可具有可经调整以调谐去噪的强度的控制参数。例如,深度学习去噪模型可将传达待去噪的图像中的噪声的量和分布的噪声图作为输入(与待去噪的图像一起),并且该噪声图的强度可以被调谐以实现期望的去噪(例如,噪声图可以被缩放一定量以实现期望的去噪)。然而,这些控制参数的影响不是直观的并且不容易预测。因此,去噪模型可经调谐以充分地对给定图像进行去噪,但引入诸如细节损失及/或不切实际的平滑的伪影。
因此,根据本文所公开的实施方案,经训练的去噪模型(诸如经训练以对医学图像去噪的深度学习模型)可被校准以基于待去噪的图像来选择调谐控制参数,诸如噪声图强度。具体地,在已经训练了去噪模型之后经由校准阶段,可以学习校准函数,该校准函数将输入图像的信号电平和期望的噪声减少映射到噪声图强度,该噪声图强度可以用于缩放或以其他方式调整被输入以对输入图像去噪的噪声图。
可以将校准阶段应用于已经被训练为使用噪声图对图像进行去噪的适当去噪模型。示例去噪模型可以包括基于卷积神经网络(CNN)的模型。去噪模型可以被训练以对几乎任何数字图像去噪,包括可见光图像、x射线图像、计算机断层摄影图像等。本文参考数字乳房造影系统形式的x射线系统描述用于去噪模型的校准和使用经校准的去噪模型进行推断的方法。然而,应当理解,在不脱离本公开的范围的情况下,本文所公开的方法可以应用于被训练为对利用其他成像模态获得的图像进行去噪的去噪模型。
参见图1,示出了根据本公开的实施方案的包括用于执行乳房造影规程的x射线系统10的数字乳房造影系统100。在一些示例中,x射线系统10可以是断层融合系统,诸如数字乳房断层融合(DBT)系统。在一些示例中,x射线系统10可被配置为采集双能图像,这可有利于在向患者注射造影剂时增加某些结构(例如,脉管系统)的可视化。此外,x射线系统10可用于执行一个或多个规程,包括数字断层融合成像和DBT引导的乳房活检。
x射线系统10包括支撑结构42,辐射源16、辐射检测器18和准直器20附接到该支撑结构。辐射源16被容纳在机架15内,该机架可移动地联接到支撑结构42。具体地讲,机架15可以安装到支撑结构42,使得包括辐射源16的机架15可以相对于辐射检测器18绕轴线58旋转。容纳辐射源16的机架15的旋转角度范围指示围绕轴线58在任一方向上旋转最多至所需角度。例如,辐射源16的旋转角度范围可为-θ至+θ,其中θ可使得角度范围为小于360度的有限角度范围。示例性x射线系统可具有±11度的角度范围,这可允许机架围绕机架的旋转轴线从-11度旋转到+11度(即辐射源的旋转)。该角范围可以根据制造规格而变化。例如,DBT系统的角范围可以为大约±11度至±60度,这取决于制造规格。在一些示例中,机架15可以是固定的并且不可以旋转。
辐射源16朝向待成像的体积或物体导向,并且被配置为在期望的时间发射辐射射线以采集一个或多个图像。辐射检测器18被配置为经由表面24接收辐射射线。检测器18可以是多种不同检测器中的任何一种,诸如x射线检测器、数字放射摄影检测器或平板检测器。准直器20邻近辐射源16设置,并且被配置为调整受试者的照射区。
在一些实施方案中,系统10还可以包括经由面罩导轨38安装到辐射源16的患者护罩36,使得患者的身体部位(例如,头部)不直接处于辐射之下。系统10还可以包括压迫桨40,该压迫桨可以能够沿竖直轴线60相对于支撑结构向上和向下移动。因此,可以通过将压迫桨40朝向检测器18向下移动来将压迫桨40调节成更靠近辐射检测器18定位,并且可以通过将压迫桨沿竖直轴线60背离检测器向上移动来增加检测器18和压迫桨40之间的距离。压迫桨40的移动可以通过用户经由被包括在x射线系统10中的压迫桨致动器(未示出)来调节。压迫桨40可以将身体部分(诸如乳房)保持在抵靠辐射检测器18的表面24的适当位置。压迫桨40可以压迫身体部分,并且将身体部分保持静止在适当位置,同时任选地提供孔以允许插入活检针,诸如芯针或真空辅助芯针。这样,压迫桨40可用于压迫身体部分,以使x射线穿过的厚度最小化,并且有助于减少由于患者移动而引起的身体部分的移动。x射线系统10还可以包括对象支撑件(未示出),身体部分可以定位在该对象支撑件上。
数字乳房造影系统100还可包括工作站43,该工作站包括控制器44和存储器,该控制器包括至少一个处理器。控制器44可以通信地联接到x射线系统10的一个或多个部件,包括辐射源16、辐射检测器18、压迫桨40和活检装置中的一者或多者。在一个实施方案中,控制器与x射线系统10之间的通信可经由无线通信系统进行。在其他实施方案中,控制器44可经由缆线47与x射线系统的一个或多个部件电通信。此外,在示例性实施方案中,如图1所示,控制器44集成到工作站43中。在其他实施方案中,控制器44可以被集成到上面公开的系统10的各种部件中的一个或多个中。另外,控制器44可以包括执行所存储的程序逻辑的处理电路,并且可以是可用于x射线系统10中所使用的各种类型的装备和设备并且与之兼容的不同的计算机、处理器、控制器或它们的组合中的任一者。
工作站43可以包括辐射护罩48,该辐射护罩保护系统10的操作者免受辐射源16发射的辐射射线的影响。工作站43还可以包括用户界面50(以显示器的形式)、键盘52、鼠标54和/或有利于控制系统10其他适当的用户输入设备。
控制器44可调节x射线系统10的操作和功能。例如,控制器44可以提供关于x射线源16何时发射x射线的定时控制,并且可以进一步调节在x射线击中检测器18之后检测器18如何读取和传送信息或信号,以及x射线源16和检测器18如何相对于彼此并且相对于被成像的身体部位移动。控制器44还可以控制信息(包括在操作期间采集的图像和数据)被处理、显示、存储和操纵的方式。由控制器44执行的如本文关于图2和图3所述的各种处理步骤可以由存储在控制器44的非暂态存储器中的一组指令来提供。
此外,如上所述,辐射检测器18接收由辐射源16发射的辐射射线22。具体地讲,在用x射线系统成像期间,可以在检测器18处获得成像身体部分的投影图像。在一些实施方案中,由辐射检测器18接收的数据诸如投影图像数据可从辐射检测器18电通信和/或无线通信到控制器44。然后,控制器44可例如通过实施重建算法,基于投影图像数据重建一个或多个x射线图像。重建图像可经由显示屏56在用户界面50上显示给用户。
辐射源16连同辐射检测器18一起形成x射线系统10的一部分,该x射线系统提供x射线图像,目的是筛查异常、诊断、动态成像和图像引导的活检中的一者或多者。例如,x射线系统10可以以乳房摄影模式操作以筛查异常。在乳房摄影期间,患者的乳房被定位和压迫在检测器18和压迫桨40之间。因此,x射线系统10的在压迫桨40和检测器18之间的体积为成像体积。然后辐射源16将辐射射线发射到受压迫乳房上,并且乳房的投影图像在检测器18上形成。然后,投影图像可以由控制器44重建,并且显示在界面50上。在乳房造影期间,可以不同角度调整机架15以获得不同取向的图像,诸如头-尾(CC)图像和中-侧倾斜(MLO)图像。在一个示例中,机架15可围绕轴线58旋转,同时压迫桨40和检测器18保持静止。在其他示例中,机架15、压迫桨40和检测器18可作为单个单元围绕轴线58旋转。
另外,x射线系统10可以以断层融合模式操作以用于执行数字乳房断层融合(DBT)。在断层融合期间,可以操作x射线系统10以在x射线系统10的角范围内以各种角度将低剂量辐射导向成像体积(在压迫桨40和检测器18之间)。具体地讲,在断层合成期间,类似于乳房摄影,乳房被压迫在压迫桨40和检测器18之间。然后辐射源16从-θ旋转到+θ,并且在角度范围内以规则的角度间隔获得所压迫乳房的多个投影图像。例如,如果x射线系统的角度范围是±11度,则在机架进行角度扫掠期间,大约每扫掠一度,检测器可以捕获22个投影图像。然后由控制器44处理投影图像以生成多个DBT图像切片。该处理可以包括应用一种或多种重建算法来重建乳房的三维图像。此外,x射线系统可以被配置为执行DBT引导的活检规程。因此,在一些示例性实施方案中,系统10还可以包括活检装置,该活检装置包括用于提取组织样本以供进一步分析的活检针。
在一些示例中,数字乳房造影系统100可被配置为执行造影成像,其中造影剂诸如碘可被注射到患者体内,该造影剂行进到乳房内的感兴趣区域(ROI)(例如,病灶)。造影剂被吸收在ROI中的癌性病灶周围的血管中,从而相对于周围组织提供一段时间的造影图像,从而增强定位病灶的能力。
造影剂的使用可与使用双能成像工艺和技术拍摄的ROI的图像相结合。在双能成像中,拍摄ROI的低能(LE)和高能(HE)图像。具体地讲,使用双能技术执行对比度增强光谱乳房造影术(CESM)(2D)和对比度增强数字乳房断层融合术(CE-DBT)(3D)成像模式。对于每个视图(CESM中的单个视图、CE-DBT的多个视图),采集一对图像:低能(LE)图像和高能(HE)图像。在CE-DBT中,可以为每个视图采集未配对的HE和LE图像,并且可以为ROI重建HE体积、LE体积和重组的CE体积。例如,对于x射线管的每个成角度位置,HE和LE视图可在CE-DBT扫描(或者HE、LE、HE、LE、HE、LE等)期间与从HE到LE然后再次切换到HE等交错。LE和HE图像通常在造影剂K边缘之上和之下的平均能量处获得。在恰好高于造影剂k边缘的x射线能量处,x射线的吸收增加,从而导致HE图像中碘造影剂的对比度增加。
在双能3D或立体定向规程中,执行LE和HE图像采集,其中X射线源相对于检测器具有至少两个不同的位置。然后将图像重组以显示关于被成像组织的内部结构的物质特定信息。就3D CESM而言,例如,在注射造影剂之后,在x射线管相对于检测器的两个或更多个位置处采集双能图像。对于这些管角度中的每一个管角度,低能图像和高能图像被重组以产生每个像素处的造影介质表面浓度的图像,以提供碘当量或双能(DE)图像(对于CESM中的单个视图,以及对于CE-DBT的多个视图),其在CE-DBT中用于重建3D体积。图像重组可基于X射线图像链的模拟、经由对参考虚线的校准或任何其他合适的3D重建过程来执行。另外,在连续采集模式中,其中X射线管连续地移动且拍摄交错的HE和LE图像,LE图像用于重建LE3D体积,并且HE图像用于重建HE 3D体积,其中两个体积均以合适的方式重组以提供碘3D体积。也可以实施在单个步骤中结合3D重建和HE/LE重组的算法。
图2示意性地示出了使用示例去噪模型的去噪过程200。去噪过程200包括将噪声图像202和基于噪声图像202生成的噪声图204输入到去噪网络206中。噪声图像202可以是任何合适的图像,诸如利用x射线成像系统(其可以利用与图1的数字乳房造影系统100类似的x射线源和检测器)采集的受试者的x射线图像。噪声图204可表示噪声图像202的每一像素的噪声电平,且可用噪声模型生成(关于用噪声模型产生噪声图的额外细节在下文关于图9给出)。去噪网络206可以是CNN或被训练成使用噪声图204对噪声图像202进行去噪的另一合适的网络,诸如快速且灵活的去噪卷积网络(FFDNet)。去噪网络206被训练为输出去噪图像208。
图3示出了一组去噪图像300。例如,可以使用图2的去噪网络206从相同的噪声图像中对一组去噪图像300中的每个图像进行去噪。可以利用具有不同强度的噪声图对每个图像进行去噪,该强度可以被称为噪声因子(NF)。例如,可以利用噪声因子为0的噪声图对第一图像302进行去噪,这可以表示没有发生去噪。可以利用噪声因子为1的噪声图来对第二图像304去噪,这可表示未经缩放的噪声图。减小噪声图的噪声因子(例如,按比例缩小噪声图的强度)可导致增加的细节保留但降低噪声减小。例如,第三图像306可以是利用具有噪声因子为0.5的噪声图进行去噪的去噪图像。如从相对于第一图像302和第二图像304的第三图像306所了解,按比例缩小的噪声图可保留相对于第二图像304的细节,但仍可展现与噪声相关的伪影,诸如纤维。增加噪声图的噪声因子(例如,按比例放大噪声图的强度)可导致增加的噪声减小,但也可引起细节损失和/或不切实际的平滑。例如,第四图像308可以是利用具有噪声因子为1.5的噪声图进行去噪的去噪图像,这可以导致增强的噪声减少,但是也增加了细节损失。因此,较低的噪声因子值(以及因此较低强度的噪声图)可导致更好的细节保留,但可能不充分地去除噪声(诸如纤维或幻觉),而较高的噪声因子值(以及因此较高强度的噪声图)可减少噪声但引入不切实际的过度平滑。因此,可选择噪声图的强度(例如,噪声因子)以控制噪声减少与细节保留之间的权衡。
图4示出了说明噪声因子和图像信号电平对噪声减少的定量影响的曲线图400。曲线图400中所示的每条线(诸如第一线402)描绘了针对被给定量的高斯白噪声破坏的给定背景信号电平(例如,像素强度值/亮度)的平坦背景图像的作为噪声因子(在图4中被称为噪声图乘法因子)的函数的噪声减少。例如,第一线402(以及曲线图400中的其他粗实线)表示对于被高斯白噪声破坏的第一背景水平的平坦背景图像的作为噪声因子的函数的噪声减少,其中噪声标准偏差为10。第二线404(以及曲线图400中的其他点划线)表示对于被高斯白噪声破坏的第一背景水平的平坦背景图像的作为噪声因子的函数的噪声减少,其中噪声标准偏差为20。第三线406(以及曲线图400中的其他非粗实线)表示对于被高斯白噪声破坏的第一背景水平的平坦背景图像的作为噪声因子的函数的噪声减少,其中噪声标准偏差为40。第四线408(以及曲线图400中的其他虚线)表示对于被高斯白噪声破坏的第一背景水平的平坦背景图像的作为噪声因子的函数的噪声减少,其中噪声标准偏差为80。对于不同背景水平(例如,信号电平)的每个平坦背景图像,对于每种不同的噪声量,同样描绘了针对噪声减小的线。例如,第五线410、第六线412和第七线414分别针对第二背景水平、第三背景水平和第四背景水平中的每一者,描绘了对于被高斯白噪声破坏的平坦背景图像的作为噪声因子的函数的噪声减小,其中噪声标准偏差为10。因此,线402、410、412和414各自描绘了对于被相同噪声量破坏但对于每个图像具有不同背景水平的平坦背景图像,作为噪声因子的函数的噪声减少。
为了生成在曲线图400上绘制的每条线,使用表示等于(被应用于生成有噪声背景图像的噪声的)噪声标准偏差乘以对应的噪声因子(例如,从0的噪声因子到2的噪声因子)的恒定图像的噪声图,利用去噪模型(例如,图2的去噪网络)对每个有噪声背景图像(例如,被不同量的高斯白噪声破坏的不同背景水平的每个平坦背景图像,如上所述)进行去噪。换句话说,使用反映用于生成噪声图像的噪声的噪声图对每个噪声图像进行多次去噪,并且每次通过不同的噪声因子对噪声图进行缩放。对于每个去噪图像,噪声减少被计算为去噪图像的噪声标准偏差与噪声图像的噪声标准偏差的比率。
因此,如曲线图400所了解,所实现的噪声减小量取决于图像的背景水平(例如,信号强度)、图像中的噪声量及用于缩放噪声图的噪声因子。例如,将第一线402与第七线414进行比较(每条线表示被相同量的噪声破坏但具有不同背景水平的图像),以噪声因子1对图像进行去噪导致图像的不同噪声减少,使得以噪声因子1对第四背景水平实现的噪声减少比以噪声因子1对第一背景水平实现的噪声减少更多。此外,基于图像的背景水平,以较低量的噪声(例如,以噪声标准偏差10)破坏的图像与以较高量的噪声破坏的图像相比可呈现噪声减小的较高变化。
因此,实现图像的目标去噪不仅取决于图像中的噪声量和被选择来缩放噪声图以对图像进行去噪的噪声因子,而且还取决于图像的信号电平。例如,如果对于具有相对较低量的噪声(例如,标准偏差10)的图像需要0.6的目标噪声减小(由线416所示),那么如果图像具有第一信号电平,则0.8的噪声因子可适合于实现该目标噪声减少,但如果图像具有第二不同信号电平,则0.8的噪声因子可能无法实现该目标噪声减少。这种对用于减少的信号电平的依赖可以是线性的,也可以不是线性的,并且可以随去噪模型不同而变化,这可以排除应用简单的基于信号电平的系数来调整用于缩放噪声图的噪声因子。
根据本文公开的实施方案,上述问题可以通过基于输入图像和噪声图对被训练为输出去噪图像的去噪模型执行校准过程来解决。校准过程可包括识别可在推断期间使用以生成用于对输入图像进行去噪的噪声图的校准函数。如先前所解释,噪声图可表示输入图像的每一像素的噪声,例如每一像素的亮度/强度值中的多少归因于噪声。当应用噪声图时,可以通过噪声因子(也称为强度值)来缩放噪声图,以平衡噪声减少与细节保留。校准函数可以用于基于输入图像的信号电平和目标噪声减少来缩放或选择噪声图的强度,例如选择用于如上所述调整噪声图的噪声因子,从而形成作为输入与输入图像一起输入的期望强度的噪声图(并且由去噪模型应用以对输入图像去噪)。
如本文所使用的,噪声模型是指提供噪声图像的局部噪声估计的函数。噪声模型可以以噪声图的形式输出局部噪声估计。将噪声模型应用于噪声图像(或平滑版本)提供了每个像素中的噪声估计的映射,其被称为噪声图。噪声图可以包括噪声图像的每个像素的噪声值,其中该值表示该像素处的噪声。可以通过向每个噪声值分配亮度值来可视化噪声图(并且然后可以采取图2的噪声图204的形式)。去噪强度图(或简称为强度图)可以指被提供给去噪模型/网络以局部地调整去噪的实际图。可通过以一定量或程度(本文中称为噪声因子或强度值)缩放或以其他方式变换噪声图来生成强度图。
根据图像去噪的目标和待去噪的输入图像的类型,可以以各种不同的方式确定校准函数。在下面关于图5和图6描述的第一实施方案中,可以基于呈现计数相关噪声的原始图像(诸如由x射线成像系统获得的未处理投影图像)以计数相关方式确定校准函数。在此类示例中,校准函数可将输入图像的信号电平映射到强度图以实现目标噪声减小。在下面关于图7和图8描述的第二实施方案中,可以基于在噪声方差和信号电平之间没有明确定义的关系的情况下处理或重建的图像以与计数无关的方式确定校准函数。在此类示例中,校准函数可将输入图像的信号电平和噪声电平映射到强度图以实现目标噪声减少。在下面关于图10和图11描述的第三实施方案中,可以确定校准函数以便使得低剂量图像(例如,利用相对低的x射线源输出获得的图像)能够模拟高剂量图像(例如,利用相对高的x射线源输出获得的图像),并且因此使得能够获得较低剂量图像。在此类示例中,校准函数可以被配置为选择用于目标剂量减少的强度图。
对于上述每个实施方案,可以使用一组校准图像来确定校准函数,其中每个校准图像是已知信号电平的恒定背景图像,并且被已知量的噪声破坏。该组校准图像中的每个校准图像可以与不同强度(例如,基于不同噪声因子缩放)的一组强度图中的强度图配对,并且作为输入被输入到去噪模型。可使用噪声模型来生成强度图,该噪声模型可输出经缩放以生成强度图的噪声图,如下文关于图9所解释的。由去噪模型输出的去噪图像中的噪声可以被测量并且用于确定由输入强度图实现的噪声减少。校准图像的信号电平与利用每个强度图实现的噪声减少之间的关系可以被确定(以及针对校准图像的每个信号电平和每个噪声电平)并且用于设置校准函数。
图5是示出根据本公开的第一实施方案的用于确定校准函数的方法500的流程图,该校准函数可以被应用于选择去噪强度图以对由成像系统(例如,图1的数字乳房造影系统100)采集的图像去噪。方法500可使用存储在成像系统(例如,图1的数字乳房造影系统100)的计算设备或通信地耦接到成像系统的控制器(例如,图1的控制器44)的非暂态存储器中的计算机可读指令来执行。在一些实施方案中,在不脱离本公开的范围的情况下,方法500可由另一计算设备(例如,服务器、边缘设备、图片存档和通信系统(PACS))执行。
在502,方法500包括获得一组背景图像,其中每个背景图像具有不同的信号电平。可以利用合适的成像系统(诸如图1的数字乳房造影系统100)来采集背景图像。然而,可以获得其他类型的背景图像,诸如通过计算机断层摄影成像仪(CT)、正电子发射断层摄影成像仪(PET)、组合PET-CT、X射线成像仪或其他合适的成像系统采集的背景图像。背景图像可以是在没有成像受试者的情况下获得的图像,并且因此可以表示由成像系统的检测器收集的未衰减的信号(例如,x射线束)。每一背景图像可具有不同信号电平(例如,像素强度/亮度)。例如,可以利用不同的x射线管输出(例如,不同的x射线管电流)和/或利用不同的曝光时间来采集每个背景图像。
在504,方法500包括向该组背景图像的每个图像添加噪声以生成一组有噪声背景图像(例如,校准图像)。因为每个背景图像是在没有成像受试者的情况下采集的,所以每个背景图像中的噪声量可以相对低和/或可以相对均匀地分布,这可以不模拟在患者检查期间获得的噪声图像。因此,可以将噪声添加到每个背景图像,这也可以允许知晓并控制每个背景图像中的噪声量。所添加的噪声量对于每个背景图像可以是相同的,并且在量和分布方面可以是切合实际的。例如,所添加的噪声可以基于去噪声模型(下面解释)被训练以进行去噪的图像(例如,数字乳房造影图像)中的噪声的平均量/分布。在一些示例中,可以基于针对给定成像模态和/或成像解剖区域的平均噪声图像来生成噪声图,并且添加到每个背景图像的噪声可以基于噪声图。
在506,方法500包括获得一组强度图。可以基于表示有噪声背景图像中的噪声量/分布的噪声图(或多个噪声图)来生成该组强度图。例如,可基于用以用噪声破坏背景图像的噪声图而生成强度图,如上文所解释的。可以通过将一个或多个因子应用于如前所述生成的噪声图来生成强度图,以便生成图像的一组经缩放的噪声图,在此称为强度图。每一强度图可具有不同“强度”,例如,应用于噪声图的不同因子。以此方式,每个强度图是缩放的噪声图。
在508,方法500包括将强度图和有噪声背景图像对作为输入输入到去噪模型,该去噪模型被配置为将噪声图像和噪声图(指示噪声图像中的噪声量/分布)作为输入,并且输出噪声图像的去噪版本。去噪模型可以是深度学习模型,诸如神经网络,或另一合适的模型。在一些示例中,去噪模型可为FFDNet。在去噪模型是深度学习模型的示例中,可以利用有噪声的训练图像和对应的训练噪声图来训练去噪模型,并且在一些示例中,可以训练深度学习模型以具体地对特定成像模态的图像(例如,x射线图像)和/或特定解剖特征的图像(例如,乳房造影图像)进行去噪。去噪模型可以被完全训练和验证。去噪模型可以是以上关于图2描述的去噪网络。
来自一组强度图的强度图和有噪声背景图像可以被配对,使得每个有噪声背景图像与每个不同的强度图配对,并且每一对作为输入被输入到去噪模型。以此方式,每个不同的有噪声背景图像(具有不同的信号电平)被去噪多次,每次利用不同的强度图。在510,方法500包括接收从去噪模型输出的去噪图像。如上所述,去噪模型可以针对每个输入有噪声背景图像输出去噪图像,并且可以基于用于对图像去噪的强度图对每个有噪声背景图像去噪不同的量。
在512,方法500包括计算由去噪模型输出的每个去噪图像的图像噪声。在一些示例中,可以通过计算噪声标准偏差来确定图像噪声,但是确定去噪图像中的噪声量的其他机制可以在本公开的范围内。在514,可以确定每个去噪图像的图像噪声(例如,噪声标准偏差)、每个背景图像的信号电平以及用于对图像去噪的强度图之间的关系。例如,每个去噪图像的所确定的图像噪声可以用于确定每个去噪图像的噪声比(例如,去噪图像的图像噪声与用于生成去噪图像的输入图像的图像噪声的比率)。对于每个背景图像/信号电平,可以分析利用每个强度图实现的噪声比(例如,如以上图4中所示绘制)以确定关系。
在516,方法500包括基于所确定的关系来设置用于基于信号电平和噪声比目标来选择强度图的校准函数。例如,可以选择特定的噪声比目标,诸如0.6。基于在514所确定的关系,可识别定义待去噪图像的信号电平与实现选定噪声比目标所需的强度图的强度值之间的关系的校准函数。参见图4,0.6的噪声比目标由线416示出,其在沿着x轴的不同点处与线402、410、412和414相交。在此特定示例中,实现0.6的噪声比目标所需的强度值可随着图像信号电平减小而线性增加,且因此校准函数可为线性反函数。然而,校准函数可以是不同于线性的另一类型的函数。至少在一些示例中,可针对每一噪声比目标(例如,0.9、0.8、0.7、0.6等)识别单独的校准函数。可将在516所确定的校准函数保存在存储器中且检索该校准函数以便选择适当强度图来对图像进行去噪,如下文更详细解释的。
图6是示出用于使用由图5的方法确定的校准函数来对图像去噪的方法600的流程图。方法600可使用存储在成像系统(例如,图1的数字乳房造影系统100)的计算设备或通信地耦接到成像系统的控制器(例如,图1的控制器44)的非暂态存储器中的计算机可读指令来执行。在一些实施方案中,在不脱离本公开的范围的情况下,方法600可由另一计算设备(例如,服务器、边缘设备、图片存档和通信系统(PACS))执行。在一些示例中,方法600可以在执行方法500的相同计算设备上执行。在其他示例中,方法600可在与执行方法500的计算机设备不同的计算设备上执行。例如,方法500可在服务器或其他计算设备上执行。根据方法500确定的经训练的去噪模型和校准函数可保存在不同计算设备(诸如图1的控制器44)上,且方法600可使用所保存的去噪模型和校准函数在不同计算设备上执行。
在602,方法600包括获得输入图像和噪声比目标。输入图像可以利用诸如图1的数字乳房造影系统的成像系统来采集,并且可以包括诸如患者的成像受试者。在一些示例中,如上所述,去噪模型可以被训练为对特定解剖区域的图像进行去噪和/或利用特定成像模态获得。在这样的示例中,输入图像可以匹配用于训练去噪模型的训练图像的模态和/或解剖区域。此外,输入图像可以是原始/未处理的图像,其中图像的信号电平与图像中的噪声量直接相关(例如,利用图1的乳房造影系统获得的未处理的投影图像)。可以基于用户输入(例如,用户可以输入噪声比目标的选择)、基于扫描协议或成像检查协议、或基于系统设置(例如,噪声比目标可以是默认设置或管理员设置的设置)来获得噪声比目标。如上所述,噪声比目标可以是要实现的期望的噪声减少量。
在604,方法600包括基于输入图像的信号电平和所存储的校准函数(例如,如图5的方法500中所定义的)来选择强度图值。在一些示例中,可基于所选择的噪声比目标从多个可能的校准函数中选择校准函数。输入图像的信号电平可以基于用于采集图像的成像系统参数(例如,x射线源电流/电压和/或曝光时间)和/或输入图像的测量像素强度/亮度来确定。例如,可以针对输入图像确定平均像素强度值,并且可以基于该平均像素强度值来确定信号电平。可将输入图像的信号电平输入到校准函数中以识别用以缩放输入图像的噪声图的强度图值(例如,强度值或噪声因子)。噪声图可由噪声模型生成且根据所识别的强度图值来缩放,如下文关于图9所解释的。
在606,方法600包括将输入图像和强度图作为输入输入到去噪模型。可以通过基于所选择的强度图值缩放或变换输入图像的噪声图来生成强度图。去噪模型可以是与用于确定校准函数的去噪模型相同的去噪模型,如上文关于图5所解释的。因此,去噪模型可以被训练为使用输入图像和强度图作为输入来输出去噪图像。在608,方法600包括接收从去噪模型输出的去噪图像。去噪图像是输入图像的去噪版本。在610,方法600包括显示和/或保存该去噪图像。例如,去噪图像可以显示在可操作地耦合到计算设备的显示设备上和/或保存在存储器中(例如,作为患者检查的一部分)。方法600然后结束。
因此,方法500和600提供了对具有强度图的图像进行去噪,该强度图被调谐以针对待去噪的图像的给定信号电平提供目标去噪。在诸如投影x射线图像的某些图像中,图像中的噪声电平遵循关于信号电平(例如,强度)的已知关系,其被称为计数相关噪声。在这种情况下,示出被真实噪声破坏的恒定背景(在分布和频谱方面)的一系列图像可以用于校准用于生成去噪强度图的函数。
对于一系列不同的背景水平,产生一系列去噪强度图并且测量推断图像(例如,由去噪模型输出的去噪图像)的(噪声的)标准偏差。因此,可以针对每个信号强度水平表征去噪强度图值与去噪因子(例如,噪声比/噪声减少)之间的关系。
为了实现给定的噪声比/噪声减少,可以以信号强度水平的函数的形式生成特定的去噪强度图。这导致去噪强度图被设计成实现跨所有(相关)信号强度的目标噪声减小比。该目标噪声减小比在所有信号强度上可以是恒定的,这意味着噪声被减小了相同的因子而不管信号强度如何。另选地,可以使用定制的信号相关目标噪声减小比,以便针对特定范围的信号强度调整去噪强度。最后,如果去噪设置(例如,目标噪声比)是相对于主观图像质量因子(例如,噪声外观和感觉)的,则可以利用一个或多个专家来针对每个采样信号强度水平在视觉上决定合适的去噪强度图。在后一种情况下,去噪的表征不是标准偏差的简单比,而是由有资格的观察者评估。
在一些情况下,可能期望将去噪网络应用于经处理或重建的图像上,其中在噪声方差与信号电平之间不存在明确定义的关系。在这种情况下,可以针对具有各种信号电平和各种标准偏差的实际噪声的不同平坦背景图像来校准去噪强度图函数。这将得到以下校准函数,即该校准函数可以针对信号强度和噪声标准偏差的给定组合输出对应的去噪强度图值,以便实现特定目标去噪强度。在实践中,当在给定图像上进行推断时,从噪声模型已知局部信号强度(图像值或其局部平均值)和局部噪声标准偏差。利用这两个输入和目标噪声减少水平,可以确定期望的去噪强度图。类似于上述实施方案,可以使用不同的噪声减少目标,可能是主观的。下面关于图7更详细地描述选择强度图的这种与计数无关的方式。
图7是示出根据本公开的第二实施方案的用于确定校准函数的方法700的流程图,该校准函数可以被应用于选择去噪强度图以对由成像系统(例如,图1的数字乳房造影系统100)采集的图像去噪。方法700可使用存储在成像系统(例如,图1的数字乳房造影系统100)的计算设备或通信地耦接到成像系统的控制器(例如,图1的控制器44)的非暂态存储器中的计算机可读指令来执行。在一些实施方案中,在不脱离本公开的范围的情况下,方法700可由另一计算设备(例如,服务器、边缘设备、PACS)执行。
在702,方法700包括获得一组背景图像和输入噪声标准偏差。该组背景图像可以与在502获得并且以上关于图5所讨论的背景图像相同,并且因此可以包括具有不同信号电平的图像。输入噪声标准偏差可表示待添加到背景图像的不同噪声量。因此,在704,方法700包括基于输入噪声标准偏差将噪声添加到背景图像,从而生成一组有噪声背景图像。在704生成的该组有噪声背景图像可以类似于在方法500的504生成的一组有噪声背景图像。然而,在704生成的该组有噪声背景图像可以具有添加到每个图像的不同的噪声量(而不是如在方法500中添加到每个背景图像的相同的噪声量)。以此方式,在704生成的该组有噪声背景图像包括不同信号电平和不同噪声量的背景图像。
在706,方法700包括获得一组强度图。该组强度图可以包括一个或多个噪声图(基于有噪声背景图像生成),每个噪声图被缩放不同的量,类似于在方法500的506获得的强度图。在708,方法700包括输入强度图和有噪声背景图像对作为去噪模型的输入。去噪模型可以与方法500中使用的去噪模型相同或相似,例如,被训练为使用输入图像和对应的噪声图作为输入来输出去噪图像的神经网络。可以生成强度图和有噪声背景图像对,使得形成强度图和有噪声背景图像的每个组合,并且可以将每一对分别输入到去噪模型中。
在710,方法700包括接收从去噪模型输出的去噪图像。每个去噪图像是相应的有噪声背景图像的去噪版本,其根据相应的强度图进行了去噪。在712,方法700包括计算每个去噪图像的输出噪声标准偏差。输出噪声标准偏差可以表示给定去噪图像中的噪声量,并且可以针对去噪模型输出的每个去噪图像确定输出噪声标准偏差。在714,方法700包括确定每个有噪声背景图像的输入噪声标准偏差、每个背景图像的信号电平、每个去噪图像的输出噪声标准偏差和强度图之间的关系。该关系可以以与以上关于图5的514描述的关系类似的方式来确定,仅包括作为确定该关系的因子的添加参数(例如,每个有噪声背景图像的输入噪声标准偏差)。在716,方法700包括基于所确定的关系来设置用于基于信号电平、输入噪声标准偏差和噪声比目标来选择强度图的校准函数。一旦每个有噪声背景图像的输入噪声标准偏差、每个背景图像的信号电平、每个去噪图像的输出噪声标准偏差和强度图之间的关系已知,则该关系可用于获得针对给定噪声比目标将图像信号电平和噪声量映射到强度图强度的校准函数。例如,对于每一噪声目标(例如,0.7、0.6、0.5或其它合适的噪声比目标),可以由定义将实现具有给定信号电平和噪声量的图像的噪声比目标的强度图强度值的关系来确定校准函数。校准函数可以是线性或非线性的,如以上关于图5所解释的,并且可以被保存在存储器中并且在模型推断期间被部署以选择适当的强度图,如以下所解释的。
图8是示出用于使用由图7的方法确定的校准因子来对图像去噪的方法800的流程图。方法800可使用存储在成像系统(例如,图1的数字乳房造影系统100)的计算设备或通信地耦接到成像系统的控制器(例如,图1的控制器44)的非暂态存储器中的计算机可读指令来执行。在一些实施方案中,在不脱离本公开的范围的情况下,方法800可由另一计算设备(例如,服务器、边缘设备、PACS)执行。在一些示例中,方法800可以在执行方法700的相同计算设备上执行。在其他示例中,方法800可在与执行方法700的计算机设备不同的计算设备上执行。例如,方法700可在服务器或其他计算设备上执行。根据方法700确定的经训练的去噪模型和校准函数可保存在不同计算设备(诸如图1的控制器44)上,且方法800可使用所保存的去噪模型和校准函数在不同计算设备上执行。
在802,方法800包括获得输入图像并获得噪声比目标。输入图像可以利用诸如图1的数字乳房造影系统的成像系统来采集,并且可以包括诸如患者的成像受试者。在一些示例中,如上所述,去噪模型可以被训练为对特定解剖区域的图像进行去噪和/或利用特定成像模态获得。在这样的示例中,输入图像可以匹配用于训练去噪模型的训练图像的模态和/或解剖区域。此外,输入图像可以是经处理的图像,其中图像的信号电平不直接与图像中的噪声量相关(例如,利用图1的乳房造影系统获得的已被处理的图像,诸如从多个视图/投影重建的图像)。可以基于用户输入(例如,用户可以输入噪声比目标的选择)、基于扫描协议或成像检查协议、或基于系统设置(例如,噪声比目标可以是默认设置或管理员设置的设置)来获得噪声比目标。如上所述,噪声比目标可以是要实现的期望的噪声减少量。
在804,方法800包括确定输入图像的信号电平和输入噪声标准偏差。可如上文所讨论的来确定信号电平(例如,基于输入图像的像素强度值),且输入噪声标准偏差可表示对输入图像中的噪声量的测量。在806,方法800包括基于信号电平、输入图像的输入噪声标准偏差和所存储的校准函数来选择强度图值。例如,可以基于噪声比目标从存储在存储器中的一个或多个校准函数中选择校准函数。信号电平和输入噪声标准偏差可以作为输入被输入到所选择的校准函数,并且校准函数可以基于信号电平和输入噪声标准偏差来输出/识别强度图值(例如,强度值或噪声因子)。一旦确定了强度图强度值(例如,噪声因子),强度图强度值就可用于缩放输入图像的噪声图以生成强度图。
在808,方法800包括将输入图像和强度图作为输入输入到去噪模型。去噪模型可以是与用于生成校准函数的相同去噪模型,并且因此可以被训练以使用强度图输出输入图像的去噪版本。在810,方法800接收来自去噪模型的去噪图像输出。去噪图像是从去噪模型输出的输入图像的去噪版本。在812,方法800包括显示和/或保存去噪图像,如以上关于图6所解释的。方法800然后结束。
以此方式,方法700及800提供用于生成并应用校准函数以选择强度图来实现具有给定信号电平和噪声量的图像的目标噪声减少。通过包括输入图像中的噪声量作为用于选择强度图的因子,即使当输入图像被处理并且信号电平不一定与图像中的噪声量直接相关时,也可以为输入图像选择适当的强度图。
本文描述的方法包括生成强度图,其是缩放的噪声图。可使用噪声模型来生成本文中所描述的噪声图和强度图,该噪声模型可为与本文中所描述的去噪模型不同的模型。对于给定的噪声图像,噪声模型提供局部噪声标准偏差的估计。在投影x射线图像中,噪声模型通常是简单的关系(例如,noise_sdev=sqrt(a*signal_intensity+b))。在经处理或重建的图像中,可以通过更复杂的过程来导出噪声模型。
噪声图用作构造强度图的输入,该强度图用于如本文所述对图像进行去噪。去噪强度图可以是噪声图的简单函数:denoising_strength_map=f(noise_map)。在一个简单的实施方案中,强度图仅仅是通过乘法系数(f(x)=c.x,其中c是固定的标量值)均匀缩放的噪声图。在其它实施方案中,强度图可以具有噪声图的更复杂变换的形式,例如幂律(f(x)=xmax.(x/xmax)^gamma)或噪声图和信号强度的组合函数。主要优点是显著减少生成去噪强度图所必需的参数或校准的数量。
图9为示出了根据本公开的一个实施方案的用于生成强度图的方法900的流程图。方法900可使用存储在成像系统(例如,图1的数字乳房造影系统100)的计算设备或通信地耦接到成像系统的控制器(例如,图1的控制器44)的非暂态存储器中的计算机可读指令来执行。在一些实施方案中,在不脱离本公开的范围的情况下,方法900可由另一计算设备(例如,服务器、边缘设备、PACS)执行。
在902,方法900包括获得输入图像。输入图像实际上可以是利用成像系统获得的任何图像,诸如由图1的数字乳房造影系统采集的图像。输入图像可以包括图像受试者(例如,患者)或者可以是背景图像(在针对如以上关于图5和图7所描述的校准过程生成强度图的情况下)。在904,方法900包括基于输入图像获得噪声图。噪声图可由被配置为针对输入图像的每一像素输出噪声的估计的噪声模型生成。在906,方法900包括根据噪声图来生成强度图。如上文所解释的,强度图可为噪声图的经缩放版本,且可通过以乘法系数(f(x)=c.x,其中c为固定标量值)均匀地缩放噪声图或通过将更复杂变换应用于噪声图而生成。在噪声图由系数均匀缩放的示例中,系数可为噪声因子(本文中也称为强度图强度值),如上文所解释的,可根据将输入图像的信号电平映射到噪声因子的校准函数来选择噪声因子。方法900然后结束。
在一些示例中,目标噪声减少率不是用于选择适当强度图的目标,而是使用目标剂量增加来确定校准函数。通过这样做,给定低剂量(并且噪声更多的)图像,可以模拟较高剂量图像的噪声特性。为了实现这一点,类似于以上关于图5描述的实施方案,生成处于各种强度水平的一系列有噪声背景图像,然后使用具有变化值的一系列恒定去噪强度图来去噪。代替确定哪个去噪强度图实现给定的噪声减少比,确定实现等于更高剂量图像的特定噪声电平的去噪强度图。例如,对于强度X,为了模拟两倍剂量的噪声统计,测量平均值等于2X(这给出噪声电平=sigma_high)的有噪声背景图像处的噪声电平,然后通过比率(目标噪声电平=sigma_high/2)对更高剂量的噪声电平进行归一化。确定产生与目标噪声电平类似的噪声电平的去噪强度图。然后重复该过程以覆盖感兴趣的信号强度的整个范围。下文关于图10提供关于设置校准函数以实现目标剂量减少的额外细节。
图10是示出根据本公开的第三实施方案的用于确定校准因子的方法1000的流程图,该校准因子可以被应用于选择去噪强度图以对由成像系统(例如,图1的数字乳房造影系统100)采集的图像去噪。方法1000可使用存储在成像系统(例如,图1的数字乳房造影系统100)的计算设备或通信地耦接到成像系统的控制器(例如,图1的控制器44)的非暂态存储器中的计算机可读指令来执行。在一些实施方案中,在不脱离本公开的范围的情况下,方法1000可由另一计算设备(例如,服务器、边缘设备、PACS)执行。
在1002,方法1000包括获得不同信号电平下的一组背景图像。在1004,方法1000包括将噪声添加到背景图像以生成一组有噪声背景图像。在方法1000中生成的有噪声背景图像可以以与方法500的有噪声背景图像相同的方式生成,并且因此502和504的描述同样适用于1002和1004。在1006,方法1000包括获得一组强度图。可类似于在方法500的506获得的一组强度图来获得该组强度图,且因此506的描述同样适用于1006。
在1008,方法1000包括输入强度图和有噪声背景图像对作为去噪模型的输入。去噪模型可以与以上关于图2、图5和图7描述的去噪模型相同或类似,并且可以以与以上关于图5的508描述的方式相同的方式形成强度图和有噪声背景图像对并且将其输入到去噪模型中。在1010,方法1000包括接收从去噪模型输出的去噪图像。
在1012,方法1000包括:对于给定的低信号电平有噪声背景图像(例如,相对于其他有噪声背景图像具有低信号电平的有噪声背景图像),基于较高信号电平有噪声背景图像来识别目标噪声电平。例如,有噪声背景图像可以包括具有范围从1到10的十个不同的归一化信号电平的背景图像。具有信号电平1的有噪声背景图像可被选择为低信号电平输入图像。通过选择较高信号电平有噪声背景图像(诸如具有信号电平2的有噪声背景图像)、确定具有信号电平2的有噪声背景图像中的噪声电平且基于信号电平比(其为较低信号电平与较高信号电平的比率(在此情况下,1:2,使得具有信号电平2的有噪声背景图像的噪声电平除以2))来归一化噪声电平来识别目标噪声电平。在1014,方法1000包括识别将低信号电平图像去噪到目标噪声电平的强度图。如上所述,利用不同的强度图对每个有噪声背景图像进行去噪,并且可以分析使用低信号电平图像生成的每个去噪图像,以确定哪个强度图导致具有目标噪声电平的去噪图像。所识别的强度图值(例如,被应用于生成所识别的强度图的强度值/噪声因子)可被存储在存储器中(例如,在被索引到信号电平和信号电平比的查找表中)。在一些示例中,可针对其它信号电平比重复该过程。例如,较高信号电平图像可以是具有信号电平3的有噪声背景图像,使得信号电平比是1:3。在1016,方法1000包括在信号强度水平上重复上述过程并存储校准函数。例如,可以针对具有信号电平2的有噪声背景图像重复该过程,这可以识别应用于实现具有信号电平为4的有噪声背景图像(假设1:2信号电平比)、具有信号电平为3的有噪声背景图像等的噪声电平的去噪图像的强度图的强度值。校准函数可以是上述查找表,由此每个识别的强度值作为图像信号电平和信号电平比的函数被保存在查找表中。方法1000然后结束。
图11是示出用于使用由图10的方法确定的校准因子来对图像去噪的方法1100的流程图。方法1100可使用存储在成像系统(例如,图1的数字乳房造影系统100)的计算设备或通信地耦接到成像系统的控制器(例如,图1的控制器44)的非暂态存储器中的计算机可读指令来执行。在一些实施方案中,在不脱离本公开的范围的情况下,方法1100可由另一计算设备(例如,服务器、边缘设备、PACS)执行。在一些示例中,方法1100可以在执行方法1000的相同计算设备上执行。在其他示例中,方法1100可在与执行方法1000的计算机设备不同的计算设备上执行。例如,方法1000可在服务器或其他计算设备上执行。根据方法1000确定的经训练的去噪模型和校准函数可保存在不同计算设备(诸如图1的控制器44)上,且方法1100可使用所保存的去噪模型和校准函数在不同计算设备上执行。
在1102,方法1100包括获得输入图像和目标信号电平比。输入图像可以与以上关于图6和图8描述的输入图像相同或相似,例如,包括利用合适的成像模态采集的成像受试者的图像。可以基于所选择的扫描协议或检查协议和/或基于系统设置经由用户输入(例如,用户可以输入对目标信号电平比的选择)来接收目标信号电平比。在1104,方法1100包括基于输入图像的信号电平、目标信号电平比和存储的校准函数来选择强度图。输入图像的信号电平可以如前所述地确定。输入图像的信号电平和目标信号电平比可以用于从所存储的校准函数获得强度值,该校准函数可以是以上关于图10描述的查找表。所识别的强度值可以应用于输入图像的噪声图以生成强度图。在1106,方法1100包括将输入图像和强度图作为输入输入到去噪模型。去噪模型可以与以上关于图10描述的去噪模型相同。在1108,方法1100包括接收从去噪模型输出的去噪图像。在1110,方法1100包括显示和/或保存该去噪图像。方法1100然后结束。
使用基于将图像信号电平映射到用于生成强度图的强度值的校准函数生成的强度图来对图像进行去噪的技术效果在于,可以以针对用于对图像去噪的特定去噪模型定制的方式,在不引入不必要的细节损失的情况下实现图像中的目标噪声减少。通过基于输入图像的信号电平调谐用于特定去噪模型的强度图强度,可以更一致的方式针对每一图像实现目标噪声减少,这可减少给定输入图像被去噪的次数且因此可改进计算设备执行去噪模型的效率。
本公开还提供对一种方法的支持,包括:获得输入图像和表示输入图像中的噪声的噪声图,从噪声图并且基于校准函数生成强度图,将输入图像和强度图作为输入输入到被训练为基于输入图像和强度图输出去噪图像的去噪模型,以及显示和/或保存由去噪模型输出的去噪图像。在该方法的第一示例中,强度图包括由噪声因子缩放的噪声图的缩放版本,并且其中基于校准函数来选择噪声因子。在该方法的第二示例中,任选地包括第一示例,校准函数包括噪声因子与输入图像的信号电平之间的关系,以实现输入图像的目标去噪。在该方法的第三示例中,任选地包括第一示例和第二示例中的一者或两者,校准函数包括噪声因子、输入图像中的噪声量和输入图像的信号电平之间的关系,以实现输入图像的目标去噪。在该方法的第四示例中,任选地包括第一示例至第三示例中的一者或多者或每一者,校准函数包括噪声因子与输入图像的信号电平之间的关系,以实现输入图像的目标信号电平。在该方法的第五示例中,任选地包括第一示例至第四示例中的一者或多者或每一者,校准函数在校准阶段期间被确定并且从存储器中被检索以生成强度图。在该方法的第六示例中,任选地包括第一示例至第五示例中的一者或多者或每一者,获得输入图像包括从x射线成像系统获得输入图像。
本公开还提供对一种系统的支持,该系统包括:存储器,该存储器存储指令;和处理器,该处理器被配置为执行指令以:获得输入图像和表示输入图像中的噪声的噪声图,从噪声图并且基于将输入图像的信号电平映射到强度值的校准函数生成强度图,将输入图像和强度图作为输入输入到被训练为基于输入图像和强度图输出去噪图像的去噪模型,以及显示和/或保存由去噪模型输出的去噪图像。在该系统的第一示例中,强度图包括由强度值缩放的噪声图的缩放版本。在该系统的第二示例中,任选地包括第一示例,校准函数将输入图像的信号电平映射到强度值,以实现输入图像的目标去噪。在该系统的第三示例中,任选地包括第一示例和第二示例中的一者或两者,校准函数将输入图像的信号电平和输入图像中的噪声量映射到强度值,以实现输入图像的目标去噪。在该系统的第四示例中,任选地包括第一示例至第三示例中的一者或多者或每一者,校准函数将输入图像的信号电平映射到强度值,以实现输入图像的目标信号电平。在该系统的第五示例中,任选地包括第一示例至第四示例中的一者或多者或每一者,校准函数在校准阶段期间被确定并且从存储器被检索以生成强度图。在该系统的第六示例中,任选地包括第一示例至第五示例中的一者或多者或每一者,该系统还包括:成像系统,并且其中利用该成像系统采集输入图像。在该系统的第七示例中,任选地包括第一示例至第六示例中的一者或多者或每一者,成像系统是x射线成像系统。
本公开还提供对一种方法的支持,该方法包括:将多对噪声图像和强度图输入到经训练的去噪模型,该多对噪声图像和强度图包括不同信号电平的噪声图像和不同强度的强度图;从经训练的去噪模型接收每个输入噪声图像的去噪版本作为输出;基于每个输入噪声图像的去噪版本生成校准函数,该校准函数将每个噪声图像的信号电平映射到强度图值,以实现目标噪声减少;以及将校准函数保存在存储器中。在该方法的第一示例中,利用x射线成像系统采集每个噪声图像。在该方法的第二示例中,任选地包括第一示例,每个强度图包括由强度值缩放的噪声图,每个噪声图表示相应噪声图像中的噪声量。在该方法的第三示例中,任选地包括第一示例和第二示例中的一者或两者,生成校准函数包括计算每个输入噪声图像的每个去噪版本中的相应图像噪声量,并且基于每个噪声图像的信号电平、每个输入噪声图像的每个去噪版本中的相应图像噪声量以及每个强度图强度来生成校准函数。在该方法的第四示例中,任选地包括第一示例至第三示例中的一者或多者或每一者,校准函数被配置为在训练去噪模型的推断期间应用以选择强度图来对输入图像进行去噪。
如本文所用,以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤,除非明确说明此类排除。此外,对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外,除非明确地相反说明,否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在...中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外,术语“第一”、“第二”和“第三”等仅用作标记,而不旨在对其对象施加数字要求或特定位置次序。
该书面描述使用示例来公开本发明,包括最佳模式,并且还使相关领域中的普通技术人员能够实践本发明,包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定,并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素,或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素,则此类其他示例旨在落入权利要求书的范围内。
Claims (15)
1.一种方法,所述方法包括:
获得输入图像和表示所述输入图像中的噪声的噪声图;
从所述噪声图并且基于校准函数生成强度图;
将所述输入图像和所述强度图作为输入输入到去噪模型,所述去噪模型被训练为基于所述输入图像和所述强度图输出去噪图像;以及
显示和/或保存由所述去噪模型输出的所述去噪图像。
2.根据权利要求1所述的方法,其中所述强度图包括由噪声因子缩放的所述噪声图的缩放版本,并且其中基于所述校准函数来选择所述噪声因子。
3.根据权利要求2所述的方法,其中所述校准函数包括所述噪声因子与所述输入图像的信号电平之间的关系,以实现所述输入图像的目标去噪。
4.根据权利要求2所述的方法,其中所述校准函数包括所述噪声因子、所述输入图像中的噪声量和所述输入图像的信号电平之间的关系,以实现所述输入图像的目标去噪。
5.根据权利要求2所述的方法,其中所述校准函数包括所述噪声因子和所述输入图像的信号电平之间的关系,以实现所述输入图像的目标信号电平。
6.根据权利要求2所述的方法,其中所述校准函数在校准阶段期间被确定并且从存储器中被检索以生成所述强度图。
7.根据权利要求1所述的方法,其中获得所述输入图像包括从x射线成像系统获得所述输入图像。
8.一种系统,所述系统包括:
存储器,所述存储器存储指令;和
处理器,所述处理器被配置为执行所述指令以:
获得输入图像和表示所述输入图像中的噪声的噪声图;
从所述噪声图并且基于将所述输入图像的信号电平映射到强度值的校准函数生成强度图;
将所述输入图像和所述强度图作为输入输入到去噪模型,所述去噪模型被训练为基于所述输入图像和所述强度图输出去噪图像;并且
显示和/或保存由所述去噪模型输出的所述去噪图像。
9.根据权利要求8所述的系统,其中所述强度图包括由所述强度值缩放的所述噪声图的缩放版本。
10.根据权利要求8所述的系统,其中所述校准函数将所述输入图像的所述信号电平映射到所述强度值,以实现所述输入图像的目标去噪。
11.根据权利要求8所述的系统,其中,所述校准函数将所述输入图像的所述信号电平和所述输入图像中的噪声量映射到所述强度值,以实现所述输入图像的目标去噪。
12.根据权利要求8所述的系统,其中所述校准函数将所述输入图像的所述信号电平映射到所述强度值,以实现所述输入图像的目标信号电平。
13.根据权利要求8所述的系统,其中所述校准函数在校准阶段期间被确定并且从所述存储器中被检索以生成所述强度图。
14.根据权利要求8所述的系统,所述系统还包括成像系统,并且其中利用所述成像系统采集所述输入图像。
15.根据权利要求14所述的系统,其中所述成像系统是X射线成像系统。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/813,264 | 2022-07-18 | ||
US17/813,264 US20240020792A1 (en) | 2022-07-18 | 2022-07-18 | Methods and systems for image denoising |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117437144A true CN117437144A (zh) | 2024-01-23 |
Family
ID=87158502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310800759.7A Pending CN117437144A (zh) | 2022-07-18 | 2023-07-03 | 用于图像去噪的方法和系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240020792A1 (zh) |
EP (1) | EP4310771A1 (zh) |
CN (1) | CN117437144A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230031814A1 (en) * | 2021-07-28 | 2023-02-02 | GE Precision Healthcare LLC | Methods and systems for breast tomosynthesis |
-
2022
- 2022-07-18 US US17/813,264 patent/US20240020792A1/en active Pending
-
2023
- 2023-07-03 CN CN202310800759.7A patent/CN117437144A/zh active Pending
- 2023-07-05 EP EP23183728.7A patent/EP4310771A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4310771A1 (en) | 2024-01-24 |
US20240020792A1 (en) | 2024-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10147168B2 (en) | Spectral CT | |
US9036886B2 (en) | System and method for correcting for metal artifacts using multi-energy computed tomography | |
CN105339986B (zh) | 用于从断层合成数据生成边缘保留合成乳房摄影的方法 | |
CN102013089B (zh) | 用于噪声减少的迭代ct图像滤波器 | |
US10064591B2 (en) | System, method and computer readable medium for preview of low-dose x-ray projection and tomographic images | |
JP6925868B2 (ja) | X線コンピュータ断層撮影装置及び医用画像処理装置 | |
US9070181B2 (en) | System and method for extracting features of interest from an image | |
US7978886B2 (en) | System and method for anatomy based reconstruction | |
US8634625B2 (en) | Method for the reduction of image artifacts, in particular of metal artifacts, in CT image data | |
WO2019145149A1 (en) | Using deep learning to reduce metal artifacts | |
CN103037769A (zh) | 用于处理图像的方法和设备及采用该设备的医学图像系统 | |
US9374565B2 (en) | System and method for multi-material correction of image data | |
US11419566B2 (en) | Systems and methods for improving image quality with three-dimensional scout | |
CN111627083B (zh) | 骨硬化伪影校正方法、装置、计算机设备和可读存储介质 | |
JP2004181243A (ja) | 横方向のフィルタリング処理を用いたトモシンセシス画像を強調する方法及びシステム | |
US20210158486A1 (en) | Methods and systems for parametric noise modulation in x-ray imaging | |
EP4310771A1 (en) | Methods and systems for image denoising | |
US20200240934A1 (en) | Tomography apparatus and controlling method for the same | |
JP2021133247A (ja) | デジタルマンモグラフィイメージングのための方法およびシステム | |
KR102399792B1 (ko) | 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법 | |
US11972510B2 (en) | Method for generating tomographic image and X-ray imaging apparatus according to same | |
US11270477B2 (en) | Systems and methods for tailored image texture in iterative image reconstruction | |
Chae et al. | Lung segmentation using prediction-based segmentation improvement for chest tomosynthesis | |
CN112513925A (zh) | 为ct虚拟单色提供自动自适应能量设置的方法 | |
KR20230145748A (ko) | 엑스선 촬영 장치 및 이를 이용하는 엑스선 촬영 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |