CN112651885A - 用于减少图像记录噪声的方法和装置 - Google Patents
用于减少图像记录噪声的方法和装置 Download PDFInfo
- Publication number
- CN112651885A CN112651885A CN202011030659.3A CN202011030659A CN112651885A CN 112651885 A CN112651885 A CN 112651885A CN 202011030659 A CN202011030659 A CN 202011030659A CN 112651885 A CN112651885 A CN 112651885A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- training
- adaptation
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 230000006978 adaptation Effects 0.000 claims abstract description 77
- 238000004519 manufacturing process Methods 0.000 claims abstract description 28
- 238000002591 computed tomography Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 102
- 230000006870 function Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 210000003484 anatomy Anatomy 0.000 claims description 2
- 239000000306 component Substances 0.000 description 21
- 238000009826 distribution Methods 0.000 description 16
- 230000005855 radiation Effects 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/60—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Abstract
本发明涉及一种用于减少图像记录噪声的方法,包括步骤:‑提供输入图像(E),‑对所述输入图像(E)去噪并且生成去噪的输入图像(Ee),‑借助适配方法适配所述去噪的输入图像(Ee)的像素的噪声纹理,其中基本上保持所述去噪的输入图像(Ee)的噪声幅度并且适配所述去噪的输入图像(Ee)的像素的噪声纹理,使得所述噪声纹理基本上对应于预先确定的噪声纹理。此外,本发明涉及一种相应的装置、一种用于适配装置的制造方法、一种这样的适配装置以及一种控制设备和一种计算机断层扫描系统。
Description
技术领域
本发明涉及一种用于减少图像记录噪声、尤其是在CT记录中的图像记录噪声的方法和装置。
背景技术
图像记录通常具有噪声。尽管噪声的强度基本上取决于记录单元(例如图像检测器)的质量,但是在实际使用中,在图像记录期间存在的强度决定了记录中的噪声。例如,在黄昏记录的照片比在明亮的白天记录的照片具有更多噪声。相应的情况适用于利用X射线生成的记录,例如CT记录。辐射的剂量越高,噪声分量越小,辐射的剂量越小,噪声分量越高。
计算机断层扫描(“CT”)是一种非常重要和常用的检查方法。在CT的范围内,借助不同方向的高能辐射(典型地为X射线)透射患者,并且分别检测穿透患者的辐射,以便生成图像,尤其是3D图像或来自2D图像的切片。因为高能辐射总是对患者构成危险,所以力求将剂量保持得尽可能小。然而在此典型地出现前面提到的效果,即在图像记录中的噪声分量随着剂量降低而增加。
为了降低在重建的CT图像中或直接在其原始数据中的噪声分量,存在许多方法,例如迭代重建或非线性图像滤波器。在此经常努力在保持结构的同时减小噪声,即避免改变除噪声外的数据。
也可以对其它图像记录进行人工去噪。因此可以以这种方式改善例如被加噪的照片。
然而在噪声抑制的效果被较高水平设置的情况下经常产生不利的副作用,所述副作用使得图像看起来是“人造的”。这尤其适用于噪声纹理。概念“噪声纹理”表示数字图像的像素的噪声分量的形状。通常,噪声分量具有高斯形状,但是也可以完全具有其它形状。在数字图像中,以相邻像素的强度差异来反映噪声。
通常,这些负面副作用通过以衰减的形式采用用于临床目的噪声抑制方法来抵消,但是这当然不利地限制了最初期望的效果,即噪声减少。因为噪声再次升高,由此这也限制了该方法的减小辐射剂量的潜力。
发明内容
本发明的目的是,提供用于减少图像记录噪声的更舒适的替代方法和相应的装置,利用该方法和装置避免上述缺点。尤其是本发明的目的在于,实现减小与“通常”的、也就是说利用线性方法(滤波反投影)重建的CT图像的视觉上相关的偏差。
该目的通过根据权利要求1的方法、根据权利要求6的装置、根据权利要求7的制造方法、根据权利要求11的适配装置、根据权利要求12的控制设备以及根据权利要求13的计算机断层扫描系统来解决。
根据本发明的用于减少图像记录噪声的方法尤其用于产生接近实际的噪声纹理。在此,“图像记录”指数字图像或其数字原始数据。数字图像包括像素(图像点),这些像素布置在坐标系中,大多布置在X/Y平面或X/Y/Z空间体中,并且具有特定的像素值。该像素值通常是亮度信息和/或颜色信息。下面代替“图像记录”仅提及图像,这也意味着用该名称重建的图像或其原始数据。该方法包括以下步骤:
-提供输入图像,
-对输入图像去噪并且生成去噪的输入图像,
-借助适配方法适配去噪的输入图像的像素的噪声纹理,其中基本上保持去噪的输入图像的噪声幅度并且如此适配去噪的输入图像的像素的噪声纹理,使得所述噪声纹理基本上对应于预先确定的噪声纹理。
输入图像是数字图像记录。通过记录输入图像或通过经网络、例如PACS(PictureArchiving and Communication System=图像存档和通信系统)传输和接收该输入图像来实现该提供。该输入图像、例如照片,可以以JPEG格式存在。尤其是在医学技术领域,也可以以DICOM格式(DICOM:Digital Imaging and Communications in Medicine=医学中的数字图像处理和通信)存在。在此再次强调,概念“输入图像”不必强制地指重建的图像。该输入图像完全可以由原始数据组成或者包括原始数据。此外,元信息也可以例如被一同包括在JPEG文件或者DICOM文件的报头中。
该输入图像在实践中总是具有噪声,其中基本上每个像素具有特定的噪声纹理,并且该噪声纹理在整个图像中与各个像素的理想像素值重叠。
由于像素除了其像素值外并不包含子信息,所以不能借助单个像素解释噪声。在图像中的每个均匀面积(在均匀面积中像素值理想地应该全部相同)中,噪声实际上由不同像素值表示。如果将这些像素值以直方图绘制,则得到具有平均值(应大约对应于理想值)、宽度(其是噪声强度的量并且在去噪时变小)和特定形状(其表示噪声纹理)的特定分布。该形状通常对应于高斯分布。虽然在实践中不可能总是记录精确均匀的面积,但是在这种情况下也可以在数学上很好地检测噪声(并且利用计算手段抑制噪声)。
接下来,该输入图像被去噪。这借助按照现有技术的去噪方法来进行。这种常规的去噪方法是本领域技术人员充分已知的。作为输入图像的去噪的结果,生成去噪图像。
在现有技术中,利用该步骤完成去噪。然而,以此方式去噪的图像具有对于观察者而言看起来不正常的噪声纹理。在此,噪声纹理(即像素的噪声分量的形状)与“正常”图像的噪声纹理不同。对应于去噪图像的正常图像是以更高的强度(例如,以更亮的照明或更大的辐射剂量)记录的图像。这样的图像具有特征性的噪声纹理,例如高斯分布。
这样形成的噪声分量被观察者视为自然的,并且图像被视为正常的。在图像去噪的情况下经常发生的是,输入图像中具有高斯分布的噪声分量变为去噪图像中的超高斯分布的噪声分量。与正态高斯分布相比,这包括朝向侧面的方向的更大部分的“异常值”。在以较高剂量记录的图像中,不存在超高斯分布,而是又存在正态高斯分布。
根据本发明,在去噪之后还附加地进行去噪图像的像素的噪声纹理的适配。这借助于一种适配方法来进行。在该适配方法的范围内,基本上保持去噪图像的噪声幅度,并且这样适配去噪图像的像素的噪声纹理,使得该噪声纹理基本上对应于预先确定的噪声纹理。该预先确定的噪声纹理例如是高斯分布的噪声分量。也就是说,利用适配方法力求实现或模拟相同噪声幅度的以高强度记录的图像的噪声纹理。应当注意,噪声纹理不是指定给单个像素而是指定给图像的像素的全部(或至少一部分)。如果例如将均匀示出的面的像素以直方图绘制,则可以在输入图像中看到高斯分布、在去噪图像中看到超高斯分布并且在适配图像中看到“恢复的”高斯分布。
最后,通常接着输出适配图像,所述图像也可以被称为“结果图像”或“适配图像”。该输出可以例如在屏幕上(或通过打印机)进行,使得医师可以立即查看去噪图像和适配图像。输出也可以包括将图像存储在数据库中或者通过网络发送图像。
如上所述,根据本发明的方法优选用于减少CT记录噪声。在此,概念“CT记录”如已经说过的那样既包括CT原始数据也包括重建的CT图像,其中重建的CT图像作为输入图像是优选的。
作为输入图像例如提供CT记录并且借助常规的去噪方法进行噪声优化的CT图像重建。也就是可以在图像重建的过程中执行去噪,但是也可以应用于已经重建的图像。常规的去噪方法通常具有前面描述的负面的副作用。这导致CT图像数据与线性重建的图像数据相比关于噪声虽然是优化的,但是与具有相同低噪声(即以更高的剂量记录)的线性重建的图像相比,被观察者评价为不等效的或人造的。
因此,现在对去噪图像应用适配方法,该适配方法从去噪的图像中生成新的图像数据,并且具体来说,使得噪声幅度在标准差的意义上在去噪图像与相应以更高剂量记录的图像之间的比较中不会显著改变,并且仅改变噪声纹理以使得观察者将其视为等效于具有相同噪声幅度的线性重建的图像。当然通常不存在以更高的剂量记录的图像,这正是剂量份额的最小化的目标。然而,已知已用高剂量记录的图像的噪声纹理的类型,并且该方法的目标是随着适配去噪图像的噪声纹理实现该已知的噪声纹理。
根据本发明的用于减少图像记录噪声的装置尤其利用根据前述权利要求中任一项所述的方法工作。该装置包括以下组件。
-数据接口,被设计成提供数字输入图像。这样的数据接口对于本领域技术人员是已知的。
-去噪单元,被设计成对图像去噪并且生成去噪图像。去噪单元例如是计算机,在该计算机上作为软件运行去噪方法。但是去噪单元也可以是完全虚拟机,即执行去噪方法的算法。因为它是常规的去噪方法,所以它是本领域技术人员已知的。
-适配装置,被设计成借助适配方法适配去噪图像的像素的噪声纹理,其中基本上保持去噪图像的噪声幅度,并且适配去噪图像的像素的噪声纹理以使得噪声纹理基本上对应于预先确定的噪声纹理。该预先确定的噪声纹理因此相应于以更高的剂量或强度记录的图像的噪声纹理。
在本发明的范围内,特别优选的是一种基于人工智能范围内的方法的适配装置或者说适配方法。借助于人工智能也可以解决非常复杂的问题。因此,解决“人造的”图像印象问题的一种尝试是,使用基于KI的方法(KI:“人工智能”),以用于保持结构地减少噪声。人工智能以基于机器的学习的原理为基础,并且通常利用相应训练的自学习算法来执行。对于基于机器的学习通常使用表达“机器学习”,其中这里也一同包括“深度学习”的原理。例如,深度卷积神经网络(DCNN)被训练成从以低剂量(并且由此以高噪声)记录的去噪的CT图像中恢复高剂量(并且由此具有低噪声)的情况。在此,在训练中已知具有高剂量的情况。
根据本发明的制造方法用于制造具有自学习算法的适配装置。该自学习算法用于在根据本发明的方法的范围内实施适配方法。该制造方法包括以下步骤以训练自学习算法:
-提供多个以预先确定的剂量记录的初始的训练图像。该预先确定的剂量与输入图像的剂量相比是相对高剂量。剂量水平在此应当相应于因此导致图像具有与去噪图像类似的噪声幅度的剂量水平。因为在实践中应当使用已经存在的、在其它医学研究的范围内已经记录的(其它患者的)图像,所以应当选择在噪声幅度方面最接近地相应于去噪结果的图像。因为最后去噪方法是已知的(应用了常规的去噪方法),因此也已知应当对于训练使用哪种类型的图像。
-对训练图像加噪,使得所得出的加噪训练图像从加噪的类型来看对应于输入图像,所述输入图像应当通过根据本发明的方法按照规定来处理。输入图像的噪声的类型是预先确定的。已知应该以何剂量记录输入图像。由该已知剂量得出这些图像很可能具有的噪声。因此,输入图像的噪声程度是已知的,由此也已知这里使用的训练图像应该以何种程度被加噪。
-优选借助在根据本发明的方法中按照规定使用的去噪方法对加噪的训练图像去噪,并且创建去噪的训练图像。现在,加噪的训练图像因此再次被去噪。对于去噪优选应用那个也应根据本发明的方法被使用的去噪方法。这具有如下优点,即可以去噪的输入图像的适配可以根据先前的去噪进行调整。作为该步骤的结果,存在去噪的训练图像。
然而现在,这些去噪的训练图像不对应于初始的训练图像。通过去噪步骤,现在去噪的训练图像具有与初始的训练图像的噪声纹理不同的噪声纹理。通过该噪声纹理使观察者得到如下印象:这些图像是人造的。通过经训练的算法恰好应该消除这种印象。为此,算法现在必须以特别的方式被训练,并且更确切地说,利用去噪的训练图像和初始的训练图像被训练。接着是
-以使去噪的训练图像在噪声形状方面适配于初始的训练图像为目标(“目的”),训练自学习算法。
在根据本发明的方法的范围内,一种根据本发明的用于实施所述适配方法的适配装置包括自学习算法,该自学习算法借助于根据本发明的制造方法得到训练。
根据本发明的用于控制计算机断层扫描系统的控制设备被设计用于执行根据本发明的方法或根据本发明的制造方法和/或包括根据本发明的装置。
根据本发明的计算机断层扫描系统包括根据本发明的控制设备。
装置、适配装置或控制设备的前面提到的组件中的大部分可以完全或部分地以软件模块的形式在相应的(适配)装置或控制设备的处理器中实现。很大程度按照软件的实现方案具有的优点是,迄今为止已经使用的(适配)装置或控制设备也可以以简单的方式通过软件更新来改装,以便以根据本发明的方式工作。就此而言,所述目的还通过一种具有计算机程序的相应的计算机程序产品解决,该计算机程序可以直接加载到计算机断层扫描系统的控制设备的计算系统或存储设备中,所述计算机程序具有程序区段,以用于当在计算系统或控制设备中实施程序时实施根据本发明的方法的所有步骤。除了计算机程序外,这样的计算机程序产品必要时也可以包括附加的组成部分,例如文档和/或附加的组件,也可以包括硬件组件,例如用于使用软件的硬件密钥(加密狗等)。
计算机可读介质、例如记忆棒、硬盘或者其它可移动的或固定安装的数据载体可以用于运输至计算系统或控制设备和/或用于存储在计算系统或控制设备上或中,在所述计算机可读介质上存储有计算机程序的可以由计算系统或控制设备的计算机单元读取和执行的程序区段。计算机单元为此例如可以具有一个或多个共同工作的微处理器或类似物。
从从属权利要求以及以下说明中得到本发明的其它特别有利的设计方案和改进方案,其中一个权利要求类别的权利要求也可以类似于另一个权利要求类别和说明书部分进一步改进,并且尤其是不同实施例或变型方案的各个特征也可以组合成新的实施例或变型方案。
在一个优选的方法中,利用基于适配函数A对去噪图像进行适配的算法来执行适配方法。该适配函数以与以较高剂量记录的图像相似的方式来改变去噪图像。这使观察者得到图像的自然印象。该算法可以是线性工作的常规算法。但是,该算法也可以基于机器学习的原理,即表现为人工智能。
适配函数A在此优选基于度量M来选择和/或生成。在此,该度量量化在利用适配函数A'适配的去噪图像与预先确定的噪声纹理之间的噪声纹理的差异。然后从一系列训练适配函数A'中例如可以选择与预先确定的噪声纹理差异最小的那个训练适配函数作为适配函数A。例如,该算法可以以具有自由参数的基于模型的常规算法的形式实现。例如,去噪图像的负纹理变化可以在于像素值分布(例如直方图的像素值分布)变化。假设输入图像中的原始分布是高斯状的。在常规的噪声减少之后,去噪图像中的噪声分布可以是超高斯的,也就是说,包括朝向分布的边侧的异常值。因此,用于纹理改善的模型具有去除异常值的任务。通过合适地选择适配函数或通过训练该算法,可以构造适配函数(例如优化其自由参数),使得在适配的去噪图像与以较高剂量记录的图像之间的比较的度量最小。在下面更详细地描述这在训练的范围中如何实现。
在一个优选的方法中,适配方法利用自学习算法、尤其是深度学习算法、优选卷积网络(CNN或DCNN)来执行。在此,优选地训练自学习算法,使得以高强度记录的多个训练图像被人工地加噪,将这些加噪的训练图像借助去噪方法去噪,并且以从去噪图像中重新建立原始训练图像为目标,训练自学习算法。
在一个优选的方法中,除了适配方法的图像数据外还使用其它元信息。该元信息在此附加于图像数据(例如在图像文件的报头中)存在,并且在处理输入图像或训练图像时被使用。以这种方式例如可以将CT重建的已知定性差异明确地传输给所述训练。这例如是卷积核(或其特性)、调制传递函数(MTF,有时也称为调制传递函数)、过冲、噪声粒度、体素大小或测量数据的信号水平(这允许推断出在输入数据中的预期噪声)。
在一个优选的方法中,在去噪图像的像素的噪声纹理的适配的范围内,从加噪图像的超高斯噪声纹理确定高斯噪声纹理,并且超高斯噪声纹理被高斯噪声纹理替换。
在一个优选的制造方法中,在训练的范围内借助适配函数A将加噪的图像Iv适配于初始图像I0。为此选择度量M,该度量表示用于A(Iv)和I0、也就是经过适配的去噪的训练图像和初始的训练图像的噪声纹理的差异的量。因此,确定去噪图像和初始的训练图像在噪声纹理方面的差异的程度。在此,该度量允许定量地确定该差异。偏差例如是在相应的图像坐标上的像素的颜色和/或强度中的偏差。
通过重复改变训练适配函数A'并计算度量M来配置适配函数A,使得对于多个初始图像,最小化A(Iv)和I0的噪声纹理的差异。因此,使用训练适配函数A',利用该训练适配函数将去噪的训练图像适配于初始的训练图像。然后借助该度量定量地确定该适配的质量并且选择另一个训练适配函数A',利用该另一个训练适配函数同样将去噪的训练图像适配于初始的训练图像。以这种方式,自然地关于可使质量量化的所选择度量,寻找与初始的训练图像相比的适配训练图像的质量的最小偏差。
在一个优选的制造方法中,通过求解以下公式得到适配函数A
A=argminA'M{A'(Iv),I0}, (1)
即通过确定最佳的训练适配函数A'来得到适配函数A。在此,再次使用度量M、去噪的训练图像Iv和初始的训练图像I0。训练的适配装置然后在根据本发明的方法的范围内实施适配函数A,其中在训练的范围内由上述公式(1)得到A。因此,适配装置(例如CNN)的训练必须满足A'(Iv)接近初始的训练图像I0(以高剂量记录的图像数据)的图像数据的要求。
度量M应当被选择为:使得该度量以合适的方式评价利用A'(Iv)适配的图像和相应的初始图像I0的噪声纹理的偏差。通过使这些偏差最小化的目标,形成了用于图像的优化的适配函数A。借助对多个初始的训练图像进行优化,来确定所得到的适配函数A。这表现为所述训练,并且训练的适配装置随后能够基于该适配函数A来适配未知的输入图像。
在一个优选的制造方法中,度量M是与均方差相应的量和/或(例如,相加地)由决定保持局部平均值(例如,L1范数)和/或测量噪声纹理的相似性的部分组成,例如,结构相似性指数(SSIM)或多尺度SSIM,其中优选地,度量的选择取决于预先确定的解剖区域和/或诊断问题(参见例如Zhao等人,arXiv:1511.08861v3,2018)。基本上,所有已知方法都可以用于训练,例如扩增。
优选地,本发明的组件作为“云服务”存在。这种云服务用于处理数据,尤其是借助人工智能处理数据,但是也可以是基于常规算法的服务或者在后台进行人为评估的服务。通常,云服务(以下也简称为“云”)是IT基础设施,其中通过网络提供例如存储位置或计算能力和/或应用软件。在此,借助于数据接口和/或数据传输协议实现用户和云之间的通信。在这里存在的情况下特别优选的是,云服务不仅提供计算能力而且提供应用软件。
在一个优选的方法的范围内,通过网络向云服务提供数据。该云服务包括计算系统,例如计算机集群,计算系统通常不包括用户的本地计算机。云尤其可以通过也提供医学技术系统的医学机构来提供。例如将图像记录的数据通过RIS(放射学信息系统)或PACS发送到远程计算机系统(云)。优选地,云的计算系统、网络以及医学技术系统表现为数据技术意义上的联合体。在此,该方法可以借助于网络中的指令组合(Befehls-konstellation)来实现。在云中计算的数据(“结果数据”)稍后又通过网络发送给用户的本地计算机。
附图说明
下面参考附图借助实施例再次更具体地阐述本发明。在此,在不同的附图中相同的组件设有相同的附图标记。附图通常不是按比例的。示出了:
图1示出计算机断层扫描系统的粗略示意图,计算机断层扫描系统具有带有用于执行该方法的根据本发明的装置的控制设备的实施例。
图2示出用于根据本发明的制造方法的实施例的示意图,
图3示出用于根据本发明的方法的实施例的示意图,
图4示出在优选的制造方法的范围内的训练图像的改变,
图5示出在优选的方法的范围内的输入图像的改变,
具体实施方式
在以下解释中假定,成像设备是计算机断层扫描系统。但是原则上该方法也可以应用于其它成像设备或仪器,例如在摄影的范围内。
图1粗略示意地示出具有用于执行根据本发明的方法的控制设备10的计算机断层扫描系统1。计算机断层扫描系统1以通常的方式具有带有机架的扫描仪2,X射线源3在该机架中旋转并透射各一个借助卧榻5被移动到机架的测量空间中的患者,使得辐射射到分别与X射线源3相对置的检测器4上。要明确指出的是,根据该图的实施例仅是CT的示例,并且本发明也可以在任意CT构造上使用,该CT构造例如具有环形的固定的X射线检测器和/或多个X射线源。
同样,在控制设备10中仅示出对于解释本发明重要的组件。原则上,这样的CT系统和所属的控制设备对于本领域技术人员是已知的并且因此不需要详细阐述。
控制设备10的核心组件在此是处理器11,在该处理器上实现了软件模块形式的不同组件。控制设备10还具有终端接口14,终端20连接到该终端接口,通过该终端接口,操作者可以操作控制设备10并且由此操作计算机断层扫描系统1。另外的接口15是用于连接到数据总线21上的网络接口,以便这样建立与RIS(放射学信息系统)或PACS(PictureArchiving and Communication System=图像存档和通信系统)的连接。
通过控制接口13可以由控制设备10驱控扫描仪2,也就是说例如机架的旋转速度、患者卧榻5的移动和X射线源3本身被控制。通过采集接口12从检测器4读取原始数据RD。此外,控制设备10具有存储单元16,在该存储单元中存储了不同的测量协议。
在处理器11上的组件是图像数据重建单元18,利用图像数据重建单元从通过数据采集接口12获得的原始数据RD中重建期望的图像数据。
图像数据重建单元18在此包括根据本发明的用于减少图像记录噪声的装置6。该装置6包括被设计成提供图像的数据接口7、被设计成对图像去噪并且生成去噪图像的去噪单元8和适配装置9。
该适配装置9被设计成借助适配方法来适配去噪图像Ie的像素的噪声纹理,其中基本上保持去噪图像Ie的噪声幅度并且如此适配去噪图像的像素的噪声纹理,使得所述噪声纹理基本上对应于预先确定的噪声纹理。
适配的结果是适配图像Ea或结果图像Ea(参见例如图5)。
图2示出用于制造包括自学习算法的适配装置9(参见例如图1)的根据本发明的制造方法的实施例的示意图。该制造方法包括按照以下步骤训练自学习算法:
在步骤I中提供多个以预先确定的剂量记录的初始的训练图像T,例如如图4中所示的CT图像。
在步骤II中进行对训练图像T的加噪,使得合成的噪声训练图像Tv在加噪的类型方面相应于应当通过根据本发明的方法按照规定处理的输入图像E(参见例如图3或图5)。
在步骤III中优选借助在根据本发明的方法中按照规定使用的那种去噪方法对加噪的训练图像Tv进行去噪,并且在该范围内创建去噪的训练图像Te。
以下两个步骤代表训练的核心。
在步骤IV中借助适配函数进行去噪的训练图像Te的适配,由此得到适配的训练图像Ta。
在步骤V中进行经适配的训练图像TA与初始的训练图像T的比较。在此可以完全使用一个度量以能够定量地检测所述比较。目标是选择适配函数,使得适配的训练图像Ta和初始的训练图像T之间的差异尽可能小。
在步骤VI中,该训练结束。示出了训练的适配装置9。
图3示出根据本发明的用于减少图像记录噪声的方法的实施例的示意图。
在步骤VII中进行输入图像E的提供,例如如在图5中所示的CT图像。
在步骤VII中进行输入图像E的去噪和去噪的输入图像Ee的生成。
在步骤VII中,借助适配方法进行去噪的输入图像Ee的像素的噪声纹理的适配,其中基本上保持去噪的输入图像Ee的噪声幅度并且适配去噪的输入图像Ee的像素的噪声纹理,使得所述噪声纹理基本上对应于预先确定的噪声纹理。在该范围内生成适配图像Ea作为结果图像Ea,该结果图像可以显示给医师或者可以存储用于以后的鉴定。
图4示出在优选的制造方法的范围内的训练图像T的变化。在左上方可以看到训练图像T(CT记录)。在该训练图像T中可见的轮廓是非常清楚的,因为训练图像T是以相当高的剂量记录的。在制造方法的范围内,现在如利用向右的箭头所示的那样将训练图像T加噪成被加噪的训练图像Tv(右上方)。在制造方法的下一步骤中,现在将加噪的训练图像Tv去噪,从而得到去噪的训练图像Te(右下方),如以向下的箭头所示。现在,如以向左的箭头所示,进行对去噪的训练图像Te的适配,并且生成适配的训练图像Ta。在训练的范围内,现在将适配的训练图像Ta和原始的初始的训练图像T彼此比较。如果偏差仅是最小的,则实现训练的部分目标。如果偏差大,则再次执行整个过程。当然,利用许多不同的训练图像执行该训练,从而最终通过借助多个训练图像进行连续训练来实现算法的优化。
图5示出在优选的方法的范围内的输入图像E的变化。在左边看到输入图像E,该输入图像是CT记录并且具有明显的噪声。在中间看到去噪图像Ee,该去噪图像如通过箭头表示的那样在所述方法的范围内通过输入图像E的去噪而生成。在右边,在该适配图像Ea中可以清楚地看出结果图像Ea,轮廓更加明显,如在以明显更高的剂量记录的CT图像中那样。
最后再次指出,前面详细描述的方法以及所示的计算机断层扫描系统1仅是实施例,该实施例可以由本领域技术人员以不同的方式修改,而不脱离本发明的范围。此外,不定冠词“一种”或“一个”的使用不排除相关的特征也可以多个地存在。同样,概念“单元”和“模块”也不排除的是,相关的组件由多个共同作用的子组件组成,所述子组件必要时也可以是空间分布的。
Claims (15)
1.一种用于减少图像记录噪声的方法,包括步骤:
-提供输入图像(E),
-对所述输入图像(E)去噪,并且生成去噪的输入图像(Ee),
-借助适配方法适配所述去噪的输入图像(Ee)的像素的噪声纹理,其中基本上保持所述去噪的输入图像(Ee)的噪声幅度,并且适配所述去噪的输入图像(Ee)的所述像素的所述噪声纹理,使得所述噪声纹理基本上对应于预先确定的噪声纹理。
2.根据权利要求1所述的方法,其中利用基于适配函数A对所述去噪的输入图像(Ee)进行适配的算法来执行所述适配方法,其中优选地,基于度量M来选择和/或生成所述适配函数,所述度量对在利用适配函数A'适配的去噪的输入图像(Ee)与预先确定的噪声纹理之间的噪声纹理的差异进行量化。
3.根据前述权利要求中任一项所述的方法,其中利用自学习算法、尤其是深度学习算法、优选是卷积网络来执行所述适配方法,其中优选训练所述自学习算法,使得以高强度记录的多个训练图像(T)被人工加噪,这些加噪的训练图像(Tv)借助所述去噪方法被去噪,并且以从去噪的训练图像(Te)中重新建立原始的所述训练图像(T)为目标,训练所述自学习算法。
4.根据前述权利要求中任一项所述的方法,其中除了用于所述适配方法的图像数据外,使用除了所述图像数据外还存在的其它元信息,其中在处理输入图像(E)和/或训练图像(T)时使用所述元数据。
5.根据前述权利要求中任一项所述的方法,其中在适配去噪图像(Ee,Te)的像素的噪声纹理的范围内,从加噪图像(E,Tv)的超高斯噪声纹理中确定高斯噪声纹理,并且所述超高斯噪声纹理被高斯噪声纹理替换。
6.一种用于减少图像记录噪声的装置(6),尤其是利用根据前述权利要求中任一项所述的方法,所述装置包括:
-一个数据接口(7),被设计成提供输入图像(E),
-一个去噪单元(8),被设计成对所述输入图像(E)去噪并且生成去噪的输入图像(Ee),
-一个适配装置(9),被设计成借助适配方法适配所述去噪的输入图像(Ee)的像素的噪声纹理,其中基本上保持所述去噪的输入图像(Ee)的噪声幅度,并且适配所述去噪的输入图像(Ee)的所述像素的所述噪声纹理,使得所述噪声纹理基本上对应于预先确定的噪声纹理。
7.一种用于制造包括自学习算法的适配装置(9)的制造方法,所述自学习算法尤其用于在根据权利要求1至5中任一项所述的方法的范围内实施所述适配方法,所述制造方法包括根据以下步骤训练所述自学习算法:
-提供多个以预先确定的剂量记录的初始的训练图像(T),
-对所述训练图像(T)加噪,使得所得出的加噪的训练图像(Tv)在所述加噪的类型方面相应于应当通过根据权利要求1至5中任一项所述的方法按照规定处理的输入图像(E),
-优选地借助在根据权利要求1至5中任一项所述的方法中按照规定使用的去噪方法,对所述加噪的训练图像(Tv)进行去噪,并且创建去噪的训练图像(Te),
-以将所述去噪的训练图像(Te)在所述噪声的形式方面适配于初始的所述训练图像(T)为目标,训练所述自学习算法。
8.根据权利要求7所述的制造方法,其中在所述训练的范围内,借助适配函数A将所述加噪的训练图像(Tv)Iv适配于初始的所述训练图像(T)I0,并且选择度量M,所述度量表示A(Iv)和I0的噪声纹理的差异的量,并且通过重复改变训练适配函数A'并且计算所述度量M来配置所述适配函数A,使得对于多个初始的所述训练图像(T)I0最小化A'(Iv)和I0的所述噪声纹理的差异。
9.根据权利要求8所述的制造方法,其中通过根据公式A=argminA'M{A'(Iv),I0}适配所述训练适配函数A',得到所述适配函数A。
10.根据权利要求8或9所述的制造方法,其中所述度量M是与均方差相应的量,和/或所述度量M由决定保持局部平均值的部分和/或测量所述噪声纹理的相似性的部分组成,其中优选地,所述度量的选择取决于预先确定的解剖区域和/或诊断问题。
11.一种用于在根据权利要求1到5中任一项所述的方法的范围内实施所述适配方法的适配装置,所述适配装置包括自学习算法,所述自学习算法借助于根据权利要求7到10中任一项所述的制造方法来训练。
12.一种用于控制计算机断层扫描系统的控制设备,包括根据权利要求6所述的装置,和/或被设计用于执行根据权利要求1至5中任一项所述的方法,和/或被设计用于执行根据权利要求7至10中任一项所述的制造方法。
13.一种计算机断层扫描系统,包括根据权利要求12所述的控制设备。
14.一种具有计算机程序的计算机程序产品,所述计算机程序能够直接加载到计算机断层扫描系统(1)的控制设备(10)的存储设备中,所述计算机程序具有程序区段,以用于当在所述控制设备(10)中实施所述计算机程序时,实施根据权利要求1至5中任一项所述的方法的所有步骤和/或根据权利要求7至10中任一项所述的制造方法的所有步骤。
15.一种计算机可读介质,在所述计算机可读介质上存储有能够由计算机单元读取和实施的程序区段,以用于当所述程序区段由所述计算机单元实施时,实施根据权利要求1至6中任一项所述的方法的所有步骤和/或根据权利要求7至10中任一项所述的制造方法的所有步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019215460.3 | 2019-10-09 | ||
DE102019215460.3A DE102019215460A1 (de) | 2019-10-09 | 2019-10-09 | Verfahren und Vorrichtung zur Rauschreduktion von Bildaufnahmen |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112651885A true CN112651885A (zh) | 2021-04-13 |
Family
ID=75155454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011030659.3A Pending CN112651885A (zh) | 2019-10-09 | 2020-09-27 | 用于减少图像记录噪声的方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112651885A (zh) |
DE (1) | DE102019215460A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362259B (zh) * | 2021-07-13 | 2024-01-09 | 商汤集团有限公司 | 图像降噪处理方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016171624A1 (en) * | 2015-04-23 | 2016-10-27 | Infinity Optics Solutions Pte Ltd | Extended depth-of-field biometric system |
CN108564553A (zh) * | 2018-05-07 | 2018-09-21 | 南方医科大学 | 基于卷积神经网络的低剂量ct图像噪声抑制方法 |
CN109102550A (zh) * | 2018-06-08 | 2018-12-28 | 东南大学 | 基于卷积残差网络的全网络低剂量ct成像方法及装置 |
CN109493951A (zh) * | 2017-11-08 | 2019-03-19 | 上海联影医疗科技有限公司 | 用于降低辐射剂量的系统和方法 |
US20190104940A1 (en) * | 2017-10-06 | 2019-04-11 | Toshiba Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning for computed tomography (ct) image noise and artifacts reduction |
CN109978778A (zh) * | 2019-03-06 | 2019-07-05 | 浙江工业大学 | 基于残差学习的卷积神经网络医学ct图像去噪方法 |
-
2019
- 2019-10-09 DE DE102019215460.3A patent/DE102019215460A1/de not_active Ceased
-
2020
- 2020-09-27 CN CN202011030659.3A patent/CN112651885A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016171624A1 (en) * | 2015-04-23 | 2016-10-27 | Infinity Optics Solutions Pte Ltd | Extended depth-of-field biometric system |
US20190104940A1 (en) * | 2017-10-06 | 2019-04-11 | Toshiba Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning for computed tomography (ct) image noise and artifacts reduction |
CN109493951A (zh) * | 2017-11-08 | 2019-03-19 | 上海联影医疗科技有限公司 | 用于降低辐射剂量的系统和方法 |
CN108564553A (zh) * | 2018-05-07 | 2018-09-21 | 南方医科大学 | 基于卷积神经网络的低剂量ct图像噪声抑制方法 |
CN109102550A (zh) * | 2018-06-08 | 2018-12-28 | 东南大学 | 基于卷积残差网络的全网络低剂量ct成像方法及装置 |
CN109978778A (zh) * | 2019-03-06 | 2019-07-05 | 浙江工业大学 | 基于残差学习的卷积神经网络医学ct图像去噪方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210110517A1 (en) | 2021-04-15 |
DE102019215460A1 (de) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10387765B2 (en) | Image correction using a deep generative machine-learning model | |
CN110998602B (zh) | 使用深度学习方法对3d牙颌面结构的分类和3d建模 | |
Hatvani et al. | Deep learning-based super-resolution applied to dental computed tomography | |
US20230389885A1 (en) | Image quality compliance tool | |
US20190147588A1 (en) | Artifact identification and/or correction for medical imaging | |
JP7194143B2 (ja) | 肝臓腫瘍例のレビューを容易にするシステムおよび方法 | |
US11494957B2 (en) | Automated correction of metal affected voxel representations of x-ray data using deep learning techniques | |
CN111540025B (zh) | 预测用于图像处理的图像 | |
EP3324846B1 (en) | Computed tomography visualization adjustment | |
US10726948B2 (en) | Medical imaging device- and display-invariant segmentation and measurement | |
GB2590519A (en) | Composition-guided post processing for X-ray images | |
CN107533755A (zh) | 用于改进医学图像质量的设备和方法 | |
CN112651885A (zh) | 用于减少图像记录噪声的方法和装置 | |
CN115397332A (zh) | 用于实时视频增强的系统和方法 | |
WO2022045210A1 (ja) | 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム | |
CN114387380A (zh) | 用于生成3d医学图像数据的基于计算机的可视化的方法 | |
JP6878679B2 (ja) | デジタルx線画像における低情報コンテンツを有する領域の検出 | |
US20240104802A1 (en) | Medical image processing method and apparatus and medical device | |
Sayin et al. | Optimization of CBCT data with image processing methods and production with fused deposition modeling 3D printing | |
Abdallah et al. | Application of analysis approach in Noise Estimation in Panoramic X-rays images using image processing program (MatLab) | |
Bakaev et al. | Feasibility of Spine Segmentation in ML-Based Recognition of Vertebrae in X-Ray Images | |
CN110473606A (zh) | 一种ct/mr图像的预览帧筛选方法 | |
Dreyer et al. | Digital imaging fundamentals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |