CN105593899B - 用于在图像序列中的噪声降低的方法 - Google Patents
用于在图像序列中的噪声降低的方法 Download PDFInfo
- Publication number
- CN105593899B CN105593899B CN201480054601.9A CN201480054601A CN105593899B CN 105593899 B CN105593899 B CN 105593899B CN 201480054601 A CN201480054601 A CN 201480054601A CN 105593899 B CN105593899 B CN 105593899B
- Authority
- CN
- China
- Prior art keywords
- frame
- interested
- image
- slicing
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims abstract description 13
- 230000007423 decrease Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000005855 radiation Effects 0.000 claims description 2
- 238000002601 radiography Methods 0.000 abstract description 4
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000002594 fluoroscopy Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种用于在动态数字放射线照相术中处理连续采集的帧的序列中的帧的方法，其中帧的多尺度表示通过把至少一个校正图像增加到在感兴趣帧的多尺度表示中的（一个或多个）对应的细节图像而经受时间的滤波，所述校正图像通过组合作为在感兴趣帧的多尺度表示与在所述序列中的其他帧的选择的多尺度表示之间的差值而得到的削波的差值图像而被计算。
Description
技术领域
本发明涉及用于在图像的序列中的噪声降低的方法。
背景技术
在动态数字放射线照相术中，实时产生对象的图像序列。在采集期间，多个连续的数字图像或帧（帧图像）被取得。连续的图像例如依靠数字放射线照相术探测器被记录。
本发明集中于其中运动或立即反馈是至关紧要的应用，例如在对比研究中的时间演化或用来指导或检验手术动作的介入荧光检查。
与静态x射线图像相比，每个图像或帧的剂量对于荧光检查的图像序列能够是非常低的。
结果，在单个帧中的噪声内容与静态图像相比高得多。因此，噪声降低在荧光检查的图像序列的可视化增强的过程中是主要的考虑。
通常，时空滤波技术用于通过利用在连续帧之间的强烈的相关性来降低噪声。
最先进的算法使用运动估计来平衡空间的和时间的噪声滤波的强度。在静态图像区中，时间的噪声滤波比空间的滤波更好得多地保持图像细节。然而，时间的滤波在强烈移动场景中能够产生称为运动模糊的赝象。最先进的噪声降低算法试图通过当在帧上探测到运动时降低时间的滤波的强度而有利于空间的滤波来避免运动模糊。
由于高噪声内容，在荧光检查的图像序列中的运动的探测是非常困难的。运动补偿的时空滤波经常无法精确地探测运动，因为高噪声内容使用于控制滤波器的图像梯度恶化。
几乎所有的最先进的噪声降低滤波器被实施为多尺度滤波器：这些滤波器被应用到帧的小波或拉普拉斯金字塔表示。修改多尺度分解允许高频噪声信号的更多的滤波，同时保持在图像中的中频和低频构造信号。
提供不需要运动估计的多尺度时间的噪声降低方法是本发明的方面。
发明内容
通过具有在权利要求1中阐述的特定特征的方法来实现以上提到的方面。本发明的优选实施例的特定特征在从属权利要求中被阐述。
本发明可适用但不限于在荧光检查医学成像中得到的帧的序列。一般而言，它能够应用于通过各种类型的动态数字放射线成像（例如，动态数字放射线照相术）得到的图像。
帧能够通过用诸如应用在动态模式中的固态图像探测器的放射线传感器来记录图像而得到。
本发明的方法一般以当在计算机上运行时适于完成本发明的方法步骤的计算机程序产品的形式被实施。计算机程序产品常见地被储存在诸如DVD的计算机可读载体介质中。替选地，计算机程序产品采取电信号的形式并且能够通过电子通信被传送到用户。
本发明的进一步优点和实施例将从下面的描述和绘图变得显而易见。
附图说明
图1示意性地示出本发明的不同的步骤。
具体实施方式
提出的方法是不需要运动估计的多尺度时间的噪声降低技术。
本发明适用于所有众所周知的多尺度分解方法。
图像的多尺度（或多分辨率，由此分辨率指代空间的分辨率）分解是在图像的灰度值表示的多个尺度上计算细节图像的过程。
多尺度分解机制一般包含把滤波器组应用到图像的灰度值表示用于计算细节图像。众所周知的技术例如是：拉普拉斯金字塔、伯特（Burt）金字塔、拉普拉斯堆栈、小波分解、QMF滤波器组等。
细节图像的像素表示在细节图像的尺度上原始图像的像素值的变化量，由此尺度指代这些变化的空间的幅度（spatial extent）。
多尺度分解技术的示例被详尽地描述在欧洲专利申请527 525 A2中。
在帧的序列中的感兴趣帧的多尺度噪声降低通过校正感兴趣帧的多尺度表示的至少一个细节图像来获得。
通过经由增加至少一个校正图像到所述感兴趣帧的多尺度表示中的（一个或多个）对应（在相同尺度上）细节图像使得所述感兴趣帧的多尺度表示经受时间的滤波来执行校正，（一个或多个）所述校正图像通过组合作为在感兴趣帧的多尺度表示与在所述序列中的其他帧的选择的多尺度表示之间的差值得到的削波（clipped）的差值图像来计算。
代替以上描述的加法，也能够执行乘法。然而这是更复杂的操作。
根据本发明，仅仅高达预定义尺度smax的多尺度表示中的小的细节图像被修改。smax的最佳值需要根据使用的像素分辨率和噪声特性而被选择。例如，如果在探测器中的像素的装仓（binning）被激活，则smax将被降低。
在高于smax的尺度上的大的细节图像将不被修改。
例如，如果在探测器中的像素的装仓被激活，则smax将被降低。
在连续帧Ft-k、…、Ft-2、Ft-1、Ft、Ft+1、Ft+2,…、Ft+k的图像序列中，感兴趣帧Ft的噪声降低能够通过利用有限数量的先前帧Ft-k,…、Ft-2、Ft-1（即，在采集的图像序列中的感兴趣帧之前，紧接着之前或者仍然更早的帧）来获得。这允许以有限延迟实时处理图像序列。
能够通过利用在序列中的许多后来的帧和许多先前帧两者Ft-1、Ft+1、Ft-2、Ft+2、…来获得稍微更好的结果，因为在序列中的这些最靠近的帧将与感兴趣帧Ft更相似（t表示采集的相对时间）。然而，利用连续帧Ft+1、Ft+2、…将引入更大的延迟，这在实时应用中不是最佳的。
此后，解释实施例，由此仅仅先前帧被用于时间的滤波。
在时间的滤波中包含的先前帧（在感兴趣帧之前）的数量需要根据在感兴趣帧中的噪声特性以及期望的噪声降低的量而被选择。
例如，局部标准偏差值（滑动窗口）是对感兴趣帧中的尺度0上的像素计算的，这些值的频率柱状图被产生并且这个柱状图的最大仓（bin）用于确定Smax。
提出的方法逐对地比较每个个别的先前帧Ft-k的多尺度表示与感兴趣帧Ft的多尺度表示。
对于高达尺度smax的每个尺度s，通过从细节图像ds,t-k的像素值减去细节图像ds,t的像素值来计算差值图像diffs,t-k。
在每个包含的先前帧Ft-k、…、Ft-2、Ft-1的多尺度表示与感兴趣帧Ft的多尺度表示之间计算这些差值图像。
差值图像diffs,t-k、…、diffs,t-2、diffs,t-1含有由于噪声的差值而且含有由于场景运动的差值。
为了避免运动赝象或运动模糊，由于场景运动的差值需要在差值图像中被降低。
因为由于噪声的像素差值比由场景运动导致的像素差值具有更小的幅值，所以削波是用来校正由于场景运动的像素差值的高效方式。每尺度预定义的削波界限能够被使用。
更自适应的途径是以在感兴趣帧Ft中的计算的噪声等级ns0的函数来定义削波界限。
削波界限能够被定义为和。
乘法因子fn是用来考虑到在不同细节尺度上噪声振幅的下降的尺度相关的归一化因子。
乘法因子w能够被分配给预定义的值或者能够是图像质量测量（例如，信噪比）的反函数。
对于带有高SNR的图像，噪声内容将是低的并且没有或者少许校正被需要。对于带有低SNR的图像，噪声内容将是高的并且削波界限必须足够大以获得充分的噪声降低。
从削波的差值图像计算校正图像corrs。这些校正图像被增加到感兴趣帧的多尺度表示的对应的细节图像（具有对应像素（即，带有在帧中的相同位置的像素）的值的校正图像被增加）。
校正图像能够被计算作为差值图像的平均：
而且，加权求平均是可能的，其中对于正被使用的更老的帧的权重下降。
感兴趣帧的校正的多尺度表示能够被进一步地用于可视化增强处理或者能够被重建为噪声降低的输出帧。
具体描述了当前发明的优选的实施例，对于本领域中的技术人员现将显然的是在不脱离如在所附权利要求中限定的本发明的范围的情况下能够在其中进行众多修改。这样的修改的示例是把附加的空间滤波步骤应用到个别的差值图像以去除线性结构（源自运动赝象）。
Claims (10)
1.一种用于在数字放射线成像中处理在连续采集的帧的序列中的感兴趣帧的方法，包括以下步骤：
-产生采集的帧的多尺度表示，所述多尺度表示包括在不同尺度上的细节图像，
-通过增加至少一个校正图像到所述感兴趣帧的多尺度表示中的一个或多个对应细节图像，使所述感兴趣帧的多尺度表示经受时间的滤波，所述校正图像被计算作为削波的差值图像的平均或加权平均，所述削波的差值图像作为在感兴趣帧的多尺度表示与在所述序列中的其他帧的选择的多尺度表示之间的差值来得到，其中对于加权平均，针对正被使用的更老的帧的权重下降。
2.根据权利要求1所述的方法，其中所述其他帧是在所述序列中的在将被处理的图像之前的预定义数量的图像帧。
3.根据权利要求2所述的方法，其中在所述感兴趣帧之前的所述其他帧是在所述序列中的连续帧。
4.根据权利要求1所述的方法，其中所述其他帧是在所述感兴趣帧之前的预定义数量的帧以及在所述感兴趣帧之后的预定义数量的帧。
5.根据权利要求2所述的方法，其中帧的所述预定义数量是在所述感兴趣帧中的噪声特性和/或期望的噪声降低的量的函数。
6.根据权利要求4所述的方法，其中帧的所述预定义数量是在所述感兴趣帧中的噪声特性和/或期望的噪声降低的量的函数。
7.根据权利要求1所述的方法，其中所述削波的差值图像通过用每尺度定义的削波界限来对差值图像进行削波而得到。
8.根据权利要求1所述的方法，其中所述削波的差值图像通过用取决于在所述感兴趣帧中计算的噪声等级的值的削波界限来对差值图像进行削波而得到。
9.根据权利要求1所述的方法，其中所述时间的滤波仅被应用到高达预定义尺度smax的细节图像。
10.一种计算机可读介质，包括适于完成权利要求1的步骤的计算机可执行程序代码。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP13186855.6 | 2013-10-01 | ||
| EP13186855 | 2013-10-01 | ||
| PCT/EP2014/069600 WO2015049103A1 (en) | 2013-10-01 | 2014-09-15 | Method for noise reduction in an image sequence |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105593899A CN105593899A (zh) | 2016-05-18 |
| CN105593899B true CN105593899B (zh) | 2019-02-26 |
Family
ID=49485478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480054601.9A Expired - Fee Related CN105593899B (zh) | 2013-10-01 | 2014-09-15 | 用于在图像序列中的噪声降低的方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10068319B2 (zh) |
| EP (1) | EP3053134B1 (zh) |
| CN (1) | CN105593899B (zh) |
| BR (1) | BR112016007072A2 (zh) |
| WO (1) | WO2015049103A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6381198B2 (ja) * | 2013-11-08 | 2018-08-29 | キヤノン株式会社 | 制御装置、制御方法及びプログラム |
| US11132769B2 (en) * | 2016-03-23 | 2021-09-28 | Koninklijke Philips N.V. | Image quality by two pass temporal noise reduction |
| WO2022265875A1 (en) * | 2021-06-18 | 2022-12-22 | Subtle Medical, Inc. | Systems and methods for real-time video denoising |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1860500A (zh) * | 2003-09-22 | 2006-11-08 | 皇家飞利浦电子股份有限公司 | 利用时间滤波器来增强医学图像 |
| CN101821775A (zh) * | 2007-07-20 | 2010-09-01 | 爱克发医疗保健公司 | 用于生成多尺度的对比度增强的图像的方法 |
| CN102428478A (zh) * | 2009-04-17 | 2012-04-25 | 里弗兰医疗集团公司 | 多尺度图像归一化和增强 |
| CN103177423A (zh) * | 2011-10-07 | 2013-06-26 | 伊姆普斯封闭式股份有限公司 | 对数字x射线帧系列降噪的方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4504908A (en) * | 1982-03-15 | 1985-03-12 | General Electric Company | Matched filter for X-ray temporal subtraction |
| US6766064B1 (en) * | 2000-03-10 | 2004-07-20 | General Electric Company | Method and apparatus for performing a contrast based dynamic range management algorithm |
| US7050501B2 (en) * | 2002-07-16 | 2006-05-23 | Broadcom Corporation | Digital noise reduction techniques |
| US7639741B1 (en) * | 2002-12-06 | 2009-12-29 | Altera Corporation | Temporal filtering using object motion estimation |
| CN1910590A (zh) | 2004-01-15 | 2007-02-07 | 皇家飞利浦电子股份有限公司 | 图像中的自动造影剂控制 |
| US7551232B2 (en) * | 2005-11-14 | 2009-06-23 | Lsi Corporation | Noise adaptive 3D composite noise reduction |
| US9105081B2 (en) * | 2008-09-08 | 2015-08-11 | Ati Technologies Ulc | Protection filter for image and video processing |
| CN103503024B (zh) * | 2011-04-14 | 2016-10-05 | 皇家飞利浦有限公司 | 用于从特征信号提取信息的设备和方法 |
| CN106663318B (zh) * | 2014-07-25 | 2021-03-16 | 柯惠Lp公司 | 增强手术现实环境 |
-
2014
- 2014-09-15 EP EP14766467.6A patent/EP3053134B1/en active Active
- 2014-09-15 BR BR112016007072A patent/BR112016007072A2/pt not_active Application Discontinuation
- 2014-09-15 WO PCT/EP2014/069600 patent/WO2015049103A1/en active Application Filing
- 2014-09-15 US US15/021,961 patent/US10068319B2/en active Active
- 2014-09-15 CN CN201480054601.9A patent/CN105593899B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1860500A (zh) * | 2003-09-22 | 2006-11-08 | 皇家飞利浦电子股份有限公司 | 利用时间滤波器来增强医学图像 |
| CN101821775A (zh) * | 2007-07-20 | 2010-09-01 | 爱克发医疗保健公司 | 用于生成多尺度的对比度增强的图像的方法 |
| CN102428478A (zh) * | 2009-04-17 | 2012-04-25 | 里弗兰医疗集团公司 | 多尺度图像归一化和增强 |
| CN103177423A (zh) * | 2011-10-07 | 2013-06-26 | 伊姆普斯封闭式股份有限公司 | 对数字x射线帧系列降噪的方法 |
Non-Patent Citations (3)
| Title |
|---|
| Real-Time Denoising of Medical X-Ray Image Sequences: Three Entirely Different Approaches;Marc Hensel等;《LECTURE NOTES IN COMPUTER SCIENCE》;20060101;第4142卷;全文 |
| Spatiotemporal Multiscale Vessel Enhancement for Coronary Angiograms;Til Aach等;《PROGRESS IN BIOMEDICAL OPTICS AND IMAGING SPIE-INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING,BELLINGHAM,WA,US》;20020128;第4684卷;全文 |
| 基于偏微分方程的保持纹理细节的医学图像去噪方法;陈冠楠等;《激光生物学报》;20091031;第18卷(第5期);全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10068319B2 (en) | 2018-09-04 |
| EP3053134B1 (en) | 2019-01-02 |
| US20160232648A1 (en) | 2016-08-11 |
| EP3053134A1 (en) | 2016-08-10 |
| WO2015049103A1 (en) | 2015-04-09 |
| BR112016007072A2 (pt) | 2017-08-01 |
| CN105593899A (zh) | 2016-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Choi et al. | Despeckling images using a preprocessing filter and discrete wavelet transform-based noise reduction techniques | |
| JP4854546B2 (ja) | 画像処理装置及び画像処理方法 | |
| RU2480821C2 (ru) | Устройство обработки информации, способ обработки и считываемый компьютером носитель информации | |
| US7317841B2 (en) | System and method for image noise reduction using a minimal error spatiotemporal recursive filter | |
| EP2836963B1 (en) | Noise reduction for image sequences | |
| US10672108B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| EP3435326B1 (en) | Method for processing at least one x-ray image | |
| US20140056536A1 (en) | Method and system for substantially removing dot noise | |
| KR20130038794A (ko) | 디지털 엑스레이 프레임들 시리즈에서의 잡음 감소의 방법 | |
| US20120321157A1 (en) | Method and system for estimating noise level | |
| US9922409B2 (en) | Edge emphasis in processing images based on radiation images | |
| JP2013048782A (ja) | 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体 | |
| JP6041502B2 (ja) | 画像処理装置および制御方法 | |
| CN105593899B (zh) | 用于在图像序列中的噪声降低的方法 | |
| EP3072104B1 (en) | Image de-noising method | |
| WO2014050045A1 (ja) | 体動検出装置および方法 | |
| Amiot et al. | Spatio-temporal multiscale denoising of fluoroscopic sequence | |
| JP6253633B2 (ja) | 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体 | |
| JP2013201724A (ja) | 画像処理装置及び画像処理方法 | |
| US20230077520A1 (en) | X-ray imaging system | |
| US7583830B2 (en) | Method for correcting image artifacts due to detector overexposure in computed tomography | |
| Tuyet et al. | Reducing impurities in medical images based on curvelet domain | |
| Amiot et al. | Fluorosocopic sequence denoising using a motion compensated multi-scale temporal filtering | |
| JP6250988B2 (ja) | 画像処理方法および装置 | |
| Al-Zuky et al. | Hit noise reduction in some x-ray images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190430 Address after: Belgian Mo Patentee after: Agfa Co.,Ltd. Address before: Belgian Mo Patentee before: AGFA HEALTHCARE |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190226 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |