CN109155059A - 通过双通道时域降噪的改善的图像质量 - Google Patents

通过双通道时域降噪的改善的图像质量 Download PDF

Info

Publication number
CN109155059A
CN109155059A CN201780025271.4A CN201780025271A CN109155059A CN 109155059 A CN109155059 A CN 109155059A CN 201780025271 A CN201780025271 A CN 201780025271A CN 109155059 A CN109155059 A CN 109155059A
Authority
CN
China
Prior art keywords
frame
noise
sequence
processed
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780025271.4A
Other languages
English (en)
Other versions
CN109155059B (zh
Inventor
B·凯策斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN109155059A publication Critical patent/CN109155059A/zh
Application granted granted Critical
Publication of CN109155059B publication Critical patent/CN109155059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

图像处理器(IP)和相关的方法。所述处理器(IP)包括用于接收由成像装置(IA)采集的帧的输入序列(F)的输入接口(IN)。所述处理器(IP)的时域噪声滤波器(NP)被配置为将所述输入序列双向地处理成至少两个经噪声处理的序列(FLR、FRL)。所述处理器(IP)的融合器(SUM)被配置为将所述至少两个经噪声处理的序列融合成输出序列(公式(A))。

Description

通过双通道时域降噪的改善的图像质量
技术领域
本发明涉及图像处理器、图像处理方法、图像处理系统、计算机程序单元,以及计算机可读介质。
背景技术
在医学成像中,图像质量对于保护例如诊断或介入流程是重要的。针对图像质量的一个重要指标是采集的影像中的噪声水平。一种用于降低噪声水平的方法是使用递归降噪滤波器。然而,已经观察到,由这种滤波器处理的图像序列中的图像噪声跨序列分布不均匀。
发明内容
因此,需要用于改善图像质量的成像处理方法和相关系统。
本发明的目的通过独立权利要求的主题得以解决,其中,进一步的实施例被并入从属权利要求。应当注意,本发明的以下描述的方面同样适用于图像处理方法、图像处理系统、计算机程序单元,以及计算机可读介质。
根据本发明的第一方面,提供了一种图像处理器,包括:
输入接口,其用于接收由成像装置采集的帧的输入序列;
至少一个时域噪声滤波器,其被配置为将所述输入序列双向地处理成至少两个经噪声处理的序列;以及
融合器,其被配置为将所述至少两个经噪声处理的序列融合成输出序列。
根据一个方面,所述双向时域噪声处理是递归的。
通过使输入序列在一个方向上(例如从输入序列的第一帧向最终帧)前进以获得第一经噪声处理的序列并且然后使噪声处理在相反方向上运行通过输入序列(或其副本)以获得第二经噪声处理的序列,输入帧被双向地或以“双通道”方式被处理。对通过双向处理获得的两个序列进行融合允许在经噪声处理的序列中的一个经噪声处理的序列中存在交叉利用的噪声信息,以补偿另一个经图像处理的序列中对这种信息的缺失。噪声信息的缺失可能与噪声滤波器的递归性质有关。能够以这种方式来实现经融合的序列中的总体降噪。更具体地,并且在一个实施例中,所提出的图像处理器允许实现至少遍及输出序列的初始区段或终端区段是基本上恒定的噪声(功率)水平。
根据一个方面,所述融合器被配置为用来自所述至少两个经噪声处理的序列中的一个经噪声处理的序列的至少一个帧来代替来自所述至少两个经噪声处理的序列中的另一个经噪声处理的序列的初始区段的对应帧。代替操作要被广义地解释为不仅包括对第一经噪声处理的序列或第二经噪声处理的序列中的一个经噪声处理的序列的修改,而且还包括将来自两个经噪声处理的序列中的至少一个经噪声处理的序列复制成第三序列,其中未发生对第一经噪声处理的帧或第二经噪声处理的帧中的一个经噪声处理的帧的修改。
根据一个方面,所述融合器被配置为对来自所述至少两个经噪声处理的序列的帧求平均。具体地,使用加权平均方案。在一个实施例中,所述平均被配置为考虑被成像目标在输入序列的采集期间的运动。
根据另一方面,提供了一种图像处理方法,包括:
接收由成像装置采集的帧的输入序列;
将双向时域噪声处理应用于所述输入序列以产生至少两个经噪声处理的序列;并且
将所述至少两个经噪声处理的序列融合成输出序列。
根据一个实施例,所述双向时域噪声处理是递归的。
根据一个实施例,所述融合包括用来自所述至少两个经噪声处理的序列中的一个经噪声处理的序列的至少一个帧来代替来自所述至少两个经噪声处理的序列中的另一个经噪声处理的序列的初始区段的对应帧。
根据一个实施例,所述融合包括对来自所述至少两个经噪声处理的序列的帧求平均。
根据一个实施例,噪声功率水平至少遍及所述输出序列的初始区段或终端区段是基本上恒定的。
所述输入帧是以下中的任一种:i)X射线帧,ii)超声帧,以及iii)磁共振帧。在一个实施例中,所述输入序列的所述采集的帧对移动目标进行编码。
根据另一方面,提供了一种图像处理系统,包括:
根据上述实施例中的任一个所述的图像处理器;
所述成像装置,其供应帧的所述输入序列。
根据另一方面,提供了一种计算机程序单元,其在正被处理单元运行时适于执行上述方面中的任一个的方法。
根据另一方面,提供了一种计算机可读介质,其具有存储在其上的如上所述的程序单元。
附图说明
现在将参考以下附图来描述本发明的示范性实施例,其中:
图1示出了包括图像处理器的成像装置的示意性框图;
图2示出了图1中的图像处理器的框图;
图3示出了针对图像序列的噪声水平分布;
图4示出了本文中获得的示范性影像;
图5示出了图像处理方法的流程图;并且
图6示出了融合图像序列的不同实施例。
具体实施方式
参考图1,示出了图像处理系统IPS。图像处理系统IPS包括供应图像流(亦即,序列)成像模态或成像装置(在本文中被称为“成像器IA”)。序列中的图像在本文中也被称为“帧”。
图像序列F由图像处理器IP处理以降低输入序列F的帧中的噪声。在一个实施例中,成像器AI是在荧光成像流程中用于为介入提供图像引导的支持的X射线成像器。这种X射线成像器IA的示范性应用是其中将导管引入到患者中的心脏成像。
当成像器IA采集图像序列F时,要被成像的感兴趣目标或区域(例如,心脏)例如可能正在移动或者可能正在变形,图像序列F因此对目标的运动进行编码。
本文中设想了许多不同的模态。例如,成像器IA可以是CT成像器而不是本文中优选考虑的介入C型臂X射线成像器。在另一实施例中,成像器IA是超声成像器或磁共振成像器。
取决于所使用的成像模态,成像器IA的检测器设备检测被模数电路转换成数字的图像信号(其在本文中被称为图像或像素或体素值)。取决于所采集的影像是2D的还是3D的(在本文中设想到任何一种),这些图像值分别以2D阵列或3D阵列的方式进行布置。尽管在下文中我们将主要参考2D影像,但这不会将以下描述限制为也是在本文中具体设想的3D影像。而且,只要涉及CT背景,以下描述的系统和方法就能够被应用在投影域或成像域中。
在时刻t采集的个体帧将会被称为It,并且It(x,y)指代该帧中在位置x,y处的像素,其中,图像坐标x,y指示2D阵列中的列和行。本领域技术人员将意识到这些注释和术语能够被容易地扩展到3D成像。
输入序列F中的帧It优选是以固定或可变帧率fps在运行的成像中采集的。在荧光设置中并且假定每秒大约5至15(例如,7.5)帧的帧率,输入序列F一般包括几十或几百的量级的帧。尽管在显示设备(例如,监视器MT)能够查看到作为静止图像的每个帧,但是在本文中优选考虑的是视频或电影序列中的可视化。这通过使用视频控制器(未示出)来实现,所述视频控制器以接连不断的方式一次一个地影响帧It的显示设备MT上的显示,从而给予查看者电影的印象。以此方式能够研究移动目标的动态。原则上,所采集的序列能够被“实况”显示在监视器MT上,亦即,当采集图像帧It时实时实现显示。然而,在本文中主要设想的是以回顾模式显示影像。在这种模式下,在采集期间并不直接显示帧It(尽管这仍然能够完成),而是优选首先将帧It捕获在图1中以框图方式示意性指示为DB的缓冲器或其他存储器(例如,数据库(例如,医院信息系统(HIS)或其他系统的RIS或PACS(图像存档)))中。
具体地,在回顾模式下,并不是在捕获It时绘制所捕获的It以供显示,而是仅在已经采集的帧完全运行之后显示所捕获的It。换言之,首先采集完整的输入序列,存储完整的输入序列,然后由图像处理器IP处理完整的输入序列,如在下面更详细地解释的。在介入期间(例如在上面提到的心脏应用中),通常在当场运行的成像之后立即调用回顾模式,因此在这种情况下所捕获的图像被存储在本地,优选被存储在可快速存取的本地存储器缓冲器中,然后在位于成像器IA处的监视器MT上以回顾模式被绘制成视频序列。如果有的话,随后在例如流程的结束处发生PACS或其他中央服务器中的永久存储。
作为一般部件,图像处理器IP包括接收输入序列F的帧的输入端口IN。降噪处理器NP(或“噪声滤波器”,在本文中将可互换地使用这两者)然后处理输入序列F,并且作为中间结果,产生与输入帧F的长度相等的长度的中间图像序列FL和FR。针对两个中间序列的注释“FLR”、“FRL”将会立即变得明显,其中,“L”指示“左”而“R”指示“右”。这两个中间经噪声处理的图像序列FLR和FRL然后被融合器SUM融合成输出序列在输出端口OUT处输出所述输出序列
经如此处理的或增强的降噪的输出序列具有比输入序列F更少的噪声,并且/或者示出更少的由感兴趣目标的运动导致的图像伪影。降噪的和/或运动伪影减少的输出图像能够被存储在相同或不同的存储器DB中,并且能够被绘制以作为静止影像或优选作为视频序列进行显示,或者以其他方式得到进一步的图像处理。在输入端口IN处接收的输入序列F可以不必一块接收,而且也能够被逐帧地被供应给图像处理器的输入端口。
图像处理器IP能够完全在与成像器IA相关联的工作站或其他通用计算设备PU上运行。作为对此的备选方案,还设想到分布式计算架构中的实施方式,其中,处理器IP服务多个成像器IA。作为另外的变型,图像处理器IP可以被实施为能通过手持式设备(例如,便携式电脑、平板电脑、(“智能”)手机等)或在手持式设备(例如,便携式电脑、平板电脑、(“智能”)手机等)上下载和/或运行的移动图像回顾软件模块(“移动应用程序”)。手持式设备能够操作用于连接到图像存储服务器DB,下载要被回顾的图像序列,并且能在手持式设备自己的屏幕上观察经处理的输出序列处理器IP的一些或所有部件可以被布置在硬件中(例如被布置在经适当编程的FPGA(现场可编程门阵列)中)或为硬接线的IC芯片。
现在详细参考降噪处理器NP,其具体被设想为时域降噪处理器。在此背景下“时域”意指跨帧的序列(在时间上,因此为“时域”)处理帧中的像素,而不一定在每个帧内空间地处理帧的序列,但是设想到时域滤波与空间滤波一起完成的实施例。如在图2的框图中示出的并且如本文在优选实施例中具体设想的,降噪处理器NP是递归类型的。更具体地并且根据一个实施例,噪声处理器是基于按照以下公式求平均的经加权的帧:
优选地但不是一定的,权重被归一化(W1+W2=1)。经噪声处理的或“增强的帧”由符号来指代,而原始帧由I来指代。如本文中主要设想的“递归滤波”意味着时间t时已经增强的帧重新用于(即从存储器FM检索时间t时已经增强的帧以)计算下标t+Δt时的下一个增强的帧。
在一个具体实施例中,使用以下降噪算法:
继续参考图2,依照(1a)的时域噪声处理器不仅本质上是递归的,而且它还是“自适应的”,因为它包括通过权重ATR实施的运动补偿分量。权重ATR(也被称为K因子)是在图像像素差异上定义的函数,并且该函数的确切性质和轮廓可以因不同应用而不同。具体地,该函数取决于目标在采集期间的移动量。具体地,(归一化的)权重ATR是与It+Δt之间的像素坐标(x,y)处的像素值(例如,灰度值或颜色值等)的差异的函数。这种差异越大,被假设为已经在Δt期间发生的运动量越大,并且K因子越小(例如为0.1)。这允许局部地补偿运动。换言之,新的增强的帧 几乎等于新进来的帧It+Δt(x,y),并且依照公式(1a)来减小要执行的求平均的量。相反,像素差异越小(其被认为指示没有发生运动或仅发生少量运动),K因子越大(例如为0.9),并且在最终结果中对先前的增强的帧加权的程度非常大。在这种情况下,实现了相当大的降噪。为了将像素差异分类为小或大,对图像中的噪声水平进行估计。这能够通过使用统计学测度来完成。例如,在相应像素周围的合适小的邻域中计算逐点统计方差或标准偏差或高阶矩,然后将实际差异与所述统计学测度进行比较。然后可以针对1折或2折标准偏差将实际像素差异分类为“小”或“大”。分类优选被配置为区分图像中(定量)噪声与图像中因图像内容变化造成的强度变化。
回来参考公式(1)、(1a),应当理解,可以替代地使用其他加权平均方案,不一定与运动补偿有关。权重也可以是固定的,或者可以取决于其他像素差异。
在(1)、(1a)中,我们使用非负整数t=1,2,...,T来指代序列中的每个帧的下标,但是这仅出于使概念简单的目的,因为在技术实施方式中也可以使用其他合适的下标,例如,指示当相应帧被成像器采集时的精确时间的时间戳。其他合适的标引包括序号等。能够替代地使用明确指示帧与已经采集了帧的时域序列之间的时域关系的任何其他标引方案。在本文中,我们的注释因此不失一般性,因为任何这样的合适的标引方案都能够被映射到非负整数1,...,T中的一段,其中,“1”是第一帧的下标,而T是最后一帧的下标,并且因此T是所运行的成像的总长度(亦即,T是输入序列F中的帧的数量)。
如本文中设想到的,时域噪声滤波器NP以双向方式处理输入序列F。换言之,在一个步骤中,时域噪声滤波器NP以递归方式从第一帧朝向最终帧前进通过输入序列。这产生了从左向右的中间序列FLR。除了这种处理步骤以外,降噪处理器NP还在相反方向上处理输入序列,亦即,降噪处理器NP从最后一帧朝向第一帧前进通过序列F,因此产生从右向左的中间序列FRL。产生两个帧FLR和FRL的顺序并不重要。中间结果FLR、FRL中的每个独立地构成相应的单通道噪声滤波,但是被一起考虑时,它们形成所提出的噪声处理器或滤波器NP的双通道输出。
双向处理或双通道处理(其中,在一个通道中处理输入序列,然后在相反方向上再次处理该输入序列)允许利用递归滤波来解决当前一个通道滤波方案所遭受的问题,并且现在将更详细地解释双向处理或双通道处理:当检查依照公式(1)、(1a)(和/或图2)的递归噪声处理器NP的功能架构时,能够看出,针对输入序列F中的位置t+Δt,噪声处理器NP的输出是以下项的函数:i)F中的当前帧It+Δt(x,y),以及ii)已经针对较早的位置t处理的帧递归噪声处理器NP因此能够被认为具有“长度1”的递归性“后向操作窗口”wbw(在本文中被指代为wbw=1)。亦即,为了对给定位置t+Δt处的当前帧进行滤波,滤波器NP需要检索根据序列中的较早帧t计算出的一个较早处理的帧。换言之,利用长度为1的操作窗口(wbw=1)的递归处理需要至少一幅较早处理的图像作为输入,以便处理输入序列中的给定的以后的帧。这能够被容易地推广为利用大于1(例如,2、3等)的长度的后向操作窗口的递归滤波,本文在备选实施例中设想到所有长度的后向操作窗口的情况。由于当处理帧时序列中的这种向后延伸,不能处理第一帧1,2…wbw,因为不存在足够的可用信息,亦即,不存在足够的较早的帧。能够被这种递归滤波器处理的最早的帧处于下标t=wbw+1处。
为了图示递归滤波器的这种后向延伸特征的影响,现在参考依照图3的噪声功率水平曲线的示意性表示。绘制(沿着垂直轴示出的)噪声水平NL对照(水平示出的)帧位置t的图。以合适的量测量噪声水平,例如考虑图像的背景部分或没有实际图像信息(例如,没有灰度值或颜色值)的其他图像区的统计方差或标准偏差。
实线示出了当在一个方向(从左向右的方向)上递归处理输入序列F时的噪声水平,而虚线示出了当以其他方式(从右向左)递归处理输入序列F时的噪声水平。换言之,实线是跨从左到右的中间序列FLR的噪声水平分布,并且相应地,虚线是跨从右到左的中间序列FRL的噪声水平分布。由于如上面解释的前向操作窗口具有非零长度,因此相应的初始区段(具体包括输入帧F的第一帧的一个区段)具有比随后的帧更高的噪声含量。具体地,第一帧根本不能被噪声处理。噪声含量在此处最高。噪声含量然后随着在两个方向上的相应递归前进而逐渐下降,直至噪声水平最终稳定(在图3中在大约在0.3处,但是该值仅仅是数值范例)。换言之,在单通道处理中,经处理的序列上的功率水平分布是不均匀的。具体地,在处理的方向上,在针对经处理的序列的初始区域上,经处理的序列上的功率水平是单调降低的。这对于任一处理方向(亦即,从左向右的方向和从右向左的方向)的递归都是正确的。噪声水平在序列关于递归方向的初始区段中是高的。该初始区段具体包括从下标t=1(第一帧)直到下标t=wbw(1<t<wbw)的那些位置或(对于从右向左的序列FRL来说)为位置T,…,T-wbw。简言之,注释“初始区段”是相对于递归处理方向考虑的。初始区段因此至少与前向操作窗口的长度一样长。
初始区段还可以包括从具有高于wbw的下标的第一若干个帧形成的过渡区段。噪声水平的斜率降低,直至噪声水平稳定并且遍及递归的其余部分保持基本上恒定。到达稳定所需的帧的精确数量将会取决于输入影像的特定细节,但是至少对于荧光运行来说,能够在大约3-10帧之后实现噪声水平稳定,但是,这些数值不一定是限制性的,并且将会具体取决于k因子函数。
在一个实施例中,能够通过两个中间序列的融合来补偿导致跨经处理的序列FLR、FRL的这种不均匀的噪声水平分布的初始区段中的信息的缺失,以获得通过输出帧中的所有序列位置的基本上均匀或恒定的噪声水平分布。这种恒定的噪声轮廓在图3中被示为虚线曲线。在从右向左的递归中获得的最后一帧对应于输入序列的第一帧,但是因为已经从另一方向处理了最后一帧,因此最后一帧现在对通过从右向左的第二通道递归获悉的降噪信息进行编码。并且该额外信息能够在融合时用于最终的输出序列。相同的处理具体应用于初始区段中的所有帧。
图4A示出了能通过所提出的方法与图4B中的序列中的仅一个通道噪声处理相比而获得的示范性X射线影像。所使用的剂量与荧光(所提出的图像处理器NP的优选应用中的一个应用)中的剂量差不多。
图4A中的三个帧a)、b)和c)示出了跨帧基本上恒定的噪声水平分布。区别于此,序列4B中的第一帧a)中的噪声水平明显比随后的帧b)、c)更嘈杂,并且这能够通过序列4B的所述帧a)中的更粗糙的图像纹理而明显看出。
具体地,帧序列的初始区段中的更高图像噪声可以包括运动补偿的表现。相比于图4B中的序列,在依照图4A的双向处理的序列中存在更少的运动伪影。在示范性影像中记录的测试目标是旋转盘,当已经在沿着盘自旋所围绕的轴线的成像方向上采集输入序列F时,所述旋转盘保持自旋。为了激起图像运动伪影,将曲别针附接到旋转盘。图4B的序列中的白色箭头指示因别针的运动引起的运动伪影,而由于改善的噪声处理,这些运动伪影不再存在于输出序列图4A的对应帧中。更具体地,这要感谢甚至能在初始区段的帧中实现的降低的噪声。
应当注意,如果利用前向操作窗口wfw完成递归噪声处理,那么已经在上面关于递归噪声处理的问题陈述的所有内容都是存在的。更具体地,在这种情况下,基于来自一个、两个或更多个随后的帧的信息对给定帧进行噪声处理。对偶于后向窗口操作,在基于前向窗口的递归中,它然后朝向用尽信息的序列的末端。再次地,在这种利用前向窗口噪声处理的背景下,双通道方法中的双向处理和两个如此获得的中间序列的随后融合同样能够导致跨过整个输出序列的噪声水平的改善的总体降低。具体地,甚至在终端区段中也存在基本上恒定的噪声水平。在以上解释中还应当理解,对偶于初始区段的定义,考虑到从左向右或从右向左的递归方向,对于朝向递归前进的末端的帧和具有在最后wfw个帧内的下标的帧来说,存在“终端区段”的类似定义。因此,已经在上面关于后向窗口操作陈述的所有内容将必要的变通方案应用于基于前向窗口操作的噪声递归。
现在参考图5,在其中将会描述图像处理方法。应当注意,方法步骤的以下描述不一定束缚于如在图1、图2中示出和解释的架构。
在步骤S510处,至少部分地接收由成像装置采集的输入序列F。图像序列可以由成像器直接供应,或者可以在回顾模式下从存储器(例如,数据库或缓冲器或其他器件)中检索。输入序列中的个体帧可以被一次接收,或者可以被一个接一个地供应。
在步骤S520处,将双向时域噪声处理算法应用于输入序列F。这会得到两个经噪声处理的序列FLR和FRL。噪声处理是递归的。换言之,在第一通道中将递归处理从一端到另一端(例如从左向右)应用于输入序列,然后将递归处理以相反方式从右向左应用于输入序列。处理成FLR和FRL的顺序并不重要。优选地,在双向处理中应用相同的时域和递归噪声处理算法,但是也设想到将不同的递归算法用于每个方向的实施例。
能够以许多方式来实施步骤S520中的双向噪声处理。例如,可以按顺序地处理输入序列,亦即,如上所述地处理第一通道,然后在第一通道的结束处处理在相反方向上的第二通道。然而,也可以设想到通过两个噪声处理器的并行处理,其中,在一个方向上的第一通道中将递归时域噪声处理应用于输入序列F,并且由另一处理器在另一方向上将相同的(或不同的)噪声处理同时应用于输入序列的副本。还设想到双向递归噪声处理的其他实施变型,例如在两个方向上的噪声处理是交错的。合适的时域双向噪声处理方案是如上面在图2中解释的,但是也设想到其他基于非平均的滤波器,只要它们是递归的。
在一个实施例中,为了执行第二通道,以逆转顺序复制输入序列(因此最后一帧对应于输入序列的第一帧)。它然后是该逆转序列F-1,其然后可以被馈送到相同的噪声滤波路线,因此实现如本文中提出的双向处理的简单实施方式。然而,应当理解,不一定需要输入序列的实际逆转作为指针或列表变量,或者在输入序列F上定义的类似数据处理结果可以用于以两种顺序将帧馈送到步骤S520的双向噪声滤波算法中。
在步骤S530处,在双向处理中的步骤S520处产生的两个中间序列FLR、FRL,然后至少部分地融合或组合这两个中间序列FLR、FRL,因此形成经噪声处理的输出序列
在步骤S540中,然后对输出序列进行进一步的图像处理,例如存储输出序列将输出序列显示为静止图像或优选通过合适的视频处理控制器以视频/电影序列的方式将输出序列显示在显示设备上,或者以其他方式处理输出序列对输出序列进行颜色滤波或其他方式的滤波、压缩等。
对于组合步骤或融合步骤S530,设想到许多不同的实施例,并且现在具体参考图6来描述这些实施例。
具体地,在图6的图中,沿着水平轴示出了输出序列F(预期到该输出序列F的长度等于输入序列的长度并且因此等于两个中间序列的长度)的下标t。垂直轴测量在融合/计算输出序列的两个中间序列FLR、FRL的帧中来自两个相应帧的相对贡献。具体地,在图6中,点线曲线示出了在融合操作中来自从左向右的序列FLR的帧的权重,而虚线曲线示出了来自从右向左的序列FRL的权重贡献。
具体地,在图6A的实施例中,中间序列中的一个(例如,FLR,但这不是限制性的,因为帧的角色可以颠倒)的初始区段中的帧被来自另一个中间序列(在这种情况下为FRL)的对应帧所代替。如果使用利用后向操作窗口的噪声滤波方案,那么该方法可以是有利的。类似地,序列中的一个序列的终端区段中的(一个或多个)帧能够被来自另一个序列的(一个或多个)对应帧所代替。当前向窗口用于递归噪声处理时,后一种方法是有用的。
如之前提到的,初始(或终端)区段包括序列FLR、FRL中(以及因此输出序列中)的第一(或最后)K个帧。例如,终端区段可以仅由位置t=1处的第一帧形成,并且/或者终端区段可以由t=T处的最后一帧形成,因此终端区段和/或初始区段均包括单个帧。具体地,并且在一个实施例中,仅第一帧或最后一帧被代替。备选地,要被代替的帧的数量K能够大于1。更具体地,正在被代替的是第一K个帧(或者最后K个帧的情况也可以如此)。更具体地,要被从右向左的序列FRL中的第一K个帧代替的是从左向右的序列FLR中的对应帧。如果在步骤S320中使用的后向操作窗口大于1,则该实施例是特别有用的。然后,优选地,代替的帧的数量对应于窗口长度。代替更多帧也可以是有利的,wbw+g(g≥1),其中,g是固定的或者能够由用户调整或者作为系统参数。当噪声处理使用前向操作窗口时,代替终端区段中的帧是特别有用的,并且在必要的变通下以上内容可应用于该实施例。
依照图6A的融合实施例可以被更正式地表示为伪代码片段或情况
其中:
n=序列中的图像的数量
k=(1…n)中的下标
p=范围2…n-2中的数量(例如,特殊情况是p=n/2,其中,运行被分成两个相等长度的部分)。
应当理解,在通过(部分)代替来实现融合的上述实施例(和下面的实施例中的一些实施例)中,要在针对能够例如通过将相应帧复制成第三帧来实施代替的一般意义上理解代替操作。不像在中间序列中的一个中间序列内进行代替以由此在代替期间实现对相应序列的修改,当帧被复制成然后形成输出序列的第三序列时,不发生这种修改。后一种方法具有两个中间帧都被保留并且不会在处理期间丢失中间帧的优点。另一方面,如果需要注意存储器约束(例如在该方法被实施为手持式设备上“移动应用”的情况下),能够通过在中间序列中的一个中间序列本身上进行实际代替来获取更有记忆意识的方法。
图6B示出了通过代替来实现融合的备选方案,其中,使用根据两个中间序列FLR和FRL的逐渐求平均。具体地,并且根据图6B中的实施例,第一若干(或仅第一帧)被来自图6A中的第二序列中的(一个或多个)对应帧代替,而其余帧现在通过根据两个序列求平均(尤其是通过加权平均)来进行组合,其中,权重根据下标位置t改变。在输出序列的中心或中间部分处,来自两个序列的帧均利用大致相同的权重进行平均。当求平均以形成朝向终端区段的帧时,针对来自另一个序列的帧的权重逐渐变得更加显著。以此方式,实施滑动且相反的加权平均方案,其中,以当前进通过输出序列的这些下标时对来自一个序列的帧进行较小加权为代价,来自另一个序列的帧在求平均中接收逐渐更高的加权。图6B实施例可以以伪代码的方式被更正式地表示为
图6C示出了用于融合的又一实施例。这里,序列中的一个序列中的帧被如上面在实施例图6A中解释的初始区段和/或终端区段中的对应帧代替。对于终端区段与初始区段之间的中间区段中的下标,通过对用来自两个中间序列的相等权重求平均来计算帧。图6C实施例可以以伪代码的形式被更正式地表示为:
作为扩展,还设想到图6的所有上述实施例A、B和C的任何逐区段的组合。
针对通过依照图6A的代替进行融合而获得的噪声水平曲线类似于之前在图3中讨论的实线曲线。如果求平均用于如图6B、图6C中的初始区段与终端区段之间的帧,则噪声水平将会更低,因为针对中间区段中(大致在中心位置处)的帧的噪声信息提取将会是最大的,并且能够预期到略微下降至所述中心位置附近的更低水平噪声稳定期。不是始终具有如图3中的实线曲线的基本上恒定的噪声曲线轮廓,而是噪声水平现在具有中心左侧和右侧的恒定区段急剧下降到更低水平噪声稳定期的碟状轮廓。将图3中的虚线-点线曲线的草图视为针对这种碟状轮廓(亦即,在中心附近的中间区域处具有最小值的非恒定函数)的定量范例。具体地,在输出序列的初始区段与终端区段之间的中间区段中存在更低的噪声水平。
在图6中的上述融合实施例中的任一个中,如果针对输入帧F的相同帧计算来自一个中间序列FLR或FRL的帧,那么来自一个中间序列FLR或FRL的帧被认为对应于另一个中间序列中的另一个帧。具体地,可以通过两个中间序列FLR和FRL中具有相同下标的帧来指示对应关系。然而,下标相等并不是必要的,因为在双向图像处理期间可以重新布置帧或将帧重新分类在第二通道中,例如如上面在步骤S320处所指示的。如果存在对在双向递归处理中涉及的下标的重新分类,那么这种下标改变能够被记录在映射结构中,所述映射结构然后允许后者跨两个序列跟踪并重新建立帧之间的对应关系。
所提出的双通道降噪方案能够应用于任何图像(2D或3D或更高维度的图像),并且能够应用在CT中的投影域或图像域中,并且能够用于不同于X射线的成像(例如,超声(US)、磁共振(MR)或其他成像),甚至能够用于光学图像。
在一个实施例中,双通道双向方向方案包括用于减少因被成像目标的运动引起的伪影的运动补偿分量。这能够如上面在图2中解释的那样来完成,其中,用于降噪处理的求平均的权重取决于当噪声处理前进通过输入序列时跨相应图像检测到的运动量。
在本发明的另一示范性实施例中,提供了一种计算机程序或计算机程序单元,其特征在于,其适于在适当系统上运行根据前述实施例中的一个所述的方法的方法步骤。
因此,计算机程序单元可以被存储在计算机单元中,所述计算机程序单元也可以是本发明的实施例的部分。该计算单元可以适于执行或引发对上述方法的步骤的执行。此外,该计算单元可以适于操作上述装置的部件。该计算单元能够适于自动操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此,可以配备数据处理器来执行本发明的方法。
本发明的该示范性实施例覆盖从一开始就使用本发明的计算机程序,以及借助于将现有程序更新转换为使用本发明的程序的计算机程序二者。
更进一步地,计算机程序单元可以能够提供所有必要步骤以完成如上所述的方法的示范性实施例的流程。
根据本发明另外的示范性实施例,提出了一种计算机可读介质,例如CD-ROM,其中,该计算机可读介质具有被存储于所述计算机可读介质上的计算机程序单元,所述计算机程序单元由前面的章节所描述。
计算机程序可以被存储和/或被分布在合适的介质(尤其是但不限于非瞬态介质)上,例如,与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质,但是也可以以其他形式被分布,例如,经由互联网或其他有线或无线的电信系统被分布。
然而,计算机程序也可以被呈现在网络上,如万维网,并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的另外的示范性实施例,提供了用于使计算机程序单元可用于下载的介质,所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中的一个所述的方法。
必须指出,本发明的实施例是参考不同主题来描述的。尤其地,一些实施例是参考方法型权利要求来描述的,而其他实施例是参考装置型权利要求来描述的。然而,除非另有说明,本领域技术人员将从以上和以下的描述中推断出,除了属于一种类型的主题的特征的任意组合以外,涉及不同主题的特征之间的任意组合也被认为在本申请中被公开。然而,所有的特征都能够被组合来提供多于特征的简单加合的协同效应。
尽管已经在附图和前面的描述中详细图示和描述了本发明,但是这样的图示和描述应当被认为是图示性或示范性的,而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求,在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。
在权利要求中,“包括”一词不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中,但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种图像处理器(IP),包括:
输入接口(IN),其用于接收由成像装置(IA)采集的帧的输入序列(F);
至少一个时域噪声滤波器(NP),其被配置为将所述输入序列双向地处理成至少两个经噪声处理的序列(FLR、FRL);以及
融合器(SUM),其被配置为将所述至少两个经噪声处理的序列融合成输出序列
2.根据权利要求1所述的处理器,其中,所述双向时域噪声处理是递归的。
3.根据权利要求1或2所述的处理器,其中,所述融合器(SUM)被配置为用来自所述至少两个经噪声处理的序列中的一个经噪声处理的序列的至少一个帧来代替来自所述至少两个经噪声处理的序列中的另一个经噪声处理的序列的初始区段的对应帧。
4.根据前述权利要求中的任一项所述的处理器,其中,所述融合器(SUM)被配置为对来自所述至少两个经噪声处理的序列的帧求平均。
5.根据前述权利要求中的任一项所述的处理器,其中,噪声水平至少遍及所述输出序列的初始区段或终端区段是基本上恒定的。
6.一种图像处理方法,包括:
接收(S510)由成像装置采集的帧的输入序列(F);
将双向时域噪声处理应用(S520)于所述输入序列以产生至少两个经噪声处理的序列(FLR、FRL);并且
将所述至少两个经噪声处理的序列融合(S530)成输出序列
7.根据权利要求6所述的图像处理方法,其中,所述双向时域噪声处理(S520)是递归的。
8.根据权利要求6或7所述的图像处理方法,其中,所述融合(S530)包括用来自所述至少两个经噪声处理的序列中的一个经噪声处理的序列的至少一个帧来代替来自所述至少两个经噪声处理的序列中的另一个经噪声处理的序列的初始区段的对应帧。
9.根据权利要求6-8中的任一项所述的图像处理方法,其中,所述融合(S530)包括对来自所述至少两个经噪声处理的序列的帧求平均。
10.根据权利要求6-9中的任一项所述的图像处理方法,其中,噪声功率水平至少遍及所述输出序列的初始区段或终端区段是基本上恒定的。
11.根据权利要求6-10中的任一项所述的图像处理方法或根据权利要求1-5所述的图像处理器,其中,所述输入帧是以下中的任一种:i)X射线帧,ii)超声帧,以及iii)磁共振帧。
12.根据权利要求6-11中的任一项所述的图像处理方法或根据权利要求1-5中的任一项所述的图像处理器,其中,所述输入序列的所述采集的帧对移动目标进行编码。
13.一种图像处理系统(IPS),包括:
根据前述权利要求1-5、11或12中的任一项所述的图像处理器(IP);
所述成像装置(IA),其供应帧的所述输入序列。
14.一种计算机程序单元,其在正被处理单元(PU)运行时适于执行根据权利要求6-12中的任一项所述的方法。
15.一种计算机可读介质,其具有存储在其上的根据权利要求14所述的程序单元。
CN201780025271.4A 2016-03-23 2017-03-16 通过双通道时域降噪的改善的图像质量 Active CN109155059B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16161833 2016-03-23
EP16161833.5 2016-03-23
PCT/EP2017/056190 WO2017162507A1 (en) 2016-03-23 2017-03-16 Improved image quality by two pass temporal noise reduction

Publications (2)

Publication Number Publication Date
CN109155059A true CN109155059A (zh) 2019-01-04
CN109155059B CN109155059B (zh) 2023-05-09

Family

ID=55696937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780025271.4A Active CN109155059B (zh) 2016-03-23 2017-03-16 通过双通道时域降噪的改善的图像质量

Country Status (5)

Country Link
US (1) US11132769B2 (zh)
JP (1) JP6983801B2 (zh)
CN (1) CN109155059B (zh)
DE (1) DE112017001477T5 (zh)
WO (1) WO2017162507A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284065A (zh) * 2021-05-26 2021-08-20 Oppo广东移动通信有限公司 视频图像的去噪方法、装置、电子设备和可读存储介质
CN114679553A (zh) * 2020-12-24 2022-06-28 华为技术有限公司 视频降噪方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2541179B (en) * 2015-07-31 2019-10-30 Imagination Tech Ltd Denoising filter
DE102019122667A1 (de) * 2019-08-22 2021-02-25 Schölly Fiberoptic GmbH Verfahren zur Unterdrückung von Bildrauschen in einem Videobildstrom, sowie zugehöriges medizinisches Bildaufnahmesystem und Computerprogrammprodukt

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430318B1 (en) * 1997-12-23 2002-08-06 Koninklijke Philips Electronics, N.V. Image processing method including spatial and temporal noise filtering steps, and medical imaging apparatus for carrying out this method
US20060232710A1 (en) * 2005-04-19 2006-10-19 Samsung Electronics Co., Ltd. Method and apparatus of bidirectional temporal noise reduction
US20080204600A1 (en) * 2007-02-23 2008-08-28 Ning Xu System and method for video noise reduction using an adaptive temporal method with motion detection and motion compensation
CN101261734A (zh) * 2007-03-06 2008-09-10 佳能株式会社 图像处理设备和图像处理方法
US20110242422A1 (en) * 2010-04-04 2011-10-06 Wei Hong Ghosting Artifact Reduction in Temporal Noise Filtering
US20130083246A1 (en) * 2011-09-30 2013-04-04 Apple Inc. Scene adaptive temporal filtering
US8760466B1 (en) * 2010-01-18 2014-06-24 Pixar Coherent noise for non-photorealistic rendering

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4504908A (en) * 1982-03-15 1985-03-12 General Electric Company Matched filter for X-ray temporal subtraction
DE4319342C2 (de) * 1993-06-11 1999-05-20 Philips Patentverwaltung Verfahren zur Reduktion von Störungen
US5689592A (en) * 1993-12-22 1997-11-18 Vivo Software, Inc. Parallel processing of digital signals in a single arithmetic/logic unit
EP1208537B1 (en) * 1999-10-26 2005-03-02 Koninklijke Philips Electronics N.V. Image processing method, system and apparatus for noise reduction in an image sequence representing a threadlike structure
US7050501B2 (en) * 2002-07-16 2006-05-23 Broadcom Corporation Digital noise reduction techniques
JP4045422B2 (ja) * 2002-07-23 2008-02-13 株式会社日立メディコ 画像処理装置
JP2007510982A (ja) * 2003-10-27 2007-04-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ジェスチャ信号処理
US7317841B2 (en) * 2003-12-22 2008-01-08 Ge Medical Systems Global Technology Company, Llc System and method for image noise reduction using a minimal error spatiotemporal recursive filter
US7330218B2 (en) * 2004-09-02 2008-02-12 Samsung Electronics Co., Ltd. Adaptive bidirectional filtering for video noise reduction
US8903191B2 (en) 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
JP5543194B2 (ja) * 2009-12-24 2014-07-09 キヤノン株式会社 情報処理装置、処理方法及びプログラム
WO2015049103A1 (en) 2013-10-01 2015-04-09 Agfa Healthcare Method for noise reduction in an image sequence
WO2016014384A2 (en) * 2014-07-25 2016-01-28 Covidien Lp Augmented surgical reality environment
GB2536904B (en) * 2015-03-30 2017-12-27 Imagination Tech Ltd Image filtering based on image gradients
GB2541179B (en) * 2015-07-31 2019-10-30 Imagination Tech Ltd Denoising filter

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430318B1 (en) * 1997-12-23 2002-08-06 Koninklijke Philips Electronics, N.V. Image processing method including spatial and temporal noise filtering steps, and medical imaging apparatus for carrying out this method
US20060232710A1 (en) * 2005-04-19 2006-10-19 Samsung Electronics Co., Ltd. Method and apparatus of bidirectional temporal noise reduction
US20080204600A1 (en) * 2007-02-23 2008-08-28 Ning Xu System and method for video noise reduction using an adaptive temporal method with motion detection and motion compensation
CN101261734A (zh) * 2007-03-06 2008-09-10 佳能株式会社 图像处理设备和图像处理方法
US8760466B1 (en) * 2010-01-18 2014-06-24 Pixar Coherent noise for non-photorealistic rendering
US20110242422A1 (en) * 2010-04-04 2011-10-06 Wei Hong Ghosting Artifact Reduction in Temporal Noise Filtering
US20130083246A1 (en) * 2011-09-30 2013-04-04 Apple Inc. Scene adaptive temporal filtering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
J.C. BRAILEAN ET AL.: "Noise reduction filters for dynamic image sequences: a review" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114679553A (zh) * 2020-12-24 2022-06-28 华为技术有限公司 视频降噪方法及装置
CN113284065A (zh) * 2021-05-26 2021-08-20 Oppo广东移动通信有限公司 视频图像的去噪方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
US11132769B2 (en) 2021-09-28
US20190043173A1 (en) 2019-02-07
CN109155059B (zh) 2023-05-09
JP6983801B2 (ja) 2021-12-17
DE112017001477T5 (de) 2018-12-06
JP2019513039A (ja) 2019-05-23
WO2017162507A1 (en) 2017-09-28

Similar Documents

Publication Publication Date Title
CN109567843B (zh) 一种成像扫描自动定位方法、装置、设备及介质
US10867375B2 (en) Forecasting images for image processing
CN109155059A (zh) 通过双通道时域降噪的改善的图像质量
JP6021420B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN101930595A (zh) 图像处理方法和图像处理设备
US20110311021A1 (en) Medical image display apparatus and x-ray computed tomography apparatus
EP3270178A1 (en) A system and method for determining optimal operating parameters for medical imaging
US8633945B2 (en) X-ray diagnostic apparatus and image processing apparatus
US20140355738A1 (en) Digital X-Ray Imaging System with Still and Video Capture Modes
CN104125841A (zh) 控制方法和控制系统
US9691148B2 (en) Medical imaging analyzer and medical image processing method
CN107049351B (zh) 一种正电子发射计算机断层扫描pet设备扫描方法及装置
CN104838279A (zh) 具有不明显的副作用的局部伪影降低
CN104684479B (zh) 体动检测装置及方法
CN103747736A (zh) 图像处理装置以及具备该图像处理装置的放射线摄影装置
US10043268B2 (en) Medical image processing apparatus and method to generate and display third parameters based on first and second images
US20230038871A1 (en) Systems and methods for real-time video enhancement
US9269395B2 (en) Display control apparatus, display apparatus, and method for controlling the same
JP2015159961A (ja) 画像生成装置、放射線断層撮影装置及び画像生成方法並びにプログラム
Zhou et al. Clinical validation of an AI-based motion correction reconstruction algorithm in cerebral CT
He et al. A medical application integrating remote 3D visualization tools to access picture archiving and communication system on mobile devices
US11145094B2 (en) Image reconstruction apparatus and image reconstruction method
CN107070806B (zh) 一种数据传输的方法及装置
US20210233293A1 (en) Low-dose imaging method and apparatus
CN111067554B (zh) 用于控制x射线投影成像装置的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant