CN106464805B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN106464805B
CN106464805B CN201580025751.1A CN201580025751A CN106464805B CN 106464805 B CN106464805 B CN 106464805B CN 201580025751 A CN201580025751 A CN 201580025751A CN 106464805 B CN106464805 B CN 106464805B
Authority
CN
China
Prior art keywords
image
block
target
pixel
superimposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580025751.1A
Other languages
English (en)
Other versions
CN106464805A (zh
Inventor
武田遼
森田尚孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN106464805A publication Critical patent/CN106464805A/zh
Application granted granted Critical
Publication of CN106464805B publication Critical patent/CN106464805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明,能够提供一种能够可靠地去除构成实时图像的各帧的噪声的图像处理装置。即,根据本发明,成为以下结构:在原始图像(It)上设定目标区块(T),搜索该目标区块(T)被拍进叠加对象图像(Ot‑1)的何处。根据具有这种结构的本发明,以区块为单位进行被检体像的跟踪,因此与按像素分别搜索移动目的地的以往方法相比,可靠性变得格外高。

Description

图像处理装置
技术领域
本发明涉及一种去除放射线图像中叠加的噪声的图像处理装置,特别是涉及一种对构成实时图像的各帧的图像质量进行改善的图像处理装置。
背景技术
在医疗机构中具备获取放射线的图像的放射线摄影装置。在这种放射线摄影装置中存在一种能够连续地拍摄放射线图像并将其结果输出为运动图像的装置。这种运动图像有时被称为实时图像(例如参照专利文献2)。
实时图像是通过向被检体照射低剂量的放射线而得到的,因此与在静止图像摄影(点片摄影)中得到的图像相比S/N比差,且含有大量噪声。在放射线摄影装置中具备用于减轻该噪声的图像处理装置。该图像处理装置为以下结构:通过将历时性地连续的多个帧相叠加来获得改善了S/N比的噪声减轻图像。
作为生成噪声减轻图像的方法,存在一种递归滤波器。根据递归滤波器,存储将实时图像的帧相叠加而形成的噪声减轻图像,并将该噪声减轻图像设为叠加对象图像。然后,当被新输入了实时图像的帧时,将新的实时图像与叠加对象图像相叠加来生成新的噪声减轻图像,并另外预先存储该噪声减轻图像。之后,每次被输入新的帧时进行叠加所存储的噪声减轻图像的动作,并依次生成与帧对应的噪声减轻图像。将这种递归滤波器的动作称为循环相加处理。
另外,实时图像是捕捉到被检体运动的样子的运动图像。因而,仅通过单纯将图像相叠加,会生成被检体的像叠加出重影那样的噪声减轻图像。这是由于在两张图像之间,被检体被拍进的位置、形状互不相同。而且,根据图像的部分不同,被检体像之间的偏离状况各式各样,因此仅通过以使一方的图像相对于另一方的图像向某个方向偏移的方式来进行叠加,无法防止被检体的像的重影化。在实时图像上的被检体像中,在各帧之间存在像一致的部分和像不一致的部分。对于一致的部分,仅通过单纯将图像相叠加就能够实现噪声的减轻。但是,不一致的部分的被检体像会模糊。
因此,根据以往结构,采用了通过花费各种工夫来防止像的重影化那样的结构。例如,根据专利文献1,按构成图像的每个像素来改变叠加的方式。即,对于在帧与叠加对象图像之间像素值的变化剧烈的部分(像不一致的部分),以直接继承帧的像素值的方式进行处理。这是由于,如果在该部分进行单纯的叠加,则像成为重影的可能性高。而且,对于在图像之间几乎没有变化的部分(像一致的部分),进行将帧与叠加对象图像相叠加那样的处理。
另外,在专利文献2中为如下结构:不仅考虑在图像间看到的像素值的差,还考虑图像中拍进的噪声的量,并按每个像素改变叠加的方式。通过这种方式,帧中的拍进大量噪声的部分选择性地成为噪声减轻处理的对象。由此,能够同时实现像的重影化的抑制和噪声的去除。
而且,在专利文献3中为以下结构:通过图像分析来调查帧上的各像素与叠加对象图像上的哪个部分对应,进行将帧上的像素与叠加对象图像上的对应像素相叠加的动作。通过设为这种结构,一边将帧上的构造物与叠加对象图像上的构造物对位一边进行叠加。根据该结构,不仅能够防止像的重影化,还能够可靠地进行噪声的去除。
专利文献1:日本特开平07-154651
专利文献2:日本特开平07-079956
专利文献3:日本特开平01-314477
发明内容
发明要解决的问题
然而,根据如上所述的以往结构,存在如下问题。
即,在以往结构中,无法进行可靠的图像的叠加。
根据专利文献1、2的结构,对于在帧上由于叠加而引起像的重影化的部分,噪声几乎不会减轻。这是由于该部分是因如果进行噪声减轻处理则像发生重影化这样的原因放弃了处理的部分。因而,在这些文献的方法中,无法完全去除帧上的噪声。
另外,专利文献3的结构乍看上去认为没有任何问题。但是,在该文献的方法中,通过对于帧上的一个像素逐一地比较叠加对象图像的像素来搜索与帧上的像素对应的叠加对象图像的像素,因此也经常错误地识别对应像素。当成为这种情况时,图像之间无法准确地叠加,无法得到可视性高的噪声减轻图像。
本发明是鉴于这种情况而完成的,其目的在于提供一种能够可靠地去除构成实时图像的各帧的噪声的图像处理装置。
用于解决问题的方案
本发明为了解决上述问题而采用如下结构。
即,本发明所涉及的图像处理装置是对通过连续地拍摄被检体而生成的图像进行噪声减轻处理的图像处理装置,其特征在于,具备:目标设定单元,其从构成拍进被检体像的原始图像的像素中设定由关注像素和包围关注像素的周边像素构成的目标区块;搜索单元,其从在与原始图像不同的时刻拍摄到的拍进被检体的参照图像中找出与目标区块最相似的移动目的地区块;叠加单元,其将叠加对象区块叠加于原始图像上的目标区块来生成融合区块,该叠加对象区块是在与参照图像相同的位置处拍进被检体像的叠加对象图像中处于与移动目的地区块相同的位置的区块;以及图像生成单元,其随着一边改变关注像素的位置一边依次设定目标区块,使融合区块依次在图像上重叠,由此生成减轻被拍进原始图像的噪声后的噪声减轻图像,其中,图像生成单元进行动作,使得噪声减轻图像上的融合区块的位置成为与原始图像上的目标区块的位置相同的位置。
[作用和效果]根据本发明,能够提供一种能够可靠地去除构成实时图像的各帧的噪声的图像处理装置。即,根据本发明,成为以下结构:在原始图像上设定目标区块,搜索该目标区块被拍进叠加对象图像上的何处。如果像这样从叠加对象图像中找出目标区块的转移目的地,则能够一边在叠加对象图像上跟踪原始图像上的被检体像一边进行图像之间的叠加,因此被检体不会由于叠加而拍出重影。
另外,根据本发明,由于以区块为单位进行被检体像的跟踪,因此与按像素搜索移动目的地的以往方法相比,可靠性变得格外高。
另外,在上述的图像处理装置中,更优选的是,图像生成单元在使融合区块一边重叠一边相加之后,将图像上的像素的像素值除以表示在该像素处融合区块相加几次的累计次数,由此生成噪声减轻图像。
[作用和效果]上述结构说明了本发明的更为具体的结构。即,如果在使融合区块一边重叠一边相加之后,将图像上的像素的像素值除以表示在该像素处融合区块相加几次的累计次数,则能够生成可靠性更高的噪声减轻图像。
构成噪声减轻图像的各个像素的像素值是将目标区块与叠加对象区块相叠加而得到的结果。叠加对象区块应该拍进了与目标区块中拍进的被检体像相同的像,但如果搜索单元发生了移动目的地区块的错误识别,则经常发生以下情况:叠加对象图像中的与叠加对象区块不匹配的部分被选择为叠加对象区块。根据上述结构,构成噪声减轻图像的各像素不会基于一个叠加对象区块来构成。即,各像素是将不同的叠加对象区块多重叠加而构成的。因而,即使发生了叠加对象区块的错误识别,噪声减轻图像中的影响也有限。这是由于,错误识别所涉及的叠加对象区块只不过是多重叠加的若干个叠加对象区块中的一个。
根据上述结构,在融合区块相加之后,将各像素的像素值除以融合区块的累计次数来生成噪声减轻图像,因此噪声减轻图像的像素值水平与原始图像的像素值水平几乎相同。
另外,在上述图像处理装置中,更优选的是,叠加单元为按构成融合区块的每个像素以各自的权重将原始图像上的目标区块的像素与所对应的叠加对象图像上的叠加对象区块的像素相叠加的结构,随着属于目标区块的像素的像素值与叠加对象区块或移动目的地区块上的对应像素的像素值之差的绝对值变大,叠加单元以使融合区块逐渐地不继承叠加对象区块的方式变更叠加的权重。
[作用和效果]上述结构说明了本发明的更为具体的结构。叠加单元设为按构成融合区块的每个像素以各自的权重将原始图像上的目标区块的像素与所对应的叠加对象图像上的叠加对象区块的像素相叠加的结构,如果随着属于目标区块的像素的像素值与叠加对象区块或移动目的地区块上的对应像素的像素值之差的绝对值变大,以使融合区块逐渐地不继承叠加对象区块的方式变更叠加的权重,则对于在原始图像中被检体像的运动剧烈的部分,叠加对象图像的叠加轻微。如果这样,则能够更加可靠地防止在噪声减轻图像中被检体像发生重影化。
另外,在上述图像处理装置中,更优选的是,叠加单元为每次生成融合区块时以各自的权重将原始图像上的目标区块与叠加对象图像上的叠加对象区块相叠加的结构,随着目标区块上的像素值与叠加对象区块或移动目的地区块上的像素值之差的绝对值变大,叠加单元以使融合区块逐渐地不继承叠加对象区块的方式变更叠加的权重。
[作用和效果]上述结构说明了本发明的更为具体的结构。在按每个像素变更权重的方法中,图像处理过于耗费时间。因此,如果随着目标区块上的像素值与叠加对象区块或移动目的地区块上的像素值之差的绝对值变大,以使融合区块逐渐地不继承叠加对象区块的方式变更叠加的权重,则权重的变更以区块为单位,因此能够更加高速地进行图像处理。
另外,在上述图像处理装置中,更优选的是,还具备编辑单元,该编辑单元对在参照图像中处于目标区块的位置的同位置区块进行设定,在移动目的地区块与同位置区块相比显著地相似于目标区块的情况下,对搜索单元的输出进行使由搜索单元找出的移动目的地区块为同位置区块的重写。
[作用和效果]上述结构说明了本发明的更为具体的结构。在原始图像上的目标区块和参照图像上的同位置区块这两个区块中,在两个区块内拍进的被检体像没有移动或者两个区块内原本就没有拍进被检体像的情况下,参照图像上的同位置区块是保证某种程度上与目标区块相似的状态。因而,在生成融合区块时,与利用搜索单元从叠加对象图像中找出与目标区块对应的区块并进行叠加相比,有时在将叠加对象图像中的相当于目标区块的部分直接进行叠加的情况下可视性更好。
根据上述结构,在规定条件的情况下,放弃搜索单元的搜索结果,将叠加对象图像中的相当于目标区块的部分直接进行叠加,而不会将虽然原本没有移动但由于与目标区块相似而被认定为已移动的叠加对象区块进行叠加来生成融合区块,从而噪声减轻图像的可视性变得更好。
另外,在上述图像处理装置中,(a1)能够将叠加对象图像设为对在原始图像之前拍摄到的图像进行了图像处理时获得的噪声减轻图像,(b1)能够将参照图像设为在原始图像之前拍摄到的图像。
另外,在上述图像处理装置中,(a1)能够将叠加对象图像设为对在原始图像之前拍摄到的图像进行了图像处理时获得的噪声减轻图像,(b2)能够将参照图像设为与在原始图像之前拍摄到的图像对应的噪声减轻图像。
另外,在上述图像处理装置中,(a2)能够将叠加对象图像设为在原始图像之前拍摄到的图像,(b1)能够将参照图像设为在原始图像之前拍摄到的图像。
另外,在上述图像处理装置中,(a2)能够将叠加对象图像设为在原始图像之前拍摄到的图像,(b2)能够将参照图像设为与在原始图像之前拍摄到的图像对应的噪声减轻图像。
[作用和效果]如上所述,本发明的图像处理装置能够选择各种方式来实现。这种高选择性有助于提高图像处理的自由度。
另外,在上述图像处理装置中,更优选的是,搜索单元基于准确性优先模式和速度优先模式这两种模式来进行动作,该准确性优先模式是针对某个关注像素遍及参照图像中的大范围地进行移动目的地区块的搜索的模式,该速度优先模式是基于准确性优先模式的搜索结果针对与作为准确性优先模式的处理对象的关注像素不同的关注像素遍及参照图像中的小范围地进行移动目的地区块的搜索的模式,在速度优先模式下,以如下方式进行动作:基于作为准确性优先模式的处理对象的关注像素与在准确性优先模式的搜索中发现的关注像素在参照图像上的移动目的地的像素之间的位置关系,在参照图像上预期作为当前搜索对象的关注像素的移动目的地的位置,并遍及包围所预期的位置的范围地搜索移动目的地区块。
[作用和效果]上述结构说明了本发明的更为具体的结构。根据上述结构,搜索单元在虽然准确但耗费时间的准确性优先模式下对原始图像上的有限的关注像素进行搜索。通过该模式发现的移动目的地区块的中心理应准确地表示关注像素的移动目的地。因而,要说在原始图像上位于该关注像素的周边的像素在参照图像上处于何处,则肯定是位于该关注像素在参照图像上的移动目的地的像素的周边。因此,在对这种周边的像素进行搜索的情况下,仅搜索移动目的地的像素的周边。该模式是速度优先模式。如果设为这种结构,则搜索单元能够进行兼具高速性和准确性这两方面的搜索动作。
另外,在上述图像处理装置中,还能够设为叠加单元所涉及的叠加对象区块的范围比目标区块和移动目的地区块的范围小的结构。
[作用和效果]根据上述结构,能够在评价比叠加对象区块靠外侧的区域之后决定叠加对象区块,因此能够以更高的可靠性来执行融合区块F的生成。
另外,在上述图像处理装置中,还能够设为叠加单元所涉及的叠加对象区块的范围比目标区块和移动目的地区块的范围大的结构。
[作用和效果]如果进行这种动作,则能够生成进一步去除噪声后的噪声减轻图像。这是由于,如果增大融合区块F,则在生成噪声减轻图像时多重叠加的像素增加。
另外,在上述图像处理装置中,更优选的是,还具备:图像缩小单元,其将原始图像和参照图像缩小来生成缩小原始图像和缩小参照图像;缩小图像目标区块设定单元,其从构成缩小原始图像的像素中设定关注像素和作为缩小原始图像上的目标区块的缩小原始图像上目标区块;缩小图像搜索单元,其从缩小参照图像中找出与缩小原始图像上目标区块最相似的缩小参照图像上移动目的地区块;以及搜索范围设定单元,其以与缩小参照图像上移动目的地区块的位置对应的参照图像上的位置为基准来设定搜索范围,该搜索范围是搜索单元在参照图像中搜索移动目的地区块的范围。
[作用和效果]如果设为这种结构,则能够从参照图像上更加准确地搜索移动目的地区块R。根据上述结构,实际上成为通过使用缩小图像来大致获知原始图像上的图案的移动的结构。使用了该缩小图像的运算成本没那么高。而且,如果设为之后掌握原始图像上的目标区块上的图案移动到参照图像上的何处,则能够以如同在参照图像的大范围内是否检索到移动目的地区块那样的准确性来掌握移动目的地区块。
另外,在上述图像处理装置中,更优选的是,搜索单元在从作为参照图像中的移动目的地区块的候选的候选区块中找出与目标区块最相似的移动目的地区块时,也对使候选区块各自旋转后的候选区块进行相似性的判断。
[作用和效果]根据上述结构,即使在原始图像与参照图像之间存在像的旋转,也能够可靠地计算图案的移动目的地。
另外,在上述图像处理装置中,还能够设为目标区块设定单元所涉及的目标区块具有飞地的结构。
另外,在上述图像处理装置中,目标区块设定单元所涉及的目标区块还能够是排除了包围关注像素的周边像素的一部分而构成的。
[作用和效果]如果设为上述那样的结构,则能够降低搜索单元的运算成本。这是由于,与使用由像素填充的目标区块进行搜索相比,作为计算的对象的像素的个数变少。
另外,在上述图像处理装置中,更优选的是,搜索单元为从互不相同的多个参照图像的各个参照图像中找出移动目的地区块的结构,叠加单元使与在各个参照图像中搜索到的各个移动目的地区块对应的各个叠加对象区块叠加于原始图像上的目标区块来生成融合区块。
另外,在上述图像处理装置中,更优选的是,搜索单元为从互不相同的多个参照图像的各个参照图像中找出移动目的地区块的结构,叠加单元使与在各个参照图像中搜索到的各个移动目的地区块对应的各个叠加对象区块叠加于原始图像上的目标区块来生成多个融合区块,使多个融合区块互相叠加,由此生成最终的融合区块。
[作用和效果]如果设为上述那样的结构,则能够基于多个叠加对象图像来减轻噪声,因此能够期待更高的噪声去除效果。
另外,在上述图像处理装置中,更优选的是,还具备编辑单元,该编辑单元基于由搜索单元输出的目标区块与移动目的地区块的位置关系来掌握目标区块各自的关注像素移动到参照图像上的何处,由此针对构成原始图像的各像素分别识别参照图像上的移动目的地,在原始图像上的某个像素的移动方向和移动距离与该像素的周边像素相差悬殊的情况下,变更与目标区块对应的移动目的地区块,使得该像素的移动目的地成为在与周边像素的移动方向相同的方向上移动了与周边像素的移动距离相同的距离后的位置。
[作用和效果]如果设为上述结构,则能够更加准确地认定叠加对象图像中的叠加对象区块。
另外,在上述图像处理装置中,更优选的是,搜索单元为从参照图像中找出多个移动目的地区块的结构,叠加单元使在参照图像中搜索到的多个移动目的地区块各自所对应的各个叠加对象区块叠加于原始图像上的目标区块,来生成多个融合区块,将多个融合区块互相叠加,由此生成最终的融合区块。
[作用和效果]如果设为上述那样的结构,则能够基于多个叠加对象区块来减轻噪声,因此能够期待更高的噪声去除效果。
另外,在上述图像处理装置中,优选的是,搜索单元在从作为参照图像中的移动目的地区块的候选的候选区块中找出与目标区块最类似的移动目的地区块时,将参照图像上的同与原始图像中的目标区块对应的位置接近的候选区块优先认定为移动目的地区块。
[作用和效果]如果设为上述结构,则能够进行更加适应现实的目标区块的检索。
另外,在上述图像处理装置中,更优选的是,图像生成单元基于表示作为融合区块的基础的目标区块和移动目的地区块中拍进的图案的差异程度的差异度,一边进行加权使得差异度越高的融合区块在噪声减轻图像中被越淡地拍进一边使融合区块重叠并相加,由此生成噪声减轻图像。
[作用和效果]如果设为上述结构,则叠加失败的融合区块F不会对噪声减轻图像造成大的影响。
另外,在上述图像处理装置中,更优选的是,目标设定单元将原始图像上的像素区分为被设定为关注像素的像素和未被设定为关注像素的像素来进行动作。
[作用和效果]根据上述结构,能够抑制融合区块F的生成动作的运算成本。
发明的效果
根据本发明,能够提供一种能够可靠地去除构成实时图像的各帧的噪声的图像处理装置。即,根据本发明,成为以下结构:在原始图像上设定目标区块,搜索该目标区块被拍进叠加对象图像上的何处。根据本发明,以区块为单位进行被检体像的跟踪,针对一个像素反映多个跟踪结果并校正错误跟踪,因此与按像素分别搜索移动目的地的以往方法相比,可靠性变得格外高。
附图说明
图1是说明实施例1所涉及的图像处理的概要的示意图。
图2是说明实施例1所涉及的图像处理的概要的示意图。
图3是说明实施例1所涉及的图像处理装置的整体结构的功能框图。
图4是说明实施例1所涉及的目标设定部的动作的示意图。
图5是说明实施例1所涉及的搜索部的动作的示意图。
图6是说明实施例1所涉及的搜索部的动作的示意图。
图7是说明实施例1所涉及的搜索部和矢量计算部的动作的示意图。
图8是说明实施例1所涉及的矢量图的示意图。
图9是说明实施例1所涉及的区块叠加部的动作的示意图。
图10是说明实施例1所涉及的图像生成部的动作的示意图。
图11是说明实施例1所涉及的图像生成部的动作的示意图。
图12是说明实施例1所涉及的图像生成部的动作的示意图。
图13是说明实施例1所涉及的权重设定部的动作的示意图。
图14是说明实施例1所涉及的权重设定部的动作的示意图。
图15是说明实施例1所涉及的权重设定部的动作的示意图。
图16是说明实施例1所涉及的权重设定部的动作的示意图。
图17是说明实施例1所涉及的权重设定部的动作的示意图。
图18是说明实施例1所涉及的权重设定部的动作的示意图。
图19是说明实施例1所涉及的矢量编辑部的动作的示意图。
图20是说明实施例1所涉及的矢量编辑部的动作的示意图。
图21是说明实施例1所涉及的矢量编辑部的动作的示意图。
图22是说明实施例1所涉及的矢量编辑部的效果的示意图。
图23是对本发明所涉及的一个变形例的结构进行说明的示意图。
图24是对本发明所涉及的一个变形例的结构进行说明的示意图。
图25是对本发明所涉及的一个变形例的结构进行说明的示意图。
图26是对本发明所涉及的一个变形例的结构进行说明的示意图。
图27是对本发明所涉及的一个变形例的结构进行说明的示意图。
图28是对本发明所涉及的一个变形例的结构进行说明的示意图。
图29是对本发明所涉及的一个变形例的结构进行说明的示意图。
图30是对本发明所涉及的一个变形例的结构进行说明的示意图。
图31是对本发明所涉及的一个变形例的结构进行说明的示意图。
图32是对本发明所涉及的一个变形例的结构进行说明的示意图。
图33是对本发明所涉及的一个变形例的结构进行说明的示意图。
图34是对本发明所涉及的一个变形例的结构进行说明的示意图。
图35是对本发明所涉及的一个变形例的结构进行说明的示意图。
图36是对本发明所涉及的一个变形例的结构进行说明的示意图。
图37是对本发明所涉及的一个变形例的结构进行说明的示意图。
图38是对本发明所涉及的一个变形例的结构进行说明的示意图。
图39是对本发明所涉及的一个变形例的结构进行说明的示意图。
图40是对本发明所涉及的一个变形例的结构进行说明的示意图。
图41是对本发明所涉及的一个变形例的结构进行说明的示意图。
图42是对本发明所涉及的一个变形例的结构进行说明的示意图。
图43是对本发明所涉及的一个变形例的结构进行说明的示意图。
图44是对本发明所涉及的一个变形例的结构进行说明的示意图。
图45是对本发明所涉及的一个变形例的结构进行说明的示意图。
图46是对本发明所涉及的一个变形例的结构进行说明的示意图。
图47是对本发明所涉及的一个变形例的结构进行说明的示意图。
图48是对本发明所涉及的一个变形例的结构进行说明的示意图。
图49是对本发明所涉及的一个变形例的结构进行说明的示意图。
图50是对本发明所涉及的一个变形例的结构进行说明的示意图。
具体实施方式
以下,对表示用于实施发明的方式的各实施例进行说明。实施例的X射线相当于本发明的放射线。本发明所涉及的图像处理装置是对通过连续地拍摄被检体而生成的图像进行噪声减轻处理的装置。
实施例1
对本发明的图像处理装置10的结构进行说明。本发明的图像处理装置10是被用作减轻实时图像的噪声的用途的装置。实时图像摄影是X射线摄影的一种,目的是将透视像拍摄成运动图像,因此实时图像为运动图像。在这种实时图像摄影中,被检体要长时间地暴露于X射线,因此为了抑制被检体的被辐射剂量,用于摄影的X射线的剂量被抑制得比较低。因而,实时图像具有S/N比差、含有很多统计噪声的倾向。
如图1所示,当对本发明的图像处理装置10输入实时图像V时,输出从实时图像V减轻噪声后的噪声减轻运动图像Vα。此时,图像处理装置10通过按构成实时图像V的每一帧进行图像处理来从各帧减轻噪声,将这些帧按时间序列的顺序进行接合来生成噪声减轻运动图像Vα。图像处理装置10对帧进行的图像处理具体是指,通过将某一帧与在其前一帧拍摄到的帧相叠加来抵消在各帧上随机出现的噪声,由此减轻帧上的噪声。通过这样,图1的用多个点表示的实时图像V上的噪声减轻,能够生成可视性提高的噪声减轻运动图像Vα。
图2表示由实施例1所涉及的图像处理装置10进行的图像处理的概要。实时图像V设为将相继拍摄到的帧进行接合而构成的图像。图2示出当输入帧中的第t个拍摄到的帧时输出减轻噪声后的帧的情形。在以下的说明中,决定将第t个帧称为原始图像It,将对第t个帧实施噪声减轻处理而得到的帧称为噪声减轻图像Ot。此外,只要没有事先说明,则以下的说明是对原始图像It进行噪声减轻处理时的说明。
图像处理装置10以每次生成帧时实施噪声减轻处理的结构为前提。图2示出对第t个帧实施图像处理的情形,但实际上图像处理装置10在进行图2的动作之前对第t-1个帧进行噪声减轻处理。决定将第t-1个帧称为参照图像It-1,将对第t-1个帧实施图像处理而得到的帧称为叠加对象图像Ot-1。该叠加对象图像Ot-1在进行原始图像It的处理的当前时刻只不过是中间图像,但在对第t-1个帧实施了图像处理时,该叠加对象图像Ot-1视为由图像处理装置10输出的噪声减轻图像Ot-1
参照图2可知,在图像处理装置10对第t个帧进行图像处理时,通过将叠加对象图像Ot-1叠加于作为该帧的原始图像It来生成噪声减轻图像Ot。但是,图像处理装置10并非单纯地将两个图像相叠加,而是进行如下动作:在基于原始图像It与参照图像It-1的比较来决定叠加方式之后进行叠加。该方式的决定方法是本发明的最具特征的部分,由后述的目标设定部11、搜索部12以及矢量计算部13来负责。它们的具体的动作后文叙述。目标设定部11相当于本发明的目标设定单元,搜索部12相当于本发明的搜索单元。
图3是具体地说明本发明的图像处理装置10的结构的功能框图。以下,参照该图对构成图像处理装置10的各部进行说明。
<目标设定部11的动作>
原始图像It被输入到图3所示的目标设定部11。如图4所示,目标设定部11将构成原始图像It的一个像素设定为关注像素。而且,将关注像素的周边的像素设定为周边像素。而且,将由关注像素和周边像素构成的像素的区块设定为目标区块T。在图4的例子中,目标区块T用纵向5个像素×横向5个像素的正方形的范围来表示。构成目标区块T的像素中的位于中心的一个像素是关注像素,位于其周围的24个像素是周边像素。
<搜索部12的动作>
搜索部12为以下结构:从在与原始图像It不同的时刻拍摄到的拍进了被检体的参照图像It-1中找出与目标区块T最相似的移动目的地区块R。更加详细地说明该搜索部12。表示目标区块T的信息、表示与该目标区块T对应的关注像素的位置的信息、原始图像It以及参照图像It-1被发送到搜索部12。图5示出搜索部12在参照图像It-1上设定针对目标区块T的搜索范围r的情形。搜索部12将参照图像It-1上的以相当于目标区块T的位置为中心且比目标区块T大的矩形的范围设定为搜索范围r。在图5中,用T(x、y)表示与关注像素(x、y)对应的目标区块,用r(x、y)表示与目标区块T(x、y)对应的搜索范围。
搜索范围r的广度是根据搜索部12所保持的设定值来决定的。搜索范围r的广度能够与关注像素的位置无关地设为相同。但是,对于位于原始图像It的端部的关注像素,由设定值决定的范围的一部分有时超出参照图像It-1,可能存在搜索范围r相应地变小的情况。
搜索部12从参照图像It-1上的搜索范围r(x、y)中找出与原始图像It上的目标区块T(x、y)中拍进的像相似的图案。这样,搜索部12在有限的搜索范围r中进行图案搜索,因此搜索操作短。
图6具体地示出由搜索部12进行的图案匹配的动作。如图6所示,搜索部12关注属于搜索范围r的与目标区块T相同的形状和大小的候选区块C,在将该候选区块C与目标区块T的中心相叠加时,利用在候选区块C和目标区块T中位于相同位置的各个像素来计算像素值的减法运算结果的绝对值,并计算利用各个像素计算出的绝对值的总和值。该总和值是表示区块之间相差多少的差异度S(C)。该差异度S(C)越大则表示区块之间的被拍进区块的像越不同,如图6所示,能够利用S(C)=Σ|Ti-Ci|来表示。Ti是构成目标区块T的各个像素的像素值,Ci是构成候选区块C的各个像素的像素值。i表示区块内的各个像素的位置。
搜索部12一边在搜索范围r(x、y)上使候选区块C的位置变更,一边计算各候选区块C所对应的差异度S(C)。图6右侧示出在候选区块C从搜索范围r(x、y)的左上方移动到右下方的期间内求出多个差异度的情形。
搜索部12选择各候选区块C中的差异度最小的候选区块,并将该候选区块确定为拍进了与被拍进目标区块T的像最相似的图案的候选区块。在进行该确定时,搜索部12利用了以下原理:目标区块T内的图案与候选区块C内的图案彼此越相似,则差异度S(C)越小。如果假设两个图案完全相同,则差异度S(C)为0,不存在更相似的图案。
搜索部12将与目标区块T(x、y)最相似的候选区块C设为移动目的地区块R(x、y),并将表示各区块在图像上的位置的数据发送到矢量计算部13。
<矢量计算部13的动作>
矢量计算部13基于由搜索部12进行搜索得到的搜索结果来计算表示目标区块T(x、y)的转移状况的矢量v(x、y)。搜索部12向矢量计算部13输出的表示目标区块T(x、y)的位置的数据具体是指位于目标区块T的中心的关注像素的位置。关注像素的位置具体是指坐标(x、y)。而且,搜索部12向矢量计算部13输出的表示移动目的地区块R(x、y)的位置的数据具体是指位于移动目的地区块R的中心的像素的位置。将该中心的像素的位置设为(a、b)。矢量计算部13计算起点为(x、y)、终点为(a、b)的矢量v(x、y)。该矢量v(x、y)为与原始图像It上的位于(x、y)位置的关注像素对应的矢量。图7示出矢量计算部13对目标区块(x、y)计算矢量v(x、y)的情形。
<矢量图mv的制作>
以上说明是与各部11、12、13对原始图像It上的位于(x、y)位置的关注像素进行的动作有关的说明。关注像素只不过是构成原始图像It的像素中的一个像素。在原始图像It上,例如位于关注像素(x、y)的右侧的像素(x+1、y)理应也具有与之对应的矢量v(x+1、y)。根据实施例1的结构,成为针对与构成原始图像It的所有像素计算所对应的矢量的结构。因而,与构成原始图像的像素的个数相应地各部11、12、13反复进行上述动作。
通过这样,针对构成原始图像It的各个像素计算与其对应的矢量。该矢量表示包围矢量的起点的5×5的原始图像It上的区块在参照图像It-1上移动到何处。原始图像It和参照图像It-1原本是相继地对被检体进行X射线摄影而得到的图像,因此虽然非常相似但拍进像的位置互不相同。而且,两个图像中拍进的像不会成为单纯地向一个方向移动的关系,根据图像的部分而向右侧移动、不移动、或向左侧移动,移动方向和移动的大小也各式各样。根据本发明的结构,通过以像素为单位计算表示像的移动方式的矢量来获取其复杂的移动方式。该矢量表示关注像素和包围该关注像素的区块的移动目的地,但为了简便,也可以设为表示关注像素的移动目的地。
由以上说明可知,计算出与构成原始图像It的像素相同个数的矢量。为了便于说明,将这些矢量汇总到一起并用如图8所示那样的矢量图mv来表现。仿照各矢量所对应的像素的配置来配置该矢量图mv。也可以替代矢量图mv而用表格等来管理各矢量。
<区块叠加部14的动作>
矢量图mv、原始图像It以及叠加对象图像Ot-1被发送到区块叠加部14。该区块叠加部14设置的目的在于通过对各目标区块T叠加相似的叠加对象区块G来减少目标区块T中拍进的噪声成分。区块叠加部14相当于本发明的叠加单元。
图9示出区块叠加部14对原始图像It上的位于(m、n)位置的像素进行区块叠加处理的情形。与该像素对应的目标区块T(m、n)与中心为(m、n)的纵横5×5的范围一致。区块叠加部14首先在原始图像It上掌握目标区块T(m、n)。然后,区块叠加部14参照属于矢量图mv的矢量v(m、n)来掌握目标区块T(m、n)在叠加对象图像Ot-1上移动到哪个位置,从而掌握相当于移动目的地的叠加对象区块G(m、n)。然后,将目标区块T(m、n)与叠加对象区块G(m、n)相叠加来生成融合区块F(m、n)。叠加对象区块G(m、n)的中心并不一定位于(m、n)的位置。
在此,需要注意的是计算矢量图mv时使用的图像与应用了矢量图mv的图像并不是相同的图像。即,所谓矢量图mv,就计算方法而言表示原始图像It的像如何移动而被拍进参照图像It-1。因而,矢量图mv乍一看与叠加对象图像Ot-1没有任何关系。
即便如此,在从叠加对象图像Ot-1中找出叠加对象区块G时使用了矢量图mv。区块叠加部14以这种动作果然能找出与目标区块T相似的区块。
叠加对象图像Ot-1说到底是与原始图像It-1对应的噪声减轻图像Ot-1。噪声减轻图像Ot-1是将原始图像It-1与叠加对象图像Ot-2相叠加而生成的图像。只是两个图像中拍进的被检体像不同。基于这种情况,进行叠加对象图像Ot-2的片断化,以片断上的像叠加于原始图像It-1的像的方式进行叠加而生成噪声减轻图像Ot-1。因而,在噪声减轻图像Ot-1中拍进与原始图像It-1中拍进的被检体像相同的像。两个图像的主要不同在于是否拍进了噪声,所拍进的被检体像相同。
也就是说,在对原始图像It进行处理时,如果在叠加对象图像Ot-1中应用基于参照图像It-1生成的矢量图mv,则应该会找到与原始图像It上的目标区块T相似的叠加对象图像Ot-1上的区块。
那么,还认为可以使用叠加对象图像Ot-1来生成矢量图mv。显然存在这种方法。但是,为了获知目标区块T的移动,期望使用与原始图像It等效的图像。叠加对象图像Ot-1是已经进行了噪声去除处理后的图像,叠加对象图像Ot-1不能说是与原始图像It等效的图像这一点不适于搜索处理。因而,在实施例1中,使用参照图像It-1来生成矢量图mv。
以上说明是与区块叠加部14对原始图像It上的位于(m、n)位置的像素进行的动作有关的说明。该像素只不过是构成原始图像It的像素中的一个像素。在原始图像It上,例如位于像素(m、n)的右侧的像素(m+1、n)理应也具有与之对应的融合区块F(m+1、n)。根据实施例1的结构,成为针对构成原始图像It的所有像素计算所对应的融合区块的结构。因而,与构成原始图像的像素的个数相应地区块叠加部14反复进行上述动作。
此外,也可以在将目标区块T(m、n)与叠加对象区块G(m、n)相叠加时加入规定的权重。即,能够调整权重的设定值,使得目标区块T(m、n)以叠加对象区块G(m、n)的二倍的浓度被拍进融合区块F(m、n)。在该情况下,反复执行的两个区块T、G的相加均以相同的权重来进行。这样,区块叠加部14使在叠加对象图像Ot-1上位于与移动目的地区块R相同的位置处的叠加对象区块G叠加于原始图像It上的目标区块T来生成融合区块F,其中,该叠加对象图像Ot-1在与参照图像It-1相同的位置处拍进了被检体像。
<图像生成部15的动作>
示出了由区块叠加部14生成的多个融合区块F。表示这些融合区块F的数据与表示融合区块F的位置的数据一起被发送到图像生成部15。图像生成部15相当于本发明的图像生成单元。
如图10所示,图像生成部15将各融合区块F相叠加来生成图像尺寸与原始图像It相同的叠加图像St。对此时的融合区块F的叠加方法进行说明。某个融合区块F(x、y)由配置为5×5的矩形的25个像素构成,中心的像素a位于(x、y)位置。图像生成部15将融合区块F(x、y)配置在叠加图像St的(x、y)位置。因而,中心的像素a配置在叠加图像St的(x、y)位置。同样地,图像生成部15将融合区块F(x+1、y)配置在叠加图像St的(x+1、y)位置。
此时,融合区块F(x、y)与融合区块F(x+1、y)理应互相重叠。对于该重叠的部分,图像生成部15通过进行像素值的加法运算来执行叠加。
那么,在位于叠加图像St的(x、y)位置的像素a处重叠有几个融合区块呢。融合区块F由25个像素构成。如图11所示,在具有像素a的融合区块F中既存在右下角具有像素a的区块,也存在右下角的左侧具有像素a的区块,也存在中心具有像素a的区块,也存在左上角具有像素a的区块。更为一般地说,像素a在设为-2≤m≤2、-2≤n≤2时所表示的25种融合区块F(x+m、y+n)中均出现。在叠加图像St中,这些融合区块F均叠加,因此在叠加图像St的像素a处多重叠加有25个融合区块F。
这种叠加图像St是与原始图像It相差悬殊的存在。即,像素值高到原始图像It的25倍左右。融合区块F是以该倍数相应的量具有与原始图像It相等的像素值的图像片断。构成叠加图像St的像素通过层叠25个该融合区块F而构成,因此像素值也应为25倍左右。
因此,如图12所示,本发明的图像生成部15通过对叠加图像St进行除法运算处理来使像素值的水平回落到与原始图像It相同的程度。此外,在叠加图像的端部,还可能存在融合区块F的层叠个数比25个少的情况。因而,图像生成部15基于表示根据叠加图像St的部位叠加几个融合区块F的叠加状况图,按每个像素边改变边执行叠加图像St的除法运算处理。尽管如此,图像生成部15针对位于叠加图像St的中心部的像素的大部分进行将像素值除以25的处理。
除法运算处理后的图像正是噪声减轻图像Ot。该噪声减轻图像Ot为从原始图像It去除了噪声成分后的图像,并作为构成噪声减轻运动图像Vα的帧而从图像处理装置10输出。另外,该噪声减轻图像Ot为针对原始图像It+1进行噪声减轻处理的情况下的叠加对象图像。该噪声减轻处理中的参照图像It与图2所涉及的原始图像It相同。
在已完成的噪声减轻图像Ot中拍进与原始图像It相同的被检体像,因此对其理由进行说明。噪声减轻图像Ot是将原始图像It与叠加对象图像Ot-1相叠加而构成的。原始图像It中拍进的被检体像与叠加对象图像Ot-1中拍进的被检体像并非完全相同的像,局部发生了位置偏移。图像处理装置10在校正该位置偏移后进行两个图像的叠加。即,在生成融合区块F时,理应已进行了原始图像It与叠加对象图像Ot-1的位置偏移的校正。也就是说,叠加对象图像Ot-1在被校正成所拍进的像与原始图像It对应之后叠加于原始图像It
另一方面,从原始图像It来看,图像处理装置10的处理只不过是在将原始图像暂时变为细小的片断之后,将该片断再次恢复为一个图像的处理。因而,噪声减轻图像Ot成为从被拍进原始图像It的像中仅去除了噪声成分那样的图像,两个图像中拍进的被检体像相同。这种情况也成为叠加对象图像Ot-1和原始图像It-1中拍进了相同的被检体像的原因。
通过这样,随着一边改变关注像素的位置一边依次设定目标区块T,图像生成部15使融合区块F依次在图像上重叠,由此生成减轻被拍进原始图像It的噪声后的噪声减轻图像Ot。此时,图像生成部15进行动作,使得噪声减轻图像Ot上的融合区块F的位置为与原始图像It上的目标区块T的位置相同的位置。
这样,图像生成部15对不同的关注像素进行以使融合区块F中的关注像素的位置与原始图像It相同的方式将融合区块F配置在图像上的动作,由此生成减轻被拍进原始图像It的噪声后的噪声减轻图像Ot。然后,图像生成部15在使融合区块F一边重叠一边相加之后,将图像上的像素的像素值除以表示在该像素处融合区块F相加几次的累计次数。由此生成噪声减轻图像Ot
<其它结构>
以上说明是本发明所涉及的图像处理装置的基本动作。本发明的结构除了进行上述动作以外还进行追加的动作,由此能够进行符合各种目的的图像处理。因而,以下要说明的权重设定部16、矢量编辑部17能够根据需要来进行适当动作或不进行动作。
<权重设定部16>
权重设定部16为与区块叠加部14将原始图像It上的目标区块T与叠加对象图像Ot-1上的叠加对象区块G相叠加时相关联的结构。该权重设定部16将按每个目标区块T变更叠加方式的设定值输出到区块叠加部14。区块叠加部14针对每个目标区块T以不同的方式执行叠加。
即,在不使权重设定部16进行动作的结构中,区块叠加部14以如下方式进行动作:基于固定的权重将两个区块T、G相叠加,由此针对所有目标区块T以相同浓度叠加叠加对象区块G。当使权重设定部16进行动作时,区块叠加部14能够针对某个目标区块T进行将叠加对象区块G更浓地叠加的动作,也能够针对其它目标区块T进行将叠加对象区块G更淡地叠加的动作。
在该权重设定部16的动作中存在多个方式。以下,详细地说明各方式。
<权重设定部16的动作:以像素为单位改变权重的方式>
图13说明了权重设定部16通过以像素为单位改变权重的方式进行动作的情况。在该图13中示出以下情形:将叠加对象区块G(x、y)的左上端的像素a叠加于在原始图像It中位于(x、y)位置的目标区块T(x、y)的左上端的像素A。此时,区块叠加部14从权重设定部16接收与目标区块T(x、y)上的像素A对应的权重的设定值βA,并以使融合区块F(x、y)的左上端的像素为像素A×(1-βA)与像素a×βA之和的方式进行叠加动作。如果假设βA为0,则完全不将叠加对象区块G(x、y)的像素a叠加于目标区块T(x、y)的像素A就生成融合区块F。另外,如果将βA设为0.5,则目标区块T(x、y)的像素A与叠加对象区块G(x、y)的像素a以相同的强度相叠加来生成融合区块F的左上端的像素。即,随着β变大,叠加对象区块G的像素a的叠加逐渐变强。基于像这样生成的融合区块F生成的噪声减轻图像Ot根据部分的不同而或浓或淡地叠加有叠加对象图像Ot-1
权重设定部16为以下结构:参照目标区块T上的各像素与设定值β相关联的表格,将与区块叠加部14想要进行叠加的目标区块T的某个像素对应的设定值β发送到区块叠加部14。因而,表格具有与目标区块T的个数相应的个数。在目标区块T之间不使用共用的表格。
原始图像It的某个像素A属于目标区块T(x、y)。在目标区块T(x、y)与叠加对象区块G(x、y)叠加时,像素A与像素a互相叠加。该叠加的权重的设定值是βA。如后述那样,该βA由像素A的像素值和像素a的像素值决定。另外,该像素A也属于目标区块T(x-1、y)。在目标区块T(x-1、y)与叠加对象区块G(x-1、y)叠加时,像素A与叠加对象图像Ot-1上的某个像素相叠加。无法保证该叠加的像素与之前的像素a相同。这是由于,搜索部12针对目标区块T分别单独进行搜索,因此目标区块T(x、y)的搜索结果与目标区块T(x-1、y)的搜索结果相互独立。
叠加对象区块G(x-1、y)上的像素中的叠加于像素A的像素设为与像素a不同的像素α。像素a与像素α为互不相同的像素,因此像素值大多互不相同。在目标区块T(x-1、y)与叠加对象区块G(x-1、y)叠加时,像素A与像素α互相叠加。该叠加的权重的设定值βα由像素A的像素值和像素α的像素值决定。这就是说,即使是相同的像素A的叠加,如果目标区块T不同,则设定值β也有可能不同。因而,需要按每个目标区块T计算设定值β。针对一个像素A反复计算出与目标区块T的个数对应的个数的设定值β。
图14表示在目标区块T(x、y)接受叠加处理时权重设定部16所参照的设定值β的表格Tβ(x、y)。在该表格Tβ(x、y)中排列有某个像素A、B…所固有的设定值βA、βB、…。该表格Tβ(x、y)存储于存储部20。
权重设定部16在区块叠加部14进行与区块的叠加有关的动作之前生成了表格Tβ(x、y)。对该表格Tβ(x、y)的生成方法进行说明。图15示出在权重设定部16生成表格Tβ(x、y)时所参照的像素值差的绝对值|A-a|与权重的设定值β的关系性。表示该关系性的数据存储于存储部20。
绝对值|A-a|是表示各像素相差多少的指标。如果该绝对值|A-a|高,则像素值的差异大,像素A相对于像素a不同。
观察图15可知,绝对值|A-a|与β的关联性被设定为绝对值|A-a|越小则β越大。绝对值|A-a|小表示目标区块T上的像素A与叠加对象区块G上的像素a彼此相似。这就是说能够认为两个像素所呈现的被检体像相似,即使将像素a较浓地叠加于像素A也不会引起像的重影。根据本发明的结构,在这种情况下,增大β来可靠地消除像素A上的噪声。
另一方面,绝对值|A-a|大表示目标区块T上的像素A与叠加对象区块G上的像素a互不相同。这就是说两个像素所呈现的被检体像不同,因此如果反复进行将像素a较浓地叠加于像素A的动作,则在作为动作结果而得到的噪声减轻图像Ot中被检体像被拍出重影。因此,根据本发明的结构,在这种情况下,减小β来抑制被检体像的重影。
这样,根据以像素为单位来改变权重的方式,区块叠加部14为以下结构:从权重设定部16获取权重的设定值β,按构成融合区块F的每个像素来以各自的权重将原始图像It上的目标区块T的像素与所对应的叠加对象图像Ot-1上的叠加对象区块G的像素相叠加。随着属于目标区块T的像素的像素值与叠加对象区块上的对应像素的像素值之差的绝对值变大,以使融合区块F逐渐地不继承叠加对象区块G的方式变更叠加的权重。
根据上述结构,权重设定部16在设定值β的设定中使用了属于叠加对象图像Ot-1上的叠加对象区块G的像素的像素值,但也可以替代属于叠加对象区块G的像素的像素值而将属于参照图像It-1上的移动目的地区块R的像素的像素值用于设定值β的设定。
<权重设定部16的动作:以区块为单位改变权重的方式>
上述方式是以像素为单位改变叠加的权重的结构。本发明并不限于这种结构。图16说明权重设定部16通过以区块为单位改变权重的方式来进行动作的情况。在该图16中示出在原始图像It中位于(x、y)位置的目标区块T(x、y)上叠加有叠加对象区块G(x、y)的情形。此时,区块叠加部14从权重设定部16接收与目标区块T(x、y)对应的权重的设定值γx、y,以使融合区块F(x、y)成为目标区块T×(1-γx、y)与叠加对象区块G×γx、y之和的方式来进行叠加动作。
如果假设将γx、y设为0,则完全不将叠加对象区块G(x、y)叠加于目标区块T(x、y)就生成融合区块F。另外,如果将γx、y设为0.5,则目标区块T(x、y)与叠加对象区块G(x、y)以相同的强度叠加来生成融合区块F。即,随着γ变大,叠加对象区块G的叠加逐渐变强。
权重设定部16为以下结构:参照目标区块T与设定值γ相关联的表格,将与区块叠加部14想要进行叠加的目标区块T对应的设定值γ发送到区块叠加部14。基于像这样生成的融合区块F生成的噪声减轻图像Ot根据部分的不同被或浓或淡地叠加叠加对象图像Ot-1
图17表示权重设定部16所参照的设定值γ的表格Tγ。在该表格Tγ中,某个目标区块T(a、b)中排列有固有的设定值γ(a、b)。该表格Tγ存储于存储部20。
权重设定部16在区块叠加部14进行与区块的叠加有关的动作之前生成表格Tγ。对该表格Tγ的生成方法进行说明。将在原始图像It中位于(x、y)位置的目标区块T(x、y)中央的像素设为代表像素M,将叠加对象区块G(x、y)的中央的像素设为代表像素m。图18示出在权重设定部16生成表格Tγ时所参照的代表像素值差的绝对值|M-m|与权重的设定值γ的关系性。表示该关系性的数据存储于存储部20。
绝对值|M-m|是表示目标区块T的代表像素与叠加对象区块G的代表像素相差多少的指标。如果该绝对值|M-m|高,则代表像素值的差异大,代表像素M相对于代表像素m不同。权重设定部16在求出针对某个目标区块T(a、b)的权重的设定值γ(a、b)时使用叠加对象区块(a、b)的绝对值|M-m|a、b。即,权重设定部16在图18所示的关联性中读出与绝对值|M-m|a、b对应的权重的设定值γ,并将该设定值γ设为与目标区块T(a、b)对应的设定值γa、b
观察图18可知,绝对值|M-m|与γ的关联性被设定为绝对值|M-m|越小则γ越大。绝对值|M-m|小表示目标区块T与叠加对象区块G彼此相似。这就是说两个区块所呈现的被检体像相似,因此即使将叠加对象区块G较浓地叠加于目标区块T,也不会引起像的重影。根据本发明的结构,在这种情况下,增大γ来可靠地消除目标区块T上的噪声。
另一方面,绝对值|M-m|大表示目标区块T与叠加对象区块G互不相同。这就是说两个区块所呈现的被检体像不同,因此如果将叠加对象区块G较浓地叠加于目标区块T时,则像会重影。因此,根据本发明的结构,在这种情况下,减小γ来抑制被检体像的重影。
像这样生成的噪声减轻图像Ot在某个部分较浓地叠加叠加对象图像Ot-1以可靠地使噪声成分不明显,另外,在其它部分较淡地叠加叠加对象图像Ot-1以使像的重影不明显。因而,根据具备权重设定部16的结构,能够获取可视性更优良的噪声减轻图像Ot
这样,根据以区块为单位改变权重的方式,区块叠加部14为以下结构:从权重设定部16获取权重的设定值γ,每次生成融合区块F时以各自的权重将原始图像It上的目标区块T与叠加对象图像Ot-1上的叠加对象区块G相叠加。随着目标区块T上的代表像素值与叠加对象区块G上的代表像素值的差的绝对值|M-m|变大,以使融合区块F逐渐地不继承叠加对象区块的方式变更叠加的权重。
根据上述结构,权重设定部16在设定值γ的设定中使用了属于叠加对象图像Ot-1上的叠加对象区块G的像素的像素值,但也可以替代属于叠加对象区块G的像素的像素值而将属于参照图像It-1上的移动目的地区块R的像素的像素值用于设定值γ的设定。
本发明的结构为除了权重设定部16以外还能够进行追加的动作。以下,对与矢量图mv的生成有关的矢量编辑部17的结构进行说明。矢量编辑部17相当于本发明的编辑单元。
<矢量编辑部17的动作>
矢量图mv是由表示原始图像It上的目标区块T移动到参照图像It-1上的何处的矢量构成的图。被检体像在参照图像It-1与叠加对象图像Ot-1之间没有变化,因此矢量图mv示出叠加对象图像Ot-1上的目标区块T的移动目的地。但是,该矢量图mv存在如下问题。
即,矢量图mv是从多个候选区块C中选择与目标区块T最相似的候选区块并将其决定为与目标区块T对应的移动目的地区块R而生成的。因而,当将与移动目的地区块R对应的叠加对象区块G叠加于目标区块T时,存在目标区块T上的噪声反而明显的情况。特别是在原始图像上分布了许多噪声成分的情况下经常引发这种现象。
搜索部12强制性地从候选区块C中搜索与目标区块T相似的候选区块。当目标区块T中拍进强烈的噪声时,搜索部12要从参照图像内部找出该噪声的图案。于是,搜索部12将与目标区块T中拍进的噪声成分的图案最相似的候选区块C识别为移动目的地区块R。在矢量图mv中还包含这种通过强制性地选择移动目的地区块R而得到的结果。
这样,如果使搜索部12强制性地选择移动目的地区块R,则还会出现以下情况:由于被拍进的噪声成分与目标区块T的噪声成分相似而选择出移动目的地区块R。在这种情况下,当将两个区块叠加时,结果是噪声成分叠合增强,反而使噪声明显。在原始图像It中S/N比低的情况下发生这种噪声叠合增强的现象,在原始图像It中的噪声成分表现强烈的部分以外的部分,在目标区块T中没有拍进被检体像的情况下也会发生这种噪声叠合增强的现象。
为了弥补搜索部12的这种缺点,矢量编辑部17找出矢量图mv上的以目标区块T的关注像素为起点、以与目标区块T无意义地相似的移动目的地区块R中心为终点的矢量,通过将该矢量变更为零矢量来编辑矢量图mv。
矢量编辑部17使用原始图像It和参照图像It-1来验证构成矢量图mv的各矢量。图19示出矢量编辑部17对矢量图mv的位于(x、y)位置的矢量进行验证的情形。矢量编辑部17首先从搜索部12获取目标区块T(x、y)与移动目的地区块R(x、y)之间的差异度S(R)x、y。图19的上侧示意性地表示差异度S(R)x、y的计算的情形。
接着,矢量编辑部17对参照图像It-1上的以(x、y)位置为中心且与目标区块T相同大小、相同形状的区块进行识别。该区块是在参照图像It-1上位于与原始图像It上的目标区块T相同位置的区块,称为同位置区块O(x、y)。与使用移动目的地区块R生成融合区块F相比,使用该同位置区块O生成融合区块F有时会提高噪声减轻图像Ot的图像质量。这是由于,当将与移动目的地区块R对应的叠加对象区块G叠加于目标区块T时,如上所述那样存在各个区块中拍进的噪声成分叠合增强的情况。在这种情况下,将位于目标区块T的同一位置上的叠加对象图像Ot-1上的区块相叠加来生成融合区块F适于消除各个区块中拍进的噪声成分。这是由于,运动图像中拍进的噪声成分始终不稳定,各帧的特定的一部分拍进的噪声成分的图案随时间经过变化而不会相同。问题在于,在生成融合区块F时如何判断是否使用同位置区块O。矢量编辑部17使用差异度S(R)、S(O)来进行该判断。
矢量编辑部17在目标区块T(x、y)与同位置区块O(x、y)之间计算差异度S(O)x、y。因而,能够用S(O)=Σ|Ti-Oi|来表示。Ti是构成目标区块T的各个像素的像素值,Oi是构成同位置区块O的各个像素的像素值。i表示区块内的各个像素的位置。图19的下侧示意性地表示计算差异度S(O)x、y的情形。
矢量编辑部17在移动目的地区块R(x、y)所涉及的差异度S(R)x、y与同位置区块O(x、y)所涉及的差异度S(O)x、y之间进行比较。同位置区块O(x、y)实际上在搜索部12搜索移动目的地区块R时是候选区块C。存在以下情况:该同位置区块O(x、y)曾经是可能与目标区块T(x、y)最相似的候选区块C,然而最终没有被选择为最相似的候选区块C。因而,在同位置区块O(x、y)与移动目的地区块R(x、y)位于不同位置的情况下,差异度S(R)x、y必然比差异度S(O)x、y小。
问题是差异度S(R)x、y是否可以说显著小于差异度S(O)x、y。图20的左侧示出差异度S(R)x、y显著低于差异度S(O)x、y的情况。同位置区块O(x、y)是在考虑目标区块T(x、y)位于参照图像It-1上的何处时一开始被认为是候选的区块。这是由于,原始图像It和参照图像It-1是连拍图像,因此原始图像It上的被检体像在参照图像It-1上应该不会移动到远处。与这种同位置区块O(x、y)相比移动目的地区块R(x、y)显著地相似于目标区块T(x、y)的情况说明移动目的地区块R(x、y)的选择的可靠性高。
另一方面,如图20的右侧所示,在差异度S(R)x、y与差异度S(O)x、y相似的情况下,与同位置区块O(x、y)相比移动目的地区块R(x、y)并非显著地相似于目标区块T(x、y),移动目的地区块R(x、y)的选择的可靠性低。
具体地说,在差异度S(O)x、y/差异度S(R)x、y为固定值以上的情况下,矢量编辑部17识别为矢量图mv上的位于(x、y)位置的矢量的可靠性高,在差异度S(O)x、y/差异度S(R)x、y与固定值相同或为固定值以下的情况下,矢量编辑部17识别为矢量的可靠性低。
矢量编辑部17对矢量图mv上的所有矢量进行上述验证,对矢量图mv进行将可靠性低的矢量v(a、b)如图21所示那样变更为零矢量的编辑。因而,针对已进行矢量的重写后的(a、b)的位置,区块叠加部14如图22所示那样使叠加对象图像Ot-1中的叠加对象区块G(x、y)成为与原始图像It中的目标区块T相同的位置。
即,本发明的图像处理装置为以下结构:在通过矢量编辑部17在参照图像It-1上没有发现与目标区块T有意义地相似的区块的情况下,将叠加对象图像Ot-1上的相当于与原始图像It上的目标区块T相同的位置的区块叠加于目标区块T。通过这样,能够防止将叠加对象图像Ot-1上的与目标区块T无意义地相似的区块叠加于目标区块T而导致噪声减轻图像Ot紊乱。
叠加对象图像Ot-1上的相当于与原始图像It上的目标区块T相同的位置的区块保证了某种程度的相似性。这是由于,原始图像It与拍摄到叠加对象图像Ot-1中拍进的被检体像的参照图像It-1是连拍照片。与此相比,在从多个候选区块C中找出与目标区块T相似的区块的情况下,要进行差异度的比较。该方法仅将差异度用于相似性的指标,因此当仅基于此进行区块的叠加时,发生错误的可能性高。因此,根据本发明,避免了在不能说差异度S(R)足够低于差异度S(O)时决定为移动目的地区块R与目标区块T相似。根据本发明的结构,在这种情况下,通过将叠加对象图像Ot-1上的相当于与目标区块T相同的位置的区块设为叠加的对象,来避免大的错误,从而提高噪声减轻图像Ot整体的可靠性。
这样,矢量编辑部17设定在参照图像It-1中位于目标区块T的位置的同位置区块O,在与同位置区块O相比移动目的地区块R未显著地相似于目标区块的情况下,对作为搜索单元的输出的矢量图mv进行使由搜索部12找出的移动目的地区块R为同位置区块O的重写。
各部11、12、13、14、15、16、17通过执行各种程序的CPU来实现。各部11、12、13、14、15、16、17也可以通过负责各部的单独的处理装置来实现。
如上所述,根据本发明,能够提供一种能够可靠地去除构成实时图像V的各帧的噪声的图像处理装置10。即,根据本发明,成为以下结构:在原始图像It上设定目标区块T,搜索该目标区块T拍进叠加对象图像Ot-1的何处。如果设为像这样从叠加对象图像Ot-1中找出目标区块T的转移目的地,则能够一边在叠加对象图像Ot-1上跟踪原始图像It上的被检体像一边进行图像之间的叠加,因此被检体不会由于叠加而被重影地拍进。
另外,根据本发明,以区块为单位进行被检体像的跟踪,由于针对一个像素反映出多个跟踪结果并校正误跟踪,因此与按每个像素分别搜索移动目的地的以往方法相比,可靠性变得格外高。
另外,根据上述结构,在使融合区块F一边重叠一边相加之后,将图像上的像素的像素值除以表示在该像素处融合区块F相加几次的累计次数。如果这样,则能够生成可靠性更高的噪声减轻图像Ot
对其理由进行说明。构成噪声减轻图像Ot的各个像素的像素值是将目标区块T与叠加对象区块G相叠加而得到的结果。叠加对象区块G应该是拍进与目标区块T中拍进的被检体像相同的像的区块,但常发生以下情况:如果搜索部12发生移动目的地区块R的错误识别,则叠加对象图像Ot-1中的与叠加对象区块G不匹配的部分被选择为叠加对象区块G。
根据上述结构,构成噪声减轻图像Ot的各像素并非基于一个叠加对象区块G来构成。即,各像素是不同的叠加对象区块G多重叠加而构成的。因而,即使发生了叠加对象区块G的错误识别,噪声减轻图像Ot中的影响也有限。这是由于,错误识别所涉及的叠加对象区块G只不过是多重叠加的若干个叠加对象区块G中的一个。
根据本发明,在融合区块F相加之后,将各像素的像素值除以融合区块F的累计次数来生成噪声减轻图像,因此噪声减轻图像的像素值水平与原始图像It大致相同。
另外,区块叠加部14设为按构成融合区块F的每个像素以各自的权重将原始图像It上的目标区块T的像素与所对应的叠加对象图像Ot-1上的叠加对象区块G的像素相叠加的结构,如果随着属于目标区块T的像素的像素值与叠加对象区块G上的对应像素的像素值之差的绝对值变大,以使融合区块F逐渐地不继承叠加对象区块的方式变更叠加的权重,则对于在原始图像It中被检体像的运动剧烈的部分,叠加对象图像Ot-1的叠加轻微。如果这样,则能够更加可靠地防止在噪声减轻图像中被检体像发生重影化。
在按每个像素变更权重的方法中,图像处理过于耗费时间。因此,如果随着目标区块T上的像素值与叠加对象区块G上的像素值之差的绝对值变大,以使融合区块F逐渐地不继承叠加对象区块G的方式变更叠加的权重,则权重的变更以区块为单位,因此能够更高速地进行图像处理。
另外,根据本发明的矢量编辑部17,具有如下效果。在原始图像上的目标区块T和参照图像上的同位置区块这两个区块中,在两个区块中拍进的被检体像没有移动或两个区块中原本就没有拍进被检体像的情况下,参照图像It-1上的同位置区块是保证了某种程度上与目标区块T相似的状态。因而,在生成融合区块F时,有时与利用搜索部12从叠加对象图像Ot-1中找出与目标区块T对应的区块并进行叠加相比,在将叠加对象图像Ot-1中的相当于目标区块T的部分直接叠加的情况下可视性变得更好。
根据上述结构,在规定条件的情况下,放弃搜索部12的搜索结果,将叠加对象图像Ot-1中的相当于目标区块T的部分直接叠加,而不会将虽然原本没有移动但由于与目标区块T相似而被认定为已移动的叠加对象区块G进行叠加来生成融合区块F,从而噪声减轻图像的可视性变得更好。
本发明并不限于上述结构,能够如下述那样变形并实施。
(A)根据上述结构,对构成原始图像It的各个目标区块T分别进行同样的搜索动作,但本发明并不限于该结构。即,也可以对某个目标区块T预先搜索移动目的地区块R,在其后面的目标区块T的搜索中反映之前的搜索结果。
图23说明了基于本变形例的动作。目标设定部11将作为构成原始图像It的一个像素的像素p设为关注像素来设定目标区块T。搜索部12例如将参照图像It-1的整面设为搜索范围r来进行目标区块T的搜索。通过这样,能够可靠地发现目标区块T在参照图像It-1上的移动目的地。并未特别地限定像素p的决定方法。例如可以预先设定像素p的位置或者使操作者选择像素p的位置。另外,也可以通过微分处理来提取图像上的特征点并将其设为像素p。而且,还可以将被检体的骨骼的一部分等在图像上显著的点设为像素p。
图24示出以下状态:将位于像素p的附近的像素q设为关注像素来设定目标区块T,并想要从参照图像It-1上搜索该区块的移动目的地。在该情况下,搜索部12首先在原始图像It上识别像素q如何远离像素p。此时,设为像素q在横向上与像素p相距kx,在纵向上与像素p相距ky。
从参照图像It-1上的点p的移动目的地起在横向上相距kx、在纵向上相距ky的像素s的附近应该存在像素q的移动目的地。搜索部12在从参照图像It-1找出与将像素q设为关注像素的目标区块T对应的移动目的地区块R时,不从整个图像区域进行搜索,而是以像素s为中心来确定搜索范围r并在该范围内执行搜索。
即,本变形例的搜索部12基于准确性优先模式和速度优先模式这两种模式来进行动作,该准确性优先模式是针对某个关注像素遍及参照图像It-1中的大范围地进行移动目的地区块R的搜索的模式,该速度优先模式是基于准确性优先模式的搜索结果针对与成为准确性优先模式的处理对象的关注像素不同的关注像素遍及参照图像It-1中的小范围地进行移动目的地区块R的搜索的模式,在速度优先模式下,以如下方式进行动作:基于成为准确性优先模式的处理对象的关注像素与在准确性优先模式的搜索中发现的关注像素在参照图像It-1上的移动目的地的像素之间的位置关系,在参照图像It-1上预期成为当前搜索对象的关注像素的移动目的地的位置,并遍及包围所预期的位置的范围地搜索移动目的地区块R。
根据本变形例的结构,搜索部12在虽然准确但耗费时间的准确性优先模式下对原始图像It上的有限的关注像素进行搜索。通过该模式发现的移动目的地区块R的中心理应准确地表示关注像素的移动目的地。因而,要说在原始图像It上位于该关注像素的周边的像素在参照图像It-1上处于何处,则肯定是位于该关注像素在参照图像It-1上的移动目的地的像素的周边。因此,在对这种周边的像素进行搜索的情况下,仅搜索移动目的地的像素的周边。该模式是速度优先模式。如果设为这种结构,则搜索部12能够进行兼具高速性和准确性这两方面的搜索动作。
(B)根据上述结构,原始图像It和参照图像It-1是相继地连拍而得到的图像,但本发明并不限于该结构。如图25所示,作为参照图像,能够使用图像Ot-1来替代图像It-1。该图像Ot-1是图像It-1的噪声减轻图像。
(C)根据上述结构,叠加对象图像是图像It-1的噪声减轻图像Ot-1,但本发明并不限于该结构。如图26所示,作为叠加对象图像,能够使用图像It-1来替代图像Ot-1。该图像It-1和原始图像It是相继地连拍而得到的图像,图像It-1是先拍摄的。
(D)根据上述结构,原始图像It和参照图像It-1是相继地连拍而得到的图像,叠加对象图像是图像It-1的噪声减轻图像Ot-1,但本发明并不限于该结构。如图27所示,作为参照图像,能够使用图像Ot-1来替代图像It-1,作为叠加对象图像,能够使用图像It-1来替代图像Ot-1。该图像Ot-1是图像It-1的噪声减轻图像,图像It-1和原始图像It是相继地连拍而得到的图像。图像It-1是比原始图像It先拍摄的。
即,本发明的图像处理装置10能够进行:(a1)将叠加对象图像设为对在原始图像It之前拍摄到的图像进行了图像处理时获得的噪声减轻图像,(b1)将参照图像设为在原始图像It之前拍摄到的图像。另外,本发明的图像处理装置10能够进行:(a1)将叠加对象图像设为对在原始图像It之前拍摄到的图像进行了图像处理时获得的噪声减轻图像,(b2)将参照图像设为与在原始图像It之前拍摄到的图像对应的噪声减轻图像。
同样地,本发明的图像处理装置10能够进行:(a2)将叠加对象图像设为在原始图像It之前拍摄到的图像,(b1)将参照图像设为在原始图像It之前拍摄到的图像。另外,本发明的图像处理装置10能够进行:(a2)将叠加对象图像设为在原始图像It之前拍摄到的图像,(b2)将参照图像设为与在原始图像It之前拍摄到的图像对应的噪声减轻图像。
(E)根据上述结构,在权重的设定中使用了原始图像上的目标区块T和叠加对象图像上的像素值,但本发明并不限于该结构。如图28所示,在权重的设定中也可以使用原始图像上的目标区块T和参照图像上的移动目的地区块R的像素值。如图29所示,上述变形例(D)也同样。
如上所述,本发明的图像处理装置能够选择各种方式来实现。这种高选择性有助于提高图像处理的自由度。图像处理装置10为对构成实时图像的帧连续地进行噪声减轻处理的结构。也可以构成为利用在图2、图25、图26、图27、图28、图29中说明过的4种方法中的任一种方法来进行各噪声减轻处理。
<其它变形例>
图30为示意性地描述实施例1所涉及的图像处理的图。原始图像中拍进的1到9的编号表示图像中拍进的像。参照图像中也拍进了1到9的编号,但拍进的位置与原始图像的位置不同。在叠加对象图像中拍进上述1到9的编号的拍进位置与参照图像上的位置相同。在实施例1所涉及的图像处理中,首先利用目标设定部11将原始图像的一部分设定为目标区块T。在图30中,目标区块T被设定为包围数字5的范围。搜索部12在参照图像内搜索与目标区块T中拍进的数字5相同的图案。通过搜索发现的区域是移动目的地区块R。区块叠加部14对与移动目的地区块R对应的叠加对象图像上的范围、即叠加对象区块G进行识别,将该叠加对象区块G叠加于原始图像上的目标区块T来生成融合区块F。通过在原始图像上的其它位置也执行这种动作来生成多个融合区块F。图像生成部15通过使这些融合区块F多重重叠来生成噪声减轻图像。
以上是实施例1所涉及的图像处理的概要。对将该结构的一部分变更后的各种变形例进行说明。
(1)在图30中,将移动目的地区块R和叠加对象区块G设为相同大小,但本发明并不限于该结构。也能够设为移动目的地区块R比叠加对象区块G大的结构。图31说明了该变形例。目标设定部11在原始图像上设定大的目标区块T(大小与移动目的地区块R相同)。
搜索部12从参照图像中找出具有目标区块T中拍进的图案的范围,并设定移动目的地区块R。区块叠加部14对与移动目的地区块R对应的叠加对象图像上的范围、即叠加对象区块G进行识别。但是,此时的叠加对象区块G为比移动目的地区块R小的范围。虽然移动目的地区块R与叠加对象区块G大小不同,但两者是区块的中心在各图像之间处于相同位置的同一形状的像素区块。区块叠加部14在原始图像上设定小的原始图像上叠加区块Itg(大小与叠加对象区块G相同)。虽然原始图像上叠加区块Itg比目标区块T小,但两者是将原始图像上的关注像素保持为中心的同一形状的像素区块。
实际上,原始图像上叠加区块Itg与叠加对象区块G为相同大小的同一形状的像素区块。区块叠加部14将原始图像上叠加区块Itg与叠加对象区块G相叠加来生成融合区块F。这样,根据本变形例,成为区块叠加部14所涉及的叠加对象区块G的范围比目标区块T和移动目的地区块R的范围小的结构。
如果进行这种动作,则能够在评价比叠加对象区块G靠外侧的区域之后决定叠加对象区块G,因此能够以更高的可靠性来执行融合区块F的生成。
(2)在图30中,将移动目的地区块R与叠加对象区块G设为相同大小,但本发明并不限于该结构。还能够设为叠加对象区块G比移动目的地区块R大的结构。图32说明了该变形例。目标设定部11在原始图像上设定小的目标区块T(大小与移动目的地区块R相同)。
搜索部12从参照图像中找出具有目标区块T中拍进的图案的范围,并设定移动目的地区块R。区块叠加部14对与移动目的地区块R对应的叠加对象图像上的范围、即叠加对象区块G进行识别。但是,此时的叠加对象区块G为比移动目的地区块R大的范围。虽然移动目的地区块R与叠加对象区块G大小不同,但两者是区块的中心在各图像之间处于相同位置的同一形状的像素区块。区块叠加部14在原始图像上设定大的原始图像上叠加区块Itg(大小与叠加对象区块G相同)。虽然原始图像上叠加区块Itg比目标区块T大,但两者是将原始图像上的关注像素保持为中心的同一形状的像素区块。
实际上,原始图像上叠加区块Itg和叠加对象区块G为相同大小的同一形状的像素区块。区块叠加部14将原始图像上叠加区块Itg与叠加对象区块G相叠加来生成融合区块F。这样,根据本变形例,成为区块叠加部14所涉及的叠加对象区块G的范围比目标区块T和移动目的地区块R大的结构。
如果进行这种动作,则能够生成进一步去除噪声后的噪声减轻图像。这是由于,如果增大融合区块F,则在生成噪声减轻图像时被多重叠加的像素增多。图33说明了这种情况。图33的左侧示出了融合区块F小的情况。融合区块F只有纵2×横2的大小,因此噪声减轻图像上的某个像素只不过是多重重叠有4个融合区块F。另一方面,图33的右侧示出融合区块F大的情况。融合区块F具有纵3×横3的大小,因此噪声减轻图像上的某个像素多重重叠有9个融合区块F。
在从原始图像去除噪声的情况下,期望在噪声减轻图像上的像素多重重叠的融合区块F的个数多。这是由于,融合区块F的个数越多,像素上的噪声越被平均化而被消除。因而,增大融合区块F的情况下噪声去除的效果高。
当想要增大融合区块F时,如果按照实施例1的想法,则使目标区块T与融合区块F的大小一致。于是,融合区块F的确变大,但搜索部12的运算成本却增加了与目标区块T变大的部分相应的量。根据本变形例,能够不使搜索部12的运算成本增加而通过增大融合区块F来提高噪声去除的效果。
(3)根据实施例1的图5,基于目标区块T的位置来设定作为搜索移动目的地区块R的范围的搜索范围r,但本发明并不限于该结构。也可以基于缩小图像来决定搜索范围r。图34示出本变形例的与搜索范围r的决定有关的功能框图。图像缩小部9为将原始图像和参照图像缩小的结构。
以下,对在图34中说明的各部的动作进行说明。图35示出利用图像缩小部9将原始图像和参照图像缩小的情形。决定将缩小原始图像而得到的图像称为缩小原始图像,将缩小参照图像而得到的图像称为缩小参照图像。利用图像缩小部9以相同的缩小率将原始图像和参照图像缩小,原始图像和参照图像变为相同尺寸的缩小图像。
图36示出使用缩小原始图像和缩小参照图像在参照图像上设定搜索范围r的动作。即,在本变形例中,在缩小原始图像上设定关注像素,设定与关注像素对应的缩小原始图像上目标区块Tc。此时执行缩小原始图像上目标区块Tc的设定的是缩小图像目标设定部11a。缩小图像目标设定部11a的动作与实施例1的目标设定部11的动作相同。缩小原始图像上目标区块Tc例如为纵向5个像素×横向5个像素的正方形的范围,与实施例1的目标设定部11所处理的目标区块T相同。也就是说,缩小图像目标区块设定部11a进行与实施例1的图5的左侧相同的动作。但是,该情况下的缩小原始图像上目标区块Tc的设定是针对缩小原始图像来进行的,因此目标区块T相对于图像的大小与图5的情况相比相对地变大。所设定的与缩小原始图像上目标区块Tc有关的数据被发送到缩小图像搜索部12a。
缩小图像搜索部12a将包含缩小参照图像上的与在缩小原始图像上设定的关注像素对应的像素的范围设定为缩小图像搜索范围,并在该范围内搜索具有与缩小原始图像上目标区块Tc相似的图案的缩小参照图像上移动目的地区块Rc。搜索缩小参照图像上移动目的地区块Rc的情形与实施例1的图5和图6相同。也就是说,缩小图像搜索部12a进行与实施例1的图5和图6相同的动作。此外,在缩小图像搜索部12a的动作中,未必需要对搜索缩小参照图像上移动目的地区块Rc的范围(搜索范围)进行设定。这是由于,该情况下的缩小参照图像上移动目的地区块Rc的搜索是针对图像尺寸小的缩小参照图像进行的,因此搜索所耗费的运算成本并不那么大。
与缩小参照图像上移动目的地区块Rc有关的数据被发送到搜索范围设定部9。搜索范围设定部9基于在缩小参照图像上发现的缩小参照图像上移动目的地区块Rc来在缩小前的参照图像上设定搜索范围r。因而,搜索部12针对由缩小图像搜索部12a暂时搜索到的范围重新设定并再次执行目标区块T的搜索。该情况下的搜索部12使用分辨率比缩小原始图像上目标区块Tc的分辨率高的目标区块T来进行动作,因此能够更缜密地进行区块的搜索。
对搜索范围设定部9的动作进行说明。相当于缩小参照图像上移动目的地区块Rc的范围理应也存在于缩小前的参照图像上。此时的范围理应是将缩小参照图像上移动目的地区块R放大后的范围。搜索范围设定部9以参照图像上的与缩小图像上移动目的地区块Rc的位置对应的位置为基准来设定搜索范围r。此时,搜索范围r被设定为比参照图像上的与缩小参照图像上移动目的地区块Rc对应的范围(对应范围)大。这是由于,需要以备在搜索部12在参照图像上搜索目标区块T的移动目的地时移动目的地从对应范围超出地存在的情况。
缩小图像目标设定部11a、缩小图像搜索部12a以及搜索范围设定部9进行这种动作,来一边将缩小原始图像上的各个像素依次设定为关注像素,一边针对缩小原始图像的整个区域设定缩小前的参照图像上的搜索范围r。该缩小原始图像的各像素及搜索范围r所关联的数据被发送到搜索部12。
各部8、9、11a、12a通过执行各种程序的CPU来实现。各部8、9、11a、12a也可以通过负责各部的单独的处理装置来实现。
图37示出本变形例的目标设定部11、搜索部12的动作。首先,目标设定部11如在图5中说明过的那样设定与原始图像上的某个关注像素对应的目标区块T。目标区块T例如为纵向5个像素×横向5个像素的正方形的范围。搜索部12从目标设定部11接收与目标区块T有关的数据,并计算与该目标区块T对应的关注像素位于缩小原始图像的何处。由于对缩小图像的各像素设定了搜索范围r,因此搜索部12只要知道与由目标设定部11设定的目标区块T对应的关注像素对应于缩小图像上的哪个像素,就能够获知与由目标设定部11设定的目标区块T对应的搜索范围r。图37示出搜索部12在参照图像上确定与目标区块T对应的搜索范围r的情形。参照图像上的搜索范围r外的部分是搜索排除区域,搜索部12忽略该区域而执行移动目的地区块R的搜索动作。该情形与使用图6说明过的情形相同。搜索部12从搜索范围r中找出移动目的地区块R。叠加对象图像的与参照图像上的移动目的地区块R处于相同位置的像素区块为叠加对象区块G。
即,根据本变形例,具备:图像缩小部9,其将原始图像和参照图像缩小来生成缩小原始图像和缩小参照图像;缩小图像目标设定部11a,其从构成缩小原始图像的像素中设定关注像素和作为缩小原始图像上的目标区块的缩小原始图像上目标区块Tc;缩小图像搜索部12a,其从缩小参照图像中找出与缩小原始图像上目标区块Tc最相似的缩小参照图像上移动目的地区块Rc;以及搜索范围设定部9,其将参照图像上的与缩小参照图像上移动目的地区块Rc对应的范围设定为作为搜索部12在参照图像中搜索移动目的地区块R的范围的搜索范围r。图像缩小部相当于本发明的图像缩小单元,缩小图像目标设定部相当于本发明的缩小图像目标区块设定单元。缩小图像搜索部相当于本发明的缩小图像搜索单元,搜索范围设定部相当于本发明的搜索范围设定单元。
如果设为本变形例那样的结构,则能够更加准确地从参照图像上搜索移动目的地区块R。根据实施例1的图5,将参照区块上的与原始图像上的目标区块T对应的范围放大后决定了搜索范围r。这种动作基于以下设想而成立:原始图像上的目标区块T上的图案肯定位于与目标区块T对应的参照图像上的位置附近。也有时会出乎预料。另一方面,根据本变形例的结构,实际上为通过使用缩小图像来粗略地获知原始图像上的图案的移动的结构。使用了该缩小图像的运算成本没那么高。在本变形例中,之后掌握原始图像上的目标区块T上的图案移动到参照图像上的何处。因而,能够以如同在参照图像的大范围内是否检索到移动目的地区块R那样的准确性来掌握移动目的地区块R。
此外,在图36的说明中,利用1个缩小图像组合(缩小原始图像和缩小参照图像)直接决定了搜索范围r,但在本变形例中并不限于该结构。也可以准备比例尺不同的缩小原始图像组合来多级地决定搜索范围r。在该结构的情况下,为从以最小的比例尺缩小的缩小图像组合起按顺序反复进行图36和图37的动作来决定参照图像上的搜索范围r的结构。基于以最小的比例尺缩小的缩小图像组合来决定与以第二小的比例尺缩小的缩小图像组合有关的缩小原始图像上目标区块Tc的搜索范围。一边改变比例尺图像组合一边反复进行该动作,最终对缩小前的图像组合(原始图像和参照图像)决定搜索范围r。缩小原始图像上目标区块Tc的大小能够设为与目标区块T相同的大小。如果这样,则能够以如在参照图像的更大范围内是否搜索到移动目的地区块R那样的准确性来掌握移动目的地区块R。
(4)在实施例1的方法中,以原始图像上的目标区块T的图案在参照图像上不旋转地移动为前提,但还能够设为考虑到目标区块T的图案在参照图像上旋转地拍进的可能性的结构。在该结构中,对一个关注像素准备多个目标区块T。图38说明了本变形例所涉及的目标设定部11的动作。如图38所示,首先,搜索部12如在图35中说明过的那样对作为移动目的地区块R的候选的候选区块C进行设定。决定将此时设定的候选区块C称为基本候选区块,将此时的动作称为基本候选区块设定处理。
搜索部12使基本候选区块中拍进的图案以关注像素为中心旋转规定的旋转量来生成新的候选区块。决定将此时生成的区块称为旋转候选区块Cr。在图38的例子中示出通过反复进行使某个基本候选区块按顺时针旋转45°的操作来生成7种旋转候选区块Cr的情形。也可以将基本候选区块的旋转量例如设为15°来生成例如23种旋转候选区块Cr,还可以进一步减小1度的旋转量来生成更多的旋转候选区块Cr。
图39示出搜索部12基于8种候选区块(1个基本区块和7个旋转区块)来执行搜索处理的情形。此时的动作与在图6中说明过的动作相同。与图6不同之处在于:针对1个目标区块T计算出8种候选区块C的差异度S(C)。也就是说,根据本变形例,与候选区块C增加为8倍相对应地,差异度S(C)的计算动作增加为8倍。搜索部12针对候选区块C和目标区块T的各组合求出差异度S(C)并搜索差异度S(C)最低的组合,将该组合设定为移动目的地区块R。在移动目的地区块R中拍进目标区块T上的图案旋转后的图案。叠加对象图像的与参照图像上的移动目的地区块R处于相同位置的像素区块为叠加对象区块G。在叠加对象区块G中也拍进目标区块T上的图案旋转后的图案。
当将叠加对象区块G直接叠加于目标区块T时,旋转后的图案拍出重影。区块叠加部14为以下结构:考虑到拍出重影这点而对叠加对象区块G施加旋转处理,并将处理后的叠加对象区块G叠加于目标区块T。此时的区块叠加部14能够基于搜索部12将8种候选区块中的哪一个设为移动目的地区块R来获知旋转量。在图39的例子中,将使基本候选区块按逆时针旋转45°后的旋转候选区块Cr认定为移动目的地区块R,因此如果使叠加对象区块G按逆时针旋转45°,则区块叠加部14能够使叠加对象区块G的朝向与目标区块T的朝向一致。
本变形例的搜索部12在从参照图像中的候选区块C中找出与目标区块T最相似的移动目的地区块R时,对使各个候选区块C旋转后的各候选区块也进行相似性的判断。
根据本变形例,即使在原始图像与参照图像之间存在像的旋转,也能够可靠地计算图案的移动目的地。
(5)根据实施例1,搜索部12如图6所示那样计算出差异度S(C),但本发明并不限于该结构。也可以利用以下各式来计算差异度S(C)。
S=(α·∑(|Ti-Ci|)β)γ其中,α、β、γ为任意系数,
S=(α·∑(Ti-Ci))γ其中,α、γ为任意系数,2β为偶数,
S=(α·(|∑Ti-∑Ci|)β)γ其中,α、β、γ为任意系数,
S=(α·(∑Ti-∑Ci))γ其中,α、γ为任意系数,2β为偶数,
另外,还能够使用归一化互相关函数、互信息量、条件熵以及结合熵等来计算差异度S(C)。
(6)在图2、图25、图26、图27、图28以及图29中,参照图像为It-1或Ot-1,叠加对象图像为It-1或Ot-1,但本发明并不限于该结构。也可以将参照图像设为如It-2、It-3那样比It-1先输入的图像,还可以设为如Ot-2、Ot-3那样比Ot-1先输出的图像。在该情况下,对于叠加对象图像而言也同样。
(7)根据实施例1,如图40的上部所示,目标区块T的形状为正方形,但本发明并不限于该结构。也能够如图40的中部那样将目标区块T的形状设为长方形的形状。另外,还可以将目标区块T的形状设为使实施例1所示的正方形的目标区块T旋转后的形状。
并且,实施例1的目标区块T为不具有飞地的结构,但也能够如图40的下部那样构成为具有飞地。即,也能够使用在纵向上排列沿横向延伸的细长状的区域而构成的像素群来替代实施例1的目标区块T,或者也能够使用在横向上排列沿纵向延伸的细长状的区域而构成的像素群来替代实施例1的目标区块T。另外,还能够使用将像素排列为交错格图案状而构成的像素群来替代实施例1的目标区块T。
如果如图40的下部那样使用具有飞地的像素群来进行搜索动作,则能够降低搜索部12的运算成本。这是由于,与使用以像素填充的目标区块T来进行搜索相比,成为计算的对象的像素的个数变少。在该情况下,融合区块F具有飞地,但随着依次设定目标区块T,将融合区块F依次在图像上一边重叠一边相加,因此最终生成消除了飞地的噪声减轻处理图像。
另外,同样还能够在排除包围关注像素的周边像素的一部分之后构成目标区块T。在该情况下,也是融合区块F具有排除像素,但随着依次设定目标区块T,将融合区块F依次在图像上一边重叠一边相加,因此最终生成消除了排除像素的噪声减轻处理图像。作为这种结构也能够降低搜索部12的运算成本。
(8)在实施例1的结构中,对一个原始图像准备了1个参照图像和1个叠加对象图像,但本发明并不限于该结构。也可以对一个原始图像准备多个参照图像和多个叠加对象图像。图42示出这种结构的一例。在图42的结构中,针对原始图像上的目标区块T,对不同的叠加对象图像进行叠加对象区块G的设定,并根据目标区块T和多个叠加对象区块G来生成单个的融合区块F。
在图42中,首先与图30中的说明同样地在原始图像、参照图像1(例如图像It-1)以及叠加对象图像1(例如图像Ot-1)之间进行叠加对象区块G的设定。决定将此时的叠加对象区块G称为叠加对象区块G1。然后,在图42中,与图30中的说明同样地在原始图像、参照图像2(例如图像It-2)以及叠加对象图像2(例如图像Ot-2)之间进行叠加对象区块G的设定。决定将此时的叠加对象区块G称为叠加对象区块G2。对原始图像上的相同的关注像素进行这两种叠加对象区块G的设定。
目标区块T、叠加对象区块G1以及叠加对象区块G2被发送到区块叠加部14。区块叠加部14对发送来的各区块进行平均并叠加,来生成单个的融合区块F。
作为此时的区块叠加部14所进行的融合区块F的生成方法,还能够使用中值滤波器。即,区块叠加部14在决定融合区块F的某个位置处的像素的像素值时,提取目标区块T、叠加对象区块G1以及叠加对象区块G2的同一位置处的像素并进行比较。区块叠加部14对源自目标区块T、叠加对象区块G1以及叠加对象区块G2的像素中的具有中间值的像素进行认定,并将该像素的值设为融合区块F的该位置处的像素的像素值。区块叠加部14对融合区块F的整个区域进行该动作,来使融合区块F完成。图像中拍进的噪声成分大多具有极端的像素值。使用中值滤波器的目的在于避免在融合区块F中保留噪声成分。
这样,本变形例的搜索部12为从互不相同的多个参照图像的各个参照图像中找出移动目的地区块R1、R2的结构,区块叠加部14使与在各个参照图像中搜索到的各个移动目的地区块R1、R2对应的各个叠加对象区块G1、G2叠加于原始图像上的目标区块T来生成融合区块F。
如果设为这种结构,则能够基于多个叠加对象图像来减轻噪声,因此能够期待更高的噪声去除效果。
此外,在图42的情况下,构成为准备两个参照图像和叠加对象图像的组合,但本变形例并不限于该结构。也可以在3个以上的组合之间进行同样的处理。在该情况下,融合区块F是将3个以上的叠加对象区块G1、G2、G3、…叠加于目标区块T而生成的。
(9)在实施例1的结构中,对一个原始图像准备了1个参照图像和1个叠加对象图像,但本发明并不限于该结构。也可以对一个原始图像准备多个参照图像和多个叠加对象图像。图43示出这种结构的一例。在图43的结构中,针对原始图像上的目标区块T,对不同的叠加对象图像进行叠加对象区块G的设定,根据目标区块T和各叠加对象区块G来生成融合区块F。而且,根据本变形例,将所生成的多个融合区块F进一步叠加来生成单个的融合区块F。像这样生成的融合区块F是对原始图像上的某个关注像素来说最终的融合区块F,成为噪声减轻图像的基础。
在图43中,首先与图30中的说明同样地在原始图像、参照图像1(例如图像It-1)以及叠加对象图像1(例如图像Ot-1)之间进行融合区块F的生成。决定将此时的融合区块F称为融合区块F1。然后,在图43中,与图30中的说明同样地在原始图像、参照图像2(例如图像It-2)以及叠加对象图像2(例如图像Ot-2)之间进行融合区块F的生成。决定将此时的融合区块F称为融合区块F2。对原始图像上的相同的关注像素进行这两种融合区块F的生成。
各融合区块F被发送到区块叠加部14。区块叠加部14对发送来的各融合区块F进行平均并叠加,来生成单个的融合区块F。
作为此时的区块叠加部14所进行的融合区块F的生成方法,还能够使用中值滤波器。即,区块叠加部14在决定各融合区块F的某个位置处的像素的像素值时,提取各融合区块F的同一位置处的像素并进行比较。区块叠加部14对源自各融合区块F的像素中的具有中间值的像素进行认定,并将该像素的值设为最终的融合区块F的该位置处的像素的像素值。区块叠加部14对融合区块F的整个区域进行该动作,来使最终的融合区块F完成。话虽如此,在图43的情况下,被叠加的融合区块F只有两个,因此无法进行使用了中值滤波器的动作。为了使用中值滤波器,需要使用3种以上的参照图像和与这些参照图像对应的叠加对象图像来生成3个以上的融合区块F。图像中拍进的噪声成分大多具有极端的像素值。使用中值滤波器的目的在于避免在融合区块F中保留噪声成分。
这样,本变形例的搜索部12为从互不相同的多个参照图像的各个参照图像中找出移动目的地区块R1、R2的结构,区块叠加部14使与在各个参照图像中搜索到的各个移动目的地区块R1、R2对应的各个叠加对象区块G1、G2叠加于原始图像上的目标区块T来生成多个融合区块F1、F2,通过将多个融合区块F1、F2互相叠加来生成最终的融合区块F。
如果设为这种结构,则能够基于多个叠加对象图像来减轻噪声,因此能够期待更高的噪声去除效果。
此外,在图43的情况下,构成为准备两个参照图像和叠加对象图像的组合,但本变形例并不限于该结构。也可以设为在3个以上的组合之间进行同样的处理。在该情况下,最终的融合区块F是将3个以上的融合区块F1、F2、F3…相叠加而生成的。
(10)实施例1的矢量编辑部17构成为,作为针对以下情况的处置方法,将矢量图mv上的矢量转换为零矢量,这些情况是指:在原始图像上的目标区块T以及参照图像上的与目标区块T对应的候选区块中,在两个区块中拍进的被检体像没有移动或者两个区块中原本就没有拍进被检体像的情况、以及由于选择了与目标区块T最相似的移动目的地区块R而导致原本没有移动却被认定为移动了的情况,也能够替代该功能或除了该功能以外还追加校正矢量的偏差的结构。
当拍摄运动图像时,拍摄中的像持续运动。在以像素为单位进行观察时,该像运动的方向应该几乎都朝向相同的方向。这是由于,运动图像中拍进的并非是小的粒子自由地来回运动的像,而是被检体等大的构造物的透视图像。且不说在整个原始图像中运动的方向相同,如果微观地观察原始图像,则相邻的像素之间的像的运动应几乎相同。
图44说明了由矢量计算部13生成的矢量图mv。矢量图为映射出表示构成原始图像的各像素移动到参照图像上的何处的矢量的图。当提取矢量图mv的一部分来进行观察时,彼此相似的矢量果然位于彼此相邻的像素中。当更细观察图44时,可知在具有彼此更为相似的矢量的像素的排列中混入了具有仅一个方向不同的矢量的像素。这种矢量原本应朝向与相邻的像素相同的方向。但是,由于原始图像、参照图像中含有的噪声成分的影响而导致矢量计算部13无法准确地计算出矢量的方向。决定将这种矢量称为不良矢量。
根据本变形例,能够通过校正来消除该不良矢量。如图45所示,矢量编辑部17对矢量图mv的一部分设定处理范围。该处理范围被狭义地设定为能够预想为该范围内的矢量大致相同的程度。矢量编辑部17将处理范围内的像素的矢量进行平均来计算出平均矢量v(ave)。然后,矢量编辑部17将平均矢量v(ave)与处理范围内的各像素的矢量进行比较来从处理范围内找出不良矢量。决定将该动作称为矢量偏差分析。
对矢量偏差分析的详细内容进行说明。将平均矢量v(ave)的X成分设为Xave,将Y成分设为Yave。将处理范围内的矢量设为矢量v(i),设为i取1到N的值。因而,N示出处理范围内的矢量的个数。将矢量v(i)的X成分设为Xi,将矢量v(i)的Y成分设为Yi。矢量编辑部17基于它们来对X成分和Y成分求出矢量的偏差容许量。偏差容许量KX、KY能够利用如下的数式来计算。
[式1]
对于处理范围内的某个矢量v(i),在该矢量v(i)的X成分未收敛于偏差容许量KX或Y成分未收敛于偏差容许量KY的情况下,矢量编辑部17将矢量v(i)认定为不良矢量。然后,矢量编辑部17将不良矢量置换为平均矢量v(ave)。
即,本变形例的矢量编辑部17进行以下编辑:基于由搜索部12输出的目标区块T与移动目的地区块R的位置关系来掌握目标区块T各自的关注像素移动到参照图像上的何处,由此针对构成原始图像的各像素分别识别参照图像上的移动目的地,在原始图像上的某个像素的移动方向和移动距离与该像素的周边像素相差悬殊的情况下,通过编辑矢量图mv来变更与目标区块T对应的移动目的地区块R,使得该像素的移动目的地成为在与周边像素的移动方向相同的方向上移动了与周边像素的移动距离相同距离的位置。
如果设为这种结构,则矢量图mv所呈现的原始图像和参照图像中叠加的噪声成分的影响被缓解,因此能够更加准确地认定叠加对象图像中的叠加对象区块G。
(11)根据实施例1的结构,如图30所示那样从参照图像识别单个的移动目的地区块R,但本发明并不限于该结构。也可以从参照图像识别多个移动目的地区块R。
图46说明了本变形例的结构。搜索部12搜索由目标设定部11设定的目标区块T移动到参照图像上的何处。此时,搜索部12从多个候选区块中将与目标区块T最相似的候选区块设为移动目的地区块RA。而且,搜索部12将第二相似的候选区块设为移动目的地区块RB,将第三相似的候选区块设为移动目的地区块RC。而且,将第四相似的候选区块设为移动目的地区块RD。
这样,在图30所示出的方法中,搜索部12是从参照图像中仅选出1个移动目的地区块R的结构,在本变形例中,搜索部12为从参照图像中选出4个移动目的地区块R的结构。区块叠加部14从叠加对象图像中选出与各个移动目的地区块RA、RB、RC、RD对应的叠加对象区块GA、GB、GC、GD,对各个叠加对象区块GA、GB、GC、GD叠加原始图像的目标区块T来生成多个融合区块FA、FB、FC、FD。然后,区块叠加部14将融合区块FA、FB、FC、FD相叠加来生成最终的融合区块F。
区块叠加部14在将融合区块FA、FB、FC、FD相叠加时,参照作为各融合区块FA、FB、FC、FD的基础的移动目的地区块RA、RB、RC、RD的差异度S(R)。该差异度S(R)是在移动目的地区块RA、RB、RC、RD还是候选区块时计算出的(参照图6),当将移动目的地区块RA、RB、RC、RD的差异度S(R)分别设为SA、SB、SC、SD时,存在SA<SB<SC<SD的关系。
区块叠加部14基于差异度SA、SB、SC、SD来对融合区块FA、FB、FC、FD进行加权并进行叠加,使得越是相似则在最终的融合区块F中越浓地呈现。例如,最终的融合区块Ffinal能够基于如下的数式来生成。
Ffinal=(SA-1·FA+SB-1·FB+SC-1·FC+SD-1·FD)/(SA-1+SB-1+SC-1+SD-1)
其中,FA、FB、FC、FD表示融合区块FA、FB、FC、FD,SA、SB、SC、SD表示与融合区块FA、FB、FC、FD对应的差异度。(SA-1+SB-1+SC-1+SD-1)是用于归一化的常数。
即,本变形例的搜索部12为从参照图像中找出多个移动目的地区块的结构,区块叠加部14使与在参照图像中搜索到的多个移动目的地区块RA、RB、RC、RD中的各个移动目的地区块对应的各个叠加对象区块GA、GB、GC、GD叠加于原始图像上的目标区块T来生成多个融合区块FA、FB、FC、FD,并将多个融合区块FA、FB、FC、FD互相叠加,由此生成最终的融合区块F。
如果设为这种结构,则能够基于多个叠加对象区块G来减轻噪声,因此能够期待更高的噪声去除效果。
此外,在图46中设定了4个移动目的地区块RA、RB、RC、RD,但也能够增加和减少所设定的移动目的地区块。在该情况下,叠加对象区块的个数也与移动目的地区块的增加和减少相应地增加和减少。
(12)根据图6,根据构成目标区块T和候选区块C的像素来计算出差异度S(C),但本发明并不限于该结构。也可以还考虑两个区块的位移来计算出差异度S(C)。在原始图像上的目标区块T的位置与参照图像上的候选区块C的位置过于偏离的情况下,难以认为两个区块相似。这是由于,在拍摄运动图像的情况下,认为各帧中拍进的被拍体像的位置相似。根据本变形例,能够还考虑到这种情况来计算差异度S(C)。
本变形例的搜索部12能够基于如下的数式来计算差异度S(C)。
[式2]
其中,ω是常数,v(t)是矢量图上的与原始图像上的关注像素对应的像素的矢量。
即,本变形例的搜索部12在从作为参照图像中的移动目的地区块R的候选的候选区块C中找出与目标区块T最相似的移动目的地区块R时,将参照图像上的同与原始图像中的目标区块T对应的位置接近的候选区块C优先认定为移动目的地区块R。
如果这样,则参照图像上的位置接近原始图像上的目标区块T的位置的候选区块C被优先认定为移动目的地区块R。根据本变形例,能够进行更加适应现实的目标区块T的检索。
(13)在实施例1的结构中,融合区块F同等地叠加来生成噪声去除图像,但本发明并不限于该结构。也可以设为一边对融合区块F进行加权一边将其叠加来生成噪声去除图像。为了说明该变形例,首先对实施例1的结构进行说明。首先,设为存在如图47所示那样的原始图像、参照图像以及叠加对象图像。在原始图像的中心拍进数字“5”,在参照图像中,在偏离中心的位置处拍进数字“5”。在叠加对象图像中,在与参照图像相同的位置处拍进数字“5”。
根据实施例1的结构,如图48所示那样一边改变关注像素一边依次设定目标区块T,并计算对应的融合区块F。然后,各个融合区块F彼此以相同的权重多重叠加来生成噪声减轻图像。
根据本变形例,如图49所示,作为动作,直到一边改变关注像素一边依次生成融合区块F为止与实施例1相同。当将此时生成的融合区块F进行比较并观察时注意到:存在图像的叠加不理想的融合区块F。根据作为融合区块F的基础的目标区块T的不同,有时参照图像上的“5”的像没有理想地叠加,或者在融合区块F中噪声的减轻不充分。因此,本变形例可以说是以下结构:一边剔除生成失败的融合区块F一边将区块多重叠加,以避免在噪声减轻图像中出现失败的影响。
区块叠加部14在将融合区块F叠加时,参照作为各融合区块F的基础的移动目的地区块R的差异度S(R)。该差异度S(R)是在移动目的地区块R还是候选区块时计算出的(参照图6),存在融合区块F的失败度越高则该差异度S(R)取越高值的倾向。
区块叠加部14基于差异度S(R)对融合区块F加权并将其多重叠加,使得成功度越高则在最终的融合区块F中越浓地呈现。即,在构成噪声减轻图像的像素中多重叠加有25个融合区块F1~F25。该像素的像素值a例如如下面那样求出。
a=(S1-1·F1+S2-1·F2+……+S 25-1·F 25)/(S1-1+S2-1+……+S25-1)
其中,S1、S2、……、S25表示与融合区块F1~F25对应的差异度。(S1-1+S2-1+……+S25-1)是用于归一化的常数。
即,本发明所涉及的图像生成部15基于表示作为融合区块F1~F25的基础的目标区块T1~T25和移动目的地区块R1~R25中拍进的图案的相差程度的差异度S(R)1~S(R)25,一边进行加权使得差异度S(R)越高的融合区块F被越淡地拍进噪声减轻图像一边使融合区块F1~F25重叠并相加,由此生成噪声减轻图像。
如果设为这种结构,则叠加失败的融合区块F不会对噪声减轻图像造成大的影响。另外,与将叠加失败的融合区块F完全剔除的结构不同,使叠加失败的融合区块F也较淡地出现在噪声减轻图像中,由此在构成噪声减轻图像的像素处被多重叠加的融合区块F的个数不会减少,能够极力避免损害噪声的减轻能力。
(14)在实施例1的结构中,设为对构成原始图像的所有像素设定目标区块T的结构,但本发明并不限于该结构。也能够如图50所示那样仅对构成原始图像的像素的一部分(图50中的用阴影表示的像素)设定目标区块T。即,根据本变形例,目标设定部11将原始图像上的像素区分为被设定为关注像素的像素和未被设定为关注像素的像素并进行动作。在图50的情况下,成为利用交错格图案的要点来配置被指定为关注像素的像素的结构,因此关注像素的设定为一半即可。通过设为这种结构,能够将融合区块F的生成动作的运算成本抑制为一半。
(15)本发明也可以设为具备多个上述变形例的结构。
产业上的可利用性
如上所述,本发明适用于医用装置。
附图标记说明
11:目标设定部(目标设定单元);12:搜索部(搜索单元);14:区块叠加部(叠加单元);15:图像生成部(图像生成单元);17:矢量编辑部(编辑单元)。

Claims (19)

1.一种图像处理装置,对通过连续地拍摄被检体而生成的图像进行噪声减轻处理,其特征在于,具备:
目标设定单元,其从构成拍进被检体像的原始图像的像素中设定由关注像素和包围所述关注像素的周边像素构成的目标区块;
搜索单元,其从在与所述原始图像不同的时刻拍摄到的拍进被检体像的参照图像中找出与所述目标区块最相似的移动目的地区块;
叠加单元,其将叠加对象区块叠加于原始图像上的所述目标区块来生成融合区块,该叠加对象区块是叠加对象图像中处于与所述移动目的地区块相同的位置的区块,该叠加对象图像是对所述参照图像进行图像处理而获得的噪声减轻图像,由此在与所述参照图像相同的位置处拍进被检体像;以及
图像生成单元,其随着一边改变关注像素的位置一边依次设定目标区块,使所述融合区块依次在图像上重叠,由此生成减轻被拍进所述原始图像的噪声后的噪声减轻图像,
其中,所述图像生成单元进行动作,使得噪声减轻图像上的融合区块的位置成为与原始图像上的目标区块的位置相同的位置,
所述参照图像是在所述原始图像之前拍摄到的图像。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述图像生成单元在使所述融合区块一边重叠一边相加之后,将图像上的像素的像素值除以表示在该像素处所述融合区块相加几次的累计次数,由此生成所述噪声减轻图像。
3.根据权利要求1或2所述的图像处理装置,其特征在于,
所述叠加单元为按构成所述融合区块的每个像素以各自的权重将所述原始图像上的所述目标区块的像素与所对应的所述叠加对象图像上的所述叠加对象区块的像素相叠加的结构,随着属于所述目标区块的像素的像素值与叠加对象区块或移动目的地区块上的对应像素的像素值之差的绝对值变大,所述叠加单元以使所述融合区块逐渐地不继承所述叠加对象区块的方式变更叠加的权重。
4.根据权利要求1或2所述的图像处理装置,其特征在于,
所述叠加单元为每次生成所述融合区块时以各自的权重将所述原始图像上的所述目标区块与所述叠加对象图像上的所述叠加对象区块相叠加的结构,随着所述目标区块上的像素值与叠加对象区块或移动目的地区块上的像素值之差的绝对值变大,所述叠加单元以使所述融合区块逐渐地不继承所述叠加对象区块的方式变更叠加的权重。
5.根据权利要求1所述的图像处理装置,其特征在于,
还具备编辑单元,该编辑单元对在所述参照图像中处于所述目标区块的位置的同位置区块进行设定,在所述移动目的地区块没有与所述同位置区块相比显著地相似于所述目标区块的情况下,对所述搜索单元的输出进行使由所述搜索单元找出的移动目的地区块为所述同位置区块的重写。
6.根据权利要求1所述的图像处理装置,其特征在于,
所述搜索单元基于准确性优先模式和速度优先模式这两种模式来进行动作,该准确性优先模式是针对某个关注像素遍及所述参照图像中的大范围地进行移动目的地区块的搜索的模式,该速度优先模式是基于所述准确性优先模式的搜索结果针对与作为所述准确性优先模式的处理对象的关注像素不同的关注像素遍及所述参照图像中的小范围地进行移动目的地区块的搜索的模式,
在所述速度优先模式下,以如下方式进行动作:基于作为所述准确性优先模式的处理对象的关注像素与在所述准确性优先模式的搜索中发现的所述关注像素在所述参照图像上的移动目的地的像素之间的位置关系,在所述参照图像上预期作为当前搜索对象的关注像素的移动目的地的位置,并遍及包围所预期的位置的范围地搜索移动目的地区块。
7.根据权利要求1所述的图像处理装置,其特征在于,
所述叠加单元所涉及的所述叠加对象区块的范围比所述目标区块和所述移动目的地区块的范围小。
8.根据权利要求1所述的图像处理装置,其特征在于,
所述叠加单元所涉及的所述叠加对象区块的范围比所述目标区块和所述移动目的地区块的范围大。
9.根据权利要求1所述的图像处理装置,其特征在于,还具备:
图像缩小单元,其将所述原始图像和所述参照图像缩小来生成缩小原始图像和缩小参照图像;
缩小图像目标区块设定单元,其从构成所述缩小原始图像的像素中设定所述关注像素和作为缩小原始图像上的目标区块的缩小原始图像上目标区块;
缩小图像搜索单元,其从所述缩小参照图像中找出与所述缩小原始图像上目标区块最相似的缩小参照图像上移动目的地区块;以及
搜索范围设定单元,其以与所述缩小参照图像上移动目的地区块的位置对应的所述参照图像上的位置为基准来设定搜索范围,该搜索范围是所述搜索单元在所述参照图像中搜索所述移动目的地区块的范围。
10.根据权利要求1所述的图像处理装置,其特征在于,
所述搜索单元在从作为所述参照图像中的所述移动目的地区块的候选的候选区块中找出所述移动目的地区块时,也对使所述候选区块各自旋转后的候选区块进行相似性的判断。
11.根据权利要求1所述的图像处理装置,其特征在于,
所述目标设定单元所涉及的目标区块具有飞地。
12.根据权利要求1所述的图像处理装置,其特征在于,
所述目标设定单元所涉及的目标区块是排除了包围所述关注像素的所述周边像素的一部分而构成的。
13.根据权利要求1所述的图像处理装置,其特征在于,
所述搜索单元为从互不相同的多个参照图像的各个参照图像中找出移动目的地区块的结构,
所述叠加单元使与在各个所述参照图像中搜索到的各个移动目的地区块对应的各个叠加对象区块叠加于所述原始图像上的所述目标区块来生成所述融合区块。
14.根据权利要求1所述的图像处理装置,其特征在于,
所述搜索单元为从互不相同的多个参照图像的各个参照图像中找出移动目的地区块的结构,
所述叠加单元使与在各个参照图像中搜索到的各个移动目的地区块对应的各个叠加对象区块叠加于所述原始图像上的所述目标区块来生成多个融合区块,使多个融合区块互相叠加,由此生成最终的融合区块。
15.根据权利要求1所述的图像处理装置,其特征在于,
还具备编辑单元,该编辑单元基于由所述搜索单元输出的所述目标区块与所述移动目的地区块的位置关系来掌握所述目标区块各自的关注像素移动到所述参照图像上的何处,由此针对构成所述原始图像的各像素分别识别所述参照图像上的移动目的地,在所述原始图像上的某个像素的移动方向和移动距离与该像素的周边像素相差悬殊的情况下,变更与所述目标区块对应的所述移动目的地区块,使得该像素的移动目的地成为在与周边像素的移动方向相同的方向上移动了与周边像素的移动距离相同的距离后的位置。
16.根据权利要求1所述的图像处理装置,其特征在于,
所述搜索单元为从所述参照图像中找出多个移动目的地区块的结构,
所述叠加单元使在参照图像中搜索到的多个移动目的地区块各自所对应的各个叠加对象区块叠加于所述原始图像上的所述目标区块,来生成多个融合区块,将多个融合区块互相叠加,由此生成最终的融合区块。
17.根据权利要求1所述的图像处理装置,其特征在于,
所述搜索单元在从作为所述参照图像中的移动目的地区块的候选的候选区块中找出移动目的地区块时,将所述参照图像上的同与所述原始图像中的所述目标区块对应的位置接近的候选区块优先认定为所述移动目的地区块。
18.根据权利要求1所述的图像处理装置,其特征在于,
所述图像生成单元基于表示作为所述融合区块的基础的目标区块和移动目的地区块中拍进的图案的差异程度的差异度,一边进行加权使得所述差异度越高的融合区块在所述噪声减轻图像中被越淡地拍进一边使融合区块重叠并相加,由此生成所述噪声减轻图像。
19.根据权利要求1所述的图像处理装置,其特征在于,
所述目标设定单元将所述原始图像上的像素区分为被设定为所述关注像素的像素和未被设定为所述关注像素的像素来进行动作。
CN201580025751.1A 2014-05-19 2015-05-18 图像处理装置 Active CN106464805B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPPCT/JP2014/063255 2014-05-19
PCT/JP2014/063255 WO2015177845A1 (ja) 2014-05-19 2014-05-19 画像処理装置
PCT/JP2015/064219 WO2015178350A1 (ja) 2014-05-19 2015-05-18 画像処理装置

Publications (2)

Publication Number Publication Date
CN106464805A CN106464805A (zh) 2017-02-22
CN106464805B true CN106464805B (zh) 2019-12-27

Family

ID=54553543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580025751.1A Active CN106464805B (zh) 2014-05-19 2015-05-18 图像处理装置

Country Status (5)

Country Link
US (1) US10504210B2 (zh)
JP (1) JP6332444B2 (zh)
CN (1) CN106464805B (zh)
TW (1) TWI556641B (zh)
WO (2) WO2015177845A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6783547B2 (ja) * 2016-04-28 2020-11-11 キヤノンメディカルシステムズ株式会社 X線診断装置
US10306139B2 (en) 2017-05-16 2019-05-28 Apple Inc. Target image quality enhancement using a guide image
US10715727B2 (en) 2017-05-16 2020-07-14 Apple Inc. Synthetic long exposure image with optional enhancement using a guide image
US10834310B2 (en) * 2017-08-16 2020-11-10 Qualcomm Incorporated Multi-camera post-capture image processing
WO2019119194A1 (zh) * 2017-12-18 2019-06-27 中国科学院深圳先进技术研究院 柔性手术器械跟踪方法、装置、设备及存储介质
CN109978774B (zh) * 2017-12-27 2021-06-18 展讯通信(上海)有限公司 多帧连续等曝光图像的去噪融合方法及装置
JP7234709B2 (ja) 2019-03-13 2023-03-08 株式会社島津製作所 放射線撮影装置
JP2020170306A (ja) * 2019-04-02 2020-10-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CA3142626A1 (en) * 2019-06-24 2020-12-30 Alarm.Com Incorporated Dynamic video exclusion zones for privacy
JP6590329B1 (ja) * 2019-06-26 2019-10-16 株式会社ラディウス・ファイブ 画像表示システム及びプログラム
CN113382153B (zh) * 2020-02-25 2022-11-22 北京小米移动软件有限公司 显示图像的方法和装置、电子设备、存储介质
CN112053292B (zh) * 2020-07-21 2024-06-07 深圳先进技术研究院 医学图像的处理方法、处理装置及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090456A (zh) * 2006-06-14 2007-12-19 索尼株式会社 图像处理装置和方法、图像拾取装置和方法
JP2011217294A (ja) * 2010-04-02 2011-10-27 Sharp Corp ノイズ低減処理装置
JP4926499B2 (ja) * 2006-02-28 2012-05-09 オリンパス株式会社 ノイズ低減処理装置、方法、プログラム、およびカメラ装置
CN102457753A (zh) * 2010-11-04 2012-05-16 Jvc建伍株式会社 图像处理方法及图像处理装置
CN102592259A (zh) * 2011-01-05 2012-07-18 索尼公司 图像处理设备以及图像处理方法
JP5868197B2 (ja) * 2012-01-27 2016-02-24 キヤノン株式会社 ノイズ低減装置およびその制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01314477A (ja) 1988-06-14 1989-12-19 Nec Corp ビデオ信号のノイズ低減回路
JP3410778B2 (ja) 1993-09-14 2003-05-26 株式会社東芝 リカーシブフィルタ、x線診断装置
JPH07154651A (ja) 1993-11-29 1995-06-16 Shimadzu Corp 画像処理装置
WO2004024003A1 (ja) * 2002-09-12 2004-03-25 Hitachi Medical Corporation 生体組織の動き追跡方法、その追跡方法を用いた画像診断装置
US8913833B2 (en) * 2006-05-08 2014-12-16 Fuji Xerox Co., Ltd. Image processing apparatus, image enlarging apparatus, image coding apparatus, image decoding apparatus, image processing system and medium storing program
JP5523791B2 (ja) * 2008-10-27 2014-06-18 株式会社東芝 X線診断装置および画像処理装置
KR101797038B1 (ko) * 2011-04-22 2017-11-13 삼성전자주식회사 진단영상을 생성하는 방법, 이를 수행하는 장치, 진단시스템 및 의료영상시스템
US9262684B2 (en) * 2013-06-06 2016-02-16 Apple Inc. Methods of image fusion for image stabilization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4926499B2 (ja) * 2006-02-28 2012-05-09 オリンパス株式会社 ノイズ低減処理装置、方法、プログラム、およびカメラ装置
CN101090456A (zh) * 2006-06-14 2007-12-19 索尼株式会社 图像处理装置和方法、图像拾取装置和方法
JP2011217294A (ja) * 2010-04-02 2011-10-27 Sharp Corp ノイズ低減処理装置
CN102457753A (zh) * 2010-11-04 2012-05-16 Jvc建伍株式会社 图像处理方法及图像处理装置
CN102592259A (zh) * 2011-01-05 2012-07-18 索尼公司 图像处理设备以及图像处理方法
JP5868197B2 (ja) * 2012-01-27 2016-02-24 キヤノン株式会社 ノイズ低減装置およびその制御方法

Also Published As

Publication number Publication date
US20170091908A1 (en) 2017-03-30
TWI556641B (zh) 2016-11-01
CN106464805A (zh) 2017-02-22
JP6332444B2 (ja) 2018-05-30
TW201545554A (zh) 2015-12-01
WO2015178350A1 (ja) 2015-11-26
US10504210B2 (en) 2019-12-10
JPWO2015178350A1 (ja) 2017-04-20
WO2015177845A1 (ja) 2015-11-26

Similar Documents

Publication Publication Date Title
CN106464805B (zh) 图像处理装置
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
JP4887374B2 (ja) ステレオビジョンにおいて散乱視差場を求める方法
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
KR101811718B1 (ko) 영상 처리 방법 및 장치
CN110349086B (zh) 一种非同心成像条件的图像拼接方法
KR101706216B1 (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
JP4958302B2 (ja) 多視点画像奥行値抽出装置、その方法およびそのプログラム
CN107077743A (zh) 用于阵列相机的动态校准的系统和方法
WO2010061956A1 (en) Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus
CN104079912A (zh) 图像处理装置和图像处理方法
Mistry et al. Image stitching using Harris feature detection
KR20150011938A (ko) 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
CN110505398B (zh) 一种图像处理方法、装置、电子设备及存储介质
KR100888459B1 (ko) 피사체의 깊이 정보 검출 방법 및 시스템
WO2013035457A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
TWI576790B (zh) 階層式立體匹配裝置及方法
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP6414604B2 (ja) 画像処理装置
KR20150097251A (ko) 다중 영상간 대응점을 이용한 카메라 정렬 방법
US9674503B2 (en) Stereo matching apparatus using image property
CN116109484A (zh) 前景信息保留的图像拼接方法、装置、设备及存储介质
CN110827211B (zh) 一种图像细节增强方法
JP6783210B2 (ja) 複数のカメラ画像に基づくオブジェクト識別装置および方法
JP6637242B2 (ja) 画像処理装置、撮像装置、プログラム、および画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant