CN102855613B - 图像处理设备和方法 - Google Patents
图像处理设备和方法 Download PDFInfo
- Publication number
- CN102855613B CN102855613B CN201110192743.XA CN201110192743A CN102855613B CN 102855613 B CN102855613 B CN 102855613B CN 201110192743 A CN201110192743 A CN 201110192743A CN 102855613 B CN102855613 B CN 102855613B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- output
- weight
- input picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 description 15
- 238000003745 diagnosis Methods 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 230000006854 communication Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G06T3/14—
Abstract
本公开提供了图像处理设备和方法。图像处理设备可包括第一配准装置,用于将具有重叠部分的两个输入图像中的第一输入图像作为基准图像,对第二输入图像进行第一配准,找到第二输入图像中与基准图像中的位于重叠区域中的每个第一像素匹配的第二像素;输出像素位置确定装置,用于基于第一像素和第二像素的位置来计算输出图像中与第一像素对应的输出像素的位置,其中,对第一像素和第二像素的位置分别赋予权重,并且第一像素距基准图像的非重叠区域的最短距离越小,第一像素的位置的权重越大;及输出像素值确定装置,用于根据第一像素和第二像素中的至少一个的像素值来计算输出像素的像素值。
Description
技术领域
本公开涉及图像处理领域,具体而言,涉及能够对具有重叠区域的两个图像(如医学图像)进行拼接的图像处理设备和方法。
背景技术
图像拼接是图像处理领域的一个重要课题,具有广泛的应用前景。举例而言,在医学图像处理中,由于医学成像设备自身的尺寸所限,有时难以对成像对象进行一次性成像;例如,当利用核磁共振成像设备对患者的脊柱进行扫描时,一次扫描通常只能获得脊柱的部分图像,在这种情况下,需要将多次扫描得到的图像进行拼接,才能得到整个脊柱的图像。
发明内容
在下文中给出关于本公开的一些方面的简要概述,以便提供对于本公开的基本理解。该概述并非意图确定本公开的关键或重要部分,也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
根据本公开的一个方面,提供了一种图像处理设备,能够将具有重叠区域的两个输入图像拼接为输出图像,该图像处理设备可以包括:第一配准装置,用于将所述两个输入图像中的第一输入图像作为基准图像,对所述两个输入图像中的第二输入图像进行第一配准,找到与所述基准图像中的位于所述重叠区域中的每个第一像素匹配的、属于所述第二输入图像的第二像素;输出像素位置确定装置,用于基于所述第一像素和第二像素的位置来计算输出图像中位于所述重叠区域的、与该第一像素对应的输出像素的位置,其中,对所述第一像素和第二像素的位置分别赋予权重,并且所述第一像素距所述基准图像的非重叠区域的最短距离越小,该第一像素的位置的权重越大,而该第二像素的位置的权重越小;以及输出像素值确定装置,用于根据该第一像素和该第二像素中的至少一个的像素值来计算该输出像素的像素值。
根据本公开的一个方面,提供了一种图像处理方法,用于将具有重叠区域的两个输入图像拼接为输出图像,该图像处理方法可以包括:将所述两个输入图像中的第一输入图像作为基准图像,对所述两个输入图像中的第二输入图像进行第一配准,找到与所述基准图像中的位于所述重叠区域中的每个第一像素匹配的、属于所述第二输入图像的第二像素;基于所述第一像素和第二像素的位置来计算输出图像中位于所述重叠区域的、与该第一像素对应的输出像素的位置,其中,对所述第一像素和第二像素的位置分别赋予权重,并且所述第一像素距所述基准图像的非重叠区域的最短距离越小,该第一像素的位置的权重越大,而该第二像素的位置的权重越小;以及根据该第一像素和该第二像素中的至少一个的像素值来计算该输出像素的像素值。
另外,本公开的实施例还提供了用于实现上述方法的计算机程序。
此外,本公开的实施例还提供了至少计算机可读介质形式的计算机程序产品,其上记录有用于实现上述方法的计算机程序代码。
附图说明
参照下面结合附图对本公开实施例的说明,会更加容易地理解本公开的以上和其它目的、特点和优点。附图中的部件只是为了示出本公开的原理。在附图中,相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图1是示出根据本公开的一个实施例的图像处理设备的结构的示意性框图;
图2是示出根据该实施例的图像处理方法的示意性流程图;
图3是示出根据一个具体实施例的确定输出图像中输出像素的位置的方法的示意性流程图;
图4是示出根据一个具体实施例的确定输出图像中的输出像素的像素值的方法的示意性流程图;
图5是示出根据另一实施例的图像处理设备的结构的示意性框图;
图6是示出根据另一实施例的图像处理方法的示意性流程图;
图7是根据一个具体实施例的对两个图像进行刚体配准的方法的示意性流程图;
图8和图9分别示意性示出了具有重叠部分的两个图像;以及
图10是示出可以实现本公开的实施例/示例的计算机的结构的示例性框图。
具体实施方式
下面参照附图来说明本公开的实施例。在本公开的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意,为了清楚的目的,附图和说明中省略了与本公开无关的、本领域普通技术人员已知的部件和处理的表示和描述。
本公开的一些实施例提供了用于对具有重叠区域的两个或更多个输入图像进行拼接的图像处理设备和方法。
应理解,根据本公开的实施例的设备和方法可用于拼接各种类型的图像。例如,根据本公开的实施例的设备和方法可用于医学图像的拼接。这里所述的医学图像可以是根据利用医疗诊断成像装置获得的被检测者的数据而形成的图像。这里所述的医疗诊断装置包括但不限于:X射线成像诊断装置、超声波(UL)诊断成像装置、计算机断层扫描(CT)装置、磁共振成像(MRI)诊断成像装置、正电子发射断层扫描(PositronEmissionTomography,PET)装置等。具体地,根据本公开的实施例的设备和方法所拼接的输入图像可以是利用医学成像设备对同一部位的不同部分进行扫描而获得的、具有重叠部分的医学图像,如利用核磁共振成像设备对患者的脊柱的不同部分进行扫描而获得的、具有重叠部分的核磁共振图像,等等,这里不一一列举。
另外,下文中,为了简洁,以对两个具有重叠部分的输入图像进行拼接为例。但是,应理解,本公开的方法和设备能够用于对两个以上的具有重叠部分的输入图像进行拼接。
图1是示出根据本公开的一个实施例的图像处理设备的结构的示意性框图,而图2是示出根据该实施例的图像处理方法的示意性流程图。
在对具有重叠区域的两个输入图像进行拼接时,两个输入图像的非重叠区域可以分别映射到拼接得到的输出图像的相应部分。例如,假设两个输入图像中的一个用iR来表示,另一个用iF来表示,两个输入图像的重叠区域用iO来表示,则两者拼接后得到的输出图像用iS可用下式来表示:
上式中,表示输出图像中的像素的位置,例如,当图像为二维图像时,可以是二维向量,而当图像为三维图像时,可以是三维向量。表示输出图像中该像素的像素值,而和分别表示输入图像iR和iF中相应位置上像素的像素值。也就是说,两个输入图像中的非重叠区域的像素(两个输入图像中的不属于重叠区域iO的像素)可以直接映射为输出图像中的相应两个非重叠区域的像素。而对于输出图像中位于两个非重叠区域之间的区域(与重叠区域iO对应)中的像素(即上式(1)中的“padding”),则可以利用图1和图2所示的设备或方法根据两个输入图像中位于重叠区域iO中的像素来确定。
如图1所示,图像处理设备100可以包括第一配准装置101、输出像素位置确定装置103和输出像素值确定装置105。图像处理设备100可以采用如图2所示的方法进行图像拼接。下面参考图2所示的方法流程来描述图像处理设备100中的各个装置的功能。
第一配准装置101用于对具有重叠区域的两个输入图像进行配准(步骤202),以将两个输入图像中位于重叠区域的像素相匹配。两个输入图像之间有时会有一定的变形。例如,当两个输入图像为利用MRI设备扫描人体脊柱而得到的具有重叠部分的MRI图像时,由于MRI设备本身的原因,这两个图像在其重叠部分并不能完全重合。图9示意性示出了具有重叠区域的两个图像iR和iF,其中,LR和LF表示iR和iF中对于同一线条的成像结果,可以看出,二者发生了变形,不能重合。第一配准装置要利用图像配准方法来找到两个图像之间的变形信息。
具体地,如步骤202所示,将两个输入图像中的一个作为基准图像(本文中也称为第一输入图像),对另一输入图像(本文中称为第二输入图像)进行配准(本文中称为第一配准),以找到第二输入图像中的、与该第一输入图像中的位于两个图像的重叠区域中的每个像素(本文中将第一输入图像中的像素称为第一像素)匹配的像素(本文中将第二输入图像中的像素称为第二像素)。
作为一个示例,第一配准可以采用非刚体配准方法进行。可以采用任何适当的非刚体配准方法,只要找到与第一图像中的位于两个图像的重叠区域中的第一像素匹配的、属于第二输入图像的第二像素即可。例如可以采用基于基本函数描述变形域的配准、薄板样条或B样条的配准、基于弹性变形等物理模型的配准、或者基于光流场的配准等非刚体配准方法进行第一配准,这里不一一列举。作为另一示例,第一配准还可以采用任何适当的刚体配准方法进行,这里不详细描述。
应注意,可以选择两个输入图像中的任一个作为基准图像(即第一输入图像),而将另一个作为第二输入图像。
以图9所示的两个图像为例,假设采用iR作为基准图像对另一图像iF进行步骤202所示的第一配准。设表示iR中位于重叠区域iO的像素(第一像素),则利用iR作为基准图像对iF进行第一配准后,可以找到iF中与匹配的像素(第二像素)。
在第一配准装置101找到与第一输入图像中位于重叠区域中的第一像素匹配的第二像素后,将彼此匹配的第一和第二像素的位置和像素值分别输出到输出像素位置确定装置103和输出像素值确定装置105。输出像素位置确定装置103和输出像素值确定装置105分别根据位于两个输入图像中的重叠区域的彼此匹配的第一和第二像素的位置和像素值来确定输出图像中与这两个像素对应的输出像素的位置和像素值。
具体地,如步骤204所示,输出像素位置确定装置103用于基于位于基准图像中的重叠区域的第一像素的位置以及与该第一像素匹配的第二像素的位置来计算输出图像中位于该重叠区域的、与该第一像素对应的输出像素的位置。其中,该第一像素距基准图像的非重叠区域的最短距离越小,则该第一像素的位置的权重越大,而该第二像素的位置的权重越小;反之,该第一像素距基准图像的非重叠区域的最短距离越大,则该第一像素的位置的权重越小,而该第二像素的位置的权重越大。
作为一个示例,该第一像素的位置的权重与该第一像素距基准图像的非重叠区域的最短距离成非线性函数的关系。
仍以图9所示的两个图像为例,输出图像中与第一像素对应的输出像素可用下式表示:
上式中,表示第一像素的位置的权重,表示第二像素的位置的权重,其中,所述权重与第一像素距基准图像iR的非重叠区域的最短距离成非线性函数的关系。如图9所示,输入图像iR和iF之间存在变形,即两个图像中彼此对应的像素并非线性关系。因此,如果将所述权重设置得与第一像素距基准图像iR的非重叠区域的最短距离成线性函数关系,则会造成输出图像中与重叠区域iO对应的区域不能平滑过渡到两个非重叠区域。在本实施例中,由于所述权重与第一像素距基准图像iR的非重叠区域的最短距离呈非线性函数关系,因此,能够使拼接得到的输出图像在重叠区域与非重叠区域之间的过渡较为平滑。
如步骤206所示,输出像素值确定装置105用于根据位于基准图像中的第一像素的像素值和/或与该第一像素匹配的第二像素的像素值来计算输出图像中位于该重叠区域的、与该第一像素对应的输出像素的像素值。输入像素值确定装置105可以采用下文参考图4描述的方法或其他适当的方法来确定位于输出图像中的、与输入图像的重叠区域中的每个第一像素(及与第一像素匹配的第二像素)对应的每个输出像素的像素值。
利用图1或图2所示的设备或方法,可以将具有重叠区域的两个输入图像拼接,并且拼接得到的图像中重叠区域与非重叠区域之间可以平滑过渡。另外,在图1或图2所示的设备或方法中,利用两个输入图像中的任一个作为基准图像,仅需对两个输入图像中的一个进行配准处理,因此能够降低图像拼接的计算量。此外,仅需针对两个输入图像的重叠区域进行一次第一配准,因此,能够进一步降低图像拼接的计算量。
作为一个具体实施例,输出像素位置确定单元103可以采用图3所示的方法来确定输出图像中与第一像素对应的输出像素的位置。
如图3所示,图2所示的步骤204可以包括步骤204-1和204-2。在步骤204-1中,根据第一像素距离基准图像中的非重叠区域的最短距离或距离第二输入图像中的非重叠区域的最短距离,来计算第一像素的位置的权重以及第二像素的位置的权重。
作为一个示例,第一像素距基准图像的非重叠区域的最短距离或距第二输入图像的非重叠区域的最短距离越小,则第一像素的位置的权重和第二像素的位置的权重的变化梯度越小。采用这种方法,可以使得拼接得到的输出图像中重叠区域与两个非重叠区域之间的过渡更为平滑。
作为一个具体示例,仍以图9所示的图像为例,可以使用下式来计算第二像素的位置的权重并使用作为第一像素的位置的权重:
其中,a为常数,表示第一像素与基准图像iR的非重叠区域之间的最短距离,表示该第一像素与第二输入图像iR的非重叠区域之间的最短距离。采用式(3)方法,可以使得拼接得到的输出图像中重叠区域与两个非重叠区域之间的过渡更加平滑。
式(3)中的常数a的值可以根据实际应用场景来确定,这里不作限定。在一个示例中,0≤a≤1。优选地,常数a可以等于0.5。
作为另一具体示例,还可以采用与式(3)不同的方法(如采用式(3)的数学变换式)来计算上述权重,例如,式(3)中的余弦函数可以被替换为Sigmoid函数等其他适当的S型函数,只要满足以下条件即可:第一像素距基准图像的非重叠区域的最短距离或距第二输入图像的非重叠区域的最短距离越小,计算得到的权重和的变化梯度越小。
然后,在步骤204-2中,利用在步骤204-1中得到的权重来计算第一像素的位置和第二像素的位置的加权和,作为输出图像中位于重叠区域的、与该第一像素对应的输出像素的位置。上式(2)可以表示为:
上式中,为表示彼此匹配的第一像素与第二像素之间的位移关系的向量。
作为一个具体实施例,输出像素值确定单元105可以采用图4所示的方法来确定输出图像中与第一像素对应的输出像素的像素值。
如图4所示,图2所示的步骤206可以包括步骤206-1和206-2。
在步骤206-1中,根据步骤204中得到的输出像素的位置距离基准图像中的非重叠区域的最短距离或距离第二输入图像中的非重叠区域的最短距离,来计算第一像素的像素值和第二像素的像素值的权重。
作为一个示例,可以根据实际应用场景使用任何适当的方法来确定第一像素和第二像素的像素值的权重。例如,第一像素的像素值的权重可以选取0和1之间的任何数值,且第一像素和第二像素的像素值的权重之和为1。
作为另一示例,可以根据输出像素与基准图像的非重叠区域之间的距离来确定第一和第二像素的像素值的权重。例如,输出像素与基准图像的非重叠区域之间的最短距离越小,则第一像素的像素值的权重越大,而该输出像素与第二输入图像的非重叠区域之间的距离越小,则第二像素的像素值的权重越大。采用这种方法,可以使得输出图像中重叠区域的像素值与非重叠区域的像素值之间的过渡较为平滑。
作为一个具体示例,第一像素和第二像素的像素值的权重与输出像素与基准图像的非重叠区域之间的最短距离之间为非线性函数的关系,其中,输出像素距基准图像的非重叠区域的最短距离或距第二输入图像的非重叠区域的最短距离越小,则第一像素和第二像素的像素值的权重的变化梯度越小。采用该具体示例的方法,可以使得输出图像中重叠区域与非重叠区域之间的像素值的过渡更加平滑。
作为一个具体示例,仍以图9所示的图像为例,可以使用下式来计算第二像素的像素值的权重并使用作为第一像素的像素值的权重:
其中,b为常数,表示位置为的输出像素与基准图像的非重叠区域之间的最短距离,表示位置为的输出像素与第二输入图像的非重叠区域之间的最短距离。采用该具体示例的方法,可以使得输出图像中重叠区域与非重叠区域之间的像素值的过渡更加平滑。
式(5)中的常数b的值可以根据实际应用场景来确定,这里不作限定。在一个示例中,0≤b≤1。优选地,常数b可以等于0.5。
作为另一具体示例,还可以采用与式(5)不同的方法(如式(5)的数学变换式)来计算上述权重,例如,式(5)中的余弦函数可以被替换为例如Sigmoid函数等其他适当的S型函数,只要满足以下条件即可:输出像素距基准图像的非重叠区域的最短距离或距第二输入图像的非重叠区域的最短距离越小,计算得到的权重和的变化梯度越小。
然后,在步骤206-2中,利用步骤206-1中得到的权重来计算第一像素和第二像素的像素值的加权和,作为该输出像素的像素值。如可以采用下式来计算输出像素的像素值:
上式中,表示输出图像中的输出像素的像素值,而和分别表示输入图像iR和iF中相应位置上像素的像素值(即第一像素的像素值和第二像素的像素值)。
图5是示出根据本公开的另一实施例的图像处理设备的结构的示意性框图,而图6是示出根据该实施例的图像处理方法的示意性流程图。
图5或图6所示的实施例与上文中参考图1-4所描述的实施例/示例相似,不同之处在于,除了第一配准装置501、输出像素位置确定装置503和输出像素值确定装置505之外,图5所示的图像处理设备500还包括刚体配准装置507;而除了步骤602、604和606之外,图6所示的图像处理方法还包括对两个输入图像进行刚体配准的步骤608。
图像处理设备500可以采用如图6所示的方法进行图像拼接。下面参考图6所示的方法流程来描述图像处理设备500中的各个装置的功能。
刚体配准装置507可以采用步骤608的方法对两个输入图像进行刚体配准。具体地,在步骤608中,将两个输入图像中的任一个作为基准图像(也称为第一输入图像),对另一个输入图像(也称为第二输入图像)进行刚体配准。可以采用任何适当的刚体配准方法,例如基于点的配准方法、基于分割的配准方法或基于体素特征的配准方法;刚体配准中的相似性度量可以采用基于互信息和归一化互信息联合直方图的方法、或者基于均方差(MeanSquareDifference)、或者相关系数(CorrelationCoefficient)或梯度相似性(GradientSimilarity)等方法,刚体配准中的优化方法可以采用Powell查找,伪穷举(Pseudo-Exhaustive)等优化方法,这里不一一列举。
图7给出了对两个图像进行刚体变换的方法的一个示例。如图7所示,刚体配准步骤608可以包括两个步骤608-1和608-2。
在步骤608-1中,可以首先估计用于表示两个输入图像之间的旋转和缩放变换关系的矩阵M以及用于表示两个输入图像之间的位移变换关系的向量例如,第二输入图像中与基准图像中的像素(第一像素)对应的像素(第二像素)可用下式来表示:
然后,根据所估计的矩阵M和向量利用下式对第二输入图像进行变换:
其中,iF表示第二输入图像,iF’表示利用第一输入图像(如图8所示的图像iR)作为基准图像对第二输入图像iF进行刚体变换后得到的图像。以图8所示的图像为例,iR表示两个输入图像中的基准图像,iF’表示以iR为基准图像经过刚体变换的第二输入图像。
在步骤608-2中,确定基准图像与经过刚体变换的第二输入图像之间的重叠区域和非重叠区域。例如,对于两个输入图像中的非重叠区域,可以将其直接对应到输出图像的相应部分(如式(1)所示);对于重叠区域,则采用后续的步骤602、604和608来处理,以得到输出图像中与重叠区域对应的区域,从而得到整个拼接图像。
刚体配准装置507将经过刚体配准的第二输入图像输出到第一配准装置501。第一配准装置501仍将第一输入图像作为基准图像,对经过刚体配准的第二输入图像进行第一配准(步骤602),以找到经过刚体配准的第二输入图像中的、与基准图像中位于两个图像的重叠区域的每个像素(称为第一像素)匹配的像素(称为第二像素)。第一配准装置501、输出像素位置确定装置503和输出像素值确定装置505的功能和结构与上文参考图1-4描述的实施例/示例中的装置101、103和105相似,这里不再重复。步骤602、604、606与上文参考图2-4描述的实施例/示例中的步骤202、204和206相似,这里也不再重复。
利用图5或图6所示的设备或方法,可以将具有重叠区域的两个输入图像拼接,并且拼接得到的图像中重叠区域与非重叠区域之间可以平滑过渡。与图1或图2所示的设备或方法相比,由于增加了刚体配准的步骤,因此,可以进一步优化拼接图像,从而进一步降低由于输入图像之间的旋转、缩放或平移而造成的拼接错误。另外,在图5或图6所示的设备或方法中,利用两个输入图像中的任一个作为刚体配准和第一配准的基准图像,仅需对两个输入图像中的一个进行配准,因此,能够降低图像拼接的计算量。此外,仅需针对两个输入图像的重叠区域进行一次第一配准,因此,可进一步降低图像拼接的计算量。
在另一实施例中,还可以对利用上述实施例/示例得到的拼接图像进行进一步处理。例如,图像处理设备100或500还可以包括输出处理单元(未示出)。该输出处理单元可以对输出像素值确定装置105或505得到的输出图像中与重叠区域iO对应的区域进行重采样。由于输出像素位置确定装置103或503以及输出像素值确定装置105或505在处理过程中可能不保持相同的像素空间,因此,需要对其得到的输出图像中与重叠区域iO对应的区域进行重采样,从而将与重叠区域iO对应的区域与非重叠区域组合在一起,形成一个完整的拼接图像。同样,图2-4和6所示的方法还可以包括对步骤206或606得到的输出图像中与重叠区域iO对应的区域进行重采样的步骤(未示出)。可以采用任何适当的方法进行重采样,这里不作限定。
本公开的实施例/示例所述的像素可以是二维图像中的像素(Pixel),也可以是三维图像中的像素(Voxel)等等。本公开的实施例/示例所述的像素值可以是表示图像中像素的强度(intensity)的灰度值、色彩值等等
根据本公开的实施例的图像处理方法和设备可以应用于各种图像的拼接处理。这些图像可以是一维或者多维的(如二维或三维等)。例如,根据本公开的实施例的图像处理方法和设备可应用于医学图像(如根据通过医疗诊断装置获得的数据而形成的图像)的拼接处理。作为一个示例,上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为医疗诊断装置(如X射线诊断装置、UL诊断装置、CT装置、MRI诊断装置或PET装置等)中的软件、固件、硬件或其组合,并作为该医疗诊断装置中的一部分。作为一个示例,可以在已有医疗诊断装置中实施根据本公开上述方法和/或设备,其中对已有医疗诊断装置的各组成部分作一定修改即可。作为另一示例,上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为独立于所述医疗诊断装置的装置。上述设备中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知,在此不再赘述。
作为一个示例,上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合。在通过软件或固件实现的情况下,可以从存储介质或网络向具有专用硬件结构的计算机(例如图10所示的通用计算机1000)安装构成用于实施上述方法的软件的程序,该计算机在安装有各种程序时,能够执行各种功能等。
在图10中,运算处理单元(即CPU)1001根据只读存储器(ROM)1002中存储的程序或从存储部分1008加载到随机存取存储器(RAM)1003的程序执行各种处理。在RAM1003中,也根据需要存储当CPU1001执行各种处理等等时所需的数据。CPU1001、ROM1002和RAM1003经由总线1004彼此链路。输入/输出接口1005也链路到总线1004。
下述部件链路到输入/输出接口1005:输入部分1006(包括键盘、鼠标等等)、输出部分1007(包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等,和扬声器等)、存储部分1008(包括硬盘等)、通信部分1009(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1009经由网络比如因特网执行通信处理。根据需要,驱动器1010也可链路到输入/输出接口1005。可拆卸介质1011比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1010上,使得从中读出的计算机程序根据需要被安装到存储部分1008中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质1011安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图10所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1011。可拆卸介质1011的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM1002、存储部分1008中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
本公开还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时,可执行上述根据本公开实施例的方法。
相应地,用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本公开的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本公开具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以用相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在上述实施例和示例中,采用了数字组成的附图标记来表示各个步骤和/或单元。本领域的普通技术人员应理解,这些附图标记只是为了便于叙述和绘图,而并非表示其顺序或任何其他限定。
此外,本公开的方法不限于按照说明书中描述的时间顺序来执行,也可以按照其他的时间顺序地、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。
尽管上面已经通过对本公开的具体实施例的描述对本公开进行了披露,但是,应该理解,上述的所有实施例和示例均是示例性的,而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开的保护范围内。
Claims (11)
1.一种图像处理设备,能够将具有重叠区域的两个输入图像拼接为输出图像,该图像处理设备包括:
第一配准装置,用于将所述两个输入图像中的第一输入图像作为基准图像,对所述两个输入图像中的第二输入图像进行第一配准,找到与所述基准图像中的位于所述重叠区域中的每个第一像素匹配的、属于所述第二输入图像的第二像素;
输出像素位置确定装置,用于基于所述第一像素和第二像素的位置来计算输出图像中位于所述重叠区域的、与该第一像素对应的输出像素的位置,其中,对所述第一像素和第二像素的位置分别赋予权重,并且所述第一像素距所述基准图像的非重叠区域的最短距离越小,该第一像素的位置的权重越大,而该第二像素的位置的权重越小;以及
输出像素值确定装置,用于根据该第一像素和该第二像素中的至少一个的像素值来计算该输出像素的像素值。
2.根据权利要求1所述的图像处理设备,其中,所述第一像素的位置的权重与所述第一像素距所述基准图像的非重叠区域的最短距离成非线性函数的关系。
3.根据权利要求2所述的图像处理设备,其中,所述第一像素距所述基准图像的非重叠区域的最短距离或距所述第二输入图像的非重叠区域的最短距离越小,所述权重的变化梯度越小。
4.根据权利要求3所述的图像处理设备,其中,所述输出像素位置确定装置被进一步配置为:使用下式或者将下式的余弦函数替换为Sigmoid函数得到的公式计算该第二像素的位置的权重并使用作为该第一像素的位置的权重:
其中,表示该第一像素的位置,a为常数,表示该第一像素与所述基准图像的非重叠区域之间的最短距离,表示该第一像素与所述第二输入图像的非重叠区域之间的最短距离。
5.根据权利要求1-4中任一项所述的图像处理设备,其中,所述输出像素值确定装置被配置为:计算第一像素和第二像素的像素值的加权和,作为该输出像素的像素值,其中,该输出像素与所述基准图像的非重叠区域之间的最短距离越小,则第一像素的像素值的权重越大,而该输出像素与所述第二输入图像的非重叠区域之间的距离越小,则第二像素的像素值的权重越大。
6.根据权利要求5所述的图像处理设备,其中,所述第一像素和第二像素的像素值的权重与该输出像素与所述基准图像的非重叠区域之间的最短距离之间为非线性函数的关系,该输出像素距所述基准图像的非重叠区域的最短距离或距所述第二输入图像的非重叠区域的最短距离越小,所述权重的变化梯度越小。
7.根据权利要求6所述的图像处理设备,其中,所述输出像素值确定装置被进一步配置为:使用下式或者将下式的余弦函数替换为Sigmoid函数得到的公式计算该第二像素的像素值的权重并使用作为该第一像素的像素值的权重:
其中,b为常数,表示位置为的输出像素与所述基准图像的非重叠区域之间的最短距离,表示位置为的输出像素与所述第二输入图像的非重叠区域之间的最短距离。
8.根据权利要求1-4中任一项所述的图像处理设备,其中,所述第一配准装置被配置为采用非刚体配准方法进行所述第一配准。
9.根据权利要求1-4中任一项所述的图像处理设备,其中,所述图像处理设备还包括:
刚体配准装置,用于在所述第一配准装置进行所述第一配准之前,以所述基准图像为基准,对所述第二输入图像进行刚体配准,并将经过刚体配准的第二输入图像输出到所述第一配准装置,
其中,所述第一配准装置以所述基准图像为基准对经过刚体配准的所述第二输入图像进行所述第一配准。
10.一种图像处理方法,用于将具有重叠区域的两个输入图像拼接为输出图像,该图像处理方法包括:
将所述两个输入图像中的第一输入图像作为基准图像,对所述两个输入图像中的第二输入图像进行第一配准,找到与所述基准图像中的位于所述重叠区域中的每个第一像素匹配的、属于所述第二输入图像的第二像素;
基于所述第一像素和第二像素的位置来计算输出图像中位于所述重叠区域的、与该第一像素对应的输出像素的位置,其中,对所述第一像素和第二像素的位置分别赋予权重,并且所述第一像素距所述基准图像的非重叠区域的最短距离越小,该第一像素的位置的权重越大,而该第二像素的位置的权重越小;以及
根据该第一像素和该第二像素中的至少一个的像素值来计算该输出像素的像素值。
11.根据权利要求10所述的图像处理方法,其中,所述第一像素的位置的权重与所述第一像素距所述基准图像的非重叠区域的最短距离成非线性函数的关系。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110192743.XA CN102855613B (zh) | 2011-07-01 | 2011-07-01 | 图像处理设备和方法 |
JP2012143406A JP5955663B2 (ja) | 2011-07-01 | 2012-06-26 | 画像処理装置及び画像処理方法 |
US13/537,701 US8792729B2 (en) | 2011-07-01 | 2012-06-29 | Image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110192743.XA CN102855613B (zh) | 2011-07-01 | 2011-07-01 | 图像处理设备和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102855613A CN102855613A (zh) | 2013-01-02 |
CN102855613B true CN102855613B (zh) | 2016-03-02 |
Family
ID=47390768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110192743.XA Active CN102855613B (zh) | 2011-07-01 | 2011-07-01 | 图像处理设备和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8792729B2 (zh) |
JP (1) | JP5955663B2 (zh) |
CN (1) | CN102855613B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102855613B (zh) * | 2011-07-01 | 2016-03-02 | 株式会社东芝 | 图像处理设备和方法 |
CN103126721A (zh) * | 2013-03-05 | 2013-06-05 | 飞依诺科技(苏州)有限公司 | 基于多焦点、多波速的超声复合成像方法及装置 |
CN103729834B (zh) * | 2013-12-23 | 2016-08-17 | 西安华海盈泰医疗信息技术有限公司 | 一种x射线影像的自适应拼接方法及其拼接系统 |
US10111714B2 (en) * | 2014-01-27 | 2018-10-30 | Align Technology, Inc. | Adhesive objects for improving image registration of intraoral images |
CN103985254B (zh) * | 2014-05-29 | 2016-04-06 | 四川川大智胜软件股份有限公司 | 一种用于大场景交通监视的多视点视频融合及交通参数采集方法 |
US10638986B2 (en) | 2014-11-17 | 2020-05-05 | Carestream Health, Inc. | Modular single shot digital radiography for long-length imaging |
US10499863B2 (en) | 2014-11-17 | 2019-12-10 | Carestream Health, Inc. | Tiled digital radiography detectors for long-length imaging |
US9820703B2 (en) | 2014-11-17 | 2017-11-21 | Carestream Health, Inc. | Tiled digital radiography detectors for long-length imaging |
US10034610B2 (en) * | 2014-12-24 | 2018-07-31 | Infosys Limited | System and method for registration of brain images |
US10049449B2 (en) | 2015-09-21 | 2018-08-14 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for image reconstruction |
CN108042158B (zh) * | 2017-12-22 | 2021-04-13 | 飞依诺科技(苏州)有限公司 | 多焦点超声图像拼接方法及其系统 |
CN108038834B (zh) * | 2017-12-28 | 2020-06-26 | 努比亚技术有限公司 | 一种降低噪声的方法、终端和计算机可读存储介质 |
CN109544447B (zh) * | 2018-10-26 | 2022-10-21 | 广西师范大学 | 一种图像拼接方法、装置及存储介质 |
CN110473143B (zh) * | 2019-07-23 | 2023-11-10 | 平安科技(深圳)有限公司 | 一种三维mra医学图像拼接方法及装置、电子设备 |
US11253212B2 (en) * | 2020-01-07 | 2022-02-22 | General Electric Company | Tileable X-ray detector cassettes |
CN114143517A (zh) * | 2021-10-26 | 2022-03-04 | 深圳华侨城卡乐技术有限公司 | 一种基于重叠区域的融合蒙板计算方法、系统及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1812471A (zh) * | 2005-01-06 | 2006-08-02 | 汤姆森许可贸易公司 | 用于处理拼接图像的方法和设备 |
CN101556692A (zh) * | 2008-04-09 | 2009-10-14 | 西安盛泽电子有限公司 | 基于特征点邻域伪Zernike矩的图像拼接方法 |
CN102081284A (zh) * | 2010-12-08 | 2011-06-01 | 苏州创捷传媒展览有限公司 | 一种用于多个投影图像拼接的边缘融合方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62140174A (ja) * | 1985-12-13 | 1987-06-23 | Canon Inc | 画像合成方法 |
JP2667430B2 (ja) * | 1988-03-08 | 1997-10-27 | 株式会社東芝 | 画像つなぎ合せ装置 |
JP3851384B2 (ja) * | 1996-09-18 | 2006-11-29 | シャープ株式会社 | 画像合成装置および方法 |
US6097854A (en) * | 1997-08-01 | 2000-08-01 | Microsoft Corporation | Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping |
US7650044B2 (en) * | 2001-07-30 | 2010-01-19 | Cedara Software (Usa) Limited | Methods and systems for intensity matching of a plurality of radiographic images |
US7127090B2 (en) * | 2001-07-30 | 2006-10-24 | Accuimage Diagnostics Corp | Methods and systems for combining a plurality of radiographic images |
US6895106B2 (en) | 2001-09-11 | 2005-05-17 | Eastman Kodak Company | Method for stitching partial radiation images to reconstruct a full image |
US7256799B2 (en) * | 2001-09-12 | 2007-08-14 | Sanyo Electric Co., Ltd. | Image synthesizer, image synthesis method and computer readable recording medium having image synthesis processing program recorded thereon |
US7010152B2 (en) * | 2002-01-22 | 2006-03-07 | Canon Kabushiki Kaisha | Radiographic image composition and use |
US6793390B2 (en) * | 2002-10-10 | 2004-09-21 | Eastman Kodak Company | Method for automatic arrangement determination of partial radiation images for reconstructing a stitched full image |
US7298923B2 (en) | 2003-11-03 | 2007-11-20 | Siemens Medical Solutions Usa, Inc. | Method and system for focus-adaptive reconstruction of spine images |
EP1657679A1 (en) | 2004-11-10 | 2006-05-17 | Agfa-Gevaert | Method of superimposing images |
JP2007328582A (ja) * | 2006-06-08 | 2007-12-20 | Matsushita Electric Ind Co Ltd | 画像合成装置およびその方法 |
CN100515042C (zh) * | 2007-03-29 | 2009-07-15 | 上海交通大学 | 多曝光图像增强方法 |
US9109998B2 (en) * | 2008-06-18 | 2015-08-18 | Orthopedic Navigation Ltd. | Method and system for stitching multiple images into a panoramic image |
US8600193B2 (en) * | 2008-07-16 | 2013-12-03 | Varian Medical Systems, Inc. | Image stitching and related method therefor |
DE102008045278A1 (de) | 2008-09-01 | 2010-03-25 | Siemens Aktiengesellschaft | Verfahren zum Kombinieren von Bildern und Magnetresonanzgerät |
US20100194851A1 (en) * | 2009-02-03 | 2010-08-05 | Aricent Inc. | Panorama image stitching |
CN102855613B (zh) * | 2011-07-01 | 2016-03-02 | 株式会社东芝 | 图像处理设备和方法 |
-
2011
- 2011-07-01 CN CN201110192743.XA patent/CN102855613B/zh active Active
-
2012
- 2012-06-26 JP JP2012143406A patent/JP5955663B2/ja active Active
- 2012-06-29 US US13/537,701 patent/US8792729B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1812471A (zh) * | 2005-01-06 | 2006-08-02 | 汤姆森许可贸易公司 | 用于处理拼接图像的方法和设备 |
CN101556692A (zh) * | 2008-04-09 | 2009-10-14 | 西安盛泽电子有限公司 | 基于特征点邻域伪Zernike矩的图像拼接方法 |
CN102081284A (zh) * | 2010-12-08 | 2011-06-01 | 苏州创捷传媒展览有限公司 | 一种用于多个投影图像拼接的边缘融合方法 |
Non-Patent Citations (1)
Title |
---|
《图像拼接方法及其关键技术研究》;蔡丽欢等;《计算机技术与发展》;20080331;第18卷(第3期);第1-4页 * |
Also Published As
Publication number | Publication date |
---|---|
JP5955663B2 (ja) | 2016-07-20 |
JP2013016164A (ja) | 2013-01-24 |
CN102855613A (zh) | 2013-01-02 |
US8792729B2 (en) | 2014-07-29 |
US20130004085A1 (en) | 2013-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102855613B (zh) | 图像处理设备和方法 | |
Gibson et al. | Automatic multi-organ segmentation on abdominal CT with dense V-networks | |
US7813535B2 (en) | System and method for fused PET-CT visualization for heart unfolding | |
US8326086B2 (en) | Elastic image registration | |
Weibel et al. | Graph based construction of textured large field of view mosaics for bladder cancer diagnosis | |
JPH06223159A (ja) | 3次元画像化方法 | |
Yu et al. | Learning 3D non-rigid deformation based on an unsupervised deep learning for PET/CT image registration | |
Negahdar et al. | Automated volumetric lung segmentation of thoracic CT images using fully convolutional neural network | |
Suzani et al. | Semi-automatic segmentation of vertebral bodies in volumetric MR images using a statistical shape+ pose model | |
Udupa et al. | Fuzzy object modeling | |
Ciecholewski et al. | Semi–automatic corpus callosum segmentation and 3d visualization using active contour methods | |
Castillo | Quadratic penalty method for intensity‐based deformable image registration and 4DCT lung motion recovery | |
Bennani et al. | Three-dimensional reconstruction of In Vivo human lumbar spine from biplanar radiographs | |
Pace et al. | Sliding geometries in deformable image registration | |
CN111161330B (zh) | 非刚性图像配准方法、装置、系统、电子设备、存储介质 | |
Mojica et al. | Medical image alignment based on landmark-and approximate contour-matching | |
Ravnik et al. | Dataset variability leverages white-matter lesion segmentation performance with convolutional neural network | |
Gao et al. | Consistency based co-segmentation for multi-view cardiac MRI using vision transformer | |
Carton et al. | Automatic segmentation of brain tumor resections in intraoperative ultrasound images | |
Haouchine et al. | Alignment of cortical vessels viewed through the surgical microscope with preoperative imaging to compensate for brain shift | |
Gholipour et al. | Distortion correction via non-rigid registration of functional to anatomical magnetic resonance brain images | |
CN116958217B (zh) | 一种mri与ct多模态3d自动配准方法及装置 | |
Hua et al. | Discontinuous nonrigid registration using extended free-form deformations | |
Schumacher et al. | Learning-based three-dimensional registration with weak bounding box supervision | |
Chen et al. | Template-driven segmentation of confocal microscopy images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20160803 Address after: Japan Tochigi Patentee after: Toshiba Medical System Co., Ltd. Address before: Tokyo, Japan, Japan Patentee before: Toshiba Corp Patentee before: Toshiba Medical System Co., Ltd. |