CN101743566A - 使用神经网络的图像处理 - Google Patents

使用神经网络的图像处理 Download PDF

Info

Publication number
CN101743566A
CN101743566A CN200880023710A CN200880023710A CN101743566A CN 101743566 A CN101743566 A CN 101743566A CN 200880023710 A CN200880023710 A CN 200880023710A CN 200880023710 A CN200880023710 A CN 200880023710A CN 101743566 A CN101743566 A CN 101743566A
Authority
CN
China
Prior art keywords
pixel
value
equation
image
picture point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880023710A
Other languages
English (en)
Inventor
保罗·马西莫·布谢马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bracco Imaging SpA
Original Assignee
Bracco Imaging SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bracco Imaging SpA filed Critical Bracco Imaging SpA
Publication of CN101743566A publication Critical patent/CN101743566A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种图像处理方法,其中每个图像由图像点阵列组成,特别地图像点即所谓分别在二维、三维或更多维空间中的像素或体素,每个图像点由其在图像点阵列内的位置和定义了关于明亮、灰度、色度等特性的图像点外部特征的一个或多个数值参数来唯一地定义,并且其中每个图像点被认为是人工神经网络的节点,其中根据把每个像素的外部特征定义为所述人工神经网络的节点值的参数和根据把处理中的每个像素与由预定的像素子集中的像素所组成的邻居像素特别是与所述处理中的像素的邻居像素(所谓的像素窗口)的连接来处理所述图像,同时通过定义外部特征的参数的迭代演化步骤(诸如所述节点值的演化步骤)或通过该组连接值的迭代演化步骤或通过所述演化的组合来获得新图像即经处理的图像的像素,其中通过演化迭代步骤进行处理,其中每个步骤还是把邻居像素与检查中的像素连接的函数,当检查中的像素的所述邻居像素的每个还被认为是邻近于所述邻居像素的一个或多个或全部像素的邻居像素时,所述函数是用于确定所有其它像素的外部特征值的即时反馈贡献。

Description

使用神经网络的图像处理
技术领域
本发明涉及一种图像处理方法,其中每个图像由图像点阵列组成,特别地,图像点即所谓分别在二维、三维或更多维空间中的像素(pixel)或体素(voxel),每个图像点由其在图像点阵列内的位置和定义了关于亮度、灰度、色度等特性的图像点外部特征的一个或多个数值参数来唯一地定义,并且其中每个图像点被当作是人工神经网络的节点,根据把每个像素的外部特征定义为所述人工神经网络的节点值的参数以及根据把每个处理中像素与预定像素子集中像素所组成的邻居像素特别是与所述处理中像素的邻居像素即所谓的像素窗的连接来处理所述图像。
同时,通过定义了外部特征的参数的迭代演化步骤(诸如节点值的演化步骤),或通过这组连接的值的迭代演化步骤,或通过所述演化的组合来获得新图像(即经处理的图像)的像素。
背景技术
根据文献WO 2005/020132或EP 1656632已知这种类型的方法,其中描述了依照本发明的方法的基本原理,并且其公开内容在基本概念方面应该被当作是本发明的一部分。
依照上述文献的已知方法的处理系统基于局部性、确定性和迭代操作来工作。局部性操作是由于在每个处理周期操作都涉及中心像素及其与直接相邻的像素(中心像素的邻居)的关系的事实。确定性操作是由于动态系统朝之演化的稳定条件是按照确定方程排序的事实,所述动态系统由具有新图像的像素矩阵表示,因此可以重复这种处理而总是导致相同的结果。迭代操作是由于反复地重复操作直到动态系统的空间演化步骤达到它们自己的吸引子的事实。
概括上述已知系统的基本理论概念,具有在D维空间中相关拓扑的现象(phenomenon),例如由像素或体素阵列组成的或由值阵列组成的图像,其中每个值都用于区分在像素或体素阵列中具有预定位置的像素或体素的外部特征,可以由被称作节点的最小单元和所建立的相互之间的局部连接来表示。在处理步骤n的每个最小单元u由其在现象中所占据的位置x=(x1,x2,…,xD)以及依赖该位置的量值来定义:
u x 1 , x 2 , . . . , x D [ n ] = u x [ n ] - - - [ 2.1 ]
在实践中,设想最小单元u是在位置坐标X所布置的点,其中还对所述位置坐标X给出被称作强度的值。对于每个单元u来说,在项ux [n]中总计在处理周期n一起获得的位置x和强度值。起始给定的图像必须被当作是由在处理周期“0”的单元组成,因此其每个单元由项ux [0]来标识。当我们不参照处理周期n而参照总体上最小的单元时,则我们通过项u来指示,或通过ux来指示它,如果我们还希望指示位置。
把在指标kSi(i=1,2…,D)的绝对值之中的最大值当作是在两个最小单元的位置x=(x1,x2,…,xD)和xS=(x1+kS1,x2+kS2,…,xD+kSD)之间的距离dist(x,xS),其中:
dist ( x , x S ) = max 1,2 . . . , D { | k Si | } . - - - [ 2.2 ]
给定(在给定图像内的)位置坐标X,我们把X的半径为G的邻居当作是以位置X为中心的邻居Ix G,包括X和离X的距离不是空的并且不超过G的所有位置XS
I x G = { ( x , x S ) | 0 < dist ( x , x S ) &le; G } - - - [ 2.3 ]
在实践中,X的每个邻居Ix G只由满足[2.3]的所有点XS和X本身组成。位置X被命名为邻居Ix G的中心像素的位置。下标S标示不同于中心位置X的邻居点XS的位置的可变性。在二维情况(D=2)并且半径为1的情况下,S是用于标示以位置X为中心的8个邻居像素的位置的下标。
该组位置X和属于各自邻居Ix G的XS,由于它们是位置坐标,所以被无差别地用来标示起始给定图像、处理中的图像和最终图像的像素的位置。如果我们参照半径G=1的邻居,那么邻居将由简单的符号Ix来标示。
在两个最小单元之间的每个局部连接定义了由最小单元施加在另一个最小单元上的力,反之亦然。因此,一旦给出两个最小单元,总是提供两个局部连接,其值是独立的并且通常是不同的。
在具有位置x=(x1,x2,…,xD)的最小单元和具有位置xS=(xS1,xS2,...,xSD)的另一个最小单元之间的连接在步骤n由连接单元的位置x和xs以及数值来定义:
w ( x 1 , x 2 , . . . , x D ) , ( x S 1 , x S 2 , . . . , x SD ) [n] = w x , x S [ n ] - - - [ 2.4 ]
等于:
w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k S 1 , x 2 + . k S 2 , . . , x D + k SD ) [ n ] - - - [ 2.5 ]
其中清楚地指示X和XS二者的每个坐标:xS1=x1+kS1,xS2=x2+kS2,xSD=xD+kSD。反之,在[2.4]中,使用更简单的符号,其中一起被指示为xS=x+kS,其中kS=(kS1,kS2,...,kSD)。
因此,一般说来,使用符号
Figure G2008800237109D00033
来指处理步骤n在(位于邻居的位置x中的)中心像素的最小单元ux和(位于位置xS中的)邻居Ix G的像素的每个最小单元
Figure G2008800237109D00034
之间的每个连接值。
相对于具有半径G的邻居定义了活动连接矩阵。对于每个最小单元ux来说,只考虑在位置x的中心单元及它的半径为G的邻居
Figure G2008800237109D00041
的单元
Figure G2008800237109D00042
之间的连接。
将活动连接矩阵定义为由下列方程组成的系统:
u x 1 , x 2 , . . . , x D [ n + 1 ] = - - - [ 2.6 ]
= f ( u x 1 , x 2 , . . . , x D [ n ] , . . . , u x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD [ n ] , . . . , w ( x 1 , x 2 , x D ) , ( x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD ) [ n ] ) =
= f ( u x 1 , x 2 , . . . , x D [ n ] , . . . , u x S 1 , x S 2 , . . . , x SD [ n ] , . . . , w ( x 1 , x 2 , . . . , x D ) , ( x S 1 , x S 2 , . . . , x SD ) [ n ] ) =
= f ( u x [ n ] , . . . , u x S [ n ] , . . . , w x , x S [ n ] )
w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k 1 , x 2 + k 2 , . . . , x D + k D ) [ n + 1 ] = - - - [ 2.7 ]
= g ( u x 1 , x 2 , . . . , x D [ n ] , u x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD [ n ] , w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD ) [ n ] ) =
= g ( u x 1 , x 2 , . . . , x D [ n ] , u x S 1 , x S 2 , . . . , x SD [ n ] , . . . , w ( x 1 , x 2 , . . . , x D ) , ( x S 1 , x S 2 , . . . , x SD ) [ n ] ) =
= g ( u x [ n ] , u x S [ n ] , w x , x S [ n ] )
是有效的:
&ForAll; u x [ n ] e &ForAll; w x , x S [ n ] | ( x , x S ) &Element; I x G = { ( x , x S ) | 0 < dist ( x , x S ) &le; G } - - - [ 2.8 ]
并且具有初始固定值 u x 1 , x 2 , . . . , x D [ 0 ] = u x [ 0 ]
w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD ) [ 0 ] = w x , x S [ 0 ] .
第一方程[2.6]表明单元的演化依赖单元的值、所有邻居单元和半径G的超立方体邻居的所有单元的(2·G+1)D-1个连接之一;同时用于连接的(2·G+1)D-1个方程表明它们中每个的演化依赖该连接的值和两个连接的单元之一。
在二维情况(D=2)的情况下,可以使用更简单的标号i和j代替x1和x2来在矩阵中表示现象的单元,其作为下式给出:
...   ...          ...        ...        ...
...   ui-1,j-1    ui,j-1    ui+1,j-1  ...
...   ui-1,j      ui,j      ui+1,j    ...
...   ui-1,j+1    ui,j+1    ui+1,j+1  ...
...   ...          ...        ...        ...
而方程[2.6和2.7]被特殊化并且如下详细描述:
u i , j [ n + 1 ] = f ( u i , j [ n ] , - - - [ 2.9 ]
, u i - 1 , j - 1 [ n ] , u i , j - 1 [ n ] , u i + 1 , j - 1 [ n ] , u i - 1 , j [ n ] , u i + 1 , j [ n ] , u i - 1 , j + 1 [ n ] , u i , j + 1 [ n ] , u i + 1 , j + 1 [ n ] ,
, w ( i , j ) , ( i - 1 , j - 1 ) [ n ] , w ( i , j ) , ( i , j - 1 ) [ n ] , w ( i , j ) , ( i + 1 , j - 1 ) [ n ] , w ( i , j ) , ( i - 1 , j ) [ n ] ,
, w ( i , j ) , ( i + 1 , j ) [ n ] , w ( i , j ) , ( i - 1 , j + 1 ) [ n ] , w ( i , j ) , ( i , j + 1 ) [ n ] , w ( i , j ) , ( i , j + 1 ) [ n ] )
w ( i , j ) , ( i - 1 , j - 1 ) [ n ] = g ( u i , j [ n ] , u i - 1 , j - 1 [ n ] , w ( i , j ) , ( i - 1 , j - 1 ) [ n ] ) - - - [ 2.10 ]
w ( i , j ) , ( i , j - 1 ) [ n + 1 ] = g ( u i , j [ n ] , u i , j - 1 [ n ] , w ( i , j ) , ( i , j - 1 ) [ n ] )
w ( i , j ) , ( i + 1 , j - 1 ) [ n + 1 ] = g ( u i , j [ n ] , u i + 1 , j - 1 [ n ] , w ( i , j ) , ( i + 1 , j - 1 ) [ n ] )
w ( i , j ) , ( i - 1 , j ) [ n ] = g ( u i , j [ n ] , u i - 1 , j [ n ] , w ( i , j ) , ( i - 1 , j ) [ n ] )
w ( i , j ) , ( i + 1 , j ) [ n ] = g ( u i , j [ n ] , u i + 1 , j [ n ] , w ( i , j ) , ( i + 1 , j ) [ n ] )
w ( i , j ) , ( i - 1 , j + 1 ) [ n ] = g ( u i , j [ n ] , u i - 1 , j + 1 [ n ] , w ( i , j ) , ( i - 1 , j + 1 ) [ n ] )
w ( i , j ) , ( i , j + 1 ) [ n + 1 ] = g ( u i , j [ n ] , u i , j + 1 [ n ] , w ( i , j ) , ( i , j + 1 ) [ n ] )
w ( i , j ) , ( i + 1 , j + 1 ) [ n + 1 ] = g ( u i , j [ n ] , u i + 1 , j + 1 [ n ] , w ( i , j ) , ( i + 1 , j + 1 ) [ n ] )
在具有D维空间中相关拓扑并且具有半径为G的最小连接元素的现象的一般情况下,单元在步骤n的变化利用下式确定在步骤n+1影响传播,直到远处单元g(n+1)位置:
g(n+1)=(n+1)·G  [2.11]
因此,仍然在步骤n+1,由邻居的变化所命中的单元数目r(n+1),不包括中心单元,等于:
r(n+1)=(2·(n+1)·G+1)D-1 [2.12]
类似地,另外可以观察两个单元ux和相互影响的延迟步骤的数目Δn等于:
Figure G2008800237109D00063
因此,基于这种考虑,应当注意方程[2.6和2.7]可以容易地推导出:
u x 1 , x 2 , . . . , x D [ n + 1 ] = - - - [ 2 . 4 ]
= f [ n ] ( u x 1 , x 2 , . . . , x D [ n ] , . . . , u x 1 + k S 1 , x 2 + k S 2 , , . . . , x D + k SD [ n ] , . . . , w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD ) [ n ] , . . . )
= f [ n ] ( u x 1 , x 2 , . . . , x D [ n ] , . . . , u x S 1 , x S 2 , . . . , x SD [ n ] , . . . , w ( x 1 , x 2 , . . . , x D ) , ( x S 1 , x S 2 , . . . , x SD ) [ n ]
= f [ n ] ( u x [ 0 ] , . . . , u x S [ 0 ] , . . . , w x , x S [ 0 ] )
w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k 1 , x 2 + k 2 , . . . , x D + k D ) [ n + 1 ] - - - [ 2.15 ]
= g [ n ] ( u x 1 , x 2 , . . . , x D [ 0 ] , u x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD [ 0 ] , w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD ) [ 0 ] ) =
= g [ n ] ( u x 1 , x 2 , . . . , x D [ 0 ] , u x S 1 , x S 2 , . . . , x D [ 0 ] , . . . , w ( x 1 , x 2 , . . . , x D ) , ( x S 1 , x S 2 , . . . , x SD ) [ 0 ] )
= g [ n ] ( u x [ 0 ] , u x S [ 0 ] , w x , x S [ 0 ] )
是有效的:
&ForAll; u x [ 0 ] e &ForAll; w x , x S [ 0 ] | ( x , x S ) &Element; I x ( n + 1 ) G - - - [ 2.16 ]
通过这些,可以指出在演化期间由现象矩阵(即,起始图像的像素)组成的动态系统描述的路径怎样依赖在每个步骤扩展的邻居内的单元和连接的初始值。单元和连接取决于初始值的事实由函数f[n]和g[n]的序列来表示:
第一个函数由具有多个自变量的函数组成,其随n增加并且等于:
2·(2·(n+1)·G+1)D-1      [2.17]
而第二个函数具有相同数目自变量的函数。
[2.6]和[2.7]指示具有相关拓扑的现象的单元和连接的演化是朝向用于表示其解集的吸引子(attractor)。可以采用要求特别注意的两种退化(degerate)形式来提供它们。
第一种考虑固定连接。在这种情况下,在它们的初始值固定连接,而关于单元我们得到:
u x 1 , x 2 , . . . , x D [ n + 1 ] = - - - [ 2.18 ]
= f ( u x 1 , x 2 , . . . , x D [ n ] , . . . , u x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD [ n ] , . . . , w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD ) [ 0 ] ) =
= f ( u x 1 , x 2 , . . . , x D [ n ] , . . . , u x S 1 , x S 2 , . . . , x SD [ n ] , . . . , w ( x 1 , x 2 , . . . , x D ) , ( x S 1 , x S 2 , . . . , x SD ) [ 0 ] )
= f ( u x [ n ] , . . . , u x S [ 0 ] , . . . , w x , x S [ 0 ] )
是有效的:
&ForAll; u x [ n ] e &ForAll; w x , x S [ 0 ] | ( x , x S ) &Element; I x ( n + 1 ) G - - - [ 2.19 ]
并且具有开始固定值 u x 1 , x 2 , . . . , x D [ 0 ] = u x [ 0 ]
w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD ) [ 0 ] = w x , x S [ 0 ] .
在这种情况下,现象的连接仅充当过程的刺激(impulse)并且充当在单元空间中出现的单元演化的约束条件。
第二退化情况在单元和连接方面相对于第一种是对称的。在这种情况下它们被认为是在它们的初始值固定的单元,充当过程的刺激。对于这种类型的系统来说,以下方程是有效的:
w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD ) [ n + 1 ] = w x , x S [ n + 1 ] - - - [ 2.20 ]
= g ( u x 1 , x 2 , . . . , x D [ 0 ] , u x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD [ 0 ] , w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD ) [ n ] ) =
= g ( u x 1 , x 2 , . . . , x D 0 , u x S 1 , x S 2 , x SD [ 0 ] , w ( x 1 , x 2 , . . . , x D ) , ( x S 1 , x S 2 , . . . , x SD ) [ n ] )
= g ( u x [ 0 ] , u x S [ 0 ] , w x , x S [ n ] )
是有效的:
&ForAll; u x [ 0 ] e &ForAll; w x , x S [ n ] | ( x , x S ) &Element; I x ( n + 1 ) G - - - [ 2.21 ]
并且具有开始固定值 u x 1 , x 2 , . . . , x D [ 0 ] = u x [ 0 ]
w ( x 1 , x 2 , . . . , x D ) , ( x 1 + k S 1 , x 2 + k S 2 , . . . , x D + k SD ) [ 0 ] = w x , x S [ 0 ] .
这种演化的特性在于用于设置连接演化的过程发生在连接空间中的事实。在此空间内部发现单元演化的解。
因此,在该过程中,单元的原始值仅充当连接演化的约束条件。后者动态提供单元的值,因此,这种过程的吸引子是每个单元的重定义,仅作为关系元素,由其初始值和与之相邻的其它单元的初始值之间的动态协商产生。
特定的简单实施例是二维图像的情况,其中标号i、j是平面图像的二个维度。从该例子开始,可以描述在通常的D维情况下的各种已知的系统。上述合成符号将用来简化阅读。表示所涉及单元的坐标的标号集将由邻居Ix G的点x和xs来代替。如已经描述的,由于对于所有图像来说位置坐标是相等的,所以邻居将以中心点x为中心,被用为基准的单元ux被认为位于其中,并且落入邻居Ix G内的其它单元
Figure G2008800237109D00091
的位置将相对于该位置改变:
xS=x+kS I x G = { ( x , x S ) | 0 < dist ( x , x S ) &le; G } . - - - [ 2.22 ]
如上所述,已知方法系列取决于它们如何允许单元和连接进行演化而彼此不同。特别地是,基于以下演化定律它们被划分为三个系列:
固定连接:允许单元ux演化直到达到标识吸引子存在的稳定状态。这种稳定状态,以及因此该吸引子根据使用哪个演化定律来改变。使用连接矩阵,其中使用给定图像的像素矩阵通过被称作自动机规则(Automata Rule)的方程来(首先)确定所述连接矩阵;
固定单元:允许连接
Figure G2008800237109D00093
演化直到达到标识吸引子存在的稳定状态。稳定状态,因此吸引子根据使用哪个演化定律来改变。它使用在每个处理周期保持不变的给定图像的像素矩阵;
动态单元和连接:连接基于在每个处理周期更新的单元ux的矩阵来达到它们自己的吸引子。现在当系统参与校正连接矩阵演化时更新单元ux的矩阵的像素的亮度。
从上可知,显然已知方法是基于以下假设的,在由上述三个系列中任何一个经处理的图像中可以看出的新形态和动态规律是对开始图像像素的矩阵及其局部邻居的每个像素的连接矩阵执行的局部、确定和迭代操作的结果。
发明内容
本发明的目的在于放大在中心像素及其邻居像素之间的关系,使得把操作范围扩展到整个系统从而使处理成为不严格的局部处理。
本发明通过提供上述类型的方法来实现以上目的,并且其中通过演化迭代步骤进行处理,其中每个步骤还是邻居像素与检查中的像素的连接的函数,当检查中的像素的所述邻居像素的每个还被认为是邻近关于所述检查中的像素的所述邻居像素的至少一个或所有像素的邻居像素时,所述函数是用于确定所有其它像素的外部特征值的即时反馈贡献(immediate feedback contribution),其中图像的每个像素的外部特征值有助于确定源于所述迭代步骤的新图像的所有其它像素的新外部特征值。
因此通过本发明,在中心像素及其邻居像素之间的关系由于这样的事实而被放大,所述关系还包括当它们中的每个也是与之邻近的所有像素的邻居像素时的关系。在这种情况下,与现有技术相反,在现有技术中每个处理步骤仅根据目标像素的有限邻居(例如3×3方矩阵)内的像素来确定所述目标像素的新值的技术,本发明考虑上面所公开的函数在获得新图像的每个处理周期的整个贡献,意味着每个像素的外部特征值给出即时反馈贡献以确定图像中的所有其它像素的新的外部特征值。由于来自区域的每个点的所有应力可能会同时用于确定高山区(mountain region),所以这可以由另一例子表示。
依照本发明的新方法包括所有邻居像素相对于上面描述的已知方法的情况c)以更可观的方式参与演化连接矩阵,所述连接矩阵最后用于利用由于处理生成的新图像来创建像素矩阵。
依照本发明的方法用于使用考虑邻居像素值及其与中心像素的连接值的新方程,以及当它们中的每个被认为是自己邻近的像素的邻居像素时和当后者被认为是中心像素时所导出的随后的顺序关系。在每个处理周期重复的方法允许每个像素借助于用来传播贡献的邻居像素如波一样向远处的每个像素给出其贡献。
定义依照本发明方法的方程被划分为两组:
旨在演化给定图像的每个图像点或像素或体素的连接值的方程组;
旨在演化给定图像的每个图像点或像素或体素的内部状态值的方程组。
本发明的进一步改进是从属权利要求的目的。
附图说明
根据以下说明书和附图,据此导出的本发明的特性和优点将更加清楚,其中:
图1是依照本发明方法的流程图。
图2和图3分别是在图2中的噪声影响下的椭圆,其被视为以图3的平面图像的中心的水平截面,椭圆的大小是253×189像素(来自T.Hansen、H.Neumann,神经网络17(2004)647-662)。
图4和5是用于使用商业软件并且特别是Adobe Photoshop 7.0来提取椭圆边缘的两种尝试。
图6是与图4和5相同的尝试,但是使用依照本发明的在五个周期之后(即在五次迭代之后)停止的方法。
图7是通过被称为具有DOI的细胞模型的已知处理方法的处理结果。
图8是通过依照本发明的方法的处理结果,其中用于停止迭代步骤序列的规则是依照方程(17)的能量最小化准则。
图9和10是椭圆及其两个焦点的相应位置的图像。
图11和12分别是:来自利用依照本发明的方法均衡和处理的图9的椭圆以及把图10的焦点图像迭加到图11的处理图像的图形。
图13a、13b、13c如下,图13a:胸部Rx:针状物质的细节(Calma投射),图13b:依照本发明的方法在前7个周期之后的处理结果,图13c是依照本发明在收敛之后的处理结果。
图13d是通过本发明方法获得的图像13a的处理结果,其中已经使用不同的阈值α(alpha)的值。
图14a、14b、14c类似于图13a到13c分别是通过本发明方法的数字式减影血管造影的处理结果:动脉(米兰的Galeazzi医院),图14a是依照本发明方法对于前12个周期执行的处理结果,图14b是通过本发明方法在收敛之后的处理结果图14c。
图15a和15b分别是在74岁男人中的B型腺癌,其中开始CT扫描示出了在左下肺叶中22×22mm的位于背景的不透明体并且在初始扫描之后349天由CT扫描所获得的相同恶性肿瘤,所述图像示出了血管收敛的增加大小(23×26mm)和发展情况,而在肿瘤中心的衰减略微地增加。
图15e是从图像15a到图像15a6开始的图像序列,使用不同的正α值处理的图像15a1到15a6来增加每个处理的灵敏度以发现隐藏在背景中的图案。
图15f是从图像15b到图像15b6开始的图像序列,图像15b1到15b6通过依照本发明方法进行处理,即执行减少α值,以便使在每个处理的方法对某些亮度越来越不敏感,就像出现及时返回一样。
图15c是图15a.1:时间0-当前-α=0.0和图15a.5:时间0-可能未来-α=0.4的迭加,并且其中在不调整和延伸尝试的情况下已经手动地迭加图15b.1(用黑色表示1年后的真正肿瘤)和图15a.5(用白色表示在一年以前预测的肿瘤)。因此不完美的一致是由于在两个不同场合中采取的图像的格式不同。
图15d是在图15a.1(在1年前的真实情况)上照相迭加图15b.5(肿瘤的原始预测),在不调整和延伸尝试的情况下手动迭加图15a.1(用黑色:在一年之前的肿瘤)和图15b.6(用白色:在一年以后重构的肿瘤的可能形状)。因此不完美的一致是由于在两个不同场合中采取的图像的格式不同。
图16a和16b分别是在64岁男人的B型腺癌,初始CT扫描示出了在右中脑叶中邻近背景的最小玻璃状不透明体(15×10mm)的小固体结核(箭头),以及相同的恶性肿瘤,在初始CT扫描之后已经获得CT扫描1137并且示出了增加的大小(25×20mm)和血管收敛,并且其中还增加了固体衰减区域。
图16e是从图像16a到图像16a6开始的图像序列,图像16a1到16a6利用不同的正α值处理。
图16c是作为借助于依照本发明方法利用α=0.4预测肿瘤形状的图16b和16a.5的迭加。
图16d是借助于依照本发明方法利用α=0.5预测肿瘤形状的图16b和16a.6的迭加。
具体实施方式
下面将再现这些处理方程,对于这些处理方程如下定义:
(方程0)
W i , j [ 0 ] = 0.0 ; 在任何两个像素之间的连接的初始值。
ui∈[-1+α,1+α];给定图像的所有像素值的初始量度。
α=像素值的量度阈值。
x[n]=x在n步骤;在特定处理周期的任何变量(连接,像素等)。
P i [ n ] = i - th 在n步骤的像素;
Out i [ n ] = i - th 在n步骤的输出;
S i [ n ] = i - th 在n步骤的状态;
N=邻居节点。
用于调节每个像素的连接值的方程组可以被划分为四个步骤:
(方程1) D i = &Sigma; j N ( u j [ n ] - W i , j [ n ] ) ;
应当清楚,因子Di不是距离,而仅是在每个像素值和中心像素与之相连的权重之间的差异和。
(方程2) J i = e D i - e - D i e D i + e - D i ;
变量Ji是把双曲正切函数应用到因子Di的结果。此运算具有三个目的:
a)在有限区间中封闭可能的Di值;
b)向可能的Di值提供平滑的S型形状;
c)利用在每个点可微的函数来操作。
(方程3)
&Delta; W i , j [ n ] = - ( u i [ n ] &CenterDot; J i ) &CenterDot; ( - 2 &CenterDot; J i ) &CenterDot; ( 1 - J i 2 ) &CenterDot; ( u j [ n ] - W i , j [ n ] ) ;
此方程可以被划分为三个分量:
a)第一分量-(ui [n]·Ji),根据其邻居(权重和像素)利用变量Ji加权中心像素的值。然而,它反转了在符号之间的经典数学关系:在这种情况下,一致导致负值,而不一致导致正值。这意味着:
1.如果中心像素趋向于黑色(负值)并且把它连接到其邻居的权重平均大于该邻居的像素,那么该部分方程的值将为负;
2.如果中心像素趋向于黑色(负值)并且把它连接到其邻居的权重平均小于该邻居的像素,那么该部分方程的值将为正;
3.如果中心像素趋向于白色(正值)并且把它连接到其邻居的权重平均大于该邻居的像素,那么该部分方程的值将为正;
4.如果中心像素趋向于白色(正值)并且把它连接到其邻居的权重平均小于该邻居的像素,那么该部分方程的值将为负;
b.方程(3)的第二分量(-2·Ji)·(1-Ji 2)是Ji的二阶导数。它分析在邻居像素和中心像素与之连接的权重之间的变化如何改变;
c.方程(3)的第三分量通过在每个邻居像素和中心像素与之相连的权重之间的差来加权整个方程。
(方程4) W i , j [ n ] = W i , j [ n ] + &Delta; W i , j [ n ] ;
在此方程中,更新用于把中心像素连接到其邻居的每个像素的权重。
在用于定义四个步骤的这前四个方程中,应当注意以下内容:
a.在中心像素及其邻居之间的所有连接取决于邻居像素的值;
b.在中心像素及其邻居的每个像素之间的每个连接取决于所有邻居像素。
因此,权重的演化是给定图像的每个像素(关于其邻居的每个像素)的一阶转换。
依照本发明方法的这些第一方程已经能够确定任何图像的有意义的转换。
在每个演化周期,足以计算每个中心像素的输出权重值的平均值并且在0和255之间(在图像中像素可以获得的值范围)适当地量度该值,以便实现把图像划分为两部分的转换:图形和背景。
(方程5)
P i [ n ] = Scale Pixel &CenterDot; &Sigma; j N W i , j [ n ] N + Offset Pixel ; P i [ n ] &Element; [ 0 , MaxPixelOut ] ;
(方程6)
Scale Pixel = MaxPixelOut ( MaxW - MinW ) ; Offset Pixel = - MinW &CenterDot; MaxPixelOut MaxW - MinW
在初始量度(方程0)使用值α的不同值的事实导致图形的边缘相对于背景的变化。
至于旨在演化给定图像的每个图像点或像素或体素的内部状态值的方程组,其目的在于修改单元u的激活状态的这种方程还可以被划分为不同的步骤:
(方程7)
Out i [ n ] = Scale Out &CenterDot; &Sigma; j N W i , j [ n ] N + Offset Out ; Out i [ n ] &Element; [ - 1 , + 1 ] ;
(方程8)
Scale Out = 2 MaxW - MinW ; Offset Out = - MaxW + MinW MaxW - MinW
这种方程的目的在于利用其在区间{-1,+1}的数集中量度把每个中心像素与其邻居连接的值的平均值。
这样的量度的结果取绝对值,定义了每个中心像素的内部激活状态:
(方程9) S i [ n ] = | Out i [ n ] | ;
因此,考虑像素值,可以说:用于把每个中心像素连接到其自己邻居的权重的平均值越远离中性值(如果在-1和+1之间量度值,那么为“0”,或者如果在0和255之间量度值那么为“灰度127”),该中心像素有效的内部状态越活跃(active)。
现在借助于下列方程,我们向每个像素给予“Δ因子”ΔSi,j [n],考虑其激活值和作为其邻居的每个像素的激活值:
(方程10)
&Delta; S [ n ] i , j = - TanH ( S i [ n ] + u j [ n ] ) = - e ( S i [ n ] + u j [ n ] ) - e - ( S i [ n ] + u j [ n ] ) e ( S i [ n ] + u j [ n ] ) + e - ( S i [ n ] + u j [ n ] ) ;
由于各种原因,方程(10)是重要的:
如果半径是单位一,那么二维图像的每个像素具有至少由8个其它像素组成的邻居;这意味着当应用方程(10)时,中心像素的内部状态越趋向于1并且邻居像素的激活状态越大于零,ΔSi,j [n]将越具有相对于邻居像素值相反的符号;而中心像素的内部状态越趋向1并且邻居像素的激活状态越趋向-1,ΔSi,j [n]将越趋向零。
适当加权的每个邻居像素的每个邻居的ΔSi,j [n]的1补码的平方和将定义每个图像像素的二阶
Figure G2008800237109D00171
(方程11)
Figure G2008800237109D00172
现在下列方程考虑组成每个像素的邻居的
Figure G2008800237109D00173
的和的函数,因此它们考虑每个像素的三阶变量:
(方程12)
Figure G2008800237109D00174
当向量定义了给定图像的封闭边缘时,向量ψi [n]负责逐渐产生从初始边缘移动到图像最明亮部分的边缘波,所述边缘波借助于它们的相长性和破坏性干扰定义了图像的一种“框架”。
下列方程考虑适于定义每个图像将接收的最终变量的二阶效应和三阶效应之间的交叉。
(方程13)
Figure G2008800237109D00176
作为结果,用于在随后的周期修改每个图像单元的激活状态的最终方程如下:
(方程14) u i [ n + 1 ] = u i [ n ] + &delta; u i [ n ] .
用于停止本方法的迭代处理步骤的规则与连接值的稳定性相关(参见方程(3))。
更详细地,依照下列方程通过对在每个处理周期的整个图像的连接值变化进行求和来给出系统的能量E[n]
E [ n ] = &Sigma; x = 1 X &Sigma; s = 1 N ( &Delta; w x , x S [ n ] ) 2 ;
其中:
X=给定图像的像素的基数,
N=每个像素的单位半径的邻居,
X,XS=第x个像素及其邻居,
(方程15a)
系统演化导致系统能量随处理周期的增加而降低:
(方程15b) lim E n &RightArrow; &infin; [ n ] = 0 .
这意味着在演化结束时的系统能量最小:
(方程15c)E*=min{E[n]}
因此,以更抽象的方式,依照本发明的方法可以由图1的流程图来表示。
如上面方程所定义,像素的初始值定义每个像素的激活状态U和初始连接矩阵。由10标示的框ΔW标识连接矩阵的演化步骤,后面是确定每个像素的内部状态S,据此执行像素的激活状态U的演化。从该新值开始,可以执行一个或多个进一步的迭代步骤直到达到最终处理条件,照此通过最后的处理步骤的演化所定义的权重矩阵来生成经处理的图像的像素值。
各个测试已经示出了依照本发明的方法在较少周期之后从图像中提取边缘的能力。
测试1
作为开始图像,图3的椭圆的图像已经遭受诸如在图2中所示的噪声。这样的图像取自以下文档,T.Hansen、H.Neumann,神经网络17(2004)647-662。
已经通过使用商业软件Photoshop(Adobe Photoshop 7.0)执行所述图像的椭圆的边缘的提取。诸如在图4和5中所示,商业软件在从背景提取椭圆边缘时会有某些麻烦。
通过使用依照本发明的方法来执行相同的尝试。在数个周期之后所获得结果由在图6中所示出的尖锐和准确的边缘组成。
还通过使用具有支配对立禁止(opponent inhibition)的新细胞模型(T.Hansen、H.Neumann的“A simple cell model with dominatingopponent inhibition for a robust image processing”,神经网络17(2004)647-662)来处理开始图形。在图7中示出了在该著作中所示出的最好结果。显然在该模型中图形的边缘还具有可变强度并且通过随后的逻辑内插使之更加平滑。通过放大原始图形,可以注意在椭圆边缘上的较深边缘怎样具有不均匀的趋势,其一般是数字化的圆圈和省略号。
相反,依照本发明的方法生成完美封闭的椭圆,具有恒定的强度线和边缘,用以动态地反映由局部像素独立达到的协商过程。
在第一周期之后,当定义椭圆边缘时,依照本发明的方法朝向收敛方向继续其用于描绘椭圆的内部框架的路径,诸如在图8中所示出。
所述方法在已经发现并指出在图像(椭圆)中普遍图形边缘之后自然地生成了朝向图形内部的“波”。这种波彼此满足的事实生成相长干涉(趋向白色的值)和破坏干涉(趋向黑色的值)。因此破坏干涉以完美地标识了两个椭圆焦点的准确度绘制了图形的框架。
测试2
已经进行了特定测试来验证以上论述。已经借助于MatLab来图解地产生椭圆并且已经分析计算了其焦点。在图9和10中指示了椭圆和焦点的图像。然后已经借助于依照本发明的方法处理了椭圆的空心形状,并且最后通过依照本发明的方法所获得的图像已经被迭加到用于分析示出两个焦点位置的图像上(图10)。在图11和12中示出了处理和迭加的结果。
依照本发明的方法由于其基于亮度从图像中提取构成它的图形的能力而具有重要的医学应用。在胸部肿瘤领域,定义肿瘤边缘及其结构可能对医生来说是有用的。在图13a到13c的序列中示出了例子。在这种情况下,图像13a示出了典型的胸部射线照相诊断图像,其中可以注意到所谓的针状物质。已经通过使用依照本发明的方法处理了图像,在所述方法的前7个迭代周期之后获得图13b的结果并且当达到收敛条件时获得图13c的结果。
诸如在图14a到14c中所示,依照本发明的方法在诸如数字式减影血管造影之类的特别复杂图像的情况下也提供了有用的结果。所述图形清楚地示出了依照本发明的方法在发现内部狭窄方面的能力,所述内部狭窄对外科医生来说并不是显见的。
在该处理中,在-1和+1之间量度初始图像的值,并因此方程(0)的因子α隐含地等于零。该因子确定图像亮度的系统灵敏阈值。用于指示在阈值和单位量度之间比率的表示例性地总计上面所陈述的:
α=-1.0    u∈[-2.0,0.0];
α=-0.9    u∈[-1.9,+0.1];
α=-0.8    u∈[-1.8,+0.2];
α=-0.7    u∈[-1.7,+0.3];
α=-0.6    u∈[-1.6,+0.4];
α=-0.5    u∈[-1.5,+0.5];
α=-0.4    u∈[-1.4,+0.6];
α=-0.3    u∈[-1.3,+0.7];
α=-0.2    u∈[-1.2,+0.8];
α=-0.1    u∈[-1.1,+0.9];
α=0.0     u∈[-1.0,+1.0];
α=+0.1    u∈[-0.9,+1.1];
α=+0.2    u∈[-0.8,+1.2];
α=+0.3    u∈[-0.7,+1.3];
α=+0.4    u∈[-0.6,+1.4];
α=+0.5    u∈[-0.5,+1.5];
α=+0.6    u∈[-0.4,+1.6];
α=+0.7    u∈[-0.3,+1.7];
α=+0.8    u∈[-0.2,+1.8];
α=+0.9    u∈[-0.1,+1.9];
α=+1.0    u∈[0.0,+2.0];
表1:在阈值和单位量度之间的比率
可以通过依照本发明的方法以独立方式利用不同的阈值α来处理图13a的图像。利用不同阈值α处理的图像将指出具有不同图形的最终图像。最小因子α将仅指出具有较强亮度的图形,而最大因子α将仅指出具有不那么强亮度的图形。因此,不同的α值在给定图像上执行不同强度亮度的扫描。
图13的胸部物质的图像Rx可以清楚地示出上面所述的在图13d中所示出的结果序列并由相应的阈值α指出。
如果亮度强度以某种方式与在医学图像中所检查的病变活动成正比,那么在此情况下可以使用通过依照本发明的方法所获得的不同扫描以便发现病变发展的时间顺序。
例如,在肺肿瘤中,可以假定以下事实,在计算机断层扫描(CT)中的不同亮度强度反映了其中肿瘤更为活动的区域。在恶性肿瘤的情况下,更多的周边区域可能在人眼看起来与背景一样深,而相反它们可能具有亮度“光阴暗区”,指示肿瘤的探查和扩散策略。这种亮度的非常微小的改变可能如此微弱,以致其它分析算法可能会简单地将它们认为是“噪声”而去除它们。相反,依照本发明的方法似乎能够区分当背景的亮度变化为简单噪声时以及这种变化是很难描述的图像模型时的情况。
如下所示,通过依照本发明的方法改变阈值α扫描原始图像的事实使得可以指出肺部肿瘤在一两年前的某些发展形状。
为了验证该理论,已经进行了不同的测试,下面列出了一些例子。由一组研究人员于2000年在著名的科学回顾上发布的研究和图像已经被用于测试:
作者:AOKIT.(1),NAKATA H.(1),WATANABE H.(1),NAKAMURA K.(1),KASAI T.(2),HASHIMOTO H.(2),YASUMOTO K.(3),KIDO M.(4).
隶属的机构:
1)放射部,产业医科大学,Yahatanishi-ku、Kitakyushu-shi,807-8555,日本
(2)病变和肿瘤学部,产业医科大学,Kitakyushu-shi,807-8555,日本
(3)第二外科部,产业医科大学,Kitakyushu-shi,807-8555,日本
(4)呼吸道疾病学部,产业医科大学,Kitakyushu-shi,807-8555,日本
标题:“Evolution of peripheral lung adenocarcinomas:CT findingscorrelated with histology and tumor doubling time(周围型肺腺癌的演化:与历史和肿瘤体积倍增时间相关的CT表现)”。
评论:美国放射学杂志(Am.j.roentgenol.)2000年,卷174,第3期,页763-768。
从这样的研究(Aoki 2000)中已经获得两对肺肿瘤图像。每对示出了在第一CT时刻(时间0)的肿瘤和在1或3年后(时间1)的肿瘤。研究人员声明在时间0,图像不允许被明确地诊断为肿瘤。
两对图像分别是图15a和15b以及16a和16b的图像。
在已经进行两次测试的图像15a和15b对上:第一个通过由不同的正α值处理第一图像(图15a)。这是为了在每个处理操作增加发现隐藏在背景中的图案的灵敏度。在图15e的图像15a1到15a6序列中示出了处理结果。
可以注意到图15a.1非常准确地拍摄了源图形的肿瘤边缘(图15a),而在图15a.2到图15a.5中相对于原始图形(图15a)肿瘤边缘在似乎没有缘由的情况下变得越来越多。
然而应当注意,图15a.5和15a.6的边缘形状与肿瘤将一年后取自同一个病人的形状非常相像(参见图15b)。
在第二测试中,已经处理了1年后的肿瘤图像(图15b)。此时,已经执行了不同的处理来减小α值。为了使方法在每次处理对特定亮度强度不那么敏感,则希望及时返回。在图15f的图像15b1到15b6的序列中示出了此第二测试的处理结果。
从这些图像中应当注意,图15b.1的肿瘤边缘与图15a.5的肿瘤边缘相似。类似地,图15a.1的肿瘤边缘实际上可以被迭加到图15b.6的肿瘤边缘上。
在α=0.0(当前时间)和α=0.4(可能将来)的处理中在时间0的胸部肿瘤形状的转换是清楚的:
在图15b.1(一年后的真实情况)上的图15a.5(肿瘤发展的预测)的照相迭加示出了依照本发明的方法能够发现诸如在图15c中所示出的肿瘤的隐藏发展模型。
类似地,在利用α=0.0(当前时间)和利用α=-0.4(可能过去)的处理中在时间1的肿瘤形状的转换也是清楚的。由于其来自图15d,在图15 a.1(1年前的真实情况)上的图15 b.5(肿瘤的原始预测)的照相迭加示出了在这种情况下本方法还能够发现肿瘤的隐藏产生模型:
已经利用图16a和16b的第二对图像重复了相同的过程。后者取自在大约3年的同一个病人。在这种情况下它是不同类型的肿瘤。
诸如在图16的图16a1到16a6的图像序列中所示,本方法利用不同种类的正α值处理在时间0的图像(图16a):
在图16a.5和16a.6中的肿瘤形状的处理似乎可以很好地预测3年后肿瘤的发展情况。
在3年前的扫描图像上迭加根据依照本发明的方法利用两个独立参数α的两次预测在时间1(3年后)的真正肿瘤形状(参见下文)确认了系统在隔离并指出在具有亮度级的开始图像中所提供的信息模型的特殊能力,所述亮度级如此的微弱且特殊以致其它算法将其视为噪声变化并且对人眼来说并不明显。
根据以上测试,显然依照本发明的方法能够在时间0的图像中读取很难被看见的亮度变化。这些微弱的亮度变化似乎描述了将在时间1达到的肿瘤发展进度。
依照本发明的方法提供了每个单元的局部连接值和状态值的动态演化。关于这种复杂的演化动态,将要改变的图像是关于每个像素单元的所有局部连接值的平均值在每个周期的适当量度。
从上可知,显然所述方法的最重要特性如下:
a.在每个图像中,所述方法基于特殊亮度强度(因子α)在很少周期内隔离封闭的图形和背景。
b.在因子α改变的情况下,所述方法选择不同的图形和背景就好像它读取亮度强度作为“不同类型的频率”。
c.在演化结束时,所述方法利用从隔离的图形传播的波来填充图形或背景(取决于哪个部分最亮)。每个波的形状与充当其源的图形形状是同源的(homologous)。在这些波当中的破坏和相长干涉描述了图形的框架。
d.利用不同参数值α的方法的演化扫描相同图像具有不同亮度的不同部分。在由CT检测肺肿瘤的情况下,所述方法似乎能够从肿瘤所留下的各个亮度轨迹中读取肿瘤的过去和将来历史并且据此揭示其发展过程。这是由于所述方法能够几乎在地理上隔离相同图像中不同亮度的层;所述层对人眼和其它数学成像系统来说是不明显的。
依照本发明的方法的这些特性是因为以下数学特性中的一些:
·方法的体系结构,用于在空间和时间上提供其局部连接及其单元的独立演化。
·算法,旨在从像素到像素当中局部连接的网格投射每个图像。在系统演变期间,用户看不见图像像素单元的演化,但是会看见用于把每个像素局部连接到其第一邻居的权重值。
·方程,旨在在不同的像素之间产生吸引并且在类似的像素之间产生排斥(从方程(1)到方程(4)),帮助在图像内制作封闭的图形。
·改变每个单元的内部状态的方程考虑在每个像素及其邻居的邻居的邻居之间的delta 3°阶(从方程(5)到方程(14))。这种级联传播帮助系统自然地封闭已经发现的图形,并且相对于源图形产生类似的波。
·图像的初始量度参数α(方程(0))允许隔离不同的“亮度强度频率”,它们如此的微弱以致仅被认为是噪声或者不可见。从适当定义的参数α开始,依照本发明的方法借助于其方程能够只隔离亮度信号,即使是暗淡的亮度信号,趋向于形成封闭的形状,使它们规则化;而在任何封闭图形外部的亮度信号,只在该亮度级被自然去除。

Claims (14)

1.一种图像处理方法,其中每个图像由图像点阵列组成,特别地图像点即所谓分别在二维、三维或更多维空间中的像素或体素,每个图像点由其在图像点阵列内的位置和定义了关于明亮、灰度、色度等特性的该图像点外部特征的一个或多个数值参数来唯一地定义,并且其中每个图像点被当作是人工神经网络的节点,其中根据把每个像素的外部特征定义为所述人工神经网络的节点的值的参数和根据把每个处理中像素与预定像素子集中的像素所组成的邻居像素、特别是与所述处理中像素的邻居像素即所述像素窗的连接来处理所述图像,
同时,通过定义了所述外部特征的参数的迭代演化步骤,诸如所述节点值的演化步骤,或通过该组连接的值的迭代演化步骤,或通过所述演化的组合来获得新图像即经处理的图像的像素,
其特征在于,所述处理通过演化迭代步骤发生,其中每个步骤还是邻居像素与检查中像素的连接的函数,当该检查中像素的所述邻居像素中的每个还被当作是邻近于所述邻居像素的一个或多个或全部像素的邻居像素时,该函数是用于确定所有其它像素的外部特征值的即时反馈贡献,其中所述图像的每个像素的外部特征值有助于确定由所述迭代步骤产生的新图像的所有其它像素的新的外部特征值。
2.如权利要求1所述的方法,特征在于在处理结束时获得的连接矩阵被用来生成构成所述处理产生的新图像的图像点(像素或体素)的矩阵。
3.如权利要求1或2所述的方法,特征在于它包括用来演化图像点和/或所述图像点的连接矩阵的方程,其中不仅考虑邻居图像点的值及它们与中心图像点的连接,而且考虑当所述邻居图像点的每个被当作是每个邻近的图像点的邻居图像点时和当后者被当作是中心图像点并且在每个处理周期提供所述方程的迭代时导出的随后顺序关系,因此每个图像点借助于用来传播贡献的邻居图像点如波一样向远处的每个图像点给出其自己的贡献。
4.如先前权利要求中的一个或多个所述的方法,特征在于它包括用来确定给定图像的每个图像点或像素或体素的连接的值的演化的处理步骤,所述处理步骤结合用于确定所述给定图像的每个图像点或像素或体素的内部状态的值的演化的处理步骤。
5.如先前权利要求中的一个或多个所述的方法,特征在于用来确定所述给定图像的每个图像点或像素或体素的连接值的演化的整个处理步骤由下列方程组成,其中以下定义是有效的:
W i , j [ 0 ] = 0.0 ; 在任何两个像素之间的连接的初始值。
ui∈[-1+α,1+α];所述给定图像的所有像素值的初始量度。
α=像素值的量度阈值。
x[n]=x在n步骤;在特定处理周期的任何变量(连接,像素等)。
P i [ n ] = i - th 在n步骤的像素;
Ou t i [ n ] = i - th 在n步骤的输出;
S i [ n ] = i - th 在n步骤的状态;
N=邻居节点。
并且这样的整个处理可以被分为由如下四个方程定义的四个步骤:
(方程1) D i = &Sigma; j N ( u j [ n ] - W i , j [ n ] ) ;
其中,因子Di仅是在每个图像点即每个像素的值和中心图像点或像素与之连接的权重之间的差异和。
(方程2) J i = e D i - e - D i e D i + e - D i ;
其中,变量Ji是对因子Di应用双曲正切函数的结果,以确定以下效果:
-在有限区间中封闭可能的Di值;
-向可能的Di值提供平滑的S型形状;
-利用在每个点可微的函数来操作。
(方程3)
&Delta; W i , j [ n ] = - ( u i [ n ] &CenterDot; J i ) &CenterDot; ( - 2 &CenterDot; J i ) &CenterDot; ( 1 - J i 2 ) &CenterDot; ( u j [ n ] - W i , j [ n ] )
包括如下三个分量:
a)第一分量-(ui [n]·Ji),根据其邻居(权重和像素)利用变量Ji加权所述中心图像点或中心像素的值,同时它反转了在符号间的经典数学关系,特别是例如一致性生成负值,而不一致性生成正值;
b.方程(3)的第二分量(-2·Ji)·(1-Ji 2)是Ji的二阶导数,用于分析在邻居图像点或像素和与之连接的中心图像点或中心像素之间的变化如何改变;
c.方程(3)的第三分量通过在每个邻居图像点或像素和中心图像点或中心像素与之相连的权重之间的差来加权整个方程。
(方程4) W i , j [ n + 1 ] = W i , j [ n ] + &Delta; W i , j [ n ] ;
其中,更新用于把所述中心图像点或中心像素连接到其邻居的每个图像点或像素的权重。
6.如权利要求5所述的方法,特征在于用于根据其邻居(权重和像素)利用变量Ji加权所述中心图像点或像素的值的第一分量-(ui [n]·Ji),当它反转在符号间的经典数学关系时,对图像点运算以下函数:
a.如果所述中心图像点或像素趋向黑色(负值)并且把它连接到其邻居的权重平均起来大于该邻居的图像点或像素,那么该部分方程的值将为负;
b.如果所述中心图像点或像素趋向黑色(负值)并且把它连接到其邻居的权重平均起来小于该邻居的图像点或像素,那么该部分方程的值将为正;
c.如果所述中心图像点或像素趋向白色(正值)并且把它连接到其邻居的权重平均起来大于该邻居的图像点或像素,那么该部分方程的值将为正;
d.如果所述中心图像点或像素趋向白色(正值)并且把它连接到其邻居的权重平均起来小于该邻居的图像点或像素,那么该部分方程的值将为负。
7.如先前权利要求4到6中的一个或多个所述的方法,特征在于它提供用于在每个演化周期计算每个中心图像点或中心像素的输出权重值的平均值并且在0和255(在图像中可以获得的图像点或像素的值范围)之间适当地量度这样的值以实现把图像划分为由图形和背景组成的两个部分的转换的步骤。
8.如权利要求7所述的方法,其特征在于,依照下列方程进行量度:
(方程5)
P i [ n ] = Scale Pixel &CenterDot; &Sigma; j N W i , j [ n ] N + Offset Pixel ; P i [ n ] &Element; [ 0 , MaxPixelOut ] ;
(方程6)
Scale Pixel = MaxPixelOut ( MaxW - MinW ) ; Offset Pixel = - MinW &CenterDot; MaxPixelOut MaxW - MinW .
9.如权利要求7或8所述的方法,特征在于它用于在初始量度(方程0)时使用值α的不同值,使得相对于所述背景改变图形边缘。
10.如权利要求5到9中的一个或多个所述的方法,特征在于用于确定所述给定图像的每个图像点或像素或体素的内部状态值的演化的处理步骤组由下列方程组成,其中以下定义有效:
W i , j [ 0 ] = 0.0 ; 在任何两个像素之间的连接的初始值。
ui∈[-1+α,1+α];所述给定图像的所有像素值的初始量度。
α=像素值的量度阈值。
x[n]=x在n步骤;在特定处理周期的任何变量(连接,像素等)。
P i [ n ] = i - th 在n步骤的像素;
Ou t i [ n ] = i - th 在n步骤的输出;
S i [ n ] = i - th 在n步骤的状态;
N=邻居节点。
并且其中,方程如下:
(方程7)
Out i [ n ] = Scale Out &CenterDot; &Sigma; j N W i , j [ n ] N + Offset Out ; Out i [ n ] &Element; [ - 1 , + 1 ] ;
(方程8)
Scale Out = 2 MaxW - MinW ; Offset Out = - MaxW + MinW MaxW - MinW
借此执行在区间{-1,+1}的数集中量度每个中心图像点或像素与其邻居连接值的平均值的步骤,并且这样的量度的结果取绝对值定义了每个中心图像点或中心像素的内部激活状态:
(方程9) S i [ n ] = | Out i [ n ] | ;
对每个图像点或像素给予“Δ因子”ΔSi,j [n]的又一方程,考虑其激活值和作为其邻居的每个图像点或像素的激活值:
(方程10)
&Delta; S [ n ] i , j = - TanH ( S i [ n ] + u j [ n ] ) = - e ( S i [ n ] + u j [ n ] ) - e - ( S i [ n ] + u j [ n ] ) e ( S i [ n ] + u j [ n ] ) + e - ( S i [ n ] + u j [ n ] ) ;
而适当加权的每个邻居图像点或像素的每个邻居的ΔSi,j [n]的1补码的平方和依照下列方程定义了图像的每个图像点或每个像素的二阶值
(方程11)
Figure F2008800237109C00059
结合组成每个图像点或每个像素的邻居的的和的函数提供了又一方程,因此它们依照下式考虑每个图像点或每个像素的三阶变化:
(方程12)
当向量
Figure F2008800237109C00062
定义了给定图像的封闭边缘时,向量ψi [n]负责逐渐产生从初始边缘移动到图像的最明亮部分的边缘波,借助于它们的相长和破坏干涉定义图像的一种“框架”,并且考虑在适于定义每个图像单元将接收的最终变量的二阶效应和三阶效应之间的交叉提供又一方程:
(方程13)
Figure F2008800237109C00063
因此,用于在随后的周期修改每个图像单元的激活状态的最终方程如下:
(方程14) u i [ n + 1 ] = u i [ n ] + &delta; u i [ n ] . .
11.如先前权利要求中的一个或多个所述的方法,特征在于用于停止本方法的迭代处理步骤的规则依照方程(3)与连接值的稳定性相关,
(方程3)
&Delta; W i , j [ n ] = - ( u i [ n ] &CenterDot; J i ) &CenterDot; ( - 2 &CenterDot; J i ) &CenterDot; ( 1 - J i 2 ) &CenterDot; ( u j [ n ] - W i , j [ n ] ) .
12.如先前权利要求中的一个或多个所述的方法,其中,用于停止方法迭代步骤的规则是使方程组特别是用于定义所述能量E[n]的方程的能量最小化,并且依照下列方程,它通过对在每个处理周期的整个图像的连接值的变化进行求和来给出:
E [ n ] = &Sigma; x = 1 X &Sigma; s = 1 N ( &Delta; w x , x s [ n ] ) 2 ;
其中:
X=所述给定图像的像素的基数,
N=每个像素的单位半径的邻居,
X,XS=第x个像素及其邻居,
(方程15a)
同时系统演化导致系统能量随处理周期的增加而降低:
(方程15b) lim E [ n ] n &RightArrow; &infin; = 0 . .
13.如先前权利要求中的一个或多个所述的方法,特征在于它用于处理诊断图像。
14.如权利要求13所述的方法,特征在于它是用于预测预定类型组织的时间发展特性的方法,特别是用于预测肿瘤组织的时间演化的方法。
CN200880023710A 2007-07-06 2008-07-02 使用神经网络的图像处理 Pending CN101743566A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07425419.4 2007-07-06
EP07425419 2007-07-06
PCT/EP2008/058501 WO2009007285A1 (en) 2007-07-06 2008-07-02 Image processing using neural network

Publications (1)

Publication Number Publication Date
CN101743566A true CN101743566A (zh) 2010-06-16

Family

ID=38830358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880023710A Pending CN101743566A (zh) 2007-07-06 2008-07-02 使用神经网络的图像处理

Country Status (5)

Country Link
US (1) US8326047B2 (zh)
EP (1) EP2162861B1 (zh)
JP (1) JP2010532510A (zh)
CN (1) CN101743566A (zh)
WO (1) WO2009007285A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423571A (zh) * 2017-05-04 2017-12-01 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339466B (zh) * 2010-07-15 2016-04-13 韩华泰科株式会社 用于检测具有特定形状的区域的方法和相机
CN104465388A (zh) * 2013-09-23 2015-03-25 中芯国际集成电路制造(上海)有限公司 嵌入式源/漏极mos晶体管的制造方法
EP3400878B1 (en) 2017-05-10 2020-03-25 Esaote S.p.A. Method for postural independent location of targets in diagnostic imagines acquired by multimodal acquisitions and system for carrying out the said method
IT201800001148A1 (it) * 2018-01-17 2019-07-17 Semeion Centro Ricerche Metodo di elaborazione di immagini e sistema per l’elaborazione di immagini
CN109117897A (zh) * 2018-08-09 2019-01-01 百度在线网络技术(北京)有限公司 基于卷积神经网络的图像处理方法、装置及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2863072B2 (ja) * 1993-10-21 1999-03-03 シャープ株式会社 画像階調変換方法及び画像処理装置
JP2002218231A (ja) * 2001-01-16 2002-08-02 Sharp Corp 階調変換方法、画像処理装置、画像形成装置及び記録媒体
EP1508872A1 (en) * 2003-08-22 2005-02-23 Semeion An algorithm for recognising relationships between data of a database and a method for image pattern recognition based on the said algorithm

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423571A (zh) * 2017-05-04 2017-12-01 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别系统
CN107423571B (zh) * 2017-05-04 2018-07-06 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别系统

Also Published As

Publication number Publication date
EP2162861B1 (en) 2019-01-09
JP2010532510A (ja) 2010-10-07
EP2162861A1 (en) 2010-03-17
WO2009007285A1 (en) 2009-01-15
US8326047B2 (en) 2012-12-04
US20100135574A1 (en) 2010-06-03

Similar Documents

Publication Publication Date Title
Shiri et al. Ultra-low-dose chest CT imaging of COVID-19 patients using a deep residual neural network
CN107330949B (zh) 一种伪影校正方法及系统
CN100466974C (zh) 使用n-MIP光线投射技术的自动冠状动脉分离
Won Kim et al. Realistic simulation of reduced‐dose CT with noise modeling and sinogram synthesis using DICOM CT images
Lee et al. CT image conversion among different reconstruction kernels without a sinogram by using a convolutional neural network
CN101743566A (zh) 使用神经网络的图像处理
US20120059252A1 (en) Computer tomography sorting based on internal anatomy of patients
Hsu et al. Automatic segmentation of liver PET images
Poap et al. Chest radiographs segmentation by the use of nature-inspired algorithm for lung disease detection
CN102460471A (zh) 用于胸腔层析x射线合成成像中的计算机辅助肺结节检测的系统
JP2020517347A (ja) X線暗視野撮像におけるビーム・ハードニング補正
Badal et al. Virtual clinical trial for task-based evaluation of a deep learning synthetic mammography algorithm
van Praagh et al. Fully automated quantification method (FQM) of coronary calcium in an anthropomorphic phantom
Prasad et al. DeepUCT: Complex cascaded deep learning network for improved ultrasound tomography
Su et al. DIR‐DBTnet: Deep iterative reconstruction network for three‐dimensional digital breast tomosynthesis imaging
Nasef et al. Skeletal scintigraphy image enhancement based neutrosophic sets and salp swarm algorithm
JP2007029514A (ja) 画像解析装置、画像解析方法およびそのプログラム
CN107810518B (zh) 图像处理系统和方法
Zhao et al. Robust moving-blocker scatter correction for cone-beam computed tomography using multiple-view information
Rodríguez Pérez et al. Methodology to create 3D models of COVID-19 pathologies for virtual clinical trials
CN114202464A (zh) 基于深度学习的x射线ct局部高分辨率成像方法及装置
Sen et al. Task equivalence for model and human-observer comparisons in SPECT localization studies
Gang et al. Multiscale deformable registration for dual‐energy x‐ray imaging
Loohuis Exploring the Prognostic Value of Deep Learning Image-to-Image Registration for Immunotherapy Patient Monitoring
Zhang et al. Investigating the feasibility of using partial least squares as a method of extracting salient information for the evaluation of digital breast tomosynthesis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20100616