CN111971687A - 对数字图像中的待估计对象的参数进行估计的方法以及从数字图像中去除对象的方法 - Google Patents
对数字图像中的待估计对象的参数进行估计的方法以及从数字图像中去除对象的方法 Download PDFInfo
- Publication number
- CN111971687A CN111971687A CN201980011447.XA CN201980011447A CN111971687A CN 111971687 A CN111971687 A CN 111971687A CN 201980011447 A CN201980011447 A CN 201980011447A CN 111971687 A CN111971687 A CN 111971687A
- Authority
- CN
- China
- Prior art keywords
- content
- components
- dictionary
- digital image
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Geometry (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提供了一种对表示成像的真实内容的数字图像中的待估计对象的参数进行估计的方法，所述方法至少包括以下步骤：a)包括创建内容分量词典产品和对象分量词典产品的初始步骤，内容分量和对象分量具有与所述数字图像相同的尺度；b)联合确定所述数字图像中存在的内容分量词典中的内容分量和对象分量词典中的对象分量中的各个分量的幅度的步骤；c)根据所述对象分量中的各个对象分量的幅度，确定表征所述待估计对象的至少一个参数的值。
Description
本发明涉及对数字图像中的待估计对象的参数进行估计的方法，并且涉及从数字图像中去除对象的方法。本发明特别适用于通过X射线成像获得的数字图像，而且可以扩展至任何类型的数字成像仪，例如，对红外辐射甚或可见光谱的光进行成像的数字成像仪。
在本专利申请中，数字图像中可能存在三个分量：
1.与试图查看的经成像的真实对象相对应的临床内容或背景。这例如在对患者或患者的身体部位进行X射线成像的情况下可能会有问题。
2.与形成图像时的随机扰动相对应的获取噪声。这可能是在X射线成像时必须向图像添加的电子噪声、因图像中存在的少量光子而造成的光子噪声以及遵循泊松(Poisson)分布的问题。
3.寻求估计的对象，并且所述对象可能证明对内容的查看有害。
然后，可以按以下两种不同的方式写入数字图像：取决于是独立于其它两个分量来处理噪声：
图像＝对象+内容+噪声
还是被认为属于内容：
图像＝对象+内容
图1示出了包含待估计对象的图像的示例。在当前情况下，该图示出了放射图像，该放射图像的内容是患者的身体部位。为了提高图像的对比度，尤其是放射线图像的质量，从业人员通常使用防散射栅格(grid)。该防散射栅格位于患者与检测器之间，它可以减少散射的并由患者导致的辐射。在图1中，水平变化由此归因于防散射栅格的存在；这些变化可能会掩盖大量信息，并且潜在地导致糟糕的诊断。因此必须应用图像处理，以便从数字图像中去除这些水平变化，而不会修改内容。
然而，这种处理面临两个主要困难。首先，即使图像还包含噪声，并且即使内容可能是非常强且不可预测的信号，也必须能够仅去除所述对象。具体地，根据待成像的患者身体部位，内容会发生极大变化，并且对于给定身体部位，内容可能因患者而异。另一困难是由于以下事实：待估计对象没有被完美地定义，即，可能不知道对象的多个参数。图2示出了待估计对象的另一示例。这是在图像IM上叠加正方形CR的问题，这妨碍了内容的正确查看。既不知道对象的幅度(像素的值，例如，放射图像的灰度)，又不知道对象的大小。
当前，两种类型的解决方案允许处理信号以便从中去除不希望的分量。
第一种解决方案涵盖常规过滤器，特别是匹配的过滤器、维纳(Wiener)滤波器甚或卡尔曼(Kalman)滤波器。这些解决方案基于对内容和妨碍对内容进行估计的信号(通常为与内容去相关的随机噪声)的估计和统计建模。在我们的情况下，内容(患者)不是可建模的，但是仍然表示图像中存在的大多数信号。因此，可以在图像的“单调(flat)”区域中实施此类解决方案，在所述单调区域中，不存在患者，但是当患者存在时仍保持次优。另外，这些解决方案具有以下缺点：例如，如果图像包含类似于待去除对象的分量，那么去除对象会或多或少地修改图像的内容。参照图1，如果在由检测器获取的内容中存在类似于防散射栅格的要素，那么如果使用匹配的过滤器，则可能会去除该要素。
第二种解决方案涵盖频谱估计方法，特别是具体在论文“Source localizationand sensing:A nonparametric Iterative Adaptive Approach based on weightedleast squares”(Yardibi T.et al.,Aerospace and Electronic Systems,IEEETransactions on 46.1 2010)中描述的IAA法(IAA是迭代自适应方法的首字母缩写)，以及具体在论文“Sparse Learning via Iterative Minimization with application toMIMO Radar Imaging”(Tan X.et al.,IEEE Transactions on Signal Processing,vol.59,no.3,March 2011)中描述的SLIM法(SLIM是经由迭代最小化进行稀疏学习的首字母缩写)。这些方法适用于雷达和电信领域，在雷达和电信领域中，信号是一维的，但不能在现有技术中转置成二维信号的情况，并因此被用于图像处理。此外，在SLIM法中，假定噪声为白噪声。这种假定不能用于由检测器获取的图像，在这种情况下，噪声是每种成像技术所特有的。特别是，在X射线成像中，光子噪声不是白噪声。
最后，前述方法仅考虑两个信号，即，内容和噪声。因此，它们不允许对妨碍内容查看并且与获取噪声不同的对象的一个或更多个参数进行估计。
因此，本发明旨在获得一种对数字图像中的待估计对象的一个或更多个参数进行估计的方法，这个对象与获取噪声是不同的，所述方法不需要预先精确地获知内容、或者待估计对象、或者获取噪声。本发明还涉及一种从数字图像中去除对象的方法，该方法不在图像中修改与成像的真实对象相对应的内容。
因此，本发明的一个目的是提供一种对表示成像的真实内容的数字图像中的待估计对象的一个或更多个参数进行估计的方法，所述方法至少包括：
a)包括创建内容分量词典和创建对象分量词典的初始步骤，所述内容分量和所述对象分量具有和所述数字图像相同的尺寸；
b)联合确定所述数字图像中存在的所述内容分量词典中的内容分量和所述对象分量词典中的对象分量中的各个分量的幅度的步骤；
c)基于所述对象分量中的各个对象分量的幅度，确定表征所述待估计对象的至少一个参数的值的步骤。
有利地，所述确定表征所述待估计对象的至少一个参数的值的步骤c)包括以下子步骤：
-确定具有最高幅度的对象分量的子集；
-根据所述子集中的对象分量的线性组合，确定所述参数的值。
有利地，创建所述内容词典包括：生成二维正弦信号的图像的集合。
作为变型，创建所述内容词典包括：生成表示形成所述数字图像的传感器的调制传递函数的图像的集合。
作为变型，所述内容词典是使用机器学习算法创建的。
有利地，所述机器学习算法是K-SVD算法。
有利地，创建所述对象分量词典包括：生成具有所述参数的不同值的图像的集合。
有利地，所述参数是从包括所述对象的频率、形状、大小和位置的集合中选择的。
有利地，联合确定步骤b)是通过迭代地确定估计矢量(β)直到所述估计矢量(β)收敛来执行的，所述估计矢量包含所述图像中存在的所述内容词典中的分量和所述对象词典中的分量中的各个分量的不同幅度值。
有利地，当所述估计矢量(β)的范数保持低于预设阈值达两次连续迭代时，将所述估计矢量(β)视为已经收敛。
作为变型，在预设次数的迭代结束时，将所述估计矢量(β)视为已经收敛。
有利地，所述方法在每次迭代结束时包括以下步骤：对所述内容分量词典中的分量和/或所述对象分量词典中的分量进行修改，以使由下式定义的投影误差(ε)最小化：
ε＝|y-Dβ|2，
其中，y是表示所述数字图像的矢量，并且D是表示待修改的词典分量的矩阵。
有利地，所述联合确定步骤b)包括：迭代地确定对噪声方差(σ2)的估计，直到所述噪声方差(σ2)的估计收敛为止，所述噪声方差的估计是基于所述估计矢量(β)和所述数字图像中存在的噪声的相关矩阵N来确定的。
有利地，所述噪声的相关矩阵N是经由被用于获取所述数字图像的检测器的先验知识来确定的。
有利地，所述方法包括步骤d)：通过全部所述内容分量的线性组合来重建内容图像。
有利地，所述数字图像是通过X射线成像获取的。
本发明还涉及一种去除表示成像的真实内容的数字图像中存在的对象的方法，所述方法包括以下步骤：
-使用根据前述权利要求中的一项所述的参数估计方法，对所述对象的至少一个参数的值以及所述对象的幅度进行估计；
-基于表征所述对象的参数的值以及所述对象的幅度，对所述对象进行估计；
-逐像素地从所述数字图像中减去所估计的对象。
通过阅读参照附图给出的描述，本发明的其它特征、细节以及优点将变得更加明显，附图是作为示例给出的并且分别如下示出：
-已经描述过的图1是X射线图像中存在的并且因防散射栅格而造成的振荡的示例；
-图2是数字图像中的待估计对象的示例；
-图3是根据本发明的方法的功能示意图；
-图4A是内容分量词典的示例，该词典是基于傅立叶分量获得的；
-图4B是内容分量词典的另一示例，该词典是基于检测器的脉冲响应获得的；
-图5是对象分量词典的示例，对于该词典，待估计参数是正方形的大小；
-图6是根据第一实施方式的联合确定对象分量和内容分量两者的幅度的算法的各个步骤的示意性例示图；
-图7是根据第二实施方式的联合确定对象分量和内容分量两者的幅度的算法的各个步骤的示意性例示图；
-图8是例示各个对象分量的幅度的曲线图；
-图9是图2的已经从中去除了对象的图像。
图2例示了数字图像IM，该数字图像包含使该数字图像的对应部分变白的对象(正方形CR)。在图2中，为了附图的清楚起见，仅仅示出了围绕正方形CR的虚线。因此寻求对表征对象的至少一个参数的值以及对象的幅度进行估计，目的在于估计正方形CR使图像变亮了多少。
图3例示了根据本发明的方法的功能示意图。
初始的第一步骤a)包括创建内容分量词典以及创建对象分量词典。
因此，第一个子步骤包括创建内容分量词典。
根据第一实施方式，在没有先验的情况下，可以通过生成基本的二维正弦信号的图像的集合来创建内容分量词典。图4A例示了这样的词典。内容分量(COMP_CONT_1、COMP_CONT_2、…、COMP_CONT_K)(K大于或等于1)中的各个内容分量表示一个二维正弦信号，即，处于一个特定的频率。所示的内容分量被称为傅里叶分量。图4中示出的内容分量的数量是非限制性的。
根据另一实施方式，可以通过生成表示形成数字图像的传感器的调制传递函数的图像的集合来创建内容分量词典。图4B例示了这样的词典。该词典是基于检测器的脉冲响应生成的。内容分量(COMP_CONT_1、COMP_CONT_2、…、COMP_CONT_K)(K大于或等于1)中的各个内容分量表示检测器的针对一个像素的脉冲响应。因此，内容词典由针对检测器的各个像素的所有这些图像的集合组成。该词典特别是在X射线成像中，有利地接近检测器的物理特性。
根据另一实施方式，可以使用机器学习算法，并且特别是使用K-SVD算法来创建内容分量词典。K-SVD算法特别适于创建和学习词典分量，这使其易于实现。使用这样的算法的内容分量词典例如可以从一组X射线照相图像创建分量。可以使用其它机器学习算法，例如，神经网络甚或SVM算法(SVM是支持矢量机的首字母缩写)。
各个内容分量的尺度可以与在发现了对象的数字图像的尺度相同。例如，如果对象是非常局部化的，那么也可以在数字图像的一个部分上执行参数估计。在这种情况下，各个内容分量的尺度与数字图像的所述部分的尺度相同。
初始的第一步骤a)的第二个子步骤包括创建对象分量词典。通过生成具有参数的不同值的图像的集合，可以创建对象分量词典。非详尽地，所述参数可以是对象的频率、形状、大小以及位置。
图5例示了对象分量词典的示例，对于该词典，待估计参数是图2中的待估计正方形的大小。图5中存在的对象分量(COMP_OBJ_1、COMP_OBJ_2、COMP_OBJ_3、COMP_OBJ_4)的数量(即，待估计参数可能采用的可能值的数量)是非限制性的。它可以特别包括与数字图像中的不同大小(例如，1×1个像素、2×2个像素、3×3个像素等)的正方形一样多的分量。
最常见的情况是存在一个待估计参数(例如，正方形的大小)和对应对象的幅度。因此，对象分量词典包括和存在的参数的可能值的数量一样多的对象分量。具有最高幅度的对象分量对应于正确的参数值。还可以设想存在多个待估计参数(例如，正方形的位置和大小)以及对应对象的幅度的情况。如果对象是幅度未知的已知分量的总和，则必需估计这些分量中的各个分量的幅度。
因此，获得了内容分量词典和对象分量词典。各个分量皆是将以大小为M的矢量形式写成的I行和J列的矩阵，M是图像的大小，或者是发现了对象的图像部分的大小(即，所有对应像素)。
根据下面描述的两个实施方式，可以联合确定数字图像中存在的内容分量词典中的内容分量和对象分量词典中的对象分量中的各个分量的幅度(图3中的步骤b))。
第一实施方式
在这个第一实施方式中，数字图像中存在的噪声是与内容和对象分开处理的。可以根据已处理数据的不同性质来证明这种分开的处理是合理的：内容和对象两者的数据不是随机的，而噪声的数据是随机的。
设D是大小为M×L的矩阵，其中包含各种待估计分量(对象和内容)。因此，矩阵D是内容分量词典和对象分量词典的并置(concatenation)。L是内容分量词典中的分量和对象分量词典中的分量两者的数量。作为大小为M的矢量的Di是矩阵D的第i个分量。
将与数字图像中存在的噪声的相关性有关的信息放入与矩阵D不同的矩阵N中。因此，数字图像中存在的噪声是与内容和对象分开处理的。可以经由被用于获取数字图像的检测器的先验知识来确定噪声的相关矩阵N。具体地，噪声可能是每种成像技术(X射线、红外线、可见光)所特有的。特别是，在X射线成像中，光子噪声通常不是白噪声。可以使用维纳-欣钦(Khintchine)定理，通过对“单调”图像(即，无内容的图像)的频谱功率密度进行傅立叶逆变换，来估计噪声的相关矩阵N。
作为变型，如果假定像素之间没有相关性，则N可以是大小为M×M的单位矩阵。
设y是表示数字图像的矢量，即，各个像素的值(也称为亮度)。
设β是大小为L的估计矢量，该矢量包含各个分量Di的估计幅度。因此，β＝[β1,β2,…,βL]。
设a、b和q是该算法的参数，a和b取决于噪声的性质和知识。特别地，如果未获知有关噪声的任何内容，则a＝0和b＝0。
联合确定数字图像中存在的内容分量词典中的内容分量和对象分量词典中的对象分量中的各个分量的幅度的算法包括初始化步骤以及六个迭代步骤，如图6所示。
初始化步骤
可以以任何方式(例如，利用随机值)或者实际上通过确定各个分量Di与表示数字图像的矢量y之间的数积(scalar product)来初始化估计矢量β的值：
βi＝Di.y，其中，1≤i≤L
此外，可以以任何方式(例如，利用随机值)或者利用以下关系来初始化噪声方差(σ2)的估计：
β处于其初始值。
迭代步骤
1.计算P＝|β|qZ，其中，q是由用户设定的参数；这是一个介于1到2之间的实数的问题。用户可以根据最终的结果(即，根据从图像中去除对象的质量)来改变该参数的值。Z是对角矩阵，以使某些分量的估计具有特权—在一般情况下，Z将是单位矩阵。Z可由用户进行参数化。
2.计算数字图像的信号y的协方差矩阵的估计矩阵R：
R＝Ddiag(P)DH+σ2N
3.计算归一化项：
Nor＝|βi|-q
4.接下来，使用下式来计算分量βi的各个估计幅度：
5.例如，可以利用下式来计算噪声方差σ2的估计：
6.可选地，可以修改词典分量，以使由下式定义的投影误差ε最小化：
ε＝|y-Dβ|2
特别地，可以利用介于0到1之间的更新参数λ来更新各个词典分量Di：
其中，
是待更新词典分量Di，并且
是更新后的词典分量Di。
可以将更新参数λ设定成0；在这种情况下，不存在对词典中的分量的更新。
可以使用其它方法，特别是二等分法或梯度下降法来更新词典分量Di。
可以将更新步骤应用于内容分量词典中的内容分量和/或对象分量词典中的对象分量。
重复这六个步骤，直到算法收敛为止，即，直到估计矢量β和噪声方差σ2的估计收敛。由于噪声方差σ2直接取决于β，因此，一者的收敛意味着另一者的收敛。
分别在估计矢量β的范数保持低于预设阈值达两次连续迭代时以及在噪声方差σ2的估计值保持低于预设阈值达两次连续迭代时，可以将估计矢量β和噪声方差σ2的估计视为已经收敛。
作为变型，在预设次数的迭代结束时，可以认为已经达到收敛。然后，可以确定对象的所述一个或更多个参数的值(图3中的步骤c))。步骤c)包括以下子步骤：
-确定具有最高幅度的对象分量的子集；
-执行所述子集中的对象分量的线性组合。
特别地，具有最高幅度的对象分量的子集可以包括单个分量。
使用上述算法，还可以通过对所有内容分量执行线性组合，来重建与成像的真实内容相对应的内容(图3中的步骤d))。这种重建可以使得获得没有噪声的图像。
第二实施方式
在这个第二实施方式中，数字图像中存在的噪声是与内容和对象(即，在同一个矩阵中)一起进行处理的。
相对于第一实施方式，矩阵D因此是将对象分量词典、内容分量词典以及与数字图像中存在的噪声的相关性有关的信息(该信息在第一实施方式中形成矩阵N)并置的结果。
y是表示数字图像的矢量，即，各个像素的值。
β是大小为L的估计矢量，该矢量包含各个分量Di的估计幅度。因此，β＝[β1,β2,…,βL]。q是所述算法的参数。相对于第一实施方式，没有计算噪声方差σ2的估计；因此，没有使用参数a和b。
该联合确定算法也包括初始化步骤以及五个迭代步骤，如图7所示。
初始化步骤
可以以任何方式(例如，利用随机值)或者实际上通过确定各个分量Di与表示数字图像的矢量y之间的数积来初始化估计矢量β的值：
βi＝Di.y，其中，1≤i≤L
迭代步骤
1.计算P＝|β|qZ，其中，q是由用户设定的参数；这是一个介于1到2之间的实数的问题。用户可以根据最终的结果(即，根据从图像中去除对象的质量)来改变该参数的值。Z是对角矩阵，以使某些分量的估计具有特权—在一般情况下，Z将是单位矩阵。Z可由用户进行参数化。
2.计算数字图像的信号y的协方差矩阵的估计矩阵R：
R＝Ddiag(P)DH
3.计算归一化项：
Nor＝DiHR-1Di
4.接下来，使用下式来计算分量βi的各个估计幅度：
5.可选地，可以修改词典的分量，以使以和第一实施方式相同的方式将投影误差ε最小化：
重复这五个步骤，直到算法收敛为止，即，直到估计矢量β收敛。
当估计矢量β的范数保持低于预设阈值达两次连续迭代时，可以将估计矢量β视为已经收敛。
作为变型，在预设次数的迭代结束时，可以认为已经达到收敛。步骤c)和步骤d)与第一实施方式相同。
第三实施方式
在这个第三实施方式中，噪声、内容及对象是分开处理的。可以根据已处理数据的不同性质来证明这种分开的处理是合理的：噪声是随机的，内容是由内容分量词典建模的，并且对象是由对象参数分量词典建模的。
设Dc是大小为M×Lc的矩阵，该矩阵包含内容的各种待估计分量。设Ds(μ)是大小为M×Ls的参数矩阵，该矩阵包含对象的各种待估计分量。矢量μ是这样参数，即，该参数是从非详尽地包括对象的频率、形状、大小及位置的集合中选择的。Lc是内容分量词典中的分量的数量，并且Lc是对象分量词典中的分量的数量。作为大小为M的矢量的Dci是矩阵Dc的第i个分量，以及作为大小为M的矢量的Dsi(μ)是矩阵Ds(μ)的第i个分量。
设D是由对象分量词典Ds(μ)和内容分量词典Dc的并置而产生的矩阵。
将与数字图像中存在的噪声的相关性有关的信息放入与矩阵Dc和Ds(μ)不同的矩阵N中。因此，数字图像中存在的噪声与内容和对象分开地处理。可以经由被用于获取数字图像的检测器的先验知识来确定噪声的相关矩阵N。具体地，噪声可能是每种成像技术(X射线、红外线、可见光)所特有的。特别是，在X射线成像中，光子噪声通常不是白噪声。可以使用维纳-欣钦定理，通过对“单调”图像(即，无内容的图像)的频谱功率密度进行傅立叶逆变换，来估计噪声的相关矩阵N。
作为变型，如果假定像素之间没有相关性，则N可以是大小为M×M的单位矩阵。
设y是表示数字图像的矢量，即，各个像素的值(也称为亮度)。
设βc是大小为Lc的内容估计矢量，该矢量包含内容的各个分量Dci的估计幅度。因此，βc＝[βc1,βc2,…,βcLc]。
设βs是大小为Lc的对象估计矢量，该矢量包含对象的各个分量Dsi(μ)的估计幅度。因此，βs＝[βs1,βs2,…,βsLs]。
设β是由包含对象分量的幅度的矢量βs与包含内容分量的幅度的矢量βc的并置产生的矢量。
设a、b及q是该算法的参数，a和b取决于噪声的性质和知识。特别地，如果未获知有关噪声的任何内容，则a＝0和b＝0。
联合确定数字图像中存在的内容分量词典中的内容分量和对象分量词典中的对象分量中的各个分量的幅度的算法包括初始化步骤以及六个迭代步骤，如图6所示。
初始化步骤
可以以任何方式(例如，利用随机值)或者实际上通过确定各个分量Dci与表示数字图像的矢量y之间的数积来初始化内容估计矢量βc的值：
βci＝Dci.y，其中，1≤i≤Lc
可以以任何方式(例如，利用随机值)或者实际上通过确定各个分量Dsi与表示数字图像的矢量y之间的数积来初始化对象估计矢量βs的值：
βsi＝Dsi(μ).y，其中，1≤i≤Ls
此外，可以以任何方式(例如，利用随机值)或者利用以下关系来初始化噪声方差(σ2)的估计：
βc和βs处于它们的初始值。
迭代步骤
1.计算P＝|β|qZ，其中，q是由用户设定的参数；这是一个介于1到2之间的实数的问题。用户可以根据最终的结果(即，根据从图像中去除对象的质量)来改变该参数的值。Z是对角矩阵，以使某些分量的估计具有特权—在一般情况下，Z将是单位矩阵。Z可由用户进行参数化。
2.计算数字图像的信号y的协方差矩阵的估计矩阵R：
R＝Ddiag(P)DH+σ2N
3.计算归一化项：
Nor＝|βi|-q
4.接下来，使用下式来计算分量βi的各个估计幅度：
5.例如，可以利用下式来计算噪声方差σ2的估计：
6.可选地，可以修改对象词典分量，以使由下式定义的投影误差ε最小化：
ε＝|y-Dcβc-Ds(μ)βs|2
特别地，可以使用梯度下降法，以参数μ的新值来更新各个词典分量Di。为此，使用J(称为有关μ的函数|y-Dcβc-Ds(μ)βs|的雅可比行列式)：
然后，参数μ的新值由下式给出
μnew＝μold+[JT×J]-1×JT×|y-Dcβc-Ds(μ)βs|
重复这六个步骤，直到算法收敛为止，即，直到估计矢量β和噪声方差σ2的估计收敛。由于噪声方差σ2直接取决于β，因此一者的收敛意味着另一者的收敛。
分别在估计矢量β的范数保持低于预设阈值达两次连续迭代时和在噪声方差σ2的估计值保持低于预设阈值达两次连续迭代时，可以将估计矢量β和噪声方差σ2的估计视为已经收敛。
作为变型，在预设次数的迭代结束时，可以认为已经达到收敛。然后，可以确定对象的所述一个或更多个参数的值(图3中的步骤c))。步骤c)包括以下子步骤：
-确定μ的值。
使用上述算法，还可以通过对所有内容分量执行线性组合，来重建与成像的真实内容相对应的内容(图3中的步骤d))。这种重建可以使得获得没有噪声的图像。
本发明还涉及一种去除表示成像的真实内容的数字图像中存在的对象的方法，所述方法包括以下步骤：
-使用前述参数估计方法，对对象的至少一个参数的值和该对象的幅度进行估计；
-基于对象的参数和该对象的幅度，确定所述对象；
-逐像素地从数字图像中减去所述对象。
使用所述算法的第一实施方式，可以获得对正方形的大小和幅度的估计。图8示出了执行所述算法的结果。在x轴上示出了对象词典中的各个分量的参数值，并且在y轴上(以对数标度)示出了这些分量中的各个分量的估计幅度。从该图可以清楚，该算法已经检测到具有高幅度的大小为7的正方形。因此，图2中的正方形的宽度为7，并且幅度为52。利用该信息，然后可以校正图像以获得完美校正，如图9所示。
已针对由检测器形成的整个图像描述了该方法。通过对执行参数估计所需的矩阵的尺度和矢量的尺度进行调整，该方法也可以应用于由检测器形成的图像的一个部分。
已经在加法对象的情况下描述了该方法：
图像＝对象+内容
可以将所述方法应用于乘法对象的情况：
图像＝对象×内容
例如，防散射栅格是乘法对象，那么频率的值及其幅度取决于患者。要从加法情况转至乘法情况，计算图像(和由此的矢量y)的对数就足够了：
(图像)＝log(对象)+log(内容)
使用上述加方法，为了获得估计矢量β，可以估计log(Object)并且从中推导出：
对象＝10log(对象)
可以将本发明用于需要提高图像质量的任何处理中。所述方法尤其适用于医学成像领域(X射线照相、扫描仪、MRI等)以及任何其它类型的成像仪(X射线、可见光、红外线)。
具体应用例如涉及：
-去除与噪声不同的扰动，这种扰动会降低能见度，并且在医学成像的情况下可能导致糟糕的诊断，如图1所示。本发明有利地允许将噪声留在数字图像中，这可能是某些医学成像从业人员所需要的；
-出于技术或医学目的而对对象进行表征(例如，患者体内肿块的大小)；
-去噪：如果使用第一实施方式，则可以获得对象、内容以及噪声的估计(获知噪声方差σ2的估计)。然后，可以仅利用对象分量和内容分量来重建信号。可以在没有对象的情况下执行相同的操作，以仅对内容和噪声进行估计。
因此，即使词典包含许多分量，根据本发明的方法也能够正确地估计词典的各个分量。迭代方法的使用可使对分量进行逐个估计，同时每次都尽可能地滤除预先估计的其它分量。
Claims (20)
1.一种对表示成像的真实内容的数字图像中的待估计对象的一个或更多个参数进行估计的方法，所述方法至少包括：
a)包括创建内容分量词典和创建对象分量词典的初始步骤，内容分量和对象分量具有与所述数字图像相同的尺度；
b)联合确定所述数字图像中存在的所述内容分量词典中的内容分量和所述对象分量词典中的对象分量中的各个分量的幅度的步骤；
c)基于所述对象分量中的各个对象分量的幅度，确定表征所述待估计对象的至少一个参数的值的步骤。
2.根据权利要求1所述的参数估计方法，确定表征所述待估计对象的至少一个参数的值的步骤c)包括以下子步骤：
-确定具有最高幅度的对象分量的子集；
-根据所述子集中的所述对象分量的线性组合，确定所述参数的值。
3.根据前述权利要求中任一项所述的参数估计方法，创建内容词典的步骤包括：生成二维正弦信号的图像的集合。
4.根据权利要求1或2所述的参数估计方法，创建内容词典的步骤包括：生成表示形成所述数字图像的传感器的调制传递函数的图像的集合。
5.根据权利要求1或2所述的参数估计方法，所述内容词典是使用机器学习算法创建的。
6.根据权利要求5所述的参数估计方法，所述机器学习算法是K-SVD算法。
7.根据前述权利要求中任一项所述的参数估计方法，创建对象分量词典的步骤包括：生成各自具有所述参数的不同值的图像的集合。
8.根据前述权利要求中任一项所述的参数估计方法，所述参数是从包括所述对象的频率、形状、大小和位置的集合中选择的。
9.根据前述权利要求中任一项所述的参数估计方法，所述联合确定步骤b)是通过迭代地确定估计矢量(β)直到所述估计矢量(β)收敛为止来执行的，所述估计矢量包含所述图像中存在的所述内容词典中的分量和所述对象词典中的分量中的各个分量的不同幅度值。
10.根据权利要求9所述的参数估计方法，当所述估计矢量(β)的范数保持低于预设阈值达两次连续迭代时，将所述估计矢量(β)视为已经收敛。
11.根据权利要求9所述的参数估计方法，在预设次数的迭代结束时，将所述估计矢量(β)视为已经收敛。
12.根据权利要求9至11中任一项所述的参数估计方法，所参数估计方法在每次迭代结束时包括以下步骤：对所述内容分量词典中的分量和/或所述对象分量词典中的分量进行修改，以使由下式定义的投影误差(ε)最小化：
ε＝|y-Dβ|2，
其中，y是表示所述数字图像的矢量，并且D是表示待修改的词典分量的矩阵。
13.根据权利要求9至12中任一项所述的参数估计方法，所述联合确定步骤b)包括：迭代地确定噪声方差(σ2)的估计，直到所述噪声方差(σ2)的估计收敛为止，所述噪声方差的估计是基于所述估计矢量(β)和所述数字图像中存在的噪声的相关矩阵N确定的。
14.根据权利要求13所述的参数估计方法，其中，所述噪声方差(σ2)是由下式定义的：
其中，N是所述噪声的所述相关矩阵，M是所述图像中的像素的数量，并且a和b是根据所述噪声的性质确定的参数。
15.根据权利要求1至8中任一项所述的参数估计方法，所述联合确定步骤(b)是通过迭代地确定由内容估计矢量(βc)与对象估计矢量(βs)的并置而产生的矢量来执行的，所述内容估计矢量包含各个内容分量的不同估计幅度值，并且所述对象估计矢量包含各个对象分量的不同估计幅度值。
16.根据权利要求15所述的参数估计方法，所参数估计方法在每次迭代结束时包括以下步骤：对所述内容分量词典中的分量和/或所述对象分量词典中的分量进行修改，以使由下式定义的投影误差(ε)最小化：
ε＝|y-Dcβc-Ds(μ)βs|2，
其中，y是表示所述数字图像的矢量，Dc是表示所述内容分量词典的矩阵，并且Ds(μ)是表示所述对象分量词典的矩阵。
17.根据权利要求16所述的参数估计方法，所述联合确定步骤b)包括：迭代地确定噪声方差(σ2)的估计，其中，所述噪声方差(σ2)是由下式定义的：
其中，N是所述噪声的相关矩阵，M是所述图像中的像素的数量，并且a和b是根据所述噪声的性质确定的参数。
18.根据前述权利要求中任一项所述的参数估计方法，所述参数估计方法包括步骤d)：经由全部所述内容分量的线性组合来重建内容的所述图像。
19.根据前述权利要求中任一项所述的参数估计方法，所述数字图像是通过X射线成像获取的。
20.一种去除表示成像的真实内容的数字图像中存在的对象的方法，所述方法包括以下步骤：
-使用根据前述权利要求中任一项所述的参数估计方法，对所述对象的至少一个参数的值和所述对象的幅度进行估计；
-基于表征所述对象的参数的值和所述对象的幅度，对所述对象进行估计；
-逐像素地从所述数字图像中减去所估计的对象。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1851119 | 2018-02-09 | ||
| FR1851119A FR3077908B1 (fr) | 2018-02-09 | 2018-02-09 | Procede d'estimation parametrique d'un objet a estimer dans une image numerique, et procede de suppression de l'objet dans l'image numerique |
| PCT/EP2019/053284 WO2019155051A1 (fr) | 2018-02-09 | 2019-02-11 | Procede d'estimation parametrique d'un objet a estimer dans une image numerique, et procede de suppression de l'objet dans l'image numerique |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111971687A true CN111971687A (zh) | 2020-11-20 |
Family
ID=62683297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980011447.XA Pending CN111971687A (zh) | 2018-02-09 | 2019-02-11 | 对数字图像中的待估计对象的参数进行估计的方法以及从数字图像中去除对象的方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11488301B2 (zh) |
| EP (1) | EP3750102A1 (zh) |
| JP (1) | JP7378407B2 (zh) |
| KR (1) | KR20200126968A (zh) |
| CN (1) | CN111971687A (zh) |
| FR (1) | FR3077908B1 (zh) |
| WO (1) | WO2019155051A1 (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130245429A1 (en) * | 2012-02-28 | 2013-09-19 | Siemens Aktiengesellschaft | Robust multi-object tracking using sparse appearance representation and online sparse appearance dictionary update |
| US20130287279A1 (en) * | 2011-01-10 | 2013-10-31 | Koninklijke Philips Electronics N.V. | Dual-energy tomographic imaging system |
| WO2014172421A1 (en) * | 2013-04-16 | 2014-10-23 | The Research Foundation | Iterative reconstruction for x-ray computed tomography using prior-image induced nonlocal regularization |
| CN104200222A (zh) * | 2014-08-28 | 2014-12-10 | 中国人民解放军国防信息学院 | 一种基于因子图模型的图片中对象识别方法 |
| US20170091964A1 (en) * | 2015-09-29 | 2017-03-30 | General Electric Company | Dictionary learning based image reconstruction |
| US20170154413A1 (en) * | 2015-11-27 | 2017-06-01 | Toshiba Medical Systems Corporation | Dynamic image denoising using a sparse representation |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3404675B2 (ja) * | 1999-03-19 | 2003-05-12 | 日本電信電話株式会社 | ３次元断層画像読影方法、自動照合方法、及びその装置並びにそのプログラムを記録した記録媒体 |
| JP6564315B2 (ja) * | 2015-12-04 | 2019-08-21 | 日本放送協会 | 符号化装置、復号装置、及びプログラム |
| CN106997585A (zh) * | 2016-01-22 | 2017-08-01 | 同方威视技术股份有限公司 | 成像系统及图像质量评价方法 |
| US20170221235A1 (en) * | 2016-02-01 | 2017-08-03 | General Electric Company | Negative dictionary learning |
| US10462445B2 (en) * | 2016-07-19 | 2019-10-29 | Fotonation Limited | Systems and methods for estimating and refining depth maps |
| US10678866B1 (en) * | 2016-09-30 | 2020-06-09 | Vasumathi Ranganathan | Rules driven content network for tracking, tracing, auditing and life cycle management of information artifacts |
-
2018
- 2018-02-09 FR FR1851119A patent/FR3077908B1/fr active Active
-
2019
- 2019-02-11 US US16/967,710 patent/US11488301B2/en active Active
- 2019-02-11 JP JP2020542774A patent/JP7378407B2/ja active Active
- 2019-02-11 WO PCT/EP2019/053284 patent/WO2019155051A1/fr active Search and Examination
- 2019-02-11 EP EP19702933.3A patent/EP3750102A1/fr active Pending
- 2019-02-11 KR KR1020207022860A patent/KR20200126968A/ko unknown
- 2019-02-11 CN CN201980011447.XA patent/CN111971687A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130287279A1 (en) * | 2011-01-10 | 2013-10-31 | Koninklijke Philips Electronics N.V. | Dual-energy tomographic imaging system |
| US20130245429A1 (en) * | 2012-02-28 | 2013-09-19 | Siemens Aktiengesellschaft | Robust multi-object tracking using sparse appearance representation and online sparse appearance dictionary update |
| WO2014172421A1 (en) * | 2013-04-16 | 2014-10-23 | The Research Foundation | Iterative reconstruction for x-ray computed tomography using prior-image induced nonlocal regularization |
| CN104200222A (zh) * | 2014-08-28 | 2014-12-10 | 中国人民解放军国防信息学院 | 一种基于因子图模型的图片中对象识别方法 |
| US20170091964A1 (en) * | 2015-09-29 | 2017-03-30 | General Electric Company | Dictionary learning based image reconstruction |
| US20170154413A1 (en) * | 2015-11-27 | 2017-06-01 | Toshiba Medical Systems Corporation | Dynamic image denoising using a sparse representation |
Non-Patent Citations (1)
| Title |
|---|
| CHEN YANG ET AL: "Artifact Suppressed Dictionary Learning for Low-Dose CT Image Processing", 《IEEE TRANSACTIONS ON MEDICAL IMAGING, IEEE SERVICE CENTER, PISCATAWAY》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3077908B1 (fr) | 2021-03-19 |
| KR20200126968A (ko) | 2020-11-09 |
| US11488301B2 (en) | 2022-11-01 |
| JP2021513704A (ja) | 2021-05-27 |
| JP7378407B2 (ja) | 2023-11-13 |
| FR3077908A1 (fr) | 2019-08-16 |
| WO2019155051A1 (fr) | 2019-08-15 |
| EP3750102A1 (fr) | 2020-12-16 |
| US20210035292A1 (en) | 2021-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schultz et al. | A Bayesian approach to image expansion for improved definition | |
| Chan et al. | An adaptive strategy for the restoration of textured images using fractional order regularization | |
| Yu et al. | Solving inverse problems with piecewise linear estimators: From Gaussian mixture models to structured sparsity | |
| Periaswamy et al. | Elastic registration in the presence of intensity variations | |
| Belge et al. | Wavelet domain image restoration with adaptive edge-preserving regularization | |
| Charbonnier et al. | Two deterministic half-quadratic regularization algorithms for computed imaging | |
| Reichel et al. | Tikhonov regularization based on generalized Krylov subspace methods | |
| CN105761216B (zh) | 一种图像去噪处理方法及装置 | |
| Chan et al. | A multiplicative iterative algorithm for box-constrained penalized likelihood image restoration | |
| Nejati et al. | Multiresolution image registration in digital X-ray angiography with intensity variation modeling | |
| Bungert et al. | Robust image reconstruction with misaligned structural information | |
| CN110651302A (zh) | 用于图像重建的方法和设备 | |
| WO2017190968A1 (en) | Device and method for denoising a vector-valued image | |
| Sheng et al. | Frequency-domain deep guided image denoising | |
| CN116167948B (zh) | 一种基于空变点扩散函数的光声图像复原方法及系统 | |
| Sheer et al. | The effect of regularization parameter within non-blind restoration algorithm using modified iterative wiener filter for medical image | |
| CN107810518B (zh) | 图像处理系统和方法 | |
| CN111971687A (zh) | 对数字图像中的待估计对象的参数进行估计的方法以及从数字图像中去除对象的方法 | |
| Hosseinian et al. | Assessment of restoration methods of X-ray images with emphasis on medical photogrammetric usage | |
| Solanki et al. | An efficient satellite image super resolution technique for shift-variant images using improved new edge directed interpolation | |
| Gambaruto | Processing the image gradient field using a topographic primal sketch approach | |
| KR102329938B1 (ko) | 뉴럴 네트워크를 이용한 콘빔 단층촬영 영상 처리 방법 및 그 장치 | |
| Selim et al. | Sparsity-based method for ring artifact elimination in computed tomography | |
| EP1001370B1 (en) | Method for correcting artefacts in a digital image | |
| EP3028259A1 (en) | Device and method for iterative reconstruction of images recorded by at least two imaging methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |