CN112633298B - 一种度量图像/图像块相似性的方法 - Google Patents

一种度量图像/图像块相似性的方法 Download PDF

Info

Publication number
CN112633298B
CN112633298B CN202011589813.0A CN202011589813A CN112633298B CN 112633298 B CN112633298 B CN 112633298B CN 202011589813 A CN202011589813 A CN 202011589813A CN 112633298 B CN112633298 B CN 112633298B
Authority
CN
China
Prior art keywords
image
dimensional
similarity
data block
frequency sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011589813.0A
Other languages
English (en)
Other versions
CN112633298A (zh
Inventor
李炎然
赵泽洪
朱泽轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011589813.0A priority Critical patent/CN112633298B/zh
Publication of CN112633298A publication Critical patent/CN112633298A/zh
Priority to US17/562,049 priority patent/US11842525B2/en
Application granted granted Critical
Publication of CN112633298B publication Critical patent/CN112633298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种度量图像/图像块相似性的方法，包括：S1：获取两幅三维空域图像，分别记为V和W；S2：利用三维紧框架对三维空域图像V和W进行分解，得到若干子带；S3：计算V和W的各高频子带对应的拉普拉斯概率，并对该子带进行加权；S4：记待度量相似性的两个图像块为X与Y，分别从V与W的低频与高频子带的每个通道上取出图像块X和Y对应的数据块，并计算数据块的统计量；S5：根据数据块的统计量计算X和Y在各个子带的各通道上的相似性；S6：计算X和Y在各个子带的各通道的相似性的平均值，作为X与Y的相似性。本发明所述方法可有效提升图像/图像块相似性度量的准确度，可提升图像修复质量。

Description

一种度量图像/图像块相似性的方法
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种度量图像/图像块相似性的方法。
背景技术
图像修复(Image Inpainting)是一种填充图像缺失区域的技术，追求自然一体的修复结果，使得观察者无法分辨出改动过的图像内容或区域。基于图像块的图像修复(Patch-Based Image Inpainting)是图像修复中的一类方法，将图像划分成多个大小相同的图像块(图像块之间允许存在重叠)，以图像块为基本单位进行图像块匹配、缺失像素填充等，以达到图像修复的目的。
在基于图像块的图像修复中，图像块匹配是其中的关键步骤。在进行图像块匹配时，如果图像块的相似性度量性能差，就有可能匹配到错误的图像块内容并填补到缺失区域，进而影响到后续的图像修复过程，导致最终的修复结果存在较为明显的伪影。
结构纹理相似性度量(Structural texture similarity metrics)，其中使用steerable filter decomposition将灰色图像分解成多个子带，在各个子带上计算对应的统计量(均值、方差、水平自相关以及垂直自相关)，通过计算两幅图像各个子带的统计量之间的相似性，作为图像的相似性。
目前，度量图像或图像块相似性一般采用可控滤波器分解(Steerable filterdecomposition)进行度量，Steerable filter decomposition是用于二维图像的特征分解的，若将其应用在彩色图像时，则需要对彩色图像的各个通道分别进行分解。其分解图像的过程呈金字塔式，提取多层图像特征时，存在下采样的行为，即分解出来的第一层子带与原图大小一致，第二层的子带就只有原图的1/4，以此类推。Steerable filterdecomposition最大的问题是只能对灰色图像进行特征分解，应用于彩色图像时，忽略了各个通道之间的内在相关性。
现有的图像块的相似性度量都是针对二维图像设计的，如直接计算图像块之间的欧几里德距离；或是使用二维图像特征提取方法对图像作分解，基于提取出来的特征进行图像块匹配。对于彩色图像而言，现有的方法将图像的各个通道看成是独立的信息，忽略或者没有充分考虑彩色图像各个通道的内在相关性。
发明内容
本发明为克服上述现有技术所述的图像/图像块的相似性度量准确度低的缺陷，提供一种度量图像/图像块相似性的方法。
所述方法包括以下步骤：
S1：获取两幅三维空域图像，分别记为V和W；
S2：利用三维紧框架对三维空域图像V和W进行分解，得到若干子带，所述子带包括高频子带和低频子带；
S3：计算V和W的各高频子带对应的拉普拉斯概率；使用该拉普拉斯概率对该高频子带进行加权，即使用拉普拉斯概率与其对应的通道信息进行点乘；
S4：记待度量相似性的两个图像块为X与Y，分别从V与W的低频与高频子带的每个通道上取出图像块X和Y对应的数据块，并计算数据块的统计量；
S5：根据数据块的统计量计算X和Y在各个子带的各通道上的相似性；
S6：计算X和Y在各个子带的各通道的相似性的平均值，作为X与Y的相似性。
优选地，S2所述利用三维紧框架对三维空域图像进行分解具体为：
作一层分解时，得到1个低频子带和13个高频子带；
从第二层分解开始，都是基于上一层的低频子带进行特征提取，每层分解得到1个低频子带和13个的高频子带；即，对三维空域图像作n层分解时，可以得到1个低频子带和13n个高频子带。
优选地，在三维空间构建三维直角坐标系，以水平方向为x轴和y轴，竖直方向为z轴，13个高频子带为三维空域图像在各个方向上特征：x、y、z方向上各1个高频子带，xy、xz、yz方向上各2个高频子带，xyz方向上的4个高频子带。
优选地，利用三维紧框架对三维空域图像进行分解本质是对三维空域图像中的每8个数据点进行分层特征提取；
以8个数据为长方体的8个顶点，长方体的上表面和下表面各有4个数据点，分别来源于图像的两个通道；
作三维紧框架的第n层分解时，相邻的数据点之间间隔为2n-1-1个像素；
对于三维紧框架特征中的每个数据点，都可以根据上述的间隔要求，从三维空域图像或是上一层的低频子带中获取8个数据点，由这8个数据点计算得到。
优选地，高频子带中包含的是空域图像或是上一层的低频子带在各个方向上的变化情况，为三维空域图像中的每8个数据点的两两组合的差值，捕获的是图像的梯度信息；
而低频子带中的每个点是每8个数据点的平均值，低频子带是模糊的。
优选地，S3所述计算各高频子带对应的拉普拉斯概率的操作为：
图像V为一幅RGB彩色图像，设其二维分辨率为n1行与n2列，即
使用表示图像V的三维紧框架特征的第i个子带，/>表示Vi的第j(j＝1,2,3)个通道，将Vi,j按列堆叠成向量得到/>
Vi,j的均值为：
其中，vi,j[k]表示vi,j中的第k个元素，n1n2为vi,j的点个数；
假设Vi,j中的数据点服从拉普拉斯分布，那么Vi,j的标准差为：
其中，|·|表示取绝对值；
Vi,j的标准差，等于中心化后的Vi,j中点的绝对值的平均值的倍；
计算Vi,j中以点Vi,j[m,n]为中心的w1×w2窗口的标准差(局部标准差)：
其中，表示Vi,j中第/>行第/>列的点，/>为Vi,j的各个局部窗口的标准差；
将局部标准差代入拉普拉斯概率模型中，Vi,j的拉普拉斯概率估计Pi,j：
其中，Pi,j[m,n]为Pi,j中第m行第n列的点。
同理，可以求出图像W的各个子带的各个通道的拉普拉斯概率估计。
优选地，S4所述数据块的统计量包括：均值、方差、水平自相关以及垂直自相关。
优选地，均值、方差、水平自相关以及垂直自相关的计算方法如下：
图像v与W均为RGB彩色图像，两幅图像的分辨率一致，设图像的二维分辨率为n1行与n2列，即
使用来表示图像V的三维紧框架特征的第i个子带，/>表示Vi的第j(j＝1，2，3)个通道；
使用来表示图像W的三维紧框架特征的第i个子带，/>表示Wi的第j(j＝1，2，3)个通道；
分别从Vi，j与Wi，j中各取出一个p1行p2列的图像块，记为与将Xi，j、Yi，j按列堆叠成向量得到/>
数据块Xi，j的均值为：
其中，xi，j[k]表示xi，j中的第k个元素。同理，可以计算出数据块Yi，j的均值μYi，j；
数据块Xi，j的方差为：
同理，可以求数据块Yi，j的方差
数据块Xi，j的水平自相关为：
其中，E{·}表示期望值的计算，Xi，j[m，n]表示Xi，j中第m行第n列的值；
Xi，j的水平自相关等于，中心化后的Xi，j中左右每两个点的乘积的平均值，再除以Xi，j的方差；
数据块Xi，j的垂直自相关为：
Xi，j的垂直自相关等于，中心化后的Xi，j中上下每两个点的乘积的平均值，再除以Xi，j的方差；
同理，可以计算出Yi，j的水平自相关和垂直自相关/>
优选地，S5具体为：数据块Xi，j和数据块Yi，j均值的相似度为：
其中，c1表示一个小常数；
数据块Xi，j和数据块Yi，j方差的相似度为：
其中，c2表示一个小常数；
数据块Xi，j和数据块Yi，j水平自相关的相似度为：
数据块Xi，j和数据块Yi，j垂直自相关的相似度为：
其中，|·|表示求绝对值。
优选地，图像块X和Y的相似性为：
其中，#I为所使用的三维紧框架子带的数目，#J为每个子带的通道数。
上文描述了衡量两幅三维空域图像V和W中的两个图像块X和Y的相似性的方法。上文的描述包含以下的情况：
1.如果三维空域图像V和W是同一幅图像，那么实际上衡量的是同一幅三维空域图像上的两个图像块的相似性。
2.如果将三维空域图像V作为图像块X，将图像W作为图像块Y，那么实际上衡量的是两幅三维空域图像的相似性。
另外，可以使用下述方法计算两幅三维空域图像V和W的相似性：将图像V和W划分成多个大小一致的图像块，分别计算图像V和W在各个对应图像块上的相似性，再计算各个图像块的相似性的平均值，作为图像V和W的相似性。
与现有技术相比，本发明技术方案的有益效果是：本发明使用三维紧框架对彩色图像进行特征提取，充分利用了各个通道间的内在相关性。使用提取到的三维紧框架特征进行图像块匹配，可有效提升图像/图像块相似性度量的准确度，可提升图像修复质量。
附图说明
图1为实施例1所述一种度量图像/图像块相似性的方法流程图。
图2为三维紧框架的特征提取示意图。
图3为三维紧框架的数据点示例图
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1：
本实施例提供一种度量图像/图像块相似性的方法。如图1所示，所述方法包括以下步骤：
S1：获取两幅三维空域图像，分别记为V和W；
S2：利用三维紧框架对三维空域图像V和W进行分解，得到若干子带，所述子带包括高频子带和低频子带；
使用三维紧框架对三维空域图像进行特征提取，作一层分解时，可以得到1个低频子带和13个高频子带，其中，13个高频子带为三维空域图像在各个方向上特征：x、y、z方向上各1个高频子带，xy、xz、yz方向上各2个高频子带，xyz方向上的4个高频子带。
从第二层分解开始，都是基于上一层的低频子带进行特征提取，每层分解都可以得到1个低频子带和13个的高频子带。即，对三维空域图像作n层分解时，可以得到1个低频子带和13n个高频子带。
如图2所示，三维紧框架的特征提取的本质是对三维空域图像中的每8个数据点进行分层特征提取。8个数据点可以看成是长方体的8个顶点，长方体的上表面和下表面各有4个数据点，分别来源于图像的两个通道。作三维紧框架的第n层分解时，相邻的数据点之间间隔为2n-1-1个像素。
对于三维紧框架特征中的每个数据点，都可以根据上述的间隔要求，从三维空域图像或是上一层的低频子带中获取8个数据点，由这8个数据点计算得到。
如图3所示，以点a1为例，计算低频、高频子带中a1位置对应的值，需要在三维空域图像或是上一层的低频子带上获取a1对应的8个数据点：a1，a2，a3，a4，b1，b2，b3，b4。按照如下的方式计算a1位置上的高频、低频信息：
x方向上的高频信息为(a2-a1)/8；
y方向上的高频信息为(a3-a1)/8；
z方向上的高频信息为(b1-a1)/8；
xy方向上的高频信息为(a4-a1)/8和(a2-a3)/8；
xz方向上的高频信息为(b2-a1)/8和(a2-b1)/8；
yz方向上的高频信息为(b3-a1)/8和(a3-b1)/8；
xyz方向上的高频特征为(b4-a1)/8、(a4-b1)/8、(b2-a3)/8和(a2-b3)/8；
低频信息为(a1+a2+a3+a4+b1+b2+b3+b4)/8。
S3：计算V和W的各高频子带对应的拉普拉斯概率；使用该拉普拉斯概率对该高频子带进行加权，即使用拉普拉斯概率与其对应的通道信息进行点乘；
三维紧框架对三维空域图像作特征提取之后，会得到一个低频子带和多个高频子带。首先，计算各高频子带的各个通道的拉普拉斯概率估计，使用该概率估计与其对应的通道信息进行加权，即使用拉普拉斯概率对三维紧框架特征进行点乘。
计算各高频子带对应的拉普拉斯概率的操作为：
图像V为一幅RGB彩色图像，设其二维分辨率为n1行与n2列，即
使用表示图像V的三维紧框架特征的第i个子带，/>表示Vi的第j(j＝1，2，3)个通道，将Vi，j按列堆叠成向量得到/>
Vi，j的均值为：
其中，vi，j[k]表示vi，j中的第k个元素，n1n2为vi，j的点个数；
假设Vi，j中的数据点服从拉普拉斯分布，那么Vi，j的标准差为：
其中，|·|表示取绝对值；
Vi，j的标准差，等于中心化后的Vi，j中点的绝对值的平均值的倍；
计算Vi，j中以点Vi，j[m，n]为中心的w1×w2窗口的标准差(局部标准差)：
其中，表示Vi，j中第/>行第/>列的点，/>为Vi，j的各个局部窗口的标准差；
将局部标准差代入拉普拉斯概率模型中，Vi，j的拉普拉斯概率估计Pi，j：
其中，Pi，j[m，n]为Pi，j中第m行第n列的点。
同理，可以求出图像W的各个子带的各个通道的拉普拉斯概率估计。
S4：记待度量相似性的两个图像块为X与Y，分别从V与W的低频与高频子带的每个通道上取出图像块X和Y对应的数据块；并计算数据块的统计量；在加权之后的各个子带的通道信息上，计算图像块的统计量：均值、方差、水平自相关(vertical autocorrelation)以及垂直自相关(horizontal autocorrelation)。
均值、方差、水平自相关以及垂直自相关的计算方法如下：
图像V与W均为RGB彩色图像，两幅图像的分辨率一致，设图像的二维分辨率为n1行与n2列，即
使用来表示图像V的三维紧框架特征的第i个子带，/>表示Vi的第j(j＝1，2，3)个通道；
使用来表示图像W的三维紧框架特征的第i个子带，/>表示Wi的第j(j＝1，2，3)个通道；
分别从Vi，j与Wi，j中各取出一个p1行p2列的图像块，记为与将Xi，j、Yi，j按列堆叠成向量得到/>
数据块Xi，j的均值为：
其中，xi，j[k]表示xi，j中的第k个元素。同理，可以计算出数据块Yi，j的均值
数据块Xi，j的方差为：
同理，可以求数据块Yi，j的方差
数据块Xi，j的水平自相关为：
其中，E{·}表示期望值的计算，Xi，j[m，n]表示Xi，j中第m行第n列的值；
Xi，j的水平自相关等于，中心化后的Xi，j中左右每两个点的乘积的平均值，再除以Xi，j的方差；
数据块Xi，j的垂直自相关为：
Xi，j的垂直自相关等于，中心化后的Xi，j中上下每两个点的乘积的平均值，再除以Xi，j的方差；
同理，可以计算出Yi，j的水平自相关和垂直自相关/>
S5：根据数据块的统计量计算X和Y在各个子带的各通道上的相似性；
计算两个图像块在各个子带的通道上的对应统计量之间的相似性——均值相似性、方差相似性，水平自相关相似性以及垂直自相关相似性，将这4个相似性相乘，得到两个图像块在各个通道上的相似性。
数据块Xi，j和数据块Yi，j均值的相似度为：
其中，c1表示一个小常数；
数据块Xi，j和数据块Yi，j方差的相似度为：
其中，c2表示一个小常数；
数据块Xi，j和数据块Yi，j水平自相关的相似度为：
数据块Xi，j和数据块Yi，j垂直自相关的相似度为：
其中，|·|表示求绝对值。
S6：计算X和Y在各个子带的各通道的相似性的平均值，作为X与Y的相似性。
再计算各个通道的相似性的平均值，作为两个图像块的相似性。
图像块X和Y的相似性为：
其中，#I为所使用的三维紧框架子带的数目，#J为每个子带的通道数。
本实施例使用三维紧框架对彩色图像进行三维特征提取，计算三维特征上的统计量(如均值、方差等)，通过计算图像或图像块在三维紧框架特征的统计量上的相似度，作为图像或图像块之间的相似度。
三维紧框架特征更好地利用的彩色图像各个通道之间的关联信息，有利于提升图像块相似性度量的准确度，并最终提高图像修复的质量。
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种度量图像/图像块相似性的方法，其特征在于，所述方法包括以下步骤：
S1：获取两幅三维空域图像，分别记为V和W；
S2：利用三维紧框架对三维空域图像V和W进行分解，得到若干子带，所述子带包括高频子带和低频子带；
S3：计算V和W的各高频子带对应的拉普拉斯概率；使用该拉普拉斯概率对该高频子带进行加权，即使用拉普拉斯概率与其对应的通道信息进行点乘；
S4：记待度量相似性的两个图像块为X与Y，分别从V与W的低频与高频子带的每个通道上取出图像块X和Y对应的数据块，并计算数据块的统计量，所述数据块的统计量包括：均值、方差、水平自相关以及垂直自相关；
S5：根据数据块的统计量计算X和Y在各个子带的各通道上的相似性；均值、方差、水平自相关以及垂直自相关的计算方法如下：
图像V与W均为RGB彩色图像，两幅图像的分辨率一致，设图像的二维分辨率为n1行与n2列，即
使用来表示图像V的三维紧框架特征的第i个子带，/>表示Vi的第j(j＝1,2,3)个通道；
使用来表示图像W的三维紧框架特征的第i个子带，/>表示Wi的第j(j＝1,2,3)个通道；
分别从Vi,j与Wi,j中各取出一个p1行p2列的图像块，记为与/>将Xi,、Yi,j按列堆叠成向量得到xi,j、/>
数据块Xi,的均值为：
其中，xi,j[k]表示xi,j中的第k个元素；同理，可以计算出数据块Yi,j的均值数据块Xi，的方差为：
同理，可以求数据块Yi,的方差
数据块Xi,的水平自相关为：
其中，E{·}表示期望值的计算，Xi,[m,n]表示Xi,中第m行第n列的值；
Xi,的水平自相关等于，中心化后的Xi，中左右每两个点的乘积的平均值，再除以Xi,的方差；
数据块Xi，的垂直自相关为：
Xi,的垂直自相关等于，中心化后的Xi,中上下每两个点的乘积的平均值，再除以Xi,的方差；
同理，可以计算出Yi,的水平自相关和垂直自相关/>
S6：计算X和Y在各个子带的各通道的相似性的平均值，作为X与Y的相似性。
2.根据权利要求1所述度量图像/图像块相似性的方法，其特征在于，S2所述利用三维紧框架对三维空域图像进行分解具体为：
作一层分解时，得到1个低频子带和13个高频子带；
从第二层分解开始，都是基于上一层的低频子带进行特征提取，每层分解得到1个低频子带和13个的高频子带；即，对三维空域图像作n层分解时，可以得到1个低频子带和13n个高频子带。
3.根据权利要求2所述度量图像/图像块相似性的方法，其特征在于，在三维空间构建三维直角坐标系，以水平方向为x轴和y轴，竖直方向为z轴，13个高频子带为三维空域图像在各个方向上特征：x、y、z方向上各1个高频子带，xy、xz、yz方向上各2个高频子带，xyz方向上的4个高频子带。
4.根据权利要求3所述度量图像/图像块相似性的方法，其特征在于，利用三维紧框架对三维空域图像进行分解本质是对三维空域图像中的每8个数据点进行分层特征提取；
以8个数据为长方体的8个顶点，长方体的上表面和下表面各有4个数据点，分别来源于图像的两个通道；
作三维紧框架的第n层分解时，相邻的数据点之间间隔为2n-1-1个像素；
对于三维紧框架特征中的每个数据点，都可以根据上述的间隔要求，从三维空域图像或是上一层的低频子带中获取8个数据点，由这8个数据点计算得到。
5.根据权利要求4所述度量图像/图像块相似性的方法，其特征在于，高频子带中包含的是空域图像或是上一层的低频子带在各个方向上的变化情况，为三维空域图像中的每8个数据点的两两组合的差值，捕获的是图像的梯度信息；
而低频子带中的每个点是每8个数据点的平均值，低频子带是模糊的。
6.根据权利要求5所述度量图像/图像块相似性的方法，其特征在于，S3所述计算各高频子带对应的拉普拉斯概率的操作为：
图像V为一幅RGB彩色图像，设其二维分辨率为n1行与n2列，即
使用表示图像V的三维紧框架特征的第i个子带，/>表示Vi的第j(j＝1,2,3)个通道，将Vi,j按列堆叠成向量得到/>
Vi,的均值为：
其中，i,j[k]表示vi,j中的第k个元素，n1n2为vi,j的点个数；
假设Vi,中的数据点服从拉普拉斯分布，那么Vi,的标准差为：
其中，|·|表示取绝对值；
Vi,的标准差，等于中心化后的Vi,中点的绝对值的平均值的倍；
计算Vi,中以点Vi,[m,n]为中心的w1×w2窗口的标准差：
其中，表示Vi,中第/>行第/>列的点，/>为Vi,的各个局部窗口的标准差；
将局部标准差代入拉普拉斯概率模型中，Vi,的拉普拉斯概率估计Pi,：
其中，Pi,[m,n]为Pi,中第m行第n列的点；
同理，可以求出图像W的各个子带的各个通道的拉普拉斯概率估计。
7.根据权利要求6所述度量图像/图像块相似性的方法，其特征在于，S5具体为：数据块Xi,和数据块Yi,均值的相似度为：
其中，c1表示一个小常数；
数据块Xi,和数据块Yi，方差的相似度为：
其中，c2表示一个小常数；
数据块Xi，和数据块Yi，水平自相关的相似度为：
数据块Xi，和数据块Yi，垂直自相关的相似度为：
其中，|·|表示求绝对值。
8.根据权利要求7所述度量图像/图像块相似性的方法，其特征在于，图像块X和Y的相似性为：
其中，#I为所使用的三维紧框架子带的数目，#J为每个子带的通道数。
CN202011589813.0A 2020-12-28 2020-12-28 一种度量图像/图像块相似性的方法 Active CN112633298B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011589813.0A CN112633298B (zh) 2020-12-28 2020-12-28 一种度量图像/图像块相似性的方法
US17/562,049 US11842525B2 (en) 2020-12-28 2021-12-27 Method for measuring the similarity of images/image blocks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011589813.0A CN112633298B (zh) 2020-12-28 2020-12-28 一种度量图像/图像块相似性的方法

Publications (2)

Publication Number Publication Date
CN112633298A CN112633298A (zh) 2021-04-09
CN112633298B true CN112633298B (zh) 2023-07-18

Family

ID=75285926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011589813.0A Active CN112633298B (zh) 2020-12-28 2020-12-28 一种度量图像/图像块相似性的方法

Country Status (2)

Country Link
US (1) US11842525B2 (zh)
CN (1) CN112633298B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077508A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于变换域非局部和最小均方误差的sar图像去噪方法
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
CN106056553A (zh) * 2016-05-31 2016-10-26 哈尔滨工业大学深圳研究生院 基于紧框架特征字典的图像修复方法
CN109919870A (zh) * 2019-03-05 2019-06-21 西安电子科技大学 一种基于bm3d的sar图像相干斑抑制方法
CN110568391A (zh) * 2019-09-10 2019-12-13 深圳大学 一种磁共振成像方法、系统及相关装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459816B2 (en) * 1997-05-08 2002-10-01 Ricoh Company, Ltd. Image processing system for compressing image data including binary image data and continuous tone image data by a sub-band transform method with a high-compression rate
US20030012445A1 (en) * 1997-05-08 2003-01-16 Nekka Matsuura Image processing system for compressing image data including binary image data and continuous tone image data by a sub-band transform method with a high-compression rate
US8928763B2 (en) * 2008-12-09 2015-01-06 Abbyy Development Llc Detecting and correcting blur and defocusing
JP2014063359A (ja) * 2012-09-21 2014-04-10 Sony Corp 信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラム
US10595015B2 (en) * 2018-06-15 2020-03-17 Lightspace Technologies, SIA Method and system for displaying sequence of three-dimensional images
US11662492B2 (en) * 2018-10-25 2023-05-30 Saudi Arabian Oil Company Seismic random noise attenuation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077508A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于变换域非局部和最小均方误差的sar图像去噪方法
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
CN106056553A (zh) * 2016-05-31 2016-10-26 哈尔滨工业大学深圳研究生院 基于紧框架特征字典的图像修复方法
CN109919870A (zh) * 2019-03-05 2019-06-21 西安电子科技大学 一种基于bm3d的sar图像相干斑抑制方法
CN110568391A (zh) * 2019-09-10 2019-12-13 深圳大学 一种磁共振成像方法、系统及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于提升静态小波变换与联合结构组稀疏表示的多聚焦图像融合;邹佳彬;孙伟;;计算机应用(第03期);第1-3页 *

Also Published As

Publication number Publication date
CN112633298A (zh) 2021-04-09
US11842525B2 (en) 2023-12-12
US20220207854A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
Sandić-Stanković et al. DIBR synthesized image quality assessment based on morphological wavelets
CN105913419B (zh) 基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法
Sandić-Stanković et al. Multi–scale synthesized view assessment based on morphological pyramids
CN107358258B (zh) 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
Sandić-Stanković et al. DIBR-synthesized image quality assessment based on morphological multi-scale approach
CN111383209A (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
Zhang et al. Convolutional Sparse Coding-based Image Decomposition.
CN104994375A (zh) 一种基于立体视觉显著性的立体图像质量客观评价方法
DE112018006130T5 (de) Codierungsvorrichtung, codierungsverfahren, decodierungsvorrichtung und decodierungsverfahren
CN107220957A (zh) 一种利用滚动导向滤波的遥感图像融合方法
CN103116873A (zh) 图像降噪方法
CN109544575B (zh) 一种基于isar序列多边形匹配的三维轮廓重构方法
CN110930327A (zh) 基于级联深度残差网络的视频去噪方法
CN107993201B (zh) 一种保留边界特征的深度图像增强方法
CN103632372B (zh) 一种视频显著图提取方法
CN112633298B (zh) 一种度量图像/图像块相似性的方法
CN108090914B (zh) 基于统计建模与像素分类的彩色图像分割方法
Thriveni Edge preserving Satellite image enhancement using DWT-PCA based fusion and morphological gradient
CN103745442B (zh) 基于非局部小波系数收缩的图像去噪方法
CN111311508B (zh) 一种带噪路面裂缝图像的降噪方法
CN112801897A (zh) 一种基于宽卷积神经网络的图像去噪方法
CN1892698A (zh) 基于小波分形的遥感图像插值方法
CN111275687A (zh) 一种基于连通区域标记的细粒度图像拼接检测方法
CN114519832A (zh) 基于仿射逆变换模型的视频全局运动补偿方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant