CN112633298A - 一种度量图像/图像块相似性的方法 - Google Patents

一种度量图像/图像块相似性的方法 Download PDF

Info

Publication number
CN112633298A
CN112633298A CN202011589813.0A CN202011589813A CN112633298A CN 112633298 A CN112633298 A CN 112633298A CN 202011589813 A CN202011589813 A CN 202011589813A CN 112633298 A CN112633298 A CN 112633298A
Authority
CN
China
Prior art keywords
image
similarity
dimensional
frequency
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011589813.0A
Other languages
English (en)
Other versions
CN112633298B (zh
Inventor
李炎然
赵泽洪
朱泽轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011589813.0A priority Critical patent/CN112633298B/zh
Publication of CN112633298A publication Critical patent/CN112633298A/zh
Priority to US17/562,049 priority patent/US11842525B2/en
Application granted granted Critical
Publication of CN112633298B publication Critical patent/CN112633298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种度量图像/图像块相似性的方法，包括：S1：获取两幅三维空域图像，分别记为V和W；S2：利用三维紧框架对三维空域图像V和W进行分解，得到若干子带；S3：计算V和W的各高频子带对应的拉普拉斯概率，并对该子带进行加权；S4：记待度量相似性的两个图像块为X与Y，分别从V与W的低频与高频子带的每个通道上取出图像块X和Y对应的数据块，并计算数据块的统计量；S5：根据数据块的统计量计算X和Y在各个子带的各通道上的相似性；S6：计算X和Y在各个子带的各通道的相似性的平均值，作为X与Y的相似性。本发明所述方法可有效提升图像/图像块相似性度量的准确度，可提升图像修复质量。

Description

一种度量图像/图像块相似性的方法
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种度量图像/图像块相似性的方法。
背景技术
图像修复(Image Inpainting)是一种填充图像缺失区域的技术，追求自然一体的修复结果，使得观察者无法分辨出改动过的图像内容或区域。基于图像块的图像修复(Patch-Based Image Inpainting)是图像修复中的一类方法，将图像划分成多个大小相同的图像块(图像块之间允许存在重叠)，以图像块为基本单位进行图像块匹配、缺失像素填充等，以达到图像修复的目的。
在基于图像块的图像修复中，图像块匹配是其中的关键步骤。在进行图像块匹配时，如果图像块的相似性度量性能差，就有可能匹配到错误的图像块内容并填补到缺失区域，进而影响到后续的图像修复过程，导致最终的修复结果存在较为明显的伪影。
结构纹理相似性度量(Structural texture similarity metrics)，其中使用steerable filter decomposition将灰色图像分解成多个子带，在各个子带上计算对应的统计量(均值、方差、水平自相关以及垂直自相关)，通过计算两幅图像各个子带的统计量之间的相似性，作为图像的相似性。
目前，度量图像或图像块相似性一般采用可控滤波器分解(Steerable filterdecomposition)进行度量，Steerable filter decomposition是用于二维图像的特征分解的，若将其应用在彩色图像时，则需要对彩色图像的各个通道分别进行分解。其分解图像的过程呈金字塔式，提取多层图像特征时，存在下采样的行为，即分解出来的第一层子带与原图大小一致，第二层的子带就只有原图的1/4，以此类推。Steerable filterdecomposition最大的问题是只能对灰色图像进行特征分解，应用于彩色图像时，忽略了各个通道之间的内在相关性。
现有的图像块的相似性度量都是针对二维图像设计的，如直接计算图像块之间的欧几里德距离；或是使用二维图像特征提取方法对图像作分解，基于提取出来的特征进行图像块匹配。对于彩色图像而言，现有的方法将图像的各个通道看成是独立的信息，忽略或者没有充分考虑彩色图像各个通道的内在相关性。
发明内容
本发明为克服上述现有技术所述的图像/图像块的相似性度量准确度低的缺陷，提供一种度量图像/图像块相似性的方法。
所述方法包括以下步骤：
S1：获取两幅三维空域图像，分别记为V和W；
S2：利用三维紧框架对三维空域图像V和W进行分解，得到若干子带，所述子带包括高频子带和低频子带；
S3：计算V和W的各高频子带对应的拉普拉斯概率；使用该拉普拉斯概率对该高频子带进行加权，即使用拉普拉斯概率与其对应的通道信息进行点乘；
S4：记待度量相似性的两个图像块为X与Y，分别从V与W的低频与高频子带的每个通道上取出图像块X和Y对应的数据块，并计算数据块的统计量；
S5：根据数据块的统计量计算X和Y在各个子带的各通道上的相似性；
S6：计算X和Y在各个子带的各通道的相似性的平均值，作为X与Y的相似性。
优选地，S2所述利用三维紧框架对三维空域图像进行分解具体为：
作一层分解时，得到1个低频子带和13个高频子带；
从第二层分解开始，都是基于上一层的低频子带进行特征提取，每层分解得到1个低频子带和13个的高频子带；即，对三维空域图像作n层分解时，可以得到1个低频子带和13n个高频子带。
优选地，在三维空间构建三维直角坐标系，以水平方向为x轴和y轴，竖直方向为z轴，13个高频子带为三维空域图像在各个方向上特征：x、y、z方向上各1个高频子带，xy、xz、yz方向上各2个高频子带，xyz方向上的4个高频子带。
优选地，利用三维紧框架对三维空域图像进行分解本质是对三维空域图像中的每8个数据点进行分层特征提取；
以8个数据为长方体的8个顶点，长方体的上表面和下表面各有4个数据点，分别来源于图像的两个通道；
作三维紧框架的第n层分解时，相邻的数据点之间间隔为2n-1-1个像素；
对于三维紧框架特征中的每个数据点，都可以根据上述的间隔要求，从三维空域图像或是上一层的低频子带中获取8个数据点，由这8个数据点计算得到。
优选地，高频子带中包含的是空域图像或是上一层的低频子带在各个方向上的变化情况，为三维空域图像中的每8个数据点的两两组合的差值，捕获的是图像的梯度信息；
而低频子带中的每个点是每8个数据点的平均值，低频子带是模糊的。
优选地，S3所述计算各高频子带对应的拉普拉斯概率的操作为：
图像V为一幅RGB彩色图像，设其二维分辨率为n1行与n2列，即
Figure BDA0002866717340000031
使用
Figure BDA0002866717340000032
表示图像V的三维紧框架特征的第i个子带，
Figure BDA0002866717340000033
表示Vi的第j(j＝1,2,3)个通道，将Vi,j按列堆叠成向量得到
Figure BDA0002866717340000034
Vi,j的均值为：
Figure BDA0002866717340000035
其中，vi,j[k]表示vi,j中的第k个元素，n1n2为vi,j的点个数；
假设Vi,j中的数据点服从拉普拉斯分布，那么Vi,j的标准差为：
Figure BDA0002866717340000036
其中，|·|表示取绝对值；
Vi,j的标准差，等于中心化后的Vi,j中点的绝对值的平均值的
Figure BDA0002866717340000037
倍；
计算Vi,j中以点Vi,j[m,n]为中心的w1×w2窗口的标准差(局部标准差)：
Figure BDA0002866717340000038
其中，
Figure BDA0002866717340000039
表示Vi,j中第
Figure BDA00028667173400000310
行第
Figure BDA00028667173400000311
列的点，
Figure BDA00028667173400000312
为Vi,j的各个局部窗口的标准差；
将局部标准差代入拉普拉斯概率模型中，Vi,j的拉普拉斯概率估计Pi,j：
Figure BDA00028667173400000313
其中，Pi,j[m,n]为Pi,j中第m行第n列的点。
同理，可以求出图像W的各个子带的各个通道的拉普拉斯概率估计。
优选地，S4所述数据块的统计量包括：均值、方差、水平自相关以及垂直自相关。
优选地，均值、方差、水平自相关以及垂直自相关的计算方法如下：
图像v与W均为RGB彩色图像，两幅图像的分辨率一致，设图像的二维分辨率为n1行与n2列，即
Figure BDA0002866717340000041
使用
Figure BDA0002866717340000042
来表示图像V的三维紧框架特征的第i个子带，
Figure BDA0002866717340000043
表示Vi的第j(j＝1，2，3)个通道；
使用
Figure BDA0002866717340000044
来表示图像W的三维紧框架特征的第i个子带，
Figure BDA0002866717340000045
表示Wi的第j(j＝1，2，3)个通道；
分别从Vi，j与Wi，j中各取出一个p1行p2列的图像块，记为
Figure BDA0002866717340000046
与
Figure BDA0002866717340000047
将Xi，j、Yi，j按列堆叠成向量得到
Figure BDA0002866717340000048
数据块Xi，j的均值为：
Figure BDA0002866717340000049
其中，xi，j[k]表示xi，j中的第k个元素。同理，可以计算出数据块Yi，j的均值μYi，j；
数据块Xi，j的方差为：
Figure BDA00028667173400000410
同理，可以求数据块Yi，j的方差
Figure BDA00028667173400000411
数据块Xi，j的水平自相关为：
Figure BDA00028667173400000412
其中，E{·}表示期望值的计算，Xi，j[m，n]表示Xi，j中第m行第n列的值；
Xi，j的水平自相关等于，中心化后的Xi，j中左右每两个点的乘积的平均值，再除以Xi，j的方差；
数据块Xi，j的垂直自相关为：
Figure BDA0002866717340000051
Xi，j的垂直自相关等于，中心化后的Xi，j中上下每两个点的乘积的平均值，再除以Xi，j的方差；
同理，可以计算出Yi，j的水平自相关
Figure BDA0002866717340000056
和垂直自相关
Figure BDA0002866717340000057
优选地，S5具体为：数据块Xi，j和数据块Yi，j均值的相似度为：
Figure BDA0002866717340000052
其中，c1表示一个小常数；
数据块Xi，j和数据块Yi，j方差的相似度为：
Figure BDA0002866717340000053
其中，c2表示一个小常数；
数据块Xi，j和数据块Yi，j水平自相关的相似度为：
Figure BDA0002866717340000058
数据块Xi，j和数据块Yi，j垂直自相关的相似度为：
Figure BDA0002866717340000055
其中，|·|表示求绝对值。
优选地，图像块X和Y的相似性为：
Figure BDA0002866717340000054
其中，#I为所使用的三维紧框架子带的数目，#J为每个子带的通道数。
上文描述了衡量两幅三维空域图像V和W中的两个图像块X和Y的相似性的方法。上文的描述包含以下的情况：
1.如果三维空域图像V和W是同一幅图像，那么实际上衡量的是同一幅三维空域图像上的两个图像块的相似性。
2.如果将三维空域图像V作为图像块X，将图像W作为图像块Y，那么实际上衡量的是两幅三维空域图像的相似性。
另外，可以使用下述方法计算两幅三维空域图像V和W的相似性：将图像V和W划分成多个大小一致的图像块，分别计算图像V和W在各个对应图像块上的相似性，再计算各个图像块的相似性的平均值，作为图像V和W的相似性。
与现有技术相比，本发明技术方案的有益效果是：本发明使用三维紧框架对彩色图像进行特征提取，充分利用了各个通道间的内在相关性。使用提取到的三维紧框架特征进行图像块匹配，可有效提升图像/图像块相似性度量的准确度，可提升图像修复质量。
附图说明
图1为实施例1所述一种度量图像/图像块相似性的方法流程图。
图2为三维紧框架的特征提取示意图。
图3为三维紧框架的数据点示例图
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1：
本实施例提供一种度量图像/图像块相似性的方法。如图1所示，所述方法包括以下步骤：
S1：获取两幅三维空域图像，分别记为V和W；
S2：利用三维紧框架对三维空域图像V和W进行分解，得到若干子带，所述子带包括高频子带和低频子带；
使用三维紧框架对三维空域图像进行特征提取，作一层分解时，可以得到1个低频子带和13个高频子带，其中，13个高频子带为三维空域图像在各个方向上特征：x、y、z方向上各1个高频子带，xy、xz、yz方向上各2个高频子带，xyz方向上的4个高频子带。
从第二层分解开始，都是基于上一层的低频子带进行特征提取，每层分解都可以得到1个低频子带和13个的高频子带。即，对三维空域图像作n层分解时，可以得到1个低频子带和13n个高频子带。
如图2所示，三维紧框架的特征提取的本质是对三维空域图像中的每8个数据点进行分层特征提取。8个数据点可以看成是长方体的8个顶点，长方体的上表面和下表面各有4个数据点，分别来源于图像的两个通道。作三维紧框架的第n层分解时，相邻的数据点之间间隔为2n-1-1个像素。
对于三维紧框架特征中的每个数据点，都可以根据上述的间隔要求，从三维空域图像或是上一层的低频子带中获取8个数据点，由这8个数据点计算得到。
如图3所示，以点a1为例，计算低频、高频子带中a1位置对应的值，需要在三维空域图像或是上一层的低频子带上获取a1对应的8个数据点：a1，a2，a3，a4，b1，b2，b3，b4。按照如下的方式计算a1位置上的高频、低频信息：
x方向上的高频信息为(a2-a1)/8；
y方向上的高频信息为(a3-a1)/8；
z方向上的高频信息为(b1-a1)/8；
xy方向上的高频信息为(a4-a1)/8和(a2-a3)/8；
xz方向上的高频信息为(b2-a1)/8和(a2-b1)/8；
yz方向上的高频信息为(b3-a1)/8和(a3-b1)/8；
xyz方向上的高频特征为(b4-a1)/8、(a4-b1)/8、(b2-a3)/8和(a2-b3)/8；
低频信息为(a1+a2+a3+a4+b1+b2+b3+b4)/8。
S3：计算V和W的各高频子带对应的拉普拉斯概率；使用该拉普拉斯概率对该高频子带进行加权，即使用拉普拉斯概率与其对应的通道信息进行点乘；
三维紧框架对三维空域图像作特征提取之后，会得到一个低频子带和多个高频子带。首先，计算各高频子带的各个通道的拉普拉斯概率估计，使用该概率估计与其对应的通道信息进行加权，即使用拉普拉斯概率对三维紧框架特征进行点乘。
计算各高频子带对应的拉普拉斯概率的操作为：
图像V为一幅RGB彩色图像，设其二维分辨率为n1行与n2列，即
Figure BDA0002866717340000071
使用
Figure BDA0002866717340000072
表示图像V的三维紧框架特征的第i个子带，
Figure BDA0002866717340000073
表示Vi的第j(j＝1，2，3)个通道，将Vi，j按列堆叠成向量得到
Figure BDA0002866717340000081
Vi，j的均值为：
Figure BDA0002866717340000082
其中，vi，j[k]表示vi，j中的第k个元素，n1n2为vi，j的点个数；
假设Vi，j中的数据点服从拉普拉斯分布，那么Vi，j的标准差为：
Figure BDA0002866717340000083
其中，|·|表示取绝对值；
Vi，j的标准差，等于中心化后的Vi，j中点的绝对值的平均值的
Figure BDA0002866717340000084
倍；
计算Vi，j中以点Vi，j[m，n]为中心的w1×w2窗口的标准差(局部标准差)：
Figure BDA0002866717340000085
其中，
Figure BDA0002866717340000086
表示Vi，j中第
Figure BDA0002866717340000087
行第
Figure BDA0002866717340000088
列的点，
Figure BDA0002866717340000089
为Vi，j的各个局部窗口的标准差；
将局部标准差代入拉普拉斯概率模型中，Vi，j的拉普拉斯概率估计Pi，j：
Figure BDA00028667173400000810
其中，Pi，j[m，n]为Pi，j中第m行第n列的点。
同理，可以求出图像W的各个子带的各个通道的拉普拉斯概率估计。
S4：记待度量相似性的两个图像块为X与Y，分别从V与W的低频与高频子带的每个通道上取出图像块X和Y对应的数据块；并计算数据块的统计量；在加权之后的各个子带的通道信息上，计算图像块的统计量：均值、方差、水平自相关(vertical autocorrelation)以及垂直自相关(horizontal autocorrelation)。
均值、方差、水平自相关以及垂直自相关的计算方法如下：
图像V与W均为RGB彩色图像，两幅图像的分辨率一致，设图像的二维分辨率为n1行与n2列，即
Figure BDA00028667173400000811
使用
Figure BDA00028667173400000812
来表示图像V的三维紧框架特征的第i个子带，
Figure BDA00028667173400000813
表示Vi的第j(j＝1，2，3)个通道；
使用
Figure BDA00028667173400000814
来表示图像W的三维紧框架特征的第i个子带，
Figure BDA0002866717340000091
表示Wi的第j(j＝1，2，3)个通道；
分别从Vi，j与Wi，j中各取出一个p1行p2列的图像块，记为
Figure BDA0002866717340000092
与
Figure BDA0002866717340000093
将Xi，j、Yi，j按列堆叠成向量得到
Figure BDA0002866717340000094
数据块Xi，j的均值为：
Figure BDA0002866717340000095
其中，xi，j[k]表示xi，j中的第k个元素。同理，可以计算出数据块Yi，j的均值
Figure BDA00028667173400000910
数据块Xi，j的方差为：
Figure BDA0002866717340000096
同理，可以求数据块Yi，j的方差
Figure BDA0002866717340000097
数据块Xi，j的水平自相关为：
Figure BDA0002866717340000098
其中，E{·}表示期望值的计算，Xi，j[m，n]表示Xi，j中第m行第n列的值；
Xi，j的水平自相关等于，中心化后的Xi，j中左右每两个点的乘积的平均值，再除以Xi，j的方差；
数据块Xi，j的垂直自相关为：
Figure BDA0002866717340000099
Xi，j的垂直自相关等于，中心化后的Xi，j中上下每两个点的乘积的平均值，再除以Xi，j的方差；
同理，可以计算出Yi，j的水平自相关
Figure BDA00028667173400000911
和垂直自相关
Figure BDA00028667173400000912
S5：根据数据块的统计量计算X和Y在各个子带的各通道上的相似性；
计算两个图像块在各个子带的通道上的对应统计量之间的相似性——均值相似性、方差相似性，水平自相关相似性以及垂直自相关相似性，将这4个相似性相乘，得到两个图像块在各个通道上的相似性。
数据块Xi，j和数据块Yi，j均值的相似度为：
Figure BDA0002866717340000101
其中，c1表示一个小常数；
数据块Xi，j和数据块Yi，j方差的相似度为：
Figure BDA0002866717340000102
其中，c2表示一个小常数；
数据块Xi，j和数据块Yi，j水平自相关的相似度为：
Figure BDA0002866717340000104
数据块Xi，j和数据块Yi，j垂直自相关的相似度为：
Figure BDA0002866717340000105
其中，|·|表示求绝对值。
S6：计算X和Y在各个子带的各通道的相似性的平均值，作为X与Y的相似性。
再计算各个通道的相似性的平均值，作为两个图像块的相似性。
图像块X和Y的相似性为：
Figure BDA0002866717340000103
其中，#I为所使用的三维紧框架子带的数目，#J为每个子带的通道数。
本实施例使用三维紧框架对彩色图像进行三维特征提取，计算三维特征上的统计量(如均值、方差等)，通过计算图像或图像块在三维紧框架特征的统计量上的相似度，作为图像或图像块之间的相似度。
三维紧框架特征更好地利用的彩色图像各个通道之间的关联信息，有利于提升图像块相似性度量的准确度，并最终提高图像修复的质量。
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种度量图像/图像块相似性的方法，其特征在于，所述方法包括以下步骤：
S1：获取两幅三维空域图像，分别记为V和W；
S2：利用三维紧框架对三维空域图像V和W进行分解，得到若干子带，所述子带包括高频子带和低频子带；
S3：计算V和W的各高频子带对应的拉普拉斯概率；使用该拉普拉斯概率对该高频子带进行加权，即使用拉普拉斯概率与其对应的通道信息进行点乘；
S4：记待度量相似性的两个图像块为X与Y，分别从V与W的低频与高频子带的每个通道上取出图像块X和Y对应的数据块，并计算数据块的统计量；
S5：根据数据块的统计量计算X和Y在各个子带的各通道上的相似性；
S6：计算X和Y在各个子带的各通道的相似性的平均值，作为X与Y的相似性。
2.根据权利要求1所述度量图像/图像块相似性的方法，其特征在于，S2所述利用三维紧框架对三维空域图像进行分解具体为：
作一层分解时，得到1个低频子带和13个高频子带；
从第二层分解开始，都是基于上一层的低频子带进行特征提取，每层分解得到1个低频子带和13个的高频子带；即，对三维空域图像作n层分解时，可以得到1个低频子带和13n个高频子带。
3.根据权利要求2所述度量图像/图像块相似性的方法，其特征在于，在三维空间构建三维直角坐标系，以水平方向为x轴和y轴，竖直方向为z轴，13个高频子带为三维空域图像在各个方向上特征：x、y、z方向上各1个高频子带，xy、xz、yz方向上各2个高频子带，xyz方向上的4个高频子带。
4.根据权利要求3所述度量图像/图像块相似性的方法，其特征在于，利用三维紧框架对三维空域图像进行分解本质是对三维空域图像中的每8个数据点进行分层特征提取；
以8个数据为长方体的8个顶点，长方体的上表面和下表面各有4个数据点，分别来源于图像的两个通道；
作三维紧框架的第n层分解时，相邻的数据点之间间隔为2n-1-1个像素；
对于三维紧框架特征中的每个数据点，都可以根据上述的间隔要求，从三维空域图像或是上一层的低频子带中获取8个数据点，由这8个数据点计算得到。
5.根据权利要求4所述度量图像/图像块相似性的方法，其特征在于，高频子带中包含的是空域图像或是上一层的低频子带在各个方向上的变化情况，为三维空域图像中的每8个数据点的两两组合的差值，捕获的是图像的梯度信息；
而低频子带中的每个点是每8个数据点的平均值，低频子带是模糊的。
6.根据权利要求5所述度量图像/图像块相似性的方法，其特征在于，S3所述计算各高频子带对应的拉普拉斯概率的操作为：
图像V为一幅RGB彩色图像，设其二维分辨率为n1行与n2列，即
Figure FDA0002866717330000021
使用
Figure FDA0002866717330000022
表示图像V的三维紧框架特征的第i个子带，
Figure FDA0002866717330000023
表示Vi的第j(j＝1,2,3)个通道，将Vi,j按列堆叠成向量得到
Figure FDA0002866717330000024
Vi,j的均值为：
Figure FDA0002866717330000025
其中，vi,j[k]表示vi,j中的第k个元素，n1n2为vi,j的点个数；
假设Vi,j中的数据点服从拉普拉斯分布，那么Vi,j的标准差为：
Figure FDA0002866717330000026
其中，|·|表示取绝对值；
Vi,j的标准差，等于中心化后的Vi,j中点的绝对值的平均值的
Figure FDA0002866717330000027
倍；
计算Vi,j中以点Vi,j[m,n]为中心的w1×w2窗口的标准差：
Figure FDA0002866717330000028
其中，
Figure FDA0002866717330000029
表示Vi,j中第
Figure FDA00028667173300000210
行第
Figure FDA00028667173300000211
列的点，
Figure FDA00028667173300000212
为Vi,j的各个局部窗口的标准差；
将局部标准差代入拉普拉斯概率模型中，Vi,j的拉普拉斯概率估计Pi,j：
Figure FDA00028667173300000213
其中，Pi,j[m,n]为Pi,j中第m行第n列的点；
同理，可以求出图像W的各个子带的各个通道的拉普拉斯概率估计。
7.根据权利要求6所述度量图像/图像块相似性的方法，其特征在于，S4所述数据块的统计量包括：均值、方差、水平自相关以及垂直自相关。
8.根据权利要求7所述度量图像/图像块相似性的方法，其特征在于，均值、方差、水平自相关以及垂直自相关的计算方法如下：
图像V与W均为RGB彩色图像，两幅图像的分辨率一致，设图像的二维分辨率为n1行与n2列，即
Figure FDA0002866717330000031
使用
Figure FDA0002866717330000032
来表示图像V的三维紧框架特征的第i个子带，
Figure FDA0002866717330000033
表示Vi的第j(j＝1,2,3)个通道；
使用
Figure FDA0002866717330000034
来表示图像W的三维紧框架特征的第i个子带，
Figure FDA0002866717330000035
表示Wi的第j(j＝1,2,3)个通道；
分别从Vi,j与Wi,j中各取出一个p1行p2列的图像块，记为
Figure FDA0002866717330000036
与
Figure FDA0002866717330000037
将Xi,j、Yi,j按列堆叠成向量得到xi,j、
Figure FDA0002866717330000038
数据块Xi,j的均值为：
Figure FDA0002866717330000039
其中，xi,j[k]表示xi,j中的第k个元素；同理，可以计算出数据块Yi,j的均值
Figure FDA00028667173300000310
数据块Xi,j的方差为：
Figure FDA00028667173300000311
同理，可以求数据块Yi,j的方差
Figure FDA00028667173300000312
数据块Xi,j的水平自相关为：
Figure FDA00028667173300000313
其中，E{·}表示期望值的计算，Xi,j[m,n]表示Xi,j中第m行第n列的值；
Xi,j的水平自相关等于，中心化后的Xi,j中左右每两个点的乘积的平均值，再除以Xi,j的方差；
数据块Xi,j的垂直自相关为：
Figure FDA0002866717330000041
Xi,j的垂直自相关等于，中心化后的Xi,j中上下每两个点的乘积的平均值，再除以Xi,j的方差；
同理，可以计算出Yi,j的水平自相关
Figure FDA0002866717330000042
和垂直自相关
Figure FDA0002866717330000043
9.根据权利要求8所述度量图像/图像块相似性的方法，其特征在于，S5具体为：数据块Xi,j和数据块Yi,j均值的相似度为：
Figure FDA0002866717330000044
其中，c1表示一个小常数；
数据块Xi,j和数据块Yi,j方差的相似度为：
Figure FDA0002866717330000045
其中，c2表示一个小常数；
数据块Xi,j和数据块Yi,j水平自相关的相似度为：
Figure FDA0002866717330000046
数据块Xi,j和数据块Yi,j垂直自相关的相似度为：
Figure FDA0002866717330000047
其中，|·|表示求绝对值。
10.根据权利要求9所述度量图像/图像块相似性的方法，其特征在于，图像块X和Y的相似性为：
Figure FDA0002866717330000048
其中，#I为所使用的三维紧框架子带的数目，#J为每个子带的通道数。
CN202011589813.0A 2020-12-28 2020-12-28 一种度量图像/图像块相似性的方法 Active CN112633298B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011589813.0A CN112633298B (zh) 2020-12-28 2020-12-28 一种度量图像/图像块相似性的方法
US17/562,049 US11842525B2 (en) 2020-12-28 2021-12-27 Method for measuring the similarity of images/image blocks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011589813.0A CN112633298B (zh) 2020-12-28 2020-12-28 一种度量图像/图像块相似性的方法

Publications (2)

Publication Number Publication Date
CN112633298A true CN112633298A (zh) 2021-04-09
CN112633298B CN112633298B (zh) 2023-07-18

Family

ID=75285926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011589813.0A Active CN112633298B (zh) 2020-12-28 2020-12-28 一种度量图像/图像块相似性的方法

Country Status (2)

Country Link
US (1) US11842525B2 (zh)
CN (1) CN112633298B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077508A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于变换域非局部和最小均方误差的sar图像去噪方法
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
CN106056553A (zh) * 2016-05-31 2016-10-26 哈尔滨工业大学深圳研究生院 基于紧框架特征字典的图像修复方法
CN109919870A (zh) * 2019-03-05 2019-06-21 西安电子科技大学 一种基于bm3d的sar图像相干斑抑制方法
CN110568391A (zh) * 2019-09-10 2019-12-13 深圳大学 一种磁共振成像方法、系统及相关装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603884B2 (en) * 1997-05-08 2003-08-05 Ricoh Company, Ltd. Image processing system for compressing image data including binary image data and continuous tone image data by a sub-band transform method with a high-compression rate
US6459816B2 (en) * 1997-05-08 2002-10-01 Ricoh Company, Ltd. Image processing system for compressing image data including binary image data and continuous tone image data by a sub-band transform method with a high-compression rate
US8928763B2 (en) * 2008-12-09 2015-01-06 Abbyy Development Llc Detecting and correcting blur and defocusing
JP2014063359A (ja) * 2012-09-21 2014-04-10 Sony Corp 信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラム
US10595015B2 (en) * 2018-06-15 2020-03-17 Lightspace Technologies, SIA Method and system for displaying sequence of three-dimensional images
US11662492B2 (en) * 2018-10-25 2023-05-30 Saudi Arabian Oil Company Seismic random noise attenuation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077508A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于变换域非局部和最小均方误差的sar图像去噪方法
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
CN106056553A (zh) * 2016-05-31 2016-10-26 哈尔滨工业大学深圳研究生院 基于紧框架特征字典的图像修复方法
CN109919870A (zh) * 2019-03-05 2019-06-21 西安电子科技大学 一种基于bm3d的sar图像相干斑抑制方法
CN110568391A (zh) * 2019-09-10 2019-12-13 深圳大学 一种磁共振成像方法、系统及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹佳彬;孙伟;: "基于提升静态小波变换与联合结构组稀疏表示的多聚焦图像融合", 计算机应用, no. 03, pages 1 - 3 *

Also Published As

Publication number Publication date
US11842525B2 (en) 2023-12-12
CN112633298B (zh) 2023-07-18
US20220207854A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
CN105913419B (zh) 基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法
CN102708576B (zh) 基于结构字典的分块图像压缩感知重建方法
CN104008538B (zh) 基于单张图像超分辨率方法
CN101443817B (zh) 用于确定场景的三维重建时的对应关系的方法和装置
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
CN106709881A (zh) 一种基于非凸低秩矩阵分解的高光谱图像去噪方法
CN108154499B (zh) 一种基于k-svd学习字典的机织物纹理瑕疵检测方法
CN111383209A (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN107220957B (zh) 一种利用滚动导向滤波的遥感图像融合方法
CN108288256A (zh) 一种多光谱马赛克图像复原方法
CN108846800A (zh) 一种图像超分辨率重建的无参考图像质量评价方法
CN108090914B (zh) 基于统计建模与像素分类的彩色图像分割方法
Thriveni Edge preserving Satellite image enhancement using DWT-PCA based fusion and morphological gradient
CN112633298A (zh) 一种度量图像/图像块相似性的方法
US9189877B2 (en) Pixel analysis and image transformation device and method
CN112785540A (zh) 一种扩散加权图像的生成系统及方法
Zheng et al. Deep residual spatial attention network for hyperspectral pansharpening
Vora et al. Different image fusion techniques and parameters: a review
CN114519832A (zh) 基于仿射逆变换模型的视频全局运动补偿方法
CN113034420B (zh) 一种频率空间域特征的工业产品表面缺陷分割方法及系统
EP2884427A1 (en) Method and system for describing an image
Halheit et al. Rigid Image Registration using Mutual Informationand Wavelet Transform
CN106375773B (zh) 基于动态阈值的帧复制粘贴篡改检测方法
Kanchana et al. Texture classification using discrete shearlet transform
Biswas et al. Remote sensing image fusion using multithreshold Otsu method in shearlet domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant