CN103903244B - 一种图像相似区块搜索方法及装置 - Google Patents
一种图像相似区块搜索方法及装置 Download PDFInfo
- Publication number
- CN103903244B CN103903244B CN201210569912.1A CN201210569912A CN103903244B CN 103903244 B CN103903244 B CN 103903244B CN 201210569912 A CN201210569912 A CN 201210569912A CN 103903244 B CN103903244 B CN 103903244B
- Authority
- CN
- China
- Prior art keywords
- block
- designated blocks
- characteristic vector
- undetermined
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种图像相似区块搜索方法,包括:获取待处理图像的指定区块及待搜索区域,计算指定区块的特征向量;以不小于指定区块的半径的若干个搜索半径在待搜索区域中随机选取若干待定区块,并分别计算每个待定区块的特征向量;获取特征向量与指定区块的特征向量之间的夹角小于第一阈值的待定区块;计算所获取的待定区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的待定区块;得到若干个相邻区块;选择与指定区块的像素颜色方差和最小的相邻区块;输出所选择的相邻区块。本发明还提供一种图像相似区块搜索装置。利用本发明结合全局随机搜索和局部最优化搜索,能够快速搜索到图像相似区块。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像相似区块搜索方法及装置。
背景技术
在图像修补、降噪等图像处理的应用中,需要针对图像的某个指定区块,在图像的其它区域搜索与该指定区块颜色、形状等相似的区块,以进行替换、平均等操作。现有的图像相似区块的搜索方法包括以下两种类型:
一、遍历图像的待搜索区域,找到与指定区块的像素颜色方差和(SSD,Sum ofSquare Difference)最小的区块作为相似区块;
二、计算待搜索区域的积分图,并将待搜索区域与指定区块进行卷积,利用以下公式将像素颜色方差和的计算转化为积分图、卷积图的查表加减计算,其本质上依然是遍历搜索。
使用方法一进行遍历式搜索,可以找到最优解,但是需要计算待搜索区域的面积n和指定区块面积m的乘积,计算复杂度为O(n2*m2),因此计算过程非常耗时。
使用方法二进行卷积运算,必须通过FFT(Fast Fourier Transformation,快速傅式变换)在频域下计算才能够提高计算速度。但是当指定区块较小时,FFT的计算本身带来的额外N*log(N)(N为图像像素点个数)次计算可能超过其它部分提高的速度,得不偿失。因此,方法二只能应用在指定区块较大的情况下,使用面较窄。
发明内容
有鉴于此,有必要提供一种图像相似区块搜索方法及装置,结合全局随机搜索和局部最优化搜索,能够快速搜索到图像相似区块。
一种图像相似区块搜索方法,包括以下步骤:步骤一:获取待处理图像的指定区块及待搜索区域,计算所述指定区块的特征向量;步骤二:以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块,并分别计算每个待定区块的特征向量;步骤三:判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值,并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块;步骤四:计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的待定区块;步骤五:将所选择的待定区块的位置在指定区块的特征向量方向上移动,得到若干个相邻区块;步骤六:分别计算每个相邻区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的相邻区块;步骤七:输出所选择的相邻区块。
一种图像相似区块搜索装置,包括:获取模块,用于获取待处理图像的指定区块及待搜索区域,计算所述指定区块的特征向量;搜索模块,用于以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块,并分别计算每个待定区块的特征向量;判定模块,用于判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值,并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块;第一选择模块,用于计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的待定区块;移动模块,用于将所选择的待定区块的位置在指定区块的特征向量方向上移动,得到若干个相邻区块;第二选择模块,用于分别计算每个相邻区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的相邻区块;输出模块,用于输出所选择的相邻区块。
相对于现有技术,本发明的有益效果是:本发明结合全局随机搜索和局部最优化搜索,能够快速搜索到图像相似区块。
为让本发明的上述和其他目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附图式,作详细说明如下。
附图说明
图1为本发明实施例提供的图像相似区块搜索方法的流程图。
图2为本发明实施例提供的图像相似区块搜索装置的框图。
具体实施方式
为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明的具体实施方式、结构、特征及其功效,详细说明如后。
参阅图1所示,本发明实施例提供一种图像相似区块搜索方法,其包括以下步骤:
步骤S1,获取待处理图像的指定区块及待搜索区域,计算所述指定区块的特征向量;
步骤S2,以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块,并分别计算每个待定区块的特征向量;
步骤S3,判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值,并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块;
步骤S4,计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的待定区块;
步骤S5,将所选择的待定区块的位置在指定区块的特征向量方向上移动,得到若干个相邻区块;
步骤S6,分别计算每个相邻区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的相邻区块;
步骤S7,输出所选择的相邻区块。
以下结合具体实例作进一步详细说明:
步骤S1所述的待搜索区域可以是所述待处理图像中除所述指定区域以外的所有区域,也可以是在该待处理图像中除该指定区域以外的区域中任意指定的区域。将所述指定区块的特征向量表述为v1和v2,则计算特征向量v1和v2的过程如下:
首先,将该指定区块中心的坐标记为(i,j),按照如下公式计算该指定区块中心的结构体张量(gij):
该指定区块中心的结构体张量(gij)可用于指导在待搜索区域搜索该指定区块的相似区块的搜索梯度与搜索边界。所述相似区块与所述指定区块的颜色、形状、尺寸等相近或相似。
然后,根据该指定区块中心的结构体张量(gij)的计算结果按照如下公式计算该指定区块的特征向量v1和v2:
其中,
步骤S2所述的若干个搜索半径可以为不小于所述指定区块的半径的等比数列。例如,以该待搜索区域尺寸的1/2作为第一搜索半径,再以该第一搜索半径的1/2作为第二搜索半径,依此类推,直至第N搜索半径的1/2小于所述指定区块的半径为止。
在本实施例中,可以以该指定区块的中心为原点,以相对于该指定区块的任意方向在所述待搜索区域上选取所述待定区块,并分别计算每个待定区块的特征向量。
步骤S3计算每个待定区块的特征向量与指定区块的特征向量之间的夹角,并依次判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值,然后获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块。
步骤S4,计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和。所述像素颜色方差和是指两块图像逐个像素的RGB三个颜色通道值的差值的平方和,参照如下公式:
依次比较各待定区块与指定区块的像素颜色方差和,然后选择与指定区块的像素颜色方差和最小的待定区块。
上述步骤S2至步骤S4是在待搜索区域中进行全局随机搜索。步骤S5和步骤S6则是在所选择的待定区块的附近区域进行局部最优化搜索。根据该指定区块的特征向量v1和v2指示的搜索方向,可以确定所选择的待定区块最优的附近区域。
步骤S5将所选择的待定区块的位置在指定区块的特征向量v1和v2的正方向和负方向上各移动预设像素距离,例如1个像素距离,则可以得到四个相邻区块。
步骤S6分别计算每个相邻区块与指定区块的像素颜色方差和,并选择与指定区块的像素颜色方差和最小的相邻区块。所选择的相邻区块可以认为是经步骤S2至步骤S4进行的全局随机搜索和步骤S5至步骤S6进行的局部最优化搜索之后,得到的所述相似区块的一个较佳结果。然而,为了获得更精确的所述相似区块,可以在进入步骤S7之前将步骤S2至步骤S6迭代进行预设次数,例如2~3次。然后通过步骤S7将所选择的相邻区块作为所述相似区块的最优搜索结果输出。
此外,如果所述待搜索区域过大,并且需要获得与指定区块的位置较接近的相似区块,可以对上述的迭代过程进行收敛。当前次迭代所选择的相邻区块与指定区块的像素颜色方差和与后次迭代所选择的相邻区块与指定区块的像素颜色方差和之间的差值小于第二阈值,即前次迭代所选择的相邻区块与指定区块的像素颜色方差和与后次迭代所选择的相邻区块与指定区块的像素颜色方差和非常接近时,结束上述的迭代过程。然后将后次迭代所选择的相邻区块作为所述相似区块的最优搜索结果输出。
参阅图2所示,本发明实施例提供一种图像相似区块搜索装置100,其包括获取模块101、搜索模块102、判定模块103、第一选择模块104、移动模块105、第二选择模块106和输出模块107。可以理解,上述的各模块是指计算机程序或者程序段,用于执行某一项或多项特定的功能。此外,上述各模块的区分并不代表实际的程序代码也必须是分开的。
获取模块101,用于获取待处理图像的指定区块及待搜索区域,计算所述指定区块的特征向量;
搜索模块102,用于以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块,并分别计算每个待定区块的特征向量;
判定模块103,用于判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值,并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块;
第一选择模块104,用于计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的待定区块;
移动模块105,用于将所选择的待定区块的位置在指定区块的特征向量方向上移动,得到若干个相邻区块;
第二选择模块106,用于分别计算每个相邻区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的相邻区块;
输出模块107,用于输出所选择的相邻区块。
对于以上各模块的具体工作过程,可进一步参考本发明实施例提供的图像相似区块搜索方法,在此不再重复。
此外,本发明实施例还提供一种计算机可读存储介质,其内存储有计算机可执行指令,上述的计算机可读存储介质例如为非易失性存储器例如光盘、硬盘、或者闪存。上述的计算机可执行指令用于让计算机或者类似的运算装置完成上述的图像相似区块搜索方法中的各种操作。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭示如上,然而并非用以限定本发明,任何本领域技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (10)
1.一种图像相似区块搜索方法,其特征在于,该方法包括以下步骤:
步骤一:获取待处理图像的指定区块及待搜索区域,计算所述指定区块的特征向量;
步骤二:以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块,并分别计算每个待定区块的特征向量;
步骤三:判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值,并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块;
步骤四:计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的待定区块;
步骤五:将所选择的待定区块的位置在指定区块的特征向量方向上移动,得到若干个相邻区块;
步骤六:分别计算每个相邻区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的相邻区块;
步骤七:输出所选择的相邻区块;其中,
所述特征向量由区块中心的结构体张量的计算结果计算得到。
2.如权利要求1所述的图像相似区块搜索方法,其特征在于,所述若干个搜索半径为等比数列。
3.如权利要求1所述的图像相似区块搜索方法,其特征在于,将所选择的待定区块的位置在指定区块的特征向量的正方向和负方向各移动预设像素距离,得到所述若干个相邻区块。
4.如权利要求1所述的图像相似区块搜索方法,其特征在于,在所述步骤七之前,将步骤二至步骤六迭代进行预设次数。
5.如权利要求1所述的图像相似区块搜索方法,其特征在于,在所述步骤七之前还包括:
将步骤二至步骤六迭代进行;
当前次迭代所选择的相邻区块与指定区块的像素颜色方差和与后次迭代所选择的相邻区块与指定区块的像素颜色方差和之间的差值小于第二阈值时,结束迭代过程。
6.一种图像相似区块搜索装置,其特征在于,该装置包括:
获取模块,用于获取待处理图像的指定区块及待搜索区域,计算所述指定区块的特征向量;
搜索模块,用于以不小于所述指定区块的半径的若干个搜索半径在所述待搜索区域中随机选取若干待定区块,并分别计算每个待定区块的特征向量;
判定模块,用于判定每个待定区块的特征向量与指定区块的特征向量之间的夹角是否小于第一阈值,并获取特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的待定区块;
第一选择模块,用于计算特征向量与指定区块的特征向量之间的夹角小于所述第一阈值的每个待定区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的待定区块;
移动模块,用于将所选择的待定区块的位置在指定区块的特征向量方向上移动,得到若干个相邻区块;
第二选择模块,用于分别计算每个相邻区块与指定区块的像素颜色方差和,选择与指定区块的像素颜色方差和最小的相邻区块;
输出模块,用于输出所选择的相邻区块;其中,
所述特征向量由区块中心的结构体张量的计算结果计算得到。
7.如权利要求6所述的图像相似区块搜索装置,其特征在于,所述若干个搜索半径为等比数列。
8.如权利要求6所述的图像相似区块搜索装置,其特征在于,将所选择的待定区块的位置在指定区块的特征向量的正方向和负方向各移动预设像素距离,得到所述若干个相邻区块。
9.如权利要求6所述的图像相似区块搜索装置,其特征在于,所述搜索模块、判定模块、第一选择模块、移动模块以及第二选择模块将迭代进行预设次数。
10.如权利要求6所述的图像相似区块搜索装置,其特征在于,所述搜索模块、判定模块、第一选择模块、移动模块以及第二选择模块将迭代进行;
当前次迭代所选择的相邻区块与指定区块的像素颜色方差和与后次迭代所选择的相邻区块与指定区块的像素颜色方差和之间的差值小于第二阈值时,所述搜索模块、第一选择模块、移动模块以及第二选择模块结束迭代过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210569912.1A CN103903244B (zh) | 2012-12-25 | 2012-12-25 | 一种图像相似区块搜索方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210569912.1A CN103903244B (zh) | 2012-12-25 | 2012-12-25 | 一种图像相似区块搜索方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103903244A CN103903244A (zh) | 2014-07-02 |
CN103903244B true CN103903244B (zh) | 2017-08-29 |
Family
ID=50994551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210569912.1A Active CN103903244B (zh) | 2012-12-25 | 2012-12-25 | 一种图像相似区块搜索方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103903244B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108241860A (zh) * | 2018-01-23 | 2018-07-03 | 佛山市顺德区中山大学研究院 | 一种复杂环境下的qr码检测定位方法 |
CN109145994B (zh) * | 2018-08-28 | 2021-01-05 | 昆明理工大学 | 一种基于改进颜色方差算法的图像相似判定方法 |
CN109685114B (zh) * | 2018-11-29 | 2022-04-15 | 昆明理工大学 | 一种基于预筛选法和PHash的图像相似判定方法 |
CN109711432A (zh) * | 2018-11-29 | 2019-05-03 | 昆明理工大学 | 一种基于颜色方差的图像相似判定方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102375987A (zh) * | 2010-08-17 | 2012-03-14 | 国基电子(上海)有限公司 | 图像处理设备及图像特征向量提取与图像匹配方法 |
CN102663391A (zh) * | 2012-02-27 | 2012-09-12 | 安科智慧城市技术(中国)有限公司 | 一种图像的多特征提取与融合方法及系统 |
-
2012
- 2012-12-25 CN CN201210569912.1A patent/CN103903244B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102375987A (zh) * | 2010-08-17 | 2012-03-14 | 国基电子(上海)有限公司 | 图像处理设备及图像特征向量提取与图像匹配方法 |
CN102663391A (zh) * | 2012-02-27 | 2012-09-12 | 安科智慧城市技术(中国)有限公司 | 一种图像的多特征提取与融合方法及系统 |
Non-Patent Citations (3)
Title |
---|
ADAPTIVE PATCH-BASED INPAINTING FOR IMAGE BLOCK RECOVERY;Yunqiang Liu 等;《Proceedings of the Fifth International Conference on Computer Vision Theory and Application》;20100521;第1卷;第1-8页 * |
基于结构张量的图像修复方法;刘奎 等;《计算机应用》;20111031;第31卷(第10期);第2711-2713页 * |
基于结构相似度的单幅图像正则超分辨复原;耿东芳 等;《计算机工程与应用》;20071130;第43卷(第22期);第34-37页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103903244A (zh) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102068576B1 (ko) | 합성곱 신경망 기반 이미지 처리 시스템 및 방법 | |
US10643129B2 (en) | Apparatus and methods for training in convolutional neural networks | |
Song et al. | A general framework for multi-fidelity bayesian optimization with gaussian processes | |
KR102275452B1 (ko) | 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치 | |
CN103903244B (zh) | 一种图像相似区块搜索方法及装置 | |
KR102238693B1 (ko) | 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치 | |
US20180260709A1 (en) | Calculating device and method for a sparsely connected artificial neural network | |
CN111179307A (zh) | 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法 | |
US10984155B2 (en) | Accelerating particle-swarm algorithms | |
US20120020528A1 (en) | Image processing apparatus, image processing method, and program | |
CN111640089A (zh) | 一种基于特征图中心点的缺陷检测方法及装置 | |
US9734424B2 (en) | Sensor data filtering | |
KR101909544B1 (ko) | 평면 검출 장치 및 방법 | |
US11995552B2 (en) | Apparatus and method for multi-phase pruning for neural network with multi-sparsity levels | |
Yang | Local smoothness enforced cost volume regularization for fast stereo correspondence | |
KR20200073269A (ko) | 인공 신경망의 자동 생성을 위한 방법 및 장치 | |
US20140089365A1 (en) | Object detection method, object detector and object detection computer program | |
US20150262362A1 (en) | Image Processor Comprising Gesture Recognition System with Hand Pose Matching Based on Contour Features | |
CN103927730B (zh) | 基于Primal Sketch修正及矩阵填充的图像降噪方法 | |
JP6567381B2 (ja) | 演算装置、方法及びプログラム | |
Datta et al. | Individual penalty based constraint handling using a hybrid bi-objective and penalty function approach | |
CN103886622B (zh) | 自动图像区域划分的实现方法及实现装置 | |
US10424053B2 (en) | Image correction apparatus and method | |
Halpert et al. | Speeding up seismic image segmentation | |
WO2020093884A1 (zh) | 一种属性检测方法及属性检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |