CN105513031B - 基于图匹配的数据驱动图像外插方法及装置 - Google Patents
基于图匹配的数据驱动图像外插方法及装置 Download PDFInfo
- Publication number
- CN105513031B CN105513031B CN201410543026.0A CN201410543026A CN105513031B CN 105513031 B CN105513031 B CN 105513031B CN 201410543026 A CN201410543026 A CN 201410543026A CN 105513031 B CN105513031 B CN 105513031B
- Authority
- CN
- China
- Prior art keywords
- image
- region
- candidate
- extrapolation
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，特别是涉及一种基于图匹配的数据驱动图像外插方法及装置。本发明提供的一种基于图匹配的数据驱动图像外插方法及装置，通过建立图想的无向图，采用图像区域特征匹配和拓扑关系匹配的图匹配方法得到最优的外插候选图像，进而对候选图像进行变形，并选取色差最小的接缝进行图像融合，实现了图像大尺寸的扩大，并保证了外插边界的一致性。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于图匹配的数据驱动图像外插方法及装置。
背景技术
随着数字媒体技术的发展，越来越多的图像编辑技术致力于图像内容的扩充，带来新的视觉体验。
目前，已有一些工作者开始研究如何对图像的原始尺寸进行扩大，同时加入与原图像一致的内容。例如，Kopf等人发明了一种基于图像块的合成方法，可以将边界不规则的全景图像向外小规模填充，使之成为规则矩形，而这种方法也仅适用于图像向外小规模的填充，对于大尺度地向外填充则会造成图像内容模糊不清或者杂乱。因此，Sivic等人发明了一种数据驱动的图像漫游方法，该方法通过在上百万张图像库来模拟视点漫游，合成新的图像。但是，使用该方法合成的图像，并不能保证图像外插边界的一致性。
发明内容
针对现有技术中不能保证图像外插边界的一致性的缺陷，本发明提供了一种基于图匹配的数据驱动图像外插方法及装置。
本发明提供的一种基于图匹配的数据驱动图像外插方法，包括：
获取待外插图像，对所述待外插图像进行区域划分，得到多个图像区域，将每一个所述图像区域作为一个节点建立所述待外插图像的无向图；
根据所述待外插图像的外插方向提取所述待外插图像的无向图的边界子图；
将所述边界子图与图像库中的每一图像预先建立的无向图进行图匹配，得到符合预设匹配规则的图像库中的图像作为所述待外插图像的候选图像；
对匹配得到的所述候选图像进行变形，使得所述候选图像的图像区域与所述待外插图像的图像区域对应的图像区域边界曲线对齐；
确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色，进行图像融合。
进一步地，所述对匹配得到的所述候选图像进行变形的步骤，包括：
对匹配得到的所述候选图像进行全局变形，具体为：
对所述候选图像在与外插方向平行和垂直的方向上平移η，以及对所述候选图像进行缩放，使的所述候选图像与所述待外插图像的图像区域边界曲线在与外插方向垂直的方向上的累计误差最小，即：
其中，L(t)为所述待外插图像中第t条图像区域边界曲线在与外插方向垂直方向上的坐标，为所述候选图像中第t条图像区域边界曲线在与外插方向垂直的方向上的坐标；
对匹配得到的所述候选图像进行局部变形，具体为：
采用seam carving方法在与外插方向垂直的方向上对所述候选图像进行变形。
进一步地，所述确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色的步骤，包括：
采用Graph-cut方法确定所述候选图像与所述待外插图像色差最小的接缝；
采用泊松融合改变所述候选图像与所述待外插图像接缝处的颜色。
进一步地，所述将所述边界子图与图像库中的图像的无向图进行图匹配的步骤，包括：
提取所述边界子图中每一图像区域以及所述图像库中每一图像的无向图中每一图像区域的特征向量；
根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图像的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
选取所述图像库中包含了所有所述聚类类别对应的图像区域的图像，得到初始候选图像集；
提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑关系一致的图像，得到中间候选图像集；
根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为候选图像。
进一步地，所述对所述待外插图像进行区域划分，得到多个图像区域，将所述图像区域作为节点建立所述待外插图像的无向图的步骤，包括：
采用层级图像分割法对所述待外插图像进行区域划分，得到不同粒度的图像区域，针对每一粒度的所述图像区域建立一张无向图；
所述图像库中的每一图像预先建立的无向图的过程，包括：
采用层级图像分割法对所述图像库中的每一图像进行区域划分，得到不同粒度的图像区域，针对每一粒度的所述图像区域建立一张无向图。
进一步地，所述将所述边界子图与图像库中的图像的无向图进行图匹配的步骤，包括：
针对每一粒度所述待外插图像的无向图提取的边界子图，提取所述边界子图中每一图像区域以及所述图像库中每一图像的所有粒度的无向图中每一个图像区域的特征向量；
根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图像的所有粒度无向图的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
选取所述图像库中每一图像的所有粒度无向图中包含了所有所述聚类类别对应的图像区域的图像，得到初始候选图像集；
提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑关系一致图像，得到中间候选图像集；
根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为备用候选图像；
选取每一粒度所述待外插图像的无向图提取的边界子图对应的备用候选图像中所述平均值最小的图像作为候选图像。
另一方面，本发明还提供了一种基于图匹配的数据驱动图像外插装置，所述装置包括：
建立模块，用于获取待外插图像，对所述待外插图像进行区域划分，得到多个图像区域，将每一个所述图像区域作为一个节点建立所述待外插图像的无向图；
提取模块，用于根据所述待外插图像的外插方向提取所述待外插图像的无向图的边界子图；
匹配模块，用于将所述边界子图与图像库中的每一图像预先建立的无向图进行图匹配，得到符合预设匹配规则的图像库中的图像作为所述待外插图像的候选图像；
变形模块，用于对匹配得到的所述候选图像进行变形，使得所述候选图像的图像区域与所述待外插图像的图像区域对应的图像区域边界曲线对齐；
融合模块，用于确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色，进行图像融合。
进一步地，所述变形模块具体用于：
对匹配得到的所述候选图像进行全局变形，具体为：
对所述候选图像在与外插方向平行和垂直的方向上平移η，以及对所述候选图像进行缩放，使的所述候选图像与所述待外插图像的图像区域边界曲线在与外插方向垂直的方向上的累计误差最小，即：
其中，L(t)为所述待外插图像中第t条图像区域边界曲线在与外插方向垂直方向上的坐标，为所述候选图像中第t条图像区域边界曲线在与外插方向垂直的方向上的坐标；
对匹配得到的所述候选图像进行局部变形，具体为：
采用seam carving方法在与外插方向垂直的方向上对所述候选图像进行变形。
进一步地，所述融合模块具体用于：
采用Graph-cut方法确定所述候选图像与所述待外插图像色差最小的接缝；
采用泊松融合改变所述候选图像与所述待外插图像接缝处的颜色。
进一步地，所述匹配模块具体用于：
提取所述边界子图中每一图像区域以及所述图像库中每一图像的无向图中每一图像区域的特征向量；
根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图像的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
选取所述图像库中包含了所有所述聚类类别对应的图像区域的图像，得到初始候选图像集；
提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑关系一致的图像，得到中间候选图像集；
根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为候选图像。
本发明提供的一种基于图匹配的数据驱动图像外插方法及装置，通过建立图想的无向图，采用图像区域特征匹配和拓扑关系匹配的图匹配方法得到最优的外插候选图像，进而对候选图像进行变形，并选取色差最小的接缝进行图像融合，实现了图像大尺寸的扩大，并保证了外插边界的一致性。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1是本发明一个实施例一种基于图匹配的数据驱动图像外插方法的流程示意图；
图2是本发明一个实施例拓扑关系匹配示意图；
图3是本发明一个实施例一种基于图匹配的数据驱动图像外插装置的结构示意图。
具体实施方式
现结合附图和实施例对本发明技术方案作进一步详细阐述。
图1示出了本发明一个实施例一种基于图匹配的数据驱动图像外插方法的流程示意图，如图1所示，本实施例提供的一种基于图匹配的数据驱动图像外插方法包括：
S1，获取待外插图像，对所述待外插图像进行区域划分，得到多个图像区域，将每一个所述图像区域作为一个节点建立所述待外插图像的无向图；
S2，根据所述待外插图像的外插方向提取所述待外插图像的无向图的边界子图；
具体的，所述边界子图为由覆盖所述待外插图像的外插方向边缘的所有图像区域构成的子图。
S3，将所述边界子图与图像库中的每一图像预先建立的无向图进行图匹配，得到符合预设匹配规则的图像库中的图像作为所述待外插图像的候选图像；、
S4，对匹配得到的所述候选图像进行变形，使得所述候选图像的图像区域与所述待外插图像的图像区域对应的图像区域边界曲线对齐；
S5，确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色，进行图像融合。
优选地，所述步骤S3中将所述边界子图与图像库中的图像的无向图进行图匹配的步骤，包括：
S31，提取所述边界子图中每一图像区域以及所述图像库中每一图像的无向图中每一图像区域的特征向量；
S32，根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图像的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
S33，选取所述图像库中包含了所有所述聚类类别对应的图像区域的图像，得到初始候选图像集；
S34，提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑关系一致的图像，得到中间候选图像集；
S35，根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为候选图像。
举例来说，对每一个图像区域提取特征向量，其中包括：颜色特征为平均颜色(RGB空间，HSV空间共6维)、色调直方图(5维)、饱和度直方图(4维)、色调熵(1维)和饱和度熵(1维)，共17维；纹理特征为纹理基元直方图，共256维；几何特征为图像区域中心的x,y坐标，共2维；局部特征为基于SIFT特征的词袋直方图，共256维。将上述特征顺序拼接，最终得到531维的图像区域特征向量。
根据所述每一个图像区域的特征向量，对所有图像区域采用K-means算法进行聚类，根据需要可以设置聚类的数量。对包含了所述待外插图像的边界子图所包含的图像区域的聚类分类添加标签。在下一步的匹配过程中，首先在图像库中选取那些包含了所有标签聚类分类内的图像区域的图像；进而在这些图像中选取与所述边界子图具有相同拓扑关系的图像，如图2所示；最后对于具有相同拓扑关系的图像，分别计算与所述边界子图对应的图像区域的特征距离差值，得到整个图像的平均距离差值，选取平均距离差值最小的一个图像作为候选图像。
在本实施例中采用对于图像区域边界曲线作为对齐待外插图像与候选图像的标准，即待外插图像与候选图像中相匹配的图像区域间存在图像区域边界曲线，通过对候选图像进行变形来将图像区域边界曲线两两对齐。
优选的，所述步骤S4中，采用两步变形发对候选图像进行变形：
S41，对匹配得到的所述候选图像进行全局变形，具体为：
对所述候选图像在与外插方向平行和垂直的方向上平移η，以及对所述候选图像进行缩放，使的所述候选图像与所述待外插图像的图像区域边界曲线在与外插方向垂直的方向上的累计误差最小，即：
其中，L(t)为所述待外插图像中第t条图像区域边界曲线在与外插方向垂直方向上的坐标，为所述候选图像中第t条图像区域边界曲线在与外插方向垂直的方向上的坐标；
S42，对匹配得到的所述候选图像进行局部变形，具体为：
采用seam carving方法在与外插方向垂直的方向上对所述候选图像进行变形。
在对齐图像区域边界曲线后，可以对待外插图像与候选图像之间设置一定像素宽度的重叠区，例如25-30个像素，然后采用Graph-cut方法确定所述候选图像与所述待外插图像之间色差最小的接缝；进而在确定的接缝处采用泊松融合改变所述候选图像与所述待外插图像接缝处的颜色，实现两张图像融合的效果。
本实施例提供的一种基于图匹配的数据驱动图像外插方法，通过建立图像的无向图，采用图像区域特征匹配和拓扑关系匹配的图匹配方法得到最优的外插候选图像，进而对候选图像进行变形，并选取色差最小的接缝进行图像融合，实现了图像大尺寸的扩大，并保证了外插边界的一致性。
进一步地，为了能够进一步提高图像匹配的精度，获得更加精细的图像融合效果，在对待外插图像以及图像库中的图像进行区域划分时，可以采用层级图像分割法，这样对于每张图像即可得到包含不同粒度图像区域的多张分割后的图像，对应每一个粒度可以建立一张无向图。进而对于待外插图像可以提取不同粒度的多张边界子图，对于图像库相当于增加了数倍的图像数量，间接的增大了每张边界子图选择匹配的图像数量。
优选的，所述步骤S1，包括：
采用层级图像分割法对所述待外插图像进行区域划分，得到不同粒度的图像区域，针对每一粒度的所述图像区域建立一张无向图。
所述步骤S3中所述图像库中的每一图像预先建立的无向图的过程，具体包括：
采用层级图像分割法对所述图像库中的每一图像进行区域划分，得到不同粒度的图像区域，针对每一粒度的所述图像区域建立一张无向图。
相应的，在将所述边界子图与图像库中的图像的无向图进行图匹配的过程中，首先对每一粒度的边界子图进行匹配，得到一张该粒度边界子图对应的候选图像，然后在对所述待外插图像的所有粒度的边界子图对应的候选图像进行特征距离平均差值比较，选取平均差值最小的粒度边界子图及对应的候选图像进行对待外插图像的扩大。
优选的，所述步骤S3中将所述边界子图与图像库中的图像的无向图进行图匹配的步骤，包括：
S31a，针对每一粒度所述待外插图像的无向图提取的边界子图，提取所述边界子图中每一图像区域以及所述图像库中每一图像的所有粒度的无向图中每一个图像区域的特征向量；
S32a，根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图像的所有粒度无向图的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
S33a，选取所述图像库中每一图像的所有粒度无向图中包含了所有所述聚类类别对应的图像区域的图像，得到初始候选图像集；
S34a，提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑关系一致图像，得到中间候选图像集；
S35a，根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为备用候选图像；
S36a，选取每一粒度所述待外插图像的无向图提取的边界子图对应的备用候选图像中所述平均值最小的图像作为候选图像。
另一方面，如图3所示，本实施例还提供了与上述方法相对应的一种基于图匹配的数据驱动图像外插装置，包括：
建立模块101，用于获取待外插图像，对所述待外插图像进行区域划分，得到多个图像区域，将每一个所述图像区域作为一个节点建立所述待外插图像的无向图；
提取模块102，用于根据所述待外插图像的外插方向提取所述待外插图像的无向图的边界子图；
匹配模块103，用于将所述边界子图与图像库中的每一图像预先建立的无向图进行图匹配，得到符合预设匹配规则的图像库中的图像作为所述待外插图像的候选图像；
变形模块104，用于对匹配得到的所述候选图像进行变形，使得所述候选图像的图像区域与所述待外插图像的图像区域对应的图像区域边界曲线对齐；
融合模块105，用于确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色，进行图像融合。
进一步地，所述变形模块104具体用于：
对匹配得到的所述候选图像进行全局变形，具体为：
对所述候选图像在与外插方向平行和垂直的方向上平移η，以及对所述候选图像进行缩放，使的所述候选图像与所述待外插图像的图像区域边界曲线在与外插方向垂直的方向上的累计误差最小，即：
其中，L(t)为所述待外插图像中第t条图像区域边界曲线在与外插方向垂直方向上的坐标，为所述候选图像中第t条图像区域边界曲线在与外插方向垂直的方向上的坐标；
对匹配得到的所述候选图像进行局部变形，具体为：
采用seam carving方法在与外插方向垂直的方向上对所述候选图像进行变形。
进一步地，所述融合模块105具体用于：
采用Graph-cut方法确定所述候选图像与所述待外插图像色差最小的接缝；
采用泊松融合改变所述候选图像与所述待外插图像接缝处的颜色。
进一步地，所述匹配模块103具体用于：
提取所述边界子图中每一图像区域以及所述图像库中每一图像的无向图中每一图像区域的特征向量；
根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图像的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
选取所述图像库中包含了所有所述聚类类别对应的图像区域的图像，得到初始候选图像集；
提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑关系一致的图像，得到中间候选图像集；
根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为候选图像。
本实施例中提供的一种保障任务调度的方法及装置，通过建立图想的无向图，采用图像区域特征匹配和拓扑关系匹配的图匹配方法得到最优的外插候选图像，进而对候选图像进行变形，并选取色差最小的接缝进行图像融合，实现了图像大尺寸的扩大，并保证了外插边界的一致性。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (8)
1.一种基于图匹配的数据驱动图像外插方法，其特征在于，所述方法包括：
获取待外插图像，对所述待外插图像进行区域划分，得到多个图像区域，将每一个所述图像区域作为一个节点建立所述待外插图像的无向图；
根据所述待外插图像的外插方向提取所述待外插图像的无向图的边界子图；
将所述边界子图与图像库中的每一图像预先建立的无向图进行图匹配，得到符合预设匹配规则的图像库中的图像作为所述待外插图像的候选图像；
对匹配得到的所述候选图像进行变形，使得所述候选图像的图像区域与所述待外插图像的图像区域对应的图像区域边界曲线对齐；
确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色，进行图像融合；
其中，所述对匹配得到的所述候选图像进行变形的步骤，包括：
对匹配得到的所述候选图像进行全局变形，具体为：
对所述候选图像在与外插方向平行和垂直的方向上平移η，以及对所述候选图像进行缩放使得所述候选图像与所述待外插图像的图像区域边界曲线在与外插方向垂直的方向上的累计误差最小，即：
其中，η*为最优的平移量，为最优的缩放值，L(t)为所述待外插图像中第t条图像区域边界曲线在与外插方向垂直方向上的坐标，为所述候选图像中第t条图像区域边界曲线在与外插方向垂直的方向上的坐标；
对匹配得到的所述候选图像进行局部变形，具体为：
采用seam carving方法在与外插方向垂直的方向上对所述候选图像进行变形。
2.根据权利要求1所述的方法，其特征在于，所述确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色的步骤，包括：
采用Graph-cut方法确定所述候选图像与所述待外插图像色差最小的接缝；
采用泊松融合改变所述候选图像与所述待外插图像接缝处的颜色。
3.根据权利要求1或2所述的方法，其特征在于，所述将所述边界子图与图像库中的图像的无向图进行图匹配的步骤，包括：
提取所述边界子图中每一图像区域以及所述图像库中每一图像的无向图中每一图像区域的特征向量；
根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图像的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
选取所述图像库中包含了所有所述聚类类别对应的图像区域的图像，得到初始候选图像集；
提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑关系一致的图像，得到中间候选图像集；
根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为候选图像。
4.根据权利要求1或2所述的方法，其特征在于，所述对所述待外插图像进行区域划分，得到多个图像区域，将所述图像区域作为节点建立所述待外插图像的无向图的步骤，包括：
采用层级图像分割法对所述待外插图像进行区域划分，得到不同粒度的图像区域，针对每一粒度的所述图像区域建立一张无向图；
所述图像库中的每一图像预先建立的无向图的过程，包括：
采用层级图像分割法对所述图像库中的每一图像进行区域划分，得到不同粒度的图像区域，针对每一粒度的所述图像区域建立一张无向图。
5.根据权利要求4所述的方法，其特征在于，所述将所述边界子图与图像库中的图像的无向图进行图匹配的步骤，包括：
针对每一粒度所述待外插图像的无向图提取的边界子图，提取所述边界子图中每一图像区域以及所述图像库中每一图像的所有粒度的无向图中每一个图像区域的特征向量；
根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图像的所有粒度无向图的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
选取所述图像库中每一图像的所有粒度无向图中包含了所有所述聚类类别对应的图像区域的图像，得到初始候选图像集；
提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑关系一致图像，得到中间候选图像集；
根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为备用候选图像；
选取每一粒度所述待外插图像的无向图提取的边界子图对应的备用候选图像中所述平均值最小的图像作为候选图像。
6.一种基于图匹配的数据驱动图像外插装置，其特征在于，所述装置包括：
建立模块，用于获取待外插图像，对所述待外插图像进行区域划分，得到多个图像区域，将每一个所述图像区域作为一个节点建立所述待外插图像的无向图；
提取模块，用于根据所述待外插图像的外插方向提取所述待外插图像的无向图的边界子图；
匹配模块，用于将所述边界子图与图像库中的每一图像预先建立的无向图进行图匹配，得到符合预设匹配规则的图像库中的图像作为所述待外插图像的候选图像；
变形模块，用于对匹配得到的所述候选图像进行变形，使得所述候选图像的图像区域与所述待外插图像的图像区域对应的图像区域边界曲线对齐；
融合模块，用于确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色，进行图像融合；
其中，所述变形模块具体用于：
对匹配得到的所述候选图像进行全局变形，具体为：
对所述候选图像在与外插方向平行和垂直的方向上平移η，以及对所述候选图像进行缩放使得所述候选图像与所述待外插图像的图像区域边界曲线在与外插方向垂直的方向上的累计误差最小，即：
其中，η*为最优的平移量，为最优的缩放值，L(t)为所述待外插图像中第t条图像区域边界曲线在与外插方向垂直方向上的坐标，为所述候选图像中第t条图像区域边界曲线在与外插方向垂直的方向上的坐标；
对匹配得到的所述候选图像进行局部变形，具体为：
采用seam carving方法在与外插方向垂直的方向上对所述候选图像进行变形。
7.根据权利要求6所述的装置，其特征在于，所述融合模块具体用于：
采用Graph-cut方法确定所述候选图像与所述待外插图像色差最小的接缝；
采用泊松融合改变所述候选图像与所述待外插图像接缝处的颜色。
8.根据权利要求6或7所述的装置，其特征在于，所述匹配模块具体用于：
提取所述边界子图中每一图像区域以及所述图像库中每一图像的无向图中每一图像区域的特征向量；
根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图像的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；
选取所述图像库中包含了所有所述聚类类别对应的图像区域的图像，得到初始候选图像集；
提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑关系一致的图像，得到中间候选图像集；
根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为候选图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410543026.0A CN105513031B (zh) | 2014-10-14 | 2014-10-14 | 基于图匹配的数据驱动图像外插方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410543026.0A CN105513031B (zh) | 2014-10-14 | 2014-10-14 | 基于图匹配的数据驱动图像外插方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105513031A CN105513031A (zh) | 2016-04-20 |
| CN105513031B true CN105513031B (zh) | 2018-10-30 |
Family
ID=55720989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410543026.0A Active CN105513031B (zh) | 2014-10-14 | 2014-10-14 | 基于图匹配的数据驱动图像外插方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105513031B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107678655B (zh) * | 2017-10-11 | 2021-12-07 | 上海展扬通信技术有限公司 | 一种图像要素提取方法及图像要素提取系统 |
| CN109948398B (zh) * | 2017-12-20 | 2024-02-13 | 深圳开阳电子股份有限公司 | 全景泊车的图像处理方法及全景泊车装置 |
| CN109102459A (zh) * | 2018-08-03 | 2018-12-28 | 清华大学 | 一种对视频中的背景画面的扩充方法和设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101437170A (zh) * | 2007-11-13 | 2009-05-20 | 学校法人东京电机大学 | 多眼视图像生成系统以及多眼视图像生成方法 |
| CN103198510A (zh) * | 2013-04-18 | 2013-07-10 | 清华大学 | 数据驱动的模型渐变方法 |
-
2014
- 2014-10-14 CN CN201410543026.0A patent/CN105513031B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101437170A (zh) * | 2007-11-13 | 2009-05-20 | 学校法人东京电机大学 | 多眼视图像生成系统以及多眼视图像生成方法 |
| CN103198510A (zh) * | 2013-04-18 | 2013-07-10 | 清华大学 | 数据驱动的模型渐变方法 |
Non-Patent Citations (6)
| Title |
|---|
| 《An Image Similarity Measure based on Graph Matching》;Ricardo Baeza-Yates等;《In Proc. IEEE Symp. String Processing and Information Retrival》;20001231;第28-38页 * |
| 《Image Stitching Using Structure Deformation》;Jiaya Jia等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20080430;第30卷(第4期);第617-631页 * |
| 《Infinite Images: Creating and Exploring a Large Photorealistic Virtual Space》;Biliana Kaneva等;《Proceedings of the IEEE》;20101231;第98卷;第1391-1407页 * |
| 《PatchNet:A Patch-based Image Representation for Interactive Library-driven Image Editing》;Shi-Min Hu等;《ACM Transactions on Graphics》;20131130;第32卷(第6期);第1-12页 * |
| 《Seam Carving for Content-Aware Image Resizing》;Shai Avidan等;《ACM Transactions on Graphics》;20070731;第26卷(第3期);第1-10页 * |
| 《基于插值算法的图像变形研究》;王玉荣等;《仪器仪表与分析监测》;20140528(第2期);第19-21页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105513031A (zh) | 2016-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9691145B2 (en) | Methods and systems for automated selection of regions of an image for secondary finishing and generation of mask image of same | |
| Gao et al. | Seam-driven image stitching. | |
| Mehrani et al. | Saliency Segmentation based on Learning and Graph Cut Refinement. | |
| Xiao et al. | Efficient shadow removal using subregion matching illumination transfer | |
| CN103548056B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
| CN104794479B (zh) | 基于局部笔画宽度变换的自然场景图片中文本检测方法 | |
| US10249029B2 (en) | Reconstruction of missing regions of images | |
| Zhu et al. | Modeling deformable gradient compositions for single-image super-resolution | |
| CN102799669A (zh) | 一种商品图像视觉质量的自动分级方法 | |
| CN105513031B (zh) | 基于图匹配的数据驱动图像外插方法及装置 | |
| JP2016029546A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| CN108038458B (zh) | 基于特征摘要图的视频中的户外场景文本自动获取方法 | |
| CN116012432A (zh) | 立体全景图像的生成方法、装置和计算机设备 | |
| CN108805022A (zh) | 一种基于多尺度centrist特征的遥感场景分类方法 | |
| Zheng | A new method for automatic separation of fabric color | |
| Sýkora et al. | Sketching Cartoons by Example. | |
| CN114332895A (zh) | 文本图像合成方法、装置、设备、存储介质和程序产品 | |
| CN107076650A (zh) | 图像处理方法以及细胞分取方法 | |
| Bhat et al. | Template matching technique for panoramic image stitching | |
| KR20150086816A (ko) | 스크리블 기반 영상 처리장치 및 이를 이용한 다중 서술자 추출방법 | |
| Frosio et al. | Adaptive segmentation based on a learned quality metric. | |
| KR101643550B1 (ko) | 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법 | |
| Wilms et al. | Edge adaptive seeding for superpixel segmentation | |
| Khayeat et al. | Copy-move forgery detection using the segment gradient orientation histogram | |
| CN113139973B (zh) | 基于人工智能的疟原虫识别方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |