CN111986284A - 一种图像的纹理合成方法及装置 - Google Patents

一种图像的纹理合成方法及装置 Download PDF

Info

Publication number
CN111986284A
CN111986284A CN202010820925.6A CN202010820925A CN111986284A CN 111986284 A CN111986284 A CN 111986284A CN 202010820925 A CN202010820925 A CN 202010820925A CN 111986284 A CN111986284 A CN 111986284A
Authority
CN
China
Prior art keywords
texture
texture block
block
error
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010820925.6A
Other languages
English (en)
Other versions
CN111986284B (zh
Inventor
李少梅
孙群
彭湃
王映雪
周炤
朱新铭
温伯威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202010820925.6A priority Critical patent/CN111986284B/zh
Publication of CN111986284A publication Critical patent/CN111986284A/zh
Application granted granted Critical
Publication of CN111986284B publication Critical patent/CN111986284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及一种图像的纹理合成方法及装置，属于图形、图像处理技术领域，包括以下步骤：1)从样本纹理中随机选取一个纹理块作为初始输出图像；2)从样本纹理中选取满足重叠区域中像素误差绝对值小于最大像素误差绝对值的纹理块构成纹理块集合，从纹理块集合中随机选择一个纹理块作为待拼接纹理块；3)选取最小代价缝合路径的累积误差小于设定阈值时对应的重叠度，按照该重叠度将待拼接纹理块拼接到输出图像的当前待拼接位置，并在最小代价缝合路径上对输出图像和待拼接纹理块同坐标的像素进行混合处理；4)重复步骤2)和3)，直至纹理图像合成完整。解决了现有的纹理合成中存在的准确度低、合成效率差的问题。

Description

一种图像的纹理合成方法及装置
技术领域
本发明涉及一种图像的纹理合成方法及装置，属于图形、图像处理技术领域。
背景技术
纹理合成是指利用给定的纹理样本，合成与样本具有相同结构特征和多样性的纹理图像的过程，是为了解决纹理映射中存在的接缝走样等问题。
纹理合成技术最早是纹理映射，就是将纹理图片贴到目标物体的表面来增加真实感，或者形成特殊的效果。此后发展到第二个阶段——过程纹理合成阶段，在这个阶段，首先要对纹理的特征进行分析，并根据这些特征来构造新的纹理，这个过程有点类似纹理合成的最后一个阶段：基于样图的纹理合成，利用给定的样本纹理，合成大面积的纹理图像，基于样图的纹理合成解决了前两个阶段中纹理接缝走样的问题，是目前纹理合成技术的研究热点。
基于样图的纹理合成是根据纹理相似性的原理，由样本中取出的小块纹理合成与样本相似而又不同的大块纹理，一般可以分为基于像素和基于块拼接的两种纹理合成方法。采用基于块拼接的纹理合成方法进行纹理合成过程中，有两个关键参数的设置对合成结果有着重要的影响：纹理块尺寸和重叠度大小。这两个参数分别影响纹理合成图像的结构特征和纹理块边界的接缝。在传统的基于块拼接的纹理合成方法中，在对重叠度大小进行设置时，一方面，对于重叠度大小的设置通常是通过反复实验或者人工经验来确定的，准确性低；另一方面，不同的纹理样本需要重复设置重叠度参数，进行实验，然后确定一个合适参数进行纹理合成，合成效率比较低。
发明内容
本发明的目的是提供一种图像的纹理合成方法及装置，解决了现有的纹理合成中存在的准确度低、合成效率差的问题。
为实现上述目的，本发明的技术方案为：本发明提供了一种图像的纹理合成方法，该合成方法包括以下步骤：
1)从样本纹理中随机选取一个纹理块作为初始输出图像；
2)从样本纹理中选取满足重叠区域中像素误差绝对值小于最大像素误差绝对值的纹理块构成纹理块集合，从纹理块集合中随机选择一个纹理块作为待拼接纹理块；
3)选取最小代价缝合路径的累积误差小于设定阈值时对应的重叠度，按照该重叠度将待拼接纹理块拼接到输出图像的当前待拼接位置，并在最小代价缝合路径上对输出图像和待拼接纹理块同坐标的像素进行混合处理；
4)重复步骤2)和3)，直至纹理图像合成完整；
所述步骤1)和步骤2)中选取的纹理块的大小是根据纹理块各灰度值的累积频率与样本纹理对应灰度值的累积频率的相似性确定。
本发明通过计算纹理块拼接时最小代价缝合路径对应的像素累积误差，根据像素累积误差确定重叠度的大小；最后根据重叠度大小进行纹理块的匹配和拼接，实现图像的纹理合成。针对不同的样本纹理，通过自适应选取重叠度大小的方式，省去了人工测试的步骤，提高了纹理合成过程中的准确度，实现了良好的合成效果。
进一步地，为了准确获取合适的待拼接纹理块，提高图像处理精度，最小代价缝合路径的累积误差的计算公式为：
e(x，y)＝|(C1(x，y)-C2(x，y))|
E(x，y)＝e(x，y)+min(E(x-1，y-1)，E(x，y-1)，E(x+1，y-1)
其中，e(x，y)为像素误差，C1(x，y)、C2(x，y)分别是输出图像与待拼接纹理块在重叠区域内的边界的像素值，E(x，y)为点(x，y)处的最小代价缝合路径的累积误差，定义首行、首列的像素点的最小代价缝合路径的累积误差E为该点的像素误差e，(x-1，y-1)、(x，y-1)和(x+1，y-1)分别是点(x，y)的下一行中位于上一列、同列和下一列的三个点的坐标，则E(x-1，y-1)、E(x，y-1)和E(x+1，y-1)分别是此三点的最小代价缝合路径的累积误差，min(E(x-1，y-1)，E(x，y-1)，E(x+1，y-1))为重叠区域下一行的误差最小值。
进一步地，为了给出一种具体的实现纹理块大小的确定公式，纹理块大小确定所采用的公式为：
{|D(Eb+1，S)-D(Eb，S)|+|D(Eb-1，S)-D(Eb，S)|}/2＞T
其中，E表示待选取的纹理块，b为纹理块(正方形)的边长，S表示样本纹理，T为设定的阈值，D(E，S)表示待选取的纹理块与样本纹理的相似性大小，则D(Eb-1，S)、D(Eb，S)和D(Eb+1，S)分别为边长为b-1、b、b+1的纹理块与样本纹理的相似性大小，当某一个最小的b满足公式时，该纹理块的尺寸就是需要的纹理块。
进一步地，为了对纹理块集合中的纹理块进行限定，以提高图像处理精确性，所述步骤2)中构成纹理块集合中的纹理块需满足以下条件：
Figure BDA0002634380230000031
Figure BDA0002634380230000032
其中，
Figure BDA0002634380230000033
为纹理块集合，e(x，y)是重叠区域中坐标为(x，y)处输出图像与待拼接的纹理块的像素误差绝对值，n为重叠区域中的像素总数，emax为像素误差平均值，作为该集合基于样图的采样策略进行边界匹配的最大误差。
本发明还提供了一种图像的纹理合成装置，包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现以下步骤：
1)从样本纹理中随机选取一个纹理块作为初始输出图像；
2)从样本纹理中选取满足重叠区域中像素误差绝对值小于最大像素误差绝对值的纹理块构成纹理块集合，从纹理块集合中随机选择一个纹理块作为待拼接纹理块；
3)选取最小代价缝合路径的累积误差小于设定阈值时对应的重叠度，按照该重叠度将待拼接纹理块拼接到输出图像的当前待拼接位置，并在最小代价缝合路径上对输出图像和待拼接纹理块同坐标的像素进行混合处理；
4)重复步骤2)和3)，直至纹理图像合成完整；
所述步骤1)和步骤2)中选取的纹理块的大小是根据纹理块各灰度值的累积频率与样本纹理对应灰度值的累积频率的相似性确定。
本发明还设计了一种图像的纹理合成装置，并使该装置中的处理器执行相应的程序实现纹理图像的合成，通过计算纹理块拼接时最小代价缝合路径对应的像素累积误差，根据像素累积误差确定重叠度的大小；最后根据重叠度大小进行纹理块的匹配和拼接，实现图像的纹理合成。本发明以自适应选取重叠度大小的方式，提高了纹理合成过程中的准确度和效率，实现了良好的合成效果。
进一步地，为了准确获取合适的待拼接纹理块，提高图像处理精度，最小代价缝合路径的累积误差的计算公式为：
e(x，y)＝|(C1(x，y)-C2(x，y))|
E(x，y)＝e(x，y)+min(E(x-1，y-1)，E(x，y-1)，E(x+1，y-1)
其中，e(x，y)为像素误差，C1(x，y)、C2(x，y)分别是输出图像与待拼接纹理块在重叠区域内的边界的像素值，E(x，y)为点(x，y)处的最小代价缝合路径的累积误差，定义首行、首列的像素点的最小代价缝合路径的累积误差E为该点的像素误差e，(x-1，y-1)、(x，y-1)和(x+1，y-1)分别是点(x，y)的下一行中位于上一列、同列和下一列的三个点的坐标，则E(x-1，y-1)、E(x，y-1)和E(x+1，y-1)分别是此三点的最小代价缝合路径的累积误差，min(E(x-1，y-1)，E(x，y-1)，E(x+1，y-1))为重叠区域下一行的误差最小值。
进一步地，为了给出一种具体的实现纹理块大小的确定公式，纹理块大小确定所采用的公式为：
{|D(Eb+1，S)-D(Eb，S)|+|D(Eb-1，S)-D(Eb，S)|}/2＞T
其中，E表示待选取的纹理块，b为纹理块(正方形)的边长，S表示样本纹理，T为设定的阈值，D(E，S)表示待选取的纹理块与样本纹理的相似性大小，则D(Eb-1，S)、D(Eb，S)和D(Eb+1，S)分别为边长为b-1、b、b+1的纹理块与样本纹理的相似性大小，当某一个最小的b满足公式时，该纹理块的尺寸就是需要的纹理块。
进一步地，为了对纹理块集合中的纹理块进行限定，以提高图像处理精确性，所述步骤2)中构成纹理块集合中的纹理块需满足以下条件：
Figure BDA0002634380230000041
Figure BDA0002634380230000042
其中，
Figure BDA0002634380230000043
为纹理块集合，e(x，y)是重叠区域中坐标为(x，y)处输出图像与待拼接的纹理块的像素误差绝对值，n为重叠区域中的像素总数，emax为像素误差平均值，作为该集合基于样图的采样策略进行边界匹配的最大误差。
附图说明
图1是本发明纹理合成方法实施例一中的纹理合成初始过程示意图；
图2是本发明纹理合成方法实施例一中的纹理合成开始出现重叠区域的示意图；
图3是本发明纹理合成方法实施例一中的输出图像为长方形时的纹理合成过程示意图；
图4是本发明纹理合成方法实施例一中的输出图像为不规则形状时纹理合成过程示意图；
图5是本发明纹理合成方法实施例一中纹理块拼接的重叠区域示意图；
图6是本发明纹理合成方法实施例二中纹理样本对应的灰度直方图；
图7是本发明纹理合成方法实施例二中30*30像素的纹理块对应的灰度直方图；
图8是本发明纹理合成方法实施例二中60*40像素的纹理块对应的灰度直方图；
图9是本发明纹理合成方法实施例二中60*60像素的纹理块对应的灰度直方图；
图10是本发明纹理合成装置实施例中计算机程序运行过程示意图；
图11是本发明纹理合成装置实施例中从水墨画提取的第一种纹理块及使用该纹理块合成的效果图；
图12是本发明纹理合成装置实施例中从水墨画提取的第二种纹理块及使用该纹理块合成的效果图；
图13是本发明纹理合成装置实施例中从水墨画提取的第三种纹理块及使用该纹理块合成的效果图；
图14是本发明纹理合成装置实施例中从水墨画提取的第四种纹理块及使用该纹理块合成的效果图。
具体实施方式
下面结合附图对本发明的实施方式作进一步详细的说明。
纹理合成方法实施例一
本发明所述的纹理合成方法主要包括以下步骤：
1)从样本纹理中随机选取一个纹理块作为初始输出图像；
2)从样本纹理中选取满足重叠区域中像素误差绝对值小于最大像素误差绝对值的纹理块构成纹理块集合，从纹理块集合中随机选择一个纹理块作为待拼接纹理块；
3)选取最小代价缝合路径的累积误差小于设定阈值时对应的重叠度，按照该重叠度将待拼接纹理块拼接到输出图像的当前待拼接位置，并在最小代价缝合路径上对输出图像和待拼接纹理块同坐标的像素进行混合处理；
4)重复步骤2)和3)，直至纹理图像合成完整。
本实施例中整个纹理合成过程如图1和图2所示，图1给出了合成前的示意图，图2中在合成过程中开始出现重叠区域，其中A为输出图像，B为待拼接纹理块，本实施例中以正方形的输出图像A和待拼接纹理快B为例进行纹理合成。图3和图4中分别给出了另外几种不同的输出图像A进行纹理合成的过程示意图，阴影区域为A与B的重叠区域。输出图像A与待拼接纹理块B的边界分别为E1和E2，E1是待匹配区域，宽度为Dc，为了保证A与B的拼接能够过渡自然，需要针对待匹配区域E1寻找能够匹配的待拼接纹理块B，同时要避免合成结果纹元重复率过高，将符合匹配规则的纹理块B作为一个集合
Figure BDA0002634380230000069
随机从
Figure BDA0002634380230000065
中选取一个纹理块与A进行拼接。
匹配规则可以用以下公式来表达：
Figure BDA0002634380230000061
Figure BDA0002634380230000062
公式1-2中，e(x，y)是重叠区域中坐标为(x，y)处输出图像A与待拼接纹理块B的像素误差绝对值，n为重叠区域中的像素总数，emax为重叠区域中像素误差绝对值均值，将满足公式1-1的纹理块放在集合
Figure BDA0002634380230000066
中，若没有满足条件的纹理块，则选择与emax条件最接近的纹理块作为待拼接纹理块。
本发明提供的基于参数自适应的纹理合成算法步骤如下：
Step1：读取纹理样本后，确定纹理块尺寸c，并按照重叠度自适应算法确定重叠度大小d；
Step2：从样本纹理中随机选取一个边长为c的纹理块作为初始输出图像A；
Step3：根据公式1-1，生成集合
Figure BDA0002634380230000063
从
Figure BDA0002634380230000067
中随机选取一个纹理块Bk作为待拼接纹理块，若
Figure BDA0002634380230000068
为空集，则选择与dmax条件最接近的纹理块作为Bk，此时k＝1；
Step4：寻找最小代价缝合路径，将Bk按照重叠度d拼接在输出图像A当前待拼接的位置，在最小代价缝合路径上对输出图像A与纹理块Bk同坐标的像素进行颜色混合处理；
Step5：k＝k+1，重复步骤Step3、Step4；直到输出完整合成纹理图像。
本实施例中步骤Step1中利用重叠度自适应算法的具体过程如下：
纹理合成时纹理块之间拼接时有一个重叠的区域，重叠的宽度a与纹理块的长度b之比为重叠度d，即d＝a/b，如图5所示。
重叠度对纹理合成效果也有较大的影响，当重叠度过大时，合成速度会比较慢，合成结果的重复纹元明显较多，当重叠度过小时，合成速度较快，但是纹理块之间的缝合裂痕会比较明显。因此需要进行实验确定纹理合成最佳的重叠度大小。为了实现较快的合成速度，同时保证纹理块之间不会产生明显的边界接缝问题，可以将重叠度从小到大进行实验，直到消除边界裂痕。
在确定纹理块的最佳尺寸后，进行纹理块之间的拼接，在重叠区域内需要寻找最小代价缝合路径。在图5中，B1是输出图像中最后一个纹理块，B2是当前待拼接的纹理块，阴影区域为B1与B2的重叠区域，C1、C2分别是两个纹理块在重叠区域内的边界的像素值。重叠区域中的细小黑线是最小代价缝合路径，寻找最小代价缝合路径的方法如下：定义重叠区域内点坐标(x，y)处对应的B1与B2的像素误差为e(x，y)，为了找到最小代价缝合路径，需要计算所有路径对应的累积误差，计算公式如下：
e(x，y)＝|(C1(x，y)-C2(x，y))| (1-3)
E(x，y)＝e(x，y)+min(E(x-1，y-1)，E(x，y-1)，E(x+1，y-1) (1-4)
其中，重叠区域最下一行的误差最小值就是最小代价缝合路径的结束位置，从此处坐标向上再计算累积误差即可找到我们所需要的缝合路径。当B1、B2是上下位置关系时方法不变，当B2需要同时进行上方和左侧的缝合时，两条缝合路径在中间相交，并分别进行缝合。
在公式1-4中，求取最小代价缝合路径的累积误差E(x,y)，设定阈值E0，当累积误差E(x,y)小于E0时，此时的重叠度大小满足缝合要求，若不满足要求，则改变重叠度大小，继续进行查找和计算。
因此，自适应地确定纹理块重叠度的步骤为：
1)设定重叠度的初始值d＝10％；
2)d＝d+0.01；
3)在当前缝合处，从样本纹理中随机选出30个纹理块，进行纹理块拼接，按照公式1-4计算最小代价缝合路径的累积误差E(x,y)；
4)若E(x,y)<E0，则此时的重叠度大小满足要求，输出d，否则返回步骤2)。
其中，e(x,y)为像素误差，C1(x,y)、C2(x,y)分别是输出图像与待拼接纹理块在重叠区域内的边界的像素值，E(x,y)为点(x,y)处的最小代价缝合路径的累积误差，定义首行、首列的像素点的最小代价缝合路径的累积误差E为该点的像素误差e，(x-1,y-1)、(x,y-1)和(x+1,y-1)分别是点(x,y)的下一行中位于上一列、同列和下一列的三个点的坐标，则E(x-1,y-1)、E(x,y-1)和E(x+1,y-1)分别是此三点的最小代价缝合路径的累积误差，min(E(x-1,y-1),E(x,y-1),E(x+1,y-1))为重叠区域下一行的误差最小值。
输出的重叠度是针对输入纹理样本的最佳重叠度大小，在确定纹理块尺寸和重叠度大小后，就可以根据这两个参数进行纹理块之间的拼接与合成。
本实施例中的关键在于实现了纹理合成参数中重叠度大小的确定过程的自适应，而对于纹理块的大小的确定，可以采用人工经验或是通过选取。
纹理合成方法实施例二
本实施例是本发明中所述的纹理合成方法的另一个实施例，本实施例中与纹理合成方法实施例一的区别仅在于，本实施例中提出了纹理块大小进行确定的方法，实现了对纹理块大小的自适应，避免了参数确定过程的人工参与，有效提供了合成精确度和效率。
在对纹理块尺寸进行选择的时候，需要考虑纹理块尺寸对合成效果的影响。纹理块的尺寸对于纹理合成效果的影响的主要体现是：纹理块较小时，纹理块中的纹元单一，在合成过程中就不会出现明显的接缝问题，但是若纹理块尺寸过小，合成纹理的整体特征保持就会较差，而且合成速度较慢；纹理块较大时，合成速度会明显变快，合成纹理的特点与样本纹理相似性会比较好，但容易出现接缝错位、过渡不自然的现象，若纹理块过大，则合成图像中有明显的重复现象，合成效果单调，且纹理块边界有明显裂缝，影响视觉连续性。
在对纹理块尺寸进行选择时，首先要考虑两个因素，第一个因素是纹理块至少要能体现样本纹理的纹元分布及结构特征，第二个因素是纹理合成效率，纹理块的尺寸大小与合成时间是成反比的。充分考虑这两个因素，对纹理块尺寸的选择应该在纹理块适当小的同时能够与样本纹理特征保持一定的相似性。纹理块与样本纹理是否相似从人眼视觉上判断难免有误差，为了更科学直观地对其相似性进行判断，可以比较两者的灰度直方图。灰度直方图是图像灰度级频率统计函数的图像，每幅图像有对应的灰度直方图，如果纹理块与样本纹理有着相近的灰度直方图，那么两者必然有着较好的相似性，也说明纹理块包含了样本纹理的纹元结构和分布特点，具有较好的代表性。
利用Matlab很容易做出图像的灰度直方图，如图6是纹理样本及其对应的灰度直方图，图7-图9分别是30*30、60*40、60*60(单位：像素)的纹理块及其对应的灰度直方图。从图7-图9可以看出，当纹理块尺寸较小时，纹理块包含的信息量比较少，两者的灰度直方图完全不同，不具有对样本纹理的代表性；当纹理块尺寸越大时，因为包含的纹理细节越多，与样本纹理的灰度直方图相似度就越高。这是从灰度直方图上直接观察就可以知道的，为了定量的描述这种相似性，还需要科学地设计公式来进行度量。
为了定量的判断待选取的纹理块与样本纹理的相似性，可以用图像灰度值的累积频率差来计算，用D(E，S)表示两者的相似性大小：如下公式：
Figure BDA0002634380230000091
其中E表示待选取的纹理块，S表示样本纹理，i为灰度值(1-255)，E(i)表示待选取的纹理块中灰度值为i对应的频率。
D越大，表示E、S两个图像的差异性越大。考虑到D可能大于1，为了更直观的分析，将公式1-5稍作调整，得到公式如下：
D(E，S)＝{1-∑|E(i)-S(i)|}/2 (1-6)
可以证明D(E，S)的取值在0和1之间，且随着E与S的相似性越大，其值也越大，在E的尺寸达到一定的大小时，D的值也会趋于某一个固定的值，接近于1。
根据公式1-6建立算法来寻找最佳纹理块的尺寸。其判断方法如下：
{|D(Eb+1，S)-D(Eb，S)|+|D(Eb-1，S)-D(Eb，S)|}/2＞T (1-7)
其中，E表示待选取的纹理块，b为纹理块(正方形)的边长，S表示样本纹理，T为设定的阈值，D(E，S)表示待选取的纹理块与样本纹理的相似性大小，则D(Eb-1，S)、D(Eb，S)和D(Eb+1，S)分别为边长为b-1、b、b+1的纹理块与样本纹理的相似性大小，当某一个最小的b满足公式时，该纹理块的尺寸就是我们需要的纹理块。
因此，本实施例中自适应的确定纹理块大小(尺寸)的步骤为：
(1)设置初始纹理块的大小为b＝10(通常取值在10以上)；
(2)在样本纹理中随机选取30个尺寸为b的纹理块，并计算它们与样本纹理的相似性D(E，S)，取其中最大的值为D(Eb，S)；
(3)分别令b＝b+1，b＝b+2，并按步骤b计算D(Eb+1，S)，D(Eb+2，S)；
(4)用公式(1-7)进行判断，若满足阈值T，则b+1即为所需的纹理块尺寸，输出b+1，否则令b＝b+1，并返回步骤(2)。
通过以上步骤，在输入纹理样本后，能够自主确定纹理合成过程中纹理块的尺寸，为下一步的纹理合成工作做好准备。
以上给出了实现本发明技术方案的另外一种实施方式，该实施方式的实质是：统计纹理样本和其中纹理块图像灰度值的累积频率，通过统计的图像灰度值累积频率设计公式计算纹理样本与纹理块的相似度，按照相似度的大小来选取纹理块的最佳尺寸；计算纹理块拼接时最小代价缝合路径对应的像素累积误差，然后根据像素累积误差阈值确定重叠度的大小。通过这两种方法确定最佳的纹理块尺寸和重叠度大小，然后进行纹理块的匹配和拼接，输出大块的纹理合成图像。
纹理合成装置实施例
本发明中所针对的图像的纹理合成装置包括处理器，处理器耦合有存储器，存储器上存储有用于在处理器上运行的计算机程序，如图10所示，为本发明中计算机程序运行过程示意图。如图11-图14，通过运行对应的计算机程序，从一幅水墨画中的不同位置处提取了不同的纹理块，并利用该纹理块合成了四种不同的效果图，合成效果良好。处理器可以采用单片机、FPGA、DSP等实现，存储器可以采用RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其他形式的存储介质，可以将该存储介质耦接至处理器，使处理器能够从该存储介质读取信息，或者该存储介质可以是处理器的组成部分。
处理器执行计算机程序能够实现上述纹理合成方法实施例一和纹理合成方法实施例二的步骤。
各步骤的具体实现方式已在上述方法的实施例中进行了详细说明，这里不再赘述。
以上给出了具体的实施方式，但本发明不局限于所描述的实施方式。本发明的基本思路在于上述基本方案，对本领域普通技术人员而言，根据本发明的教导，设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围内。

Claims (8)

1.一种图像的纹理合成方法，其特征在于，该合成方法包括以下步骤：
1)从样本纹理中随机选取一个纹理块作为初始输出图像；
2)从样本纹理中选取满足重叠区域中像素误差绝对值小于最大像素误差绝对值的纹理块构成纹理块集合，从纹理块集合中随机选择一个纹理块作为待拼接纹理块；
3)选取最小代价缝合路径的累积误差小于设定阈值时对应的重叠度，按照该重叠度将待拼接纹理块拼接到输出图像的当前待拼接位置，并在最小代价缝合路径上对输出图像和待拼接纹理块同坐标的像素进行混合处理；
4)重复步骤2)和3)，直至纹理图像合成完整；
所述步骤1)和步骤2)中选取的纹理块的大小是根据纹理块各灰度值的累积频率与样本纹理对应灰度值的累积频率的相似性确定。
2.根据权利要求1所述的图像的纹理合成方法，其特征在于，最小代价缝合路径的累积误差的计算公式为：
e(x，y)＝|(C1(x，y)-C2(x，y))|
E(x，y)＝e(x，y)+min(E(x-1，y-1)，E(x，y-1)，E(x+1，y-1)
其中，e(x，y)为像素误差，C1(x，y)、C2(x，y)分别是输出图像与待拼接纹理块在重叠区域内的边界的像素值，E(x，y)为点(x，y)处的最小代价缝合路径的累积误差，定义首行、首列的像素点的最小代价缝合路径的累积误差E为该点的像素误差e，(x-1，y-1)、(x，y-1)和(x+1，y-1)分别是点(x，y)的下一行中位于上一列、同列和下一列的三个点的坐标，则E(x-1，y-1)、E(x，y-1)和E(x+1，y-1)分别是此三点的最小代价缝合路径的累积误差，min(E(x-1，y-1)，E(x，y-1)，E(x+1，y-1))为重叠区域下一行的误差最小值。
3.根据权利要求1所述的图像的纹理合成方法，其特征在于，纹理块大小确定所采用的公式为：
{|D(Eb+1，S)-D(Eb，S)|+|D(Eb-1，S)-D(Eb，S)|}/2＞T
其中，E表示待选取的纹理块，b为纹理块的边长，S表示样本纹理，T为设定的阈值，D(E，S)表示待选取的纹理块与样本纹理的相似性大小，则D(Eb-1，S)、D(Eb，S)和D(Eb+1，S)分别为边长为b-1、b、b+1的纹理块与样本纹理的相似性大小，当某一个最小的b满足公式时，该纹理块的尺寸就是需要的纹理块。
4.根据权利要求1所述的图像的纹理合成方法，其特征在于，所述步骤2)中构成纹理块集合中的纹理块需满足以下条件：
Figure FDA0002634380220000021
Figure FDA0002634380220000022
其中，
Figure FDA0002634380220000023
为纹理块集合，e(x，y)是重叠区域中坐标为(x，y)处输出图像与待拼接的纹理块的像素误差绝对值，n为重叠区域中的像素总数，emax为像素误差平均值，作为该集合基于样图的采样策略进行边界匹配的最大误差。
5.一种图像的纹理合成装置，其特征在于，包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现以下步骤：
1)从样本纹理中随机选取一个纹理块作为初始输出图像；
2)从样本纹理中选取满足重叠区域中像素误差绝对值小于最大像素误差绝对值的纹理块构成纹理块集合，从纹理块集合中随机选择一个纹理块作为待拼接纹理块；
3)选取最小代价缝合路径的累积误差小于设定阈值时对应的重叠度，按照该重叠度将待拼接纹理块拼接到输出图像的当前待拼接位置，并在最小代价缝合路径上对输出图像和待拼接纹理块同坐标的像素进行混合处理；
4)重复步骤2)和3)，直至纹理图像合成完整；
所述步骤1)和步骤2)中选取的纹理块的大小是根据纹理块各灰度值的累积频率与样本纹理对应灰度值的累积频率的相似性确定。
6.根据权利要求5所述的图像的纹理合成装置，其特征在于，最小代价缝合路径的累积误差的计算公式为：
e(x，y)＝|(C1(x，y)-C2(x，y))|
E(x，y)＝e(x，y)+min(E(x-1，y-1)，E(x，y-1)，E(x+1，y-1)
其中，e(x，y)为像素误差，C1(x，y)、C2(x，y)分别是输出图像与待拼接纹理块在重叠区域内的边界的像素值，E(x，y)为点(x，y)处的最小代价缝合路径的累积误差，定义首行、首列的像素点的最小代价缝合路径的累积误差E为该点的像素误差e，(x-1，y-1)、(x，y-1)和(x+1，y-1)分别是点(x，y)的下一行中位于上一列、同列和下一列的三个点的坐标，则E(x-1，y-1)、E(x，y-1)和E(x+1，y-1)分别是此三点的最小代价缝合路径的累积误差，min(E(x-1，y-1)，E(x，y-1)，E(x+1，y-1))为重叠区域下一行的误差最小值。
7.根据权利要求5所述的图像的纹理合成装置，其特征在于，纹理块大小确定所采用的公式为：
{|D(Eb+1，S)-D(Eb，S)|+|D(Eb-1，S)-D(Eb，S)|}/2＞T
其中，E表示待选取的纹理块，b为纹理块的边长，S表示样本纹理，T为设定的阈值，D(E，S)表示待选取的纹理块与样本纹理的相似性大小，则D(Eb-1，S)、D(Eb，S)和D(Eb+1，S)分别为边长为b-1、b、b+1的纹理块与样本纹理的相似性大小，当某一个最小的b满足公式时，该纹理块的尺寸就是需要的纹理块。
8.根据权利要求5所述的图像的纹理合成装置，其特征在于，所述步骤2)中构成纹理块集合中的纹理块需满足以下条件：
Figure FDA0002634380220000031
Figure FDA0002634380220000032
其中，
Figure FDA0002634380220000033
为纹理块集合，e(x，y)是重叠区域中坐标为(x，y)处输出图像与待拼接的纹理块的像素误差绝对值，n为重叠区域中的像素总数，emax为像素误差平均值，作为该集合基于样图的采样策略进行边界匹配的最大误差。
CN202010820925.6A 2020-08-14 2020-08-14 一种图像的纹理合成方法及装置 Active CN111986284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010820925.6A CN111986284B (zh) 2020-08-14 2020-08-14 一种图像的纹理合成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010820925.6A CN111986284B (zh) 2020-08-14 2020-08-14 一种图像的纹理合成方法及装置

Publications (2)

Publication Number Publication Date
CN111986284A true CN111986284A (zh) 2020-11-24
CN111986284B CN111986284B (zh) 2024-04-05

Family

ID=73435323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010820925.6A Active CN111986284B (zh) 2020-08-14 2020-08-14 一种图像的纹理合成方法及装置

Country Status (1)

Country Link
CN (1) CN111986284B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791914A (zh) * 2021-11-17 2021-12-14 腾讯科技（深圳）有限公司 对象处理方法、装置、计算机设备、存储介质及产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122043A1 (en) * 2001-03-02 2002-09-05 Mitsubishi Electric Research Laboratories, Inc. Texture synthesis and transfer for pixel images
US20090022419A1 (en) * 2007-07-18 2009-01-22 3Dhistech Kft. Method for realistic stitching image blocks of an electronically recorded multipart image
CN103714561A (zh) * 2013-12-27 2014-04-09 浙江工业大学 基于Chamfer距离的保结构纹理合成方法
CN108765510A (zh) * 2018-05-24 2018-11-06 河南理工大学 一种基于遗传优化搜索策略的快速纹理合成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122043A1 (en) * 2001-03-02 2002-09-05 Mitsubishi Electric Research Laboratories, Inc. Texture synthesis and transfer for pixel images
US20090022419A1 (en) * 2007-07-18 2009-01-22 3Dhistech Kft. Method for realistic stitching image blocks of an electronically recorded multipart image
CN103714561A (zh) * 2013-12-27 2014-04-09 浙江工业大学 基于Chamfer距离的保结构纹理合成方法
CN108765510A (zh) * 2018-05-24 2018-11-06 河南理工大学 一种基于遗传优化搜索策略的快速纹理合成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭湃: "基于水墨风格渲染方法的三维地形表达技术研究", 《中国优秀硕士论文学位论文全文数据库（电子期刊）基础科学辑》, pages 4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791914A (zh) * 2021-11-17 2021-12-14 腾讯科技（深圳）有限公司 对象处理方法、装置、计算机设备、存储介质及产品
CN113791914B (zh) * 2021-11-17 2022-03-11 腾讯科技（深圳）有限公司 对象处理方法、装置、计算机设备、存储介质及产品

Also Published As

Publication number Publication date
CN111986284B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN109543701A (zh) 视觉显著性区域检测方法及装置
CN111179307A (zh) 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法
EP3832593A1 (en) Denoising filter
CN107219941B (zh) 软笔实时轨迹生成方法、存储介质、处理设备
CN107424181A (zh) 一种改进的图像拼接关键帧快速提取方法
CN103530894B (zh) 一种基于多尺度块稀疏表示的视频目标追踪方法及其系统
CN101802842A (zh) 用于识别图像中的复杂特征点的系统和方法
CN109816669A (zh) 一种识别电力设备缺陷的改进Mask R-CNN图像实例分割方法
CA2613116A1 (en) Video object cut and paste
CN101295363A (zh) 从距离图像确定物体姿势的方法和系统
CN112712546A (zh) 一种基于孪生神经网络的目标跟踪方法
CN106251391A (zh) 细分方法
CN111127596B (zh) 一种基于增量Voronoi序列的分层油画笔刷绘制方法
CN111401449B (zh) 一种基于机器视觉的图像匹配方法
CN113096121B (zh) 基于交叉断裂力学和图像处理的路面裂缝检测方法和系统
CN115816460A (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN103942786B (zh) 无人机可见光和红外图像的自适应团块目标检测方法
CN111986284A (zh) 一种图像的纹理合成方法及装置
CN111696079A (zh) 一种基于多任务学习的表面缺陷检测方法
CN109658453B (zh) 圆心确定方法、装置、设备及存储介质
CN110610504A (zh) 基于骨架与色调的铅笔画生成方法及装置
CN114140485A (zh) 一种三七主根切割轨迹生成方法及系统
CN108805896B (zh) 一种应用于城市环境的距离图像分割方法
Yang et al. A model for automatically tracing object boundaries
CN105447901A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant