CN114549703B - 一种快速动画图像生成方法、系统、装置及存储介质 - Google Patents
一种快速动画图像生成方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN114549703B CN114549703B CN202210084592.4A CN202210084592A CN114549703B CN 114549703 B CN114549703 B CN 114549703B CN 202210084592 A CN202210084592 A CN 202210084592A CN 114549703 B CN114549703 B CN 114549703B
- Authority
- CN
- China
- Prior art keywords
- region
- clustering
- regions
- areas
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000002349 favourable effect Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 48
- 238000013507 mapping Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 11
- 238000002372 labelling Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种快速动画图像生成方法、系统、装置及存储介质,其中方法包括:通过对图像进行固定方块分割,生成矩形超像素;计算超像素颜色均值与方差将每一个矩形超像素与其邻接超像素进行相似度比较,将相似的超像素合并;计算各个区域的各种特征;使用分段平坦嵌入,将区域集映射到新的更利于聚类的空间中,通过设置区域数限制,使用聚类算法合并相似区域以得到不同的结果;最后将区域内像素颜色值均值化就得到原图的动画化图像。本发明使用非监督型的算法避免了需要大量精细标注进行训练的要求,而使用超像素的方式能够极大地降低计算复杂度;通过密度聚类的方式获得聚类簇,提升了图像分割的效果。本发明可广泛应用于图像处理领域。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种快速动画图像生成方法、系统、装置及存储介质。
背景技术
随着现代信息科学技术和互联网应用的不断发展进步,移动设备与应用对图像处理方面提出了越来越多的要求,如移动设备相机拍照中各种滤镜,智能汽车中自动驾驶对图像视野中物体的实时识别与分割,自动生成视频通话中人物动画形象以保护隐私等。而且随着短视频应用的普及,移动端应用对于图像生成提出了越来越多样的要求。因此,一种来基于图像的自动动画生成算法不仅能够满足网络滤镜的多样化要求,而且能运用于各种实物动画化上,保护隐私,应用前景广泛。
从图像生成的基本概念框架来看,动画图片生成算法有多种实现形式,目前比较多的是使用深度学习进行图像生成。通过大量的精细标注图片对网络进行训练,然后运用于现实场景中图像或者视频中。还有就是使用彩色图像分割的方式,对图像进行分割,辅以一定的后处理生成动画化的图片,但是深度学习需要大量的精细标注图像组成训练集,这在一般的任务中容易获得,但是像动画向这种应用中,精细标注的获取很困难而且相对主观。而使用传统彩色图像分割的方式虽然不需要标记图像,但像P.Arbelaez等人的gPb算法,J.H.Syu等人的ICM算法计算速度都相对较慢,无法实现实时化。而像Chaowei Fang等人的分段平坦嵌入算法虽然分割效果好,但是速度也非常慢,因为需要对所有的像素进行建模。因此。一种能够进行实时动画图像生成的算法具有很大的应用场景。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一,本发明的目的在于提供一种基于超像素与分段平坦嵌入的快速动画图像生成方法、系统、装置及存储介质。
本发明所采用的技术方案是:
一种快速动画图像生成方法,包括以下步骤:
对输入图像进行非对称逆矩阵模式匹配,获得多个矩形,每一个矩形表示一个超像素;
获取每一个矩形的颜色均值与颜色方差作为特征,通过比较超像素四邻域特征,对矩形进行合并,获得多个区域;
计算所述区域的区域内特征和区域间特征,根据区域内特征和区域间特征获取距离矩阵;
根据距离矩阵计算相似度矩阵,利用相似度矩阵计算分段平坦嵌入,将各区域在原空间中的表示X映射到更加利于聚类的空间Y;得到新的分段平坦嵌入之后,通过聚类算法对区域集进行聚类,将相似度比较高的区域合并到一起;
根据所述聚类算法,使用迭代的方式,合并区域,更新区域特征,再进行区域合并;通过迭代计算分段平坦嵌入,进行聚类获得多种不同分辨率的聚类结果,根据获得的聚类结果,将每一个聚类簇中像素的颜色均值赋值该聚类簇中的所有像素点,获得动画化的图像。
进一步地,所述对矩形进行合并,包括:
设置阈值,获取像素个数小于阈值的第一超像素,将所述第一超像素与所述第一超像素的四邻域中最相似的超像素进行合并。
进一步地,所述区域内特征包括纹理特征和区域颜色均值,所述区域间特征为区域之间的大小差异、区域边缘颜色差异和区域交叉程度;
颜色差异DC:先计算区域内颜色均值,通过计算欧式距离获得各区域间的像素差异DC;
纹理特征DT:通过图像纹理计算方式计算区域内的纹理特征,使用欧氏距离计算各区域间的纹理差异DT;
相邻边缘颜色差异DB:根据两个区域相交边缘上的颜色均值计算边缘颜色差异DB;
区域交叉程度Sij:对于一个在区域Ri上的点p,统计这个点周围m×m区域内最常见的区域编号作为Iip,如果Iip=j,说明这个点被区域Rj的像素点包围,如果Ijq=i,表示区域j上点q,被区域i的点包围,基于Iip与Ijq,定义两个区域之间的交叉程度为:
如果区域Ri和区域Rj的交叉程度越大,两者的相似性就越高;
区域间大小差异DN:如果两个区域之间有很小的区域,那么两个区域应趋向于合并,定义两者区域间大小:
式中,表示区域Ri的像素数,/>表示区域Rj的像素数,t用于调节两个区域像素数的数量级;
所述距离矩阵的表达式为:
其中,β,γ,η为三个可调参数。
进一步地,所述相似度矩阵通过以下方式计算获得:
式中,ρ为一个可调节参数,用于调节相似度矩阵的大小;。
进一步地,所述分段平坦嵌入定义为:
其中,W={wij}为对称相似度矩阵,Yi为各个点在新空间中的向量;D为对焦权重矩阵,Dii=∑jWji,给定区域集X={x1,x2…,xn},分段平坦嵌入将区域集X嵌入到一个新的空间中,得到新的区域集表示Y,这个空间使得嵌入区域集Y更稀疏,这样相似度比较大的区域或者像素在新的空间的距离就会被拉近,而相似度比较低的区域或者像素在新的空间的距离相对地就会被拉远。
进一步地,新的空间的维度设置为16维。
进一步地,所述对输入图像进行非对称逆矩阵模式匹配这一步骤中,匹配模式设置为像素颜色均值小于并且方差小于τ的最大矩形;其中/>与τ为可调参数。
本发明所采用的另一技术方案是:
一种快速动画图像生成系统,包括:
匹配分割模块,用于对输入图像进行非对称逆矩阵模式匹配,获得多个矩形,每一个矩形表示一个超像素;
矩形合并模块,用于获取每一个矩形的颜色均值与颜色方差作为特征,通过比较超像素四邻域特征,对矩形进行合并,获得多个区域;
距离计算模块,用于计算所述区域的区域内特征和区域间特征,根据区域内特征和区域间特征获取距离矩阵;
映射聚类模块,用于根据距离矩阵计算相似度矩阵,利用相似度矩阵计算分段平坦嵌入,将各区域在原空间中的表示X映射到更加利于聚类的空间Y;得到新的分段平坦嵌入之后,通过聚类算法对区域集进行聚类,将相似度比较高的区域合并到一起;
迭代合并模块,用于根据所述聚类算法,使用迭代的方式,合并区域,更新区域特征,再进行区域合并;通过迭代计算分段平坦嵌入,进行聚类获得多种不同分辨率的聚类结果,根据获得的聚类结果,将每一个聚类簇中像素的颜色均值赋值该聚类簇中的所有像素点,获得动画化的图像。
本发明所采用的另一技术方案是:
一种快速动画图像生成装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是:
一种计算机可读存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是:本发明通过分段平坦嵌入的方式,进一步聚合了各个相似的区域,并通过密度聚类的方式获得聚类簇,同时提升了图像分割的效果,保证了动画化的质量。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案,下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员而言,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种快速动画图像生成方法的工作流程图;
图2是本发明实施例中输入图像进行超像素分割的流程图;
图3是本发明实施例中差分合并的流程图;
图4是本发明实施例中使用分段平坦嵌入进行聚类流程图;
图5是本发明实施例中输入图像的示意图;
图6是本发明实施例中获得超像素的示意图;
图7是本发明实施例中对超像素进行合并获得区域的示意图;
图8是本发明实施例中进行多次聚类得到的不同区域数的第一动画化图像;
图9是本发明实施例中进行多次聚类得到的不同区域数的第二动画化图像;
图10是本发明实施例中进行多次聚类得到的不同区域数的第三动画化图像。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示,本实施例提供一种基于超像素和密度聚类的快速图像动画化方法,包括如下步骤:
S1、对输入图像进行非对称逆矩阵模式匹配以得到分割矩形,即以网格扫描的方式获得符合匹配模式的矩形,这样就得到图像的初步超像素。
本实例使用BSDS500数据集中大小为321*481标准彩色图像作为测试用例,如图5所示。示例性地,如图2所示,步骤S1具体为:获得输入图像后,对输入图像进行网格扫描,将扫描到的像素点作为矩形的左上角,往对角线方向增大矩形,判断矩形是否满足匹配模式,若满足,继续增大矩形;若不满足,将这个矩形作为一个超像素;如图6所示,每一个矩形表示一个超像素。获得一个超像素后,继续对输入图像进行网格扫描,直到扫描完输入图像中所有的像素点,获得图像的初步超像素。
其中,在步骤S1中,匹配模式设置为像素颜色均值小于并且方差小于τ的最大矩形。其中/>与τ为可调参数。
S2。计算每一个矩形的颜色均值与颜色方差作为特征,通过比较超像素四邻域特征,将相似矩形进行合并。
在本实施例中,如图3所示,采用差分合并方式进行合并,具体为:首先设置一个阈值δth,将每一个像素数小于阈值δth的超像素与它四邻域中最相似的超像素进行合并。对于区域合并可以使用并查集的算法降低复杂度。图7即为使用差分合并以后得到的区域,相比于原始矩形超像素,区域的个数极大的降低了。
S3、区域特征计算:这里区域特征分为区域内特征与区域间特征,区域内特征包括纹理与区域颜色均值,区域间特征分为区域之间的大小差异,区域边缘颜色差异与区域交叉程度。
颜色差异DC:首先计算区域内颜色均值,通过计算欧式距离获得各区域间的像素差异DC。
纹理特征DT:通过图像纹理计算方式计算区域内的纹理特征,同样使用欧氏距离计算纹理差异DT。
相邻边缘颜色差异DB:计算两个区域相交边缘上的颜色均值以计算边缘颜色差异DB。
区域交叉程度Sij:对于一个在区域Ri上的点p,统计这个点周围m×m区域内最常见的区域编号作为Iip,如果Iip=j,说明这个点被Rj区域的像素点包围,同理如果Ijq=i,表示区域j上点q,被区域i的点包围,基于Iip与Ijq,定义两个区域之间的交叉程度为:
这样如果两个区域的交叉程度越大,两者的相似性就越高。
区域间大小差异DN:如果两个区域之间如果有很小的区域,那么两个区域应趋向于合并,定义两者区域间大小:
最后综合差异:
β,γ,η为三个可调参数。
S4、通过计算得到的距离矩阵,计算相似度矩阵。如图4所示,获得相似度矩阵以后不断地利用相似度矩阵计算分段平坦嵌入,将各区域在原空间中的表示X映射到更加利于聚类的空间Y。其中,分段平坦嵌入是原数据点基于稀疏信号恢复的多维非线性嵌入方法获得的在新空间中映射,在这个新的空间中,原数据点的嵌入更加稀疏,更加有利于聚类。
其中相似度矩阵的计算公式如下:
分段平坦嵌入定义为:
其中W={wij}为对称相似度矩阵,Yi为各个点在新空间中的向量。D为对焦权重矩阵,Dii=∑jWji,给定上述区域集,X={x1,x2…,xn},分段平坦嵌入将区域集X嵌入到一个新的空间中,得到新的区域集表示Y,这个空间使得嵌入区域集Y更稀疏,这样相似度比较大的区域或者像素在新的空间的距离就会被拉近,而相似度比较低的区域或者像素在新的空间的距离相对地就会被拉远。在后面使用分段平坦嵌入后更有利于后面聚类算法的聚类。
得到新的嵌入以后通过聚类算法对区域集进行聚类,将相似度比较高的区域合并到一起。
S5、根据上述步骤S4聚类算法,使用迭代的方式,合并区域,更新区域特征,然后再进行区域合并。通过迭代计算分段平坦嵌入,然后进行聚类可以获得多种不同分辨率的聚类结果,最后对获得的聚类结果将每一个聚类簇中像素的颜色均值赋值该聚类簇中的所有像素点,就可以得到动画化的图像。
图8、图9和图10为进行多次聚类得到的不同区域数的动画化图像。通过设置区域数的阈值,可以得到不同的输出结果。
综上所述,本实施例方法相对于现有技术,具有如下有益:
(1)本实施例通过使用非深度学习的非监督型算法,避免了监督型算法需要大量精细标注用以训练的缺点,而使用传统视觉算法免去了标注与模型训练过程,只需要调整少量参数就能匹配不同类型图像。
(2)本实施例通过分段平坦嵌入的方式,进一步聚合了各个相似的区域,并通过密度聚类的方式获得聚类簇,同时提升了图像分割的效果,保证了动画化的质量。
(3)本实施例方法通过超像素的方式很好地解决了非监督型传统视觉算法时间复杂度高,不能满足实时性要求的问题。
本实施例还提供一种快速动画图像生成系统,包括:
匹配分割模块,用于对输入图像进行非对称逆矩阵模式匹配,获得多个矩形,每一个矩形表示一个超像素;
矩形合并模块,用于获取每一个矩形的颜色均值与颜色方差作为特征,通过比较超像素四邻域特征,对矩形进行合并,获得多个区域;
距离计算模块,用于计算所述区域的区域内特征和区域间特征,根据区域内特征和区域间特征获取距离矩阵;
映射聚类模块,用于根据距离矩阵计算相似度矩阵,利用相似度矩阵计算分段平坦嵌入,将各区域在原空间中的表示X映射到更加利于聚类的空间Y;得到新的分段平坦嵌入之后,通过聚类算法对区域集进行聚类,将相似度比较高的区域合并到一起;
迭代合并模块,用于根据所述聚类算法,使用迭代的方式,合并区域,更新区域特征,再进行区域合并;通过迭代计算分段平坦嵌入,进行聚类获得多种不同分辨率的聚类结果,根据获得的聚类结果,将每一个聚类簇中像素的颜色均值赋值该聚类簇中的所有像素点,获得动画化的图像。
本实施例的一种快速动画图像生成系统,可执行本发明方法实施例所提供的一种快速动画图像生成方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
本实施例还提供一种快速动画图像生成装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现图1所示方法。
本实施例的一种快速动画图像生成装置,可执行本发明方法实施例所提供的一种快速动画图像生成方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质,存储有可执行本发明方法实施例所提供的一种快速动画图像生成方法的指令或程序,当运行该指令或程序时,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的上述描述中,参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于上述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (7)
1.一种快速动画图像生成方法,其特征在于,包括以下步骤:
对输入图像进行非对称逆矩阵模式匹配,获得多个矩形,每一个矩形表示一个超像素;获取每一个矩形的颜色均值与颜色方差作为特征,通过比较超像素四邻域特征,对矩形进行合并,获得多个区域;
计算所述区域的区域内特征和区域间特征,根据区域内特征和区域间特征获取距离矩阵;根据距离矩阵计算相似度矩阵,利用相似度矩阵计算分段平坦嵌入,将各区域在原空间中的表示X映射到更加利于聚类的空间Y;得到新的分段平坦嵌入之后,通过聚类算法对区域集进行聚类,将相似度比较高的区域合并到一起;
根据所述聚类算法,使用迭代的方式,合并区域,更新区域特征,再进行区域合并;通过迭代计算分段平坦嵌入,进行聚类获得多种不同分辨率的聚类结果,根据获得的聚类结果,将每一个聚类簇中像素的颜色均值赋值该聚类簇中的所有像素点,获得动画化的图像;
所述区域内特征包括纹理特征和区域颜色均值,所述区域间特征为区域之间的大小差异、边缘颜色差异和区域交叉程度;
颜色差异Dc:先计算区域内颜色均值,通过计算欧式距离获得各区域间的颜色差异Dc;纹理特征DT:通过图像纹理计算方式计算区域内的纹理特征,使用欧氏距离计算各区域间的纹理特征DT;
边缘颜色差异DB:根据两个区域相交边缘上的颜色均值计算边缘颜色差异DB;
区域交叉程度Sij:对于一个在区域Ri上的点p,统计这个点周围m×m区域内最常见的区域编号作为Iip,如果Iip=j,说明这个点被区域Rj的像素点包围,如果Ijq=i,表示区域Rj上点q,被区域Ri的点包围,基于Iip与Ijq,定义两个区域之间的交叉程度为:
如果区域Ri和区域Rj的交叉程度越大,两者的相似性就越高;
区域间大小差异DN:如果两个区域之间有很小的区域,那么两个区域应趋向于合并,定义两者区域间大小:
式中,表示区域Ri的像素数,/>表示区域Rj的像素数,t用于调节两个区域像素数的数量级;
所述距离矩阵的表达式为:
其中,β,γ,η为三个可调参数;
所述相似度矩阵通过以下方式计算获得:
式中,ρ为一个可调节参数;
所述分段平坦嵌入定义为:
其中,W={wij}为对称相似度矩阵,Yi为各个点在新空间中的向量;D为对焦权重矩阵,给定区域集x={x1,x2…,xn},分段平坦嵌入将区域集X嵌入到一个新的空间中,得到新的区域集表示Y,这个空间使得嵌入区域集Y更稀疏,这样相似度比较大的区域或者像素在新的空间的距离就会被拉近,而相似度比较低的区域或者像素在新的空间的距离相对地就会被拉远。
2.根据权利要求1所述的一种快速动画图像生成方法,其特征在于,所述对矩形进行合并,包括:
设置阈值,获取像素个数小于阈值的第一超像素,将所述第一超像素与所述第一超像素的四邻域中最相似的超像素进行合并。
3.根据权利要求1所述的一种快速动画图像生成方法,其特征在于,新的空间的维度设置为16维。
4.根据权利要求1所述的一种快速动画图像生成方法,其特征在于,所述对输入图像进行非对称逆矩阵模式匹配这一步骤中,匹配模式设置为像素颜色均值小于并且方差小于τ的最大矩形;其中/>与τ为可调参数。
5.一种快速动画图像生成系统,其特征在于,包括:
匹配分割模块,用于对输入图像进行非对称逆矩阵模式匹配,获得多个矩形,每一个矩形表示一个超像素;
矩形合并模块,用于获取每一个矩形的颜色均值与颜色方差作为特征,通过比较超像素四邻域特征,对矩形进行合并,获得多个区域;
距离计算模块,用于计算所述区域的区域内特征和区域间特征,根据区域内特征和区域间特征获取距离矩阵;
映射聚类模块,用于根据距离矩阵计算相似度矩阵,利用相似度矩阵计算分段平坦嵌入,将各区域在原空间中的表示X映射到更加利于聚类的空间Y;得到新的分段平坦嵌入之后,通过聚类算法对区域集进行聚类,将相似度比较高的区域合并到一起;
迭代合并模块,用于根据所述聚类算法,使用迭代的方式,合并区域,更新区域特征,再进行区域合并;通过迭代计算分段平坦嵌入,进行聚类获得多种不同分辨率的聚类结果,根据获得的聚类结果,将每一个聚类簇中像素的颜色均值赋值该聚类簇中的所有像素点,获得动画化的图像;
所述区域内特征包括纹理特征和区域颜色均值,所述区域间特征为区域之间的大小差异、边缘颜色差异和区域交叉程度;
颜色差异DC:先计算区域内颜色均值,通过计算欧式距离获得各区域间的颜色差异Dc;纹理特征DT:通过图像纹理计算方式计算区域内的纹理特征,使用欧氏距离计算各区域间的纹理特征DT;
边缘颜色差异DB:根据两个区域相交边缘上的颜色均值计算边缘颜色差异DB;
区域交叉程度Sij:对于一个在区域Ri上的点p,统计这个点周围m×m区域内最常见的区域编号作为Iip,如果Iip=j,说明这个点被区域Rj的像素点包围,如果Ijq=i,表示区域Rj上点q,被区域Ri的点包围,基于Iip与Ijq,定义两个区域之间的交叉程度为:
如果区域Ri和区域Rj的交叉程度越大,两者的相似性就越高;
区域间大小差异DN:如果两个区域之间有很小的区域,那么两个区域应趋向于合并,定义两者区域间大小:
式中,表示区域Ri的像素数,/>表示区域Rj的像素数,t用于调节两个区域像素数的数量级;
所述距离矩阵的表达式为:
其中,β,γ,η为三个可调参数;
所述相似度矩阵通过以下方式计算获得:
式中,ρ为一个可调节参数;
所述分段平坦嵌入定义为:
其中,W={wij}为对称相似度矩阵,Yi为各个点在新空间中的向量;D为对焦权重矩阵,给定区域集X={x1,x2…,xn},分段平坦嵌入将区域集X嵌入到一个新的空间中,得到新的区域集表示Y,这个空间使得嵌入区域集Y更稀疏,这样相似度比较大的区域或者像素在新的空间的距离就会被拉近,而相似度比较低的区域或者像素在新的空间的距离相对地就会被拉远。
6.一种快速动画图像生成装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现权利要求1-4任一项所述方法。
7.一种计算机可读存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-4任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210084592.4A CN114549703B (zh) | 2022-01-25 | 2022-01-25 | 一种快速动画图像生成方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210084592.4A CN114549703B (zh) | 2022-01-25 | 2022-01-25 | 一种快速动画图像生成方法、系统、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114549703A CN114549703A (zh) | 2022-05-27 |
CN114549703B true CN114549703B (zh) | 2024-04-12 |
Family
ID=81670748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210084592.4A Active CN114549703B (zh) | 2022-01-25 | 2022-01-25 | 一种快速动画图像生成方法、系统、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549703B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117974649B (zh) * | 2024-03-29 | 2024-05-28 | 深圳市富安娜家居用品股份有限公司 | 一种纺织品颜色可行性智能预测方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113838061A (zh) * | 2021-07-28 | 2021-12-24 | 中科云谷科技有限公司 | 用于图像标注的方法、装置及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008059081A (ja) * | 2006-08-29 | 2008-03-13 | Sony Corp | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム |
-
2022
- 2022-01-25 CN CN202210084592.4A patent/CN114549703B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113838061A (zh) * | 2021-07-28 | 2021-12-24 | 中科云谷科技有限公司 | 用于图像标注的方法、装置及存储介质 |
Non-Patent Citations (2)
Title |
---|
基于改进L_0梯度的织物沾水区域提取;汪亚明;童朝凯;韩永华;;丝绸;20170531;54(第05期);第29-35页 * |
模糊聚类和模糊评判在冷连轧机轧制策略优化中的应用;刘华强;杨荃;唐荻;边海涛;;钢铁研究学报;20080115(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114549703A (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11017586B2 (en) | 3D motion effect from a 2D image | |
CN107945185B (zh) | 基于宽残差金字塔池化网络的图像分割方法及系统 | |
Vaquero et al. | A survey of image retargeting techniques | |
CN112308095A (zh) | 图片预处理及模型训练方法、装置、服务器及存储介质 | |
WO2018082185A1 (zh) | 图像处理方法和装置 | |
CN106934806B (zh) | 一种基于结构清晰度的无参考图失焦模糊区域分割方法 | |
CN108694719B (zh) | 图像输出方法和装置 | |
CN109840491B (zh) | 视频流播放方法、系统、计算机装置及可读存储介质 | |
Kiess et al. | Seam carving with improved edge preservation | |
CN111161299B (zh) | 影像分割方法、存储介质及电子装置 | |
CN110147816B (zh) | 一种彩色深度图像的获取方法、设备、计算机存储介质 | |
WO2021013049A1 (zh) | 前景图像获取方法、前景图像获取装置和电子设备 | |
CN110163866A (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
US7724959B2 (en) | Determining regions of interest in photographs and images | |
BR102020027013A2 (pt) | Método para gerar uma imagem multiplano adaptativa a partir de uma única imagem de alta resolução | |
CN106447656B (zh) | 基于图像识别的渲染瑕疵图像检测方法 | |
CN114549703B (zh) | 一种快速动画图像生成方法、系统、装置及存储介质 | |
CN113411582A (zh) | 一种基于活动轮廓的视频编码方法、系统、装置及介质 | |
CN111243051A (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
Wang et al. | Semantic segmentation of high-resolution images | |
CN113506305B (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
CN108520496B (zh) | 一种基于光流法的海空背景监控视频图像拼接方法 | |
Afridi et al. | Degraded image enhancement by image dehazing and Directional Filter Banks using Depth Image based Rendering for future free-view 3D-TV | |
CN106056575B (zh) | 一种基于似物性推荐算法的图像匹配方法 | |
CN110322479B (zh) | 一种基于时空显著性的双核kcf目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |