CN111028145B - 一种防止背景变形的人物图像处理方法 - Google Patents

一种防止背景变形的人物图像处理方法 Download PDF

Info

Publication number
CN111028145B
CN111028145B CN201911254829.3A CN201911254829A CN111028145B CN 111028145 B CN111028145 B CN 111028145B CN 201911254829 A CN201911254829 A CN 201911254829A CN 111028145 B CN111028145 B CN 111028145B
Authority
CN
China
Prior art keywords
image
mask
steps
gradient
pyramid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911254829.3A
Other languages
English (en)
Other versions
CN111028145A (zh
Inventor
黄亮
徐滢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Pinguo Technology Co Ltd
Original Assignee
Chengdu Pinguo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Pinguo Technology Co Ltd filed Critical Chengdu Pinguo Technology Co Ltd
Priority to CN201911254829.3A priority Critical patent/CN111028145B/zh
Publication of CN111028145A publication Critical patent/CN111028145A/zh
Application granted granted Critical
Publication of CN111028145B publication Critical patent/CN111028145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/053Detail-in-context presentations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种防止背景变形的人物图像处理方法,包括以下步骤:1、分割人物图像原图得到原图蒙版图;2、对上述两者进行变形得到原图变形图和原图蒙版变形图;3、对人物图像原图逐层滤波并生成蒙版图得到图像金字塔;对蒙版图进行扩张和距离变换;4、计算未知区域梯度并进行SVD分解;5、从金字塔顶层开始顺序进行近邻搜索、十字形搜索和带限制的随机搜索得到最佳匹配块位置;6、用每个未知像素位置的最佳匹配块位置对其进行填充;7、重复步骤5和6,更新后的金字塔底层即为填充结果图;8、将原图变形图、原图蒙版变形图和填充结果图合成得到背景未变形的人物图像。本发明在对人物图像进行瘦身的同时还能保持图像背景的自然。

Description

一种防止背景变形的人物图像处理方法
技术领域
本发明属于图像处理技术,尤其涉及一种防止背景变形的人物图像处理方法。
背景技术
人们希望自己在社交网络上可以呈现美丽且独具个性的形象,总希望自己的照片比现实中的自己更美丽。人像美化已经成为修图类应用的标配功能,但目前的修图应用主要以人像皮肤美化为主,能对人物图像进行瘦身的应用并不多,瘦身后的效果也不尽如人意。
在对图像未知像素位置进行搜索时,Patch-Match算法是被广泛应用的一种算法,该算法利用图片中的其他区域来恢复边缘未知区域。但该算法容易造成图像空间结构的紊乱,造成图像的扭曲、变形,对于人像图像这种待填充面积大、可利用信息少的图像尤其如此。出现“天空被填充到脚底”、“瘦身的地方拉扯到背景”的现象。
在对图像进行填充,计算其填充像素值时,使用距离变换的结果进行加权。在未知区域较大的应用中,这种方式会使得在未知区域中心的距离权重很小并且其周围相当一部分位置的距离权重都很小以至于失去了区分度,导致距离大的区域的距离加权变得没有意义。
发明内容
鉴于上述问题,本发明提供了一种防止背景变形的人物图像处理方法,该方法能在对人物图像进行瘦身的同时,还能保持图像背景的自然。
为完成发明目的,本发明采用的技术方案是:
一种防止背景变形的人物图像处理方法,包括以下步骤:
步骤1:获得人物图像原图,对所述人物图像原图进行分割处理,得到原图蒙版图;
步骤2:对所述人物图像原图和所述原图蒙版图进行变形瘦身处理,得到原图变形图和原图蒙版变形图;
步骤3:对所述人物图像原图进行逐层滤波,并生成对应的蒙版图,得到图像金字塔;对每层蒙版图进行扩张操作,并对所得扩张的结果进行距离变换;
步骤4:计算扩张后的未知区域的梯度,然后对所述扩张后的未知区域的每个位置,在半径Rsvd范围内对梯度进行SVD分解,得到代表当前位置梯度主方向的值、代表当前位置梯度主方向的垂直方向的值和反映所述梯度主方向的显著程度的值;
步骤5:从金字塔顶层开始,对扩张后的未知区域的每个未知像素位置顺序进行近邻搜索、十字形搜索和带限制的随机搜索,得到其最佳匹配块位置;
步骤6:对所述每个未知像素位置用其邻域范围内的所述最佳匹配块位置进行像素填充;
步骤7:重复所述步骤5和所述步骤6,直到所述步骤5的搜索结果不再改变或重复次数达到至少4次,得到更新后的图像金字塔,此时,金字塔的底层为填充结果图;
步骤8:将所述原图变形图、所述原图蒙版变形图和所述填充结果图进行合成,得到背景未变形的人物图像。
进一步的,所述步骤1:获得人物图像原图,其获得方法为利用移动设备进行自拍或从相册中选取一张自拍照。
进一步的,所述步骤2:对所述人物图像原图和所述原图蒙版图进行变形瘦身处理,其方法是:通过用户选中某个区域,推动所述区域到想要的区域,实现局部的瘦身变形;或自动利用人体骨骼点检测算法检测出人像的骨骼关键点,然后在固定意义的点附近进行变形推动,实现局部的瘦身变形。
进一步的,所述步骤3包括以下步骤:
步骤a1:设人物图像原图为I,设原图蒙版图为M;
步骤a2:对Ik进行滤波得到Ik+1,并且生成对应的蒙版图Mk+1,得到图像金字塔;k为金字塔层序号,k={0,1,2,…};特别地,金字塔底层I0=I,M0=M;当金字塔某层的蒙版全为0时,停止下采样,设此时的金字塔层序号为n_level-1,n_level为图像金字塔总层数;
步骤a3:以Rdilate=2为半径对蒙版Mk进行形态学膨胀操作得到扩张后的Mk_expand,对Mk_expand进行距离变换得到结果Dk,k={0,1,2,…,n_level-1};
进一步的,所述步骤a2中所述对Ik进行滤波得到Ik+1,并且生成对应的蒙版图Mk+1,其方法为:
Figure BDA0002309931970000031
Figure BDA0002309931970000032
其中Ik+1(x,y)表示图像Ik+1在坐标(x,y)处的值,Mk+1(x,y)表示蒙版Mk+1在坐标(x,y)处的值;i,j为其定义范围内的任意值,且不具备具体意义;
wnorm(x,y)为归一化因子,其计算方式为:
Figure BDA0002309931970000033
wi,j为高斯核,其定义为:
Figure BDA0002309931970000041
i,j∈[-2,2],σ=1.06
wtotal为所有wi,j的和,其计算方式为:
Figure BDA0002309931970000042
进一步的,所述的步骤4中所述的得到代表当前位置梯度主方向的值、代表当前位置梯度主方向的垂直方向的值和反映所述梯度主方向的显著程度的值,包括两个特征值λ12以及特征向量υ12;υ1代表着当前位置梯度的主方向,υ2代表着当前位置梯度主方向的垂直方向,
Figure BDA0002309931970000043
反映了梯度主方向的显著程度;
进一步的,所述的步骤5中所述的近邻搜索,其方法为:
对于当前未知像素位置(x,y),设其最佳匹配块位置为vx,y,对应误差为errx,y;vx,y为二维向量,当k=n_level-1时,vx,y的初始值采用随机的方式分配;当k≠0且k≠n_level-1时,将上一层的搜索结果进行上采样,作为k-1层的初始化;分别计算所述当前未知像素位置与位于vx-1,y+(1,0)、vx,y-1+(0,1)、vx+1,y+(-1,0)、vx,y+1+(0,-1)的块匹配误差,若误差比errx,y小,则更新errx,y与vx,y;重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化。
进一步的,所述的步骤5中所述的十字形搜索,其方法为:
将所述近邻搜索所得结果作为当前未知像素位置(x,y),依次计算所述当前未知像素位置与位于vx,y+(-1,0)、vx,y+(0,-1)、vx,y+(0,1)、vx,y+(1,0)的块匹配误差,若误差比errx,y小,则更新errx,y与vx,y;重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化。
进一步的,所述的步骤5中所述的带限制的随机搜索,其方法为:
将所述十字形搜索所得结果作为当前未知像素位置(x,y),分别计算所述当前未知像素位置与位于μx,y=vx,y+wαiRx,y,wαiRx,y≠(0,0)的块匹配误差,若误差比errx,y小,则更新errx,y与vx,y;重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化;
其中Rx,y为二维随机变量,取值范围为[-1,1]x[-1,1];w∈[8,28];α=0.5;i依次取n,n-1,…,2,1,且n满足条件:wαn≥1且wαn+1<1;特别地,对于扩张的未知区域中梯度主方向的显著程度满足
Figure BDA0002309931970000051
的未知像素位置,Rx,y=υ2
进一步的,所述的块匹配误差,其计算方式如下:
图像块Patchx,y定义为以(x,y)为中心,半径为rx,y的正方形区域且
Figure BDA0002309931970000052
明显地,图像块Patchx,y的像素个数为(2rx,y+1)2
块Patchx,y与块
Figure BDA0002309931970000053
之间的误差计算方式为:
Figure BDA0002309931970000054
其中
Figure BDA0002309931970000055
为单个像素的误差,其计算方法为:
Figure BDA0002309931970000056
rx,y为每个位置的块半径,其设置方法为:
Figure BDA0002309931970000057
进一步的,所述的步骤6:对所述每个未知像素位置用其邻域范围内的所述最佳匹配块位置进行像素填充,其方法为:
对于Ik中的每个未知像素位置(x,y),在半径rfill=2的邻域范围内计算其填充像素值I′k(x,y):
Figure BDA0002309931970000061
其中,weightx+i,y+j
Figure BDA0002309931970000062
的权重,其计算方式为:
Figure BDA0002309931970000063
其中,σ2为,其计算方式为:
Figure BDA0002309931970000064
本发明与现有的技术相比,其有益的特点是:
1、采用逐步收缩蒙版未知区域的方式生成图像金字塔,从而能够在金字塔顶层形成足够多的已知像素作为填充候选像素;
2、用SVD分解确定一定范围的块的整体走向以及走向的确定程度,比直接用梯度进行结构的判定更加准确,可以减小噪声的干扰;
3、块之间的误差计算有利于搜索算法对未知区域的位置进行惩罚,使搜索结果倾向于更多地利用已知区域。
4、块匹配误差计算时,不同位置块采用不同的半径来计算,在结构比较明显的地方采用较大的半径,能使搜索结果倾向于保持结构一致性,尤其是方向一致的线条类结构如远去的铁轨、笔直的旗杆等。
5、限制随机搜索的范围在局部,以保证空间结构自然扩展,防止出现超长范围匹配。在搜索过程中,按照i递减的方式进行,这样能优先搜索当前最匹配的块位置的附近区域,加快收敛速度。
6、十字形搜索和带限制的随机搜索能加快收敛速度,使搜索过程提前搜索到最优位置,并且限制梯度主方向显著的位置的搜索方向,能更好地保持结构一致性。
7、在对图像进行填充时,用相对距离Dk(x+i,y+j)-Dk(x,y)来区分不同位置的权重,使得未知区域中心及其周围相当一部分位置具有更高的区分度。
附图说明
图1是本发明方法的流程图
图2是一个实施例中的人物图像原图;
图3是一个实施例中的原图蒙板图;
图4是一个实施例中的原图变形图;
图5是一个实施例中的原图蒙版变形图;
图6是一个实施例中的填充结果图;
图7是一个实施例中的背景未变形的人物图像。
具体实施方式
一种防止背景变形的人物图像处理方法,该方法包括以下步骤:
步骤1:获得人物图像原图,如图2所示,对所述人物图像原图进行分割处理,得到原图蒙版图,如图3所示;
其中,获得人物图像原图的方法有很多,可以是利用带有摄像功能的移动设备进行自拍,也可以是从存储介质中获得一张自拍图像。本发明对获得人物图像原图的方法不作限制。
原图蒙板图人为单通道二值灰度图,在此设原图蒙板图为M,则M=1的部分为人像区域,M=0的区域表示背景区域。
步骤2:对所述人物图像原图和所述原图蒙版图进行变形瘦身处理,得到原图变形图(如图4所示)和原图蒙版变形图(如图5所示);
图像变形的算法有很多,如移动最小二乘图像变形方法和液化算法。本实施例中采用的是液化算法。上述瘦身处理既可以通过手动液化也可以通过自动液化对人像进行变形瘦身。
其中,手动液化是指用户通过手指选中某个区域(如腰部、腿部等),然后推动到想要的区域实现局部的瘦身;自动液化是指利用人体骨骼点检测算法先检测出人像的骨骼关键点,然后在固定意义的点附近进行液化推动(如在腰部,从腰部骨骼点两侧往中间液化达到瘦腰的目的)。
步骤3:对所述人物图像原图进行逐层滤波,并生成对应的蒙版图,得到图像金字塔;对每层蒙版图进行扩张操作,并对所得扩张的结果进行距离变换;
进一步的,步骤3的实施包括以下步骤:
步骤a1:设人物图像原图为I,设原图蒙版图为M;
步骤a2:对Ik进行滤波得到Ik+1,并且生成对应的蒙版图Mk+1,得到图像金字塔;k为金字塔层序号,k={0,1,2,…};特别地,金字塔底层I0=I,M0=M;当金字塔某层的蒙版全为0时,停止下采样,设此时的金字塔层序号为n_level-1,n_level为图像金字塔总层数;
其中,对Ik进行滤波得到Ik+1,并且生成对应的蒙版图Mk+1,其方法为:
Figure BDA0002309931970000081
Figure BDA0002309931970000082
Ik+1(x,y)表示图像Ik+1在坐标(x,y)处的值,Mk+1(x,y)表示蒙版Mk+1在坐标(x,y)处的值;i,j为其定义范围内的任意值,且不具备具体意义;
wnorm(x,y)为归一化因子,其计算方式为:
Figure BDA0002309931970000083
wi,j为高斯核,其定义为:
Figure BDA0002309931970000091
i,j∈[-2,2],σ=1.06
wtotal为所有wi,j的和,其计算方式为:
Figure BDA0002309931970000092
式中i,j为其定义范围内的任意值,且不具备具体意义。
这种金字塔生成方式能逐步收缩蒙版未知区域,在金字塔最顶层能形成足够的已知像素作为填充候选像素。避免了采用常见金字塔生成方式时因人像自拍照大多主体较大而产生的顶层已知像素不足的问题。
步骤a3:以Rdilate=2为半径对蒙版Mk进行形态学膨胀操作得到扩张后的Mk_expand,对Mk_expand进行距离变换得到结果Dk,k={0,1,2,…,n_level-1};
其中,对蒙版Mk进行扩张是为了扩大后续步骤中块搜索算法的搜索范围,保证未知区域边界也有足够的信息进行填充。距离变换可作为填充算法的辅助信息,使得填充算法能优先考虑靠近未知区域边界的位置。距离变换的结果Dk代表了进行距离变换的每个位置与距离其最近的零点的距离。
步骤4:计算扩张后的未知区域的梯度,然后对所述扩张后的未知区域的每个位置,在半径Rsvd范围内对梯度进行SVD分解,得到代表当前位置梯度主方向的值、代表当前位置梯度主方向的垂直方向的值和反映所述梯度主方向的显著程度的值,包括两个特征值λ12以及特征向量υ12;υ1代表着当前位置梯度的主方向,υ2代表着当前位置梯度主方向的垂直方向,
Figure BDA0002309931970000093
反映了梯度主方向的显著程度;
其中,梯度的计算方法有很多,本实施例中采用sobel算子。扩张的未知区域即指Mk_expand=1∩Mk=0的区域。
用SVD分解梯度来确定一定范围的块的整体走向以及走向的确定程度的方法,比直接用梯度进行结构的判定更加准确,并且可以减小噪声的干扰,是更鲁棒的方法。本方法中,在考虑SVD分解的范围半径Rsvd时,更大的半径有利于保持图像结构性,考虑到计算效率,建议取值4、8、16、32等,本实施例中取值16。
步骤5:从金字塔顶层开始,对扩张后的未知区域的每个未知像素位置顺序进行近邻搜索、十字形搜索和带限制的随机搜索,得到其最佳匹配块位置;
其中,扩张后的未知区域的每个未知像素位置即是Mk_expand=1的位置。
上述步骤中所述的近邻搜索的方法为:
对于当前未知像素位置(x,y),设其最佳匹配块位置为vx,y,对应误差为errx,y;vx,y为二维向量,当k=n_level-1时,vx,y的初始值采用随机的方式分配;当k≠0且k≠n_level-1时,将上一层的搜索结果进行上采样(本实施例中的采样方法为将搜索结果乘以2倍),作为k-1层的初始化;分别计算当前未知像素位置与位于vx-1,y+(1,0)、vx,y-1+(0,1)、vx+1,y+(-1,0)、vx,y+1+(0,-1)的块匹配误差,若误差比errx,y小,则更新errx,y与vx,y;重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化。
然后进行十字形搜索,其方法为:
将近邻搜索所得结果作为当前未知像素位置(x,y),依次计算当前未知像素位置与位于vx,y+(-1,0)、vx,y+(0,-1)、vx,y+(0,1)、vx,y+(1,0)的块匹配误差,若误差比errx,y小,则更新errx,y与vx,y;重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化。
然后进行带限制的随机搜索,其方法为:
将十字形搜索所得结果作为当前未知像素位置(x,y),分别计算当前未知像素位置与位于μx,y=vx,y+wαiRx,y,wαiRx,y≠(0,0)的块匹配误差,若误差比errx,y小,则更新errx,y与vx,y;重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化;
其中Rx,y为二维随机变量,取值范围为[-1,1]x[-1,1];
在对人像自拍这种待填充面积大、可利用信息少的图像进行搜索时,尤其容易出现“天空被填充到脚底”这种超长范围匹配,造成空间结构的紊乱。本方法将搜索范围限制在局部,以保证空间结构自然扩展,防止出现超长范围匹配,即限制w∈[8,28];
α为衰减系数,本申请中α=0.5;
i按照递减的方式依次取n,n-1,…,2,1,且n满足条件:wαn≥1且wαn+1<1;这样能优先搜索当前最匹配的块位置的附近区域,加快收敛速度。
特别地,对于扩张的未知区域中梯度主方向的显著程度满足
Figure BDA0002309931970000111
的未知像素位置,Rx,y=υ2
以上步骤中,一个位于(x,y)的图像块Patchx,y定义为以(x,y)为中心,半径为rx,y的正方形区域且
Figure BDA0002309931970000112
明显地,图像块的像素个数为(2rx,y+1)2。块Patchx,y与块
Figure BDA0002309931970000113
之间的误差计算方式为:
Figure BDA0002309931970000114
其中
Figure BDA0002309931970000115
为单个像素的误差,其计算方法为:
Figure BDA0002309931970000116
该误差计算方式相当于对于未知区域(Mk=1的区域)的像素进行惩罚,使搜索结果倾向于更多地利用已知区域,而这点正是图像填充应用的关键所在。且本发明中每个位置的块半径(rx,y)不同,半径大的块更强调结构的一致性(如明显的分界、直线等)。rx,y的设置根据梯度主方向的显著程度进行设置,即:
Figure BDA0002309931970000121
以上步骤中设置三种搜索的目的是为了加快收敛速度,使搜索过程提前搜索到最优位置,并且限制梯度主方向显著的位置的搜索方向,能更好地保持结构一致性。
步骤6:对所述每个未知像素位置用其邻域范围内的所述最佳匹配块位置进行像素填充;
上述步骤的具体方法为:
对于Ik中的每个未知像素位置(x,y)(即Mk为1的位置),用其邻域范围内的最佳匹配块对当前位置进行像素填充,即在半径rfill=2的邻域范围内计算其填充像素值I′k(x,y):
Figure BDA0002309931970000122
其中,weightx+i,y+j
Figure BDA0002309931970000123
的权重,为了保持未知区域边界附近的结构,离未知区域边界越近的位置的重要性越大,所以结合距离变换结果后,权重的计算方式为:
Figure BDA0002309931970000124
其中,σ2为方差,其计算方式为:
Figure BDA0002309931970000125
在对图像进行填充时,用相对距离Dk(x+i,y+j)-Dk(x,y)来区分不同位置的权重能使得未知区域中心及其周围相当一部分位置具有更高的区分度。
其中,相对距离Dk(x+i,y+j)-Dk(x,y)表示:当Dk(x+i,y+j)大于Dk(x,y)时,计算出的权重
Figure BDA0002309931970000131
小于1;当Dk(x+i,y+j)小于Dk(x,y)时,计算出的权重
Figure BDA0002309931970000132
大于1。/>
Figure BDA0002309931970000133
的单调性与Dk(x+i,y+j)-Dk(x,y)相关,而非与Dk(x,y)相关。
步骤7:重复步骤5和步骤6,直到步骤5的搜索结果不再改变或重复次数达到至少4次,得到更新后的图像金字塔,此时,金字塔的底层为填充结果图(如图6所示);
此步骤是为了完成对所有未知位置的像素值进行填充计算,并用填充后的每层图像(即Ik)更新原图像金字塔中的对应图像层,得到更新后的图像金字塔,填充过程完毕。
步骤8:将原图变形图、原图蒙版变形图和填充结果图进行合成,得到背景未变形的人物图像(如图7所示)。
本实施例中,采用alpha混合的方式将上述图像叠加在一起,其具体方式如下:设背景未变形的人物图像为Ires;原图变形图为Iwarp;原图蒙版变形图为Mwarp;填充结果图为Ifill
则:Ires=IwarpMwarp+Ifill(1-Mwarp)。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种防止背景变形的人物图像处理方法,其特征在于,包括以下步骤:
步骤1:获得人物图像原图,对所述人物图像原图进行分割处理,得到原图蒙版图;
步骤2:对所述人物图像原图和所述原图蒙版图进行变形瘦身处理,得到原图变形图和原图蒙版变形图;
步骤3:对所述人物图像原图进行逐层滤波,并生成对应的蒙版图,得到图像金字塔;对每层蒙版图进行扩张操作,并对所得扩张的结果进行距离变换;
步骤4:计算扩张后的未知区域的梯度,然后对所述扩张后的未知区域的每个位置,在半径Rsvd范围内对梯度进行SVD分解,得到代表当前位置梯度主方向的值、代表当前位置梯度主方向的垂直方向的值和反映所述梯度主方向的显著程度的值;
步骤5:从金字塔顶层开始,对所述扩张后的未知区域的每个未知像素位置顺序进行近邻搜索、十字形搜索和带限制的随机搜索,得到其最佳匹配块位置;
步骤6:对所述每个未知像素位置用其邻域范围内的最佳匹配块位置进行像素填充;
步骤7:重复所述步骤5和所述步骤6,直到所述步骤5的搜索结果不再改变或重复次数达到至少4次,得到更新后的图像金字塔,此时,金字塔的底层为填充结果图;
步骤8:将所述原图变形图、所述原图蒙版变形图和所述填充结果图进行合成,得到背景未变形的人物图像;
所述步骤3包括以下步骤:
步骤a1:设人物图像原图为I,设原图蒙版图为M;
步骤a2:对Ik进行滤波得到Ik+1,并且生成对应的蒙版图Mk+1,得到图像金字塔;k为金字塔层序号,k={0,1,2,...};金字塔底层I0=I,M0=M;当金字塔某层的蒙版全为0时,停止下采样,设此时的金字塔层序号为n_level-1,n_level为图像金字塔总层数;
步骤a3:以Rdilate=2为半径对蒙版Mk进行形态学膨胀操作得到扩张后的Mk_expand,对Mk_expand进行距离变换得到Dk,k={0,1,2,...,n_level-1};
所述步骤a2中所述对Ik进行滤波得到Ik+1,并且生成对应的蒙版图Mk+1,其方法为:
Figure FDA0004254681950000021
Figure FDA0004254681950000022
其中Ik+1(x,y)表示图像Ik+1在坐标(x,y)处的值,Mk+1(x,y)表示蒙版Mk+1在坐标(x,y)处的值;i,j为其定义范围内的任意值,且不具备具体意义;
wnorm(x,y)为归一化因子,其计算方式为:
Figure FDA0004254681950000023
wi,j为高斯核,其定义为:
Figure FDA0004254681950000031
wtotal为所有wi,j的和,其计算方式为:
wtotal=∑-2≤i≤2,-2≤j≤2wi,j
2.如权利要求1所述的人物图像处理方法,其特征在于:所述步骤2中,对所述人物图像原图和所述原图蒙版图进行变形瘦身处理,其方法是:通过用户选中某个区域,推动所述区域到想要的区域,实现局部的瘦身变形;或自动利用人体骨骼点检测算法检测出人像的骨骼关键点,然后在固定意义的点附近进行变形推动,实现局部的瘦身变形。
3.如权利要求1所述的人物图像处理方法,其特征在于:所述的步骤4中所述的得到代表当前位置梯度主方向的值、代表当前位置梯度主方向的垂直方向的值和反映所述梯度主方向的显著程度的值,包括两个特征值λ1,λ2以及特征向量υ1,υ2;υ1代表着当前位置梯度的主方向,υ2代表着当前位置梯度主方向的垂直方向,
Figure FDA0004254681950000032
反映了梯度主方向的显著程度。
4.如权利要求1所述的人物图像处理方法,其特征在于:所述的步骤5中所述的近邻搜索,其方法为:
对于当前未知像素位置(x,y),设其最佳匹配块位置为vx,y,对应误差为errx,y;vx,y为二维向量,当k=n_level-1时,vx,y的初始值采用随机的方式分配;当k≠0且k≠n_level-1时,将上一层的搜索结果进行上采样,作为k-1层的初始化;分别计算所述当前未知像素位置与位于vx-1,y+(1,0)、vx,y-1+(0,1)、vx+1,y+(-1,0)、vx,y+1+(0,-1)的块匹配误差,若误差比errx,y小,则更新errx,y与vx,y;重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化。
5.如权利要求1所述的人物图像处理方法,其特征在于:所述的步骤5中所述的十字形搜索,其方法为:
将所述近邻搜索所得结果作为当前未知像素位置(x,y),依次计算所述当前未知像素位置与位于vx,y+(-1,0)、vx,y+(0,-1)、vx,y+(0,1)、vx,y+(1,0)的块匹配误差,若误差比errx,y小,则更新errx,y与vx,y;重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化。
6.如权利要求1所述的人物图像处理方法,其特征在于:所述的步骤5中所述的带限制的随机搜索,其方法为:
将所述十字形搜索所得结果作为当前未知像素位置(x,y),分别计算所述当前未知像素位置与位于μx,y=vx,y+wαiRx,y,wαiRx,y≠(0,0)的块匹配误差,若误差比errx,y小,则更新errx,y与vx,y;重复此过程直到当前待评估的未知像素位置均被评估或者当前最佳匹配块位置vx,y不再变化;
其中Rx,y为二维随机变量,取值范围为[-1,1]x[-1,1];w∈[8,28];α=0.5;i依次取n,n-1,…,2,1,且n满足条件:wαn≥1且wαn+1<1;特别地,对于扩张的未知区域中梯度主方向的显著程度满足
Figure FDA0004254681950000041
Figure FDA0004254681950000042
的未知像素位置,Rx,y=υ2
7.如权利要求4或5或6所述的人物图像处理方法,其特征在于:所述的块匹配误差,其计算方式如下:
图像块Patchx,y定义为以(x,y)为中心,半径为rx,y的正方形区域且
Figure FDA0004254681950000051
明显地,图像块Patchx,y的像素个数为(2rx,y+1)2
块Patchx,y与块
Figure FDA0004254681950000052
之间的误差计算方式为:
Figure FDA0004254681950000053
其中
Figure FDA0004254681950000054
为单个像素的误差,其计算方法为:
Figure FDA0004254681950000055
rx,y为每个位置的块半径,其设置方法为:
Figure FDA0004254681950000056
8.如权利要求1所述的人物图像处理方法,其特征在于:所述的步骤6中所述对每个未知像素位置用其邻域范围内的所述最佳匹配块位置进行像素填充,其方法为:
对于Ik中的每个未知像素位置(x,y),在半径rfill=2的邻域范围内计算其填充像素值I′k(x,y):
Figure FDA0004254681950000057
其中,weightx+i,y+j
Figure FDA0004254681950000058
的权重,其计算方式为:
Figure FDA0004254681950000061
其中,σ2为方差,其计算方式为:
Figure FDA0004254681950000062
CN201911254829.3A 2019-12-10 2019-12-10 一种防止背景变形的人物图像处理方法 Active CN111028145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911254829.3A CN111028145B (zh) 2019-12-10 2019-12-10 一种防止背景变形的人物图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911254829.3A CN111028145B (zh) 2019-12-10 2019-12-10 一种防止背景变形的人物图像处理方法

Publications (2)

Publication Number Publication Date
CN111028145A CN111028145A (zh) 2020-04-17
CN111028145B true CN111028145B (zh) 2023-07-07

Family

ID=70208205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911254829.3A Active CN111028145B (zh) 2019-12-10 2019-12-10 一种防止背景变形的人物图像处理方法

Country Status (1)

Country Link
CN (1) CN111028145B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861869B (zh) * 2020-07-15 2024-02-02 广州光锥元信息科技有限公司 用于人像美化及防止背景扭曲的图像处理方法及装置
CN111968050B (zh) * 2020-08-07 2024-02-20 Oppo(重庆)智能科技有限公司 人体图像处理方法及相关产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994017493A1 (en) * 1993-01-29 1994-08-04 Q-Dot Photonics, Inc. Methods and apparatus for image processing
JPH07220026A (ja) * 1994-01-31 1995-08-18 Omron Corp 画像処理装置および方法
US6271847B1 (en) * 1998-09-25 2001-08-07 Microsoft Corporation Inverse texture mapping using weighted pyramid blending and view-dependent weight maps
JP2002304148A (ja) * 2001-04-09 2002-10-18 Sony Corp 画像表示装置及び画像表示方法、並びに画像記録装置及び画像記録方法
CN104318262A (zh) * 2014-09-12 2015-01-28 上海明穆电子科技有限公司 通过人脸照片更换皮肤的方法及系统
CN104751404A (zh) * 2013-12-30 2015-07-01 腾讯科技(深圳)有限公司 一种图像变换的方法及装置
CN109146808A (zh) * 2018-08-01 2019-01-04 成都品果科技有限公司 一种人像美型方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4964852B2 (ja) * 2008-09-24 2012-07-04 富士フイルム株式会社 画像処理装置、方法及びプログラム
US20160038252A1 (en) * 2011-02-17 2016-02-11 The Trustees Of Dartmouth College Systems And Methods for Guiding Tissue Resection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994017493A1 (en) * 1993-01-29 1994-08-04 Q-Dot Photonics, Inc. Methods and apparatus for image processing
JPH07220026A (ja) * 1994-01-31 1995-08-18 Omron Corp 画像処理装置および方法
US6271847B1 (en) * 1998-09-25 2001-08-07 Microsoft Corporation Inverse texture mapping using weighted pyramid blending and view-dependent weight maps
JP2002304148A (ja) * 2001-04-09 2002-10-18 Sony Corp 画像表示装置及び画像表示方法、並びに画像記録装置及び画像記録方法
CN104751404A (zh) * 2013-12-30 2015-07-01 腾讯科技(深圳)有限公司 一种图像变换的方法及装置
CN104318262A (zh) * 2014-09-12 2015-01-28 上海明穆电子科技有限公司 通过人脸照片更换皮肤的方法及系统
CN109146808A (zh) * 2018-08-01 2019-01-04 成都品果科技有限公司 一种人像美型方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于自适应蚁群算法的快速位移图像精准定位方法";高斌;《菏泽学院学报》;第41卷(第5期);第52-56页 *
改进的Criminisi图像修复算法;李俊柏等;《工业控制计算机》(第07期);第127-128、131页 *

Also Published As

Publication number Publication date
CN111028145A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
Zhang et al. Scene-adaptive remote sensing image super-resolution using a multiscale attention network
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN111160085A (zh) 一种人体图像关键点姿态估计方法
CN109584282B (zh) 一种基于sift特征与光流模型的非刚性图像配准方法
CN111415316A (zh) 基于生成对抗网络的缺陷数据合成算法
JP2004086891A (ja) デジタル画像におけるオブジェクト検出方法
CN111833273B (zh) 基于长距离依赖的语义边界增强方法
CN101980285B (zh) 结合gmrf先验的非局部图像修复方法
CN111028145B (zh) 一种防止背景变形的人物图像处理方法
CN103279936A (zh) 基于画像的人脸伪照片自动合成及修正方法
CN102136065B (zh) 基于凸优化的人脸超分辨率方法
CN112418165B (zh) 基于改进型级联神经网络的小尺寸目标检测方法与装置
CN109671039B (zh) 基于分层特征的图像矢量化方法
CN103080979A (zh) 从照片合成肖像素描的系统和方法
CN116934592A (zh) 一种基于深度学习的图像拼接方法、系统、设备及介质
CN108876776B (zh) 一种分类模型生成方法、眼底图像分类方法及装置
CN117151990B (zh) 一种基于自注意力编码解码的图像去雾方法
CN111275610B (zh) 一种人脸变老图像处理方法及系统
Castelló et al. Reducing complexity in polygonal meshes with view-based saliency
CN107292840B (zh) 图像复原方法及装置、计算机可读存储介质、终端
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络
CN114648724A (zh) 一种基于生成对抗网络的轻量化高效目标分割与计数方法
CN114723973A (zh) 大尺度变化鲁棒的图像特征匹配方法及装置
Pang Application of Image Mosaic Technology in Tai Chi Animation Creation
Kawai et al. Image Inpainting Considering Brightness Change and Spatial Locality of Textures.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant