CN113781291B - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113781291B CN113781291B CN202010434334.5A CN202010434334A CN113781291B CN 113781291 B CN113781291 B CN 113781291B CN 202010434334 A CN202010434334 A CN 202010434334A CN 113781291 B CN113781291 B CN 113781291B
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- pixel point
- sub
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 241000282414 Homo sapiens Species 0.000 claims abstract description 327
- 238000000605 extraction Methods 0.000 claims abstract description 120
- 230000037303 wrinkles Effects 0.000 claims abstract description 103
- 238000012545 processing Methods 0.000 claims abstract description 96
- 210000000746 body region Anatomy 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 238000005192 partition Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims description 41
- 239000003086 colorant Substances 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 22
- 230000011218 segmentation Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 16
- 238000012549 training Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 210000003127 knee Anatomy 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000010422 painting Methods 0.000 description 5
- 210000003423 ankle Anatomy 0.000 description 4
- 238000005034 decoration Methods 0.000 description 4
- 239000004744 fabric Substances 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开关于一种图像处理方法、装置、电子设备及存储介质，属于计算机视觉领域。该方法包括：获取待处理的人体图像，对人体图像的人体区域进行分区处理，得到N个子图像区域；分别对N个子图像区域中的每个子图像区域进行边缘提取和色块提取，得到边缘提取结果和N个色块，其中，色块提取是指将每个子图像区域包括的各个像素点的颜色值统一配置为相同数值，相同数值是根据各个像素点的原始颜色值确定的；将边缘提取结果叠加到N个色块上，得到融合图像；对人体图像的人体区域进行人体关键点预测，得到人体关键点预测结果；基于人体关键点预测结果和设置的褶皱出现规则，在融合图像上绘制褶皱得到目标图像。本公开丰富了图像处理方式且处理效果佳。
Description
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
以艺术方式对图像进行风格化处理一直是计算机视觉领域中的一个热门研究方向。其中，风格化是图像处理算法中的一个具体应用，旨在将图像的风格转化成为某种特定的风格类型，而保持图像中的其他元素不变，进而实现用户想要的特定视觉效果。
以二次元风格化为例，该种技术即是将图像转化为二次元的漫画类型风格，也即实现图像卡通化。其中，图像处理效果越好，则越能产生令人满意的卡通化效果，为此，如何将真实图像转化为高质量的绘画风格图像，便成为了本领域技术人员亟待解决的一个问题。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，不但丰富了图像处理方式，而且图像处理效果佳。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：
获取待处理的人体图像，对所述人体图像的人体区域进行分区处理，得到N个子图像区域，N的取值为正整数；
分别对所述N个子图像区域中的每个子图像区域进行边缘提取和色块提取，得到边缘提取结果和N个色块，其中，所述色块提取是指将每个子图像区域包括的各个像素点的颜色值统一配置为相同数值，所述相同数值是根据所述各个像素点的原始颜色值确定的；
将所述边缘提取结果叠加到所述N个色块上，得到融合图像；
对所述人体图像的人体区域进行人体关键点预测，得到人体关键点预测结果；
基于所述人体关键点预测结果和设置的褶皱出现规则，在所述融合图像上绘制褶皱，得到目标图像。
在一种可能的实现方式中，所述对所述人体图像的人体区域进行分区处理，包括：
按照所述人体区域中包括的人体部位和服饰，对所述人体区域进行分区处理，得到用于指示所述N个子图像区域的掩码，每个子图像区域对应的掩码分别用不同的色彩进行表征；
其中，一个子图像区域对应一个色块，每个子图像区域包括一种人体部位或一种服饰。
在一种可能的实现方式中，所述对所述N个子图像区域中的每个子图像区域分别进行边缘提取，包括：
对于每个子图像区域，对所述子图像区域进行滤波处理，得到滤波图像；
计算所述滤波图像中每个像素点的梯度数据，得到梯度图像；
根据所述每个像素点的梯度数据，对所述梯度图像中包括的像素点进行过滤处理，得到未被过滤的剩余像素点；
基于所述剩余像素点的梯度强度和设置的两个阈值，对所述剩余像素点进行筛选处理，得到筛选后的像素点；
连接所述筛选后的像素点，得到所述边缘提取结果。
在一种可能的实现方式中，所述梯度数据包括梯度强度和梯度方向，所述根据所述每个像素点的梯度数据，对所述梯度图像中包括的像素点进行过滤处理，包括：
对于所述梯度图像中的每个像素点，将所述像素点的梯度强度同相邻的两个像素点的梯度强度进行比较；
若所述像素点的梯度强度大于所述两个像素点的梯度强度，则将所述像素点保留；
若所述像素点的梯度强度最小或小于所述两个像素点中任一个像素点的梯度强度，则将所述像素点过滤掉；
其中，所述相邻的两个相像素点位于所述像素点的梯度方向上，且位于所述像素点的两侧。
在一种可能的实现方式中，所述两个阈值包括第一阈值和第二阈值，所述第一阈值大于所述第二阈值；所述基于所述剩余像素点的梯度强度和设置的两个阈值，对所述剩余像素点进行筛选处理，包括：
对于所述剩余像素点中的每个像素点，若所述像素点的梯度强度大于设置的所述第一阈值，则保留所述像素点，并将所述像素点标记为第一类像素点；或，
若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，以及与所述像素点相邻的像素点中包括所述第一类像素点，则保留所述像素点；或，
若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，以及与所述像素点相邻的像素点中不包括所述第一类像素点，则将所述像素点过滤掉；或，
若所述像素点的梯度强度小于所述第二阈值，则将所述像素点过滤掉。
在一种可能的实现方式中，所述对所述N个子图像区域中的每个子图像区域进行色块提取，包括：
对于每个子图像区域，获取所述子图像区域中全部像素点的色彩平均值；
将所述子图像区域中每个像素点的颜色值配置为所述色彩平均值，得到所述子图像区域对应的色块。
在一种可能的实现方式中，所述获取所述子图像区域中全部像素点的色彩平均值，包括：
分别获取所述子图像区域中全部像素点在R通道的第一色彩平均值、在G通道的第二色彩平均值以及在B通道的第三色彩平均值；
所述将所述子图像区域中每个像素点的颜色值配置为所述色彩平均值，包括：
将所述子图像区域中每个像素点在R通道的颜色值配置为所述第一色彩平均值，在G通道的颜色值配置为所述第二色彩平均值，在B通道的颜色值配置为所述第三色彩平均值。
在一种可能的实现方式中，所述人体关键点预测结果中包括的关键点数量大于目标阈值，所述对所述人体图像的人体区域进行人体关键点预测，包括：
基于关键点预测模型，对所述人体图像的人体区域进行人体关键点预测；
其中，所述关键点预测模型是基于指定训练数据集对深度神经网络进行训练得到的，所述指定训练数据集中的每张样本人体图像均对应有标签信息，所述标签信息标定了所述样本人体图像中的标记点映射到相应的三维人体模型上时对应的映射点；
所述标签信息的生成过程为：首先对所述样本人体图像进行人体部位分割，之后再基于近似等距的标记点对分割得到的每个人体部位进行采样，得到用于标记人体部位的多个标记点；在所述三维人体模型上为每个标记点定位与其相对应的映射点。
在一种可能的实现方式中，所述基于所述人体关键点预测结果和设置的褶皱出现规则，在所述融合图像上绘制褶皱，得到目标图像，包括：
基于所述人体关键点预测结果和所述褶皱出现规则生成多个可选项；其中，每个可选项对应所述人体关键点预测结果中的两个人体关键点；
显示所述多个可选项；
在所述多个可选项中确定用户选中的M个目标可选项，M的取值为正整数；
对于每个目标可选项，将所述目标可选项对应的两个人体关键点分别作为待绘制的褶皱的起点和终点；
连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
在一种可能的实现方式中，所述基于所述人体关键点预测结果和所述褶皱出现规则生成多个可选项，包括：
基于所述褶皱出现规则确定褶皱出现区域；其中，所述褶皱出现区域指代人体上存在褶皱的区域；
根据确定出来的褶皱出现区域，在所述人体关键点预测结果中筛选人体关键点；
根据筛选出来的人体关键点生成所述多个可选项；其中，每个可选项对应所述筛选出来的人体关键点中的两个人体关键点。
在一种可能的实现方式中，所述连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱，包括：
采用贝塞尔曲线连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
在一种可能的实现方式中，所述贝塞尔曲线的连接规则包括：
在指定夹角值区间内随机生成第一夹角值和第二夹角值；
将所述第一夹角值作为所述起点的切线方向，将所述第二夹角值作为所述终点的切线方向；基于所述起点的切线方向和所述终点的切线方向生成所述褶皱；
其中，所述第一夹角值指经过所述起点的第一切线与指定直线相切形成的夹角值，所述第二夹角值指经过所述终点的第二切线与指定直线相切形成的夹角值；所述第一切线与所述第二切线位于所述指定直线的同一侧，所述指定直线经过所述起点和所述终点。
根据本公开实施例的第二方面，提供一种图像处理装置，所述装置包括：
获取模块，被配置为获取待处理的人体图像；
第一处理模块，被配置为对所述人体图像的人体区域进行分区处理，得到N个子图像区域，N的取值为正整数；
提取模块，被配置为分别对所述N个子图像区域中的每个子图像区域进行边缘提取和色块提取，得到边缘提取结果和N个色块，其中，所述色块提取是指将每个子图像区域包括的各个像素点的颜色值统一配置为相同数值，所述相同数值是根据所述各个像素点的原始颜色值确定的；
融合模块，被配置为将所述边缘提取结果叠加到所述N个色块上，得到融合图像；
预测模块，被配置为对所述人体图像的人体区域进行人体关键点预测，得到人体关键点预测结果；
第二处理模块，被配置为基于所述人体关键点预测结果和设置的褶皱出现规则，在所述融合图像上绘制褶皱，得到目标图像。
在一种可能的实现方式中，所述第一处理模块，被配置为按照所述人体区域中包括的人体部位和服饰，对所述人体区域进行分区处理，得到用于指示所述N个子图像区域的掩码，每个子图像区域对应的掩码分别用不同的色彩进行表征；其中，一个子图像区域对应一个色块，每个子图像区域包括一种人体部位或一种服饰。
在一种可能的实现方式中，所述提取模块，包括：
第一处理单元，被配置为对于每个子图像区域，对所述子图像区域进行滤波处理，得到滤波图像；
计算单元，被配置为计算所述滤波图像中每个像素点的梯度数据，得到梯度图像；
第二处理单元，被配置为根据所述每个像素点的梯度数据，对所述梯度图像中包括的像素点进行过滤处理，得到未被过滤的剩余像素点；
第三处理单元，被配置为基于所述剩余像素点的梯度强度和设置的两个阈值，对所述剩余像素点进行筛选处理，得到筛选后的像素点；
连接单元，被配置为连接所述筛选后的像素点，得到所述边缘提取结果。
在一种可能的实现方式中，所述第二处理单元，被配置为，被配置为对于所述梯度图像中的每个像素点，将所述像素点的梯度强度同相邻的两个像素点的梯度强度进行比较；若所述像素点的梯度强度大于所述两个像素点的梯度强度，则将所述像素点保留；若所述像素点的梯度强度最小或小于所述两个像素点中任一个像素点的梯度强度，则将所述像素点过滤掉；其中，所述相邻的两个相像素点位于所述像素点的梯度方向上，且位于所述像素点的两侧。
在一种可能的实现方式中，所述第三处理单元，被配置为对于所述剩余像素点中的每个像素点，若所述像素点的梯度强度大于设置的所述第一阈值，则保留所述像素点，并将所述像素点标记为第一类像素点；或，若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，且，所述像素点的邻域像素点中包括所述第一类像素点，则保留所述像素点；或，若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，且，所述像素点的邻域像素点中不包括所述第一类像素点，则将所述像素点过滤掉；或，若所述像素点的梯度强度小于所述第二阈值，则将所述像素点过滤掉。
在一种可能的实现方式中，所述提取模块还包括：
获取单元，被配置为对于每个子图像区域，获取所述子图像区域中全部像素点的色彩平均值；
提取单元，被配置为将所述子图像区域中每个像素点的颜色值配置为所述色彩平均值，得到所述子图像区域对应的色块。
在一种可能的实现方式中，所述获取单元，被配置为分别获取所述子图像区域中全部像素点在R通道的第一色彩平均值、在G通道的第二色彩平均值以及在B通道的第三色彩平均值；
所述提取单元，被配置为将所述子图像区域中每个像素点在R通道的颜色值配置为所述第一色彩平均值，在G通道的颜色值配置为所述第二色彩平均值，在B通道的颜色值配置为所述第三色彩平均值。
在一种可能的实现方式中，所述第二处理模块，包括：
确定单元，被配置为基于所述人体关键点预测结果和所述褶皱出现规则生成多个可选项；其中，每个可选项对应所述人体关键点预测结果中的两个人体关键点；显示所述多个可选项；在所述多个可选项中确定用户选中的M个目标可选项，M的取值为正整数；对于每个目标可选项，将所述目标可选项对应的两个人体关键点分别作为待绘制的褶皱的起点和终点；
绘制单元，被配置为连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
在一种可能的实现方式中，所述绘制单元，被配置为采用贝塞尔曲线连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现第一方面所述的图像处理方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行第一方面所述的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行第一方面所述的图像处理方法。
本公开实施例提供的技术方案至少带来以下有益效果：
在对待处理的人体图像依次经过人体分区、边缘提取以及色块提取等处理后，会将边缘提取结果叠加到提取到的色块上到融合图像；之后，再对人体图像的人体区域进行人体关键点预测得到人体关键点预测结果；最后，基于人体关键点预测结果和设置的褶皱出现规则，在该融合图像上绘制褶皱得到目标图像。即，本公开实施例能够基于预测到的人体关键点和褶皱出现规则为上述融合图像添加褶皱，实现了将待处理的人体图像转化为具有一定绘画风格的图像，丰富了图像处理方式。比如，当褶皱出现规则是针对二次元的漫画风格时，便可以得到具有二次元风格的漫画类型图像。另外，边缘提取和色块提取均是在人体分区后进行的，这保证了边缘提取和色块提取是具备语义选择性的，并不是杂乱和随机的，再基于预测到的人体关键点绘制褶皱，不但保证了当人体边界和背景颜色相近时的边缘提取效果，而且还能够得到更精准的褶皱，不会使画面出现凌乱感，确保了褶皱仅出现在需要的位置，该种图像处理效果较佳。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法涉及的实施环境的示意图。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。
图3是根据一示例性实施例示出的一种图像处理方法的流程图。
图4是根据一示例性实施例示出的一种图像处理效果的示意图。
图5是根据一示例性实施例示出的一种图像处理效果的示意图。
图6是根据一示例性实施例示出的一种图像处理效果的示意图。
图7是根据一示例性实施例示出的一种图像处理效果的示意图。
图8是根据一示例性实施例示出的一种图像处理装置的框图。
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
在对本公开实施例进行详细地解释说明之前，先对本公开实施例涉及到的一些名词进行解释。
二次元：早期的日本动画、游戏作品都是以二维图像构成的，其画面是一个平面，所以被称为是“二次元世界”，简称“二次元”，而与之相对的是“三次元”，即我们所存在的这个次元，也就是现实世界。二次元是指人类幻想出来的唯美世界，用各种憧憬的体现虐袭观赏者的视觉体验，本质其实还是三次元世界的人类心中模糊的对梦想生活的憧憬和对美好未来的期望。
漫画：是一种艺术形式，是用简单而夸张的手法来描绘生活或时事的图画。
密集人体关键点：指代数量足够密集的人体关键点，即人体关键点划分不再仅是简单的诸如头、颈、肩、肘、手、臀、膝、脚等，而是分布足够密集，比如关键点数量可达数十个。在一种可能的实现方式中，密集人体关键点包括但不限于：额头、左眼、右眼、左耳、右耳、嘴、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左手掌、右手掌、胸部、左臀部、右臀部、左膝盖、右膝盖、左脚腕、右脚腕、左脚掌、右脚掌等。
下面对本公开实施例提供的一种图像处理方法涉及的实施环境进行介绍说明。
其中，该种图像处理方法可应用在交互场景下，比如视频通话过程中、视频直播过程中等；也可应用在非交互场景下，比如应用在用户个人进行图像或视频拍摄的过程中，或者还可以针对用户本地存储的人体图像或视频进行图像处理，本公开实施例对此不进行具体限定。
以应用在非交互场景下为例，参见图1，该实施环境包括用户101和电子设备102，该电子设备102通常指代平板电脑、智能手机等移动式计算机设备。该电子设备102用于执行该图像处理方法。
另外，若应用在交互场景下，则图1所示的实施环境中还包括与该电子设备102进行数据通信的服务器和至少一个与该服务器进行数据通信的其他电子设备。
基于上述的实施环境，本公开实施例提供了一种图像处理方法，该图像处理方法在对待处理的人体图像依次经过人体分区、边缘提取以及色块提取等处理后，会将边缘提取结果叠加到提取到的色块上到融合图像；之后，再对人体图像的人体区域进行人体关键点预测得到人体关键点预测结果；最后，基于人体关键点预测结果和设置的褶皱出现规则，在该融合图像上绘制褶皱得到目标图像。即，本公开实施例能够基于预测到的人体关键点和褶皱出现规则为上述融合图像添加褶皱，实现了将待处理的人体图像转化为具有一定绘画风格的图像，丰富了图像处理方式。比如，当褶皱出现规则是针对二次元的漫画风格时，便可以得到具有二次元风格的漫画类型图像。即，可以添加抽象、简洁明晰的褶皱，实现了人体图像的清晰、平面化和抽象化的二次元风格转化。示例性地，本公开实施例能够将待处理的人体图像转化为具有二次元风格(比如平面化、抽象化和具有勾边效果)的漫画类型图像。
另外，边缘提取和色块提取均是在人体分区后进行的，这保证了边缘提取和色块提取是具备语义选择性的，并不是杂乱和随机的，再基于预测到的人体关键点绘制褶皱，不但保证了当人体边界和背景颜色相近时的边缘提取效果，而且还能够得到更精准的褶皱，不会使画面出现凌乱感，比如褶皱主要出现在肢体边界、关节处、服饰边界、以及口袋、裤线、裙摆等有明确存在意义的地方，该种图像处理效果较佳。
图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，该方法用于图1所示的电子设备中，包括以下步骤。
在步骤201中，获取待处理的人体图像，对该人体图像的人体区域进行分区处理，得到N个子图像区域，N的取值为正整数。
在步骤202中，分别对N个子图像区域中的每个子图像区域进行边缘提取和色块提取，得到边缘提取结果和N个色块，其中，色块提取是指将每个子图像区域包括的各个像素点的颜色值统一配置为相同数值，该相同数值是根据各个像素点的原始颜色值确定的。
在步骤203中，将该边缘提取结果叠加到N个色块上，得到融合图像。
在步骤204中，对该人体图像的人体区域进行人体关键点预测，得到人体关键点预测结果。
在步骤205中，基于该人体关键点预测结果和设置的褶皱出现规则，在该融合图像上绘制褶皱，得到目标图像。
本公开实施例提供的方法，在对待处理的人体图像依次经过人体分区、边缘提取以及色块提取等处理后，会将边缘提取结果叠加到提取到的色块上到融合图像；之后，再对人体图像的人体区域进行人体关键点预测得到人体关键点预测结果；最后，基于人体关键点预测结果和设置的褶皱出现规则，在该融合图像上绘制褶皱得到目标图像。即，本公开实施例能够基于预测到的人体关键点和褶皱出现规则为上述融合图像添加褶皱，实现了将待处理的人体图像转化为具有一定绘画风格的图像，丰富了图像处理方式。比如，当褶皱出现规则是针对二次元的漫画风格时，便可以得到具有二次元风格的漫画类型图像。另外，边缘提取和色块提取均是在人体分区后进行的，这保证了边缘提取和色块提取是具备语义选择性的，并不是杂乱和随机的，再基于预测到的人体关键点绘制褶皱，不但保证了当人体边界和背景颜色相近时的边缘提取效果，而且还能够得到更精准的褶皱，不会使画面出现凌乱感，确保了褶皱仅出现在需要的位置，该种图像处理效果较佳。
在一种可能的实现方式中，所述对所述人体图像的人体区域进行分区处理，包括：
按照所述人体区域中包括的人体部位和服饰，对所述人体区域进行分区处理，得到用于指示所述N个子图像区域的掩码，每个子图像区域对应的掩码分别用不同的色彩进行表征；
其中，一个子图像区域对应一个色块，每个子图像区域包括一种人体部位或一种服饰。
在一种可能的实现方式中，所述对所述N个子图像区域中的每个子图像区域分别进行边缘提取，包括：
对于每个子图像区域，对所述子图像区域进行滤波处理，得到滤波图像；
计算所述滤波图像中每个像素点的梯度数据，得到梯度图像；
根据所述每个像素点的梯度数据，对所述梯度图像中包括的像素点进行过滤处理，得到未被过滤的剩余像素点；
基于所述剩余像素点的梯度强度和设置的两个阈值，对所述剩余像素点进行筛选处理，得到筛选后的像素点；
连接所述筛选后的像素点，得到所述边缘提取结果。
在一种可能的实现方式中，所述梯度数据包括梯度强度和梯度方向，所述根据所述每个像素点的梯度数据，对所述梯度图像中包括的像素点进行过滤处理，包括：
对于所述梯度图像中的每个像素点，将所述像素点的梯度强度同相邻的两个像素点的梯度强度进行比较；
若所述像素点的梯度强度大于所述两个像素点的梯度强度，则将所述像素点保留；
若所述像素点的梯度强度最小或小于所述两个像素点中任一个像素点的梯度强度，则将所述像素点过滤掉；
其中，所述相邻的两个相像素点位于所述像素点的梯度方向上，且位于所述像素点的两侧。
在一种可能的实现方式中，所述两个阈值包括第一阈值和第二阈值，所述第一阈值大于所述第二阈值；
所述基于所述剩余像素点的梯度强度和设置的两个阈值，对所述剩余像素点进行筛选处理，包括：
对于所述剩余像素点中的每个像素点，若所述像素点的梯度强度大于设置的所述第一阈值，则保留所述像素点，并将所述像素点标记为第一类像素点；或，
若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，以及与所述像素点相邻的像素点中包括所述第一类像素点，则保留所述像素点，并将所述像素点标记为第二类像素点；或，
若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，以及与所述像素点相邻的像素点中不包括所述第一类像素点，则将所述像素点过滤掉；或，
若所述像素点的梯度强度小于所述第二阈值，则将所述像素点过滤掉。
在一种可能的实现方式中，所述对所述N个子图像区域中的每个子图像区域进行色块提取，包括：
对于每个子图像区域，获取所述子图像区域中全部像素点的色彩平均值；
将所述子图像区域中每个像素点的颜色值配置为所述色彩平均值，得到所述子图像区域对应的色块。
在一种可能的实现方式中，所述获取所述子图像区域中全部像素点的色彩平均值，包括：
分别获取所述子图像区域中全部像素点在R通道的第一色彩平均值、在G通道的第二色彩平均值以及在B通道的第三色彩平均值；
所述将所述子图像区域中每个像素点的颜色值配置为所述色彩平均值，包括：
将所述子图像区域中每个像素点在R通道的颜色值配置为所述第一色彩平均值，在G通道的颜色值配置为所述第二色彩平均值，在B通道的颜色值配置为所述第三色彩平均值。
在一种可能的实现方式中，所述人体关键点预测结果中包括的关键点数量大于目标阈值，所述对所述人体图像的人体区域进行人体关键点预测，包括：
基于关键点预测模型，对所述人体图像的人体区域进行人体关键点预测；
其中，所述关键点预测模型是基于指定训练数据集对深度神经网络进行训练得到的，所述指定训练数据集中的每张样本人体图像均对应有标签信息，所述标签信息标定了所述样本人体图像中的标记点映射到相应的三维人体模型上时对应的映射点；
所述标签信息的生成过程为：首先对所述样本人体图像进行人体部位分割，之后再基于近似等距的标记点对分割得到的每个人体部位进行采样，得到用于标记人体部位的多个标记点；在所述三维人体模型上为每个标记点定位与其相对应的映射点。
在一种可能的实现方式中，所述基于所述人体关键点预测结果和设置的褶皱出现规则，在所述融合图像上绘制褶皱，得到目标图像，包括：
基于所述人体关键点预测结果和所述褶皱出现规则生成多个可选项；其中，每个可选项对应所述人体关键点预测结果中的两个人体关键点；
显示所述多个可选项；
在所述多个可选项中确定用户选中的M个目标可选项，M的取值为正整数；
对于每个目标可选项，将所述目标可选项对应的两个人体关键点分别作为待绘制的褶皱的起点和终点；
连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
在一种可能的实现方式中，所述基于所述人体关键点预测结果和所述褶皱出现规则生成多个可选项，包括：
基于所述褶皱出现规则确定褶皱出现区域；其中，所述褶皱出现区域指代人体上存在褶皱的区域；
根据确定出来的褶皱出现区域，在所述人体关键点预测结果中筛选人体关键点；
根据筛选出来的人体关键点生成所述多个可选项；其中，每个可选项对应所述筛选出来的人体关键点中的两个人体关键点。
在一种可能的实现方式中，所述连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱，包括：
采用贝塞尔曲线连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
在一种可能的实现方式中，所述贝塞尔曲线的连接规则包括：
在指定夹角值区间内随机生成第一夹角值和第二夹角值；
将所述第一夹角值作为所述起点的切线方向，将所述第二夹角值作为所述终点的切线方向；基于所述起点的切线方向和所述终点的切线方向生成所述褶皱；
其中，所述第一夹角值指经过所述起点的第一切线与指定直线相切形成的夹角值，所述第二夹角值指经过所述终点的第二切线与指定直线相切形成的夹角值；所述第一切线与所述第二切线位于所述指定直线的同一侧，所述指定直线经过所述起点和所述终点。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图3是根据一示例性实施例示出的一种图像处理方法的流程图，如图3所示，该方法用于图1所示的电子设备中。该种图像处理方法包括以下步骤。
在步骤301中，电子设备获取待处理的人体图像，并基于图像语义分割模型对待处理图像的人体区域进行分区处理，得到用于指示N个子图像区域的掩码。
其中，人体图像在本公开实施例中指代包括人体的图像。
另外，电子设备获取到的待处理的人体图像可以为视频通话或视频直播过程中的一个视频帧，也可以为用户当前拍摄或预先拍摄的一张图像，还可以为预先拍摄的一段视频中的视频帧，本公开实施例对此不进行具体限定。
本公开实施例仅是以一张图像为例说明了整个图像处理流程，可以扩展的是，该图像处理流程可以适用到多张图像或视频中的各个视频帧。
本步骤用于对通过训练好的卷积神经网络(即图像语义分割模型)预测待处理的人体图像上人体的不同分区。
示例性地，通过图像语义分割模型进行人体分区处理后，得到的是各个分区(在本文中也称之为子图像区域)的掩码。以得到N个子图像区域为例，则如图4中步骤(1)所示，每个子图像区域对应的掩码可以分别用不同的且区分度大的色彩进行表征，其中，N的取值为正整数。
需要说明的第一点是，这里的人体分区方式决定了后续进行色块提取时的色块数量。示例性地，本步骤得到多少个分区，最终进行色块提取时便会得到多少个色块。
需要说明的第二点是，N个子图像区域中可仅包括人体部位，如图4中步骤(1)所示，在进行人体分区处理后，得到的是头部、上衣、下衣、双臂和双腿各个人体部位区域的掩码。其中，图4中步骤(1)展示了一种最基本的人体分区方式，最后得到的画面结果接近于风格比较简单的二次元画面，其中，上衣和下衣都是单一颜色的纯色，不包括两个或两个以上的色彩。
需要说明的第三点是，N个子图像区域中除了包括人体部位之外，还可包括用于装饰人体的第一类型装饰和用于装饰服饰的第二类型装饰。比如第一类型装饰可以为领带，第二类型装饰可以为上衣或下衣上的口袋或logo等。即，有时人体区域会包括一些更精细的分区(比如领带、衣服上的口袋或logo等)，在进行人体分区处理时，也可以训练卷积神经网络对这些分区进行预测，以使得画面细节更加充分。
如上所述，本公开实施例会基于图像语义分割模型对待处理的人体图像进行语义分割处理，进而得到上述N个子图像区域。而图像语义分割模型通常对边缘较为敏感，因此利用图像语义分割模型能够得到更为准确的分割边缘，确保了分割效果。在一种可能的实现方式中，图像语义分割模型的训练过程包括但不限于：
3011、获取样本人体图像和对样本人体图像的标注分割结果，并将样本人体图像输入至卷积神经网络中。
其中，样本人体图像的数量可以数以千计，这些训练样本图像均对应有人工标注的标注分割结果。
示例性地，该标注分割结果由人工标注了样本人体图像的人体区域包括的各个分区。
3012、基于目标损失函数，确定卷积神经网络输出的对样本人体图像的预测分割结果与标注分割结果是否匹配。
作为一个示例，上述目标损失函数可为交叉熵损失函数，深卷积神经网络可以为全卷积神经网络，本公开实施例对此不进行具体限定。
3013、若预测分割结果与标注分割结果不匹配，则反复循环地迭代更新卷积神经网络的网络参数，直至模型收敛，得到图像语义分割模型。
在步骤302中，电子设备对N个子图像区域分别进行边缘提取。
本步骤用于对上一步得到的结果进行边缘提取。其中，由于上一步已经对人体进行分区，并且每个分区各自的掩码分别用不同的且区分度大的色彩表示，因此可直接对该步骤得到的结果进行边缘提取，示例性地，可以使用Canny边缘提取器进行边缘提取。
其中，Canny边缘提取是从不同视觉对象中提取有用的结构信息并大大减少要处理的数据量的一种技术，目前已广泛应用于各种计算机视觉系统。通常情况下，Canny边缘提取算法可以分为以下几个步骤：
3021、对于每个子图像区域，对该子图像区域进行滤波处理，得到滤波图像。
本步骤可以使用高斯滤波器进行高斯滤波，以平滑图像、滤除噪声。
其中，为了尽可能减少噪声对边缘提取结果的影响，必须滤除噪声以防止由噪声引起的错误检测。为了平滑图像，使用高斯滤波器与图像进行卷积，以减少边缘提取器上明显的噪声影响。另外，高斯卷积核大小的选择将影响Canny边缘提取器的性能。尺寸越大，边缘提取器对噪声的敏感度越低，但是边缘提取的定位误差也将略有增加。
3022、计算滤波图像中每个像素点的梯度数据，得到梯度图像。
其中，梯度数据包括梯度强度和梯度方向，本步骤即是计算滤波图像中每个像素点的梯度强度和梯度方向。
其中，图像中的边缘可以指向各个方向，因此Canny边缘提取算法使用四个算子来检测图像中的水平、垂直和对角边缘。其中，边缘检测的算子会返回水平Gx和垂直Gy方向的一阶导数值，由此便可以确定每个像素点的梯度强度和梯度方向。
3023、根据每个像素点的梯度数据，对梯度图像中包括的像素点进行过滤处理，得到未被过滤的剩余像素点。
本步骤即是应用非极大值(Non-Maximum Suppression)抑制，以消除边缘检测带来的杂散响应。其中，非极大值抑制是一种边缘稀疏技术，非极大值抑制的作用在于“瘦”边。对图像进行梯度计算后，仅仅基于梯度值提取的边缘仍然很模糊。而非极大值抑制则可以帮助将局部最大值之外的所有梯度值抑制为0。即，通常灰度变化的地方都比较集中，将局部范围内的梯度方向上灰度变化最大的保留下来，其它的不保留，这样可以剔除掉一大部分的像素点。将有多个像素宽的边缘变成一个单像素宽的边缘。即将“胖”边缘变成“瘦”边缘。
在一种可能的实现方式中，根据每个像素点的梯度数据，对梯度图像中包括的像素点进行过滤处理，包括：对于梯度图像中的每个像素点，将像素点的梯度强度同相邻的两个像素点的梯度强度进行比较；若像素点的梯度强度大于两个像素点的梯度强度，则将像素点保留；若像素点的梯度强度最小或小于两个像素点中任一个像素点的梯度强度，则将像素点过滤掉；其中，相邻的两个相像素点位于像素点的梯度方向上，且位于像素点的两侧。
3024、基于剩余像素点的梯度强度和设置的两个阈值，对剩余像素点进行筛选处理，得到筛选后的像素点；连接筛选后的像素点，得到边缘提取结果。
本步骤即是应用双阈值(Double-Threshold)筛选来确定真实的和潜在的边缘，并通过抑制孤立的弱边缘最终完成边缘提取。
在一种可能的实现方式中，两个阈值包括第一阈值和第二阈值，第一阈值大于第二阈值；示例性地，第一阈值也被称之为高阈值，第二阈值也被称之为低阈值。
示例性地，基于剩余像素点的梯度强度和设置的两个阈值，对剩余像素点进行筛选处理，包括但不限于：
对于剩余像素点中的每个像素点，若该像素点的梯度强度大于设置的第一阈值，则保留该像素点，并将该像素点标记为第一类像素点；或，若该像素点的梯度强度小于第一阈值且大于第二阈值，以及与该像素点相邻的像素点中包括第一类像素点，则保留该像素点，并将该像素点标记为第二类像素点；或，若该像素点的梯度强度小于第一阈值且大于第二阈值，以及与像素点相邻的像素点中不包括第一类像素点，则将该像素点过滤掉；或，若该像素点的梯度强度小于第二阈值，则将该像素点过滤掉。
其中，上述第一类像素点也被称之为强边缘像素点；上述第二类像素点也被称之为弱边缘像素点。
其中，在施加非极大值抑制之后，剩余的像素点可以更准确地表示图像中的实际边缘。然而，仍然存在由于噪声和颜色变化引起的一些边缘像素。为了解决这些杂散响应，可以用弱梯度值过滤边缘像素点，并保留具有高梯度值的边缘像素点。示例性地，可以通过选择高低阈值来实现。如果边缘像素点的梯度值高于高阈值，则将其标记为强边缘像素点；如果边缘像素点的梯度值小于高阈值并且大于低阈值，则将其标记为弱边缘像素点；如果边缘像素点的梯度值小于低阈值，则会被抑制。
另外，被划分为强边缘的像素点已经被确定为边缘，因为它们是从图像中的真实边缘中提取出来的。然而，对于弱边缘像素点，会有一些争论，因为这些像素点可以是从真实边缘提取到的也可以是因噪声或颜色变化引起的。为了获得准确的边缘提取结果，应该抑制由后者引起的弱边缘像素点。通常，由真实边缘引起的弱边缘像素点将连接到强边缘像素点，而噪声响应未连接。为了跟踪边缘连接，通过查看弱边缘像素点及其8个邻域像素点，只要其中一个为强边缘像素点，则该弱边缘点就可以保留为真实的边缘。
其中，图4中的步骤(2)示出了人体分区的边缘提取结果。
另外，上述步骤302和下述步骤303的执行顺序可以任意，既可以先执行边缘提取步骤，也可以先执行色块提取步骤，本公开实施例对此不进行具体限定。本公开实施例仅是以先执行边缘提取后执行色块提取为例进行说明。
在步骤303中，电子设备对N个子图像区域分别进行色块提取，得到N个色块，并将得到的边缘提取结果叠加到N个色块上，得到融合图像。
本步骤用于进行色块提取。其中，色块提取是指将每个子图像区域包括的各个像素点的颜色值统一配置为相同数值。而该相同数值是根据各个像素点的原始颜色值确定的。
简言之，首先提取色彩平均值，即对于每个分区，计算该分区内的全部像素点的色彩平均值(比如R、G、B三个通道各自求平均)，然后将该分区的所有像素点都涂抹成该颜色值即可。其中，在提取好色块后，可以将步骤302中提取好的边缘叠加到画面上，进而可以得到图4中步骤(3)的画面效果。
详细来说，对N个子图像区域分别进行色块提取，包括如下步骤：
3031、对于每个子图像区域，获取该子图像区域中全部像素点的色彩平均值。
示例性地，获取子图像区域中全部像素点的色彩平均值，包括但不限于：获取该子图像区域中全部像素点在R通道的第一色彩平均值；获取该子图像区域中全部像素点在G通道的第二色彩平均值；获取该子图像区域中全部像素点在B通道的第三色彩平均值。
3032、将该子图像区域中每个像素点的颜色值配置为色彩平均值，得到该子图像区域对应的色块。
相应地，将该子图像区域中每个像素点的颜色值配置为色彩平均值，包括：将该子图像区域中每个像素点在R通道的颜色值配置为第一色彩平均值；将该子图像区域中每个像素点在G通道的颜色值配置为第二色彩平均值；将该子图像区域中每个像素点在B通道的颜色值配置为第三色彩平均值。
在步骤304中，电子设备对人体图像的人体区域进行人体关键点预测，得到人体关键点预测结果。
在一种可能的实现方式中，对人体图像的人体区域进行人体关键点预测，包括但不限于：基于关键点预测模型，对人体图像的人体区域进行人体关键点预测；其中，关键点预测模型是基于指定训练数据集对深度神经网络进行训练得到的，指定训练数据集中的每张样本人体图像均对应有标签信息，标签信息标定了样本人体图像中的标记点映射到相应的三维人体模型上时对应的映射点；该标签信息的生成过程为：首先对样本人体图像进行人体部位分割，之后再基于近似等距的标记点对分割得到的每个人体部位进行采样，得到用于标记人体部位的多个标记点；在三维人体模型上为每个标记点定位与其相对应的映射点。
以预测人体密集关键点为例，其中，图4中的步骤(4)示出了密集人体关键点的预测结果。示例性地，预测到的密集人体关键点包括但不限于：左肩、右肩、左手肘、右手肘、左手腕、右手腕、左手掌、右手掌、胸部、左臀部、右臀部、左膝盖、右膝盖、左脚腕、右脚腕、左脚掌、右脚掌等，本公开实施例对此不进行具体限定。
示例性地，对人体图像的人体区域进行密集人体关键点预测，包括：基于密集姿态估计模型(DensePose)，对人体图像的人体区域进行密集人体关键点预测。
其中，密集姿态估计模型是基于指定训练数据集对深度神经网络进行训练得到的。该密集姿态估计模型能够在三维人体模型和二维人体图像之间构建密集的映射。另外，指定训练数据集为DensePose COCO数据集，其是一个包含了超过5万张图像的数据集，它的图像来自COCO数据集，并经由工作人员手动标记，即工作人员手动在DensePose COCO数据集上面构建了超过500万个对应关系。
即，需要建立的是二维人体图像到三维人体模型的密集对应。也即，指定训练数据集中的每张样本人体图像均对应有标签信息，该标签信息记录了样本人体图像和相应的三维人体模型之间的密集对应关系；其中，标签信息的生成过程为：首先对样本人体图像进行人体部位分割，之后再基于近似等距的标记点对分割得到的每个人体部位进行采样，并在三维人体模型上为每个标记点定位与其对应的映射点。
另外，深度神经网络(DensePose-RCNN)是Mask-RCNN的一个变体，它沿用了Mask-RCNN的分割掩码和ROI层实现像素对齐，在RoI Align上引入一个全卷积网络，对像素进行分类。即，DensePose-RCNN包括金字塔网络特征的R-CNN结构和区域特征聚集RoI Align结构。其中，RoI Align是一种区域特征聚集方式，很好地解决了ROI Pooling操作中两次量化造成的区域不匹配的问题，提升了预测结果的准确性。
需要说明的是，DensePose算法即利用深度学习将二维图像坐标映射到三维模型，再加上以每秒多帧的速度处理密集坐标，最后实现动态物体的精确定位和姿态估计。详细来说，DensePose算法能够将二维人体图像中人体的表面像素投影到三维人体表面上，也可以在估计出二维人体图像中人体标记点的UV坐标之后，将三维模型通过变换，实现将空间坐标转换为UV坐标之后贴到二维人体图像上。也即，手动标注上了标记点的UV坐标之后，可以将一个三维人物的表面经过变换投影到二维图像上，并且会根据二维图像中人体的姿态做适当的变换，从而使得三维模型的表面可以做到紧贴二维人体。
在步骤305中，电子设备基于人体关键点预测结果和设置的褶皱出现规则，在融合图像上绘制褶皱，得到目标图像。
其中，褶皱出现规则可以针对二次元的漫画风格，或者，还可以针对工笔画、写意画或抽象画等，本公开实施例对此不进行具体限定。
在一种可能的实现方式中，基于人体关键点预测结果和设置的褶皱出现规则，在融合图像上绘制褶皱，得到目标图像，包括但不限于：
步骤a、基于人体关键点预测结果和该褶皱出现规则生成多个可选项；其中，每个可选项对应人体关键点预测结果中的两个人体关键点。
示例性地，基于人体关键点预测结果和褶皱出现规则生成多个可选项，包括但不限于：基于褶皱出现规则确定褶皱出现区域；其中，褶皱出现区域指代人体上存在褶皱的区域；根据确定出来的褶皱出现区域，在人体关键点预测结果中筛选人体关键点；根据筛选出来的人体关键点生成多个可选项。
其中，每个可选项对应筛选出来的人体关键点中的两个人体关键点。比如，躯干前面右侧中部和躯干前面右侧下方这两个关键点便对应一个可选项。
步骤b、显示多个可选项；在多个可选项中确定用户选中的M个目标可选项。
其中，M的取值为正整数。即，在呈现多个可选项后，终端可以确定用户选中的那些可选项，便根据这些可选项对应的关键点来画褶皱。比如，若用户选择了某一可选项A，而该可选项A对应躯干前面右侧中部和躯干前面右侧下方这两个关键点，终端便知道需要在这两个关键点之间画一条褶皱。
步骤c、对于每个目标可选项，将目标可选项对应的两个人体关键点分别作为待绘制的褶皱的起点和终点；连接确定出来的起点和相应的终点，得到绘制在融合图像上的一条褶皱。
在一种可能的实现方式中，连接确定出来的起点和相应的终点，得到绘制在融合图像上的一条褶皱，包括但不限于：采用贝塞尔曲线连接确定出来的起点和相应的终点，得到绘制在融合图像上的一条褶皱。其中，上述贝塞尔曲线可以为二阶贝塞尔曲线。
示例性地，二阶贝塞尔曲线的连接规则可以包括：在指定夹角值区间内随机生成第一夹角值和第二夹角值；将第一夹角值作为起点的切线方向，将第二夹角值作为终点的切线方向；基于起点的切线方向和终点的切线方向生成褶皱。
其中，第一夹角值指经过起点的第一切线与指定直线相切形成的夹角值，第二夹角值指经过终点的第二切线与指定直线相切形成的夹角值；第一切线与第二切线位于指定直线的同一侧，指定直线经过起点和终点。
示例性地，为了确保曲线看起来更加自然，指定夹角值区间可以为10度至20度。
示例性地，以对人体图像中的人体进行二次元风格化处理为例，即漫画类型的图像处理仅是针对人体进行的，比如仅考虑身体的转化，而忽略头部和背景，即头部和背景不在考虑范围内。其中，在对人体进行二次元风格化处理时，褶皱的存在是必要的，没有褶皱，画面看起来会过于简单缺少细节，人体的姿势和动态等也很难体现。然而，针对人体的褶皱并不是随机出现的几道曲线，而是在人体上有比较常见的分布方式。比如，褶皱主要存在于肢体边界、关节处、服饰边界、以及口袋、裤线、裙摆等有明确存在意义的地方。
示例性地，褶皱的出现一般有以下几种原因：
3051、重力。即，衣服在重力的作用下会下垂。上面的布料贴着身体，下面的布料就会松弛地垂下来，褶皱也随之产生
3052、弯曲。即，关节弯曲时，衣服在关节处会形成放射状的褶皱。
3053、松弛。即，此类褶皱边缘较为宽大，看上去较为松散。
在一种可能的实现方式中，褶皱的种类包括但不限于如下几种：a、肘部的褶皱。b、关节处的褶皱。c、布料拼接缝合处的褶皱。d、抬起手臂时，腋下的布料被牵引向上，产生的褶皱。e、裤子垂在脚面上产生的褶皱。f、裙摆出现的褶皱。
需要说明的是，实际漫画中的褶皱的种类和样式可以参考动漫作家的画面风格。
基于以上描述可知，要绘制褶皱，还需要先要识别出人体的各个关键点在画面上的具体位置；且这个关键点必须足够密集，不能仅仅是肩、跨、肘、膝等，需要数十个关键点才可以，这也是为什么需要在上述步骤中预测密集人体关键点的原因所在。
作为一个示例，在得到密集人体关键点后，绘制褶皱的方法可以为：首先确定好各条褶皱的两个端点，之后，可以使用贝塞尔曲线连接确定好的多个端点对，这样便能使得褶皱看起来更加自然，也更符合二次元人体漫画风格的抽象特点。
在一种可能的实现方式中，褶皱的两个端点的选取与人体常见的褶皱出现区域有关，比如依据衣服走势，躯干前部靠右延伸至躯干前部靠右下便分别对应一个褶皱的起点和终点。示例性地，褶皱出现区域可以为肢体边界、关节处、服饰边界、以及口袋、裤线、裙摆等，具体可参考动漫作家的画面风格，本公开实施例对此不进行具体限定。在将褶皱绘制到提取好色块的人体上，即可得到如图4中步骤(5)所示的最终画面效果。
本公开实施例提供的方法至少具有如下有益效果：
在对待处理的人体图像依次经过人体分区、边缘提取以及色块提取等处理后，会将边缘提取结果叠加到提取到的色块上到融合图像；之后，再对人体图像的人体区域进行人体关键点预测得到人体关键点预测结果；最后，基于人体关键点预测结果和设置的褶皱出现规则，在该融合图像上绘制褶皱得到目标图像。即，本公开实施例能够基于预测到的人体关键点和褶皱出现规则为上述融合图像添加褶皱，实现了将待处理的人体图像转化为具有一定绘画风格的图像，丰富了图像处理方式。比如，当褶皱出现规则是针对二次元的漫画风格时，便可以得到具有二次元风格的漫画类型图像。另外，边缘提取和色块提取均是在人体分区后进行的，这保证了边缘提取和色块提取是具备语义选择性的，并不是杂乱和随机的，再基于预测到的人体关键点绘制褶皱，不但保证了当人体边界和背景颜色相近时的边缘提取效果，而且还能够得到更精准的褶皱，不会使画面出现凌乱感，确保了褶皱仅出现在需要的位置，该种图像处理效果较佳。
其中，图7的中图示出了对待处理的人体图像(图7中的左图)包括的人体进行二次元风格化处理后的效果。其中，该漫画类型的图像处理仅是针对人体进行的，比如仅考虑身体的转化，而忽略头部和背景，即头部和背景不在考虑范围内。另外，还可以考虑进行头部和背景的二次元风格化处理，进而得到图7中的右图所示的画面效果，本公开实施例对此不进行具体限定。
图8是根据一示例性实施例示出的一种图像处理装置的框图。参照图8，该装置包括获取模块801，第一处理模块802，提取模块803，融合模块804，预测模块805和第二处理模块806。
获取模块801，被配置为获取待处理的人体图像；
处理模块802，被配置为对所述人体图像的人体区域进行分区处理，得到N个子图像区域，N的取值为正整数；
提取模块803，被配置为分别对所述N个子图像区域中的每个子图像区域进行边缘提取和色块提取，得到边缘提取结果和N个色块，其中，所述色块提取是指将每个子图像区域包括的各个像素点的颜色值统一配置为相同数值，所述相同数值是根据所述各个像素点的原始颜色值确定的；
融合模块804，被配置为将所述边缘提取结果叠加到所述N个色块上，得到融合图像；
预测模块805，被配置为对所述人体图像的人体区域进行人体关键点预测，得到人体关键点预测结果；
第二处理模块806，被配置为基于所述人体关键点预测结果和设置的褶皱出现规则，在所述融合图像上绘制褶皱，得到目标图像。
本公开实施例提供的装置，在对待处理的人体图像依次经过人体分区、边缘提取以及色块提取等处理后，会将边缘提取结果叠加到提取到的色块上到融合图像；之后，再对人体图像的人体区域进行人体关键点预测得到人体关键点预测结果；最后，基于人体关键点预测结果和设置的褶皱出现规则，在该融合图像上绘制褶皱得到目标图像。即，本公开实施例能够基于预测到的人体关键点和褶皱出现规则为上述融合图像添加褶皱，实现了将待处理的人体图像转化为具有一定绘画风格的图像，丰富了图像处理方式。比如，当褶皱出现规则是针对二次元的漫画风格时，便可以得到具有二次元风格的漫画类型图像。另外，边缘提取和色块提取均是在人体分区后进行的，这保证了边缘提取和色块提取是具备语义选择性的，并不是杂乱和随机的，再基于预测到的人体关键点绘制褶皱，不但保证了当人体边界和背景颜色相近时的边缘提取效果，而且还能够得到更精准的褶皱，不会使画面出现凌乱感，确保了褶皱仅出现在需要的位置，该种图像处理效果较佳。
在一种可能的实现方式中，所述第一处理模块，被配置为按照所述人体区域中包括的人体部位和服饰，对所述人体区域进行分区处理，得到用于指示所述N个子图像区域的掩码，每个子图像区域对应的掩码分别用不同的色彩进行表征；其中，一个子图像区域对应一个色块，每个子图像区域包括一种人体部位或一种服饰。
在一种可能的实现方式中，所述提取模块，包括：
第一处理单元，被配置为对于每个子图像区域，对所述子图像区域进行滤波处理，得到滤波图像；
计算单元，被配置为计算所述滤波图像中每个像素点的梯度数据，得到梯度图像；
第二处理单元，被配置为根据所述每个像素点的梯度数据，对所述梯度图像中包括的像素点进行过滤处理，得到未被过滤的剩余像素点；
第三处理单元，被配置为基于所述剩余像素点的梯度强度和设置的两个阈值，对所述剩余像素点进行筛选处理，得到筛选后的像素点；
连接单元，被配置为连接所述筛选后的像素点，得到所述边缘提取结果。
在一种可能的实现方式中，所述第二处理单元，被配置为，被配置为对于所述梯度图像中的每个像素点，将所述像素点的梯度强度同相邻的两个像素点的梯度强度进行比较；若所述像素点的梯度强度大于所述两个像素点的梯度强度，则将所述像素点保留；若所述像素点的梯度强度最小或小于所述两个像素点中任一个像素点的梯度强度，则将所述像素点过滤掉；其中，所述相邻的两个相像素点位于所述像素点的梯度方向上，且位于所述像素点的两侧。
在一种可能的实现方式中，所述第三处理单元，被配置为对于所述剩余像素点中的每个像素点，若所述像素点的梯度强度大于设置的所述第一阈值，则保留所述像素点，并将所述像素点标记为第一类像素点；或，若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，且，所述像素点的邻域像素点中包括所述第一类像素点，则保留所述像素点，并将所述像素点标记为第二类像素点；或，若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，且，所述像素点的邻域像素点中不包括所述第一类像素点，则将所述像素点过滤掉；或，若所述像素点的梯度强度小于所述第二阈值，则将所述像素点过滤掉。
在一种可能的实现方式中，所述提取模块还包括：
获取单元，被配置为对于每个子图像区域，获取所述子图像区域中全部像素点的色彩平均值；
提取单元，被配置为将所述子图像区域中每个像素点的颜色值配置为所述色彩平均值，得到所述子图像区域对应的色块。
在一种可能的实现方式中，所述获取单元，被配置为分别获取所述子图像区域中全部像素点在R通道的第一色彩平均值、在G通道的第二色彩平均值以及在B通道的第三色彩平均值；
所述提取单元，被配置为将所述子图像区域中每个像素点在R通道的颜色值配置为所述第一色彩平均值，在G通道的颜色值配置为所述第二色彩平均值，在B通道的颜色值配置为所述第三色彩平均值。
在一种可能的实现方式中，所述第二处理模块，包括：
确定单元，被配置为基于所述人体关键点预测结果和所述褶皱出现规则生成多个可选项；其中，每个可选项对应所述人体关键点预测结果中的两个人体关键点；显示所述多个可选项；在所述多个可选项中确定用户选中的M个目标可选项，M的取值为正整数；对于每个目标可选项，将所述目标可选项对应的两个人体关键点分别作为待绘制的褶皱的起点和终点；
绘制单元，被配置为连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
在一种可能的实现方式中，所述绘制单元，被配置为采用贝塞尔曲线连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9示出了本公开一个示例性实施例提供的一种电子设备的结构框图。
通常，设备900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本公开中方法实施例提供的电子设备执行的图像处理方法。
在一些实施例中，设备900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置设备900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在设备900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在设备900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在设备900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位设备900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源909用于为设备900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，设备900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以设备900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测设备900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对设备900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在设备900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在设备900的侧边框时，可以检测用户对设备900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置设备900的正面、背面或侧面。当设备900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
接近传感器916，也称距离传感器，通常设置在设备900的前面板。接近传感器916用于采集用户与设备900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与设备900的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与设备900的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图9中示出的结构并不构成对设备900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备900的处理器执行以完成上述图像处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述方法实施例所述的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (20)
1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理的人体图像，对所述人体图像的人体区域进行分区处理，得到N个子图像区域，N的取值为正整数；
分别对所述N个子图像区域中的每个子图像区域进行边缘提取和色块提取，得到边缘提取结果和N个色块，其中，所述色块提取是指将每个子图像区域包括的各个像素点的颜色值统一配置为相同数值，所述相同数值是根据所述各个像素点的原始颜色值确定的；
将所述边缘提取结果叠加到所述N个色块上，得到融合图像；
对所述人体图像的人体区域进行人体关键点预测，得到人体关键点预测结果；
基于所述人体关键点预测结果和设置的褶皱出现规则，在所述融合图像上绘制褶皱，得到目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述人体图像的人体区域进行分区处理，包括：
按照所述人体区域中包括的人体部位和服饰，对所述人体区域进行分区处理，得到用于指示所述N个子图像区域的掩码，每个子图像区域对应的掩码分别用不同的色彩进行表征；
其中，一个子图像区域对应一个色块，每个子图像区域包括一种人体部位或一种服饰。
3.根据权利要求1所述的图像处理方法，其特征在于，所述对所述N个子图像区域中的每个子图像区域分别进行边缘提取，包括：
对于每个子图像区域，对所述子图像区域进行滤波处理，得到滤波图像；
计算所述滤波图像中每个像素点的梯度数据，得到梯度图像；
根据所述每个像素点的梯度数据，对所述梯度图像中包括的像素点进行过滤处理，得到未被过滤的剩余像素点；
基于所述剩余像素点的梯度强度和设置的两个阈值，对所述剩余像素点进行筛选处理，得到筛选后的像素点；
连接所述筛选后的像素点，得到所述边缘提取结果。
4.根据权利要求3所述的图像处理方法，其特征在于，所述梯度数据包括梯度强度和梯度方向，所述根据所述每个像素点的梯度数据，对所述梯度图像中包括的像素点进行过滤处理，包括：
对于所述梯度图像中的每个像素点，将所述像素点的梯度强度同相邻的两个像素点的梯度强度进行比较；
若所述像素点的梯度强度大于所述两个像素点的梯度强度，则将所述像素点保留；
若所述像素点的梯度强度最小或小于所述两个像素点中任一个像素点的梯度强度，则将所述像素点过滤掉；
其中，所述相邻的两个相像素点位于所述像素点的梯度方向上，且位于所述像素点的两侧。
5.根据权利要求3所述的图像处理方法，其特征在于，所述两个阈值包括第一阈值和第二阈值，所述第一阈值大于所述第二阈值；
所述基于所述剩余像素点的梯度强度和设置的两个阈值，对所述剩余像素点进行筛选处理，包括：
对于所述剩余像素点中的每个像素点，若所述像素点的梯度强度大于所述第一阈值，则保留所述像素点，并将所述像素点标记为第一类像素点；或，
若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，以及与所述像素点相邻的像素点中包括所述第一类像素点，则保留所述像素点，并将所述像素点标记为第二类像素点；或，
若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，以及与所述像素点相邻的像素点中不包括所述第一类像素点，则将所述像素点过滤掉；或，
若所述像素点的梯度强度小于所述第二阈值，则将所述像素点过滤掉。
6.根据权利要求1所述的图像处理方法，其特征在于，所述对所述N个子图像区域中的每个子图像区域进行色块提取，包括：
对于每个子图像区域，获取所述子图像区域中全部像素点的色彩平均值；
将所述子图像区域中每个像素点的颜色值配置为所述色彩平均值，得到所述子图像区域对应的色块。
7.根据权利要求6所述的图像处理方法，其特征在于，所述获取所述子图像区域中全部像素点的色彩平均值，包括：
分别获取所述子图像区域中全部像素点在R通道的第一色彩平均值、在G通道的第二色彩平均值以及在B通道的第三色彩平均值；
所述将所述子图像区域中每个像素点的颜色值配置为所述色彩平均值，包括：
将所述子图像区域中每个像素点在R通道的颜色值配置为所述第一色彩平均值，在G通道的颜色值配置为所述第二色彩平均值，在B通道的颜色值配置为所述第三色彩平均值。
8.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述人体关键点预测结果和设置的褶皱出现规则，在所述融合图像上绘制褶皱，得到目标图像，包括：
基于所述人体关键点预测结果和所述褶皱出现规则生成多个可选项；其中，每个可选项对应所述人体关键点预测结果中的两个人体关键点；
显示所述多个可选项；
在所述多个可选项中确定用户选中的M个目标可选项，M的取值为正整数；
对于每个目标可选项，将所述目标可选项对应的两个人体关键点分别作为待绘制的褶皱的起点和终点；
连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
9.根据权利要求8所述的图像处理方法，其特征在于，所述连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱，包括：
采用贝塞尔曲线连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
10.一种图像处理装置，其特征在于，所述装置包括：
获取模块，被配置为获取待处理的人体图像；
第一处理模块，被配置为对所述人体图像的人体区域进行分区处理，得到N个子图像区域，N的取值为正整数；
提取模块，被配置为分别对所述N个子图像区域中的每个子图像区域进行边缘提取和色块提取，得到边缘提取结果和N个色块，其中，所述色块提取是指将每个子图像区域包括的各个像素点的颜色值统一配置为相同数值，所述相同数值是根据所述各个像素点的原始颜色值确定的；
融合模块，被配置为将所述边缘提取结果叠加到所述N个色块上，得到融合图像；
预测模块，被配置为对所述人体图像的人体区域进行人体关键点预测，得到人体关键点预测结果；
第二处理模块，被配置为基于所述人体关键点预测结果和设置的褶皱出现规则，在所述融合图像上绘制褶皱，得到目标图像。
11.根据权利要求10所述的图像处理装置，其特征在于，所述第一处理模块，被配置为按照所述人体区域中包括的人体部位和服饰，对所述人体区域进行分区处理，得到用于指示所述N个子图像区域的掩码，每个子图像区域对应的掩码分别用不同的色彩进行表征；其中，一个子图像区域对应一个色块，每个子图像区域包括一种人体部位或一种服饰。
12.根据权利要求10所述的图像处理装置，其特征在于，所述提取模块，包括：
第一处理单元，被配置为对于每个子图像区域，对所述子图像区域进行滤波处理，得到滤波图像；
计算单元，被配置为计算所述滤波图像中每个像素点的梯度数据，得到梯度图像；
第二处理单元，被配置为根据所述每个像素点的梯度数据，对所述梯度图像中包括的像素点进行过滤处理，得到未被过滤的剩余像素点；
第三处理单元，被配置为基于所述剩余像素点的梯度强度和设置的两个阈值，对所述剩余像素点进行筛选处理，得到筛选后的像素点；
连接单元，被配置为连接所述筛选后的像素点，得到所述边缘提取结果。
13.根据权利要求12所述的图像处理装置，其特征在于，所述第二处理单元，被配置为，被配置为对于所述梯度图像中的每个像素点，将所述像素点的梯度强度同相邻的两个像素点的梯度强度进行比较；若所述像素点的梯度强度大于所述两个像素点的梯度强度，则将所述像素点保留；若所述像素点的梯度强度最小或小于所述两个像素点中任一个像素点的梯度强度，则将所述像素点过滤掉；其中，所述相邻的两个相像素点位于所述像素点的梯度方向上，且位于所述像素点的两侧。
14.根据权利要求12所述的图像处理装置，其特征在于，所述两个阈值包括第一阈值和第二阈值，所述第一阈值大于所述第二阈值；
所述第三处理单元，被配置为对于所述剩余像素点中的每个像素点，若所述像素点的梯度强度大于所述第一阈值，则保留所述像素点，并将所述像素点标记为第一类像素点；或，若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，且，所述像素点的邻域像素点中包括所述第一类像素点，则保留所述像素点，并将所述像素点标记为第二类像素点；或，若所述像素点的梯度强度小于所述第一阈值且大于所述第二阈值，且，所述像素点的邻域像素点中不包括所述第一类像素点，则将所述像素点过滤掉；或，若所述像素点的梯度强度小于所述第二阈值，则将所述像素点过滤掉。
15.根据权利要求10所述的图像处理装置，其特征在于，所述提取模块还包括：
获取单元，被配置为对于每个子图像区域，获取所述子图像区域中全部像素点的色彩平均值；
提取单元，被配置为将所述子图像区域中每个像素点的颜色值配置为所述色彩平均值，得到所述子图像区域对应的色块。
16.根据权利要求15所述的图像处理装置，其特征在于，所述获取单元，被配置为分别获取所述子图像区域中全部像素点在R通道的第一色彩平均值、在G通道的第二色彩平均值以及在B通道的第三色彩平均值；
所述提取单元，被配置为将所述子图像区域中每个像素点在R通道的颜色值配置为所述第一色彩平均值，在G通道的颜色值配置为所述第二色彩平均值，在B通道的颜色值配置为所述第三色彩平均值。
17.根据权利要求10所述的图像处理装置，其特征在于，所述第二处理模块，包括：
确定单元，被配置为基于所述人体关键点预测结果和所述褶皱出现规则生成多个可选项；其中，每个可选项对应所述人体关键点预测结果中的两个人体关键点；显示所述多个可选项；在所述多个可选项中确定用户选中的M个目标可选项，M的取值为正整数；对于每个目标可选项，将所述目标可选项对应的两个人体关键点分别作为待绘制的褶皱的起点和终点；
绘制单元，被配置为连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
18.根据权利要求17所述的图像处理装置，其特征在于，所述绘制单元，被配置为采用贝塞尔曲线连接确定出来的起点和相应的终点，得到绘制在所述融合图像上的一条褶皱。
19.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至9中任一项所述的图像处理方法。
20.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至9中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010434334.5A CN113781291B (zh) | 2020-05-21 | 2020-05-21 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010434334.5A CN113781291B (zh) | 2020-05-21 | 2020-05-21 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113781291A CN113781291A (zh) | 2021-12-10 |
| CN113781291B true CN113781291B (zh) | 2024-01-23 |
Family
ID=78834179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010434334.5A Active CN113781291B (zh) | 2020-05-21 | 2020-05-21 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781291B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661370B (zh) * | 2022-12-14 | 2023-04-28 | 长沙观谱红外科技有限公司 | 一种红外3d人体模型构建方法及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03156684A (ja) * | 1989-11-15 | 1991-07-04 | Hitachi Ltd | アパレルｃｇ作画方法 |
| JP2006015614A (ja) * | 2004-07-01 | 2006-01-19 | Fuji Xerox Co Ltd | 画像形成装置 |
| JP2006084582A (ja) * | 2004-09-14 | 2006-03-30 | Fuji Xerox Co Ltd | 画像形成装置 |
| CN102792337A (zh) * | 2010-01-12 | 2012-11-21 | 新加坡南洋理工大学 | 用于生成数字图片的方法、装置和计算机可读介质 |
| CN104952036A (zh) * | 2015-06-18 | 2015-09-30 | 福州瑞芯微电子有限公司 | 一种即时视频中的人脸美化方法和电子设备 |
| WO2016152076A1 (ja) * | 2015-03-20 | 2016-09-29 | 日本電気株式会社 | 構造物の状態判定装置と状態判定システムおよび状態判定方法 |
| CN110929651A (zh) * | 2019-11-25 | 2020-03-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7298374B2 (en) * | 2005-08-02 | 2007-11-20 | Sony Computer Entertainment America Inc. | Scheme for providing wrinkled look in computer simulation of materials |
| US8798362B2 (en) * | 2011-08-15 | 2014-08-05 | Hewlett-Packard Development Company, L.P. | Clothing search in images |
| US10600226B2 (en) * | 2016-09-07 | 2020-03-24 | The University Of Hong Kong | System and method for manipulating a facial image and a system for animating a facial image |
-
2020
- 2020-05-21 CN CN202010434334.5A patent/CN113781291B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03156684A (ja) * | 1989-11-15 | 1991-07-04 | Hitachi Ltd | アパレルｃｇ作画方法 |
| JP2006015614A (ja) * | 2004-07-01 | 2006-01-19 | Fuji Xerox Co Ltd | 画像形成装置 |
| JP2006084582A (ja) * | 2004-09-14 | 2006-03-30 | Fuji Xerox Co Ltd | 画像形成装置 |
| CN102792337A (zh) * | 2010-01-12 | 2012-11-21 | 新加坡南洋理工大学 | 用于生成数字图片的方法、装置和计算机可读介质 |
| WO2016152076A1 (ja) * | 2015-03-20 | 2016-09-29 | 日本電気株式会社 | 構造物の状態判定装置と状態判定システムおよび状態判定方法 |
| CN104952036A (zh) * | 2015-06-18 | 2015-09-30 | 福州瑞芯微电子有限公司 | 一种即时视频中的人脸美化方法和电子设备 |
| CN110929651A (zh) * | 2019-11-25 | 2020-03-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于径向基函数的图像修复技术;周廷方, 汤锋, 王进, 王章野, 彭群生;中国图象图形学报(第10期);全文 * |
| 基于深度信息局部二值模式特征的室内场景边缘检测;于莉洁;孙瑜亮;缪永伟;;计算机辅助设计与图形学学报(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113781291A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929651B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US11546505B2 (en) | Touchless photo capture in response to detected hand gestures | |
| US11481923B2 (en) | Relocalization method and apparatus in camera pose tracking process, device, and storage medium | |
| JP6490430B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
| CN111738220A (zh) | 三维人体姿态估计方法、装置、设备及介质 | |
| CN110363867B (zh) | 虚拟装扮系统、方法、设备及介质 | |
| CN108537845A (zh) | 位姿确定方法、装置及存储介质 | |
| CN113205568B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| JP2019510297A (ja) | ユーザの真実の人体モデルへの仮想的な試着 | |
| CN111541907B (zh) | 物品显示方法、装置、设备及存储介质 | |
| CN111726536A (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
| CN110570460B (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
| CN110599593B (zh) | 数据合成的方法、装置、设备及存储介质 | |
| CN112991494B (zh) | 图像生成方法、装置、计算机设备及计算机可读存储介质 | |
| CN112287852B (zh) | 人脸图像的处理方法、显示方法、装置及设备 | |
| CN110807361A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
| CN112749613B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
| CN109360222B (zh) | 图像分割方法、装置及存储介质 | |
| CN111680758B (zh) | 图像训练样本生成方法和装置 | |
| CN110675412B (zh) | 图像分割方法、图像分割模型的训练方法、装置及设备 | |
| CN107609946B (zh) | 一种显示控制方法及计算设备 | |
| CN114170349A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| CN111768507B (zh) | 图像融合方法、装置、计算机设备及存储介质 | |
| CN111738914A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| KR20170083415A (ko) | 영상처리장치 및 그 제어방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |