CN113284041B - 一种图像处理方法、装置、设备及计算机存储介质 - Google Patents
一种图像处理方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN113284041B CN113284041B CN202110527077.4A CN202110527077A CN113284041B CN 113284041 B CN113284041 B CN 113284041B CN 202110527077 A CN202110527077 A CN 202110527077A CN 113284041 B CN113284041 B CN 113284041B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- pixel
- pixel position
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 159
- 238000000034 method Methods 0.000 claims abstract description 91
- 238000009877 rendering Methods 0.000 claims abstract description 43
- 230000009466 transformation Effects 0.000 claims description 101
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 99
- 238000012549 training Methods 0.000 claims description 96
- 239000011159 matrix material Substances 0.000 claims description 93
- 238000003709 image segmentation Methods 0.000 claims description 88
- 238000005520 cutting process Methods 0.000 claims description 59
- 230000007704 transition Effects 0.000 claims description 39
- 230000015654 memory Effects 0.000 claims description 22
- 238000009499 grossing Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 description 24
- 230000000694 effects Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 230000011218 segmentation Effects 0.000 description 16
- 238000010606 normalization Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000002372 labelling Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000003796 beauty Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000000282 nail Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 210000005010 torso Anatomy 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开实施例公开了一种图像处理方法、装置、设备及计算机存储介质，其中，该方法包括：基于待处理图像，确定目标部位的像素位置和所述目标部位中被遮挡区域的像素位置；基于所述目标部位的像素位置和所述目标部位中被遮挡区域的像素位置，确定所述目标部位中未被遮挡区域的像素位置；基于所述目标部位中未被遮挡区域的像素位置，对所述未被遮挡区域进行渲染处理。
Description
技术领域
本公开实施例涉及但不限于图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及计算机存储介质。
背景技术
随着摄像技术的普及和应用，利用设备进行图像拍摄或视频拍摄已经成为人们日常生活中用来记录生活的重要手段之一。为了提升图像或视频美感，可以对图像或视频中人物的某些部位进行渲染，比如可以对图像的人脸部位和/或对图像的肢体部位进行美妆特效处理。
相关技术中，在对某些部位进行渲染时，在该部位被遮挡的情况下，例如，在某一个部位被遮挡物遮挡的情况下，对部位进行的渲染会显示在遮挡物上，从而导致美妆效果不自然。
因此，如何进行图像处理，以解决由于对遮挡物进行渲染导致美妆效果不自然的问题，成为了技术人员亟待解决的一个问题。
发明内容
本公开实施例提供一种图像处理方法、装置、设备及计算机存储介质。
第一方面，提供一种图像处理方法，包括：基于待处理图像，确定目标部位的像素位置和所述目标部位中被遮挡区域的像素位置；基于所述目标部位的像素位置和所述目标部位中被遮挡区域的像素位置，确定所述目标部位中未被遮挡区域的像素位置；基于所述目标部位中未被遮挡区域的像素位置，对所述未被遮挡区域进行渲染处理。
在一些实施例中，所述基于待处理图像，确定目标部位的像素位置，包括：对所述待处理图像进行关键点检测，得到所述目标部位的关键点信息；基于所述目标部位的关键点信息，确定所述目标部位的像素位置。
这样，由于基于目标部位的关键点信息确定目标部位的像素位置，目标部位的像素位置即是：目标部位中可见部分的像素位置和不可见部分的像素位置，进而能够基于目标部位的像素位置和目标部位中被遮挡区域的像素位置，得到目标部位中未被遮挡区域的像素位置。
在一些实施例中，所述基于待处理图像，确定所述目标部位中被遮挡区域的像素位置，包括：基于图像分割模型和所述待处理图像，确定所述目标部位中被遮挡区域的像素位置。
这样，由于目标部位中被遮挡区域的像素位置是基于图像分割模型确定的，从而能够使确定的目标部位中被遮挡区域的像素位置准确。
在一些实施例中，所述基于图像分割模型和所述待处理图像，确定所述目标部位中被遮挡区域的像素位置，包括：基于所述待处理图像，确定包括所述目标部位的切割图像；基于所述切割图像，确定向所述图像分割模型输入的目标图像；利用所述图像分割模型对所述目标图像进行处理，得到输出图像；基于所述输出图像，确定所述目标部位中被遮挡区域的像素位置。
这样，基于待处理图像，确定包括目标部位的切割图像；基于切割图像，确定目标图像，使得向图像分割模型输入的目标图像仅涉及目标部位和目标部位附近区域的特征，不仅使得图像分割模型无需处理切割图像的特征之外的图像特征，进而提高图像分割模型输出的输出图像的准确度，还能够降低使用图像分割模型得到输出图像的计算量，降低得到的目标部位中被遮挡区域的像素位置的耗时。
在一些实施例中，所述基于所述待处理图像，确定包括所述目标部位的切割图像，包括：基于所述待处理图像和仿射变换矩阵，确定仿射变换后的图像；对所述仿射变换后的图像进行切割，得到所述切割图像；所述基于所述输出图像，确定所述目标部位中被遮挡区域的像素位置，包括：基于所述输出图像和所述仿射变换矩阵，确定所述目标部位中被遮挡区域的像素位置。
这样，由于先通过仿射变换矩阵和待处理图像得到仿射变换后的图像，然后再基于仿射变换后的图像确定切割图像，从而切割图像保持了待处理图像的平直性和平行性，且切割图像的尺寸能够符合图像分割模型的输入，接着通过图像分割模型对基于切割图像确定的目标图像进行处理，能够准确的得到表征目标部位中被遮挡区域的输出图像，进而通过输出图像和仿射变换矩阵，准确地得到待处理图像的目标部位中被遮挡区域的像素位置。
在一些实施例中，所述输出图像包括：与所述目标图像或所述切割图像的像素的行列数相同的目标矩阵，所述目标矩阵中的每一元素的元素值，表征所述每一元素对应的像素属于所述目标部位或非目标部位的概率；所述基于所述输出图像，确定所述目标部位中被遮挡区域的像素位置，包括：将所述目标矩阵中的每一元素的元素值，确定为所述切割图像中每一像素对应的元素值；基于所述切割图像中每一像素对应的元素值和所述仿射变换矩阵，确定所述目标部位中被遮挡区域的像素位置。
这样，将图像分割模型输出的目标矩阵的每一元素值，确定为所述切割图像中每一像素对应的元素值，从而提供了一种确定切割图像中每一像素对应的元素值的方式；而基于切割图像中每一像素对应的元素值和仿射变换矩阵，能够得到待处理图像中与切割图像对应的局部图像的每一个像素是否属于目标部位，从而通过像素级别的确定目标部位中被遮挡区域的像素位置，精确地对未被遮挡区域进行渲染处理，使得对目标部位的渲染自然。
在一些实施例中，所述基于所述切割图像中每一像素对应的元素值和所述仿射变换矩阵，确定所述目标部位中被遮挡区域的像素位置，包括：基于所述切割图像中每一像素对应的元素值和所述仿射变换矩阵，确定所述待处理图像中，与所述切割图像对应的包括所述目标部位的局部图像中每一像素对应的元素值；基于所述局部图像中每一像素对应的元素值，确定所述目标部位中被遮挡区域的像素位置。
这样，基于切割图像中每一像素对应的元素值和仿射变换矩阵，能够反算出在待处理图像中与切割图像对应的局部图像中每一像素对应的元素值，进而可以基于局部图像中每一像素对应的元素值，确定目标部位中被遮挡区域的像素位置，从而提供了一种容易实现的确定目标部位中被遮挡区域的像素位置的方式。
在一些实施例中，所述基于所述局部图像中每一像素对应的元素值，确定所述目标部位中被遮挡区域的像素位置，包括：在所述目标部位的像素位置上，从所述局部图像中每一像素对应的元素值中确定符合第一阈值条件的目标元素值；确定所述局部图像中的第一指定像素，对应在所述待处理图像中的第二指定像素的像素位置；基于所述目标元素值对应在所述局部图像上的像素位置和所述第二指定像素的像素位置，确定所述目标部位中被遮挡区域的像素位置。
这样，基于目标部位的被遮挡区域在局部图像上的像素位置，和确定的局部图像中的第一指定像素对应在待处理图像中的第二指定像素的像素位置，来确定待处理图像中目标部位中被遮挡区域的像素位置，从而只需对局部图像中每一像素的是否属于目标部位的判断结果进行转存和处理，降低了对判断结果进行转存和处理的耗时。
在一些实施例中，所述基于所述局部图像中每一像素对应的元素值，确定所述目标部位中被遮挡区域的像素位置，包括：确定所述待处理图像中除所述局部图像之外的指定区域中每一像素对应的元素值；在所述目标部位的像素位置上，从所述指定区域中每一像素对应的元素值和所述局部图像中每一像素的元素值中，确定符合第一阈值条件的指定元素值；基于所述指定元素值对应在所述待处理图像上的像素位置，确定所述目标部位中被遮挡区域的像素位置。
这样，通过确定待处理图像中除所述局部图像之外的指定区域中每一像素对应的元素值，从而能够得到待处理图像的每一像素对应的元素值，进而可以基于待处理图像的每一像素对应的元素值的大小，确定待处理图像中目标部位中被遮挡区域的像素位置，如此确定目标部位中被遮挡区域的像素位置的方式简单且容易实现。
在一些实施例中，所述方法还包括：基于所述输出图像，确定所述目标部位的像素位置上的每一像素对应的元素值；所述基于所述目标部位的像素位置和所述目标部位中被遮挡区域的像素位置，确定所述目标部位中未被遮挡区域的像素位置，包括：在所述目标部位的像素位置上的每一像素对应的元素值中，确定符合第二阈值条件的候选元素值；将所述候选元素值对应的像素位置，确定为所述过渡区域的像素位置；基于所述目标部位中被遮挡区域的像素位置和所述过渡区域的像素位置，确定所述目标部位中未被遮挡区域的像素位置。
这样，可以先确定过渡区域的像素位置，过渡区域中的每一像素对应的元素值表征每一像素既有可能属于目标部位，也有可能属于非目标部位，从而基于目标部位中被遮挡区域的像素位置和过渡区域的像素位置，确定的目标部位中未被遮挡区域的像素位置，能够降低将过渡区域中的某些像素确定为未被遮挡区域的像素的情况，进而能够准确地确定目标部位中未被遮挡区域的像素位置。
在一些实施例中，所述方法还包括：基于所述过渡区域的像素位置，对所述过渡区域进行平滑处理。
这样，由于过渡区域中的每一像素对应的元素值表征每一像素既有可能属于目标部位，也有可能属于非目标部位，从而对过渡区域进行平滑处理能够使得被遮挡区域与未被遮挡区域之间过渡自然，且能够提高对待处理图像进行处理的自然度。
在一些实施例中，所述方法还包括：获取训练样本集；所述训练样本集中包括多个训练样本图像；每一所述训练样本图像中至少一个部位被遮挡；获取目标样本集；所述目标样本集中包括多个目标样本图像；每一所述目标样本图像包括部位中未被遮挡的区域掩膜；基于所述训练样本集和所述目标样本集，训练得到所述图像分割模型。
这样，以多个训练样本图像为训练输入，多个目标样本图像为训练目标，训练得到图像分割模型，从而通过图像分割模型能够对后续输入的目标图像进行处理，进而得到目标部位中未被遮挡区域的像素位置；因此可以通过图像处理设备自动地得到目标部位中未被遮挡区域的像素位置，节约了人力，且确定的目标部位中未被遮挡区域的像素位置准确。
在一些实施例中，所述方法包括：获取切割图像集和遮挡物图像集；其中，所述切割图像集中每一切割图像包括带标注的无遮挡的至少一个部位；所述遮挡物图像集中每一遮挡物图像包括带标注的遮挡物；所述获取训练样本集，包括：将所述每一遮挡物图像中的遮挡物随机遮挡在所述无遮挡的至少一个部位上，得到所述训练样本集；所述获取目标样本集，包括：基于所述每一遮挡物图像中的遮挡物相对所述无遮挡的至少一个部位的位置，确定所述目标样本集。
这样，通过将每一遮挡物图像中的遮挡物随机遮挡在无遮挡的至少一个部位上，得到训练样本集，从而一个遮挡物可以遮挡在部位的不同位置，得到不同的训练样本图像，进而能够基于限定数量的切割图像和限定数量的遮挡物图像，确定出大量的训练样本，因此训练得到的图像分割模型的性能高，使得基于图像分割模型输出的输出图像，确定的目标部位中未被遮挡区域的像素位置的准确性高。
在一些实施例中，所述获取目标样本集，包括：确定每一所述训练样本图像的遮挡物区域；基于所述遮挡物区域和每一所述训练样本图像中所述至少一个部位的关键点信息，确定每一所述训练样本图像的所述至少一个部位中未被遮挡区域；基于所述至少一个部位中未被遮挡区域，确定所述目标样本集。
这样，图像处理设备可以基于每一训练样本图像中至少一个部位的关键点信息，确定每一训练样本图像中至少一个部位的区域，然后基于至少一个部位的区域和确定的每一训练样本图像的遮挡物区域，得到至少一个部位中未被遮挡区域，从而提供了基于获取的至少一个部位被遮挡的训练样本，确定目标样本集的方式，确定方式简单。
第二方面，提供一种图像处理装置，包括：第一确定单元，用于基于待处理图像，确定目标部位的像素位置和所述目标部位中被遮挡区域的像素位置；第二确定单元，用于基于待处理图像，确定目标部位的像素位置和所述目标部位中被遮挡区域的像素位置；渲染单元，用于基于所述目标部位中未被遮挡区域的像素位置，对所述未被遮挡区域进行渲染处理。
第三方面，提供一种图像处理设备，包括：存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法中的步骤。
第四方面，提供一种计算机存储介质，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述方法中的步骤。
在本公开实施例中，由于确定的是目标部位的像素位置和目标部位中被遮挡区域的像素位置，从而基于目标部位的像素位置和目标部位中被遮挡区域的像素位置，确定的目标部位中未被遮挡区域的像素位置是像素级别的位置，如此图像处理设备能够非常精确地确定未被遮挡区域的位置，使得对未被遮挡区域进行渲染处理得到的图像的自然度高；另外，由于先确定目标部位中未被遮挡区域的像素位置，再对未被遮挡区域进行渲染处理，从而渲染结果即是对图像的处理结果，使得图像处理设备能够容易地得到对未被遮挡区域进行渲染处理后的图像。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种图像处理方法的实现流程示意图；
图2为本公开实施例提供的一种目标部位区域以及目标部位的被遮挡区域的示意图；
图3为本公开实施例提供的另一种图像处理方法的实现流程示意图；
图4为本公开实施例提供的又一种图像处理方法的实现流程示意图；
图5为本公开实施例提供的再一种图像处理方法的实现流程示意图；
图6为本公开另一实施例提供的一种图像处理方法的实现流程示意图；
图7为本公开又一实施例提供的一种图像处理方法的实现流程示意图；
图8为本公开实施例提供的一种图像分割模型的确定方法的实现流程示意图；
图9为本公开实施例提供的另一种图像分割模型的确定方法的实现流程示意图；
图10为本公开实施例提供的一种确定训练样本图像和目标样本图像的流程示意图；
图11为本公开实施例提供的又一种图像分割模型的确定方法的实现流程示意图；
图12为本公开实施例提供的另一种确定训练样本图像和目标样本图像的流程示意图；
图13为本公开实施例提供的一种图像处理装置的组成结构示意图；
图14为本公开实施例提供的一种图像处理设备的硬件实体示意图。
具体实施方式
下面将通过实施例并结合附图具体地对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是：在本公开实例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本公开实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在用户对美妆特效真实度的要求逐渐提高的前提下，人脸部分被遮挡的情况下的特效稳定性以及自然度越来越重要。
相关技术中是通过关键点检测方案来确定图像中的某一部位是否被遮挡。例如，图像处理设备可以根据图像中该部位的多个关键点，确定每一个关键点是否被遮挡，然后基于该部位中关键点被遮挡的比例，确定该部位整体是否被遮挡。这种方式在确定部位(例如嘴唇)是否整体被遮挡的情况下有效。
然而，在实际场景中，某一部位往往不会被整体遮挡，而是部分遮挡。在某一部位部分被遮挡的情况下，图像处理设备无法精确定位部位的遮挡范围，从而在对该部位进行渲染处理的时候，无法获取到该部位中的每一个像素是否被遮挡的情况，进而容易导致对遮挡该部位的遮挡物进行渲染，或者，在该部位的没有被遮挡的区域也不进行渲染的情况发生。
在本公开实施例方式，通过图像分割模型和目标图像，确定与目标图像对应的遮挡掩膜(mask)，并结合目标部位的关键点信息，达到真实的美妆效果。
遮挡掩膜可以用于区分目标部位中未被遮挡区域和除目标部位中未被遮挡区域之外的其它区域。目标部位中未被遮挡区域是目标部位中的可见区域，除目标部位中未被遮挡区域之外的其它区域可以包括目标部位中的不可见区域(即目标部位中的遮挡区域)，目标部位中的遮挡区域和目标部位中未被遮挡区域均属于目标部位区域。
在一些实施例方式中，遮挡掩膜可以为与目标图像的像素的行列数相同的目标矩阵，关于目标矩阵的描述，请参照下述实施例的描述。
遮挡物可以包括例如手指、手部或手臂等人体部位，或者，包括例如水杯、植物等物体，本公开实施例对此不进行具体限定。
本公开实施例中的目标部位可以是指一个部位或者至少两个部位。例如，目标部位可以是面部上的部位，面部上的部位可以包括面部器官。又例如，目标部位可以是非面部上的部位，非面部上的部位可以包括手部、脚部、四肢或躯干上的某些部位。在一些实施方式中，目标部位可以是包括以下至少之一：眉毛、眼睛、鼻子、嘴巴、脸部轮廓、眼皮、颧骨部位、人中部、手指、脚趾、指甲、腰部等，本公开实施例对此不进行具体限定。
需要说明的是，本公开实施例中的目标部位可以是人体上的部位。在另一些实施例中，目标部位可以是非人体上的部位，非人体例如是猫或狗等动物。
图1为本公开实施例提供的一种图像处理方法的实现流程示意图，该方法应用于图像处理设备，该方法包括：
S101、基于待处理图像，确定目标部位的像素位置和目标部位中被遮挡区域的像素位置。
图像处理设备可以包括以下之一：服务器、手机(Mobile Phone)、平板电脑(Pad)、带无线收发功能的电脑、掌上电脑、台式计算机、个人数字助理、便捷式媒体播放器、智能音箱、导航装置、智能手表、智能眼镜、智能项链等可穿戴设备、计步器、数字TV、虚拟现实(VirtualReality，VR)终端设备、增强现实(Augmented Reality，AR)终端设备、工业控制(Industrial Control)中的无线终端、无人驾驶(Self Driving)中的无线终端、远程手术(Remote Medical Surgery)中的无线终端、智能电网(Smart Grid)中的无线终端、运输安全(Transportation Safety)中的无线终端、智慧城市(Smart City)中的无线终端、智慧家庭(Smart Home)中的无线终端以及车联网系统中的车、车载设备或车载模块等等。
待处理图像可以是等待进行渲染处理的图像，待处理图像可以包括人脸图像。在实施过程中，待处理图像中人脸所占的面积与待处理图像的总面积之间的比值，可以大于某一设定值。在一些实施方式中，待处理图像可以是图像处理设备中的摄像头拍摄的图像。在另一些实施方式中，待处理图像可以是图像处理设备下载得到的图像。在又一些实施方式中，待处理图像可以是拍摄或下载的视频中的图像帧。
待处理图像中可以包括目标部位和遮挡目标部位的遮挡物。遮挡物可以部分遮挡目标部位。
目标部位的像素位置，可以包括可见目标部位的像素位置和不可见目标部位的像素位置(即目标部位中被遮挡区域的像素位置)。
目标部位的像素位置，可以指的是目标部位的边缘像素的像素位置，或者，可以指的是目标部位中每一像素的像素位置。目标部位中被遮挡区域的像素位置，可以包括目标部位中被遮挡区域的边缘像素的像素位置，或者，可以包括目标部位中被遮挡区域中每一像素的像素位置。
在一些实施方式中，基于待处理图像，确定目标部位的像素位置，可以包括：对待处理图像进行关键点检测，得到目标部位的关键点信息；基于目标部位的关键点信息，确定目标部位的像素位置。
在一些实施方式中，基于待处理图像，确定目标部位中被遮挡区域的像素位置，可以包括：基于图像分割模型和待处理图像，确定目标部位中被遮挡区域的像素位置。
S102、基于目标部位的像素位置和目标部位中被遮挡区域的像素位置，确定目标部位中未被遮挡区域的像素位置。
在一些实施方式中，图像处理设备可以将目标部位的像素位置中，除目标部位中被遮挡区域的像素位置之外的像素位置，确定为目标部位中未被遮挡区域的像素位置。
在另一些实施方式中，图像处理设备可以确定过渡区域，过渡区域中每一像素属于目标部位的概率，与属于非目标部位的概率之间的差异小于预设值；将目标部位的像素位置中，除目标部位中被遮挡区域的像素位置和过渡区域的像素位置之外的像素位置，确定为目标部位中未被遮挡区域的像素位置。
目标部位中未被遮挡区域的像素位置，可以包括目标部位中未被遮挡区域的边缘像素的像素位置，或者，可以包括目标部位中未被遮挡区域中每一像素的像素位置。
S103、基于目标部位中未被遮挡区域的像素位置，对未被遮挡区域进行渲染处理。
通过目标部位中未被遮挡区域的像素位置，图像处理设备可以得到目标部位中未被遮挡区域的精确位置，从而能够对未被遮挡区域进行精确地渲染处理。渲染处理在另一些实施方式中可以称为特效处理或美妆特效处理。
对目标部位中未被遮挡区域进行渲染处理，可以包括以下至少之一：对嘴巴的未被遮挡区域进行口红渲染；对眉毛的未被遮挡区域进行眉毛渲染；对眼皮的未被遮挡区域进行眼影渲染；对脸颊的未被遮挡区域进行腮红渲染等一切可用于人脸美妆的渲染，本公开实施例对此不一一列举。
在一些实施方式中，图像处理设备可以确定目标部位的属性信息，基于目标部位的属性信息对目标部位的未被遮挡区域进行渲染处理。其中，属性信息可以包括以下至少之一：名称、大小、颜色、形状等。在实施过程中，图像处理设备可以基于目标部位的属性信息，确定与目标部位的未被遮挡区域对应的渲染风格，然后基于该渲染风格，对目标部位的未被遮挡区域进行渲染处理。例如，图像处理设备在确定目标部位的名称为嘴巴，且嘴巴的形状厚的情况下，可以对嘴巴的未遮挡区域进行浅色渲染或者进行咬唇妆渲染。
在一些实施方式中，图像处理设备的显示屏上可以显示多种渲染风格，图像处理设备可以响应用户对多种渲染风格中目标渲染风格的操作，以目标渲染风格对未被遮挡区域进行渲染处理。
图2为本公开实施例提供的一种目标部位区域以及目标部位的被遮挡区域的示意图，图2中的目标部位为嘴巴，如图2所示，图2中的目标部位区域以及目标部位的被遮挡区域，可以应用于本公开任一实施例提到的待处理图像、切割图像、仿射变换后的图像、局部图像或者目标图像中。
以目标部位为嘴巴为例，待处理图像中目标部位区域可以为区域P和区域Q的结合，目标部位的像素位置，可以为区域P和区域Q中每一像素的像素位置或者区域P和区域Q结合区域的边缘像素中每一像素的像素位置。
遮挡物区域可以是区域Q和区域R的结合。目标部位的被遮挡区域可以是区域Q，目标部位的被遮挡区域的像素位置，可以为区域Q中每一像素的像素位置或者区域Q边缘的像素位置。
在本公开实施例中，由于确定的是目标部位的像素位置和目标部位中被遮挡区域的像素位置，从而基于目标部位的像素位置和目标部位中被遮挡区域的像素位置，确定的目标部位中未被遮挡区域的像素位置是像素级别的位置，如此图像处理设备能够非常精确地确定未被遮挡区域的位置，使得对未被遮挡区域进行渲染处理得到的图像的自然度高；另外，由于先确定目标部位中未被遮挡区域的像素位置，再对未被遮挡区域进行渲染处理，从而渲染结果即是对图像的处理结果，使得图像处理设备能够容易地得到对未被遮挡区域进行渲染处理后的图像。
图3为本公开实施例提供的另一种图像处理方法的实现流程示意图，如图3所示，该方法应用于图像处理设备，该方法包括：
S301、对待处理图像进行关键点检测，得到目标部位的关键点信息。
对待处理图像进行关键点检测，可以是指基于待处理图像，定位出各个部位(包括目标部位)位置，各个部位可以包括以下至少之一：眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。对待处理图像进行关键点检测可以包括：对待处理图像中的目标部位进行关键点检测。本公开实施例中的关键点信息均可以是指关键点坐标信息。关键点坐标信息可以为关键点二维坐标信息或关键点三维坐标信息。
目标部位的关键点信息可以包括：81点、106点，1000点的关键点信息，从而通过81点、106点，1000点的关键点信息对目标部位进行定位。
S302、基于目标部位的关键点信息，确定目标部位的像素位置。
S303、基于图像分割模型和待处理图像，确定目标部位中被遮挡区域的像素位置。
在一些实施方式中，可以基于图像分割模型和待处理图像，确定输出图像，基于输出图像，确定所述目标部位中被遮挡区域的像素位置。例如，可以基于待处理图像确定向所述图像分割模型输入的目标图像；然后利用所述图像分割模型对所述目标图像进行处理，得到输出图像；基于所述输出图像，确定所述目标部位中被遮挡区域的像素位置。
在一些实施方式中，图像分割模型可以包括语义分割(Semantic Segmentation)模型。其中，语义分割模型可以称为语义分割网络，语义分割网络可以包括以下之一：Deeplab v3网络、全卷积网络(Fully Convolution Networks，FCNs)、SegNet、U-Net、DeepLab v1网络、DeepLab v2网络、全卷积(Fully Convolutional)DenseNet、E-Net、Link-Net、Mask R-CNN、金字塔场景解析网络(Pyramid Scene Parseing Network，PSPNet)、RefineNet、门控反馈优化网络(Gated Feedback Refinement Network，G-FRNet)。在另一些实施方式中，图像分割模型可以包括实例分割模型(Instance Segmentation)或全景分割模型(Panoptic Segmentation)。
在一些实施方式中，可以将待处理图像输入至图像分割模型中，以使图像分割模型对待处理的图像进行处理，得到与待处理图像对应的输出图像，从而基于与待处理图像对应的输出图像，确定目标部位中被遮挡区域的像素位置。
在另一些实施方式中，可以对待处理图像进行切割、颜色转换、归一化转换、仿射变换等中的至少之一处理，得到目标图像。然后将目标图像输入至图像分割模型中，以使图像分割模型对目标图像进行处理，输出与目标图像对应的输出图像，从而基于与目标图像对应的输出图像，确定目标部位中被遮挡区域的像素位置。其中，对待处理图像进行颜色转换可以包括将待处理图像进行灰度化或灰度转换，得到灰度图像。
以下说明几种确定目标图像的方式：例如，可以对待处理图像进行切割处理得到目标图像，再例如，可以对待处理图像进行仿射变换处理，得到仿射变换后的图像，对仿射变换后的图像进行切割得到目标图像。又例如，对待处理图像进行切割，然后对切割图像进行颜色转换和/或归一化转换后，得到目标图像。在本公开的一些实施例中，图像处理设备可以对待处理图像进行仿射变换处理，得到仿射变换后的图像，对仿射变换后的图像进行切割后，得到切割图像，然后对切割图像分别做颜色转换和归一化转换处理得到目标图像。能够理解，基于待处理图像得到目标图像的方式还可以有其它，本公开实施例对此不一一列举。
S304、基于目标部位的像素位置和目标部位中被遮挡区域的像素位置，确定目标部位中未被遮挡区域的像素位置。
S305、基于目标部位中未被遮挡区域的像素位置，对未被遮挡区域进行渲染处理。
在本公开实施例中，由于基于目标部位的关键点信息确定目标部位的像素位置，目标部位的像素位置即是：目标部位中可见部分的像素位置和不可见部分的像素位置，进而能够基于目标部位的像素位置和目标部位中被遮挡区域的像素位置，得到目标部位中未被遮挡区域的像素位置，从而提供了一种得到目标部位中未被遮挡区域的像素位置的方式，且确定目标部位中未被遮挡区域的像素位置的方式简单。
在本公开实施例中，由于目标部位中被遮挡区域的像素位置是基于图像分割模型确定的，从而能够使确定的目标部位中被遮挡区域的像素位置准确。
图4为本公开实施例提供的又一种图像处理方法的实现流程示意图，如图4所示，该方法应用于图像处理设备，该方法包括：
S401、基于待处理图像，确定目标部位的像素位置。
S402、基于待处理图像，确定包括目标部位的切割图像。
在一些实施方式中，图像处理设备可以基于待处理图像和仿射变换矩阵，得到仿射变换后的图像，再对仿射变换后的图像进行切割，得到切割图像。
在一些实施方式中，仿射变换矩阵可以为待处理图像到仿射变换后的图像的仿射变换矩阵，其中，仿射变换后的图像中包括目标部位的局部区域(包括目标部位的局部区域即为切割图像)的尺寸，可以与模型输入图像的尺寸一致。在另一些实施方式中，仿射变换矩阵可以为从原始图片到模型输入大小的图片的仿射变换矩阵。
图像处理设备可以基于目标部位在待处理图像中所占的区域和/或图像分割模型能够输入的输入图像的尺寸，确定与待处理图像对应的仿射变换矩阵。仿射变换矩阵可以用于对待处理图像进行以下之一的转化：平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)、剪切(Shear)、平移、旋转、缩放、斜切等。
图像处理设备可以对仿射变换后的图像进行关键点识别，得到仿射变换后的图像中目标部位的关键点信息，然后基于仿射变换后的图像中目标部位的关键点信息对仿射变换后的图像进行切割。在另一些实施方式中，图像处理设备可以基于待处理图像中目标部位的关键点信息，或者，基于待处理图像中目标部位的关键点信息和仿射变换矩阵，对仿射变换后的图像进行切割。在又一些实施方式中，图像处理设备可以基于待处理图像或仿射变换后的图像中目标部位的中心点等位置信息，对仿射变换后的图像进行切割，得到切割图像。切割图像中应包括整个目标部位。
在另一些实施方式中，图像处理设备可以对待处理图像进行切割，得到切割图像。例如，图像处理设备可以对待处理图像进行关键点识别，得到待处理图像中目标部位的关键点信息，基于待处理图像中目标部位的关键点信息，对待处理图像进行切割，得到切割图像。
通过对待处理图像或仿射变换后的图像进行切割，可以去除待处理图像或仿射变换后的图像中大多数的无关背景，保留感兴趣的区域。切割图像可以是矩形。在另一些实施方式中，切割图像可以是非矩形，例如，目标部位的轮廓形状、三角形、非矩形的四边形或者五边形等，本公开实施例对切割图像的具体形状不作限制。
S403、基于切割图像，确定向图像分割模型输入的目标图像。
在一些实施方式中，图像处理设备可以对切割图像进行颜色转换和/或归一化转换，得到目标图像。
通过这种方式，通过对切割图像先进行颜色转换和/或归一化转换，得到向图像分割模型输入的目标图像；从而在对切割图像进行颜色转换的情况下，能够简化输入至图像分割模型的特征，减少了得到输出图像的计算量且加快了得到输出图像的速度；在对切割图像进行归一化转换的情况下，能够保留切割图像的特征，但是减少参数的大小，进而加快得到输出图像的速度且提高得到的输出图像的准确性。
在另一些实施方式中，图像处理设备可以将切割图像作为目标图像。
S404、利用图像分割模型对目标图像进行处理，得到输出图像。
在一些实施方式中，输出图像可以包括：与目标图像的像素的行列数相同的目标矩阵，目标矩阵中的每一元素的元素值，表征每一元素对应的像素属于目标部位或非目标部位的概率。在这种实施方式中，每一元素的取值范围为0至1中的任一数值。如果目标矩阵中的每一元素的元素值，表征每一元素对应的像素属于目标部位的概率，则确定大于第一阈值的元素值所对应的目标图像的像素属于可见目标部位，确定小于或等于第一阈值的元素值所对应的目标图像的像素属于可见目标部位之外的其它区域。如果目标矩阵中的每一元素的元素值，表征每一元素对应的像素属于非目标部位的概率，则确定小于第二阈值的元素值所对应的目标图像的像素属于可见目标部位，确定大于或等于第二阈值的元素值所对应的目标图像的像素属于可见目标部位之外的其它区域。
在另一些实施方式中，每一元素的取值范围可以为其它数值，例如，每一元素的取值范围为0至255中的任一数值等。
在又一些实施方式中，目标矩阵中每一元素的元素值可以为第一数值或第二数值，例如，第一数值为1，第二数值为0，第一数值对应的像素表征该像素属于可见目标部位区域，第二数值对应的像素表征该像素属于可见目标部位区域之外的其它区域。可见目标部位区域之外的其它区域，可以包括不可见目标部位区域和目标部位之外的其它区域。
在再一些实施方式中，输出图像可以包括：第一颜色和/或第一纹理的遮挡掩膜，和第二颜色和/或第二纹理的遮挡掩膜。第一颜色和/或第一纹理的遮挡掩膜对应在目标图像上的区域可以为可见目标部位区域，第二颜色和/或第二纹理的遮挡掩膜对应在目标图像上的区域可以为可见目标部位区域之外的其它区域。
其中，目标图像或切割图像中的每一像素，与目标矩阵中的每一元素可以具有一一对应的关系。
S405、基于输出图像，确定目标部位中被遮挡区域的像素位置。
由于向图像分割模型输入的目标图像是基于待处理图像和仿射变换矩阵得到的，因此，从而基于图像分割模型输出的输出图像，可以确定目标图像中的可见目标部位区域和除可见目标部位区域之外的其它区域，进而可以基于输出图像、仿射变换矩阵以及目标部位的像素位置，确定待处理图像的目标部位中被遮挡区域的像素位置。
S406、基于目标部位的像素位置和目标部位中被遮挡区域的像素位置，确定目标部位中未被遮挡区域的像素位置。
S407、基于目标部位中未被遮挡区域的像素位置，对未被遮挡区域进行渲染处理。
在本公开实施例中，基于待处理图像，确定包括目标部位的切割图像；基于切割图像，确定目标图像，使得向图像分割模型输入的目标图像仅涉及目标部位和目标部位附近区域的特征，不仅使得图像分割模型无需处理切割图像的特征之外的图像特征，进而提高图像分割模型输出的输出图像的准确度，还能够降低使用图像分割模型得到输出图像的计算量，降低得到的目标部位中被遮挡区域的像素位置的耗时。
图5为本公开实施例提供的再一种图像处理方法的实现流程示意图，如图5所示，该方法应用于图像处理设备，该方法包括：
S501、基于待处理图像，确定目标部位的像素位置。
S502、基于待处理图像和仿射变换矩阵，确定仿射变换后的图像。
S503、对仿射变换后的图像进行切割，得到切割图像。
仿射变换(Affine Transformation)是一种二维坐标到二维坐标之间的线性变换，仿射变换能够保持二维图形的平直性(Straightness)和平行性(Parallelness)，平直性指的是变换后直线还是直线而不会打弯，圆弧还是圆弧，平行性是指二维图形间的相对位置关系不变，平行线还是平行线，相交直线的交角不变。仿射变换可以通过一系列的原子变换的复合来实现，包括平移、缩放、翻转、旋转和剪切。因此，这五种变换由原图像转变到变换图像的过程，可以用仿射变换矩阵进行确定，即对图像仿射变换是通过仿射变换矩阵来实现的。
切割图像的尺寸可以与图像分割模型所对应的输入尺寸相同。
通过这种方式，由于向图像分割模型输入的目标图像是通过仿射变换矩阵和待处理图像得到的，从而得到的目标图像能够保持待处理图像的平直性和平行性，且目标图像能够符合图像分割模型的输入，接着通过图像分割模型对目标图像进行处理，能够准确的得到表征目标部位中被遮挡区域的输出图像，进而通过输出图像和仿射变换矩阵，准确地得到待处理图像中被遮挡区域的像素位置。
在本公开实施方式中，由于先执行对待处理图像进行仿射变换，得到仿射变换后的图像，再执行对仿射变换后的图像进行切割，得到切割图像；从而使得在仿射变换包括旋转的情况下，切割图像依旧能够保留待处理图像中的特征，进而提高了得到的输出图像的准确性。在先对待处理图像进行切割再进行仿射变换的情况下，如果仿射变换包括旋转，则会向图像中添加填充像素，以使图像的尺寸与图像分割模型的输入尺寸相同，进而由于向用于输入至模型的图像中添加噪声，导致模型输出的输出图像不准确的情况发生。
S504、基于切割图像，确定向图像分割模型输入的目标图像。
S505、利用图像分割模型对目标图像进行处理，得到输出图像。
S506、基于输出图像和仿射变换矩阵，确定目标部位中被遮挡区域的像素位置。
其中，输出图像可以包括：与目标图像的像素的行列数相同的目标矩阵，目标矩阵中的每一元素的元素值，表征每一元素对应的像素属于目标部位或非目标部位的概率。
在这种实施方式中，输出图像是一个目标矩阵，目标矩阵可以是M行N列的矩阵，目标图像的像素可以包括M行N列的像素。
在目标矩阵中每一元素的元素值，表征每一元素对应的像素属于目标部位的概率的情况下，则每一元素的元素值越大，表征该元素对应的目标图像中的像素属于目标部位的概率越高，反之则越低。在目标矩阵中每一元素的元素值，表征每一元素对应的像素属于非目标部位的概率的情况下，则每一元素的元素值越小，表征该元素对应的目标图像中的像素属于目标部位的概率越低，反之则越高。
S507、基于目标部位的像素位置和目标部位中被遮挡区域的像素位置，确定目标部位中未被遮挡区域的像素位置。
S508、基于目标部位中未被遮挡区域的像素位置，对未被遮挡区域进行渲染处理。
在本公开实施例中，由于先通过仿射变换矩阵和待处理图像得到仿射变换后的图像，然后再基于仿射变换后的图像确定切割图像，从而切割图像能够保持待处理图像的平直性和平行性，且切割图像的尺寸能够符合图像分割模型的输入，接着通过图像分割模型对基于切割图像确定的目标图像进行处理，能够准确的得到表征目标部位中被遮挡区域的输出图像，进而通过输出图像和仿射变换矩阵，准确地得到待处理图像的目标部位中被遮挡区域的像素位置。
图6为本公开另一实施例提供的一种图像处理方法的实现流程示意图，如图6所示，该方法应用于图像处理设备，该方法包括：
S601、基于待处理图像，确定目标部位的像素位置。
S602、基于待处理图像和仿射变换矩阵，确定仿射变换后的图像。
S603、对仿射变换后的图像进行切割，得到切割图像。
S604、基于切割图像，确定向图像分割模型输入的目标图像。
S605、利用图像分割模型对目标图像进行处理，得到输出图像。
其中，输出图像可以包括：与目标图像的像素的行列数相同的目标矩阵，目标矩阵中的每一元素的元素值，表征每一元素对应的像素属于目标部位或非目标部位的概率。
S606、将目标矩阵中的每一元素的元素值，确定为切割图像中每一像素对应的元素值。
S607、基于切割图像中每一像素对应的元素值和仿射变换矩阵，确定目标部位中被遮挡区域的像素位置。
在实施过程中，S607可以通过以下方式实现：基于切割图像中每一像素对应的元素值和仿射变换矩阵，确定待处理图像中，与切割图像对应的包括目标部位的局部图像中每一像素对应的元素值；基于局部图像中每一像素对应的元素值，确定目标部位中被遮挡区域的像素位置。
通过这种方式，基于切割图像中每一像素对应的元素值和仿射变换矩阵，能够反算出在待处理图像中与切割图像对应的局部图像中每一像素对应的元素值，进而可以基于局部图像中每一像素对应的元素值，确定目标部位中被遮挡区域的像素位置，从而提供了一种容易实现的确定目标部位中被遮挡区域的像素位置的方式。
在一些实施例中，图像处理设备可以在目标部位的像素位置上，从局部图像中每一像素对应的元素值中确定符合第一阈值条件的目标元素值；确定局部图像中的第一指定像素，对应在待处理图像中的第二指定像素的像素位置；基于目标元素值对应在局部图像上的像素位置和第二指定像素的像素位置，确定目标部位中被遮挡区域的像素位置。
在一些实施方式中，从局部图像中每一像素对应的元素值中确定符合第一阈值条件的目标元素值，可以包括：从局部图像中每一像素对应的元素值中确定大于第一阈值或小于第二阈值的目标元素值。
其中，在目标矩阵中每一元素的元素值，表征每一元素对应的像素属于目标部位的概率的情况下，确定小于第二阈值的目标元素值；在目标矩阵中每一元素的元素值，表征每一元素对应的像素属于非目标部位的概率的情况下，确定大于第一阈值的目标元素值。从而图像处理设备能够得到切割图像的目标部位的遮挡区域中每一像素位置，进而基于切割图像的目标部位的遮挡区域中每一像素位置和仿射变换矩阵，得到局部图像中目标部位的遮挡区域中每一像素位置。
目标元素值对应的像素属于可见目标部位的概率，大于属于可见目标部位之外的其它区域的概率。
第一指定像素可以是局部图像中的任一个或至少两个像素。在实施过程中，第一指定像素可以是局部图像中左上角的像素。在其它实施方式中，第一指定像素可以是局部图像中右上角的像素、左下角的像素、右下角的像素、中间位置的像素或其它位置的像素等。本公开实施例对第一指定像素位置的具体实施方式不作限定。
通过这种方式，基于目标部位的被遮挡区域在局部图像上的像素位置，和确定的局部图像中的第一指定像素对应在待处理图像中的第二指定像素的像素位置，来确定待处理图像中目标部位中被遮挡区域的像素位置，从而只需对局部图像中每一像素的是否属于目标部位的判断结果进行转存和处理，降低了对判断结果进行转存和处理的耗时。
在另一些实施例中，图像处理设备可以确定待处理图像中除局部图像之外的指定区域中每一像素对应的元素值；在目标部位的像素位置上，从指定区域中每一像素对应的元素值和局部图像中每一像素的元素值中，确定符合第一阈值条件的指定元素值；基于指定元素值对应在待处理图像上的像素位置，确定目标部位中被遮挡区域的像素位置。
在一些实施方式中，从指定区域中每一像素对应的元素值和局部图像中每一像素的元素值中，确定符合第一阈值条件的指定元素值，可以包括：从指定区域中每一像素对应的元素值和局部图像中每一像素的元素值中，确定大于第一阈值或小于第二阈值的指定元素值。
在实施过程中，在目标矩阵中的每一元素的元素值，表征每一元素对应的像素属于目标部位的概率的情况下，确定的指定区域中每一像素对应的元素值为0。在目标矩阵中的每一元素的元素值，表征每一元素对应的像素属于非目标部位的概率的情况下，确定的指定区域中每一像素对应的元素值为1。在另一些实施方式中，如果目标矩阵中的每一元素的元素值在0至255之间，则确定的指定区域中每一像素对应的元素值为0或者255。
通过这种方式，通过确定待处理图像中除局部图像之外的指定区域中每一像素对应的元素值，从而能够得到待处理图像的每一像素对应的元素值，进而可以基于待处理图像的每一像素对应的元素值的大小，确定待处理图像中目标部位中被遮挡区域的像素位置，如此确定目标部位中被遮挡区域的像素位置的方式简单且容易实现。
S608、基于目标部位的像素位置和目标部位中被遮挡区域的像素位置，确定目标部位中未被遮挡区域的像素位置。
S609、基于目标部位中未被遮挡区域的像素位置，对未被遮挡区域进行渲染处理。
在本公开实施例中，将图像分割模型输出的目标矩阵的每一元素值，确定为切割图像中每一像素对应的元素值，从而提供了一种确定切割图像中每一像素对应的元素值的方式；而基于切割图像中每一像素对应的元素值和仿射变换矩阵，能够得到待处理图像中与切割图像对应的局部图像的每一个像素是否属于目标部位，从而通过像素级别的确定目标部位中被遮挡区域的像素位置，精确地对未被遮挡区域进行渲染处理，使得对目标部位的渲染自然。
图7为本公开又一实施例提供的一种图像处理方法的实现流程示意图，如图7所示，该方法应用于图像处理设备，该方法包括：
S701、对待处理图像进行关键点检测，得到目标部位的关键点信息。
S702、基于目标部位的关键点信息，确定目标部位的像素位置。
S703、基于待处理图像，确定包括目标部位的切割图像。
S704、基于切割图像，确定向图像分割模型输入的目标图像。
S705、利用图像分割模型对目标图像进行处理，得到输出图像。
S706、基于输出图像，确定目标部位中被遮挡区域的像素位置。
在一些实施方式中，图像处理设备可以基于输出图像，确定目标部位的像素位置上的每一像素对应的元素值，然后基于目标部位的像素位置上的每一像素对应的元素值，确定目标部位中被遮挡区域的像素位置。
图像处理设备可以将目标矩阵中的每一元素的元素值，确定为切割图像中每一像素对应的元素值，然后基于切割图像中每一像素对应的元素值和仿射变换矩阵，确定待处理图像中，与切割图像对应的包括目标部位的局部图像中每一像素对应的元素值；而由于局部图像是待处理图像中包括目标部位的部分，从而图像处理设备可以基于局部图像中每一像素对应的元素值，确定目标部位的像素位置上的每一像素对应的元素值。
在另一实施方式中，如果图像处理设备是对待处理图像进行切割，得到切割图像，从而图像处理设备可以基于切割图像中每一像素对应的元素值，确定局部图像中每一像素对应的元素值，从而得到目标部位的像素位置上的每一像素对应的元素值。
S707、在目标部位的像素位置上的每一像素对应的元素值中，确定符合第二阈值条件的候选元素值。
在一些实施方式中，S707可以通过以下方式实现：在目标部位的像素位置上的每一像素对应的元素值中，确定小于或等于第一阈值且大于第三阈值，或者，大于或等于第二阈值且小于或等于第四阈值的候选元素值。
在S707之前，图像处理设备可以执行基于输出图像，确定目标部位的像素位置上的每一像素对应的元素值的步骤。
在实施过程中，在目标矩阵中的每一元素的元素值，表征每一元素对应的像素属于目标部位的概率的情况下，确定大于或等于第二阈值且小于或等于第四阈值的候选元素值，在目标矩阵中的每一元素的元素值，表征每一元素对应的像素属于非目标部位的概率的情况下，确定小于或等于第一阈值且大于第三阈值的候选元素值。
在一些实施方式中，第一阈值与0.5之间的差值的绝对值，可以与第三阈值与0.5之间的差值的绝对值相同，或者，第二阈值与0.5之间的差值的绝对值，可以与第四阈值与0.5之间的差值的绝对值相同。
S708、将候选元素值对应的像素位置，确定为过渡区域的像素位置。
过渡区域中的每一像素属于目标部位的概率与属于非目标部位的概率之间的差值可以小于目标值。
S709、基于目标部位中被遮挡区域的像素位置和过渡区域的像素位置，确定目标部位中未被遮挡区域的像素位置。
在这种实施方式下，目标部位可以包括三个部分的区域，这三个部分的区域分别为：目标部位中被遮挡区域、过渡区域以及目标部位中未被遮挡区域。图像处理设备可以在目标部位的像素位置上，将目标部位中被遮挡区域的像素位置和过渡区域的像素位置之外的像素位置，确定为目标部位中未被遮挡区域的像素位置。
S710、基于过渡区域的像素位置，对过渡区域进行平滑处理。
对过渡区域进行平滑处理，可以包括，对过渡区域进行透明度平滑处理。透明度平滑处理也可以称为抗锯齿处理。
在一些实施方式中，图像处理设备可以不执行S710的步骤。
在本公开实施例中，可以先确定过渡区域的像素位置，过渡区域中的每一像素对应的元素值表征每一像素既有可能属于目标部位，也有可能属于非目标部位，从而基于目标部位中被遮挡区域的像素位置和过渡区域的像素位置，确定的目标部位中未被遮挡区域的像素位置，能够降低将过渡区域中的某些像素确定为未被遮挡区域的像素的情况，进而能够准确地确定目标部位中未被遮挡区域的像素位置。
另外，由于过渡区域中的每一像素对应的元素值表征每一像素既有可能属于目标部位，也有可能属于非目标部位，从而对过渡区域进行平滑处理能够使得被遮挡区域与未被遮挡区域之间过渡自然，且能够提高对待处理图像进行处理的自然度。
以下说明本公开任一实施例中确定图像分割模型的方法：
图8为本公开实施例提供的一种图像分割模型的确定方法的实现流程示意图，如图8所示，该方法应用于图像处理设备，该方法包括：
S801、获取训练样本集；训练样本集中包括多个训练样本图像；每一训练样本图像中至少一个部位被遮挡。
在一些实施方式中，至少一个部位可以仅包括目标部位。这样，每一训练样本图像中目标部位被遮挡物所遮挡。在另一些实施方式中，至少一个部位不仅可以包括目标部位，还可以包括除目标部位之外的其它部位，例如，至少一个部位可以包括人脸图像中的能够渲染的多个部位。这样，每一训练样本图像中遮挡物可以遮挡目标部位和/或遮挡目标部位之外的其它部位。
S802、获取目标样本集；目标样本集中包括多个目标样本图像；每一目标样本图像包括部位中未被遮挡的区域掩膜。
在实施过程中，每一目标样本图像还可以包括除未被遮挡区域之外的其它区域掩膜。
在至少一个部位仅包括目标部位的情况下，部位中未被遮挡的区域掩膜可以为目标部位未被遮挡的区域掩膜。在至少一个部位不仅包括目标部位，还包括其它部位的情况下，部位中未被遮挡的区域掩膜不仅包括目标部位未被遮挡的区域掩膜，还包括其它部位未被遮挡的区域掩膜。
S803、基于训练样本集和目标样本集，训练得到图像分割模型。
图像处理设备可以先获取初始分割模型，然后采用训练样本集和目标样本集对初始分割模型进行监督学习，得到图像分割模型。监督学习可以是真实目标(Groud Truth)监督学习。
在至少一个部位仅包括目标部位的情况下，得到的图像分割模型可以确定输入的图像中的每一像素，属于可见目标部位或者可见目标部位之外的其它区域。
在至少一个部位包括多个部位的情况下，得到的图像分割模型可以确定输入的图像中每一像素，属于每一可见部位或者每一可见部位之外的其它区域。例如，如果待处理图像包括多个部位，图像处理设备可以对待处理图像进行切割，得到多个切割图像，并基于多个切割图像得到多个目标图像，并将多个目标图像输入至图像分割模型，从而得到多个目标图像中每一像素属于每一可见部位或者每一可见部位之外的其它区域，进而得到输入的图像中每一像素，属于每一可见部位或者每一可见部位之外的其它区域。
在本公开实施例中，以多个训练样本图像为训练输入，多个目标样本图像为训练目标，训练得到图像分割模型，从而通过图像分割模型能够对后续输入的目标图像进行处理，进而得到目标部位中未被遮挡区域的像素位置；因此可以通过图像处理设备自动地得到目标部位中未被遮挡区域的像素位置，节约人力，且确定的目标部位中未被遮挡区域的像素位置准确。
图9为本公开实施例提供的另一种图像分割模型的确定方法的实现流程示意图，如图9所示，该方法应用于图像处理设备，该方法包括：
S901、获取切割图像集，切割图像集中每一切割图像包括带标注的无遮挡的至少一个部位。
每一切割图像中的至少一个部位均是无遮挡部位。图像处理设备可以确定每一切割图像中至少一个部位的关键点信息，基于至少一个部位的关键点信息，标注至少一个部位。在一些实施方式中，图像处理设备可以基于标注的至少一个部位，确定至少一个部位区域掩膜。
图像处理设备可以获取多个人脸图像，然后对每一人脸图像进行关键点识别，从而不仅基于人脸关键点对至少一个部位进行切割，还基于至少一个部位的关键点信息，标注至少一个部位，得到切割图像集。在一些实施方式中，图像处理设备可以先对每一人脸图像进行仿射变换，得到每一仿射变换后的图像，不同的人脸图像进行仿射变换所采用的仿射变换矩阵可以相同或不同，然后图像处理设备可以对每一仿射变换后的图像进行切割，得到每一切割图像。
在一些实施方式中，图像处理设备还可以对切割后的图像进行颜色转换、归一化转换、仿射变换等至少一者的处理，并对处理后的图像中的至少一个部位进行标注，从而得到切割图像集。
S902、获取遮挡物图像集，遮挡物图像集中每一遮挡物图像包括带标注的遮挡物。
图像处理设备可以获取多个包括遮挡物的遮挡物图像，然后对遮挡物图像中的遮挡物进行标注。进一步，图像处理设备还可以基于标注的遮挡物，确定遮挡物区域掩膜。
在一些实施方式中，图像处理设备还可以对遮挡物图像进行颜色转换、归一化转换、仿射变换等至少一者的处理，并对处理后的图像中遮挡物进行标注，从而得到遮挡物图像集。
S903、将每一遮挡物图像中的遮挡物随机遮挡在无遮挡的至少一个部位上，得到训练样本集。
一个遮挡物可以在至少一个部位上随意遮挡，因此，基于一个切割图像和一个遮挡物图像，能够得到多个训练样本图像。
S904、基于每一遮挡物图像中的遮挡物相对无遮挡的至少一个部位的位置，确定目标样本集。
通过S904，目标样本集中的每一训练样本图像，可以是训练样本集的每一训练样本图像的部位中未被遮挡区域的分割结果。未被遮挡区域的分割结果可以包括未被遮挡的区域掩膜和未被遮挡区域之外的区域掩膜。
S905、基于训练样本集和目标样本集，训练得到图像分割模型。
在本公开实施例中，通过将每一遮挡物图像中的遮挡物随机遮挡在无遮挡的至少一个部位上，得到训练样本集，从而一个遮挡物可以遮挡在部位的不同位置，得到不同的训练样本图像，进而能够基于限定数量的切割图像和限定数量的遮挡物图像，确定出大量的训练样本，因此训练得到的图像分割模型的性能高，使得基于图像分割模型输出的输出图像，确定的目标部位中未被遮挡区域的像素位置的准确性高。
图10为本公开实施例提供的一种确定训练样本图像和目标样本图像的流程示意图，如图10所示，首先，图像处理设备可以获取无遮挡的人脸图像11，然后对人脸图像11进行人脸关键点检测，得到人脸关键点，基于人脸关键点得到目标部位的关键点信息。图像处理设备可以对人脸图像11进行仿射变换，得到仿射变换后的图像，然后再对仿射变换后的图像进行切割，得到切割图像，接着再对切割图像进行灰度处理和/或归一化处理，得到图像12。基于图像12和与图12中的目标部位的关键点信息，确定与图像12对应的包括目标部位区域掩膜的图像13。在一些实施方式中，人脸图像11可以是具有二维关键点标注的图像，即人脸图像11有各个部位所对应的关键点坐标，各个部位包括人脸轮廓与五官等。
其次，图像处理设备可以获取遮挡物图像14，然后基于对遮挡物图像14中的遮挡物进行标注的标注结果，确定与遮挡物图像对应的包括遮挡物区域掩膜的图像15。在实施过程中，可以分别对遮挡物图像14和图像15进行仿射变换处理，并在对图像14进行仿射变换后，进行灰度处理，从而分别得到图像16和图像17。
然后，图像处理设备可以将图像12和16随机结合，以使图像16中的遮挡物随机遮挡在图像12的目标部位上得到图像18，然后基于图像16中的遮挡物相对图像12中的目标部位的位置，以及图像13中的目标部位区域掩膜和图像17中的遮挡物区域掩膜，得到与图像18对应的包括可见目标部位区域的掩膜和除该可见目标部位区域之外的其它区域掩膜的图像19。
其中，图像18可以是训练样本图像，图像19可以是对应训练样本图像的目标样本图像。
图11为本公开实施例提供的又一种图像分割模型的确定方法的实现流程示意图，如图11所示，该方法应用于图像处理设备，图11对应的实施例相较于图9或图10对应的实施例的区别在于：图9或图10对应的实施例中图像处理设备分别获取的是未遮挡的人脸图像和遮挡物图像，图11对应的实施例中图像处理设备获取的是遮挡物遮挡人脸部位的遮挡图像。
该方法包括：
S1101、获取训练样本集；训练样本集中包括多个训练样本图像；每一训练样本图像中至少一个部位被遮挡。
训练样本图像可以是遮挡人脸部位的遮挡图像。
S1102、确定每一训练样本图像的遮挡物区域。
可以采用人工标注的方式确定每一训练样本图像的遮挡物区域。
S1103、基于遮挡物区域和每一训练样本图像中至少一个部位的关键点信息，确定每一训练样本图像的至少一个部位中未被遮挡区域。
通过至少一个部位的关键点信息，可以确定至少一个部位区域，然后基于遮挡物区域和至少一个部位区域，能够确定到至少一个部位中未被遮挡区域。
S1104、基于至少一个部位中未被遮挡区域，确定目标样本集。
图像处理设备可以基于至少一个部位中未被遮挡区域，确定与每一训练样本图像对应的目标样本图像，目标样本图像中包括部位中未被遮挡的区域掩膜和除部位中未被遮挡区域之外的其它区域掩膜，从而得到目标样本集。
S1105、基于训练样本集和目标样本集，训练得到图像分割模型。
在本公开实施例中，图像处理设备可以基于每一训练样本图像中至少一个部位的关键点信息，确定每一训练样本图像中至少一个部位的区域，然后基于至少一个部位的区域和确定的每一训练样本图像的遮挡物区域，得到至少一个部位中未被遮挡区域，从而提供了基于获取的至少一个部位被遮挡的训练样本，确定目标样本集的方式，确定方式简单。
图12为本公开实施例提供的另一种确定训练样本图像和目标样本图像的流程示意图，如图12所示，首先，图像处理设备可以获取遮挡目标部位的人脸图像21，然后对人脸图像进行关键点检测，得到人脸关键点，基于人脸关键点得到目标部位的关键点信息。图像处理设备可以对人脸图像21进行仿射变换，得到仿射变换后的图像，然后再对仿射变换后的图像进行切割，得到切割图像，接着再对切割图像进行灰度处理和/或归一化处理，得到图像22。基于图像22和与人脸关键点中的目标部位的关键点信息，确定与图像22对应的包括目标部位区域掩膜和非目标部位区域掩膜的图像23。
其次，图像处理设备可以通过人脸图像21对遮挡物进行遮挡标注，并基于标注后的人脸图像和仿射变换矩阵，确定仿射变换后的图像，再对仿射变换后的图像进行切割，从而基于切割图像中对遮挡物的标注，确定包括遮挡物区域掩膜和除遮挡物之外的其它区域掩膜的图像24。其中，对人脸图像21进行仿射变换所采用的仿射变换矩阵和切割位置，与对标注后的人脸图像21进行仿射变换所采用的仿射变换矩阵和切割位置分别相同。在另一些实施方式中，图像处理设备可以只对标注后的人脸图像21进行仿射变换和切割，从而得到图像22，基于图像22和与人脸关键点中的目标部位的关键点信息，确定图像23；基于图像22中的遮挡标注，确定图像24。在又一些实施方式中，图像处理设备可以基于图像22对遮挡物进行遮挡标注，并基于遮挡标注的结果确定与图像22对应的包括遮挡物区域掩膜的图像24。
然后，图像处理设备可以将图像23和图像24结合，得到与图像22对应的包括可见目标部位区域的掩膜和除该可见目标部位区域之外的其它区域掩膜的图像25。
其中，图像22可以是训练样本图像，图像25可以是对应训练样本图像的目标样本图像。
在一些实施方式中，图像分割模型可以不仅基于图9或图10对应的实施例所确定的训练样本图像和目标样本图像，还基于图11或图12对应的实施例所确定的训练样本图像和目标样本图像来进行训练得到。在另一些实施方式中，图像分割模型可以基于图9或图10对应的实施例所确定的训练样本图像和目标样本图像进行训练得到。在又一些实施方式中，图像分割模型可以基于图11或图12对应的实施例所确定的训练样本图像和目标样本图像进行训练得到。
在一些实施例中，向图像分割模型输入的目标图像是灰度图像。在另一些实施例中，向图像分割模型输入的目标图像可以是多通道RGB图像。
在图像处理设备得到待处理图像之后，可以对待处理图像进行处理，得到能够输入至图像分割模型的目标图像。具体而言，图像处理设备可以对待处理图像进行关键点检测得到待处理图像中的目标部位的尺寸和/位置，基于仿射变换矩阵和目标部位的尺寸和/位置，确定与待处理图像对应的仿射变换后的图像，对仿射变换后的图像进行切割，得到尺寸为图像分割模型的输入尺寸的切割图像。图像处理设备还可以对切割图像进行颜色转换和/或归一化转换。图像处理设备可以先执行仿射变换，再执行颜色转换和/或归一化转换，从而得到向图像分割模型输入的目标图像。在另一实施方式中，图像处理设备可以先执行颜色转换和/或归一化转换，再执行仿射变换，从而得到目标图像。
通过图像分割模型，可以得到与目标图像对应的输出图像，输出图像为与目标图像的像素的行列数相同的目标矩阵，目标矩阵中的每一元素的元素值，表征每一元素对应的目标图像的像素属于目标部位或非目标部位的概率。从而基于输出图像能够确定目标图像中目标部位中非遮挡区域的像素位置，进而可以基于目标图像中目标部位中非遮挡区域的像素位置和目标部位的像素位置，能够得到待处理图像中目标部位中非遮挡区域的像素位置。即可以基于目标图像中的遮挡判断掩膜，得到待处理图像中的遮挡判断掩膜。在实施过程中，遮挡判断掩膜可以包括目标部位中未被遮挡的区域掩膜和除目标部位中未被遮挡区域之外的其它区域掩膜。具体而言，图像处理设备可以基于输出图像和对待处理图像进行仿射变换的仿射变换矩阵，反算出待处理图像中的掩膜位置，其中，反算待处理图像中的掩膜位置可以有以下两种方式：
第一种：将模型输出的目标矩阵中的每一元素的元素值，确定为与切割图像的每一像素对应的元素值，然后基于与切割图像的每一像素对应的元素值和仿射变换矩阵，确定待处理图像中，与切割图像对应的包括目标部位的局部图像中每一像素的元素值，然后对局部图像之外的指定区域中每一像素对应的元素值进行填充，以得到与待处理图像的像素对应的矩阵，再基于与待处理图像的像素对应的矩阵确定待处理图像中的遮挡判断掩膜。在一些实施方式中，与切割图像的像素对应的矩阵为模型输出的目标矩阵中每一元素的元素值，分布范围是0至255(接近0为嘴唇部分，接近255为非嘴唇)或0至1(接近0为嘴唇部分，接近1为非嘴唇)，将局部图像之外的指定区域中每一像素对应的元素值填充成255或1。
第二种：将模型输出的目标矩阵中的每一元素的元素值，确定为与切割图像的每一像素对应的元素值，然后基于与切割图像的每一像素对应的元素值和仿射变换矩阵，确定待处理图像中，与切割图像对应的包括目标部位的局部图像中每一像素的元素值，然后确定局部图像的左上点对应在待处理图像中的位置，然后局部图像中每一像素的元素值和局部图像的左上点对应在待处理图像中的位置，确定待处理图像中的遮挡判断掩膜。
在采用第二种方案的情况下，在对遮挡判断结果进行转存和处理时可以节省空间以及耗时。
为使目标部位美妆特效更加多样自然，特效会结合目标部位关键点提供的点位信息定位目标部位边缘以及位置，在此基础上增加对目标部位遮挡的判断，在对应像素判断为遮挡时不添加特效，以此达到最真实的渲染效果。
在一些实施方式中，为了使目标部位区域遮挡判断结果在使用中更加平滑稳定，对于结果的使用采取高低双阈值策略。在像素的遮挡判断结果低于低阈值或者高于高阈值时按照正常方式处理，在两阈值之间时对特效进行透明度平滑处理。
在本公开实施例中，通过使用人脸解析方案提供人脸遮挡信息，能够从原有的部位整体遮挡信息精确到像素级遮挡信息。通过采用学习局部区域掩膜的方式，提高精度，同时降低耗时。通过使用人脸关键点与遮挡掩膜结合的方式进行特效渲染，增加美妆特效真实度。通过采用双阈值策略使遮挡掩膜边缘更加平滑自然且稳定。
在本公开实施例中，在直播或自拍等常用美颜场景中，用户会因无法得到精确的遮挡信息而导致在手或其他物体遮挡在嘴唇上的时候，遮挡物上被渲染出口红特效，出现“穿帮”现象。使用本公开实施例中的方案可以得到待处理图像中嘴唇区域中哪些像素为非嘴唇，使得特效只会在应该被渲染的地方出现，而不会在遮挡物上出现。进而，当手或其他遮挡物遮挡在嘴唇或其他人脸部位的特效上时，遮挡物上无特效且五官露出部分的特效正常保留，且边缘自然平滑。
基于前述的实施例，本公开实施例提供一种图像处理装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过图像处理设备中的处理器来实现；当然也可通过具体的逻辑电路实现。
图13为本公开实施例提供的一种图像处理装置的组成结构示意图，如图13所示，该图像处理装置1300包括：
第一确定单元1301，用于基于待处理图像，确定目标部位的像素位置和目标部位中被遮挡区域的像素位置；
第二确定单元1302，用于基于待处理图像，确定目标部位的像素位置和目标部位中被遮挡区域的像素位置；
渲染单元1303，用于基于目标部位中未被遮挡区域的像素位置，对未被遮挡区域进行渲染处理。
在一些实施例中，第一确定单元1301，还用于对待处理图像进行关键点检测，得到目标部位的关键点信息；基于目标部位的关键点信息，确定目标部位的像素位置。
在一些实施例中，第一确定单元1301，还用于基于图像分割模型和待处理图像，确定目标部位中被遮挡区域的像素位置。
在一些实施例中，第一确定单元1301，还用于基于待处理图像，确定包括目标部位的切割图像；基于切割图像，确定向图像分割模型输入的目标图像；利用图像分割模型对目标图像进行处理，得到输出图像；基于输出图像，确定目标部位中被遮挡区域的像素位置。
在一些实施例中，第一确定单元1301，还用于基于待处理图像和仿射变换矩阵，确定仿射变换后的图像；对仿射变换后的图像进行切割，得到切割图像；基于输出图像和仿射变换矩阵，确定目标部位中被遮挡区域的像素位置。
在一些实施例中，输出图像包括：与目标图像或切割图像的的像素的行列数相同的目标矩阵，目标矩阵中的每一元素的元素值，表征每一元素对应的像素属于目标部位或非目标部位的概率；第一确定单元1301，还用于将目标矩阵中的每一元素的元素值，确定为切割图像中每一像素对应的元素值；基于切割图像中每一像素对应的元素值和仿射变换矩阵，确定目标部位中被遮挡区域的像素位置。
在一些实施例中，第一确定单元1301，还用于基于切割图像中每一像素对应的元素值和仿射变换矩阵，确定待处理图像中，与切割图像对应的包括目标部位的局部图像中每一像素对应的元素值；基于局部图像中每一像素对应的元素值，确定目标部位中被遮挡区域的像素位置。
在一些实施例中，第一确定单元1301，还用于在目标部位的像素位置上，从局部图像中每一像素对应的元素值中确定符合第一阈值条件的目标元素值；确定局部图像中的第一指定像素，对应在待处理图像中的第二指定像素的像素位置；基于目标元素值对应在局部图像上的像素位置和第二指定像素的像素位置，确定目标部位中被遮挡区域的像素位置。
在一些实施例中，第一确定单元1301，还用于确定待处理图像中除局部图像之外的指定区域中每一像素对应的元素值；在目标部位的像素位置上，从指定区域中每一像素对应的元素值和局部图像中每一像素的元素值中，确定符合第一阈值条件的指定元素值；基于指定元素值对应在待处理图像上的像素位置，确定目标部位中被遮挡区域的像素位置。
在一些实施例中，第一确定单元1301，还用于基于输出图像，确定目标部位的像素位置上的每一像素对应的元素值；第二确定单元1302，还用于在目标部位的像素位置上的每一像素对应的元素值中，确定符合第二阈值条件的候选元素值；将候选元素值对应的像素位置，确定为过渡区域的像素位置；基于目标部位中被遮挡区域的像素位置和过渡区域的像素位置，确定目标部位中未被遮挡区域的像素位置。
在一些实施例中，图像处理装置1300还包括平滑处理单元1304，平滑处理单元1304，用于基于过渡区域的像素位置，对过渡区域进行平滑处理。
在一些实施例中，图像处理装置1300还包括模型确定单元1305，模型确定单元1305，用于获取训练样本集；训练样本集中包括多个训练样本图像；每一训练样本图像中至少一个部位被遮挡；获取目标样本集；目标样本集中包括多个目标样本图像；每一目标样本图像包括部位中未被遮挡的区域掩膜；基于训练样本集和目标样本集，训练得到图像分割模型。
在一些实施例中，模型确定单元1305，还用于获取切割图像集和遮挡物图像集；其中，切割图像集中每一切割图像包括带标注的无遮挡的至少一个部位；遮挡物图像集中每一遮挡物图像包括带标注的遮挡物；获取训练样本集，包括：将每一遮挡物图像中的遮挡物随机遮挡在无遮挡的至少一个部位上，得到训练样本集；获取目标样本集，包括：基于每一遮挡物图像中的遮挡物相对无遮挡的至少一个部位的位置，确定目标样本集。
在一些实施例中，模型确定单元1305，还用于确定每一训练样本图像的遮挡物区域；基于遮挡物区域和每一训练样本图像中至少一个部位的关键点信息，确定每一训练样本图像的至少一个部位中未被遮挡区域；基于至少一个部位中未被遮挡区域，确定目标样本集。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台图像处理设备执行本公开各个实施例方法的全部或部分。本公开实施例不限制于任何特定的硬件和软件结合。
图14为本公开实施例提供的一种图像处理设备的硬件实体示意图，如图14所示，该图像处理设备1400的硬件实体包括：处理器1401和存储器1402，其中，存储器1402存储有可在处理器1401上运行的计算机程序，处理器1401执行程序时实现上述任一实施例的方法中的步骤。
存储器1402存储有可在处理器上运行的计算机程序，存储器1402配置为存储由处理器1401可执行的指令和应用，还可以缓存待处理器1401以及图像处理设备1400中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。
处理器1401执行程序时实现上述任一项的图像处理方法的步骤。处理器1401通常控制图像处理设备1400的总体操作。
本公开实施例提供一种计算机存储介质，计算机存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上任一实施例的图像处理方法的步骤。
这里需要指出的是：以上存储介质和图像处理设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和图像处理设备实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable LogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。
上述计算机存储介质/存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种图像处理设备，如移动电话、计算机、平板设备、个人数字助理等。
本公开实施例的处理器或图像处理装置可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“本公开实施例”或“前述实施例”或“一些实施方式”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本公开实施例”或“前述实施例”或“一些实施方式”或“一些实施例”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
在未做特殊说明的情况下，图像处理设备执行本公开实施例中的任一步骤，可以是图像处理设备的处理器执行该步骤。除非特殊说明，本公开实施例并不限定图像处理设备执行下述步骤的先后顺序。另外，不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是，本公开实施例中的任一步骤是图像处理设备可以独立执行的，即图像处理设备执行上述实施例中的任一步骤时，可以不依赖于其它步骤的执行。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本公开所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本公开所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本公开所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
需要说明的是，本公开所涉及的各个实施例中，可以执行全部的步骤或者可以执行部分的步骤，只要能够形成一个完整的技术方案即可。
以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
基于待处理图像，确定目标部位的像素位置和包括所述目标部位的切割图像；
基于所述切割图像，确定向图像分割模型输入的目标图像；
利用所述图像分割模型对所述目标图像进行处理，得到输出图像；
基于所述输出图像，确定所述目标部位中被遮挡区域的像素位置；
基于所述目标部位的像素位置和所述目标部位中被遮挡区域的像素位置，确定所述目标部位中未被遮挡区域的像素位置；
基于所述目标部位中未被遮挡区域的像素位置，对所述未被遮挡区域进行渲染处理；
所述方法还包括：基于所述输出图像，确定所述目标部位的像素位置上的每一像素对应的元素值；
所述基于所述目标部位的像素位置和所述目标部位中被遮挡区域的像素位置，确定所述目标部位中未被遮挡区域的像素位置，包括：
在所述目标部位的像素位置上的每一像素对应的元素值中，确定符合第二阈值条件的候选元素值；
将所述候选元素值对应的像素位置，确定为过渡区域的像素位置；
基于所述目标部位中被遮挡区域的像素位置和所述过渡区域的像素位置，确定所述目标部位中未被遮挡区域的像素位置。
2.根据权利要求1所述的方法，其特征在于，所述基于待处理图像，确定目标部位的像素位置，包括：
对所述待处理图像进行关键点检测，得到所述目标部位的关键点信息；
基于所述目标部位的关键点信息，确定所述目标部位的像素位置。
3.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像，确定包括所述目标部位的切割图像，包括：
基于所述待处理图像和仿射变换矩阵，确定仿射变换后的图像；
对所述仿射变换后的图像进行切割，得到所述切割图像；
所述基于所述输出图像，确定所述目标部位中被遮挡区域的像素位置，包括：
基于所述输出图像和所述仿射变换矩阵，确定所述目标部位中被遮挡区域的像素位置。
4.根据权利要求1或3所述的方法，其特征在于，所述输出图像包括：与所述目标图像或所述切割图像的像素的行列数相同的目标矩阵，所述目标矩阵中的每一元素的元素值，表征所述每一元素对应的像素属于所述目标部位或非目标部位的概率；
所述基于所述输出图像，确定所述目标部位中被遮挡区域的像素位置，包括：
将所述目标矩阵中的每一元素的元素值，确定为所述切割图像中每一像素对应的元素值；
基于所述切割图像中每一像素对应的元素值和仿射变换矩阵，确定所述目标部位中被遮挡区域的像素位置。
5.根据权利要求4所述的方法，其特征在于，所述基于所述切割图像中每一像素对应的元素值和所述仿射变换矩阵，确定所述目标部位中被遮挡区域的像素位置，包括：
基于所述切割图像中每一像素对应的元素值和所述仿射变换矩阵，确定所述待处理图像中，与所述切割图像对应的包括所述目标部位的局部图像中每一像素对应的元素值；
基于所述局部图像中每一像素对应的元素值，确定所述目标部位中被遮挡区域的像素位置。
6.根据权利要求5所述的方法，其特征在于，所述基于所述局部图像中每一像素对应的元素值，确定所述目标部位中被遮挡区域的像素位置，包括：
在所述目标部位的像素位置上，从所述局部图像中每一像素对应的元素值中确定符合第一阈值条件的目标元素值；
确定所述局部图像中的第一指定像素，对应在所述待处理图像中的第二指定像素的像素位置；
基于所述目标元素值对应在所述局部图像上的像素位置和所述第二指定像素的像素位置，确定所述目标部位中被遮挡区域的像素位置。
7.根据权利要求5所述的方法，其特征在于，所述基于所述局部图像中每一像素对应的元素值，确定所述目标部位中被遮挡区域的像素位置，包括：
确定所述待处理图像中除所述局部图像之外的指定区域中每一像素对应的元素值；
在所述目标部位的像素位置上，从所述指定区域中每一像素对应的元素值和所述局部图像中每一像素的元素值中，确定符合第一阈值条件的指定元素值；
基于所述指定元素值对应在所述待处理图像上的像素位置，确定所述目标部位中被遮挡区域的像素位置。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述过渡区域的像素位置，对所述过渡区域进行平滑处理。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
获取训练样本集；所述训练样本集中包括多个训练样本图像；每一所述训练样本图像中至少一个部位被遮挡；
获取目标样本集；所述目标样本集中包括多个目标样本图像；每一所述目标样本图像包括所述部位中未被遮挡的区域掩膜；
基于所述训练样本集和所述目标样本集，训练得到所述图像分割模型。
10.根据权利要求9所述的方法，其特征在于，所述方法包括：
获取切割图像集和遮挡物图像集；其中，所述切割图像集中每一切割图像包括带标注的无遮挡的至少一个部位；所述遮挡物图像集中每一遮挡物图像包括带标注的遮挡物；
所述获取训练样本集，包括：将所述每一遮挡物图像中的遮挡物随机遮挡在所述无遮挡的至少一个部位上，得到所述训练样本集；
所述获取目标样本集，包括：基于所述每一遮挡物图像中的遮挡物相对所述无遮挡的至少一个部位的位置，确定所述目标样本集。
11.根据权利要求9所述的方法，其特征在于，所述获取目标样本集，包括：
确定每一所述训练样本图像的遮挡物区域；
基于所述遮挡物区域和每一所述训练样本图像中所述至少一个部位的关键点信息，确定每一所述训练样本图像的所述至少一个部位中未被遮挡区域；
基于所述至少一个部位中未被遮挡区域，确定所述目标样本集。
12.一种图像处理装置，其特征在于，包括：
第一确定单元，用于基于待处理图像，确定目标部位的像素位置和包括所述目标部位的切割图像；基于所述切割图像，确定向图像分割模型输入的目标图像；利用所述图像分割模型对所述目标图像进行处理，得到输出图像；基于所述输出图像，确定所述目标部位中被遮挡区域的像素位置；
第二确定单元，用于基于待处理图像，确定目标部位的像素位置和所述目标部位中被遮挡区域的像素位置；
渲染单元，用于基于所述目标部位中未被遮挡区域的像素位置，对所述未被遮挡区域进行渲染处理；
所述第一确定单元，还用于基于所述输出图像，确定所述目标部位的像素位置上的每一像素对应的元素值；
所述第二确定单元，还用于在所述目标部位的像素位置上的每一像素对应的元素值中，确定符合第二阈值条件的候选元素值；将所述候选元素值对应的像素位置，确定为过渡区域的像素位置；基于所述目标部位中被遮挡区域的像素位置和所述过渡区域的像素位置，确定所述目标部位中未被遮挡区域的像素位置。
13.一种图像处理设备，其特征在于，包括：存储器和处理器，
所述存储器存储有可在所述处理器上运行的计算机程序，
所述处理器执行所述计算机程序时实现权利要求1至11任一项所述方法中的步骤。
14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至11任一项所述方法中的步骤。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110527077.4A CN113284041B (zh) | 2021-05-14 | 2021-05-14 | 一种图像处理方法、装置、设备及计算机存储介质 |
| PCT/CN2021/127480 WO2022237089A1 (zh) | 2021-05-14 | 2021-10-29 | 图像处理方法、装置、设备、存储介质、程序产品及程序 |
| KR1020237039590A KR20230172014A (ko) | 2021-05-14 | 2021-10-29 | 이미지 처리 방법, 장치, 기기, 저장 매체, 프로그램 제품 및 프로그램 |
| EP21941654.2A EP4207049A4 (en) | 2021-05-14 | 2021-10-29 | IMAGE PROCESSING METHOD AND APPARATUS AND DEVICE, STORAGE MEDIUM, PROGRAM PRODUCT AND PROGRAM |
| TW110144371A TWI780995B (zh) | 2021-05-14 | 2021-11-29 | 圖像處理方法、設備及電腦儲存媒體 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110527077.4A CN113284041B (zh) | 2021-05-14 | 2021-05-14 | 一种图像处理方法、装置、设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113284041A CN113284041A (zh) | 2021-08-20 |
| CN113284041B true CN113284041B (zh) | 2023-04-18 |
Family
ID=77279057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110527077.4A Active CN113284041B (zh) | 2021-05-14 | 2021-05-14 | 一种图像处理方法、装置、设备及计算机存储介质 |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP4207049A4 (zh) |
| KR (1) | KR20230172014A (zh) |
| CN (1) | CN113284041B (zh) |
| TW (1) | TWI780995B (zh) |
| WO (1) | WO2022237089A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112347911A (zh) * | 2020-11-05 | 2021-02-09 | 北京达佳互联信息技术有限公司 | 指甲特效的添加方法、装置、电子设备及存储介质 |
| CN113284041B (zh) * | 2021-05-14 | 2023-04-18 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、设备及计算机存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733802A (zh) * | 2021-01-25 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 图像的遮挡检测方法、装置、电子设备及存储介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090231356A1 (en) * | 2008-03-17 | 2009-09-17 | Photometria, Inc. | Graphical user interface for selection of options from option groups and methods relating to same |
| US10674139B2 (en) * | 2015-06-03 | 2020-06-02 | University Of Connecticut | Methods and systems for human action recognition using 3D integral imaging |
| CN108319953B (zh) * | 2017-07-27 | 2019-07-16 | 腾讯科技（深圳）有限公司 | 目标对象的遮挡检测方法及装置、电子设备及存储介质 |
| CN109960974A (zh) * | 2017-12-22 | 2019-07-02 | 北京市商汤科技开发有限公司 | 人脸关键点检测方法、装置、电子设备及存储介质 |
| CN109978805A (zh) * | 2019-03-18 | 2019-07-05 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN110929651B (zh) * | 2019-11-25 | 2022-12-06 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111310624B (zh) * | 2020-02-05 | 2023-11-21 | 腾讯科技（深圳）有限公司 | 遮挡识别方法、装置、计算机设备及存储介质 |
| CN111797753B (zh) * | 2020-06-29 | 2024-02-27 | 北京灵汐科技有限公司 | 图像驱动模型的训练、图像生成方法、装置、设备及介质 |
| CN112135041B (zh) * | 2020-09-18 | 2022-05-06 | 北京达佳互联信息技术有限公司 | 一种人脸特效的处理方法及装置、存储介质 |
| CN112288665B (zh) * | 2020-09-30 | 2024-05-07 | 北京大米科技有限公司 | 图像融合的方法、装置、存储介质及电子设备 |
| CN112419170B (zh) * | 2020-10-16 | 2023-09-22 | 上海哔哩哔哩科技有限公司 | 遮挡检测模型的训练方法及人脸图像的美化处理方法 |
| CN112633144A (zh) * | 2020-12-21 | 2021-04-09 | 平安科技（深圳）有限公司 | 人脸遮挡检测方法、系统、设备及存储介质 |
| CN113284041B (zh) * | 2021-05-14 | 2023-04-18 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、设备及计算机存储介质 |
-
2021
- 2021-05-14 CN CN202110527077.4A patent/CN113284041B/zh active Active
- 2021-10-29 EP EP21941654.2A patent/EP4207049A4/en active Pending
- 2021-10-29 WO PCT/CN2021/127480 patent/WO2022237089A1/zh active Application Filing
- 2021-10-29 KR KR1020237039590A patent/KR20230172014A/ko active Search and Examination
- 2021-11-29 TW TW110144371A patent/TWI780995B/zh active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733802A (zh) * | 2021-01-25 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 图像的遮挡检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI780995B (zh) | 2022-10-11 |
| TW202244838A (zh) | 2022-11-16 |
| EP4207049A4 (en) | 2024-05-08 |
| WO2022237089A1 (zh) | 2022-11-17 |
| EP4207049A1 (en) | 2023-07-05 |
| KR20230172014A (ko) | 2023-12-21 |
| CN113284041A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238644B2 (en) | Image processing method and apparatus, storage medium, and computer device | |
| WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| WO2018103220A1 (zh) | 一种图像处理的方法及装置 | |
| CN113284041B (zh) | 一种图像处理方法、装置、设备及计算机存储介质 | |
| CN109325990B (zh) | 图像处理方法及图像处理装置、存储介质 | |
| CN108876886B (zh) | 图像处理方法、装置和计算机设备 | |
| CN109978886A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| WO2021218293A1 (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| US20190080510A1 (en) | Creating a synthetic model with organic veracity | |
| CN110660076A (zh) | 一种人脸交换方法 | |
| WO2021098545A1 (zh) | 一种姿势确定方法、装置、设备、存储介质、芯片及产品 | |
| AU2019430369B2 (en) | VRDS 4D medical image-based vein Ai endoscopic analysis method and product | |
| CN116097316A (zh) | 用于非模态中心预测的对象识别神经网络 | |
| CN111028318A (zh) | 一种虚拟人脸合成方法、系统、装置和存储介质 | |
| CN113822965A (zh) | 图像渲染处理方法、装置和设备及计算机存储介质 | |
| CN111652792B (zh) | 图像的局部处理、直播方法、装置、设备和存储介质 | |
| CN116977539A (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN115345927A (zh) | 展品导览方法及相关装置、移动终端和存储介质 | |
| Kitanovski et al. | Augmented reality mirror for virtual facial alterations | |
| CN111652023B (zh) | 嘴型的调整、直播方法、装置、电子设备和存储介质 | |
| JP2003228725A (ja) | ３次元画像処理システム | |
| JP2024519355A (ja) | 画像処理方法、装置、機器、記憶媒体、プログラム製品及びプログラム | |
| CN113610864A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112488909A (zh) | 多人脸的图像处理方法、装置、设备及存储介质 | |
| CN111652807A (zh) | 眼部的调整、直播方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40052772 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |