CN109872379A - 数据处理装置和方法 - Google Patents

数据处理装置和方法 Download PDF

Info

Publication number
CN109872379A
CN109872379A CN201711267386.2A CN201711267386A CN109872379A CN 109872379 A CN109872379 A CN 109872379A CN 201711267386 A CN201711267386 A CN 201711267386A CN 109872379 A CN109872379 A CN 109872379A
Authority
CN
China
Prior art keywords
shelter
face
image
pretreatment
rigid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711267386.2A
Other languages
English (en)
Other versions
CN109872379B (zh
Inventor
陆萍萍
刘汝杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201711267386.2A priority Critical patent/CN109872379B/zh
Priority to JP2018221090A priority patent/JP7188015B2/ja
Priority to DE102018129863.3A priority patent/DE102018129863A1/de
Priority to US16/210,158 priority patent/US10929648B2/en
Publication of CN109872379A publication Critical patent/CN109872379A/zh
Application granted granted Critical
Publication of CN109872379B publication Critical patent/CN109872379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及数据处理装置和方法。数据处理装置包括：建模单元，其配置成针对包含遮挡物的图像建立遮挡物模型；渲染单元，其配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及合成单元，其配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。本公开的目的在于提供一种面部数据增强的数据处理装置和方法，其通过生成具有遮挡物的面部数据有效地扩大了有关面部训练数据集的数量，从而提高了有关面部相关模块的性能。

Description

数据处理装置和方法
技术领域
本公开涉及数据处理的技术领域，具体地涉及面部数据增强的数据处理装置和方法。
背景技术
这个部分提供了与本公开有关的背景信息，这不一定是现有技术。
为了在实际环境中提高面部相关模块(例如检测、对齐、识别等)的性能，有必要根据实际情况收集训练数据集，这意味着对模型针对训练数据的多样性具有较高的需求。对于当前现有的开放数据集，训练数据的多样性通常难以保证，特别是对于局部遮挡的如戴眼镜、面罩等的面部数据集。如果根据应用环境和要求重新收集面部数据，一方面耗时，需要更高的劳动力成本，另一方面需要长时间保持数据集的多样性。
因此，迫切需要一种低成本和方便的面部数据增强方案。为了解决上述问题，本公开提出了一种低成本生成面部遮挡数据集的框架，其中，遮挡物包括面罩、眼镜、手、麦克风等常见的面部遮挡类型。
发明内容
这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。
本公开的目的在于提供一种面部数据增强的数据处理装置和数据处理方法，其通过生成具有遮挡物的面部数据有效地扩大了有关面部训练数据集的数量，从而提高了有关面部相关模块的性能。根据本公开的数据处理装置和方法易于操作，具有较低的计算量和人工成本。
根据本公开的一方面，提供了一种数据处理装置，该装置包括：建模单元，其配置成针对包含遮挡物的图像建立遮挡物模型；渲染单元，其配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及合成单元，其配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。
根据本公开的另一方面，提供了一种数据处理方法，该方法包括：针对包含遮挡物的图像建立遮挡物模型；根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。
根据本公开的另一方面，提供了一种程序产品，该程序产品包括存储在其中的机器可读指令代码，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本公开的数据处理方法。
根据本公开的另一方面，提供了一种机器可读存储介质，其上携带有根据本公开的程序产品。
使用根据本公开的数据处理装置和数据处理方法，其通过生成具有遮挡物的面部数据有效地扩大了有关面部训练数据集的数量，从而提高了有关面部相关模块的性能。根据本公开的数据处理装置和方法易于操作，具有较低的计算量和人工成本。
从在此提供的描述中，进一步的适用性区域将会变得明显。这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本公开的范围。
附图说明
在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施，并且不旨在限制本公开的范围。在附图中：
图1为根据本公开的实施例的数据处理装置的框图；
图2a至图2c示意性示出根据本公开的实施例的遮挡物；
图3为根据本公开的另一实施例的数据处理装置的框图；
图4示意性示出根据本公开的一个实施例的非刚性遮挡物图像的遮挡物模型；
图5为根据本公开的实施例的数据处理方法的流程图；以及
图6为其中可以实现根据本公开的实施例的数据处理装置和方法的通用个人计算机的示例性结构的框图。
虽然本公开容易经受各种修改和替换形式，但是其特定实施例已作为例子在附图中示出，并且在此详细描述。然而应当理解的是，在此对特定实施例的描述并不打算将本公开限制到公开的具体形式，而是相反地，本公开目的是要覆盖落在本公开的精神和范围之内的所有修改、等效和替换。要注意的是，贯穿几个附图，相应的标号指示相应的部件。
具体实施方式
现在参考附图来更加充分地描述本公开的例子。以下描述实质上只是示例性的，而不旨在限制本公开、应用或用途。
提供了示例实施例，以便本公开将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定部件、装置和方法的例子，以提供对本公开的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本公开的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。
图1示出了根据本公开的一个实施例的数据处理装置100的框图。如图1所示，根据本公开的实施例的数据处理装置100可以包括建模单元101、渲染单元102以及合成单元103。
建模单元101可以配置成针对包含遮挡物的图像建立遮挡物模型。
接下来，渲染单元102可以配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态。
然后，合成单元103可以配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。
使用根据本公开的数据处理装置，通过生成具有遮挡物的面部数据有效地扩大了有关面部训练数据集的数量，从而提高了有关面部相关模块的性能。根据本公开的数据处理装置易于操作，具有较低的计算量和人工成本。
根据本公开的一个实施例，所述遮挡物可以包括刚性遮挡物和非刚性遮挡物。如图2a至图2c所示，所述非刚性遮挡物可以包括例如口罩、面罩等的其边界可以基于面部轮廓变形的遮挡物。所述刚性遮挡物可以包括例如眼镜、麦克风、手等不基于面部轮廓变形的遮挡物。这里，本领域技术人员应该清楚，所述非刚性遮挡物和所述刚性遮挡物并不限于本公开所示出的示例。
根据本公开的一个实施例，数据处理装置可以进一步包括遮挡物定义单元，所述遮挡物定义单元可以定义所述遮挡物的类型。亦即，所述遮挡物定义单元可以定义所述遮挡物是刚性遮挡物还是非刚性遮挡物。
<非刚性遮挡物的实施例>
根据本公开的一个实施例，为了后续处理的方便，在建模操作之前，可以进行一些预处理操作。图3示出了根据本公开的一个实施例的数据处理装置300的框图。如图3所示，根据本公开的实施例的数据处理装置300可以包括预处理单元310、建模单元101、渲染单元102以及合成单元103。
根据本实施例，数据处理装置300可以进一步包括预处理单元310，所述预处理单元310可以配置成对包含非刚性遮挡物的面部图像进行预处理，所述预处理可以包括对所述包含非刚性遮挡物的面部图像进行面部检测和面部特征点检测。
根据本公开的一个实施例，可以自动或手动进行所述面部检测和所述面部特征点检测。当自动进行所述面部检测和所述面部特征点检测时，所述面部检测可以包括多任务卷积神经网络(Multi-Task Convolutional Neural Networks，MTCNN)或归一化的像素差异特征(Normalized Pixel Difference,NPD)等的方法。所述面部特征点检测可以包括可变形的组件模型(Deformable Parts Model,DPM)或基于卷积神经网络(ConvolutionalNeural Networks,CNN)等的方法。这里，本领域技术人员应该清楚，所述面部检测和所述面部特征点检测的方法并不限于本公开所列出的示例。本领域技术人员可以采用现有技术中其他可实现类似功能的方法。而当手动进行所述面部特征点检测时，可以提前标注并存储面部特征点。
由于所述非刚性遮挡物例如口罩可能会影响面部特征点的位置精度，根据本公开的一个实施例，所述预处理单元310还可以配置成通过标准面部或平均面部图像对所述非刚性遮挡物中的面部特征点进行修饰。
为了后续的建模处理和颜色一致性调整，根据本公开的一个实施例，所述预处理单元310还可以配置成对优化的(即修饰后的)面部图像进行分割，以获得非刚性遮挡物图像。这里，所述非刚性遮挡物图像包括非刚性遮挡物区域即口罩区域和面部区域。根据本公开的一个实施例，可以通过手动标注或通过自动或半自动方法例如分水岭方法(WatershedMethod)进行分割。
接下来，建模单元101可以配置成针对非刚性遮挡物图像建立遮挡物的变形模型。根据本公开的一个实施例，所述建模单元101可以通过不规则三角网TIN针对分割后的非刚性遮挡物图像建立遮挡物的变形模型，如图4所示。这里，本领域技术人员应该清楚，可以根据实际视角等的需要，采用仿射变换进行处理。
接下来，输入不包含遮挡物的面部图像。根据本公开的一个实施例，所述预处理单元310可以配置成对该输入的不包含遮挡物的面部图像进行预处理，所述预处理同样可以包括面部检测、面部特征点检测和面部分割，其中，面部特征点检测包括提取面部特征点。类似地，所述面部检测、面部特征点检测和面部分割可以采用根据本公开所述的现有技术中的方法。本领域技术人员应该清楚，也可以采用除本公开所列的现有技术中的其他可实现类似功能的方法。
然后，所述渲染单元102可以配置成根据所述非刚性遮挡物和输入的不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相似的尺度和一致的姿态。
根据本公开的一个实施例，所述渲染单元102可以配置成基于提取的面部特征点和所述遮挡物模型针对所述不包含遮挡物的面部图像构建不规则三角网TIN，其中所述不规则三角网TIN包括多个三角形面。然后，针对所述多个三角形面中的每一个，可以使用仿射变换对所述遮挡物模型进行渲染。亦即，所述渲染单元102可以进一步配置成使用仿射变换将所述遮挡物模型的每个三角形面变换为相应输入的不包含遮挡物的面部图像的坐标。
接下来，合成单元103可以配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。
为了提高源自渲染的遮挡物图像和不包含遮挡物的面部图像的合成的遮挡的面部图像的真实性，仅是图像替换是不够的，还需要一些后处理操作。
根据本公开的一个实施例，所述合成单元103可以配置成使用图像混合处理例如阿尔法编辑(alpha matting)使得遮挡的面部图像的融合部分的边界自然过渡。
此外，为了使融合区域和输入的不包含遮挡物的面部图像具有一致的光照条件，根据本公开的一个实施例，所述合成单元103还可以配置成使用直方图规定化方式使所述遮挡的面部图像的融合区域与所述不包含遮挡物的面部图像具有相同的光照条件。具体地，在遮挡的面部图像的剩余面部区域和输入的不包含遮挡物的面部图像的相应区域中，使用所述直方图规定化，然后将获得的灰度映射函数应用于最终的融合区域。
根据本公开的一个实施例，数据处理装置还可以进一步包括收集单元，该收集单元可以配置成收集正面视图下的具有所述非刚性遮挡物的面部图像，如图2a所示的第一张和第三张图像。
使用根据本公开的数据处理装置，通过生成具有遮挡物的面部数据有效地扩大了有关面部训练数据集的数量，从而提高了有关面部相关模块的性能。根据本公开的数据处理装置易于操作，具有较低的计算量和人工成本。
<刚性遮挡物的实施例>
同样，针对刚性遮挡物的实施例，为了后续处理的方便，可以进行一些预处理操作。继续参考图3，根据本公开的一个实施例的数据处理装置300可以包括预处理单元310、建模单元101、渲染单元102以及合成单元103。
根据本实施例，数据处理装置300可以进一步包括预处理单元310，所述预处理单元310可以配置成对包含刚性遮挡物的图像进行预处理，所述预处理可以包括确定所述刚性遮挡物的尺度信息，包括质心、高度和宽度等。本领域技术人员应该清楚，这里，所述刚性遮挡物可以是眼镜、麦克风等非可变形的遮挡物，其尺度信息可以根据实际情况或需要而确定，并不限于本公开所列的质心、高度和宽度等。
为了后续的建模处理，根据本公开的一个实施例，所述预处理单元310还可以配置成对包含刚性遮挡物的图像进行分割。
然后，建模单元101可以配置成使用分割后的结果、所述刚性遮挡物的位置和所述尺度信息来建立遮挡物的平面模型。这里，本领域技术人员应该清楚，可以根据实际视角等的需要，采用仿射变换进行处理。
接下来，输入不包含遮挡物的面部图像。根据本公开的一个实施例，所述预处理单元310可以配置成对输入的不包含遮挡物的面部图像进行预处理，所述预处理同样可以包括面部检测、面部特征点检测和面部分割，其中，面部特征点检测包括提取面部特征点。类似地，所述面部检测、面部特征点检测和面部分割可以采用根据本公开所述的现有技术中的方法。本领域技术人员应该清楚，也可以采用除本公开所列的现有技术中的其他可实现类似功能的方法。
此外，根据本公开的一个实施例，所述预处理单元310还可以配置成针对所述刚性遮挡物、通过简单的几何方法进行姿态估计。
然后，所述渲染单元102可以配置成根据所述刚性遮挡物和输入的不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和一致的姿态。
根据本公开的一个实施例，所述渲染单元102可以配置成根据所述刚性遮挡物的信息以及所述不包含遮挡物的面部图像的信息来计算仿射变换矩阵。
例如，当所述刚性遮挡物为眼镜时，所述渲染单元102可以配置成根据所述眼镜的质心和尺度信息以及输入的不包含遮挡物的面部图像中的两只眼睛的中心点和长度以及输入的不包含遮挡物的面部图像的姿态包括旋转、平移等来计算仿射变换矩阵。而当所述刚性遮挡物为其他遮挡物例如麦克风或手时，同样可以采用类似的参数，根据遮挡物的质心和尺度信息等来计算仿射变换矩阵。这里，为了确保生成的数据集的多样性，遮挡物的放置位置和视角可以随机生成。
接下来，合成单元103可以配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。
根据本公开的一个实施例，数据处理装置可以进一步包括收集单元，该收集单元可以配置成收集例如眼镜、麦克风和手等的刚性遮挡物的图像，如图2b和2c所示的图像。然而，为了简化手的数据增强方法，同时保持手势的多样性，可以使用包括不同手势的开放数据集(例如EgoHands)。
这里，关于与本公开上述非刚性遮挡物的实施例类似的单元的操作，在此不再赘述。
下面结合图5来描述根据本公开的实施例的数据处理方法。如图5所示，根据本公开的实施例的数据处理方法开始于步骤S510。在步骤S510中，可以针对包含遮挡物的图像建立遮挡物模型。
接下来，在步骤S520中，可以根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态。
最后，在步骤S530中，可以将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。
根据本公开的实施例，所述数据处理方法可以进一步包括定义所述遮挡物的类型的步骤，其中，可以定义所述遮挡物是刚性遮挡物或是非刚性遮挡物。
在定义所述遮挡物是非刚性遮挡物的情况下：
根据本公开的实施例，所述数据处理方法还可以包括对包含非刚性遮挡物的面部图像进行第一预处理的步骤，所述第一预处理可以包括对所述包含非刚性遮挡物的面部图像进行面部检测和面部特征点检测；
根据本公开的实施例，可以自动或手动进行所述面部检测和所述面部特征点检测；
根据本公开的实施例，所述第一预处理可以进一步包括通过标准面部或平均面部图像对所述非刚性遮挡物中的面部特征点进行优化的步骤；
根据本公开的实施例，所述第一预处理还可以进一步包括对优化的面部图像进行分割以获得非刚性遮挡物图像的步骤；
根据本公开的实施例，建立遮挡物模型可以进一步包括通过不规则三角网TIN针对所述非刚性遮挡物图像建立遮挡物的变形模型的步骤；
根据本公开的实施例，所述数据处理方法可以进一步包括对不包含遮挡物的面部图像进行第一预处理的步骤，所述第一预处理可以包括面部检测、面部特征点检测和面部分割，其中，面部特征点检测可以包括提取面部特征点的步骤；
根据本公开的实施例，对所述遮挡物模型进行渲染可以包括基于提取的面部特征点和所述遮挡物模型针对所述不包含遮挡物的面部图像构建不规则三角网TIN的步骤，所述不规则三角网TIN包括多个三角形面；
根据本公开的实施例，对所述遮挡物模型进行渲染还可以包括针对所述多个三角形面中的每一个、使用仿射变换对所述遮挡物模型进行渲染的步骤；
根据本公开的实施例，将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像可以包括使用图像混合处理以使得遮挡的面部图像的融合部分的边界自然过渡的步骤；
根据本公开的实施例，将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像还可以包括使用直方图规定化方式使所述遮挡的面部图像的融合区域与所述不包含遮挡物的面部图像具有相同的光照条件的步骤；以及
根据本公开的实施例，所述数据处理方法还可以包括收集正面视图下的具有所述非刚性遮挡物的面部图像的步骤。
在定义所述遮挡物是刚性遮挡物的情况下：
根据本公开的实施例，所述数据处理方法还可以包括对包含刚性遮挡物的图像进行第二预处理的步骤，所述第二预处理可以包括确定所述刚性遮挡物的尺度信息，包括质心、高度和宽度；
根据本公开的实施例，建立遮挡物模型可以进一步包括使用所述刚性遮挡物的位置和所述尺度信息来建立遮挡物的平面模型的步骤；
根据本公开的实施例，所述第二预处理可以进一步包括通过几何方法进行姿态估计的步骤；以及
根据本公开的实施例，对所述遮挡物模型进行渲染可以进一步包括根据所述刚性遮挡物的信息以及所述不包含遮挡物的面部图像的信息来计算仿射变换矩阵的步骤。
根据本公开的实施例的数据处理方法的上述步骤的各种具体实施方式前面已经作过详细描述，在此不再重复说明。
显然，根据本公开的数据处理方法的各个操作过程可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且，本公开的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。此时，只要该系统或者设备具有执行程序的功能，则本公开的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其他适于存储信息的介质等。
另外，计算机通过连接到因特网上的相应网站，并且将依据本公开的计算机程序代码下载和安装到计算机中然后执行该程序，也可以实现本公开的技术方案。
图6为其中可以实现根据本公开的实施例的数据处理装置和方法的通用个人计算机1300的示例性结构的框图。
如图6所示，CPU 1301根据只读存储器(ROM)1302中存储的程序或从存储部分1308加载到随机存取存储器(RAM)1303的程序执行各种处理。在RAM 1303中，也根据需要存储当CPU 1301执行各种处理等等时所需的数据。CPU 1301、ROM 1302和RAM 1303经由总线1304彼此连接。输入/输出接口1305也连接到总线1304。
下述部件连接到输入/输出接口1305：输入部分1306(包括键盘、鼠标等等)、输出部分1307(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，以及扬声器等)、存储部分1308(包括硬盘等)、通信部分1309(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1309经由网络比如因特网执行通信处理。根据需要，驱动器1310也可连接到输入/输出接口1305。可拆卸介质1311比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1310上，使得从中读出的计算机程序根据需要被安装到存储部分1308中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1311安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1311。可拆卸介质1311的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1302、存储部分1308中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
在本公开的系统和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上虽然结合附图详细描述了本公开的实施例，但是应当明白，上面所描述的实施方式只是用于说明本公开，而并不构成对本公开的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本公开的实质和范围。因此，本公开的范围仅由所附的权利要求及其等效含义来限定。
关于包括以上实施例的实施方式，还公开下述的附记：
附记1.一种数据处理装置，包括：
建模单元，其配置成针对包含遮挡物的图像建立遮挡物模型；
渲染单元，其配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及
合成单元，其配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。
附记2.根据附记1所述的装置，其中，所述遮挡物包括刚性遮挡物和非刚性遮挡物。
附记3.根据附记2所述的装置，进一步包括预处理单元，所述预处理单元配置成对包含非刚性遮挡物的面部图像进行第一预处理，所述第一预处理包括对所述包含非刚性遮挡物的面部图像进行面部检测和面部特征点检测。
附记4.根据附记3所述的装置，其中，所述第一预处理还包括自动或手动进行所述面部检测和所述面部特征点检测。
附记5.根据附记3所述的装置，其中，所述第一预处理还包括通过标准面部或平均面部图像对所述非刚性遮挡物中的面部特征点进行优化。
附记6.根据附记5所述的装置，其中，所述第一预处理还包括对优化的面部图像进行分割，以获得非刚性遮挡物图像。
附记7.根据附记6所述的装置，其中，所述建模单元进一步配置成通过不规则三角网TIN针对所述非刚性遮挡物图像建立遮挡物的变形模型。
附记8.根据附记2所述的装置，进一步包括预处理单元，所述预处理单元配置成对不包含遮挡物的面部图像进行第一预处理，所述第一预处理包括面部检测、面部特征点检测和面部分割，其中，面部特征点检测包括提取面部特征点。
附记9.根据附记8所述的装置，其中，所述渲染单元进一步配置成：
基于提取的面部特征点和所述遮挡物模型针对所述不包含遮挡物的面部图像构建不规则三角网TIN，所述不规则三角网TIN包括多个三角形面，以及
针对所述多个三角形面中的每一个，使用仿射变换对所述遮挡物模型进行渲染。
附记10.根据附记1所述的装置，其中，所述合成单元进一步配置成使用图像混合处理以使得遮挡的面部图像的融合部分的边界自然过渡。
附记11.根据附记10所述的装置，其中，所述合成单元进一步配置成使用直方图规定化方式使所述遮挡的面部图像的融合区域与所述不包含遮挡物的面部图像具有相同的光照条件。
附记12.根据附记2所述的装置，进一步包括预处理单元，所述预处理单元配置成对包含刚性遮挡物的图像进行第二预处理，所述第二预处理包括确定所述刚性遮挡物的包括质心、高度和宽度的尺度信息。
附记13.根据附记12所述的装置，其中，所述建模单元进一步配置成使用所述刚性遮挡物的位置和所述尺度信息来建立遮挡物的平面模型。
附记14.根据附记8所述的装置，其中，针对所述刚性遮挡物，所述第一预处理还包括通过几何方法进行姿态估计。
附记15.根据附记2所述的装置，其中，所述渲染单元进一步配置成根据所述刚性遮挡物的信息以及所述不包含遮挡物的面部图像的信息来计算仿射变换矩阵。
附记16.根据附记2所述的装置，进一步包括收集单元，所述收集单元收集正面视图下的具有所述非刚性遮挡物的面部图像。
附记17.一种数据处理方法，包括：
针对包含遮挡物的图像建立遮挡物模型；
根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及
将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。
附记18.根据附记17所述的方法，其中，所述遮挡物包括刚性遮挡物和非刚性遮挡物。
附记19.根据附记18所述的方法，进一步包括对包含非刚性遮挡物的面部图像进行第一预处理，所述第一预处理包括对所述包含非刚性遮挡物的面部图像进行面部检测和面部特征点检测。
附记20.一种程序产品，包括存储在其中的机器可读指令代码，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据附记17-19中任何一项所述的方法。

Claims (10)

1.一种数据处理装置，包括：
建模单元，其配置成针对包含遮挡物的图像建立遮挡物模型；
渲染单元，其配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及
合成单元，其配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。
2.根据权利要求1所述的装置，其中，所述遮挡物包括刚性遮挡物和非刚性遮挡物。
3.根据权利要求2所述的装置，进一步包括预处理单元，所述预处理单元配置成对包含非刚性遮挡物的面部图像进行第一预处理，所述第一预处理包括对所述包含非刚性遮挡物的面部图像进行面部检测和面部特征点检测。
4.根据权利要求3所述的装置，其中，所述第一预处理还包括通过标准面部或平均面部图像对所述非刚性遮挡物中的面部特征点进行优化。
5.根据权利要求4所述的装置，其中，所述第一预处理还包括对优化的面部图像进行分割，以获得非刚性遮挡物图像。
6.根据权利要求2所述的装置，进一步包括预处理单元，所述预处理单元配置成对不包含遮挡物的面部图像进行第一预处理，所述第一预处理包括面部检测、面部特征点检测和面部分割，其中，面部特征点检测包括提取面部特征点。
7.根据权利要求6所述的装置，其中，所述渲染单元进一步配置成：
基于提取的面部特征点和所述遮挡物模型针对所述不包含遮挡物的面部图像构建不规则三角网TIN，所述不规则三角网TIN包括多个三角形面，以及
针对所述多个三角形面中的每一个，使用仿射变换对所述遮挡物模型进行渲染。
8.根据权利要求2所述的装置，进一步包括预处理单元，所述预处理单元配置成对包含刚性遮挡物的图像进行第二预处理，所述第二预处理包括确定所述刚性遮挡物的包括质心、高度和宽度的尺度信息。
9.一种数据处理方法，包括：
针对包含遮挡物的图像建立遮挡物模型；
根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及
将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。
10.一种机器可读存储介质，其上携带有程序产品，所述程序产品包括存储在其中的机器可读指令代码，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据权利要求9所述的方法。
CN201711267386.2A 2017-12-05 2017-12-05 数据处理装置和方法 Active CN109872379B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711267386.2A CN109872379B (zh) 2017-12-05 2017-12-05 数据处理装置和方法
JP2018221090A JP7188015B2 (ja) 2017-12-05 2018-11-27 データ処理装置及びデータ処理方法
DE102018129863.3A DE102018129863A1 (de) 2017-12-05 2018-11-27 Vorrichtung und Verfahren zur Datenverarbeitung
US16/210,158 US10929648B2 (en) 2017-12-05 2018-12-05 Apparatus and method for data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711267386.2A CN109872379B (zh) 2017-12-05 2017-12-05 数据处理装置和方法

Publications (2)

Publication Number Publication Date
CN109872379A true CN109872379A (zh) 2019-06-11
CN109872379B CN109872379B (zh) 2022-12-02

Family

ID=66547851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711267386.2A Active CN109872379B (zh) 2017-12-05 2017-12-05 数据处理装置和方法

Country Status (4)

Country Link
US (1) US10929648B2 (zh)
JP (1) JP7188015B2 (zh)
CN (1) CN109872379B (zh)
DE (1) DE102018129863A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311397A (zh) * 2022-08-09 2022-11-08 北京字跳网络技术有限公司 用于图像渲染的方法、装置、设备和存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11257493B2 (en) 2019-07-11 2022-02-22 Soundhound, Inc. Vision-assisted speech processing
JP7349288B2 (ja) * 2019-08-08 2023-09-22 セコム株式会社 対象物認識装置、対象物認識方法、及び対象物認識プログラム
JP6977004B2 (ja) * 2019-08-23 2021-12-08 サウンドハウンド，インコーポレイテッド 車載装置、発声を処理する方法およびプログラム
EP3971820A4 (en) * 2019-09-30 2022-08-10 Beijing Sensetime Technology Development Co., Ltd. IMAGE PROCESSING METHOD, DEVICE AND ELECTRONIC DEVICE
CN113435226B (zh) * 2020-03-23 2022-09-16 北京百度网讯科技有限公司 信息处理方法和装置
CN111639545B (zh) * 2020-05-08 2023-08-08 浙江大华技术股份有限公司 一种人脸识别方法、装置、设备及介质
CN112257552B (zh) * 2020-10-19 2023-09-05 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
US11482041B2 (en) * 2020-10-21 2022-10-25 Adobe Inc. Identity obfuscation in images utilizing synthesized faces
CN113012176B (zh) * 2021-03-17 2023-12-15 阿波罗智联(北京)科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
JP7346528B2 (ja) * 2021-05-26 2023-09-19 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP4350611A1 (en) * 2021-05-26 2024-04-10 Canon Kabushiki Kaisha Image processing device and image processing method for performing facial authentication
CN113435273B (zh) * 2021-06-15 2022-03-25 北京的卢深视科技有限公司 数据增广方法、装置、电子设备及存储介质
WO2023008811A2 (ko) * 2021-07-29 2023-02-02 이광희 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법
WO2023238365A1 (ja) * 2022-06-10 2023-12-14 富士通株式会社 顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271264A1 (en) * 2004-04-21 2005-12-08 Topcon Corporation Three-dimensional image measuring apparatus and method
US20080310720A1 (en) * 2007-02-14 2008-12-18 Samsung Electronics Co., Ltd. Object pose normalization method and apparatus and object recognition method
JP2011198112A (ja) * 2010-03-19 2011-10-06 Kokusai Kogyo Co Ltd 商品選択システム、及び商品モデル装置と対象物モデル装置と対象物データ取得装置と通信販売方法、並びに体形管理システムと非接触式計測手段
JP2012003623A (ja) * 2010-06-18 2012-01-05 Toshiba Corp 顔画像検索装置および顔画像検索方法
CN102906786A (zh) * 2010-05-26 2013-01-30 日本电气株式会社 脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序
US20150110349A1 (en) * 2013-10-22 2015-04-23 Samsung Electronics Co., Ltd. Face tracking apparatuses and methods
US20170140211A1 (en) * 2014-03-28 2017-05-18 Nec Corporation Face comparison device, method, and recording medium
US20170178306A1 (en) * 2015-12-21 2017-06-22 Thomson Licensing Method and device for synthesizing an image of a face partially occluded
GB201711353D0 (en) * 2017-07-14 2017-08-30 Idscan Biometrics Ltd Improvements relating to face recognition

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589595B2 (en) * 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
WO2015144209A1 (en) * 2014-03-25 2015-10-01 Metaio Gmbh Method and system for representing a virtual object in a view of a real environment
US10609324B2 (en) * 2016-07-18 2020-03-31 Snap Inc. Real time painting of a video stream
US10778939B2 (en) * 2017-09-22 2020-09-15 Facebook, Inc. Media effects using predicted facial feature locations

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271264A1 (en) * 2004-04-21 2005-12-08 Topcon Corporation Three-dimensional image measuring apparatus and method
US20080310720A1 (en) * 2007-02-14 2008-12-18 Samsung Electronics Co., Ltd. Object pose normalization method and apparatus and object recognition method
JP2011198112A (ja) * 2010-03-19 2011-10-06 Kokusai Kogyo Co Ltd 商品選択システム、及び商品モデル装置と対象物モデル装置と対象物データ取得装置と通信販売方法、並びに体形管理システムと非接触式計測手段
CN102906786A (zh) * 2010-05-26 2013-01-30 日本电气株式会社 脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序
JP2012003623A (ja) * 2010-06-18 2012-01-05 Toshiba Corp 顔画像検索装置および顔画像検索方法
US20150110349A1 (en) * 2013-10-22 2015-04-23 Samsung Electronics Co., Ltd. Face tracking apparatuses and methods
US20170140211A1 (en) * 2014-03-28 2017-05-18 Nec Corporation Face comparison device, method, and recording medium
US20170178306A1 (en) * 2015-12-21 2017-06-22 Thomson Licensing Method and device for synthesizing an image of a face partially occluded
GB201711353D0 (en) * 2017-07-14 2017-08-30 Idscan Biometrics Ltd Improvements relating to face recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311397A (zh) * 2022-08-09 2022-11-08 北京字跳网络技术有限公司 用于图像渲染的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US20190171866A1 (en) 2019-06-06
DE102018129863A1 (de) 2019-06-06
CN109872379B (zh) 2022-12-02
JP2019102081A (ja) 2019-06-24
JP7188015B2 (ja) 2022-12-13
US10929648B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
CN109872379A (zh) 数据处理装置和方法
US11455495B2 (en) System and method for visual recognition using synthetic training data
CN108961369B (zh) 生成3d动画的方法和装置
US9305387B2 (en) Real time generation of animation-ready 3D character models
US9978175B2 (en) Real time concurrent design of shape, texture, and motion for 3D character animation
CN107564080B (zh) 一种人脸图像的替换系统
CN110009721A (zh) 生成由曲线表示的图像的三角网格
CN109964255B (zh) 使用3d视频数据的3d打印
WO2010060113A1 (en) Real time generation of animation-ready 3d character models
JP7294788B2 (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
CN112221145A (zh) 游戏脸模生成方法及装置、存储介质及电子设备
CN110490959A (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
CN108388889A (zh) 用于分析人脸图像的方法和装置
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
US10803677B2 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
JP6891473B2 (ja) 柄替えシミュレーション装置、柄替えシミュレーション方法、及びプログラム
Orvalho et al. Transferring the rig and animations from a character to different face models
CN110414345A (zh) 卡通图像生成方法、装置、设备及存储介质
CN111862001B (zh) Ct影像的半自动标注方法及装置、电子设备、存储介质
CN109285160B (zh) 一种抠像方法与系统
CN113486941B (zh) 直播图像的训练样本生成方法、模型训练方法及电子设备
CN111460993B (zh) 基于与或图aog的人类图像生成方法
CN115631516A (zh) 人脸图像处理方法、装置、设备及计算机可读存储介质
Wang et al. Synthesizing trees by plantons
Ait Mouhou et al. 3D garment positioning using Hermite radial basis functions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant