CN111435433B - 信息处理装置、信息处理方法以及存储介质 - Google Patents

信息处理装置、信息处理方法以及存储介质 Download PDF

Info

Publication number
CN111435433B
CN111435433B CN201910275462.7A CN201910275462A CN111435433B CN 111435433 B CN111435433 B CN 111435433B CN 201910275462 A CN201910275462 A CN 201910275462A CN 111435433 B CN111435433 B CN 111435433B
Authority
CN
China
Prior art keywords
image
region
subject
unit
synthesized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910275462.7A
Other languages
English (en)
Other versions
CN111435433A (zh
Inventor
奥野舜
上田弘树
板仓弘幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Publication of CN111435433A publication Critical patent/CN111435433A/zh
Application granted granted Critical
Publication of CN111435433B publication Critical patent/CN111435433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Abstract

实施方式涉及信息处理装置、信息处理方法以及存储介质。信息处理装置具备检测部、生成部和合成部。检测部从拍摄被摄体得到的第1图像中，检测包含被摄体的特定部位的第1图像区域。生成部生成用于指定包含第1图像区域的、向第2图像进行合成的区域的多个遮盖图像。合成部利用多个遮盖图像，将第1图像向第2图像进行合成。多个遮盖图像分别在与其他遮盖图像相接的区域或者与其他遮盖图像重合的区域中包含第1图像的区域中的亮度比其他区域大的区域。

Description

信息处理装置、信息处理方法以及存储介质
技术领域
本发明涉及信息处理装置、信息处理方法以及存储介质。
背景技术
已知将从某个图像检测出的人物的脸与其他图像的脸区域合成的技术、以及将发型的图像(发型内容)与其他图像合成的技术等将多个图像进行合成的技术。此外，例如，提出了将脸等要合成的区域的轮廓(边界)部分顺畅地合成的被称作泊松图像编辑(PoissonImage Editing)的技术。
发明内容
根据现有技术，有不能进行高品质的合成的情况。例如，根据泊松图像编辑等技术，在要合成的区域的附近包含特征性颜色(前发、影等)的情况下，有该颜色的影响变大而无法生成自然的合成图像的情况。
实施方式的信息处理装置具备检测部、生成部以及合成部。检测部从拍摄被摄体得到的第1图像中，检测包含被摄体的特定部位的第1图像区域。生成部生成用于指定包含第1图像区域的向第2图像进行合成的区域的多个遮盖(mask)图像。合成部利用多个遮盖图像，将第1图像与第2图像合成。多个遮盖图像分别在与其他遮盖图像相接的区域或者与其他遮盖图像重合的区域中包含第1图像的区域中的亮度比其他区域大的区域。
附图说明
图1是信息处理系统的示意图。
图2是信息处理装置的功能框图。
图3是表示本实施方式的合成处理的整体流程的一例的流程图。
图4是表示准备服装内容的处理的一例的流程图。
图5是表示服装内容的准备处理的具体例的图。
图6是表示准备发型内容的处理的一例的流程图。
图7是表示发型内容的准备处理的具体例的图。
图8是表示合成处理的详细顺序的流程图。
图9是表示检测出的特征点的一例的图。
图10是表示检测出的脸区域的倾斜度的一例的图。
图11是表示旋转后的图像的例子的图。
图12是表示对脸区域的颜色的影响变大的可能性高的图像的例子的图。
图13是表示包含影的服装内容的图像的例子的图。
图14是表示生成的遮盖图像的一例的图。
图15是表示生成的遮盖图像的一例的图。
图16是表示合成了发型内容的图像的一例的图。
图17是表示信息处理装置、终端装置以及外部服务器的硬件结构例的框图。
具体实施方式
根据现有技术，有无法进行高品质的合成的情况。例如，根据泊松图像编辑等技术，在要合成的区域的附近包含特征性颜色(前发、影等)的情况下，有该颜色的影响变大而无法生成自然的合成图像的情况。
实施方式的信息处理装置具备检测部、生成部以及合成部。检测部从拍摄被摄体得到的第1图像中，检测包含被摄体的特定部位的第1图像区域。生成部生成用于指定包含第1图像区域的、向第2图像进行合成的区域的多个遮盖图像。合成部利用多个遮盖图像，将第1图像向第2图像进行合成。多个遮盖图像分别在与其他遮盖图像相接的区域或者与其他遮盖图像重合的区域中包含第1图像的区域中的亮度比其他区域大的区域。
以下，参照附图，详细说明本发明的信息处理装置的优选实施方式。
例如在合成脸区域的情况下，如果能够使用高品质的图像，则合成处理也能够高品质地执行。另一方面，在使用例如在美容院等拍摄场所拍摄的图像(照片)的情况下，有由于拍摄场所的不稳定的光环境(混入自然光、成为逆光、多样的照明设备)等的影响而无法使用高品质的图像、从而合成品质下降的情况。为了解决这样的问题，有取得前景图像以及背景图像的像素值的技术，但根据这样的技术，执行时间会增大。
此外，例如在对于将脸区域高精度地排除了的发型内容合成脸(特别是瘦脸)时，有发型内容与脸的轮廓不适合、不能得到高品质的合成图像的问题。
对于这样的问题，如果使用上述的泊松图像编辑，则能够实现重视对比度、耐光环境变化、脸轮廓的匹配自由度高的合成。根据泊松图像编辑，通常，使用用于指定要合成的区域(合成脸图像的情况下是脸区域)的图像即遮盖图像。根据泊松图像编辑，根据由遮盖图像指定的区域的周边的像素值，推定该区域的内侧的像素值，所以能够更顺畅地合成图像。
另一方面，作为从图像中检测脸的手法，已知深度学习(deep learning)等基于机器学习的手法。但是，根据这样的手法，用于进行脸检测的教师数据不足，特别是从戴眼镜的人物图像检测脸的精度较低。例如，在佩戴黑边眼镜的情况下，无法高精度地检测眼以及眉，从而脸检测的精度不稳定。此外，根据上述手法，无法检测脸的旋转，如果不水平地拍摄被摄体的图像则不能进行高品质的脸合成。
这样的问题如果应用例如将脸部包含的多个部位分别利用机器学习进行检测而不是将相当于脸整体的矩形信息进行检测的手法，则能够解决。例如，提出了利用通过机器学习得到的模型(学习模型)从脸图像中检测与眼、眉、鼻、口(唇)及颚等部位对应的合计68点的特征点的手法。各点事先被定义，按每个点，如“右眼的外眼角”以及“右唇的嘴角”等那样，连是哪个部位的哪个位置都能够检测。
但是，即使应用这样的检测手法，在对图像的合成应用例如泊松图像编辑的情况下，也如上述那样，有在合成的区域(例如脸的部位)的附近特征性颜色(例如前发、影等的亮度小的颜色)的影响变大、无法生成高品质的合成图像的情况。
因此，根据本实施方式，参照利用机器学习检测出的合成的部位的信息，作为用于指定将图像合成的区域的遮盖图像，生成多个遮盖图像。多个遮盖图像分别以使进行合成的图像的区域中的亮度比其他区域大的区域包含在与其他遮盖图像相接的区域或者与其他遮盖图像重合的区域中的方式生成。由此，能够在进行合成的区域的附近降低特征性颜色的影响，以更高品质合成图像。
另外，以下，主要说明作为图像合成技术而使用泊松图像编辑的情况，但能够应用的图像合成技术不限于此。也可以使用将利用遮盖图像进行合成的区域的轮廓部分顺畅地合成的其他图像合成技术。例如，也可以使用利用伽马曲线将像素值修正而合成图像的技术(例如专利文献2)。
图1是本实施方式的信息处理系统1的示意图。
信息处理系统1具备信息处理装置10、终端装置12和外部服务器14。信息处理装置10、终端装置12以及外部服务器14经由网络16以能够有线通信或无线通信的方式连接。
另外，本实施方式中，将信息处理系统1具备1台信息处理装置10、1台外部服务器14和1台终端装置12的情况作为一例来说明。但是，信息处理系统1也可以构成为，将信息处理装置10、终端装置12以及外部服务器14的至少1个具备多个。
网络16例如是因特网，但也可以是其他任何方式的网络。
信息处理装置10是生成合成图像的装置。合成图像的详细情况后述。
终端装置12是由用户操作的终端装置。终端装置12例如是便携终端及智能手机等。本实施方式中，终端装置12由第1被摄体操作。
第1被摄体是假想地试验其他形态的用户。
所谓假想地试验其他形态是指，假想地试验头发的形态、在皮肤上描绘的刺青等图样以及物品(item)中的至少1个的形态。物品是用户可佩带之物。物品例如是衣服、装饰品、假发、眼镜以及口罩等。衣服例如是上衣、裙子、裤子、鞋、帽子及泳衣等。
用户可以是生物也可以是非生物。对于生物，例如可以举出人。另外，生物不限于人，也可以是狗及猫等人以外的动物。此外，对于非生物，可以举出效仿人体及动物的形状的模型、以及其他物体等，但不限于此。本实施方式中，说明用户是人的情况。另外，在将第1被摄体等人物总称来说明的情况下，简称用户来进行说明。
终端装置12具备拍摄部12A、输入部12B和显示部12C。
拍摄部12A拍摄第1被摄体，得到第1被摄体的图像即第1被摄体图像。第1被摄体图像是被摄体图像的一例。拍摄部12A例如是数码相机。
另外，第1被摄体图像的数据形式不限。例如，第1被摄体图像是按每个像素而规定了表示颜色及亮度等的像素值的图像。另外，第1被摄体图像不限于位图图像。
输入部12B受理用户的操作指示。输入部12B是键盘、鼠标以及输入按钮等。
显示部12C显示各种图像。本实施方式中，显示部12C显示由信息处理装置10生成的合成图像。显示部12C是LCD(Liquid Crystal Display)以及有机EL(Electro－Luminescence)显示器等。另外，输入部12B和显示部12C也可以一体地构成。该情况下，输入部12B及显示部12C例如可以构成为触摸面板。
外部服务器14是能够对包含在合成中使用的第2被摄体图像(第2图像)、以及头发的形态、在皮肤上描绘的刺青等图样、佩戴于第2被摄体的物品以及与物品相关的信息等各种各样的信息的大数据进行处理的服务器装置。本实施方式中，外部服务器14存储第2被摄体图像、以及头发的形态、刺青的图样以及与各个物品相关的信息等。第2被摄体是与第1被摄体不同的被摄体。第2被摄体图像是第2被摄体的被摄体图像。第2被摄体图像的详细情况后述。
根据本实施方式的信息处理系统1，信息处理装置10利用由终端装置12拍摄的第1被摄体图像、和从外部服务器14等取得的第2被摄体图像，生成合成图像，向终端装置12提供。
关于信息处理装置10详细地进行说明。
图2是信息处理装置10的功能框图的一例。另外，图2中，基于数据的输入输出的说明的观点，还示出了终端装置12以及外部服务器14。
信息处理装置10具备控制部20、通信部22、存储部24、显示部26和输入部28。通信部22、存储部24、显示部26以及输入部28以能够交换数据及信号的方式与控制部20连接。
通信部22是经由网络16而与终端装置12及外部服务器14进行通信的通信接口。
存储部24存储各种数据。例如，存储部24存储第1被摄体图像、教师数据、学习模型以及第2被摄体信息。
另外，存储部24能够由闪存存储器、存储卡、RAM(Random Access Memory)、HDD(Hard Disk Drive)以及光盘等通常使用的所有存储介质构成。此外，也可以取代在信息处理装置10内具备存储部24，而在与网络16连接的存储装置(云存储等)中存储上述那样的各种数据。
教师数据是在学习模型的学习中使用的教师数据。例如，教师数据是表示第1被摄体图像与合成区域的对应的数据。合成区域是第1被摄体图像内的向第2被摄体图像合成的区域。
合成区域例如是第1被摄体图像中的脸区域。所谓脸区域，是人的构成脸的部位，是包含眼、眉、鼻、口以及颚的区域。也可以将包含这些部位中的一部分的区域作为脸区域。另外，以下，以将脸区域作为合成区域的情况、也就是将脸图像向其他图像合成的情况为例进行说明，但合成区域不限于脸区域。
学习模型是用于从被摄体图像检测合成区域的模型。学习模型通过后述的控制部20的处理，利用教师数据而被学习。
存储部24中，将第1被摄体图像与从第1被摄体图像检测出的合成区域建立对应而作为教师数据来存储。此外，存储部24中，存储有多个教师数据。另外，教师数据可以使用已生成的数据，例如可以由控制部20生成并存储在存储部24中。
例如，控制部20可以利用图像处理技术以及脸识别技术等从第1被摄体图像将第1被摄体图像的脸区域作为合成区域来检测。并且，控制部20可以将该第1被摄体图像与检测出的脸区域的对应作为教师数据向存储部24存储。另外，控制部20也可以通过后述的处理等，适当进行新的教师数据的追加以及合成区域的修正。
另外，教师数据也可以还包含元数据。元数据是性别以及脸的角度等。
第2被摄体信息是将第2被摄体图像与对象区域建立了对应的信息。第2被摄体信息可以还包含补充信息。此外，第2被摄体信息的数据形式例如是数据库形式，但不限于此。
第2被摄体图像例如是包含第2被摄体的脸及衣服的图像。另外，与第1被摄体同样，第2被摄体可以是生物也可以是模型等非生物。本实施方式中，以第2被摄体是人的情况作为一例进行说明。
本实施方式中，第2被摄体图像是包含第1被摄体的试验对象部位的图像。
所谓试验对象部位，是表示由第1被摄体假想地试验的形态的部位。如上所述，第1被摄体假想地试验头发的形态、在皮肤上描绘的刺青等图样以及物品中的至少一个的形态。试验对象部位是表示这些假想地试验的形态的部位。具体而言，试验对象部位是头发部位、皮肤部位以及佩戴于第2被摄体的物品中的至少一个。物品与上述是同样的。
试验对象部位是头发部位的情况下，第1被摄体假想地试验在第2被摄体图像的头发部位表示的发型。试验对象部位是在皮肤上描绘的图样的情况下，第1被摄体假想地试验在第2被摄体图像的皮肤部位表示的图样。试验对象部位是物品的情况下，第1被摄体假想地试验在第2被摄体图像中表示的第2被摄体所佩戴的物品。这些假想试验通过由后述的控制部20提供合成图像来实现。
另外，合成区域可以是第1被摄体图像中的与上述试验对象部位邻接的区域。换言之，合成区域可以是第1被摄体图像中的和与第2被摄体图像的试验对象部位对应的区域邻接的区域。例如，试验对象部位是头发部位的情况下，合成区域是第1被摄体图像中的脸区域。脸区域是第1被摄体图像中的与头发部位邻接的区域。此外，试验对象部位是在背上描绘的图样的情况下，合成区域是第1被摄体图像中的与背邻接的臂部、颈部及臀部等区域。此外，试验对象部位是衣服等物品的情况下，合成区域是第1被摄体图像中的与衣服邻接的臂部及头部等区域。
接着，说明对象区域。对象区域是第2被摄体图像中的与合成区域对应的区域。所谓与合成区域对应的区域，是指第2被摄体图像中的包含与第1被摄体图像的合成区域相同部位的区域。部位表示例如构成人体的身体的眼、眉、鼻、口以及颚等。
例如，合成区域是脸区域的情况下，对象区域是第2被摄体图像中的第2被摄体的脸区域。以下，有时将表示脸区域的对象区域称为对象区域A来进行说明。另外，对象区域以及合成区域的形状不限。从合成时的对位的容易性的观点来看，合成区域以及对象区域的形状可以是矩形。此外，对象区域以及合成区域优选是相同的形状。另外，对象区域以及合成区域的大小可以不同。此外，表示对象区域及合成区域各自的外缘的线的形状的至少一部分可以是不同的形状。
另外，本实施方式中，第2被摄体信息中，至少登记有1人的第2被摄体的第2被摄体图像即可。此外，第2被摄体信息中，也可以登记有不同的多个第2被摄体各自的第2被摄体图像。此外，第2被摄体信息中，关于1人的第2被摄体，可以登记有头发部位的形态、佩戴的物品以及在皮肤上描绘的图样中的至少1个不同的多个第2被摄体图像。此外，第2被摄体信息中，关于1人的第2被摄体，也可以登记有拍摄角度不同的多个第2被摄体图像。并且，第2被摄体信息中，可以按每个第2被摄体图像，将对象区域建立对应来登记。
补充信息是关于对应的第2被摄体图像的信息。例如，补充信息是第2被摄体图像的第2被摄体的识别信息、表示第2被摄体的头发部位的发型的语句、表示能够提供该发型的美容院的信息、表示第2被摄体佩戴的物品的名称以及能够提供该物品的店铺的信息等。第2被摄体的识别信息例如是第2被摄体的用户名。这些信息也可以是表示存储了这些信息的网络上的场所(URL：Uniform Resource Locator)的信息。
第2被摄体图像、对象区域以及补充信息的至少1个可以通过由控制部20将从外部服务器14收集的信息向存储部24存储从而被登记到第2被摄体信息。此外，对象区域可以由控制部20通过利用了第2被摄体图像的图像处理来生成、并向第2被摄体信息登记。该图像处理可以使用公知的图像处理方法。
返回图2继续说明。显示部26显示各种信息。显示部26例如是LCD(Liquid CrystalDisplay)以及有机EL(Electro－Luminescence)显示器等。
另外，显示部26以及上述通信部22的至少一方作为输出部21发挥功能。输出部21输出各种信息。输出部21通过显示各种信息，作为显示部26发挥功能。此外，输出部21通过将各种信息经由网络16向终端装置12以及外部服务器14发送，从而作为通信部22发挥功能。
输入部28受理用户的操作指示。输入部28是键盘、鼠标以及输入按钮等。另外，也可以将显示部26和输入部28一体地构成。该情况下，显示部26以及输入部28例如可以作为触摸面板而构成。
接着，对控制部20进行说明。
控制部20对信息处理装置10进行控制。控制部20具备取得部20A、检测部20B、修正部20C、生成部20D、合成部20E、输出控制部20F以及学习部20G。取得部20A、检测部20B、修正部20C、生成部20D、合成部20E、输出控制部20F以及学习部20G的一部分或全部例如可以通过使CPU(Central Processing Unit)等处理装置执行程序来实现，即通过软件实现，也可以通过IC(Integrated Circuit)等硬件实现，也可以将软件以及硬件并用来实现。
取得部20A取得合成对象的第1被摄体图像。例如，取得部20A将由终端装置12拍摄的第1被摄体图像从该终端装置12经由网络16及通信部22而取得。
例如，第1被摄体通过在假想试验时等对输入部12B进行操作从而对拍摄部12A的拍摄执行进行指示。当拍摄部12A通过拍摄取得第1被摄体图像，则终端装置12将该第1被摄体图像经由网络16向信息处理装置10发送。另外，终端装置12也可以将终端装置12的存储部中存储的第1被摄体图像中的、通过第1被摄体对输入部12B的操作而选择的第1被摄体图像向信息处理装置10发送。
另外，有第1被摄体图像的拍摄角度与信息处理装置10中存储的第2被摄体图像的拍摄图像不一致的情况。该情况下，终端装置12可以在显示部12C上显示用于委托在调整拍摄角度后再次拍摄的信息。第1被摄体可以通过调整终端装置12的角度，来调整拍摄部12A的拍摄角度，指示再次执行拍摄。并且，终端装置12可以将再次拍摄的第1被摄体图像向信息处理装置10发送。
通过这些处理，取得部20A可以从终端装置12取得第1被摄体图像。
检测部20B利用学习模型，从第1被摄体的第1被摄体图像(第1图像)检测合成区域(第1图像区域)。详细而言，检测部20B将由取得部20A取得的第1被摄体图像向从被摄体图像检测合成区域的学习模型进行输入，从而从第1被摄体图像检测合成区域。
学习模型是将第1被摄体图像等被摄体图像作为输入数据并将合成区域作为输出数据的学习模型。换言之，学习模型是用于将第1被摄体图像与合成区域的输入输出关系模型化而进行计算的应用程序。另外，学习模型也可以用函数等数学式表示。
另外，如上所述，合成区域是第1被摄体图像的与试验对象部位邻接的区域，对应于试验对象部位而表示不同的区域。因此，存储部24按每个试验对象部位，来存储用于检测与该试验对象部位邻接的区域即合成区域的学习模型。
该情况下，取得部20A可以从终端装置12取得表示第1被摄体图像以及试验对象部位的信息。第1被摄体可以通过对终端装置12进行操作，来选择试验对象部位(例如，头发部位)。终端装置12可以将表示所选择的试验对象部位的信息和第1被摄体图像向信息处理装置10发送。并且，检测部20B从存储部24读取与经由取得部20A从终端装置12取得的试验对象部位对应的学习模型。检测部20B可以利用读取的该学习模型和取得的第1被摄体图像，从该第1被摄体图像检测合成区域。
可以是，学习模型通过学习部20G而被学习，预先存储于存储部24。本实施方式中，学习部20G通过利用教师数据的机器学习，对学习模型进行学习。机器学习可以采用公知的方法。例如，在学习模型是利用了卷积神经网络(Convolutional Neural Network：CNN)及递归神经网络(Recurrent Neural Network：RNN)等神经网络的模型的情况下，学习部20G通过深层学习(深度学习)，对学习模型进行学习。
另外，在按每个试验对象部位对学习模型进行学习的情况下，可以按每个试验对象部位，准备登记了与试验对象部位邻接的合成区域的教师数据。并且，学习部20G可以通过利用了与试验对象部位分别对应的教师数据的机器学习，生成与试验对象部位分别对应的学习模型。
本实施方式中，将试验对象部位是头发部位、合成区域是脸区域的情况作为一例进行说明。因此，本实施方式中，在存储部24中，存储有与头发部位对应的学习模型(检测脸区域的学习模型)。
另外，通过后述的处理，有教师数据被更新的情况。可以是，学习部20G每当教师数据被更新，则进行利用更新后的教师数据的机器学习，将学习模型进行更新。也可以构成为，在教师数据不被更新的情况下，不具备学习部20G，利用例如事先学习而存储在存储部24中的学习模型。
检测部20B可以利用所学习的学习模型，从第1被摄体的第1被摄体图像检测合成区域。可以是，在检测例如脸区域的情况下，检测部20B以如下方式利用所学习的学习模型，即：如上述那样从拍摄脸而得到的图像中，检测与事先决定的部位(眼、眉、鼻、口以及颚等)对应的合计68点的特征点。另外，检测部20B可以将包含与利用这样的学习模型检测出的特征点中的特定的特征点相对应的部位的区域作为合成区域来检测。以下，有时将与特定的特征点相对应的部位、即合成区域中包含的部位称作特定部位。
此外，检测部20B可以从检测出的部位中检测脸的角度等元数据。例如，检测部20B可以将连结所检测出的两眼的线段的倾斜度作为脸的角度来检测。所检测出的角度等的信息例如当修正部20C对图像进行修正时被参照。
另外，有检测部20B在来自第1被摄体图像的合成区域的检测中失败的情况。该情况下，可以是，检测部20B经由取得部20A从终端装置12再次取得第1被摄体图像，执行合成区域的检测。
另外，如上述那样，教师数据可以包含性别以及脸的角度等元数据。
该情况下，可以是，学习部20G对将第1被摄体图像及元数据作为输入数据、将合成区域作为输出数据的学习模型进行学习。此外，也可以是，学习部20G对将第1被摄体图像作为输入数据、将合成区域及元数据作为输出数据的学习模型进行学习。
此外，该情况下，检测部20B能够利用学习模型，根据第1被摄体图像以及元数据，对合成区域进行检测。此外，检测部20B能够利用学习模型，根据第1被摄体图像，对合成区域以及元数据进行检测。
在生成将第2被摄体图像修正后的图像(后述的服装内容、发型内容等)的情况下，检测部20B可以对第2被摄体图像执行与针对第1被摄体图像的处理相同的处理(脸区域的检测等)。对于从第2被摄体图像检测出的区域(第2图像区域)，执行修正部20C的修正。
修正部20C进行图像的修正。例如，修正部20C将从第2被摄体图像检测出的部位中的被指定的部位的区域(第2图像区域)的像素值，基于该区域的周围的像素的像素值而进行修正。修正部20C将例如眼、眉及口的区域的各个像素的像素值修正为各区域的周围的像素的像素值。由此，修正成使各区域以与周围区域相同的颜色而被填涂。通过由修正部20C这样将第2被摄体图像的图像进行修正，能够更高品质地执行图像的合成。
此外，修正部20C可以对第1被摄体图像整体调整大小(放大、缩小))。例如通过将第1被摄体图像缩小，能够实现处理量的削减。此外，修正部20C也可以对合成区域及对象区域的至少一方进行修正，以使合成区域与对象区域之间的特性的差分减少。特性例如是合成区域(脸区域等)的大小、合成区域的倾斜度以及合成区域的朝向等。例如，修正部20C对合成区域进行修正，以使得在合成区域以及对象区域之间，脸的大小、倾斜度以及朝向一致。
例如，修正部20C使作为合成区域的脸图像旋转，以使得由检测部20B检测出的脸的角度一致。合成区域的大小不同的情况下，修正部20C对合成区域的大小进行修正(放大或缩小)，以使得与例如对象区域的大小一致。
生成部20D生成在泊松图像编辑等的图像合成时使用的、用于指定合成的区域的多个遮盖图像。遮盖图像的生成方法的详情后述。
合成部20E生成将从取得部20A取得的第1被摄体图像中检测出的合成区域与第2被摄体图像的对象区域合成而得到的合成图像。此时，合成部20E利用由生成部20D生成的多个遮盖图像，通过例如泊松图像编辑，将合成区域与对象区域合成。合成处理的详情后述。
输出控制部20F将由合成部20E生成的合成图像向输出部21输出。如上所述，输出部21包含通信部22以及显示部26。
输出控制部20F通过将合成图像显示在显示部26上，来输出合成图像。此外，输出控制部20F通过经由网络16将合成图像向终端装置12发送，从而向终端装置12输出合成图像。此外，输出控制部20F通过经由网络16将合成图像向外部服务器14发送，从而向外部服务器14输出合成图像。
另外，输出部21也可以是与网络16连接的数字标牌(电子招牌)。该情况下，输出控制部20F向数字标牌输出合成图像。
此时，输出控制部20F可以将合成图像以及与在该合成图像的合成中使用的第2被摄体图像相关的关联信息进行输出。
关联信息是第1被摄体的特征与第2被摄体图像的试验对象部位之间的亲和度、与合成图像类似的第1被摄体以外的用户名、表示合成图像的特色的特色信息、以及第1被摄体与第2被摄体的差分信息中的至少一个。
所谓亲和度，表示在合成图像的合成中使用的第1被摄体图像的第1被摄体的特征与在该合成图像的合成中使用的第2被摄体图像的试验对象部位相亲和的程度。
第1被摄体的特征可以是第1被摄体的试验对象部位的特征，也可以是试验对象部位以外的特征。第1被摄体的特征例如是第1被摄体的脸的特征、发型以及服装的嗜好等。发型是头发的长度、修剪的位置以及发质等。输出控制部20F可以利用公知的图像解析方法、以及使用由外部服务器14管理的大数据的公知的数据解析方法等，确定第1被摄体的特征。
例如，试验对象部位是头发部位的情况下，亲和度是表示合成图像中示出的第1被摄体的特征、与由合成图像中示出的头发部位所表示的发型相亲和的程度的信息。例如，亲和度由根据时尚感等预先决定的观点对合成图像中示出的被摄体进行评价而得到的评价值来表示。具体而言，亲和度是用帅气度、可爱度等评价值表示合成图像中示出的被摄体。
亲和度的导出方法是怎样的方法都可以，例如能够采用利用用于导出亲和度的学习模型的方法。例如，输出控制部20F可以利用公知的机器学习，预先学习用于根据第1被摄体的特征与第2被摄体图像的试验对象部位的组合导出亲和度的学习模型。并且，输出控制部20F也可以通过将合成图像的合成中使用的第1被摄体图像的第1被摄体的特征、和该合成图像的合成中使用的第2被摄体图像的试验对象部位向该学习模型输入，从而导出亲和度。
输出控制部20F通过将合成图像和亲和度向终端装置12输出，能够对第1被摄体定量地提供第1被摄体的发型、嗜好及脸等的特征、与在合成图像的合成中使用的第2被摄体图像的头发的形态、在皮肤上描绘的图样以及物品等试验对象部位之间的亲和度。
此外，输出控制部20F通过将多个合成图像与多个合成图像各自的亲和度进行输出，从而对它们进行视觉识别的第1被摄体能够客观地确认与自己的发型及嗜好等特征相适应的试验对象部位(由头发的形态表示的发型、图样、以及衣服等物品)。
此外，输出控制部20F通过提供合成图像以及亲和度，能够提供与第1被摄体的特征相应的各种各样的发型、图样以及衣服等物品。因此，第1被摄体能够以客观的视点来确认各种各样的发型、图样以及衣服等的试验结果。此外，输出控制部20F能够对第1被摄体提供以客观的视点选择实际尝试的试验对象部位的机会。
另外，输出控制部20F也可以对应于第1被摄体的特征来导出表示通过将第1被摄体图像所示的第1被摄体的形态的一部分变更而能够实现的试验对象部位的信息，并与合成图像一起向输出部21输出。例如，输出控制部20F可以对应于第1被摄体的发质，输出表示发型设置后即可实现的其他发型的信息。该情况下，第1被摄体能够在剪发前的阶段客观地确认剪发后的发型设计的形态。
关联信息如上述那样，可以是与合成图像类似的第1被摄体以外的用户名。
该情况下，输出控制部20F可以利用公知方法事先学习用于从合成图像将与合成图像类似的用户的用户名导出的学习模型。并且，输出控制部20F可以通过将由合成部20E生成的合成图像向该学习模型输入，导出与该合成图像类似的用户名。
例如，输出控制部20F将合成图像以及与合成图像类似的第1被摄体以外的用户名向终端装置12输出。这样，对终端装置12进行操作的第1被摄体通过视觉识别合成图像和该用户名，能够容易地确认将自己的合成区域与其他第2被摄体图像合成而得到的合成图像与怎样的用户类似。
因此，该情况下，信息处理装置10能够对第1被摄体提供客观地分析自己的时尚的机会。此外，信息处理装置10能够向第1被摄体提供关注通过所输出的用户名识别的用户的时尚的机会。
此外，关联信息如上述那样，可以是表示合成图像的特色的特色信息。特色信息可以是将合成图像的特色用事先确定的数量以下的词语的组合来表现的信息。事先确定的数量例如是5个词语、3个词语、2个词语等，但不限于此。特色信息例如是“清爽型潮男”、“热情运动风”以及“可爱搭配”等，但不限于此。
该情况下，输出控制部20F可以通过公知方法事先学习用来从合成图像将合成图像的特色信息导出的学习模型。并且，输出控制部20F可以通过将合成图像向该学习模型输入，将该合成图像的特色信息导出并输出。
通过由输出控制部20F将合成图像的特色信息与合成图像一起输出，第1被摄体能够容易地把握试验了在合成图像中示出的物品等试验对象部位的情况的感觉。此外，试验对象部位是头发部位的情况下，能够向第1被摄体和为第1被摄体剪发的美容师双方提供能够共享试验后的感觉的信息。
此外，关联信息如上述那样，可以是第1被摄体与第2被摄体的差分信息。详细而言，关联信息可以是在合成图像的合成中使用的第1被摄体图像的第1被摄体、与在该合成图像的合成中使用的第2被摄体图像的第2被摄体之间的差分信息。具体而言，差分信息是第1被摄体与第2被摄体之间的体格及年龄等身体特征的差。体格例如由身高、体重以及胸围等身体计测值表示。
该情况下，输出控制部20F从终端装置12或外部服务器14取得第1被摄体的体格及年龄等身体特征。另外，输出控制部20F也可以通过对第1被摄体图像进行图像解析来取得第1被摄体的身体特征。此外，输出控制部20F从外部服务器14取得第2被摄体的身体特征。另外，输出控制部20F也可以通过对第2被摄体图像进行图像解析来取得第2被摄体的身体特征。
并且，可以是，输出控制部20F通过计算第1被摄体的身体特征与第2被摄体的身体特征的差分，来导出差分信息。
该情况下，输出控制部20F将差分信息与合成图像一起向终端装置12输出。
对终端装置12进行操作的第1被摄体通过视觉识别合成图像和差分信息，能够容易地确认在合成图像中示出的第2被摄体图像的第2被摄体与自己(第1被摄体)的身体特征的差。设想合成图像是第1被摄体的目标的姿态。该情况下，输出控制部20F能够通过使体重等身体特征接近于该合成图像中示出的第2被摄体图像的第2被摄体，容易地提供能够试验的发型及衣服、以及对它们进行了试验的情况下的感觉。此外，输出控制部20F将合成图像以及差分信息向终端装置12输出，从而能够容易地对第1被摄体提供用来辅助减肥等生活习惯改善的动机提高的信息。
另外，关联信息可以包含表示向EC(Electronic Commerce：电子商务)网站的诱导的信息。
该情况下，输出控制部20F确定表示向能够提供在合成图像的生成中使用的第2被摄体图像所含的物品等试验对象部位的EC网站的诱导的信息。例如，输出控制部20F通过从第2被摄体信息读取与该第2被摄体图像对应的补充信息，来确定表示向EC网站的诱导的信息。并且，输出控制部20F可以将表示向EC网站的诱导的信息与合成图像一起向终端装置12输出。
表示向EC网站的诱导的信息例如可以由二维条形码以及三维条形码等表示。
输出控制部20F通过将合成图像以及表示向EC网站的诱导的信息输出，能够提供用于根据合成图像容易地向上述EC网站诱导的信息。此外，取得部20A可以从终端装置12取得信息，该信息表示用于向该EC网站诱导的信息是由第1被摄体选择的信息。通过从终端装置12取得该信息，控制部20能够确定对于该合成图像的用户满意度调查结果、以及向EC网站的转化率。
另外，合成部20E也可以根据1个第1被摄体图像制作多个合成图像。详细而言，合成部20E可以将第1被摄体图像的合成区域与存储部24的第2被摄体信息中存储的多个第2被摄体图像的每一个合成。该情况下，合成部20E通过将1个第1被摄体图像的合成区域与多个第2被摄体图像每一个合成，生成多个合成图像。
该情况下，输出控制部20F可以将合成部20E生成的多个合成图像全部输出，也可以将一部分输出。
例如，输出控制部20F关于多个合成图像的每一个，计算表示是否是自然的合成结果的确信度。确信度是表示合成图像中的第2被摄体图像与合成区域的合成是否是自然的合成结果的值。确信度越高，表示是越自然的合成结果。
确信度的导出方法是怎样的方法都可以，例如能够采用使用用来导出确信度的学习模型的方法。例如，输出控制部20F可以事先学习用来导出确信度的学习模型。在该学习模型的学习中，可以使用公知的方法。例如，在该学习模型的学习中，可以使用表示由控制部20在过去生成的合成图像、与针对该合成图像的确信度之间的对应的教师数据。
该教师数据所表示的确信度可以由与对应的合成图像对应的、用户满意度调查结果、向EC网站的转化率、重复率、以及有无合成图像向终端装置12的保存等多个参数来规定。
用户满意度调查结果是表示与合成图像对应的第1被摄体的满意度的信息。例如，利用终端装置12视觉识别该合成图像的第1被摄体通过对输入部12B进行操作，输入对该合成图像的满意度。表示该满意度的信息可以作为用户满意度调查结果而被从终端装置12向信息处理装置10发送。
向EC网站的转化率通过在终端装置12显示了合成图像后根据输入部12B的第1被摄体的操作输入而向与在该合成图像的合成中使用的第2被摄体图像对应的补充信息进行了访问的概率来表示。重复率通过向补充信息的访问次数来表示。
转化率、重复率以及表示有无合成图像向终端装置12的保存的信息被从终端装置12向信息处理装置10发送。
信息处理装置10的输出控制部20F可以利用表示这些确信度和与该确信度对应的合成图像之间的对应的1个或多个教师数据，对该学习模型进行学习。并且，输出控制部20F可以通过向该学习模型输入由合成部20E生成的合成图像，来导出合成图像的确信度。
并且，输出控制部20F可以将确信度为阈值以上的合成图像作为输出对象来选择。该阈值可以事先决定。
另外，可以是，关于输出对象以外的合成图像，输出控制部20F对于在该合成图像的合成中使用的第1被摄体图像的第1被摄体，发送表示第1被摄体图像的再拍摄及再发送的再发送请求。该情况下，输出控制部20F可以将再发送请求经由通信部22及网络16向第1被摄体操作的终端装置12发送。
受理了再发送请求的终端装置12在显示部12C上显示表示将拍摄角度变更了的拍摄委托的信息。第1被摄体通过调整终端装置12的角度，来调整拍摄部12A的拍摄角度，并对输入部12B进行操作，从而指示拍摄部12A执行拍摄。可以是，当拍摄部12A通过拍摄而取得新的第1被摄体图像，则终端装置12将该第1被摄体图像经由网络16向信息处理装置10发送。信息处理装置10的控制部20可以利用新取得的该第1被摄体图像，与上述同样地生成合成图像。
另外，受理了再发送请求的终端装置12可以将在输出对象以外的合成图像的生成中使用的第1被摄体图像以及合成区域显示在显示部12C上。该情况下，信息处理装置10的输出控制部20F可以将在输出对象以外的合成图像的生成中使用的第1被摄体图像以及合成区域、和再发送请求向终端装置12发送。
并且，对终端装置12进行操作的第1被摄体通过对终端装置12的输入部12B进行操作，来调整所显示的合成区域的位置以及形状的至少一方。终端装置12可以将调整后的合成区域和第1被摄体图像向信息处理装置10发送。信息处理装置10的合成部20E可以利用从终端装置12接收到的第1被摄体图像以及合成区域，与上述同样地生成合成图像。
这样，合成部20E利用被第1被摄体调整了位置及形状的至少一方的合成区域生成合成图像，从而能够对检测部20B的合成区域的检测错误进行修正。
此外，该情况下，合成部20E也可以将从终端装置12受理的第1被摄体图像以及合成区域作为新的教师数据向存储部24进行登记。并且，可以是，学习部20G每当存储部24的教师数据被更新则利用该教师数据新生成学习模型。通过该处理，能够实现学习模型的精度提高。
另外，可以是，关于输出对象以外的合成图像，合成部20E与上述同样地再次执行合成位置的调整以及色调的调整，生成再合成图像。此外，关于输出对象以外的合成图像，合成部20E可以对在该合成图像的生成中使用的第1被摄体图像的形状进行修正，以使得成为从不同拍摄方向拍摄(例如，从更靠头部侧或更靠足部侧拍摄)的被摄体图像。该修正例如是梯形修正等。并且，合成部20E可以利用修正了的第1被摄体图像，与上述同样地，再次生成合成图像。
另外，输出控制部20F可以还将基于对合成图像赋予的关联信息而选择的合成图像向输出部21输出。
例如，输出控制部20F可以将满足亲和度为规定值以上、事先设定的用户名、事先设定的特色信息、以及事先设定的差分信息中的至少1个的关联信息所对应的合成图像作为输出对象来选择。并且，合成部20E可以将选择的合成图像向输出部21输出。
另外，如上述那样，合成图像的确信度由针对合成图像的用户满意度调查结果、向EC(Electronic Commerce：电子商务)网站的转化率、重复率以及有无合成图像向终端装置12的保存等多个参数来规定。
并且，如上述那样，这些参数由对显示了合成图像的终端装置12进行操作的第1被摄体来输入。
第1被摄体在视觉识别了所显示的合成图像后进行的输入部12B的操作是非常珍贵的数据。即，由上述参数表示的、对合成图像的用户满意度调查结果、向EC网站的转化率、重复率以及有无合成图像向终端装置12的保存能够用作表示第1被摄体对所提供的合成图像的对应的信息。
因此，例如，学习部20G准备教师数据，该教师数据表示第1被摄体图像的第1被摄体的特征、与针对利用该第1被摄体图像生成的合成图像的上述参数之间的对应。并且，学习部20G每当该教师数据被更新，则通过公知的机器学习，学习并更新用于根据第1被摄体的特征来导出上述参数的学习模型。并且，学习部20G可以将该学习模型向存储部24存储或向外部服务器14发送。
通过提供这样的学习模型，能够提供能够将在合成图像的合成中使用的、当前正流行的试验对象部位(头发部位、皮肤的图样、物品)容易地导出的信息(学习模型)。
此外，通过对该学习模型进行解析，能够容易地确定对怎样的特征的第1被摄体尝试了怎样的试验对象部位。具体而言，能够容易地确定对怎样的特征的第1被摄体，适当地尝试了怎样的发型及衣服。
此外，输出控制部20F可以用公知方法以多个参数来表示试验对象部位的特征量。并且，输出控制部20F根据这些参数间的差分的时序的群，推定试验对象部位的特征量的方向性(矢量)。并且，输出控制部20F可以将表示推定出的特征量的方向性的信息向外部服务器14等发送。通过这些处理，输出控制部20F能够容易地提供能够对将来流行的可能性高的物品、发型以及图样等进行推定的信息。
接着，对这样构成的本实施方式的信息处理装置10的合成处理进行说明。图3是表示本实施方式的合成处理的整体流程的一例的流程图。
首先，信息处理装置10准备成为将合成区域(例如脸区域)合成的对象的内容(步骤S101)。例如，信息处理装置10从外部服务器14取得第2被摄体图像，对取得的第2被摄体图像进行加工，从而生成内容。
以下，以利用服装内容以及发型内容这两个的情况为例进行说明。服装内容是成为将用户的脸区域合成的对象的内容。服装内容能够解释成是将试验对象部位设为服装(物品的一例)的内容(第2被摄体图像)。为了将脸区域合成，服装内容设为包含脸区域的图像。
发型内容是包含对于将用户的脸区域合成后的服装内容能够进一步合成的发型的图像等的内容(第3图像)。以下，以将用户的脸区域与服装内容合成后进一步将发型内容合成的情况为例进行说明。例如，如果将用户的脸图像与包含头发的服装内容进行合成，则有由于合成的影响而头发的至少一部分(例如前发)的像素值改变(例如变少)的情况。通过在将脸合成后进一步将发型内容合成，能够消除这样的问题。另外，也可以不执行将发型内容合成的处理。
准备服装内容及发型内容的处理的详细情况后述。另外，步骤S101的内容准备处理在开始步骤S102以后的处理之前执行即可。例如，步骤S101和步骤S102以后的处理也可以不连续执行。
接着，取得部20A取得对用户进行拍摄而得到的图像(步骤S102)。检测部20B从所取得的图像检测用户的脸区域。此外。修正部20C根据需要对脸区域进行加工(步骤S103)。合成部20E将脸区域与服装内容合成(步骤S104)。此外，合成部20E将发型内容与将脸区域合成后的服装内容合成(步骤S105)。在合成时，使用由生成部20D生成的遮盖图像。
接着，进一步说明图3的合成处理的详细情况。图4是表示准备服装内容的处理的一例的流程图。图6是表示准备发型内容的处理的一例的流程图。图4及图6例如相当于图3的步骤S101。
首先，对服装内容的准备处理(图4)进行说明。取得部20A例如从外部服务器14取得服装内容的图像(步骤S201)。检测部20B从所取得的图像检测脸区域(步骤S202)。检测部20B例如对学习模型输入服装内容的图像，取得与脸的部位对应的多个特征点。检测部20B也可以还根据所检测出的脸区域的信息，来检测脸区域的大小以及脸区域的倾斜度等。
接着，修正部20C对服装内容的图像进行修正(步骤S203、步骤S204)。修正部20C通过例如被称作Inpainting的技术将图像修正。Inpainting是当指定了某个图像中的任意区域时将该区域的内部通过在该区域附近的像素值的加权和来补充并修复的技术。另外，可适用的技术不限于Inpainting。
首先，修正部20C生成将包含所检测出的部位中的成为修正对象的部位(例如眼、眉、口)的区域填涂为表示是修正对象这一情况的像素值的遮盖图像(步骤S203)。根据Inpainting，用遮盖图像修正被指定了表示修正对象的像素值的像素。修正部20C利用所生成的遮盖图像，通过Inpainting算法对服装内容的图像进行修正(步骤S204)。由此，得到将修正对象的部位(眼、眉、口)通过周围的像素进行了补充的图像。
另外，例如可以使得用户能够指定将哪个部位填涂。即，可以使得用户能够指定使服装内容的图像内的部位、和用户的图像的部位中的哪个优先。修正部20C生成将指定了使用户的图像优先的部位填涂而得到的遮盖图像。由此，用户能够使自身的脸的部位中的所希望的部位反映到合成图像中。
修正部20C将修正了的服装内容的图像向例如存储部24中存储(步骤S205)。为了在合成时能够参照，修正部20C可以将表示脸区域的大小以及脸区域的倾斜度的信息与服装内容的图像对应起来进行存储。
图5是表示服装内容的准备处理的具体例的图。图像501是包含服装内容的图像和从该图像检测出的多个特征点的图像的例子。图像502是将包含眼、眉及口的区域作为修正对象的遮盖图像的例子。图像502内的白色区域表示被指定了表示修正对象的像素值的区域(包含眼、眉及口的区域)。图像503是对图像501和图像502应用Inpainting算法而得到的图像的例子。
接着，对发型内容的准备处理(图6)进行说明。取得部20A例如从外部服务器14取得成为发型内容的基础的图像(步骤S301)。该图像例如是包含成为模特的人物的头发及脸的图像即可。检测部20B通过与图4的步骤S202相同的处理，从所取得的图像检测脸区域(步骤S302)。
接着，修正部20C从所取得的图像中仅提取头发区域，从而生成发型内容(步骤S303)。修正部20C将生成的发型内容的图像例如存储到存储部24中(步骤S304)。为了在合成时能够参照，修正部20C可以将表示脸区域的大小及脸区域的倾斜度的信息与发型内容的图像对应起来进行存储。
图7是表示发型内容的准备处理的具体例的图。图像701是发型内容的图像的例子。图像702是从图像701仅将头发部分提取从而得到的发型内容的图像的例子。
另外，如果是执行图4及图6那样的处理而制作出的内容存储在例如外部服务器14中的情况等，则也可以构成为不执行内容准备处理，取得并利用已制作的内容。
接着，关于图3的合成处理中的步骤S102～步骤S105的处理的详细情况，利用图8～图16进行说明。图8是表示步骤S102～步骤S105的处理的详细顺序的流程图。
取得部20A从例如终端装置12取得对用户进行拍摄而得到的图像(第1被摄体图像)(步骤S401)。检测部20B从所取得的图像检测脸区域(步骤S402)。检测部20B例如对学习模型输入用户的图像，取得与脸的部位对应的多个特征点。检测部20B也可以还根据所检测出的脸区域的信息，检测脸区域的大小以及脸区域的倾斜度等。
图9是表示检测出的脸区域(特征点)的一例的图。如图9所示，检测部20B从脸图像中，将与眼、眉、鼻、口以及颚等部位对应的多个特征点作为表示脸区域的信息来检测。图10是表示检测出的脸区域的倾斜度的一例的图。图10的线段1001是将两眼的中心连结的线段。例如将该线段的倾斜度用作脸区域的倾斜度。另外，眼的中心例如能够通过计算所检测出的多个特征点中的与眼的周围对应的多个特征点的位置的平均来求出。
返回图8，检测部20B判断是否从图像中检测到了脸区域(步骤S403)。没有检测到脸区域的情况下(步骤S403的“否”)，返回步骤S401，再次取得用户的图像。检测到脸区域的情况下(步骤S403的“是”)，修正部20C对用户的图像整体调整大小(步骤S404)。另外，在不需要调整大小的情况下，步骤S404可以省略。
合成部20E将成为合成的对象的服装内容的图像从存储部24读出(步骤S405)。成为合成的对象的服装内容例如能够由用户经由输入部28指定。
修正部20C为了向对象区域进行合成而对脸区域的图像进行修正(步骤S406)。例如，修正部20C求出用于将脸区域放大或缩小的比例尺比率、脸区域的合成位置、脸区域的倾斜度(角度)以及对象区域的倾斜度。并且，修正部20C根据求出的比例尺比率将脸区域放大或缩小。此外，修正部20C将脸区域移动到与合成位置一致的位置。此外，修正部20C使脸区域旋转，以使脸区域的倾斜度与对象区域的倾斜度一致。
比例尺比率例如如以下这样计算。修正部20C对脸区域以及对象区域的大小进行比较。各区域的大小例如能够通过对各区域检测出的眼的位置与口的位置之间的距离来决定。修正部20C比较各区域的大小，计算用于以使两者的大小一致的方式进行变更的脸区域的比例尺比率。修正部20C根据算出的比例尺比率将脸区域的大小变更。
修正部20C也可以按照纵向及横向分别计算区域的比例尺比率。例如可以是，修正部20C基于对各区域检测出的两眼间的长度来计算横向的比例尺比率，基于对各区域检测出的将两眼的中心与口连结的线段的长度来计算纵向的比例尺比率。
合成位置例如如以下这样计算。修正部20C将根据服装内容检测出的脸区域(对象区域)的中心位置作为合成位置来求出。中心位置例如能够作为将连结两眼区域的中心的线段的中点与口区域的中心连结的线段的中点来求出。修正部20C对于从用户的图像检测出的脸区域，也同样地求出中心位置。修正部20C将各脸区域的中心位置的差分作为从用户的图像检测出的脸区域的移动量来求出，使脸区域移动所求出的移动量。
脸区域的倾斜度如上述那样，例如能够作为连结两眼的线段的倾斜度来求出。图11的图像1101是以使线段1001与服装内容的脸区域的倾斜度(该例中是水平)一致的方式进行了旋转的图像的例子。
返回图8，生成部20D利用从用户的图像检测出的脸区域(特征点)，生成由泊松图像编辑使用的遮盖图像(步骤S407)。
这里，对应用泊松图像编辑的情况的问题点进行说明。如上述那样，在应用泊松图像编辑的情况下，有在合成的区域的附近、特征性颜色的影响变大而无法生成高品质的合成图像的情况。例如有如下情况，即：在合成的脸区域的周边包含与脸区域的颜色大不相同的暗色(眼镜、前发等)等颜色的像素的情况下，对于脸区域的颜色，该颜色的影响较大地呈现。
图12是表示对脸区域的颜色的影响变大的可能性高的图像的例子的图。如图12所示，黑色的前发覆盖脸区域的情况、以及包含暗色的眼镜的情况等，前发或眼镜的颜色的影响在合成后的脸区域的颜色中较大地呈现。
另一方面，例如对应于照明的朝向等而产生的脸自身的影在合成后的脸区域的图像中也得以反映则是自然的。图13是表示包含这样的影的服装内容的图像的例子的图。区域1301表示包含脸的影的区域。
因此，在本实施方式中，能够降低脸区域的周边的颜色的影响、并且能够将脸自身的影等的影响原样维持地生成多个遮盖图像，利用所生成的多个遮盖图像来应用泊松图像编辑。
生成部20D例如生成针对脸区域整体的1个遮盖图像，通过将该遮盖图像分割而生成多个遮盖图像。首先，生成部20D根据从用户的图像检测出的特征点，取得与脸区域的轮廓相当的特征点。例如，生成部20D将作为眉、左右颊以及颚而检测出的特征点作为表示轮廓的特征点来取得。生成部20D生成将轮廓所包围的区域填涂为表示是合成对象的像素值而得到的1个遮盖图像(步骤S407)。另外，为了对特定部位中的所指定的部位(例如眉)进行强调，生成部20D也可以生成将与该部位相当的区域放大了的遮盖图像。
图14是表示所生成的遮盖图像的一例的图。图像1401是对眉区域进行强调前的遮盖图像的例子。图像1402是对眉区域进行了强调的遮盖图像的例子。强调的部位以及强调的程度例如能够根据用户的指定而决定。
返回图8，生成部20D通过将生成的1个遮盖图像进行分割，生成多个遮盖图像(步骤S408)。例如，生成部20D以用经过脸区域的中心的上下方向的直线以及左右方向的直线进行分割的方式，从1个遮盖图像生成4个遮盖图像。脸区域的中心位置能够采用修正部20C在图像的修正时求出的值。
遮盖图像的生成方法不限于此。也可以是，以使合成的图像的区域中的亮度比其他区域大的区域包含在与其他遮盖图像相接的区域、或者与其他遮盖图像重合的区域中的方式生成多个遮盖图像。亮度比其他区域大的区域是包含脸区域的中心的区域(包含鼻的区域)，但也可以是这以外的区域。
例如可以是，生成部20D将由步骤S407生成的1个遮盖图像，利用经过设想为脸区域中心位置的固定位置的直线(例如，以成为横向5：5、纵向从上方起3：7的比率的方式分割的2个直线)，分割为4个遮盖图像。
根据利用经过脸区域的中心的直线进行分割的方法，生成将亮度比其他区域大的区域(包含脸区域的中心的区域)包含在与其他遮盖图像相接的区域(包含与其他遮盖图像的边界的区域)中的遮盖图像。
也可以是，生成部20D从脸区域中检测亮度比其他区域大的区域，以将检测出的区域包含在与其他遮盖图像相接的区域中的方式，生成多个遮盖图像。
也可以是，生成部20D以包含多个遮盖图像相互重叠的区域的方式生成多个遮盖图像。由此，例如，能够抑制在合成时前景图像与背景图像的边界部分的颜色影响较大地呈现这样的现象的发生。
图15是表示以使一部分区域重叠的方式生成的多个遮盖图像的例子的图。图15中示出了单点划线的粗线所示的矩形区域(左上)、单点划线的细线所示的矩形区域(左下)、虚线的粗线所示的矩形区域(右上)以及虚线的细线所示的矩形区域(右下)这4个遮盖图像分别在包含脸区域的中心的部分重叠的例子。根据这样的方法，生成将亮度比其他区域大的区域(包含脸区域的中心的区域)包含在与其他遮盖图像重合的区域中的遮盖图像。
对遮盖图像进行分割而生成多个遮盖图像的情况下，分割数不限于4，也不需要在左右及上下这两个方向上进行分割。例如，也可以在左右方向或上下方向中的仅某一方上进行分割。分割数也可以是2、3以及5以上。分割数以及分割方向根据合成的内容的特性等决定即可。
此外，遮盖图像的形状不限于矩形，是怎样的形状都可以。例如，也可以利用三角形、圆形或椭圆形的遮盖图像。
返回图8，合成部20E通过利用了多个遮盖图像的泊松图像编辑，将用户的图像(脸区域)与服装内容进行合成(步骤S409)。
在将发型内容合成的情况下，还执行以下的处理。即，合成部20E将合成的发型内容的图像从存储部24读出(步骤S410)。合成的发型内容例如能够由用户经由输入部28来指定。
修正部20C为了向对象区域进行合成而对发型内容的图像进行修正(步骤S411)。步骤S411能够以与步骤S406相同的顺序执行。
合成部20E将修正了的发型内容的图像与服装内容的图像合成(步骤S412)。合成方法是怎样的方法都可以。例如，合成部20E通过将发型内容覆盖于服装内容的方法，来生成合成图像。
输出控制部20F输出所合成的图像(步骤S413)。图16是表示将发型内容合成了的图像的一例的图。左图是通过到步骤S409为止的处理将脸区域合成了的服装内容的图像的例子。右图是对该图像将发型内容的图像合成了的图像的例子。
这样，根据本实施方式的信息处理装置10，利用学习模型，从第1被摄体图像检测合成区域。因此，根据本实施方式的信息处理装置10，能够不利用深度传感器等取得与试穿者的三维形状相关的信息地、将合成时使用的合成区域容易地进行检测。
此外，本实施方式的信息处理装置10将从尝试各种形态的对象即第1被摄体的第1被摄体图像中检测出的合成区域，向对象区域进行合成。因此，本实施方式的信息处理装置10能够容易地生成表示第1被摄体假想地尝试了其他形态的状态的合成图像。
因而，本实施方式的信息处理装置10能够容易地生成被摄体图像(第1被摄体图像、第2被摄体图像)的合成图像。
此外，本实施方式的信息处理装置10将根据从终端装置12取得的第1被摄体图像而检测出的第1被摄体图像在合成中使用，所以能够抑制对在合成中使用的第1被摄体图像设置限制。即，本实施方式的信息处理装置10能够将第1被摄体的所希望的第1被摄体图像在合成图像的生成中使用。
此外，本实施方式的信息处理装置10通过将从第1被摄体图像检测出的合成区域向第2被摄体图像的对象区域进行合成而生成合成图像。
因此，本实施方式的信息处理装置10，与利用深度传感器等的三维形状数据生成合成图像的现有技术相比，能够实现图像处理量的降低。因此，本实施方式的信息处理装置10能够实现合成图像的生成时间的缩短。即，信息处理装置10能够向第1被摄体提供能够实时试验的环境。
此外，本实施方式的信息处理装置10能够通过将例如从外部服务器14取得的内容进行修正，来准备在合成中使用的内容(服装内容、发型内容)。例如，即使从用户的图像中检测的脸区域相同，也通过指定在合成中利用的区域或部位从而用途改变。多数情况下，准备(生成)与用途相应的内容的负荷变大，但根据本实施方式，能够根据能够通过克隆(cloning)等方法从外部服务器14等容易地得到的内容的图像，生成进行合成的内容。
因此，由于能够检测脸的角度等并对图像进行修正，所以能够提高拍摄环境的自由度。此外，由于利用多个遮盖图像执行泊松图像编辑等合成方法，所以例如在不稳定的光环境下用户的前发及影等存在于合成区域的周边的情况下，也能够将其特征维持不变地合成图像。
＜变形例1＞
至此，对于从外部服务器14等取得的被摄体图像(服装内容等)，合成了从拍摄用户而得到的图像中检测出的合成区域(脸区域等)。与之相反，例如也可以构成为，将从模特或演员等他人的脸图像中提取出的特定部位对用户的脸区域进行合成。例如，信息处理装置10拍摄包含用户的脸的图像，从拍摄的图像中检测脸区域。以该脸区域作为背景图像，将从他人的脸图像中提取出的眼、眉及口等部位中的所指定的部位作为前景图像，来生成合成图像。通过这样的结构，例如能够将喜爱的演员的妆容作为范本、以及在整形手术之前确认预测手术后的脸。
＜变形例2＞
另外，也可以将上述实施方式的信息处理装置10中的存储部24中存储的信息的至少一部分存储在外部服务器14中。此外，也可以是将信息处理装置10中的学习部20G设置在外部服务器14中的结构。此外，也可以将信息处理装置10的功能的至少一部分搭载于终端装置12。在将信息处理装置10的功能搭载于终端装置12的情况下，关于终端装置12，从处理速度提高的观点来看，优选采用具备GPU(Graphics Processing Unit)的终端装置。
＜变形例3＞
另外，本实施方式的信息处理装置10执行的信息处理程序也可以作为在Web服务器以及社交网络服务(SNS)的管理服务器中使用的应用来提供。该情况下，第1被摄体等用户通过经由终端装置12利用该应用，从而能够容易地视觉识别各种各样的合成图像。此外，该情况下，能够将合成图像作为成为第1被摄体的分身的替身图像来提供。因此，本实施方式的信息处理程序能够容易地提供在该合成图像中示出的物品等的广告以及能够用于各种竞赛(campaign)的信息。
＜适用对象＞
本实施方式的信息处理系统1的适用对象没有限定。例如，信息处理系统1能够应用于在提供与试验对象部位(头发部位、皮肤部位、物品)相关的服务的区域中设置的各种设备。例如，信息处理系统1能够应用于在美容院、服装业、娱乐设施、事件设施等中设置的系统。
＜硬件结构＞
接着，对本实施方式以及变形例的信息处理装置10、终端装置12以及外部服务器14的硬件结构进行说明。图17是表示本实施方式以及变形例的信息处理装置10、终端装置12以及外部服务器14的硬件结构例的框图。
本实施方式以及变形例的信息处理装置10、终端装置12以及外部服务器14中，显示部91、通信I/F部93、输入部94、CPU86、ROM(Read Only Memory)88、RAM90以及HDD92等通过总线96相互连接，是利用通常的计算机的硬件结构。
CPU86是对本实施方式以及变形例的信息处理装置10、终端装置12以及外部服务器14的各自的处理进行控制的运算装置。RAM90存储CPU86的各种处理所需要的数据。ROM88存储实现CPU86的各种处理的程序等。HDD92存储上述的存储部24中保存的数据。通信I/F部93经由通信线路而与外部装置以及外部终端连接，是用于在与连接的外部装置及外部终端之间收发数据的接口。显示部91相对于上述的显示部26以及显示部12C的各个。输入部94受理来自用户的操作指示。输入部94相当于上述的输入部12B以及输入部28。
用于执行本实施方式以及变形例的信息处理装置10、终端装置12以及外部服务器14所执行的上述各种处理的程序被事先装入ROM88等中而提供。该程序中，包含上述信息处理程序。
另外，可以是，本实施方式以及变形例的信息处理装置10、终端装置12以及外部服务器14所执行的程序以在这些装置中可安装的形式或可执行的形式的文件而记录在CD－ROM、软盘(FD)、CD－R、DVD(Digital Versatile Disk)等计算机可读取的记录介质中来提供。
此外，可以是，将本实施方式以及变形例的信息处理装置10、终端装置12以及外部服务器14所执行的程序保存在与因特网等网络连接的计算机上，通过经由网络下载来提供。此外，也可以经由因特网等网络来提供或分发用于执行本实施方式以及变形例的信息处理装置10、终端装置12以及外部服务器14中的上述各处理的程序。
用于执行本实施方式以及变形例的信息处理装置10、终端装置12以及外部服务器14所执行的上述各种处理的程序使上述的各部在主存储装置上生成。
另外，上述HDD92中保存的各种信息也可以保存在外部装置中。该情况下，做成将该外部装置和CPU86经由网络等连接的结构即可。
对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而提示的，并不意欲限定发明的范围。这些新的实施方式可以以其他各种形态实施，在不脱离发明主旨的范围内，能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围及主旨中，并且包含在权利要求所记载的发明及其等同范围中。

Claims (5)

1.一种信息处理装置，其特征在于，
具备：
检测部，从对被摄体进行拍摄而得到的第1图像，检测包含上述被摄体的特定部位的第1图像区域；
生成部，生成包含上述第1图像区域的1个分割前遮盖图像，通过将上述分割前遮盖图像进行分割，生成用于指定包含上述第1图像区域的、向第2图像进行合成的区域的多个遮盖图像；以及
合成部，利用多个上述遮盖图像，将上述第1图像向上述第2图像进行合成；
多个上述遮盖图像分别在与其他上述遮盖图像相接的区域、或者与其他上述遮盖图像重合的区域中包含上述第1图像的区域中的亮度比其他区域大的区域，
上述被摄体是脸，
多个上述遮盖图像分别在与其他上述遮盖图像相接的区域、或者与其他上述遮盖图像重合的区域中包含含有上述第1图像的区域中的上述脸的中心的区域。
2.如权利要求1所述的信息处理装置，其特征在于，
上述检测部从上述第2图像检测包含上述特定部位的第2图像区域；
还具备修正部，该修正部基于上述第2图像区域的周围的像素的像素值，将上述第2图像区域的像素值修正；
上述合成部对像素值被修正了的上述第2图像，合成上述第1图像。
3.如权利要求1所述的信息处理装置，其特征在于，
上述第2图像是对脸进行拍摄而得到的图像；
上述特定部位是眼、眉以及口中的至少1个；
上述合成部向合成有上述第1图像的上述第2图像，进一步合成表示发型的第3图像。
4.一种信息处理方法，其特征在于，
包含以下步骤：
检测步骤，从对被摄体进行拍摄而得到的第1图像，检测包含上述被摄体的特定部位的第1图像区域；
生成步骤，生成包含上述第1图像区域的1个分割前遮盖图像，通过将上述分割前遮盖图像进行分割，生成用于指定包含上述第1图像区域的、向第2图像进行合成的区域的多个遮盖图像；以及
合成步骤，利用多个上述遮盖图像，将上述第1图像向上述第2图像进行合成；
多个上述遮盖图像分别在与其他上述遮盖图像相接的区域、或者与其他上述遮盖图像重合的区域中包含上述第1图像的区域中的亮度比其他区域大的区域，
上述被摄体是脸，
多个上述遮盖图像分别在与其他上述遮盖图像相接的区域、或者与其他上述遮盖图像重合的区域中包含含有上述第1图像的区域中的上述脸的中心的区域。
5.一种存储介质，其特征在于，
存储有程序，该程序使计算机作为以下各部发挥功能：
检测部，从对被摄体进行拍摄而得到的第1图像，检测包含上述被摄体的特定部位的第1图像区域；
生成部，生成包含上述第1图像区域的1个分割前遮盖图像，通过将上述分割前遮盖图像进行分割，生成用于指定包含上述第1图像区域的、向第2图像进行合成的区域的多个遮盖图像；以及
合成部，利用多个上述遮盖图像，将上述第1图像向上述第2图像进行合成；
多个上述遮盖图像分别在与其他上述遮盖图像相接的区域、或者与其他上述遮盖图像重合的区域中包含上述第1图像的区域中的亮度比其他区域大的区域，
上述被摄体是脸，
多个上述遮盖图像分别在与其他上述遮盖图像相接的区域、或者与其他上述遮盖图像重合的区域中包含含有上述第1图像的区域中的上述脸的中心的区域。
CN201910275462.7A 2019-01-11 2019-04-08 信息处理装置、信息处理方法以及存储介质 Active CN111435433B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-003666 2019-01-11
JP2019003666A JP6972043B2 (ja) 2019-01-11 2019-01-11 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN111435433A CN111435433A (zh) 2020-07-21
CN111435433B true CN111435433B (zh) 2023-10-31

Family

ID=71516988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910275462.7A Active CN111435433B (zh) 2019-01-11 2019-04-08 信息处理装置、信息处理方法以及存储介质

Country Status (3)

Country Link
US (1) US10911695B2 (zh)
JP (1) JP6972043B2 (zh)
CN (1) CN111435433B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492347A (zh) * 2019-09-12 2021-03-12 上海哔哩哔哩科技有限公司 处理信息流、显示弹幕信息的方法及信息流处理系统
CN112115803B (zh) * 2020-08-26 2023-10-13 深圳市优必选科技股份有限公司 口罩状态提醒方法、装置及移动终端
WO2023275959A1 (ja) * 2021-06-28 2023-01-05 日本電信電話株式会社 画像重畳システム及び画像重畳方法
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11900506B2 (en) * 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754211A (zh) * 2013-12-26 2015-07-01 卡西欧计算机株式会社 图像处理装置以及图像处理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2603445B2 (ja) * 1994-11-10 1997-04-23 インターナショナル・ビジネス・マシーンズ・コーポレイション 髪画像適合方法及びコンピュータ・システム
JP4461789B2 (ja) * 2003-03-20 2010-05-12 オムロン株式会社 画像処理装置
JP2005010356A (ja) * 2003-06-18 2005-01-13 Pioneer Electronic Corp 表示装置および画像処理システム
JP2010021795A (ja) * 2008-07-10 2010-01-28 Olympus Imaging Corp 撮像装置、補正制御装置、補正制御方法およびプログラム
JP5048736B2 (ja) 2009-09-15 2012-10-17 みずほ情報総研株式会社 画像処理システム、画像処理方法及び画像処理プログラム
JP2011176748A (ja) * 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
JP5625995B2 (ja) * 2010-05-10 2014-11-19 カシオ計算機株式会社 被写体追跡装置、被写体追跡方法及びプログラム
US9058605B2 (en) * 2012-04-20 2015-06-16 Taaz, Inc. Systems and methods for simulating accessory display on a subject
JP2013226286A (ja) 2012-04-26 2013-11-07 Aitia Corp ヘアスタイル合成方法、ヘアスタイル合成装置およびヘアスタイル合成プログラム
JP6102111B2 (ja) * 2012-07-27 2017-03-29 富士通株式会社 送信装置、通信装置、データ送信プログラム及びデータ送信方法
JP5930245B1 (ja) * 2015-01-23 2016-06-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2016177015A (ja) * 2015-03-18 2016-10-06 フリュー株式会社 写真シール作成装置および画像処理方法
KR102427412B1 (ko) * 2016-07-06 2022-08-01 메타 플랫폼스, 인크. 검색 질의에 기반하는 소스 이미지로부터의 얼굴과 타겟 이미지와의 조합
JP6874772B2 (ja) * 2016-11-25 2021-05-19 日本電気株式会社 画像生成装置、画像生成方法、およびプログラム
JP7278724B2 (ja) 2018-07-23 2023-05-22 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754211A (zh) * 2013-12-26 2015-07-01 卡西欧计算机株式会社 图像处理装置以及图像处理方法

Also Published As

Publication number Publication date
US10911695B2 (en) 2021-02-02
CN111435433A (zh) 2020-07-21
US20200228729A1 (en) 2020-07-16
JP2020113061A (ja) 2020-07-27
JP6972043B2 (ja) 2021-11-24

Similar Documents

Publication Publication Date Title
CN111435433B (zh) 信息处理装置、信息处理方法以及存储介质
KR102362544B1 (ko) 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체
US9563975B2 (en) Makeup support apparatus and method for supporting makeup
US20200380594A1 (en) Virtual try-on system, virtual try-on method, computer program product, and information processing device
CN109829930B (zh) 人脸图像处理方法、装置、计算机设备及可读存储介质
US11450075B2 (en) Virtually trying cloths on realistic body model of user
US20190384967A1 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
CN112884637B (zh) 特效生成方法、装置、设备及存储介质
EP2718902B1 (en) Generation of avatar reflecting player appearance
JP7278724B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
KR20200014889A (ko) 이미지 비 식별을 위한 시스템 및 방법
US20180204052A1 (en) A method and apparatus for human face image processing
US9779699B2 (en) Image processing device, image processing method, computer readable medium
US10395404B2 (en) Image processing device for composite images, image processing system and storage medium
CN108876886B (zh) 图像处理方法、装置和计算机设备
KR20170002100A (ko) 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치
CN111862116A (zh) 动漫人像的生成方法及装置、存储介质、计算机设备
US9330300B1 (en) Systems and methods of analyzing images
US10803677B2 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
KR20210032489A (ko) 신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법
US11842453B2 (en) Information processing device, information processing method, and program
CN108549484A (zh) 基于人体动态姿态的人机交互方法和装置
JP6476608B2 (ja) 動作処理装置、動作処理方法及びプログラム
JP6547244B2 (ja) 動作処理装置、動作処理方法及びプログラム
US20220270337A1 (en) Three-dimensional (3d) human modeling under specific body-fitting of clothes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant