CN112734657A - 基于人工智能和三维模型的云合影方法、装置及存储介质 - Google Patents
基于人工智能和三维模型的云合影方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112734657A CN112734657A CN202011584123.6A CN202011584123A CN112734657A CN 112734657 A CN112734657 A CN 112734657A CN 202011584123 A CN202011584123 A CN 202011584123A CN 112734657 A CN112734657 A CN 112734657A
- Authority
- CN
- China
- Prior art keywords
- photo
- model
- dimensional
- discriminator
- group photo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 20
- 230000000694 effects Effects 0.000 claims abstract description 23
- 238000013475 authorization Methods 0.000 claims abstract description 11
- 238000005286 illumination Methods 0.000 claims abstract description 7
- 230000014509 gene expression Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 abstract description 13
- 231100000289 photo-effect Toxicity 0.000 abstract description 3
- 238000010030 laminating Methods 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000003796 beauty Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002079 cooperative effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明公开了一种基于人工智能和三维模型的云合影方法、装置及存储介质。方法包括：根据拍摄要求，选取或获取背景场景三维模型和每一合影者的人员三维模型；确定三维拍摄场景及各合影人员模型姿态；在三维拍摄场景中，选择光照条件及拍摄角度拍摄待处理照片；将待处理照片输入预先训练的照片真实化模型，得到真实化照片。可选的，以上操作中需要用到的用户相关的数据或模型，需要用户针对指定合影授权之后才可使用。本发明实施例，优点如下：(1)合影效果类似于真实到场，贴合每个人真实的物理属性，相对于直接抠图或者直接使用GAN生成的方式，效果更好。(2)没有地理位置、用户拍照姿势及拍照同步性的硬性要求，只需要用户授权即可。
Description
技术领域
本发明涉及计算机软件技术领域，具体涉及一种基于人工智能和三维模型的云合影方法、装置及存储介质。
背景技术
由于疫情的影响，人们无法出门自由活动，这就给一些需要参加毕业典礼或者社交活动的人带来了不便，目前没有成型的好的不到场的合影方法：目前的合影方法基本是不同的个人照片拼凑在一起，没有场景、体型大小不同、集体表情等特征，给人没有合影的感觉，起不到纪念的作用。如图1所示，现有的云合影方案存在以下问题：(1)不够正式；(2)照片中各个人没有统一的场景或者背景，比较杂乱；(3)各个人的体型姿态差异无法体现；(4)有统一背景，又没有集体统一(或者配合)的表情或者动作(一起笑、一起喊、一起做鬼脸等)；(5)不能凸显是本人授权的合影。
发明内容
针对上述技术缺陷，本发明实施例的目的在于提供一种基于人工智能和三维模型的云合影方法、装置及存储介质。
为实现上述目的，第一方面，本发明实施例提供了一种基于人工智能和三维模型的云合影方法，包括：
根据拍摄要求，选取或获取背景场景三维模型和每一合影者的人员三维模型；
根据所述背景场景三维模型和人员三维模型确定三维拍摄场景；
在所述三维拍摄场景中，选择光照条件及拍摄角度拍摄待处理照片；所述待处理照片为包括多个合影者的二维模型图片；
接收每一合影者的授权，将所述待处理照片输入预先训练的照片真实化模型，得到真实化照片。
作为本申请的一种具体实施方式，获取每一合影者的人员三维模型具体包括：
采用传感器采集方式获取每一合影者的人员三维模型；或
采用深度学习算法从单张或多张二维图片中生成。
作为本申请的一种具体实施方式，确定三维拍摄场景具体包括：
将所述人员三维模型放入所述背景场景三维模型中；
在所述背景场景三维模型中，接收每一合影者对所述人员三维模型的编辑操作，以得到整体的三维拍摄场景；所述编辑操作包括每一合影者的人员三维模型在背景场景模型中的站姿、手势、表情和位置等。
优选地，在本申请的一优选实施方式中，得到真实化照片之后，所述云合影方法还包括：
接收各个合影者对所述真实化图片中自己图像部分的美化操作；所述美化操作包括美颜处理、图像微调或表情变换；
接收合影负责人对各个合影者对自己部分美化之后整体效果的修改或确认。
进一步地，在本申请的某些优选实施中，所述云合影方法还包括训练模型照片真实化模型和表情变换模型，具体为：
获取合影者的真实照片及个人三维模型，采用所述真实照片及个人三维模型训练得到所述照片真实化模型；
采用所述真实照片训练得到所述表情表换模型；
其中，所述照片真实化模型包括条件生成器和判别器1，所述判别器1为照片真实度判别器，用于判断真实照片是否真实；或
所述照片真实化模型包括条件生成器、判别器1和判别器2，所述判别器1为照片真实度判别器，用于判断真实照片是否真实，所述判别器2为人脸身份及位置识别器，用于识别真实化后图片中的人脸及位置，并将人脸及位置与真值进行比较判别；所述真值由所述三维拍摄场景所确定；或
所述照片真实化模型包括条件生成器、判别器1、判别器2和判别器3，所述判别器1为照片真实度判别器，用于判断真实照片是否真实，所述判别器2为人脸身份及位置识别器，用于识别真实化后图片中的人脸及位置，并将人脸及位置与真值进行比较判别；所述真值由所述三维拍摄场景所确定；所述判别器3为人物属性识别器，用于识别真实化后图片中的对应人物的性别、年龄、身高及人种。
类似的及可选的，可以根据需要添加新的判别器用以检查真实化后图片的某些其他属性是否正确。
第二方面，本发明实施例提供了一种基于人工智能和三维模型的云合影装置，包括：
获取单元，用于根据拍摄要求，选取或获取背景场景三维模型和每一合影者的人员三维模型；
确定单元，用于根据所述背景场景三维模型和人员三维模型确定三维拍摄场景；
拍摄单元，用于所述三维拍摄场景中，选择光照条件及拍摄角度拍摄待处理照片；所述待处理照片为包括多个合影者的二维模型图片；
处理单元，用于接收每一合影者的授权，将所述待处理照片输入预先训练的模型照片真实化模型，得到真实化照片。
第三方面，本发明实施例还提供了另一种基于人工智能和三维模型的云合影装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其内存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
实施本发明实施例，主要有以下优点：
(1)合影效果类似于真实到场，用户体验好、甚至可能可以达到比实际拍照更好的效果。
(2)相对于直接抠图合影的方式，可以有更好更真实的相对比例(人与人之间、人与物之间等)、互动性(比如不同合影人之间的遮挡、协同动作、搂抱等)、更加一致的光影效果，效果更好。
(3)相对于直接使用GAN(对抗生成网络)生成的照片，更加贴合每个人真实的物理属性(身高、体态等)。
(4)没有地理位置、用户拍照姿势及拍照同步性的硬性要求，只需要用户授权即可。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是现有技术中云合影的界面图；
图2是本发明实施例提供的基于人工智能和三维模型的云合影方法的一种流程图；
图3是人体三维模型示例图；
图4是场景建模示例图；
图5是模型照片真实化模型训练流程图；
图6是不同表情变换方法效果对比图；
图7是本发明第一实施例提供的基于人工智能和三维模型的云合影装置的结构图；
图8是本发明第二实施例提供的基于人工智能和三维模型的云合影装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
本发明的主要技术原理如下：
·使用单目相机、双目相机或者深度相机，检测拍照人员的(可选：保持特定表情的)三维模型(包含身高体重等信息)
·将各个人员的三维模型放到统一的场景(背景)当中，场景可以是三维也可以是二维的
·选取不同拍照点及拍照角度，拍摄多张照片
·使用深度学习技术，将拍摄的照片进行细节重建，形成质量较高的清晰的照片
·如必要，使用深度学习技术，对照片中(全部或者部分)人员表情进行变换(变换到统一风格等)
·可选进行图像后处理或者美颜等后处理操作。
请参考图2，本发明实施例提供的基于人工智能和三维模型的云合影方法，可以包括如下步骤：
S101，根据拍摄要求，选取或获取背景场景三维模型和每一合影者的人员三维模型。
其中，拍摄要求包括正式或轻松、着装要求以及表情姿态等。
具体地，各个合影者使用传感器获取自己的人员三维模型或系统用深度学习算法从二维照片生成各个合影者的人员三维模型。
其中，传感器采集可采用光学扫描仪、激光雷达、(单目、双目等)相机或者几种传感器相融合等多种方式。
进一步地，根据摄像头三维扫描生成的人体三维模型示例如图3和4所示。
进一步地，激光雷达或激光雷达与摄像头融合的方式请参考：
https://www.ednchina.com/news/5942.html
https://baijiahao.baidu.com/s？id＝1680498261851454168&wfr＝spider&for＝pc
进一步地，背景场景三维模型的选取如下：
场景建模的三维模型可以使用虚拟的三维场景，也可以使用摄像头或激光雷达等传感器到实际场景进行三维建模(用类似上面的方法)。场景建模如图5所示。
S102，根据所述背景场景三维模型和人员三维模型确定三维拍摄场景。
具体地，步骤S102包括：
将所述人员三维模型放入所述背景场景三维模型中；
在所述背景场景三维模型中，接收每一合影者对所述人员三维模型的编辑操作，以得到整体的三维拍摄场景；所述编辑操作包括每一合影者的人员三维模型在背景场景模型中的站姿、手势、表情和位置等。
即，每个合影者选择自己模型在背景三维场景模型中的站姿、手势、表情及位置等。
S103，预览三维拍摄场景的整体效果，接收合影负责人对所述整体效果的修改或确认。
具体地，预览整体效果，例如每个人位置或站姿等，进一步修改或者确认。
S104，在所述三维拍摄场景中，选择光照条件及拍摄角度拍摄待处理照片。
其中，所述待处理照片为包括多个合影者的二维模型图片。
S105，接收每一合影者的授权，将所述待处理照片输入预先训练的真实化模型，得到真实化照片。
具体地，在执行步骤S105之前，需要先训练真实化模型和表情变换模型。
真实化模型是一个(条件)生成模型，其中的(条件)生成器可以使用(条件)VAE(Variational Auto Encoder)或者(条件)GAN(Generative Adversarial Networks)等方法。图5为使用GAN的方法示例，其中有一个条件生成器和三个判别器。
判别器1为照片真实度判别器，用于判断照片是否足够真实，不需要标签数据，也不需要训练照片一一对应，真的真实照片和假的真实照片一起直接送入训练即可；
判别器2是由人脸身份及位置识别器(使用真实照片数据训练，用于识别真实照片中的人脸及位置)加上真值比较模块组成。其中，真值是模型照片中实际的人脸及位置，因为是模型照片是三维模型中生成的，所以这些信息可以直接从三维模型中计算出来。如果识别器从假的真实照片中识别出的结果与真值一致，说明生成的假的真实照片的真实度高。
判别器3由人物属性识别器(使用真实照片数据训练，用于识别真实照片中的对应人物的性别、年龄、身高及人种等人物属性)加上真值比较的模块组成。真值由对应用户自己上传获得。
在图5中，照片真实度判别器为必须，其他两个判别器为可选(人物属性输入也为可选)。具体地，在进行模型训练时，首先使用真实照片集及三维模型信息训练条件生成器及判别器，待训练完成之后，在具体使用时，只需要使用(条件)生成器即可。
S106，接收各个合影者对所述真实化图片中自己图像部分的美化操作。
S107，接收合影负责人对各个合影者对自己部分美化之后整体效果的修改或确认。
具体地，如有必要，进一步做美颜、图像微调或者表情变换等后处理操作。
其中，表情变换可采用表情变换模型，例如StarGAN等。不同表情变换方法效果对比如图6所示。
可选的，在本发明中，合影需要参与的每个人授权(指纹识别或密码等较安全的授权方式)之后才能使用(将这个参与人添加到合影当中去)。其中授权主要是针对：基于用户真实照片训练的、其输出可能涉及到用户隐私信息的(比如人脸)的一些模型，如照片真实化模型、及表情变换模型等需加密，仅供本人授权之后才可针对指定合影或照片使用。
照片真实化模型(人脸识别器需要用到至少一张用户照片)、表情变换模型(需要用到多张用户照片)及人脸识别模型只需要用户上传一定量的自己真实照片即可(或者直接经用户授权后，在之前的视频会议中采集相应视频图片即可)；如果能提前上传用户自己的三维模型用于照片真实化模型的训练，效果更佳。需要说明的是，该步骤只是为了模型训练使用，并且为可选，如果需要用到“人脸识别及位置判别器”或者“表情变换模型”，用户就需要提前上传一些自己的照片，这些照片不需要与真正云拍照时的场景相同，只要是正面照即可。
与现有技术相比，实施本发明实施例的基于人工智能和三维模型的云合影方法，主要有以下优点：
(1)合影效果类似于真实到场，用户体验好、甚至可能可以达到比实际拍照更好的效果。
(2)相对于直接抠图合影的方式，可以有更好更真实的相对比例(人与人之间、人与物之间等)、互动性(比如不同合影人之间的遮挡、协同动作、搂抱等)、更加一致的光影效果，效果更好。
(3)相对于直接使用GAN(对抗生成网络)生成的照片，更加贴合每个人真实的物理属性(身高、体态等)。
(4)没有地理位置、用户拍照姿势及拍照同步性的硬性要求，只需要用户授权即可。
基于相同的发明构思，本发明实施例还提供一种基于人工智能和三维模型的云合影装置。如图7所示，该装置包括：
获取单元10，用于根据拍摄要求，选取或获取背景场景三维模型和每一合影者的人员三维模型；
确定单元11，用于根据所述背景场景三维模型和人员三维模型确定三维拍摄场景；
拍摄单元12，用于所述三维拍摄场景中，选择光照条件及拍摄角度拍摄待处理照片；所述待处理照片为包括多个合影者的二维模型图片；
处理单元13，用于接收每一合影者的授权，将所述待处理照片输入预先训练的模型照片真实化模型，得到真实化照片。
具体地，获取单元10用于：
采用传感器采集方式获取每一合影者的人员三维模型；或
采用深度学习算法从单张或多张二维图片中生成每一合影者的人员三维模型。
具体地，确定单元11用于：
将所述人员三维模型放入所述背景场景三维模型中；
在所述背景场景三维模型中，接收每一合影者对所述人员三维模型的编辑操作，以得到整体的三维拍摄场景；所述编辑操作包括每一合影者的人员三维模型在背景场景模型中的站姿、手势、表情和位置等。
进一步地，处理单元13还用于：
预览所述三维拍摄场景的整体效果；
接收合影负责人对所述整体效果的修改或确认。
进一步地，处理单元13还用于：
接收各个合影者对所述真实化图片中自己图像部分的美化操作；所述美化操作包括美颜处理、图像微调或表情变换；
接收合影负责人对各个合影者对自己部分美化之后整体效果的修改或确认。
进一步地，上述装置还包括训练单元，用于训练照片真实化模型和表情变换模型，具体为：
获取合影者的真实照片及个人三维模型，采用所述真实照片及个人三维模型训练得到所述照片真实化模型；
采用同一人的多张不同表情的真实照片训练表情变换模型；
其中，所述照片真实化模型包括条件生成器和判别器1，所述判别器1为照片真实度判别器，用于判断真实照片是否真实；或
所述照片真实化模型包括条件生成器、判别器1和判别器2，所述判别器1为照片真实度判别器，用于判断真实照片是否真实，所述判别器2为人脸身份及位置识别器，用于识别真实化后图片中的人脸及位置，并将人脸及位置与真值进行比较判别；所述真值由所述三维拍摄场景所确定；或
所述照片真实化模型包括条件生成器、判别器1、判别器2和判别器3，所述判别器1为照片真实度判别器，用于判断真实照片是否真实，所述判别器2为人脸身份及位置识别器，用于识别真实化后图片中的人脸及位置，并将人脸及位置与真值进行比较判别；所述真值由所述三维拍摄场景所确定；所述判别器3为人物属性识别器，用于识别真实化后图片中的对应人物的性别、年龄、身高及人种。
类似的及可选的，可以根据需要添加新的判别器用以检查真实化后图片的某些其他已知属性是否正确。
可选地，如图8所示，本发明基于人工智能和三维模型的云合影装置可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法。
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)、GPU及特殊AI芯片，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于人工智能和三维模型的云合影方法的实施例中所描述的实现方式，在此不再赘述。
需要说明的是，关于本实施例中系装置的更为具体的描述，请参考前述方法实施例，在此不再赘述。
相应地，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述基于人工智能和三维模型的云合影方法。
所述计算机可读存储介质可以是前述任一实施例所述的系统的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于人工智能和三维模型的云合影方法，其特征在于，包括：
根据拍摄要求，选取或获取背景场景三维模型和每一合影者的人员三维模型；
根据所述背景场景三维模型和人员三维模型确定三维拍摄场景；
在所述三维拍摄场景中，选择光照条件及拍摄角度拍摄待处理照片；所述待处理照片为包括多个合影者的二维模型图片；
接收每一合影者的授权，将所述待处理照片输入预先训练的照片真实化模型，得到真实化照片。
2.如权利要求1所述的云合影方法，其特征在于，获取每一合影者的人员三维模型具体包括：
采用传感器采集方式获取每一合影者的人员三维模型；或
采用深度学习算法从单张或多张二维图片中生成每一合影者的人员三维模型。
3.如权利要求1所述的云合影方法，其特征在于，确定三维拍摄场景具体包括：
将所述人员三维模型放入所述背景场景三维模型中；
在所述背景场景三维模型中，接收每一合影者对自己的所述人员三维模型的编辑操作，以得到整体的三维拍摄场景；所述编辑操作包括每一合影者的人员三维模型在背景场景模型中的站姿、手势、表情和位置。
4.如权利要求3所述的云合影方法，其特征在于，确定三维拍摄场景之后，所述云合影方法还包括：
预览所述三维拍摄场景的整体效果；
接收合影负责人对所述整体效果的修改或确认。
5.如权利要求4所述的云合影方法，其特征在于，得到真实化照片之后，所述云合影方法还包括：
接收各个合影者对所述真实化图片中自己图像部分的美化操作；所述美化操作包括美颜处理、图像微调或表情变换；
接收合影负责人对各个合影者对自己部分美化之后整体效果的修改或确认。
6.如权利要求1所述的云合影方法，其特征在于，所述云合影方法还包括训练照片真实化模型和表情变换模型，具体为：
获取合影者的真实照片及个人三维模型，采用所述真实照片及个人三维模型训练得到所述照片真实化模型；
采用所述真实照片训练得到所述表情表换模型；
其中，所述照片真实化模型包括条件生成器和判别器1，所述判别器1为照片真实度判别器，用于判断真实照片是否真实；或
所述照片真实化模型包括条件生成器、判别器1和判别器2，所述判别器1为照片真实度判别器，用于判断真实照片是否真实，所述判别器2为人脸身份及位置识别器，用于识别真实化后图片中的人脸及位置，并将人脸及位置与真值进行比较判别；所述真值由所述三维拍摄场景所确定；或
所述照片真实化模型包括条件生成器、判别器1、判别器2和判别器3，所述判别器1为照片真实度判别器，用于判断真实照片是否真实；所述判别器2为人脸身份及位置识别器，用于识别真实化后图片中的人脸及位置，并将人脸及位置与真值进行比较判别，所述真值由所述三维拍摄场景所确定；所述判别器3为人物属性识别器，用于识别真实化后图片中的对应人物的性别、年龄、身高及人种。
7.一种基于人工智能和三维模型的云合影装置，其特征在于，包括：
获取单元，用于根据拍摄要求，选取或获取背景场景三维模型和每一合影者的人员三维模型；
确定单元，用于根据所述背景场景三维模型和人员三维模型确定三维拍摄场景；
拍摄单元，用于所述三维拍摄场景中，选择光照条件及拍摄角度拍摄待处理照片；所述待处理照片为包括多个合影者的二维模型图片；
处理单元，用于接收每一合影者的授权，将所述待处理照片输入预先训练的模型照片真实化模型，得到真实化照片。
8.如权利要求7所述的云合影装置，其特征在于，所述云合影装置还包括训练单元，用于训练模型照片真实化模型和表情变换模型，具体为：
获取合影者的真实照片及个人三维模型，采用所述真实照片及个人三维模型训练得到所述照片真实化模型；
采用所述真实照片训练得到所述表情表换模型；
其中，所述照片真实化模型包括条件生成器和判别器1，所述判别器1为照片真实度判别器，用于判断真实照片是否真实；或
所述照片真实化模型包括条件生成器、判别器1和判别器2，所述判别器1为照片真实度判别器，用于判断真实照片是否真实，所述判别器2为人脸身份及位置识别器，用于识别真实化后图片中的人脸及位置，并将人脸及位置与真值进行比较判别；所述真值由所述三维拍摄场景所确定；或
所述照片真实化模型包括条件生成器、判别器1、判别器2和判别器3，所述判别器1为照片真实度判别器，用于判断真实照片是否真实，所述判别器2为人脸身份及位置识别器，用于识别真实化后图片中的人脸及位置，并将人脸及位置与真值进行比较判别；所述真值由所述三维拍摄场景所确定；所述判别器3为人物属性识别器，用于识别真实化后图片中的对应人物的性别、年龄、身高及人种。
9.一种基于人工智能和三维模型的云合影装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011584123.6A CN112734657B (zh) | 2020-12-28 | 2020-12-28 | 基于人工智能和三维模型的云合影方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011584123.6A CN112734657B (zh) | 2020-12-28 | 2020-12-28 | 基于人工智能和三维模型的云合影方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734657A true CN112734657A (zh) | 2021-04-30 |
| CN112734657B CN112734657B (zh) | 2023-04-07 |
Family
ID=75606706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011584123.6A Active CN112734657B (zh) | 2020-12-28 | 2020-12-28 | 基于人工智能和三维模型的云合影方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734657B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451953A (zh) * | 2017-08-07 | 2017-12-08 | 珠海格力电器股份有限公司 | 一种合影照片生成方法及其装置、电子设备 |
| CN107566529A (zh) * | 2017-10-18 | 2018-01-09 | 维沃移动通信有限公司 | 一种拍照方法、移动终端及云端服务器 |
| CN107635095A (zh) * | 2017-09-20 | 2018-01-26 | 广东欧珀移动通信有限公司 | 拍摄照片的方法、装置、存储介质及拍摄设备 |
| CN107705356A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
| CN108989679A (zh) * | 2018-08-01 | 2018-12-11 | 北京京东金融科技控股有限公司 | 一种合影拍照的方法和装置 |
| CN110399712A (zh) * | 2019-07-31 | 2019-11-01 | 网易（杭州）网络有限公司 | 基于验证码的交互验证方法、装置、介质和计算设备 |
| CN110490960A (zh) * | 2019-07-11 | 2019-11-22 | 阿里巴巴集团控股有限公司 | 一种合成图像生成方法及装置 |
| CN111353069A (zh) * | 2020-02-04 | 2020-06-30 | 清华珠三角研究院 | 一种人物场景视频生成方法、系统、装置及存储介质 |
| CN111524216A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成三维人脸数据的方法和装置 |
| CN111666550A (zh) * | 2020-06-12 | 2020-09-15 | 上海商汤智能科技有限公司 | 一种互动合影的方法、装置、电子设备及存储介质 |
| CN112132213A (zh) * | 2020-09-23 | 2020-12-25 | 创新奇智(南京)科技有限公司 | 样本图像的处理方法及装置、电子设备、存储介质 |
-
2020
- 2020-12-28 CN CN202011584123.6A patent/CN112734657B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451953A (zh) * | 2017-08-07 | 2017-12-08 | 珠海格力电器股份有限公司 | 一种合影照片生成方法及其装置、电子设备 |
| CN107705356A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
| CN107635095A (zh) * | 2017-09-20 | 2018-01-26 | 广东欧珀移动通信有限公司 | 拍摄照片的方法、装置、存储介质及拍摄设备 |
| CN107566529A (zh) * | 2017-10-18 | 2018-01-09 | 维沃移动通信有限公司 | 一种拍照方法、移动终端及云端服务器 |
| CN108989679A (zh) * | 2018-08-01 | 2018-12-11 | 北京京东金融科技控股有限公司 | 一种合影拍照的方法和装置 |
| CN110490960A (zh) * | 2019-07-11 | 2019-11-22 | 阿里巴巴集团控股有限公司 | 一种合成图像生成方法及装置 |
| CN110399712A (zh) * | 2019-07-31 | 2019-11-01 | 网易（杭州）网络有限公司 | 基于验证码的交互验证方法、装置、介质和计算设备 |
| CN111353069A (zh) * | 2020-02-04 | 2020-06-30 | 清华珠三角研究院 | 一种人物场景视频生成方法、系统、装置及存储介质 |
| CN111524216A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成三维人脸数据的方法和装置 |
| CN111666550A (zh) * | 2020-06-12 | 2020-09-15 | 上海商汤智能科技有限公司 | 一种互动合影的方法、装置、电子设备及存储介质 |
| CN112132213A (zh) * | 2020-09-23 | 2020-12-25 | 创新奇智(南京)科技有限公司 | 样本图像的处理方法及装置、电子设备、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 黄菲,高飞,朱静洁,戴玲娜,俞俊: "基于生成对抗网络的异质人脸图像合成:进展与挑战", 《南京信息工程大学学报(自然科学版)》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734657B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3096208B1 (en) | Image processing for head mounted display devices | |
| CN108764091B (zh) | 活体检测方法及装置、电子设备和存储介质 | |
| US10853625B2 (en) | Facial signature methods, systems and software | |
| JP7200439B1 (ja) | アバター表示装置、アバター生成装置及びプログラム | |
| WO2021229415A1 (en) | Method and system for virtual 3d communications | |
| JP2017531950A (ja) | 撮影テンプレートデータベースを構築し、且つ撮影推薦情報を提供するための方法及び装置 | |
| CN114981844A (zh) | 3d身体模型生成 | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| CN111402399B (zh) | 人脸驱动和直播方法、装置、电子设备及存储介质 | |
| CN114930399A (zh) | 使用基于表面的神经合成的图像生成 | |
| CN110401810B (zh) | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 | |
| CN109997175B (zh) | 确定虚拟对象的大小 | |
| CN115867882A (zh) | 用于图像的基于出行的增强现实内容 | |
| CN116250014A (zh) | 用于合成具有与真实图像结合的伪毛发的图像的跨域神经网络 | |
| CN111147766A (zh) | 特效视频合成方法、装置、计算机设备和存储介质 | |
| CN115803783A (zh) | 从2d图像重建3d对象模型 | |
| Elgharib et al. | Egocentric videoconferencing | |
| WO2016184285A1 (zh) | 物品图像处理方法、装置和系统 | |
| CA3050456C (en) | Facial modelling and matching systems and methods | |
| CN106470337A (zh) | 用于个性化全方向视频景深的方法、装置和计算机程序产品 | |
| CN116457821A (zh) | 使用神经网络的对象重新照明 | |
| US11282282B2 (en) | Virtual and physical reality integration | |
| CN112734657B (zh) | 基于人工智能和三维模型的云合影方法、装置及存储介质 | |
| CN112804245B (zh) | 适用于视频传输的数据传输优化方法、装置及系统 | |
| WO2014100448A1 (en) | Collecting and selecting photos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |