CN108805978A - 一种基于深度学习三维模型的自动生成装置和方法 - Google Patents
一种基于深度学习三维模型的自动生成装置和方法 Download PDFInfo
- Publication number
- CN108805978A CN108805978A CN201810601044.8A CN201810601044A CN108805978A CN 108805978 A CN108805978 A CN 108805978A CN 201810601044 A CN201810601044 A CN 201810601044A CN 108805978 A CN108805978 A CN 108805978A
- Authority
- CN
- China
- Prior art keywords
- model
- dimensional model
- processing unit
- central processing
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013500 data storage Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 238000003062 neural network model Methods 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于深度学习三维模型的自动生成装置和方法，包括校验器、中央处理器、显示终端、参数数据存储器和目标三维模型数据存储器；校验器与参数数据存储器通讯连接，参数数据存储器与中央处理器通信连接，中央处理器与显示终端、目标三维模型数据存储器分别通信连接。本发明不在依赖成本高昂的视觉加深度传感器的扫描仪生成新的三维模型数据，能简便快速的生成三维模型，大大降低三维模型采集的成本大大减小了数据生成成本，有利于极大地提高三维模型数据的应用和推广。
Description
技术领域
本发明涉及三维模型的自动生成，具体涉及一种基于深度学习三维模型的自动生成装置和方法。
背景技术
三维模型是在计算机中构造虚拟对象的基本元素，随着三维模型采集技术的快速发展，三维模型正在成为娱乐行业的另一个共同主题，因为三维模型数据可以给用户带来身临其境的感受。
但是，由于高昂的费用或专业知识要求，扩大三维形状采集的应用仍然具有挑战性。有很多方法可以得到三维模型，美术创作人员利用三维建模软件如3DSMAX、MAYA按照一定的规则输入参数或者交互操作构造三维模型，但此类软件一般操作很复杂，尤其对于自由曲面的构造。新出现的三维扫描仪可以得到现实景物的点云信息，但其数据量庞大，几乎无法应用在实时系统中，并且价格昂贵，例如，业内的三维物体扫描仪至少要花费数千美元，基于视觉加深度传感器的Kinect扫描仪可能需要工程师的调整，而建模工具需要具有良好专业背景。
因此，简便快速的三维模型生成方法一直是图形领域长期关注的问题。
发明内容
本发明的目的在于提供本发明的目的在于提供一种基于深度学习三维模型的自动生成装置，对给定的三维模型，将其特征用二维图像表示后，通过深度学习技术对其的特征信息进行训练，从而驱动该深度神经网络模型实现自动生成三维模型。
一种基于深度学习三维模型的自动生成装置，包括
校验器，与参数数据存储器通讯连接，对输入的三维模型的特征图像的特征信息进行数据预处理；
参数数据存储器，与中央处理器通信连接，存储校验器输出的经神经网络训练后的参数；
中央处理器，根据已设置的训练参数，利用深度神经网络自动生成三维模型；
显示终端，与中央处理器通信连接，呈现生成的三维模型；以及
目标三维模型数据存储器，与中央处理器通信连接，存储生成的三维模型。
一种基于深度学习三维模型的自动生成装置的方法，其特征在于包括如下步骤：
步骤一：输入二维图像，对于用户任意输入的三维模型特征图像(二维)，提取出其包含的特征信息并通过校验器进行数据预处理，使得二维图像满足神经网络模型的输入规范；
步骤二：将校验器输出的特征信息经过神经网络训练后的参数存到参数存储器，以此设置生成三维模型的具体参数；
步骤三：中央处理器根据已设置的训练参数，利用深度神经网络自动生成三维模型；
步骤四：将生成的三维模型存到目标三维数据存储器；
步骤五：通过显示终端查看生成的三维模型，呈现其结果。
进一步的，所述二维图像为三维模型数据的特征图像，三维模型数据集是人脸表情。
进一步的，所述中央处理器利用对抗神经网络(GAN)自动生成三维模型。
有益效果：与现有技术相比，本发明不在依赖成本高昂的视觉加深度传感器的扫描仪生成新的三维模型数据，能简便快速的生成三维模型，大大降低三维模型采集的成本大大减小了数据生成成本，有利于极大地提高三维模型数据的应用和推广。
附图说明
图1为本发明的结构示意图；
图2为本发明的工作流程图。
具体实施方式
下面结合附图1～2对本发明做详细阐述，在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
一种基于深度学习三维模型的自动生成装置，包括校验器、中央处理器、显示终端、参数数据存储器和目标三维模型数据存储器。
校验器与参数数据存储器通讯连接，参数数据存储器与中央处理器通信连接，中央处理器与显示终端、目标三维模型数据存储器分别通信连接。
所述校验器将三维模型数据集的特征图像进行数据校验使得其包含的特征信息符合神经网络的训练；
二维图像输入，用户提供二维的图像表示三维模型。输入的图像为三维图像的特征矩阵所转化的二维图像。
在本实施例中，三维模型数据集都是人脸表情，那么输入的三维模型即是三维人脸模型的特征图像。
校验器输出的特征信息经过神经网络训练后的参数将存储到参数数据存储器，以此设置生成三维模型的具体参数。
中央处理器借助性能强大的深度学习工具，处理图像并读取其包含的特征信息，并将该特征信息设置生成神经网络的训练参数，从而驱动该模型实现生成三维模型；
中央处理器根据已经成功提取数据集中行为特征，将提取的图像所含的特征信息训练后作为神经网络模型的训练参数，以驱动输入的模型生成三维模型。其利用经典的对抗神经网络(GAN)来自动生成三维模型。GAN模型由goodfellow等人提出，由两个复杂的神经网络组成，称为Generator(G)和Discriminator(D)，两个网络以交互机制工作，G将随机噪声矩阵转换为图像，并且D尝试从实际训练样本中识别合成图像。通过重复这个过程，G逐渐优化网络以提高输出图像质量以模仿真实图像，直到D不能区分合成图像和真实图像。训练具有3D面部图像的GAN模型。最后，在训练GAN模型之后，训练好的G网络可以输出合成图像。
在本实施中，选择预先提取的不同人脸表情特征信息，生成具有不同表情的多种三维模型。
中央处理器将生成的三维模型存到目标三维数据存储器，并呈现在显示终端。
一种基于深度学习三维模型的自动生成装置的方法，包括：
步骤一：输入二维图像，对于用户任意输入的三维模型特征图像(二维)，提取出其包含的特征信息并通过校验器进行数据预处理，使得二维图像满足神经网络模型的输入规范；
步骤二：将校验器输出的特征信息经过神经网络训练后的参数存到参数存储器，以此设置生成三维模型的具体参数；
步骤三：中央处理器根据已设置的训练参数，利用深度神经网络自动生成三维模型；
步骤四：将生成的三维模型存到目标三维数据存储器；
步骤五：通过显示终端查看生成的三维模型，呈现结果。
本发明实现了三维模型的自动生成，通过深度学习技术对其的特征信息进行处理，从而驱动该深度神经网络模型实现自动生成三维模型，经过对于包含笑、伤心、恶心、大喜等人脸表情的三维模型数据的生成都试验成功。由于该方法不在依赖成本高昂的视觉加深度传感器的扫描仪生成新的三维模型数据，该发明大大减小了数据生成成本，有利于极大地提高三维模型数据的应用和推广。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (5)
1.一种基于深度学习三维模型的自动生成装置，其特征在于包括：
校验器，与参数数据存储器通讯连接，对输入的三维模型的特征图像的特征信息进行数据预处理；
参数数据存储器，与中央处理器通信连接，存储校验器输出的经神经网络训练后的参数；
中央处理器，根据已设置的训练参数，利用深度神经网络自动生成三维模型；
显示终端，与中央处理器通信连接，呈现生成的三维模型；以及
目标三维模型数据存储器，与中央处理器通信连接，存储生成的三维模型。
2.一种基于深度学习三维模型的自动生成装置的方法，其特征在于包括如下步骤：
步骤一：输入二维图像，对于用户任意输入的三维模型特征图像(二维)，提取出其包含的特征信息并通过校验器进行数据预处理，使得二维图像满足神经网络模型的输入规范；
步骤二：将校验器输出的特征信息经过神经网络训练后的参数存到参数存储器，以此设置生成三维模型的具体参数；
步骤三：中央处理器根据已设置的训练参数，利用深度神经网络自动生成三维模型；
步骤四：将生成的三维模型存到目标三维数据存储器；
步骤五：通过显示终端查看生成的三维模型，呈现其结果。
3.根据权利要求2所述的方法，其特征在于：所述二维图像为三维模型数据的特征图像。
4.根据权利要求3所述的方法，其特征在于：所述三维模型数据集是人脸表情。
5.根据权利要求2所述的方法，其特征在于：所述中央处理器采用对抗神经网络(GAN)自动生成三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810601044.8A CN108805978A (zh) | 2018-06-12 | 2018-06-12 | 一种基于深度学习三维模型的自动生成装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810601044.8A CN108805978A (zh) | 2018-06-12 | 2018-06-12 | 一种基于深度学习三维模型的自动生成装置和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108805978A true CN108805978A (zh) | 2018-11-13 |
Family
ID=64085278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810601044.8A Pending CN108805978A (zh) | 2018-06-12 | 2018-06-12 | 一种基于深度学习三维模型的自动生成装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805978A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753906A (zh) * | 2018-12-25 | 2019-05-14 | 西北工业大学 | 基于域迁移的公共场所异常行为检测方法 |
| CN110245638A (zh) * | 2019-06-20 | 2019-09-17 | 北京百度网讯科技有限公司 | 视频生成方法和装置 |
| CN111192305A (zh) * | 2018-11-15 | 2020-05-22 | 百度在线网络技术（北京）有限公司 | 用于生成三维图像的方法和装置 |
-
2018
- 2018-06-12 CN CN201810601044.8A patent/CN108805978A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| GUOLIANG LUO 等: "An Image Representation for the 3D Face Synthesis", 《CASA 2018》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192305A (zh) * | 2018-11-15 | 2020-05-22 | 百度在线网络技术（北京）有限公司 | 用于生成三维图像的方法和装置 |
| CN111192305B (zh) * | 2018-11-15 | 2023-11-21 | 百度在线网络技术（北京）有限公司 | 用于生成三维图像的方法和装置 |
| CN109753906A (zh) * | 2018-12-25 | 2019-05-14 | 西北工业大学 | 基于域迁移的公共场所异常行为检测方法 |
| CN109753906B (zh) * | 2018-12-25 | 2022-06-07 | 西北工业大学 | 基于域迁移的公共场所异常行为检测方法 |
| CN110245638A (zh) * | 2019-06-20 | 2019-09-17 | 北京百度网讯科技有限公司 | 视频生成方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Facial expression retargeting from human to avatar made easy | |
| CN112541445B (zh) | 人脸表情的迁移方法、装置、电子设备及存储介质 | |
| CN111223057B (zh) | 基于生成对抗网络的增量式聚焦的图像到图像转换方法 | |
| CN116310045B (zh) | 一种三维人脸纹理创建方法、装置及设备 | |
| CN111833236B (zh) | 产生模拟用户的三维脸部模型的方法及装置 | |
| CN105957129B (zh) | 一种基于语音驱动及图像识别的影视动画制作方法 | |
| CN108805978A (zh) | 一种基于深度学习三维模型的自动生成装置和方法 | |
| CN111832372A (zh) | 产生模拟用户的三维脸部模型的方法及装置 | |
| CN108564641A (zh) | 基于ue引擎的表情捕捉方法及装置 | |
| Zeng et al. | Joint 3D facial shape reconstruction and texture completion from a single image | |
| CN116630549A (zh) | 人脸建模方法、装置、可读存储介质及电子设备 | |
| CN110473276B (zh) | 一种高效率三维动漫生产方法 | |
| CN103700129A (zh) | 一种任意人头与任意人体的3d结合方法 | |
| CN117876550B (zh) | 一种基于大数据的虚拟数字人渲染方法、系统及终端设备 | |
| CN118357083A (zh) | 基于生成式大模型纹理生成三维颜料喷涂系统及方法 | |
| US20190392653A1 (en) | Method and apparatus for sculpting a 3d model | |
| CN110992455B (zh) | 一种实时表情捕捉系统 | |
| CN117975536A (zh) | 一种人脸密集特征点检测与表情参数捕捉方法及装置 | |
| KR102026857B1 (ko) | Vr기술 기반의 3d모델링 저작도구를 이용한 3d프린팅 시스템 | |
| CN116977512A (zh) | 一种单张照片生成3d模型的方法 | |
| CN117765141A (zh) | 一种基于aigc的3d数字人生成方法 | |
| CN107451560B (zh) | 用户表情识别方法、装置及终端 | |
| CN117671090A (zh) | 一种表情处理方法、装置、电子设备及存储介质 | |
| Schmitz et al. | Interactive pose and shape editing with simple sketches from different viewing angles | |
| CN114648601A (zh) | 虚拟形象的生成方法、电子设备、程序产品及用户终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181113 |
|
| WD01 | Invention patent application deemed withdrawn after publication |