CN108805978A - 一种基于深度学习三维模型的自动生成装置和方法 - Google Patents
一种基于深度学习三维模型的自动生成装置和方法 Download PDFInfo
- Publication number
- CN108805978A CN108805978A CN201810601044.8A CN201810601044A CN108805978A CN 108805978 A CN108805978 A CN 108805978A CN 201810601044 A CN201810601044 A CN 201810601044A CN 108805978 A CN108805978 A CN 108805978A
- Authority
- CN
- China
- Prior art keywords
- threedimensional model
- processing unit
- central processing
- dimensional
- checker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于深度学习三维模型的自动生成装置和方法，包括校验器、中央处理器、显示终端、参数数据存储器和目标三维模型数据存储器；校验器与参数数据存储器通讯连接，参数数据存储器与中央处理器通信连接，中央处理器与显示终端、目标三维模型数据存储器分别通信连接。本发明不在依赖成本高昂的视觉加深度传感器的扫描仪生成新的三维模型数据，能简便快速的生成三维模型，大大降低三维模型采集的成本大大减小了数据生成成本，有利于极大地提高三维模型数据的应用和推广。
Description
技术领域
本发明涉及三维模型的自动生成，具体涉及一种基于深度学习三维模型的自动生成装置和方法。
背景技术
三维模型是在计算机中构造虚拟对象的基本元素，随着三维模型采集技术的快速发展，三维模型正在成为娱乐行业的另一个共同主题，因为三维模型数据可以给用户带来身临其境的感受。
但是，由于高昂的费用或专业知识要求，扩大三维形状采集的应用仍然具有挑战性。有很多方法可以得到三维模型，美术创作人员利用三维建模软件如3DSMAX、MAYA按照一定的规则输入参数或者交互操作构造三维模型，但此类软件一般操作很复杂，尤其对于自由曲面的构造。新出现的三维扫描仪可以得到现实景物的点云信息，但其数据量庞大，几乎无法应用在实时系统中，并且价格昂贵，例如，业内的三维物体扫描仪至少要花费数千美元，基于视觉加深度传感器的Kinect扫描仪可能需要工程师的调整，而建模工具需要具有良好专业背景。
因此，简便快速的三维模型生成方法一直是图形领域长期关注的问题。
发明内容
本发明的目的在于提供本发明的目的在于提供一种基于深度学习三维模型的自动生成装置，对给定的三维模型，将其特征用二维图像表示后，通过深度学习技术对其的特征信息进行训练，从而驱动该深度神经网络模型实现自动生成三维模型。
一种基于深度学习三维模型的自动生成装置，包括
校验器，与参数数据存储器通讯连接，对输入的三维模型的特征图像的特征信息进行数据预处理；
参数数据存储器，与中央处理器通信连接，存储校验器输出的经神经网络训练后的参数；
中央处理器，根据已设置的训练参数，利用深度神经网络自动生成三维模型；
显示终端，与中央处理器通信连接，呈现生成的三维模型；以及
目标三维模型数据存储器，与中央处理器通信连接，存储生成的三维模型。
一种基于深度学习三维模型的自动生成装置的方法，其特征在于包括如下步骤：
步骤一：输入二维图像，对于用户任意输入的三维模型特征图像(二维)，提取出其包含的特征信息并通过校验器进行数据预处理，使得二维图像满足神经网络模型的输入规范；
步骤二：将校验器输出的特征信息经过神经网络训练后的参数存到参数存储器，以此设置生成三维模型的具体参数；
步骤三：中央处理器根据已设置的训练参数，利用深度神经网络自动生成三维模型；
步骤四：将生成的三维模型存到目标三维数据存储器；
步骤五：通过显示终端查看生成的三维模型，呈现其结果。
进一步的，所述二维图像为三维模型数据的特征图像，三维模型数据集是人脸表情。
进一步的，所述中央处理器利用对抗神经网络(GAN)自动生成三维模型。
有益效果：与现有技术相比，本发明不在依赖成本高昂的视觉加深度传感器的扫描仪生成新的三维模型数据，能简便快速的生成三维模型，大大降低三维模型采集的成本大大减小了数据生成成本，有利于极大地提高三维模型数据的应用和推广。
附图说明
图1为本发明的结构示意图；
图2为本发明的工作流程图。
具体实施方式
下面结合附图1～2对本发明做详细阐述，在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
一种基于深度学习三维模型的自动生成装置，包括校验器、中央处理器、显示终端、参数数据存储器和目标三维模型数据存储器。
校验器与参数数据存储器通讯连接，参数数据存储器与中央处理器通信连接，中央处理器与显示终端、目标三维模型数据存储器分别通信连接。
所述校验器将三维模型数据集的特征图像进行数据校验使得其包含的特征信息符合神经网络的训练；
二维图像输入，用户提供二维的图像表示三维模型。输入的图像为三维图像的特征矩阵所转化的二维图像。
在本实施例中，三维模型数据集都是人脸表情，那么输入的三维模型即是三维人脸模型的特征图像。
校验器输出的特征信息经过神经网络训练后的参数将存储到参数数据存储器，以此设置生成三维模型的具体参数。
中央处理器借助性能强大的深度学习工具，处理图像并读取其包含的特征信息，并将该特征信息设置生成神经网络的训练参数，从而驱动该模型实现生成三维模型；
中央处理器根据已经成功提取数据集中行为特征，将提取的图像所含的特征信息训练后作为神经网络模型的训练参数，以驱动输入的模型生成三维模型。其利用经典的对抗神经网络(GAN)来自动生成三维模型。GAN模型由goodfellow等人提出，由两个复杂的神经网络组成，称为Generator(G)和Discriminator(D)，两个网络以交互机制工作，G将随机噪声矩阵转换为图像，并且D尝试从实际训练样本中识别合成图像。通过重复这个过程，G逐渐优化网络以提高输出图像质量以模仿真实图像，直到D不能区分合成图像和真实图像。训练具有3D面部图像的GAN模型。最后，在训练GAN模型之后，训练好的G网络可以输出合成图像。
在本实施中，选择预先提取的不同人脸表情特征信息，生成具有不同表情的多种三维模型。
中央处理器将生成的三维模型存到目标三维数据存储器，并呈现在显示终端。
一种基于深度学习三维模型的自动生成装置的方法，包括：
步骤一：输入二维图像，对于用户任意输入的三维模型特征图像(二维)，提取出其包含的特征信息并通过校验器进行数据预处理，使得二维图像满足神经网络模型的输入规范；
步骤二：将校验器输出的特征信息经过神经网络训练后的参数存到参数存储器，以此设置生成三维模型的具体参数；
步骤三：中央处理器根据已设置的训练参数，利用深度神经网络自动生成三维模型；
步骤四：将生成的三维模型存到目标三维数据存储器；
步骤五：通过显示终端查看生成的三维模型，呈现结果。
本发明实现了三维模型的自动生成，通过深度学习技术对其的特征信息进行处理，从而驱动该深度神经网络模型实现自动生成三维模型，经过对于包含笑、伤心、恶心、大喜等人脸表情的三维模型数据的生成都试验成功。由于该方法不在依赖成本高昂的视觉加深度传感器的扫描仪生成新的三维模型数据，该发明大大减小了数据生成成本，有利于极大地提高三维模型数据的应用和推广。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (5)
1.一种基于深度学习三维模型的自动生成装置，其特征在于包括：
校验器，与参数数据存储器通讯连接，对输入的三维模型的特征图像的特征信息进行数据预处理；
参数数据存储器，与中央处理器通信连接，存储校验器输出的经神经网络训练后的参数；
中央处理器，根据已设置的训练参数，利用深度神经网络自动生成三维模型；
显示终端，与中央处理器通信连接，呈现生成的三维模型；以及
目标三维模型数据存储器，与中央处理器通信连接，存储生成的三维模型。
2.一种基于深度学习三维模型的自动生成装置的方法，其特征在于包括如下步骤：
步骤一：输入二维图像，对于用户任意输入的三维模型特征图像(二维)，提取出其包含的特征信息并通过校验器进行数据预处理，使得二维图像满足神经网络模型的输入规范；
步骤二：将校验器输出的特征信息经过神经网络训练后的参数存到参数存储器，以此设置生成三维模型的具体参数；
步骤三：中央处理器根据已设置的训练参数，利用深度神经网络自动生成三维模型；
步骤四：将生成的三维模型存到目标三维数据存储器；
步骤五：通过显示终端查看生成的三维模型，呈现其结果。
3.根据权利要求2所述的方法，其特征在于：所述二维图像为三维模型数据的特征图像。
4.根据权利要求3所述的方法，其特征在于：所述三维模型数据集是人脸表情。
5.根据权利要求2所述的方法，其特征在于：所述中央处理器采用对抗神经网络(GAN)自动生成三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810601044.8A CN108805978A (zh) | 2018-06-12 | 2018-06-12 | 一种基于深度学习三维模型的自动生成装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810601044.8A CN108805978A (zh) | 2018-06-12 | 2018-06-12 | 一种基于深度学习三维模型的自动生成装置和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108805978A true CN108805978A (zh) | 2018-11-13 |
Family
ID=64085278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810601044.8A Pending CN108805978A (zh) | 2018-06-12 | 2018-06-12 | 一种基于深度学习三维模型的自动生成装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805978A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753906A (zh) * | 2018-12-25 | 2019-05-14 | 西北工业大学 | 基于域迁移的公共场所异常行为检测方法 |
| CN110245638A (zh) * | 2019-06-20 | 2019-09-17 | 北京百度网讯科技有限公司 | 视频生成方法和装置 |
| CN111192305A (zh) * | 2018-11-15 | 2020-05-22 | 百度在线网络技术（北京）有限公司 | 用于生成三维图像的方法和装置 |
-
2018
- 2018-06-12 CN CN201810601044.8A patent/CN108805978A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| GUOLIANG LUO 等: "An Image Representation for the 3D Face Synthesis", 《CASA 2018》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192305A (zh) * | 2018-11-15 | 2020-05-22 | 百度在线网络技术（北京）有限公司 | 用于生成三维图像的方法和装置 |
| CN111192305B (zh) * | 2018-11-15 | 2023-11-21 | 百度在线网络技术（北京）有限公司 | 用于生成三维图像的方法和装置 |
| CN109753906A (zh) * | 2018-12-25 | 2019-05-14 | 西北工业大学 | 基于域迁移的公共场所异常行为检测方法 |
| CN109753906B (zh) * | 2018-12-25 | 2022-06-07 | 西北工业大学 | 基于域迁移的公共场所异常行为检测方法 |
| CN110245638A (zh) * | 2019-06-20 | 2019-09-17 | 北京百度网讯科技有限公司 | 视频生成方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717977B (zh) | 游戏角色脸部处理的方法、装置、计算机设备及存储介质 | |
| WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
| CN107484428B (zh) | 用于显示对象的方法 | |
| CN108182728A (zh) | 一种基于Leap Motion的在线体感三维建模方法及系统 | |
| CN106778506A (zh) | 一种融合深度图像和多通道特征的表情识别方法 | |
| CN108961369A (zh) | 生成3d动画的方法和装置 | |
| CN106845335A (zh) | 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备 | |
| Zhang et al. | Facial expression retargeting from human to avatar made easy | |
| CN111028343B (zh) | 三维人脸模型的生成方法、装置、设备及介质 | |
| CN108805978A (zh) | 一种基于深度学习三维模型的自动生成装置和方法 | |
| EP3872766A2 (en) | Method and device for processing image, related electronic device and storage medium | |
| CN107578435A (zh) | 一种图像深度预测方法及装置 | |
| CN106919899A (zh) | 基于智能机器人的模仿人脸表情输出的方法和系统 | |
| CN110909680A (zh) | 人脸图像的表情识别方法、装置、电子设备及存储介质 | |
| CN106951095A (zh) | 基于三维扫描技术的虚拟现实互动方法以及系统 | |
| CN111062290A (zh) | 基于生成对抗网络中国书法风格转换模型构建方法及装置 | |
| CN111383642A (zh) | 基于神经网络的语音应答方法、存储介质以终端设备 | |
| Wu et al. | A novel haptic texture display based on image processing | |
| CN117032453A (zh) | 一种实现互识功能的虚拟现实交互系统 | |
| CN107590817A (zh) | 图像采集设备数据实时处理方法及装置、计算设备 | |
| CN112634441B (zh) | 一种3d人体模型生成方法、系统及相关设备 | |
| Beacco et al. | Automatic 3D avatar generation from a single RBG frontal image | |
| Noh et al. | Shape refinement and rigging of raw-scanned 3D volume by a user-specified skeleton | |
| CN110992476B (zh) | 胎儿三维超声图像的3d打印方法、存储介质及超声设备 | |
| Ju et al. | Architecture and Scene Restoration Using Multi-feature Fusion of Building Information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181113 |