CN108280885A - 构建全息偶像方法 - Google Patents

构建全息偶像方法 Download PDF

Info

Publication number
CN108280885A
CN108280885A CN201810017848.3A CN201810017848A CN108280885A CN 108280885 A CN108280885 A CN 108280885A CN 201810017848 A CN201810017848 A CN 201810017848A CN 108280885 A CN108280885 A CN 108280885A
Authority
CN
China
Prior art keywords
idol
holographic
hologram
photo
artificial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810017848.3A
Other languages
English (en)
Other versions
CN108280885B (zh
Inventor
武星
张南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810017848.3A priority Critical patent/CN108280885B/zh
Publication of CN108280885A publication Critical patent/CN108280885A/zh
Application granted granted Critical
Publication of CN108280885B publication Critical patent/CN108280885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Holo Graphy (AREA)

Abstract

本发明涉及一种构建全息偶像方法，本方法利用全息影像技术、语音识别技术、生成对抗网络等技术实现全息偶像，其可以以与多位偶像神似而又不是其中任何一位的形象显示在偶像面前、其说话风格和音色均可人为来设定。这种偶像对于“粉丝的回应对“粉丝”而言是可视的，这种可视是利用全息影像技术来实现的。利用该方法设计实现的全息偶像可以极大地满足“粉丝”对于“见到”自己的“完美”偶像和与偶像进行面对面的交流以及对偶像提问的愿望，可以极大地丰富人们的精神生活。

Description

构建全息偶像方法
技术领域
本发明主要涉及语音识别、深度学习、生成对抗网络等方面的技术，尤其涉及一种构建全息影像方法。
背景技术
随着社会的不断发展，人们的物质生活的追求逐渐淡化，甚至已经不再是首要追求。另外，当今社会各种娱乐活动和设施越来越丰富，更多的人在追求物质生活之余开始追求精神生活。
在追求精神生活的过程中很多人对于影视作品以及舞台表演的人员产生偶像崇拜感。事实上，很大一部分人会同时喜欢多位偶像，他们并不能明确自己具体喜欢谁，甚至希望能够将多位偶像的优点集中在一个人身上。基于上述问题，本发明构建一种可以将现实中多位偶像特点集中在一个人身上的人造偶像的全息偶像方法。
发明内容
本发明的目的在于针对现实存在的偶像崇拜问题，为满足“粉丝”对于多位偶像的崇拜以及希望结合他们身上特点于一体的心理，提出一种构建全息偶像方法，其中偶像的形象为使用全息影像技术所呈现的集多位偶像特点于一体的全息影像，其中全息影像的原型来自于由深度学习技术合成出来的“人造”偶像，全息偶像的说话风格则是认为设定的，其语音也是认为设定的。“粉丝”可以用语音向偶像提出问题，全息偶像可以24小时向“粉丝”回答问题。本发明的有益效果是可以极大地满足“粉丝”与偶像交流的目的，并且这种交流时可视的，与在社交平台上的交流是截然不同的；全息偶像的性能也较为稳定，对于提升现代人类对于精神生活的追求大有裨益。
为达到上述目的，本发明采用如下构思：
一种构建全息偶像方法，其特征在于具体操作步骤如下：
(1)全息偶像人造全息图
a.大量搜集有关多位偶像的照片，利用集中式文件存储系统进行存取；
b.将步骤a的照片作为RNN的输入，利用无监督学习抽取出各图片的特性；
c.利用步骤b抽取出的特性进行人造偶像的合成。
(2)利用全息影像显示人造偶像形
d.基于计算全息法，获得数字全息图；
e.将全息图进行数字化表示；
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步，利用本发明的方法，设计实现全息偶像，可极大满足粉丝对于见到自己的“完美”偶像和与偶像进行面对面的交流以及对偶像提问的愿望，可极大丰富人们的精神生活。
附图说明
附图1是本发明的全息影像显像原理。
附图2是CNN工作原理。
附图3是本发明的操作流程框图。
具体实施方式
实施例一：
参见图1、图2和图3，本构建全息偶像方法，其特征在于具体操作步骤如下：
(1)全息偶像人造全息图
a.大量搜集有关多位偶像的照片，利用集中式文件存储系统进行存取；
b.将步骤a的照片作为RNN的输入，利用无监督学习抽取出各图片的特性；
c.利用步骤b抽取出的特性进行人造偶像的合成。
(2)利用全息影像显示人造偶像形
d.基于计算全息法，获得数字全息图；
e.将全息图进行数字化表示；
实施例二：
本实施例与实施例一基本相同，特别之处如下：
1.所述步骤a大量搜集有关多位偶像的照片，利用集中式文件存储系统进行存
取；其中大量的照片可来源主要有以下几个途径：
1)网上的原始照片，即未经过软件处理过的图片；
2)自于偶像本人在微博中发布的照片；
3)影视作品中关于偶像的清晰照片；
2.所述步骤b将步骤a的照片作为CNN的输入，得到图片的卷积特性；该步骤是核心工作，将上一步骤的数据作为CNN训练模型的输入，通过大量数据的训练，得到多位偶像的卷积特征，用于后续步骤的图像合成。
3.所述步骤c利用步骤b得到的卷积特性与生成对抗网络进行图像的合成，该步骤特点在于利用CNN得到的卷积结果结合生成对抗网络进行人造偶像的合成显像，用于下一步全息影像显像。
4.所述步骤d基于计算全息法，获得数字全息图,其步骤涵盖抽样、计算、编码、生成图，主要利用计算机图形学和传统全息术，可记录实际上不存在的物体，即“人造偶像”。
5.所述步骤e将全息图进行数字化表示,可使用计算机进行全息图的计算。
实施例三：
(1)参见图1，由多位偶像共同合成出同时具有多位偶像特点于一体的人造偶像，其操作步骤如下：
a.大量搜集有关多位偶像的照片，利用集中式文件存储系统进行存取；
b.将步骤a的照片作为CNN的输入，利用其学习出图片的卷积特征；
c.利用生成对抗网络进行人造偶像的合成。
(2)参见图1，利用全息影像显示人造偶像形象，其操作步骤如下：
d.基于计算全息法，获得数字全息图；
e.将全息图进行数字化表示；
本发明实施例二的全息图数字化表示过程如下：
将全息干板所在平面设为x,y平面，物光的菲涅尔衍射分布为：
物光在夫琅禾费衍射区的场分布为：
将菲涅尔衍射公式和夫琅禾费衍射公式进行傅里叶变换，如下：
菲涅尔衍射：
夫琅禾费衍射：
由全息光强分布公式：
可以得出全息图的衍射可以表示为傅里叶变换形式，因此，下面使用傅里叶变换理论进行全息图的相关计算。
由CCD接受全息图并进行数字离散化，形成全息图。CCD记录的干涉图为CCD平面上干涉分布函数与其窗口函数的乘积：
Is＝Iw(x，y)
CCD窗口函数为：
w(x，y)＝w(x)w(y)
其中
将以上三式联立可得
其中研究目标为距离全息干板为z0位于x0,y0平面内的物体，物光复振幅为U0(x0,y0),α,β介于[0,1]表示像素填充因子。
实施例一中的长短时间记忆神经网络(LSTM)示意图如图3所示。其计算过程如下所示：
前向推算：
输入门：
结合图3可以看到t时刻外面的输入，t-1时刻隐含单元的输出，以及t-1时刻单元的输出。
遗忘门：
如上述两行公示所示：遗忘门的输入来自于t时刻外面的输入，t-1时刻隐含单元的输出。以及来自t-1时刻单元的输出；
单元:
单元的输入是：t时刻遗忘门的输出*t-1时刻单元的输出+t时刻单元的输出+t时刻输入门的输出*激活函数计算(t时刻外面的输入+t-1时刻隐含单元的输出)；
输出门:
输出门的输入是：t时刻外面的输入，t-1时刻隐含单元的输出以及t时刻单元的输出；
单元输出:
模块的输出是t时刻输出门的输出*t时刻单元的输出。
向后推算：
单元输出:
输出门：
单元:

Claims (6)

1.一种构建全息偶像方法，其特征在于具体操作步骤如下：
（1）全息偶像人造全息图
a.大量搜集有关多位偶像的照片，利用集中式文件存储系统进行存取；
b.将步骤a的照片作为RNN的输入，利用无监督学习抽取出各图片的特性；
c.利用步骤b抽取出的特性进行人造偶像的合成；
（2）利用全息影像显示人造偶像形象
d.基于计算全息法，获得数字全息图；
e.将全息图进行数字化表示。
2.根据权利要求1所述的构建全息偶像方法，其特征在于：所述步骤a大量搜集有关多位偶像的照片，利用集中式文件存储系统进行存取；其中大量的照片可来源主要有以下几个途径：
1)网上的原始照片，即未经过软件处理过的图片；
2)自于偶像本人在微博中发布的照片；
3)影视作品中关于偶像的清晰照片。
3.根据权利要求1所述的构建全息偶像方法，其特征在于：所述步骤b将步骤a的照片作为CNN的输入，得到图片的卷积特性；该步骤是核心工作，将上一步骤的数据作为CNN训练模型的输入，通过大量数据的训练，得到多位偶像的卷积特征，用于后续步骤的图像合成。
4.根据权利要求1所述的构建全息偶像方法，其特征在于：所述步骤c利用步骤b得到的卷积特性与生成对抗网络进行图像的合成，该步骤特点在于利用CNN得到的卷积结果结合生成对抗网络进行人造偶像的合成显像，用于下一步全息影像显像。
5.根据权利要求1所述的构建全息偶像方法，其特征在于：所述步骤d基于计算全息法，获得数字全息图,其步骤涵盖抽样、计算、编码、生成图，主要利用计算机图形学和传统全息术，可记录实际上不存在的物体，即“人造偶像”。
6.根据权利要求1所述的构建全息偶像方法，其特征在于：所述步骤e将全息图进行数字化表示,可使用计算机进行全息图的计算。
CN201810017848.3A 2018-01-09 2018-01-09 构建全息偶像方法 Active CN108280885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810017848.3A CN108280885B (zh) 2018-01-09 2018-01-09 构建全息偶像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810017848.3A CN108280885B (zh) 2018-01-09 2018-01-09 构建全息偶像方法

Publications (2)

Publication Number Publication Date
CN108280885A true CN108280885A (zh) 2018-07-13
CN108280885B CN108280885B (zh) 2021-12-03

Family

ID=62803150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810017848.3A Active CN108280885B (zh) 2018-01-09 2018-01-09 构建全息偶像方法

Country Status (1)

Country Link
CN (1) CN108280885B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447906A (zh) * 2018-11-08 2019-03-08 北京印刷学院 一种基于生成对抗网络的图片合成方法
CN111679566A (zh) * 2020-05-22 2020-09-18 清华大学 基于全息通讯系统的三维远程施工方法及其实现装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040246604A1 (en) * 2003-06-04 2004-12-09 Eastman Kodak Company High resolution image formation from a multiple aperture imaging system
CN105467807A (zh) * 2015-11-19 2016-04-06 西安交通大学 面向全息展示的多通道人机交互工效测评系统及测评方法
CN105929962A (zh) * 2016-05-06 2016-09-07 四川大学 一种360°全息实时交互方法
CN106462103A (zh) * 2016-07-07 2017-02-22 深圳狗尾草智能科技有限公司 一种将三维动画转换为全息动画界面的成像方法及系统
CN107248185A (zh) * 2017-05-31 2017-10-13 珠海金山网络游戏科技有限公司 一种虚拟仿真偶像实时直播方法及系统
CN107247750A (zh) * 2017-05-26 2017-10-13 深圳千尘计算机技术有限公司 人工智能交互方法及系统
CN107330954A (zh) * 2017-07-14 2017-11-07 深圳市唯特视科技有限公司 一种基于衰减网络通过滑动属性操纵图像的方法
CN107341542A (zh) * 2016-04-29 2017-11-10 北京中科寒武纪科技有限公司 用于执行循环神经网络和lstm运算的装置和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040246604A1 (en) * 2003-06-04 2004-12-09 Eastman Kodak Company High resolution image formation from a multiple aperture imaging system
CN105467807A (zh) * 2015-11-19 2016-04-06 西安交通大学 面向全息展示的多通道人机交互工效测评系统及测评方法
CN107341542A (zh) * 2016-04-29 2017-11-10 北京中科寒武纪科技有限公司 用于执行循环神经网络和lstm运算的装置和方法
CN105929962A (zh) * 2016-05-06 2016-09-07 四川大学 一种360°全息实时交互方法
CN106462103A (zh) * 2016-07-07 2017-02-22 深圳狗尾草智能科技有限公司 一种将三维动画转换为全息动画界面的成像方法及系统
CN107247750A (zh) * 2017-05-26 2017-10-13 深圳千尘计算机技术有限公司 人工智能交互方法及系统
CN107248185A (zh) * 2017-05-31 2017-10-13 珠海金山网络游戏科技有限公司 一种虚拟仿真偶像实时直播方法及系统
CN107330954A (zh) * 2017-07-14 2017-11-07 深圳市唯特视科技有限公司 一种基于衰减网络通过滑动属性操纵图像的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴亮: ""面向全息图数据压缩的小波神经网络算法研究"", 《中国优秀硕士学位论文全文数据库（电子期刊）基础科学辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447906A (zh) * 2018-11-08 2019-03-08 北京印刷学院 一种基于生成对抗网络的图片合成方法
CN109447906B (zh) * 2018-11-08 2023-07-11 北京印刷学院 一种基于生成对抗网络的图片合成方法
CN111679566A (zh) * 2020-05-22 2020-09-18 清华大学 基于全息通讯系统的三维远程施工方法及其实现装置
CN111679566B (zh) * 2020-05-22 2022-08-12 清华大学 基于全息通讯系统的三维远程施工方法及其实现装置

Also Published As

Publication number Publication date
CN108280885B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Ji et al. Eamm: One-shot emotional talking face via audio-based emotion-aware motion model
US11087521B1 (en) Systems and methods for rendering avatars with deep appearance models
Chen et al. Example-based composite sketching of human portraits
CN101324961B (zh) 计算机虚拟世界中人脸部三维贴图方法
Yu et al. Multimodal inputs driven talking face generation with spatial–temporal dependency
Nam et al. End-to-end time-lapse video synthesis from a single outdoor image
Wang et al. Image splicing detection based on convolutional neural network with weight combination strategy
CN108280885A (zh) 构建全息偶像方法
Kim et al. Exposing fake faces through deep neural networks combining content and trace feature extractors
DE102021109050A1 (de) Durch ein neuronales generative adversarial netzwerk unterstützte videokompression und -übertragung
CN113065506B (zh) 一种人体姿态识别方法及系统
Luo et al. Sketch-based anime hairstyle editing with generative inpainting
Le et al. Structure-aware video style transfer with map art
Wang et al. Free-view face relighting using a hybrid parametric neural model on a small-olat dataset
Chen et al. Parallel pencil drawing stylization via structure-aware optimization
Xu et al. FaceChain-ImagineID: Freely Crafting High-Fidelity Diverse Talking Faces from Disentangled Audio
Vasiliu et al. Coherent rendering of virtual smile previews with fast neural style transfer
CN107430378A (zh) 将全息效果应用于打印件
Amirshahi et al. CNN feature similarity: Paintings are more self-similar at all levels
Zhang et al. Deep Learning Technology in Film and Television Post-Production
Bagwari et al. An edge filter based approach of neural style transfer to the image stylization
Li et al. Face replacement and image animation system in cultural experience
Guo Researches Advanced in Generative Adversarial Networks and Their Applications for Image-Generating NFT
Rehman et al. Investigation and Morphing Attack Detection Techniques in Multimedia: A Detail Review
Negara et al. Identification of Flowers as Balinese Hindu Ritual Offerings Using Convolutional Neural Network (CNN)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant