CN103873768A - 3d数码形象输出装置及方法 - Google Patents

3d数码形象输出装置及方法 Download PDF

Info

Publication number
CN103873768A
CN103873768A CN201310684760.4A CN201310684760A CN103873768A CN 103873768 A CN103873768 A CN 103873768A CN 201310684760 A CN201310684760 A CN 201310684760A CN 103873768 A CN103873768 A CN 103873768A
Authority
CN
China
Prior art keywords
digital
vivid
model
output device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310684760.4A
Other languages
English (en)
Other versions
CN103873768B (zh
Inventor
金甲基
黄本佑
尹升旭
林成宰
田惠玲
崔珍晟
具本琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN103873768A publication Critical patent/CN103873768A/zh
Application granted granted Critical
Publication of CN103873768B publication Critical patent/CN103873768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects

Abstract

提出一种3D数码形象(3D Avatar)输出装置及方法,3D数码形象输出装置作为自动售货机形式的3D数码形象输出装置,其包括:输入信息接收单元,从用户接收包含有用户信息、3D数码形象主题、3D数码形象输出形式中至少一个的输入信息;复原模型生成单元,通过所述3D数码形象输出装置中包含的相机来获取用户的图像,生成对应于所述图像的脸部区域的复原模型;固有模型生成单元,基于所述输入信息及所述复原模型来生成用户的固有模型;和3D数码形象输出单元,生成对应于所述固有模型的3D数码形象,并根据所述3D数码形象的输出形式来输出所述3D数码形象。

Description

3D数码形象输出装置及方法
技术领域
本发明涉及一种3D数码形象(3D Avatar)输出装置及方法。特别是,涉及一种利用自动售货机形式的3D数码形象输出装置来获取用户的图像,并基于获取的图像根据用户所需的主题和输入形式来生成3D数码形象的3D数码形象输出装置及方法。
背景技术
现有的3D数码形象生成装置通过相机获取用户的图像,从而基于获取的图像来生成用户的3D数码形象。但是,3D数码形象生成装置在生成3D数码形象时较难改变所生成的3D数码形象的外形。此外,3D数码形象生成装置在生成3D数码形象时需要很长时间。
此外,现有的粘纸照片摄影装置利用2D来输出照片。并且粘纸照片摄影装置以自动售货机形式来输出照片。在这种情况下,虽然粘纸照片摄影装置输出2D照片的时间较短,但是输出的2D照片的使用度较低。
因此,需要一种可利用自动售货机形式的界面来将3D数码形象的生成时间最小化并可对3D数码形象的外形进行多种改变的3D数码形象生成装置。
发明内容
技术课题
本发明提供一种3D数码形象输出装置及方法,由于利用自动售货机形式的3D数码形象输出装置来输出3D数码形象,因此,无需很多时间便可简便地输出用户的3D数码形象。
本发明提供一种3D数码形象输出装置及方法,由于利用自动售货机形式的3D数码形象输出装置来将用户所需的多种主题适用于3D数码形象中,因此,可实时地再现用户所需的主题。
本发明提供一种3D数码形象输出装置及方法,由于利用自动售货机形式的3D数码形象输出装置,根据用户所需的3D数码形象输出形式来输出3D数码形象,因此,可提供用户所需的输出物。
技术方案
根据本发明的一个实施例,提供一种自动售货机形式的3D数码形象输出装置,所述3D数码形象输出装置可包括:输入信息接收单元,从用户接收包含有用户信息、3D数码形象主题、3D数码形象输出形式中的至少一个输入信息;图像获取单元,通过所述3D数码形象输出装置中包含的相机来获取用户的图像;复原模型生成单元,提取所述获取的图像的脸部区域来生成复原模型;固有模型生成单元,基于所述输入信息及所述复原模型来生成用户的固有模型;3D数码形象输出单元,生成对应于所述固有模型的3D数码形象,并根据所述3D数码形象的输出形式来输出所述3D数码形象。
根据本发明的一个实施例,输入信息接收单元,可接收有关所述用户的性别、年龄、肤色中的至少一个输入信息。
根据本发明的一个实施例,输入信息接收单元,可接收所述3D数码形象输出装置中所提供的预先设定的3D数码形象主题。
根据本发明的一个实施例,输入信息接收单元,可从用户接收全息图、3D图形(3D figure)、影像剪辑(movie clip)、3D文件格式数据中的至少一个3D数码形象输出形式。
根据本发明的一个实施例,复原模型生成单元,可利用背景建模或3D脸部模型信息来提取所述图像的脸部区域。
根据本发明的一个实施例,固有模型生成单元,可对应所述3D数码形象主题,来处理预先设定的标准模型、3D背景、附件、运作动画中的至少一个服务场景。
根据本发明的一个实施例,固有模型生成单元,可在所述标准模型的脸部附上所述复原模型的脸部。
根据本发明的一个实施例,固有模型生成单元,可利用所述复原模型的纹理信息与3D几何信息来提取所述复原模型的特征点。
根据本发明的一个实施例,固有模型生成单元,可对应所述3D数码形象主题,来提取有关输出至预先设定的标准模型的纹理图位置的所述复原模型的纹理信息。
根据本发明的一个实施例,固有模型生成单元,可利用所述复原模型的特征点和所述复原模型的纹理信息,来生成所述固有模型。
根据本发明的一个实施例,提供一种自动售货机形式的3D数码形象输出方法,所述3D数码形象输出方法包括以下步骤:从用户接收包含有用户信息、3D数码形象主题、3D数码形象输出形式中的至少一个输入信息;通过所述3D数码形象输出装置中包含的相机来获取用户的图像;提取所述获取的图像的脸部区域来生成复原模型;基于所述输入信息及所述复原模型来生成用户的固有模型;生成对应于所述固有模型的3D数码形象,并根据所述3D数码形象的输出形式来输出所述3D数码形象。
根据本发明的一个实施例,其中,接收输入信息的步骤,是接收有关所述用户的性别、年龄、肤色中的至少一个输入信息。
根据本发明的一个实施例,其中,接收输入信息的步骤,可接收所述3D数码形象输出装置中所提供的预先设定的3D数码形象主题。
根据本发明的一个实施例,其中,接收输入信息的步骤,可从用户接收全息图、3D图形、影像剪辑、3D文件格式数据中的至少一个3D数码形象输出形式。
根据本发明的一个实施例,其中,生成复原模型的步骤,可利用背景建模或3D脸部模型信息来提取所述图像的脸部区域。
根据本发明的一个实施例,其中,生成固有模型的步骤,可对应所述3D数码形象主题,来处理预先设定的标准模型、3D背景、附件、运作动画中的至少一个服务场景。
根据本发明的一个实施例,其中,生成固有模型的步骤,可在所述标准模型的脸部附上所述复原模型的脸部。
根据本发明的一个实施例,其中,生成固有模型的步骤,可利用所述复原模型的纹理信息与3D几何信息来提取所述复原模型的特征点。
根据本发明的一个实施例,其中,生成固有模型的步骤,可提取有关输出至预先设定的标准模型的纹理图位置的所述复原模型的纹理信息。
根据本发明的一个实施例,其中,生成固有模型的步骤,可利用所述复原模型的特征点和所述复原模型的纹理信息,来生成所述固有模型。
技术效果
根据本发明的一个实施例的3D数码形象输出装置及方法,利用自动售货机形式的3D数码形象输出装置来输出3D数码形象,因此,无需很多时间便可简便地输出用户的3D数码形象。
根据本发明的一个实施例的3D数码形象输出装置及方法,利用自动售货机形式的3D数码形象输出装置来将用户所需的多种主题适用于3D数码形象中,因此,可实时地再现用户所需的主题。
根据本发明的一个实施例的3D数码形象输出装置及方法,利用自动售货机形式的3D数码形象输出装置,根据用户所需的3D数码形象输出形式来输出3D数码形象,因此,可提供用户所需的输出物。
附图说明
图1是示出根据一个实施例的3D数码形象输出装置的示图。
图2是示出根据一个实施例的3D数码形象输出装置的细部结构的示图。
图3是示出根据一个实施例的3D数码形象输出装置的运作流程图。
图4是示出根据一个实施例的3D数码形象输出装置的性能构成图。
图5是示出根据一个实施例的3D数码形象输出方法的示图。
具体实施方式
以下,参照附图对本发明的实施例进行详细地说明。
图1是用于说明根据一个实施例的3D数码形象输出装置的示图。
参照图1,3D数码形象输出装置102可以是自动售货机形式的装置。也就是说,3D数码形象输出装置102可以是通过自动售货机形式的装置来生成用户的3D数码形象的装置。3D数码形象输出装置102利用自动售货机形式的3D数码形象输出装置来输出3D数码形象,因此,无需很多时间便可简便地输出用户的3D数码形象。
3D数码形象输出装置102可从用户101接收与生成3D数码形象相关的输入信息。在这种情况下,用户101触摸自动售货机形式的3D数码形象输出装置102,从而可输入信息。
输入信息可以是用户101的用户信息、3D数码形象主题、3D数码形象输出形式。用户信息可包括用户的性别、年龄等基本信息和皮肤颜色信息等。3D数码形象主题可以是3D数码形象输出装置102中所提供的多种主题。通过一个例子,3D数码形象主题可表示被适用至3D数码形象的背景和环境的意思。也就是说,3D数码形象输出装置102可提供3D数码形象主题中的“宇宙主题”。此外,3D数码形象输出装置102可对应“宇宙主题”来向用户提供以“宇宙空间”为背景的穿“宇宙服”的3D数码形象。
3D数码形象主题形式可以是自动售货机中用户所需的形式的输出结果。
此外,3D数码形象输出装置102可通过3D数码形象输出装置102中包含的相机来获取用户的图像。通过一个例子,3D数码形象输出装置102可利用摄像头画质以上的相机及深度相机来获取用户的图像。此外,3D数码形象输出装置102可包括两个以上的相机。此外,3D数码形象输出装置102可包括一个以上的深度相机。3D数码形象输出装置102可利用所获取的用户图像来生成对应于图像的脸部区域的复原模型。复原模型可以是指从用户的图像提取用户的外形。也就是说,复原模型可包括用户的眼、鼻、嘴等脸部构造和痣或伤痕的位置等。
3D数码形象输出装置102可生成基于用户信息、3D数码形象主题、3D数码形象输出形式的输入信息和复原模型的用户的固有模型。固有模型可以是根据复原模型的外形及复原模型的纹理信息和特征点所生成的用户的最终模型。3D数码形象输出装置102可利用生成的固有模型来生成3D数码形象。此外,3D数码形象输出装置102可根据用户所需的3D数码形象的输出形式来输出所生成的3D数码形象。
也就是说,3D数码形象输出装置102可根据全息图103、3D图形104、影像剪辑105、3D文件格式数据106等3D数码形象输出形式来生成用户的3D数码形象。在这种情况下,3D文件格式数据106是在用户终端中重复的数据。通过一个例子,3D文件格式数据106可以是在iPAD、台式计算机、平板电脑等用户终端中重复的数据。
由于3D数码形象输出装置102利用自动售货机形式的3D数码形象输出装置将用户所需的多种主题适用于3D数码形象中,因此,可实时地再现用户所需的主题。此外,用于3D数码形象输出装置102利用自动售货机形式的3D数码形象输出装置,根据用户所需的3D数码形象输出形式来输出3D数码形象,因此,可提供用户所需的输出物。
图2是示出根据一个实施例的3D数码形象输出装置的细部结构的示图。
参照图2,3D数码形象输出装置201可包括输入信息接收单元202、图像获取单元203、复原模型生成单元204、固有模型生成单元205、3D数码形象输出单元206。
输入信息接收单元202可从用户接收包含有用户信息、3D数码形象主题、3D数码形象输出形式中的至少一个输入信息。用户信息可包括用户的性别、年龄等基本信息和皮肤色信息等。用户信息可用来生成与用户的外形相似的3D数码形象。此外,用户信息作为用于生成3D数码形象的基本信息,可用于服务控制、注册控制。
3D数码形象主题可以是3D数码形象输出装置201中预先设定的主题。此外,3D数码形象主题包括用户可选择的多种主题。3D数码形象主题可经用户被选择。此外,3D数码形象主题是对应于用户所需的主题用来生成3D数码形象的基本信息,因此,可用于服务控制。
3D数码形象输出形式可以是自动售货机形式的3D数码形象输出装置201中用户所需形式的输出结果。在这种情况下,可多次选择3D数码形象输出形式。3D数码形象输出形式可包括全息图、3D图形、影像剪辑、3D文件格式数据等3D数码形象输出形式。
此外,输入信息接收单元202可按顺序地接收包含有用户信息、3D数码形象主题、3D数码形象输出形式中的至少一个输入信息。也就是说,输入信息接收单元202可根据自动售货机形式的3D数码形象输出装置201的运作流程,按顺序地接收输入信息。与此相关的细部事项将参照图3来进行详细地说明。
图像获取单元203可通过3D数码形象输出装置201中包含的相机来获取用户的图像。图像获取单元203可利用2个以上的摄像头画质的相机、1个深度相机,来获取用户的图像。在这种情况下,相机并不局限于所记载的个数,其也可以利用多个相机来获取用户的图像。获取的图像可作为生成3D数码形象的基本材料被使用。在这种情况下,图像获取单元203可获取2个以上的2D图像和对应于3D深度图(3D depth map)、深度图(depth map)的2D图像。
复原模型生成单元204可生成对应于获取的图像的脸部区域的复原模型。也就是说,复原模型生成单元204可从获得的图像提取图像的脸部区域。通过一个例子,当从立体相机中获取用于提取脸部区域的图像时,复原模型生成单元204可连续进行经背景建模的前景提取和皮肤提取算法,因此,可提取脸部区域。另外一个例子,当从深度相机中获取用于提取脸部区域的图像时,复原模型生成单元204可利用3D脸部模型信息,通过输入的深度(depth)信息和纹理(texture)信息来提取脸部区域。
复原模型生成单元204可生成对应于提取的图像的脸部区域的复原模型。此外,复原模型生成单元204可利用背景建模或3D脸部模型信息,来生成对应于图像的脸部区域的复原模型。
固有模型生成单元205可基于输入信息及复原模型来生成用户的固有模型。也就是说,固有模型生成单元205可利用从输入信息接收单元中所接收的用户信息和3D数码形象主题以及复原模型。固有模型生成单元205可按用户单位来处理服务场景。用户单位可表示使用自动售货机形式的3D数码形象输出装置201的互不相同的用户。也就是说,用户单位可表示利用3D数码形象输出装置201的各用户。
此外,固有模型生成单元205可处理对应于3D数码形象主题的预先设定的标准模型、3D背景、附件、运作动画中的至少一个服务场景。标准模型可根据3D数码形象主题包括共享的标准模型。此外,标准模型可以是3D数码形象输出装置201中预先设定的标准模型。
固有模型生成单元205可在标准模型的脸部附上复原模型的脸部。固有模型生成单元205可利用已设定的3D背景和附件来渲染3D场面。在这种情况下,固有模型生成单元205可从3D场面渲染成特定视角的两个图像。
固有模型生成单元205可包括预先设定主题时所确定的标准模型的运作动画。此外,由于固有模型生成单元205可利用运作动画来渲染成图像,因此,可编码成视频。此外,固有模型生成单元205可基于用户的选择,来控制整个3D数码形象输出装置201的服务场景。
固有模型生成单元205可利用复原模型的纹理信息和3D几何信息来提取复原模型的特征点。复原模型的纹理信息可以是对应于标准模型中所定义的特征点的复原模型的纹理信息。此外,固有模型生成单元205可利用提取的固有模型的特征点来反映成标准模型的3D几何信息。固有模型生成单元205可提取标准模型的纹理信息相应位置中所输入的复原模型的纹理信息。此外,固有模型生成单元205可使提取的复原模型的纹理信息与标准模型的纹理信息相一致。也就是说,固有模型生成单元205可使复原模型的纹理信息与标准模型的纹理信息的纹理色彩相一致。
固有模型生成单元205可利用复原模型的特征点和纹理信息来生成固有模型。通过一个例子,当使用立体相机来生成固有模型时,固有模型生成单元205可利用纹理信息和3D几何信息来提取特征点的5个点。此外,由于固有模型生成单元205利用提取的5个点来将标准模型转为固有模型,因此,可生成固有模型。另外一个例子,当使用深度相机来生成固有模型时,固有模型生成单元205可利用在提取图像的脸部区域过程中所获取的特征点来生成固有模型。
在这种情况下,3D数码形象输出装置201可利用生成的固有模型来适用至多种主题中。也就是说,由于3D数码形象输出装置201在各种主题中使用相同的标准模型,因此,可将最初生成的固有模型方便地适用至所有的主题中而不需要其他程序。
3D数码形象输出单元206可对应于生成的固有模型来生成用户的3D数码形象。此外,3D数码形象输出单元206可根据3D数码形象输出形式来输出生成的3D数码形象。此外,3D数码形象输出单元206可根据3D数码形象输出形式来输出多个输出物。输出物可以是输出3D数码形象的输出效果。通过一个例子,3D数码形象输出单元206可输出全息图、3D图形、影像剪辑、3D文件格式数据等3D数码形象。
由于3D数码形象输出装置201为自动售货机形式的装置,因此,用户可通过较容易操作的触摸方式来进行使用。此外,由于3D数码形象输出装置201使用预先设定的主题的自动化场景,因此,可将生成3D数码形象的所需时间最小化。也就是说,由于3D数码形象输出装置201使用触摸方式的界面和自动化场景,因此,可缩短3D数码形象的输出时间。
此外,3D数码形象输出装置201可利用最初生成的用户的3D数码形象来输出多种形式的输出物。此外,3D数码形象输出装置201可通过3D数码形象输出装置201中预先设定的多种主题来输出多种形式的输出物。
图3是用于说明根据一个实施例的3D数码形象输出装置的运作流程图。
参照图3,3D数码形象输出装置301可包括以下运作流程:用户信息输入302、用户主题选择303、用户图像获取304、用户输出形式选择305、个人数码形象生成306。
用户信息输入302可对应于图2的输入信息接收单元202。通过用户信息输入302可接收用户的输入信息。在这种情况下,输入信息可包括用户的性别、连接、大概的皮肤色等信息。此外,用户信息输入302可包括用户为使用自动售货机形式的3D数码形象输出装置301所输入的信息。通过一个例子,由于3D数码形象输出装置301从用户接收用户的输入信息,因此,可进行用于生成3D数码形象的准备步骤。也就是说,3D数码形象输出装置301接收到输入信息,从而用于生成3D数码形象的3D数码形象输出装置301的运作流程被启动。
用户主题选择303可对应于图2的输入信息接收单元202。用户主题选择303可包括自动售货机形式的3D数码形象输出装置301中所提供的多种主题。此外,通过用户主题选择303用户可选择所提供的主题。在这种情况下,用户可选择用户所需的主题。
用户图像获取304可对应于图2的图像获取单元203。通过用户图像获取304利用3D数码形象输出装置301中所包含的相机可获取用户的图像。具体地来说,通过用户图像获取304可利用摄像头画质以上的相机及深度相机来获取用户的图像。此外,获取的用户的图像可作为生成3D数码形象的基本材料被使用。
用户输出形式选择305可对应于图2的输入信息接收单元202。通过用户输出形式选择305用户可选择用户所需的3D数码形象输出形式。在这种情况下,用户输出形式选择305可根据用户的选择多次进行。
个人数码形象生成306可对应于图2的复原模型生成单元204、固有模型生成单元205、和3D数码形象输出单元206。个人数码形象生成306通过服务控制、注册控制、重建控制过程来生成个人数码形象。此外,个人数码形象生成306可基于用户主题选择303和用户图像获取304来生成个人数码形象。也就是说,个人数码形象生成306可通过输入的图像来生成3D数码形象。通过一个例子,个人数码形象生成306可通过2个以上的2D图像和对应于3D深度图(3D depth map)、深度图(depth map)的2D图像来生成3D个人数码形象。
此外,个人数码形象生成306可根据用户选择的用户输出形式选择305通过全息图307、3D图形308、影像剪辑309、3D文件格式数据等输出形式来生成3D数码形象。在此,输出形式并不局限于以上所记载的输出形式,其也可以是通过多种输出形式来输出3D数码形象。
图4是用于说明根据一个实施例的3D数码形象输出装置的性能构成图。
参照图4,3D数码形象输出装置401可包括以下性能:用户触摸输入402、图像捕获403、服务控制404、注册控制405、复原控制406。
用户触摸输入402可对应于图3的用户信息输入302、用户主题选择303、用户输出形式选择305。也就是说,用户触摸输入402是自动售货机形式的3D数码形象输出装置401中用于处理用户所输入的输入信息的性能
用户触摸输入402可处理用户所输入的输入信息。用户触摸输入402可接收包含有3D数码形象主题、3D数码形象输出形式中的至少一个输入信息。此外,用户触摸输入402可按顺序地接收输入信息。
图像捕获403可对应于图3的用户图像获取304。图像捕获403可通过3D数码形象输出装置401中所包含的相机来捕获图像。在这种情况下,图像捕获403可获取2个以上的2D图像和对应于3D深度图(3D depth map)、深度图(depth map)的2D图像。图像捕获403可为用于获取用户的图像的性能。
服务控制404可对应于图3的个人数码形象生成306。服务控制404可以是以用户为单位处理服务场景的性能。此外,服务控制404可包括:3D打印机输出(3D printer exporting)性能、透镜打印机输出(lenticular printerexporting)性能、用户终端输出(iPAD exporting)性能、剪辑输出(clip exporting)性能、场景处理(scenario process)性能。
特别是,3D打印机输出性能可包括3D打印机可处理的STL、FBX等格式。此外,3D打印机输出性能为了快速进行3D打印可只打印复原模型的脸部,从而可附至预先制作的标准主题中。在这种情况下,标准主题可包括预先设定的脸部和身体。
透镜打印机输出性能可存储通过透镜打印机输入的MPO格式。此外,透镜打印机输出性能可利用预先制作的3D背景和附件,从3D场面渲染成特定视角的两个图像。
用户终端输出性能可包括以固有模型预先制成的状态的OBJ格式。
剪辑输出性能将根据各主题所决定的模型的运作动画分别渲染成图像,并编码成视频。
场景处理性能可控制3D数码形象输出装置401中所包含的整个场景。此外,场景处理性能可基于用户的选择来控制整个3D数码形象输出装置401的服务场景。
注册控制405可对应于个人数码形象生成306。注册控制405可利用复原模型和标准模型来生成固有模型。复原模型是对应获取的图像的脸部区域被复原的结果,且标准模型是将参照的3D模型。此外,注册控制405可通过从复原模型转为固有模型的过程来生成固有模型。生成的固有模型可具动画性能。此外,固有模型的外形反映出复原模型,具有与用户相似的外形。此外,标准模型可以是自动售货机形式的3D数码形象输出装置中所提供的按各主题所确定的共享标准模型。
此外,注册控制405可包括几何注册(geometry registration)性能和纹理处理(texture processing)性能。几何注册性能可利用复原模型的纹理信息和3D几何信息来提取复原模型的特征点。此外,复原模型的纹理信息可以是对应于标准模型中所定义的特征点的纹理信息。几何注册性能可将提取的复原模型的特征点反映成标准模型的3D几何信息。
纹理处理性能可提取有关输出至标准模型的纹理图位置的复原模型的纹理信息。此外,纹理处理性能可使提取的复原模型的纹理信息与标准模型的纹理信息相一致。也就是说,纹理处理性能可使复原模型的纹理信息与标准模型的纹理信息的纹理色彩相一致。
复原控制406可对应于图3的个人数码形象生成。复原控制406可以是通过输入的图像来生成3D复原外形的性能。复原控制406可利用几何信息和纹理信息来生成3D复原外形。
复原控制406可包括校正(rectification)性能、分割(segmentation)性能、立体重建(stereo reconstruction)性能、视图重建(view reconstruction)性能、表面光顺(surface smoothing)性能。此外,复原控制406可包括深度后处理(depthpost-processing)性能、表面后处理(surface post-processing)性能。
当从立体相机中输入图像时,复原控制406可利用校正性能、分割性能、立体重建性能来生成复原模型。此外,当从深度相机中输入深度信息和纹理图像时,复原控制406可利用深度后处理性能和表面后处理性能来生成复原模型。
图5是用于说明根据一个实施例的3D数码形象输出方法的示图。
在步骤501中,3D数码形象输出装置可从用户接收输入信息。输入信息可包括用户信息、3D数码形象输出形式中的至少一个。用户信息可包括用户的性别、年龄等基本信息和皮肤颜色信息等。3D数码形象主题可包括3D数码形象输出装置中预先设定的多种主题。3D数码形象输出形式可以是自动售货机形式的3D数码形象输出装置中用户所需的形式的输出结果。此外,可多次选择3D数码形象输出形式。
在步骤502中,3D数码形象输出装置可获取用户的图像来生成对应于图像的脸部区域的复原模型。3D数码形象输出装置可利用3D数码形象输出装置中包含的2个以上的立体相机和1个深度相机来获取用户的图像。
在步骤503中,3D数码形象输出装置可提取获取的图像的脸部区域。在这种情况下,3D数码形象输出装置可利用背景建模和3D脸部模型信息来提取图像的脸部区域。当通过立体相机获取图像时,3D数码形象输出装置可通过背景建模来提取图像的脸部区域。此外,当从深度相机获取图像时,可通过深度信息和纹理信息来提取图像的脸部区域。此外,可对应所提取的图像的脸部区域来生成复原模型。复原模型可以是3D复原的结果。
在步骤504中,3D数码形象输出装置可基于输入信息的3D数码形象主题和复原模型来生成用户的固有模型。此外,3D数码形象输出装置能够以用户为单位处理服务场景。服务场景可包括对应于3D数码形象主题的预先设定的标准模型、3D背景、附件、运作动画中的至少一个。此外,3D数码形象输出装置可利用复原模型的纹理信息和3D几何信息来提取复原模型的特征点。3D数码形象输出装置可利用提取的复原模型的特征点来反映成标准模型的3D几何信息。3D数码形象输出装置可提取标准模型的纹理信息相应位置中所输入的复原模型的纹理信息,使其与标准模型的纹理信息的纹理色彩相一致。
在步骤505中,3D数码形象输出装置可对应生成的固有模型来生成用户的3D数码形象。此外,3D数码形象输出装置可根据生成的3D数码形象输出形式来输出3D数码形象。此外,3D数码形象输出装置可根据用户的3D数码形象输出形式来输出以全息图、3D图形、影像剪辑、3D文件格式数据等生成的3D数码形象。
由于3D数码形象输出装置为自动售货机形式,因此,可根据输出形式及主题事先设定3D数码形象的身体和附件等。此外,由于3D数码形象输出装置输出复原模型的脸部,因此,生成3D数码形象的所需时间可最小化。
根据实施例的方法,其可通过多种计算机手段以可执行的程序指令形态被记录在计算机可读媒体中。该计算机可读媒体可包括独立的或结合的程序指令、数据文件、数据结构等。该媒体中记录的程序指令可为了本发明被专门设计和创建,或为计算机软件技术人员熟知而应用。
如上所示,本发明虽然已参照有限的实施例和附图进行了说明,但是本发明并不局限于所述实施例,在本发明所属领域中具备通常知识的人均可以从此记载中进行各种修改和变形。
因此,本发明的范围不受说明的实施例的局限或定义,而是由后附的权利要求范围以及权利要求范围等同内容定义。
附图标号说明
101:用户
102:3D数码形象输出装置
103:全息图
104:3D图形
105:影像剪辑
106:3D文件格式数据

Claims (20)

1.一种自动售货机形式的3D数码形象输出装置,所述3D数码形象输出装置包括:
输入信息接收单元,从用户接收包含有用户信息、3D数码形象主题、3D数码形象输出形式中的至少一个输入信息;
图像获取单元,通过所述3D数码形象输出装置中包含的相机来获取用户的图像;
复原模型生成单元,提取所述获取的图像的脸部区域来生成复原模型;
固有模型生成单元,基于所述输入信息及所述复原模型来生成用户的固有模型;和
3D数码形象输出单元,生成对应于所述固有模型的3D数码形象,并根据所述3D数码形象的输出形式来输出所述3D数码形象。
2.如权利要求1所述的3D数码形象输出装置,其中,所述输入信息接收单元,接收有关所述用户的性别、年龄、肤色中的至少一个输入信息。
3.如权利要求1所述的3D数码形象输出装置,其中,所述输入信息接收单元,接收所述3D数码形象输出装置中所提供的预先设定的3D数码形象主题。
4.如权利要求1所述的3D数码形象输出装置,其中,所述输入信息接收单元,从用户接收全息图、3D图形、影像剪辑、3D文件格式数据中的至少一个3D数码形象输出形式。
5.如权利要求1所述的3D数码形象输出装置,其中,所述复原模型生成单元,利用背景建模或3D脸部模型信息来提取所述图像的脸部区域。
6.如权利要求1所述的3D数码形象输出装置,其中,所述固有模型生成单元,对应所述3D数码形象主题,来处理预先设定的标准模型、3D背景、附件、运作动画中的至少一个服务场景。
7.如权利要求6所述的3D数码形象输出装置,其中,所述固有模型生成单元,在所述标准模型的脸部附上所述复原模型的脸部。
8.如权利要求1所述的3D数码形象输出装置,其中,所述固有模型生成单元,利用所述复原模型的纹理信息与3D几何信息来提取所述复原模型的特征点。
9.如权利要求1所述的3D数码形象输出装置,其中,所述固有模型生成单元,对应所述3D数码形象主题,来提取有关输出至预先设定的标准模型的纹理图位置的所述复原模型的纹理信息。
10.如权利要求8至权利要求9中任何一项所述的3D数码形象输出装置,其中,所述固有模型生成单元,利用所述复原模型的特征点和所述复原模型的纹理信息,来生成所述固有模型。
11.一种自动售货机形式的3D数码形象输出方法,所述3D数码形象输出方法包括以下步骤:
从用户接收包含有用户信息、3D数码形象主题、3D数码形象输出形式中的至少一个输入信息;
通过所述3D数码形象输出装置中包含的相机来获取用户的图像;
提取所述获取的图像的脸部区域来生成复原模型;
基于所述输入信息及所述复原模型来生成用户的固有模型;以及
生成对应于所述固有模型的3D数码形象,并根据所述3D数码形象的输出形式来输出所述3D数码形象。
12.如权利要求11所述的3D数码形象输出方法,其中,接收所述输入信息的步骤,是接收有关所述用户的性别、年龄、肤色中的至少一个输入信息。
13.如权利要求11所述的3D数码形象输出方法,其中,接收所述输入信息的步骤,是接收所述3D数码形象输出装置中所提供的预先设定的3D数码形象主题。
14.如权利要求11所述的3D数码形象输出方法,其中,接收所述输入信息的步骤,是从用户接收全息图、3D图形、影像剪辑、3D文件格式数据中的至少一个3D数码形象输出形式。
15.如权利要求11所述的3D数码形象输出方法,其中,生成所述复原模型的步骤,利用背景建模或3D脸部模型信息来提取所述图像的脸部区域。
16.如权利要求11所述的3D数码形象输出方法,其中,生成所述固有模型的步骤,是对应所述3D数码形象主题,来处理预先设定的标准模型、3D背景、附件、运作动画中的至少一个服务场景。
17.如权利要求16所述的3D数码形象输出方法,其中,生成所述固有模型的步骤,是在所述标准模型的脸部附上所述复原模型的脸部。
18.如权利要求11所述的3D数码形象输出方法,其中,生成所述固有模型的步骤,是利用所述复原模型的纹理信息与3D几何信息来提取所述复原模型的特征点。
19.如权利要求11所述的3D数码形象输出方法,其中,生成所述固有模型的步骤,提取有关输出至预先设定的标准模型的纹理图位置的所述复原模型的纹理信息。
20.如权利要求18至权利要求19中任何一项所述的3D数码形象输出方法,其中,生成所述固有模型的步骤,是利用所述复原模型的特征点和所述复原模型的纹理信息,来生成所述固有模型。
CN201310684760.4A 2012-12-14 2013-12-13 3d数码形象输出装置及方法 Active CN103873768B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0146287 2012-12-14
KR1020120146287A KR101711684B1 (ko) 2012-12-14 2012-12-14 3d 아바타 출력 장치 및 방법

Publications (2)

Publication Number Publication Date
CN103873768A true CN103873768A (zh) 2014-06-18
CN103873768B CN103873768B (zh) 2017-06-06

Family

ID=50911858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310684760.4A Active CN103873768B (zh) 2012-12-14 2013-12-13 3d数码形象输出装置及方法

Country Status (3)

Country Link
US (1) US20140168216A1 (zh)
KR (1) KR101711684B1 (zh)
CN (1) CN103873768B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812699A (zh) * 2016-03-18 2016-07-27 联想(北京)有限公司 一种生成动态图片方法及电子设备
CN107430378A (zh) * 2015-03-26 2017-12-01 Otoy公司 将全息效果应用于打印件

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9864819B2 (en) 2014-10-10 2018-01-09 Electronics And Telecommunications Research Institute Three-dimensional (3D) model file, and apparatus and method for providing 3D model file
US10031479B2 (en) 2015-03-26 2018-07-24 Otoy, Inc. Recording holographic data on reflective surfaces
US10031478B2 (en) 2015-03-26 2018-07-24 Otoy, Inc. Applying holographic effects to prints
US10481553B2 (en) * 2015-03-26 2019-11-19 Otoy, Inc. Relightable holograms
KR101743764B1 (ko) * 2015-06-29 2017-06-05 김영자 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
CN108197555B (zh) * 2017-12-28 2020-10-16 杭州相芯科技有限公司 一种基于人脸追踪的实时人脸融合方法
US11024089B2 (en) * 2019-05-31 2021-06-01 Wormhole Labs, Inc. Machine learning curated virtualized personal space
KR20210012724A (ko) 2019-07-26 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430798A (zh) * 2008-11-04 2009-05-13 曾文煌 一种三维彩色物品制作方法
US20090245603A1 (en) * 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
CN102238378A (zh) * 2010-05-06 2011-11-09 北京科迪讯通科技有限公司 一种3d视频图像编码中的快速运动搜索方案
US20130226528A1 (en) * 2012-02-28 2013-08-29 Jessica Kate Hodgins Perceptually guided capture and stylization of 3d human figures

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2701754A1 (de) * 1977-01-18 1978-07-20 Bettag Big Spielwaren Spielfigur mit zubehoerteilen
US5802296A (en) * 1996-08-02 1998-09-01 Fujitsu Software Corporation Supervisory powers that provide additional control over images on computers system displays to users interactings via computer systems
KR20010084996A (ko) * 2001-07-09 2001-09-07 한희철 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기
KR100762670B1 (ko) * 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
US20100036720A1 (en) * 2008-04-11 2010-02-11 Microsoft Corporation Ubiquitous intent-based customer incentive scheme
KR101687689B1 (ko) * 2008-04-30 2016-12-19 가부시키가이샤 아크로디아 캐릭터 표시용 데이터의 생성 장치 및 방법
JP5206366B2 (ja) * 2008-11-27 2013-06-12 カシオ計算機株式会社 3次元データ作成装置
TW201039251A (en) * 2009-04-30 2010-11-01 Novatek Microelectronics Corp Facial expression recognition apparatus and facial expression recognition method thereof
US20110143834A1 (en) * 2009-12-15 2011-06-16 Wms Gaming, Inc. Location-based customization of avatars in gaming systems
KR20110070056A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3d 아바타 생성 방법 및 그 장치
KR20110071213A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 비젼과 얼굴 검출기를 이용한 3d 아바타 얼굴 생성 장치 및 그 방법
US9317970B2 (en) * 2010-01-18 2016-04-19 Disney Enterprises, Inc. Coupled reconstruction of hair and skin
KR101514327B1 (ko) * 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
US9314692B2 (en) * 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090245603A1 (en) * 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
CN101430798A (zh) * 2008-11-04 2009-05-13 曾文煌 一种三维彩色物品制作方法
CN102238378A (zh) * 2010-05-06 2011-11-09 北京科迪讯通科技有限公司 一种3d视频图像编码中的快速运动搜索方案
US20130226528A1 (en) * 2012-02-28 2013-08-29 Jessica Kate Hodgins Perceptually guided capture and stylization of 3d human figures

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107430378A (zh) * 2015-03-26 2017-12-01 Otoy公司 将全息效果应用于打印件
CN105812699A (zh) * 2016-03-18 2016-07-27 联想(北京)有限公司 一种生成动态图片方法及电子设备
CN105812699B (zh) * 2016-03-18 2019-06-25 联想(北京)有限公司 一种生成动态图片方法及电子设备

Also Published As

Publication number Publication date
KR101711684B1 (ko) 2017-03-03
KR20140080723A (ko) 2014-07-01
CN103873768B (zh) 2017-06-06
US20140168216A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
CN103873768A (zh) 3d数码形象输出装置及方法
Niklaus et al. 3d ken burns effect from a single image
US9734628B2 (en) Techniques for processing reconstructed three-dimensional image data
US10789453B2 (en) Face reenactment
CN111200747A (zh) 基于虚拟形象的直播方法和装置
US9167155B2 (en) Method and system of spacial visualisation of objects and a platform control system included in the system, in particular for a virtual fitting room
CN108304063B (zh) 信息处理装置、信息处理方法和计算机可读介质
CN110378990B (zh) 增强现实场景展现方法、装置及存储介质
CN106203286B (zh) 一种增强现实的内容获取方法、装置及移动终端
CN109242940B (zh) 三维动态图像的生成方法和装置
CN111008927B (zh) 一种人脸替换方法、存储介质及终端设备
KR102455468B1 (ko) 객체의 3차원 모델을 복원하는 방법 및 장치
CN101715069A (zh) 图像合成设备及其控制方法
CN101968892A (zh) 根据一张人脸照片自动调整三维人脸模型的方法
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN105580050A (zh) 提供图像中的控制点
KR101165017B1 (ko) 3차원 아바타 생성 시스템 및 방법
Danieau et al. Automatic generation and stylization of 3d facial rigs
US20140192045A1 (en) Method and apparatus for generating three-dimensional caricature using shape and texture of face
CN107666572A (zh) 拍摄方法、装置、电子设备及存储介质
CN104616287A (zh) 一种用于3d图像采集与3d打印的移动终端及方法
Lee et al. Real-time eye contact system using a kinect depth camera for realistic telepresence
CN115564638A (zh) 网络训练方法、图像换脸方法、装置和电子设备
KR20120121034A (ko) 2차원 영상으로부터 사전입력을 통한 3차원 얼굴형상의 획득 장치
CN110910303A (zh) 一种图像风格迁移方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant