CN114514564B - 资讯处理装置及资讯处理方法 - Google Patents

资讯处理装置及资讯处理方法 Download PDF

Info

Publication number
CN114514564B
CN114514564B CN202080069515.0A CN202080069515A CN114514564B CN 114514564 B CN114514564 B CN 114514564B CN 202080069515 A CN202080069515 A CN 202080069515A CN 114514564 B CN114514564 B CN 114514564B
Authority
CN
China
Prior art keywords
data
modeling data
modeling
model
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080069515.0A
Other languages
English (en)
Other versions
CN114514564A (zh
Inventor
谢英弟
张彦鵬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Viavision Co ltd
Original Assignee
Viavision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Viavision Co ltd filed Critical Viavision Co ltd
Priority to CN202211338910.1A priority Critical patent/CN115578543A/zh
Publication of CN114514564A publication Critical patent/CN114514564A/zh
Application granted granted Critical
Publication of CN114514564B publication Critical patent/CN114514564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/02Non-photorealistic rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种资讯处理装置包括一获取单元,用以获取表示一对象物件的3D模型的3D建模数据;一指定单元,用以根据与该3D建模数据对应的附属数据,在构成该3D建模数据的元素中自动指定待修正元素;一修正单元,用以自动修正该待修正元素。

Description

资讯处理装置及资讯处理方法
技术领域
本发明是涉及一种修正或编辑3D建模数据的技术。
背景技术
已知有用于处理表示对象物件3D模型的3D建模数据的系统。例如在专利文献1中揭露了一种用于推测3D建模数据的动态特性并把推测的数据附加于3D建模数据的技术。
[现有技术文献]
[专利文献]
[专利文献1]日本专利第6489726号公报。
发明内容
[发明欲解决的课题]
在专利文献1记载的技术中,若要修正已经生成的3D建模数据必须花费大量的时间与劳力。而本发明提供一种能更简单地对于已经生成的3D建模数据进行修正的技术。
[解决问题的手段]
本发明的一实施例提供一种资讯处理装置,包括:一获取单元,用以获取表示一对象物件的3D模型的3D建模数据;一指定单元,用以根据与该3D建模数据对应的附属数据,在构成该3D建模数据的元素中自动指定待修正元素;一修正单元,用以自动修正该待修正元素。
该附属数据包括使该3D模型运动的运动数据,该指定单元将表示该对象物件运动的运动数据指定为该待修正元素,该修正单元对被指定有一过大运动的特征的该运动数据进行修正。
该过大运动为该对象物体的骨骼和肌肉于结构上不可能的运动。
该3D建模数据包括定义该对象物件形状的数据及纹理,该附属数据包括一时间戳,用以表示生成该3D建模数据的图像的拍摄时间,当该时间戳与当前时间的差值满足一预设条件时,该指定单元将该数据及该纹理指定为该待修正元素。
该修正单元根据该时间戳与该当前时间的差值对该3D模型进行一老化修正。
该附属数据包括与该对象物件的生活习惯有关的生活习惯资讯,还包括一模拟单元,用以根据该生活习惯资讯对该对象物件的体型变化进行模拟,该指定单元根据该模拟的结果以指定该待修正元素。
该资讯处理装置还包括一储存单元,用以储存多个不同时期对该对象物件扫描所生成的3D建模数据,该模拟单元以该多个3D建模数据进行模拟。
该修正单元将自多个对象物件萃取出的特征组合,以对该对象物件的3D建模数据进行修正。
本发明的一实施例提供一种资讯处理方法,包括:获取代表一对象物件的3D模型的3D建模数据的步骤,其中该3D建模数据包括该对象物件的附属数据;根据该附属数据在构成该3D建模数据的元素中自动指定待修正元素的步骤;自动修正该待修正元素的步骤。
[发明效果]
据此,本发明能够更简单地对于已经生成的3D建模数据进行修正。
附图说明
图1为例示一实施例的3D数据系统1的结构的图。
图2为例示3D数据系统1的功能结构的图。
图3为例示服务器10的硬件结构的图。
图4为例示服务器10的动作流程的图。
图5为例示资料库111中的3D建模数据的结构的图。
[符号说明]
3D数据系统1
使用者ID 3D、91
3D数据集9
服务器10、20
存储单元11
获取单元12
指定单元13
修正单元14
控制单元15
终端装置30
应用程序31
3D扫描器40
3D建模数据92
附属数据93
CPU 101
存储器102
储存装置103
通信IF 104
资料库111
3D建模数据921、922、923。
具体实施方式
1.结构
图1为例示一实施例的3D数据系统1的结构的图。3D数据系统1用以提供3D建模数据。此处的3D建模数据可以表示人类、动物、物品等对象物件的3D模型的数据。3D模型为表示对象物件三次元外观的模型。例如,3D建模数据的外表面是由拍摄对象物件的照片所生成的图像贴附而成。举例来说,3D模型可以是在虚拟空间的使用者本身或使用者所使用的其他人物的化身。或者,3D模型可以用于,例如,电玩游戏、视讯通话、视讯会议、购物、健身等各种应用程序或用途。
3D数据系统1包括服务器10、服务器20、终端装置30和3D扫描器40。服务器10为管理3D建模数据的服务器。服务器10由3D数据系统1的管理业者所管理。服务器20为提供使用3D模型的应用程序的服务器。此应用程序可以由管理业者自行提供,也可以由其他业者提供。终端装置30可以是智能手机、平板终端,也可以是个人电脑等资讯处理装置。另外,为了简化图式,此处仅示出一服务器20、一终端装置30和一3D扫描器40,但是3D数据系统1可以具有多个服务器20和/或多个终端装置30。
3D扫描器40为扫描对象物件并生成3D建模数据的装置。3D扫描器40用以拍摄对象物件外观的图像(即照片),测量从参考位置(例如传感器的位置)到对象物件表面的距离,并获得图像数据和距离数据。此外,3D扫描器40使用预设的演算法将图像数据和距离数据生成对象物件的3D建模数据。3D扫描器40再将生成的3D建模数据上传到服务器10。
服务器20提供应用程序至终端装置30。该应用程序包括用于向服务器10发送API(Application Programming Interface,应用程序介面)请求的软件模块。例如,当终端装置30执行该应用程序时,终端装置30根据该应用程序向服务器10发送API请求。该API请求为请求输出3D模型的数据(例如3D建模数据本身)。服务器10对应该API请求发送API响应。此API响应包含请求的数据。输出3D模型的数据可以是3D建模数据本身,也可以是表示3D建模数据的处理结果的数据(例如使3D模型运动的动画数据)。终端装置30提供使用3D数据的应用程序给使用者。
图2为例示3D数据系统1的功能结构的图。3D数据系统1包括存储单元11、获取单元12、指定单元13、修正单元14和控制单元15。存储单元11用以存储各种数据。在本实施例中,存储单元11用以存储资料库111。资料库111用以存储表示对象物件3D模型的3D建模数据和对应的附属数据。指定单元13根据与3D建模数据相对应的附属数据,在构成3D建模数据的元素中自动指定待修正元素。此处的“自动指定待修正元素”指在没有使用者明确指示的情况下最终决定待修正元素。修正单元14自动修正由指定单元13指定出的元素。此处的“自动修正”指在没有使用者明确指示的情况下也执行修正处理。
图3为例示服务器10的硬件结构的图。服务器10为具有CPU(Central ProcessingUnit,中央处理器)101、存储器102、储存装置103和通信IF 104的计算机装置或资讯处理装置。CPU 101为根据程序执行各种演算的控制器。存储器102是在CPU 101执行处理时作为工作区的主存储装置。存储器102可以为,例如RAM(Random Access Memory,随机储存存储器)和ROM(Read Only Memory,唯读存储器)。储存装置103为存储各种数据和程序的辅助存储装置。储存装置103可以是,例如SSD(Solid State Drive,固态硬盘)和/或HDD(Hard DiscDrive,硬盘)。通信IF 104是根据预设通信标准(例如以太网络,Ethernet)与另一装置进行通信的装置,并可包括,例如NIC(Network Interface Card,网络界面卡)。
在本实施例中,存储在储存装置103中的程序包括用于使计算机装置作为3D数据系统1的服务器10的程序(以下称为“管理服务器程序”)。在CPU 101执行管理服务器程序的状态下,存储单元11的一示例为存储器102和储存装置103中的其中至少一者。CPU 101是获取单元12、指定单元13、修正单元14和控制单元15的一示例。
2.动作
2-1.动作的概要
图4为例示服务器10的动作的流程图。在步骤S101中,获取单元12用以获取对象物件的3D建模数据。在本实施例中,服务器10由3D扫描器40获取3D建模数据。除了3D建模数据之外,服务器10还获取附属数据。该附属数据可以,例如,在扫描对象物件(即使用者)时输入。在步骤S102中,存储单元11将获取单元12获取的3D建模数据和附属数据储存在资料库111中。
图5为例示资料库111中的3D建模数据的结构的图。资料库111包括多个3D数据集9。3D数据集是至少包含3D建模数据的数据群。每个3D数据集9包括使用者ID 91、3D建模数据(或3D建模数据主体)92和附属数据93。附属数据93包括,例如,使用者属性和更新日期。使用者属性表示使用者ID、使用者名称、出生日期、性别、身高、体重等使用者的属性。更新日期表示更新3D数据集的日期和时间。
在本实施例中,3D建模数据92包括表示同一对象物件的多个(图中为三个)3D建模数据921、3D建模数据922和3D建模数据923。3D建模数据921包括定义对象物件形状的数据。对象物件的形状可以由多边形或自由曲面定义。3D建模数据921还包括关于对象物件材料的资讯。关于材料的资讯包括颜色、透明度、反射、折射率、自发光、凹凸和位移中的至少一种。3D建模数据921还包括纹理。纹理为贴附于3D模型的图像。相同地,3D建模数据922和3D建模数据923也包括定义模型形状的数据、关于材料的资讯和纹理。定义模型形状的数据、关于材料的资讯和纹理是3D建模数据92的多个元素的一示例。
在一实施例中,这些多个数据各别的质量不同。在本实施例中,3D建模数据921为高质量的(即大数据量),3D建模数据922为中质量的(即中数据量),3D建模数据923为低质量的(即低数据量)。此处,这些高质量、中质量和低质量的3D建模数据是构成3D建模数据92的多个元素的一示例。
在本实施例中,3D建模数据921被区分成多个部分。即形状、材料和纹理各别区分为多个部分。该多个的部分是根据对象物件的身体结构的区分,例如头部、胸部、腹部、臀部、手臂、手和腿。这些多个部分中的至少一部分可以进一步细分为多个子部分。例如头部可以区分为头发、眼睛、鼻子、嘴巴和耳朵。这些多个部分是构成3D建模数据92的多个元素的另一示例。
附属数据93包括骨骼数据。骨骼表示为使3D模型移动的运动单位的元素。例如当3D模型由多边形表示时,多边形的顶点和骨骼之间的对应关系(即所谓的表皮权重,skinweight)会被设定(即所谓的蒙皮,skinning)。当骨骼移动时,相应的多边形也随着骨骼的移动而移动,造成3D模型整体移动。类似于3D建模,骨骼数据也可以包括具有不同质量的多个组数据。又,骨骼数据可以被包括在3D建模数据中,在这种情况下,骨骼数据是构成3D建模数据92的多个元素的一示例。
在本实施例中,附属数据93包括定义3D模型的运动的运动数据。在一实施例中,运动数据可以定义为例如步行、跑步、跳跃、停止、投掷、游泳和跳舞等每个动作的骨骼运动。例如,跑步的运动数据可以定义为步幅、如何抬腿、如何摆动手臂等。在另一实施例中,运动数据可以是3D建模数据的特定部分的运动,例如可以是面部表情。例如,面部表情的运动数据可以定义为如何张嘴、如何睁眼、如何移动眉毛等。
举例来说,运动数据可以从拍摄对象物件的动画中提取。例如,可以使用运动捕捉技术生成运动数据。或者,运动数据可作为3D数据系统1中的模板,根据使用者的选择或由系统自动对应3D建模数据。
3D建模数据由3D模型生成引擎所以生成。3D模型生成引擎的其中一示例为根据对象物件的图像数据和距离数据来生成对象物件的3D模型的生成单元,例如是软件模块。在本实施例中,3D模型生成引擎安装在3D扫描器40上。除了3D扫描器40之外,或是取代3D扫描器40,3D模型生成引擎也可以安装在服务器10或其他装置上。
再次参见图4。在步骤S103中,指定单元13从储存在资料库111中的多个3D建模数据92中指定待修正的3D建模数据92(以下称为“目标数据”)。在一实施例中,指定单元13从多个使用者中指定目标使用者,并将该使用者的3D建模数据92指定为目标数据。例如,可以通过使用者自己或其他使用者的明确指令来指定目标使用者。或者,指定单元13可以在预设的时间点(例如周期性地)将资料库111中包括的3D建模数据92中属于特定群组的3D建模数据92指定为目标数据。在此情况下,可以根据一些标准将多个3D建模数据预先分组。
在步骤S104中,指定单元13在构成目标数据的多个元素中自动指定待修正元素(以下称为“目标元素”)。指定单元根据与目标数据相对应的附属数据来指定目标元素。在步骤S105中,修正单元14自动修正目标元素。修正的方法可以,例如根据目标元素预先决定。控制单元15将修正后的3D建模数据通知存储单元11。存储单元11将包括待修正元素的3D建模数据写入资料库111(步骤S106)。如此,待修正的3D建模数据可以自动写入资料库111中。
以下将说明步骤S104和步骤S105的一些具体实施例。以下的处理方式至少可以以两个或多个组合来应用。
2-2.过大运动的修正
本实施例中,目标元素是定义3D模型运动的运动数据,因修正的关系,该运动被夸大。
举例来说,响应使用者的指令,指定单元13从包括在目标数据中的各种数据中将运动数据指定为候补目标元素。此外,指定单元13在候补目标元素中将代表使用者的运动数据指定为为目标元素(步骤S104)。代表使用者的运动数据可以是,例如多个运动数据中使用频率最高的运动数据。在此情况下,在资料库111会储存运动数据每次的使用纪录。或者,代表使用者的运动数据是多个运动数据中与参考运动数据偏差最大的数据。在此情况下,运动数据可以借由捕捉对象物件的动作得到的运动数据、根据对象物件的属性(例如年龄、性别、体格)估计的运动数据、或者使用者编辑的数据等,模板以外的运动数据。在资料库111中,决定作为每个动作的参考的数据。参考的数据可以是,例如营运业者设定的模板的运动数据,或者是对多个对象物件的运动数据进行统计处理所得到能反应统计代表值的运动数据。
在步骤S105中,修正单元14修正目标元素的运动数据以给出由目标元素的运动数据指示的过大的运动。在此,过大的运动为对象物件的骨骼和肌肉于结构上不可能的运动。例如,过大的动作包括跑步时腿垂直旋转360°、手臂水平旋转360°、步幅超过身高、或者(惊讶时)眼球从脸上弹出、(生气时)头上冒出蒸汽等漫画式的表现。过大的动作可以,例如被预先定义为每个动作的模板。
据此示例,例如,使用者可以让化身有卡通般的表情。
2-3.使年龄变化的修正
在实施例中,目标元素是定义3D模型形状的数据和纹理,且需以拍摄对像物件以来经过的时间所对应的年纪增长做修正。
指定单元13根据目标数据的图像数据的生成日期和时间(即时间戳)与当前日期和时间之间的差值来指定目标元素。具体来说,当两者之间的差值超过阈值时,指定单元13将包括各种数据的目标数据中定义形状的数据和纹理指定为目标元素(步骤S104)。附属数据93表示图像数据的生成日期和时间。阈值可以,例如由营运业者预先决定,或者也可以由使用者指定。
在步骤S105中,修正单元14根据时间戳与当前日期和时间之间的差值对3D模型进行老化修正。具体地来说,修正单元14以该差值对应的时间来修正3D模型的形状和纹理(即模拟3D模型的老化)。例如,老化面部的3D模型会有更多的皱纹、下垂的脸颊和较暗沈的肤色。
在一实施例中,以机器学习的技术来模拟伴随时间经过的老化。在本实施例中,修正单元14具有机器学习模型。该机器学习模型是一个经过训练的模型,对于多个使用者各别定义第一时间点3D模型形状的数据和纹理、以及在第一时间点到第二时间点之间的时间提供给输入层,定义第二个时间点3D模型形状的数据和纹理提供给输出层,作为教师数据,使其进行机器学习。例如,以资料库111中储存的数据作为教师数据使用。修正单元14将步骤S104中指定的目标元素、定义形状的数据和纹理、以及时间戳及当前日期和时间之间的差值提供给机器学习模型的输入层。机器学习模型输出与这些数据对应,定义形状的数据和纹理。定义形状的数据和纹理所表示的3D模型代表在当前日期和时间的预测3D模型。修正单元14通过使用机器学习模型输出的定义形状的数据和纹理来修正3D建模数据。
据此示例,例如,从使用者生成化身开始,即使时间经过也可以使化身的年纪变大。
2-4.根据生活习惯模拟
在一实施例中,目标元素是定义3D模型形状的数据。修正单元14是以假设对象物件的生活习惯持续的情况下所反应的模拟结果来修正3D建模数据。在本实施例中,附属数据93包括使用者的生活习惯相关的资讯(以下称为“生活习惯资讯”)。
生活习惯是指对象物件的习惯性行为,如饮食、运动、睡眠、工作、饮酒和吸烟等等。饮食相关的资讯包括,例如用餐的次数、时间、卡路里摄入量和营养价值的资讯。运动相关的资讯包括,例如运动的次数、时间、运动强度和运动类型的资讯。睡眠相关的资讯包括,例如就寝时间、起床时间和睡眠深度的资讯。工作相关的资讯包括,例如工作的开始时间和结束时间的资讯。饮酒相关的资讯包括,例如饮酒次数和量的资讯。吸烟相关的资讯包括,例如吸烟次数和量的资讯。生活习惯资讯,例如可以在生成3D建模数据时或把3D建模数据登录至资料库111时由使用者输入。或者由终端装置30中的应用程序将于预设时间(例如周期性地)所收集到的资讯作为生活习惯资讯上传到资料库111。
关于某使用者,在附属数据93表示的生活习惯满足预设的条件的情况时,指定单元13将定义该使用者3D模型形状的数据指定为目标元素。更具体而言,当生活习惯满足预先决定的条件时,指定单元13将与该条件对应的预先决定的元素指定为目标元素(步骤S104)。举例来说,定义一条件为饮酒量达到警示等级(例如每周饮酒量超过阈值),此外,考虑该条件是对应于3D模型的全身的例子。在本实施例中,当使用者每周的饮酒量超过阈值时,指定单元13于步骤S104将全身的形状指定为目标元素。在本实施例中,当使用者的每日运动量超过阈值的情况时,指定单元13于步骤S104将全身的形状指定为目标元素。此外,这种条件也可以细分为特定的运动项目,例如慢跑、卧推和深蹲等等。
在步骤S105中,修正单元14根据使用者的生活习惯模拟3D模型的变化。具体来说,修正单元14模拟当使用者将该生活习惯持续一定时间后体型会发生什么样的变化。例如,饮酒超过警示等级持续一个月,腰围就会变粗。
在一实施例中,对应生活习惯的体型变化的模拟是利用机器学习技术而来的。在本实施例中,修正单元14具有机器学习模型(模拟单元的一示例)。该机器学习模型是就多个使用者的各个使用者,定义第一时间点之中的3D模型形状的数据、以及在第一时间点到第二时间点之间的生活习惯提供输入层、将定义第二时间点之中的3D模型形状的数据提供给输出层,作为教师数据,使其进行机器学习的学习完成模型。例如,以资料库111中储存的数据作为教师数据使用。修正单元14将步骤S104中指定的目标元素的定义形状的数据、该使用者的生活习惯、以及该生活习惯的持续时间提供给机器学习模型的输入层。生活习惯持续的时间可以,例如由修正单元14预先决定。机器学习模型将对应这些数据,而定义形状的数据加以输出。由此定义形状的数据所表示的3D模型是表示在该生活习惯持续一段时间后的预测体型。修正单元14使用定义机器学习模型输出的形状的数据来修正3D建模数据。
据此示例,例如,可以模拟当某种生活习惯持续一定时间后使用者的体型会受到什么影响。
2-5.根据过去的变化表现预测未来
在本实施例中,目标元素是定义3D模型形状的数据和纹理,以反映出基于过去的变化的实际绩效的模拟结果来进行修正。在本实施例中,附属数据93包括在过去多个不同时期或时间(例如每个月)扫描对象物件获得的数据(即包括拍摄对象物件的图像的数据)所生成的3D建模数据。例如,使用者每个月以3D扫描器40扫描对象物件(例如使用者自己)一次。3D扫描器40生成3D建模数据并上传到资料库111。当新的3D建模数据加入时,储存单元11将过去的3D建模数据储存为附属数据93。
关于某使用者,在包含于附属数据93的过去3D建模数据满足预设条件的情况时,指定单元13将定义该使用者3D模型形状的数据和纹理指定为目标元素(步骤S104)。在步骤S105中,修正单元14根据使用者过去的3D模型模拟未来的3D模型的变化。
在一实施例中,通过使用机器学习技术根据过去的变化表现模拟未来的变化。在本实施例中,修正单元14具有机器学习模型。该机器学习模型是一个经过训练的模型,对于多个使用者各别,在一系列时间序列数据中将相对较旧的多个时间点的3D建模数据及时间戳提供给输入层,在该系列时间序列数据中将相对较新的多个时间点的3D建模数据及时间戳提供给输出层,作为教师数据,使其进行机器学习。例如,以资料库111中储存的数据作为教师数据使用。修正单元14将步骤S104所指定的目标元素、过去3D建模数据和时间戳、以及预想的日期和时间(一个月或一年之后)提供给机器学习模型的输入层。机器学习模型输出对应该些数据的3D建模数据。该3D模型表示根据过去变化趋势所预测的3D模型。修正单元14使用机器学习模型输出的3D建模数据来修正3D建模数据。
据此示例,例如,可以根据过去一年的外观变化来模拟下个月的外观会如何变化。
2-6.纳入他人的运动
在一实施例中,目标元素为运动数据,并纳入他人的运动进行修正。在本实施例中的附属数据包括指定他人的资讯(例如喜欢的演员或喜欢的运动员的资讯)。
对于某个使用者,当包含于附属数据93中的指定他人的资讯满足预设的条件时,指定单元13将该使用者的运动数据指定为目标元素(步骤S104)。举例来说,预设的条件可以为当指定该他人的资讯与应用程序31指定的人物一致。在这些演员或运动选手中定义提供给他人的特征的运动。例如,定义要提供给其他人的运动可以是演员X的笑容方式、足球选手Y的踢球方式和棒球选手Z的投球方式。当某使用者的附属数据显示该使用者喜欢演员X时,指定单元13将该使用者的运动数据中笑容的运动数据指定为目标元素。此外,指定单元13以附属数据93所指定的他人的运动数据作为用于修正的数据。
在步骤S105中,修正单元14将附属数据93所指定的他人的运动数据纳入到该使用者的运动数据中。此时,修正单元14可以将该他人原始的运动数据(即100%)采用为该使用者的运动数据,也可以将该他人的运动数据与该使用者的运动数据以影像变形方式进行合成。
另外,指定单元13可以使用多个他人的运动数据来修正使用者的运动数据。举例来说,根据附属数据93,例如以该使用者喜欢演员A和演员B(将两者的笑容运动数据定义为将会提供给他人的运动)为例。在此情况下,指定单元13将演员A的笑容运动数据、以及演员B的笑容运动数据指定为用于修正的数据。修正单元14以影像变形方式将演员A和演员B的运动数据合成,并用以修正该使用者的运动数据。
据此示例,例如,使用者可以使自己的化身模仿他人的动作或表情。
3.变化示例
本发明不限于上述实施例,还有各种变化实施的可能。以下,将描述一些变化的实施方式。以下的变化实施方式也可以两个或多个组合使用。
在一实施例中,说明了以修正单元14本身对3D建模数据进行修正的示例,修正单元14可以对3D模型生成引擎进行修正的请求,也可以从3D模型生成引擎取得修正后的3D建模数据。本文所述的“修正”,在此,包括对修正3D建模数的软件模块进行修正的请求和接收修正后的数据。
修正单元14可以将自动修正后的3D建模数据提示给应用程序31(即使用者),也可以进一步接受对该3D建模数据的修正指令。例如,在模拟未来变化的情况下,修正单元14可以根据使用者的指令来预测在特定时间点的变化。在另一实施例中,当将他人的运动数据和该使用者的运动数据进行影像变形时,可以根据使用者的指示变更影像变形的比例。
模拟3D建模数据变化的方法不限于使用机器学习。除了机器学习之外还可以加入启发式方法,或以启发式方法代替机器学习。
在一实施例中,已经说明了从终端装置30即使用者终端发送API请求的示例(即所谓B to C服务的示例),但是向服务器10发送API的请求的资讯处理装置不限于终端装置30。也可以从服务器20等其他营运业者的服务器向服务器10发送请求输出终端装置30的使用者3D模型数据的API请求,即本发明也适用于B to B的服务。
服务器10、服务器20和终端装置30的硬件结构不限于实施例中的示例。例如,服务器10可以是实体的服务器,也可以是云端上的虚拟服务器。
在一实施例中所说明的服务器10具有的功能中的至少一部分也可以安装在终端装置30等其他装置上。此外,服务器10可以是实体的服务器,也可以是虚拟的服务器。
执行CPU 101等的程序可以经由网络以可能的状态从服务器下载提供,也可以存储在CD-ROM等储存介质中的状态提供。

Claims (6)

1.一种资讯处理装置,其特征在于,包括:
一获取单元,用以获取表示一对象物件的3D模型的3D建模数据;
一指定单元,用以根据与该3D建模数据对应的附属数据,在构成该3D建模数据的元素中自动指定待修正元素;
一修正单元,用以自动修正该待修正元素;其中
该3D建模数据包括定义该对象物件形状的数据及纹理;
该附属数据包括一时间戳,用以表示生成该3D建模数据的图像的拍摄时间;
当该时间戳与当前时间的差值满足一预设条件时;该指定单元将该数据及该纹理指定为该待修正元素。
2.如权利要求1所述的资讯处理装置,其特征在于,该修正单元根据该时间戳与该当前时间的差值对该3D模型进行一老化修正。
3.如权利要求1或2中任一权利要求中所述的资讯处理装置,其特征在于,该附属数据包括与该对象物件的生活习惯有关的生活习惯资讯;
还包括一模拟单元,用以根据该生活习惯资讯对该对象物件的体型变化进行模拟;
该指定单元根据该模拟的结果以指定该待修正元素。
4.如权利要求3所述的资讯处理装置,其特征在于,该资讯处理装置还包括一储存单元,用以储存多个不同时期对该对象物件扫描所生成的3D建模数据;
该模拟单元以该多个3D建模数据进行模拟。
5.如权利要求1所述的资讯处理装置,其特征在于,该修正单元将自多个对象物件萃取出的特征组合,以对该对象物件的3D建模数据进行修正。
6.一种资讯处理方法,其特征在于,包括:
获取代表一对象物件的3D模型的3D建模数据的步骤,其中该3D建模数据包括该对象物件的附属数据;
根据该附属数据在构成该3D建模数据的元素中自动指定待修正元素的步骤;
自动修正该待修正元素的步骤;其中
该3D建模数据包括定义该对象物件形状的数据及纹理;
该附属数据包括一时间戳,用以表示生成该3D建模数据的图像的拍摄时间;
当该时间戳与当前时间的差值满足一预设条件时;将该数据及该纹理指定为该待修正元素。
CN202080069515.0A 2020-07-27 2020-07-27 资讯处理装置及资讯处理方法 Active CN114514564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211338910.1A CN115578543A (zh) 2020-07-27 2020-07-27 资讯处理装置及资讯处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/028732 WO2022024191A1 (ja) 2020-07-27 2020-07-27 情報処理装置及び情報処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211338910.1A Division CN115578543A (zh) 2020-07-27 2020-07-27 资讯处理装置及资讯处理方法

Publications (2)

Publication Number Publication Date
CN114514564A CN114514564A (zh) 2022-05-17
CN114514564B true CN114514564B (zh) 2022-11-25

Family

ID=74529562

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211338910.1A Pending CN115578543A (zh) 2020-07-27 2020-07-27 资讯处理装置及资讯处理方法
CN202080069515.0A Active CN114514564B (zh) 2020-07-27 2020-07-27 资讯处理装置及资讯处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211338910.1A Pending CN115578543A (zh) 2020-07-27 2020-07-27 资讯处理装置及资讯处理方法

Country Status (6)

Country Link
US (1) US20230298293A1 (zh)
EP (1) EP4191541A4 (zh)
JP (2) JP6826747B1 (zh)
CN (2) CN115578543A (zh)
TW (1) TWI821710B (zh)
WO (1) WO2022024191A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024069944A1 (ja) * 2022-09-30 2024-04-04 株式会社Vrc 情報処理装置、情報処理方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006110340A (ja) * 2004-10-12 2006-04-27 Samsung Electronics Co Ltd 健康状態によるアバター映像の生成方法及び装置
CN105095809A (zh) * 2014-05-23 2015-11-25 岳造宇 资讯记录方法、资讯提供方法、资讯纪录系统及其服务器
JP2016040649A (ja) * 2014-08-12 2016-03-24 ソフトバンク株式会社 商品等提供システム、商品等提供方法、及び商品等提供プログラム
WO2017175423A1 (ja) * 2016-04-08 2017-10-12 ソフトバンク株式会社 モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム
CN110460874A (zh) * 2019-08-09 2019-11-15 腾讯科技(深圳)有限公司 视频播放参数生成方法、装置、存储介质及电子设备
CN110637324A (zh) * 2017-09-08 2019-12-31 株式会社威亚视 三维数据系统以及三维数据处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951526B (zh) * 2015-06-12 2018-01-26 福建省基础地理信息中心 一种三维模型管理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006110340A (ja) * 2004-10-12 2006-04-27 Samsung Electronics Co Ltd 健康状態によるアバター映像の生成方法及び装置
CN105095809A (zh) * 2014-05-23 2015-11-25 岳造宇 资讯记录方法、资讯提供方法、资讯纪录系统及其服务器
JP2016040649A (ja) * 2014-08-12 2016-03-24 ソフトバンク株式会社 商品等提供システム、商品等提供方法、及び商品等提供プログラム
WO2017175423A1 (ja) * 2016-04-08 2017-10-12 ソフトバンク株式会社 モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム
CN110637324A (zh) * 2017-09-08 2019-12-31 株式会社威亚视 三维数据系统以及三维数据处理方法
CN110460874A (zh) * 2019-08-09 2019-11-15 腾讯科技(深圳)有限公司 视频播放参数生成方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
TW202209265A (zh) 2022-03-01
WO2022024191A1 (ja) 2022-02-03
JP6826747B1 (ja) 2021-02-10
JP2022023764A (ja) 2022-02-08
EP4191541A1 (en) 2023-06-07
CN114514564A (zh) 2022-05-17
JPWO2022024191A1 (zh) 2022-02-03
CN115578543A (zh) 2023-01-06
EP4191541A4 (en) 2024-08-14
TWI821710B (zh) 2023-11-11
US20230298293A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
US11406899B2 (en) Virtual character generation from image or video data
US11276216B2 (en) Virtual animal character generation from image or video data
US9697635B2 (en) Generating an avatar from real time image data
JP2022028791A (ja) 画像正則化及びリターゲティングシステム
TWI795845B (zh) 伺服器及資訊處理方法
CN110637324B (zh) 三维数据系统以及三维数据处理方法
CN102473320A (zh) 通过学习到的来自用户的输入使视觉表示生动化
US20220327755A1 (en) Artificial intelligence for capturing facial expressions and generating mesh data
CN114514564B (zh) 资讯处理装置及资讯处理方法
JP2022505746A (ja) デジタルキャラクタブレンディング及び生成のシステム及び方法
CN102483857B (zh) 图像装置及计算机可读记录介质
CN114712862A (zh) 虚拟宠物交互方法、电子设备及计算机可读存储介质
WO2024069944A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2024052519A (ja) 情報処理装置、情報処理方法、及びプログラム
TW202423368A (zh) 資訊處理裝置、資訊處理系統、資訊處理方法及程式
Lin Three dimensional modeling and animation of facial expressions
Kähler A Head Model with Anatomical Structure for Facial Modeling and Animation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant