CN115004240A - 3d资料系统及3d资料生成方法 - Google Patents

3d资料系统及3d资料生成方法 Download PDF

Info

Publication number
CN115004240A
CN115004240A CN202080069529.2A CN202080069529A CN115004240A CN 115004240 A CN115004240 A CN 115004240A CN 202080069529 A CN202080069529 A CN 202080069529A CN 115004240 A CN115004240 A CN 115004240A
Authority
CN
China
Prior art keywords
data
clothes
learning model
target
modeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080069529.2A
Other languages
English (en)
Inventor
谢英弟
张彦鵬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Viavision Co ltd
Original Assignee
Viavision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Viavision Co ltd filed Critical Viavision Co ltd
Publication of CN115004240A publication Critical patent/CN115004240A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Architecture (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

3D资料系统具有针对多个的各个衣服，将扫描该衣服得到的图像资料及距离资料作为教师资料给予至输入层，将该衣服的3D建模资料、骨骼资料、及蒙皮权重作为教师资料给予至输出层，并存取使之学习的机械学习模型的存取单元，将扫描目标衣服得到的图像资料及距离资料输入至前述机械学习模型，取得该目标衣服的3D建模资料、骨骼资料、及蒙皮权重的取得单元，和储存前述目标衣服的3D建模资料、骨骼资料、及蒙皮权重的储存单元。

Description

3D资料系统及3D资料生成方法
技术领域
本发明涉及一种生成衣服的3D建模资料的技术。
背景技术
使用衣服的3D建模资料为习知的技术。例如专利文献1揭露了将3D衣服模型应用于3D人物模型的应用。
[现有技术文献]
[专利文献]
[专利文献1]日本特开第2017-37637号公报
发明内容
[发明欲解决的课题]
要让衣服的3D建模资料动起来，单单只是量测外观与3D形状是不行的，必须要有赋予3D建模资料动作的资料。对此本发明提供更容易取得赋予3D建模资料动作的资料的技术。
[解决问题的手段]
本发明的一实施例提供一种3D资料系统，具有：存取单元，存取机械学习模型，机械学习模型是针对多个的各个衣服，将该衣服扫描得到的图像资料及距离资料作为教师资料给予至输入层，将该衣服3D建模资料、骨骼资料、及蒙皮权重作为教师资料给予至输出层，并使之学习的机械学习模型；以及，取得单元，将目标衣服扫描得到的图像资料及距离资料输入至前述机械学习模型，取得该目标衣服的3D建模资料、骨骼资料、及蒙皮权重；以及，储存单元，储存前述目标衣服的3D建模资料、骨骼资料、及蒙皮权重。
本发明的另一实施例提供一种3D资料系统，具有：存取单元，存取机械学习模型，机械学习模型是针对多个的各个衣服，将该衣服扫描得到的图像资料及距离资料作为教师资料给予至输入层，将制造该衣服时用的纸型资料作为教师资料给予至输出层，并使之学习的机械学习模型；以及，第一取得单元，将目标衣服扫描得到的图像资料及距离资料输入至前述机械学习模型，取得该目标衣服纸型资料；以及，输出单元，对使用衣服的纸型资料输出该衣服的3D建模资料、骨骼资料、及蒙皮权重的3D模型生成系统，输出包含前述目标衣服的纸型资料的3D模型的生成的要求；以及，第二取得单元，从前述3D模型生成系统取得前述目标衣服的3D建模资料、骨骼资料、及蒙皮权重；以及，储存单元，储存前述目标衣服的3D建模资料、骨骼资料、及蒙皮权重。此3D资料系统也可以具有：第三取得单元，取得使用者的3D建模资料；以及，合成单元，合成使前述使用者的3D模型穿上前述目标衣服。
本发明的又另一实施例提供一种3D资料生成方法，具有：存取机械学习模型的步骤，机械学习模型是针对多个的各个衣服，将该衣服扫描得到的图像资料及距离资料作为教师资料给予至输入层，将该衣服建模资料、骨骼资料、及蒙皮权重作为教师资料给予至输出层，并使之学习的机械学习模型；以及，取得步骤，将目标衣服扫描取得的图像资料及距离资料输入至前述机械学习模型，取得该目标衣服的3D建模资料、骨骼资料、及蒙皮权重的步骤；以及，储存步骤，储存前述目标衣服的3D建模资料、骨骼资料、及蒙皮权重的步骤。
本发明的又另一实施例提供一种的3D资料生成方法，具有：存取机械学习模型的步骤，机械模型是针对多个的各个衣服，将该衣服扫描得到的图像资料及距离资料作为教师资料给予至输入层，将制造该衣服时用的纸型资料作为教师资料给予至输出层，并使之学习的机械学习模型；以及，第一取得步骤，将目标衣服扫描得到的图像资料及距离资料输入至前述机械学习模型，取得该目标衣服的纸型资料；以及，输出步骤，对使用衣服的纸型资料输出该衣服的3D建模资料、骨骼资料、及蒙皮权重的3D模型生成系统，输出包含前述目标衣服的纸型资料的3D模型的生成的要求的步骤；以及，第二取得步骤，从前述3D模型生成系统取得前述目标衣服的3D建模资料、骨骼资料、及蒙皮权重的步骤；以及，储存步骤，储存前述目标衣服的3D建模资料、骨骼资料、及蒙皮权重的步骤。
[发明效果]
若是依据本发明，将更容易取得赋予3D建模资料动作的资料。
附图说明
图1例示有关一实施例的3D资料系统1的概要的图。
图2例示3D资料系统1的功能组成的图。
图3例示3D扫描器40的硬件组成的图。
图4例示服务器10的硬件组成的图。
图5例示有关学习的处理的流程图。
图6例示有关资料生成的处理的时序图。
图7例示有关第2实施形态的3D资料系统2的功能组成的图。
图8例示有关资料生成的别的处理的时序图。
[符号说明]
3D资料系统1
3D资料系统2
纸型资料3D
服务器10、20
储存单元11、44
学习单元12
终端装置30
输出单元31、48
控制单元32
取得单元33、46
3D扫描器40
扫描单元41
处理单元42
存取单元43
通信单元45
生成单元47
CPU 101、401、441
存储器102、402
储存装置103、403
资料库111
机械学习模型112
教师资料113、213
机械学习模型212
通信IF 404
显示装置405
输入装置406
箱体410
相机420
距离传感器430
电脑440
CPU 441
具体实施方式
1.概要
图1是有关一实施例的3D资料系统1的概要的例示图。3D资料系统1扫描衣服生成3D建模资料。特别是于本实施形态，使用机械学习模型生成衣服的骨骼资料及蒙皮权重。
3D资料系统1具有服务器10、服务器20、终端装置30、及30扫描器40。3D扫描器40是扫描目标物，生成呈现那个目标物的3D模型的3D建模资料的装置。于本实施例中目标物为衣服。扫描目标物指的是，从多个方向拍摄目标物的外观，然后，从基准位置(例如深度传感器的位置)到目标物的表面的距离置于多个的点并测量，对应连结拍摄到外观的图像上的点与距离资料(又称深度资讯)。也就是说，扫描目标物指的是，拍摄带有距离资料的图像。3D模型指的是于虚拟空间中呈现目标物的虚拟物件。3D建模资料指的是呈现3D模型的资料。
服务器10是管理3D建模资料的服务器。服务器10由3D资料系统1的管理业者管理。服务器20是提供使用了3D模型的应用程序的服务器。此应用程序可以是由3D资料系统1的管理业者自身所提供的，也可以是由别的业者所提供的。终端装置30是使用应用程序(也就是说使用3D模型)的使用者终端。终端装置30是，智能手机、平板终端、又或是个人电脑等的资讯处理装置。又虽然这里为了将图面简单化，将服务器20、终端装置30、及3D扫描器40各自只放一台呈现于图中，3D资料系统1也可以具有多个服务器20及/又或是多个终端装置30。3D扫描器40是扫描目标物生成3D建模资料的装置。3D扫描器40会将所生成的3D建模资料上传至服务器10。
2.第1实施例
2-1.组成
图2是3D资料系统1的功能组成例示图。3D资料系统1具有储存单元11、学习单元12、扫描单元41、处理单元42、存取单元43、储存单元44、通信单元45、输出单元31、控制单元32、及取得单元33。储存单元11储存各种资料。储存单元11储存的资料内包含资料库111、机械学习模型112、及教师资料113。资料库111是储存了有关多个的目标物(此例为衣服)的3D资料组的资料库。3D资料组，针对多个的各个目标物，包含那个目标物的3D建模资料及随附资料。附属资料包含例如目标物属性及更新日。目标物属性，显示衣服ID、衣服名、品牌、发售日、目标性别、及大小等衣服的属性。更新日，显示3D资料组被更新的日期时间。
机械学习模型112是被用于机器学习的模型。机器学习模型112具有输入层、中间层、及输出层。于最初的时间点，机械学习模型112是还没学习的(也就是说尚未完成学习的)模型。教师资料113，针对多个的各个衣服，包含拍摄到的衣服图像、那个衣服的3D建模资料、骨骼资料、及蒙皮权重。此图像是于3D扫描器40中所拍摄的，3D建模资料是由3D扫描器40所生成的。骨骼显示为了让3D模型动起来，作为动作的单位的要素。例如3D模型由多边形呈现的情况，多边形的顶点与骨骼的对应关系(也就是蒙皮权重)会被设定(也就是蒙皮)。只要骨骼一动，对应的多边形会随着骨骼的动作做动作，整体来看3D模型会动。骨骼资料及蒙皮权重，于其中一个实施例是工作人员(不是一般使用者、是受过训练的专家)以手册制作而成的。
学习单元12使用教师资料113使机械学习模型112学习。教师资料113以预设的时间点追加又或者是更新，机械学习模型112也可以使用追加又或者是更新后的教师资料113追加又或者是再度学习。
扫描单元41扫描目标物。处理单元42处理借由扫描目标物所得到的带有距离资料的图像。存取单元43存取机械学习模型112。取得单元46输入拍摄到的作为处理目标的衣服(下面以“目标衣服”称呼)的图像至机械学习模型112，取得目标衣服的3D建模资料、骨骼资料、蒙皮权重。储存单元44储存各种程序及资料。通信单元45与服务器10又或者是终端装置30等的其他的装置通信。输出单元31输出对应于目标衣服的3D建模资料、骨骼资料、及蒙皮权重的图像。
图3是3D扫描器40的硬件组成例示图。3D扫描器40具有箱体410、相机420、距离传感器(又或者是深度传感器)43、及电脑440。相机420拍摄目标物的外观，输出图像资料。距离传感器430量测从基准位置(传感器的位置)到目标物的表面上的多个的点的距离。距离传感器430量测的部分和相机420拍摄的部分的位置关系会先被定义。3D扫描器40也可以具有多个的相机420及多个的距离传感器430。箱体410支撑相机420及距离传感器430。箱体410配合相机420及距离传感器430的数量及配置，也可以具有使目标物和相机420及距离传感器430相对回转的机构。
电脑440处理从相机420输出的图像资料及从距离传感器430输出的距离资料。此处理也可以包含在图像上对应连结距离资料的处理。更进一步地此处理也可以包含将图像资料及距离资料应用于预设的演算法生成3D建模资料的处理。
电脑440具有CPU 401、存储器402、储存装置403、通信IF 404、显示装置405、及输入装置406。CPU 401是遵从程序进行各种演算的控制装置。存储器402是作为CPU 401运行处理时的工作区域工作的主记忆装置。存储器402包含例如RAM(Random Access Memory)及ROM(Read Only Memory)。储存装置403是储存各种资料及程序的辅助储存装置。储存装置403包含例如SSD及/又或者是HDD。通信IF 404是遵从预设的通信规格(例如以太网络)与其他的装置通信的装置，包含例如NIC(Network Interface Card)。显示装置405是输出视觉资讯的装置，包含例如LCD(Liquid Crystal Display)。输入装置406是配合使用者的操作输入指示又或者是资讯至电脑440的装置，包含例如，触控屏幕、键盘、数字键盘、鼠标、及麦克风的至少一种。
于此例中，储存在储存装置403的程序里，包含为了使电脑装置作为在3D资料系统1里的电脑440运作的程序(下面以“3D模型生成程序”称呼)。CPU 401借由运行3D模型生成程序安装图2的功能至电脑装置。于CPU401运行3D模型生成程序的状态中，相机420、距离传感器430、及CPU401是扫描单元41的其中一个实施例。CPU 401是处理单元42、存取单元43、及取得单元46的其中一个实施例。储存装置403及存储器402的其中至少一方是储存单元44的其中一个实施例。通信IF 404是通信单元45的其中一个实施例。
图4是服务器的硬件组成例示图。服务器10是具有CPU 101、存储器102、储存装置103、及通信IF 404的电脑装置。CPU 101是遵从程序进行各种演算的控制装置。存储器102是作为CPU 401运行处理时的工作区域工作的主记忆装置。存储器102包含例如RAM及ROM。储存装置103是储存各种资料及程序的辅助储存装置。储存装置103包含例如SSD及/又或者是HDD。通信IF104是遵从预设的通信规格(例如以太网络)与其他的装置通信的装置，包含例如NIC。
于此例中，储存在储存装置103的程序里，包含为了使电脑装置作为在3D资料系统1的服务器10运作的程序(下面以“服务器程序”称呼)。CPU101借由运行服务器程序安装图2的功能至电脑装置。于CPU 101运行服务器程序的状态中，储存装置103及存储器102的其中至少一方是储存单元11的其中一个实施例。CPU 101是学习单元12的其中一个实施例。
虽然省略详细的说明，服务器20及终端装置30各自具有作为电脑装置的硬件组成。终端装置30所具有的显示装置是输出单元31的其中一个实施例。终端装置30具有的CPU是取得单元33的其中一个实施例。
2-2.动作
以下说明3D资料系统1的动作。3D资料系统1的动作可以大致区分为学习及资料生成。学习是使机械学习模型112学习的处理。资料生成是使用机械学习模型112生成3D建模资料的处理。
2-2-1.学习
图5是例示有关学习的处理的流程图。图5的流程，例如，以满足预设的启动条件为契机启动。此启动条件是，例如，追加新的资料至教师资料113的条件。
于步骤S101中，储存单元11储存机械学习模型112。于最初的状态，机械学习模型112是尚未完成学习的模型。于步骤S102中，储存单元11储存教师资料113。
于步骤S103中，学习单元12给予教师资料113至机械学习模型112，使机械学习模型112学习。具体来说，学习单元12将拍摄到的衣服的图像作为教师资料给予至机械学习模型112的输入层，那个衣服的3D建模资料、骨骼资料、及蒙皮权重作为教师资料给予至输出层。
只要满足预设的结束条件的话，学习单元12就会结束学习。只要学习结束的话，机械学习模型112就会成为学习完成的模型。虽然这里使用教师资料113使机械学习模型学习的例子来说明，使用教师资料213使机械学习模型212学习的情况也相同。
2-2-2.资料生成
图6是例示有关资料生成的处理的时序图。图6的处理，例如，以满足预设的启动条件为契机启动。此启动条件是，例如，于3D扫描器40中由使用者指示3D建模资料的生成的条件。
于步骤S201中，扫描单元41将目标物也就是衣服做扫描。储存单元44，储存借由扫描单元41得到的图像资料及距离资料(步骤S202)。于步骤S203中，存取单元43存取机械学习模型112。具体来说，存取单元43，输入借由扫描单元41得到的图像资料及距离资料至机械学习模型112。机械学习模型112，输出对应所输入的图像资料及距离资料的3D建模资料、骨骼资料、及蒙皮权重(步骤S204)。存取单元43，要求将从机械学习模型112输出的3D建模资料、骨骼资料、蒙皮权重写入至资料库111(步骤S205)。此要求包含跟此衣服有关的附属资料，例如衣服ID。衣服ID，例如，由操作3D扫描器40的使用者所输入。于服务器10中，储存单元11储存从机械学习模型112输出的3D建模资料、骨骼资料、蒙皮资料、及附属资料至资料库111(步骤S206)。
于终端装置30中，取得单元33配合从使用者来的指示，又或者是由程序自动地对服务器10要求输出资料的提供(步骤S206)。终端装置30的使用者可以是与操作3D扫描器40扫描目标衣服的使用者不同的使用者，也可以是同个使用者。此要求包含可以特定出衣服的资讯，例如衣服ID。输出资料指的是，将3D建模资料自己本身又或者是将3D建模资料处理过后的结果(例如，预设于3D模型又或者是使之做指示的动作的动画)呈现的资料。服务器10输出要求的输出资料。例如，服务器10输出从资料库111读取到的3D建模资料至终端装置30。取得单元33取得从服务器10输出的资料(步骤S207)。输出单元31使用输出资料输出图像(步骤S208)输出单元31可以输出让使用者的3D模型穿上目标衣服的图像，也可以输出(没有使用者的)目标衣服单独的图像。对使用者输出穿上目标衣服的图像的情况，控制单元32取得使用者的3D建模资料(第3取得单元的其中一个实施例)，进行合成使用者的3D模型与衣服的3D模型的处理(合成单元的其中一个实施例)。由于目标衣服的3D建模资料里设定有骨骼资料及蒙皮权重，所以可以让衣服配合使用者的3D模型的动作动起来。使用者的3D建模资料储存于资料库111等的资料库。
3.第2实施例
接下来，说明第2实施例。对于与第1实施例功能的概要共通的要素会使用相同的符号、并省略详细的说明。
3-1.组成
图7是有关第2实施例的3D资料系统2的功能组成例示图。3D资料系统2具有储存单元11、学习单元12、扫描单元41、处理单元42、存取单元43、储存单元44、通信单元45、生成单元47、输出单元48、输出单元31、控制单元32、及取得单元33。储存单元11储存各种资料。储存单元11储存的资料里，包含资料库111、机械学习模型212及教师资料213。
机械学习模型212是被用于机械学习的模型。机械学习模型212具有输入层、中间层、及输出层。于最初的时间点，机械学习模型212是还没学习的(也就是说尚未完成学习)模型。教师资料213，针对多个的各个衣服，包含拍摄到的衣服图像、那个衣服的3D建模资料、及纸型资料。纸型资料是显示制作那个衣服时用的纸型的形状及大小的资料。纸型资料由制作那个衣服的业者所提供。又或者是，纸型资料也可以是由3D资料系统2的工作人员将衣服分解等，并以手册制作而成。
学习单元12使用教师资料213使机械学习模型212学习。教师资料213以预设的时间点追加又或者是更新，机械学习模型212也可以使用追加又或者是更新后的教师资料213追加又或者是再度学习。
存取单元43存取机械学习模型212。存取单元43，将拍摄到的目标衣服的图像输入至机械学习模型212，取得目标衣服的纸型资料(第1取得单元的其中一个实施例)。输出单元48，对生成单元47，输出3D模型生成的要求。此要求包含目标衣服的纸型资料。生成单元47只要被输入衣服的纸型资料的话，就会生成那个衣服的3D建模资料、骨骼资料、及蒙皮权重。生成单元47，借由预设的演算法，生成衣服的纸型资料3D建模资料、骨骼资料、及蒙皮权重。又或者是，生成单元47也可以使用机械学习生成3D建模资料、骨骼资料、及蒙皮权重。这个情况，针对多个的衣服，纸型资料、3D建模资料、骨骼资料、及蒙皮权重被作为教师资料使用。于此机械学习模型，将纸型资料输入至输入层，将3D建模资料、骨骼资料、及蒙皮权重输入至输出层。存取单元43从生成单元47取得3D建模资料、骨骼资料、及蒙皮权重(第2取得单元的其中一个实施例)。
3-2.动作
图8是例示有关第2实施例的资料生成处理的时序图。图6的处理，例如，以满足预设的启动条件为契机启动。此启动条件是，例如，于3D扫描器40中由使用者指示3D建模资料的生成的条件。
于步骤S301中，扫描单元41将目标物也就是衣服做扫描。储存单元44储存借由扫描单元41得到的图像资料及距离资料(步骤S302)。于步骤S203中，存取单元43存取机械学习模型212。具体来说，存取单元43将借由扫描单元41得到的图像资料及距离资料输入至机械学习模型212。机械学习模型112，输出对应输入的图像资料及距离资料的纸型资料(步骤S304)。
存取单元43，对生成单元47，要求3D模型的生成(步骤S305)此要求包含目标衣服的纸型资料。生成单元47，配合此要求，生成目标衣服的3D建模资料、骨骼资料、及蒙皮权重(步骤S306)。存取单元43，取得于生成单元47中生成的，目标衣服的3D建模资料、骨骼资料、及蒙皮权重(步骤307)。存取单元43要求将由生成单元47生成的目标衣服的3D建模资料、骨骼资料、蒙皮权重写入至资料库111(步骤S308)。此要求包含与此衣服有关的附属资料，例如衣服ID。衣服ID，例如，由操作3D扫描器40的使用者所输入。于服务器10中，储存单元11储存从机械学习模型212输出的纸型资料及附属资料至资料库111(步骤S309)。
于终端装置30中，取得单元33，配合从使用者来的指示，又或者是由程序自动地对服务器10要求输出资料的提供(步骤S310)。服务器10提供输出资料至终端装置30(步骤S310)。输出单元31使用输出资料输出图像(步骤S311)。这些处理与于第1实施例的步骤S206～S208相同。
4.变形例
本发明不受限于上述的实施例，可以有各种的变形实施。以下，说明数个变形例。也可以将于以下的变形例记载的事项中2个以上的事项做组合应用。
组成3D资料系统1的装置，及对各装置的功能的分工，不受限于于实施例中说明过的例子。例如，于第1实施例中，机械学习模型112也可以安装于与服务器10不同的装置。于第2实施例中，机械学习模型212与生成单元47也可以分别各自安装到不同的装置。于第1实施例及第2实施例的至少其中一方，也可以安装相当于处理单元42及存取单元43的功能于不是3D扫描器40的服务器10又或者是别的服务器。这个情况3D扫描器40只进行目标衣服的扫描及附属资料的输入接收，之后的处理由这个服务器进行。又或者是，也可以作为于实施例中具有服务器10的说明过的功能的至少其中一部分安装于3D扫描器40。
3D资料系统1也可以配合教师资料113的资料量改变自动化的程度。例如，在教师资料113的资料量比第1门槛值少，机械学习模型112还没学习的情况，3D扫描器40的存取单元43，存取资料库111，检索与扫描到的衣服类似的图像。类似的衣服，例如将图像资料作为关键做检索。于此加上，又或者是替代，类似的衣服也可以将包含于附属资料的品牌名或型号等的资讯作为关键做检索。发现到类似的3D建模资料的情况，3D扫描器40会输出为了编辑发现到的3D建模资料及相对应的骨骼资料及蒙皮权重的画面。使用者可以于此画面编辑与目标衣服类似的衣服的3D建模资料，生成目标衣服的3D建模资料、骨骼资料、蒙皮权重。对于3D资料系统2也相同。教师资料113的资料量超过第1门槛值的情况，3D扫描器40，会输出为了让使用者编辑针对目标衣服所生成的3D建模资料、骨骼资料、蒙皮权重的的画面。使用者可以于此画面编辑目标衣服的3D建模资料、骨骼资料、及蒙皮权重。又此处理，也可以进行于于先前的变形例中教师资料113的资料量比第1门槛值大且比第2门槛值小的情况。
服务器10可以是物理的服务器，也可以是所谓的云端上的虚拟服务器。
由CPU 441等运行的程序可以通过网际网络等的网络下载，也可以提供在CD-ROM等储存于储存媒体的状态下。

Claims (5)

1.一种3D资料系统，其特征在于，具有：
存取单元，存取机械学习模型，该机械学习模型是针对多个的各个衣服，将该衣服扫描得到的图像资料及距离资料作为教师资料给予至输入层，并将该衣服的3D建模资料、骨骼资料、以及蒙皮权重作为教师资料给予至输出层，并使之学习的机械学习模型；以及
取得单元，将目标衣服扫描得到的图像资料及距离资料输入至所述机械学习模型，并取得该目标衣服的3D建模资料、骨骼资料、及蒙皮权重；以及
储存单元，储存所述目标衣服的3D建模资料、骨骼资料、及蒙皮权重。
2.一种3D资料系统，其特征在于，具有：
存取单元，存取机械学习模型，该机械学习模型是针对多个的各个衣服，将该衣服扫描得到的图像资料及距离资料作为教师资料给予至输入层，将制造该衣服时用的纸型资料作为教师资料给予至输出层，并使之学习的机械学习模型；以及
第一取得单元，将目标衣服扫描得到的图像资料及距离资料输入至所述机械学习模型，取得该目标衣服的纸型资料；以及
输出单元，输出要求，该要求为对应使用衣服的纸型资料输出该衣服的3D建模资料、骨骼资料、及蒙皮权重的3D模型生成系统的3D模型的生成的要求，并包含所述目标衣服的纸型资料；以及
第二取得单元，从所述3D模型生成系统取得所述目标衣服的3D建模资料、骨骼资料、及蒙皮权重；以及
储存单元，储存所述目标衣服的该3D建模资料、该骨骼资料、及该蒙皮权重。
3.如权利要求1或2所述的3D资料系统，其特征在于，具有：
第三取得单元，取得使用者的3D建模资料；以及
合成单元，合成使所述使用者的3D模型穿上所述目标衣服的3D模型。
4.一种3D资料生成方法，其特征在于，具有：
存取机械学习模型的步骤，该机械学习模型是针对多个的各个衣服，将该衣服扫描得到的图像资料及距离资料作为教师资料给予至输出层，将该衣服的3D建模资料、骨骼资料、及蒙皮权重作为教师资料给予至输出层，并使之学习的机械学习模型；以及
取得步骤，将目标衣服扫描得到的图像资料及距离资料输入至所述机械学习模型，取得该目标衣服的3D建模资料、骨骼资料、及蒙皮权重；以及
储存步骤，储存所述目标衣服的3D建模资料、骨骼资料、及蒙皮权重。
5.一种3D资料生成方法，其特征在于，具有：
存取机械学习模型的步骤，该机械学习模型是针对多个的各个衣服，将该衣服扫描得到的图像资料及距离资料作为教师资料给予至输入层，将制造该衣服时用的纸型资料作为教师资料给予至输出层，并使之学习的机械学习模型；以及
第一取得步骤，将目标衣服扫描得到的图像资料及距离资料输入至所述机械学习模型，取得该目标衣服的纸型资料；以及
输出步骤，输出要求，该要求为对使用衣服的纸型资料输出该衣服的3D建模资料、骨骼资料、及蒙皮权重的3D模型生成系统，并包含所述目标衣服的纸型资料的3D模型的生成；以及
第二取得步骤，从所述3D模型生成系统取得所述目标衣服的3D建模资料、骨骼资料、及蒙皮权重；以及
储存步骤，储存所述目标衣服的3D建模资料、骨骼资料、及蒙皮权重。
CN202080069529.2A 2020-07-27 2020-07-27 3d资料系统及3d资料生成方法 Pending CN115004240A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/028760 WO2022024200A1 (ja) 2020-07-27 2020-07-27 ３ｄデータシステム及び３ｄデータ生成方法

Publications (1)

Publication Number Publication Date
CN115004240A true CN115004240A (zh) 2022-09-02

Family

ID=73836106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080069529.2A Pending CN115004240A (zh) 2020-07-27 2020-07-27 3d资料系统及3d资料生成方法

Country Status (6)

Country Link
US (1) US20230196667A1 (zh)
EP (1) EP4191540A1 (zh)
JP (1) JP6804125B1 (zh)
CN (1) CN115004240A (zh)
TW (1) TWI771106B (zh)
WO (1) WO2022024200A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7023558B1 (ja) * 2021-06-22 2022-02-22 株式会社Vrc 情報処理装置、３ｄシステム、及び情報処理方法
JP7220324B1 (ja) * 2022-09-30 2023-02-09 株式会社Zozo グレーディングのためのシステム、方法、およびプログラム
JP7418677B1 (ja) 2023-07-10 2024-01-22 株式会社Laila 情報処理システム、情報処理方法、及び情報処理プログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366402A (zh) * 2013-08-05 2013-10-23 上海趣搭网络科技有限公司 三维虚拟服饰的快速姿态同步方法
CN105139446A (zh) * 2015-08-07 2015-12-09 河海大学常州校区 一种基于kinect的全息虚拟试衣系统
CN105528808A (zh) * 2016-02-29 2016-04-27 华中师范大学 荆楚民间故事泥塑人物数字化三维模型合成方法及系统
CN106228592A (zh) * 2016-09-12 2016-12-14 武汉布偶猫科技有限公司 一种服装三维模型自动绑定蒙皮信息的方法
CN107067460A (zh) * 2016-01-07 2017-08-18 广东京腾科技有限公司 一种虚拟试衣方法、装置及系统
CN108537888A (zh) * 2018-04-09 2018-09-14 浙江大学 一种基于骨架的快速试衣方法
CN109427007A (zh) * 2018-09-17 2019-03-05 叠境数字科技（上海）有限公司 基于多视角的虚拟试衣方法
CN109615683A (zh) * 2018-08-30 2019-04-12 广州多维魔镜高新科技有限公司 一种基于3d服装模型的3d游戏动画模型制作方法
CN110634177A (zh) * 2018-06-21 2019-12-31 华为技术有限公司 一种物体建模运动方法、装置与设备
CN110838182A (zh) * 2019-11-13 2020-02-25 恒信东方文化股份有限公司 一种图像贴合人台的方法及其系统
CN111028321A (zh) * 2019-12-16 2020-04-17 网易（杭州）网络有限公司 蒙皮检测方法、装置以及电子终端
CN111369649A (zh) * 2018-12-26 2020-07-03 苏州笛卡测试技术有限公司 一种基于高精度三维扫描模型的制作计算机蒙皮动画的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5232129B2 (ja) * 2009-11-24 2013-07-10 日本放送協会 仮想キャラクタ生成装置及び仮想キャラクタ生成プログラム
NL1037949C2 (nl) * 2010-05-10 2011-11-14 Suitsupply B V Werkwijze voor het op afstand bepalen van kledingmaten.
DE102015210453B3 (de) * 2015-06-08 2016-10-13 Bitmanagement Software GmbH Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimensionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts
DE102015213832B4 (de) 2015-07-22 2023-07-13 Adidas Ag Verfahren und Vorrichtung zum Erzeugen eines künstlichen Bildes
JP2017037424A (ja) * 2015-08-07 2017-02-16 日本放送協会 学習装置、認識装置、学習プログラム、及び認識プログラム
CN110021061B (zh) * 2018-01-08 2021-10-29 Oppo广东移动通信有限公司 搭配模型构建方法、服饰推荐方法、装置、介质及终端
JP2019204476A (ja) * 2018-05-17 2019-11-28 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 画像生成装置、画像生成方法及びプログラム
JP7262937B2 (ja) * 2018-06-29 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN109871589A (zh) * 2019-01-23 2019-06-11 广东康云科技有限公司 基于三维人体建模的智能制衣系统及方法
CN109949208B (zh) * 2019-02-21 2023-02-07 深圳市广德教育科技股份有限公司 基于互联网3d服装样板自动生成系统
CN110189413A (zh) * 2019-05-31 2019-08-30 广东元一科技实业有限公司 一种生成衣服变形模型的方法及系统
CN111311751A (zh) * 2020-02-12 2020-06-19 叠境数字科技（上海）有限公司 一种基于深度神经网络的三维衣服模型的重建方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366402A (zh) * 2013-08-05 2013-10-23 上海趣搭网络科技有限公司 三维虚拟服饰的快速姿态同步方法
CN105139446A (zh) * 2015-08-07 2015-12-09 河海大学常州校区 一种基于kinect的全息虚拟试衣系统
CN107067460A (zh) * 2016-01-07 2017-08-18 广东京腾科技有限公司 一种虚拟试衣方法、装置及系统
CN105528808A (zh) * 2016-02-29 2016-04-27 华中师范大学 荆楚民间故事泥塑人物数字化三维模型合成方法及系统
CN106228592A (zh) * 2016-09-12 2016-12-14 武汉布偶猫科技有限公司 一种服装三维模型自动绑定蒙皮信息的方法
CN108537888A (zh) * 2018-04-09 2018-09-14 浙江大学 一种基于骨架的快速试衣方法
CN110634177A (zh) * 2018-06-21 2019-12-31 华为技术有限公司 一种物体建模运动方法、装置与设备
CN109615683A (zh) * 2018-08-30 2019-04-12 广州多维魔镜高新科技有限公司 一种基于3d服装模型的3d游戏动画模型制作方法
CN109427007A (zh) * 2018-09-17 2019-03-05 叠境数字科技（上海）有限公司 基于多视角的虚拟试衣方法
CN111369649A (zh) * 2018-12-26 2020-07-03 苏州笛卡测试技术有限公司 一种基于高精度三维扫描模型的制作计算机蒙皮动画的方法
CN110838182A (zh) * 2019-11-13 2020-02-25 恒信东方文化股份有限公司 一种图像贴合人台的方法及其系统
CN111028321A (zh) * 2019-12-16 2020-04-17 网易（杭州）网络有限公司 蒙皮检测方法、装置以及电子终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VERICA LAZOVA等: "360-Degree Textures of People in Clothing from a Single Image", 《HTTPS://DOI.ORG/10.48550/ARXIV.1908.07117》 *

Also Published As

Publication number Publication date
TWI771106B (zh) 2022-07-11
TW202209266A (zh) 2022-03-01
JP6804125B1 (ja) 2020-12-23
JPWO2022024200A1 (zh) 2022-02-03
EP4191540A1 (en) 2023-06-07
WO2022024200A1 (ja) 2022-02-03
US20230196667A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
CN115004240A (zh) 3d资料系统及3d资料生成方法
KR101906431B1 (ko) ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템
CN110135226B (zh) 表情动画数据处理方法、装置、计算机设备和存储介质
CN112598785B (zh) 虚拟形象的三维模型生成方法、装置、设备及存储介质
JP6013642B2 (ja) 体験コンテンツデータセットに関するキャンペーン最適化
US10713850B2 (en) System for reconstructing three-dimensional (3D) human body model using depth data from single viewpoint
JP6448839B1 (ja) 画像生成装置、画像生成器、画像識別器、画像生成プログラム、及び、画像生成方法
JP2019204476A (ja) 画像生成装置、画像生成方法及びプログラム
US10818078B2 (en) Reconstruction and detection of occluded portions of 3D human body model using depth data from single viewpoint
JP2016512363A (ja) コンテンツ作成ツール
KR100900823B1 (ko) 캐릭터 애니메이션 시 피부의 주름 실시간 표현 방법 및장치
JP2019175321A (ja) 画像評価装置、画像評価方法及びコンピュータプログラム
JP2008140385A (ja) キャラクタアニメーション時の皮膚のしわのリアルタイム表現方法及び装置
CN110781820B (zh) 游戏角色的动作生成方法、装置、计算机设备及存储介质
US10706509B2 (en) Interactive system for automatically synthesizing a content-aware fill
CN116342765A (zh) 基于照片的虚拟人模型生成方法、装置、设备及存储介质
JP2020080049A (ja) 推定システム、及び推定装置
JP6958885B1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111696180A (zh) 一种虚拟仿真人的生成方法、系统、装置和存储介质
JP2007026088A (ja) モデル生成装置
CN110163063B (zh) 表情处理方法、装置、计算机可读存储介质和计算机设备
CN111013152A (zh) 游戏模型动作的生成方法、装置及电子终端
US11948248B2 (en) Three-dimensional (3D) model generation from two-dimensional (2D) images
JP6437811B2 (ja) 表示装置及び表示方法
WO2022269708A1 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220902