CN107369202B - 姿势引导的跨类别三维模型组合建模方法及装置 - Google Patents

姿势引导的跨类别三维模型组合建模方法及装置 Download PDF

Info

Publication number
CN107369202B
CN107369202B CN201710558801.3A CN201710558801A CN107369202B CN 107369202 B CN107369202 B CN 107369202B CN 201710558801 A CN201710558801 A CN 201710558801A CN 107369202 B CN107369202 B CN 107369202B
Authority
CN
China
Prior art keywords
model
components
models
regions
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710558801.3A
Other languages
English (en)
Other versions
CN107369202A (zh
Inventor
陈小武
符强
周彬
赵沁平
王晓天
温思嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710558801.3A priority Critical patent/CN107369202B/zh
Priority to US15/792,717 priority patent/US10521955B2/en
Publication of CN107369202A publication Critical patent/CN107369202A/zh
Application granted granted Critical
Publication of CN107369202B publication Critical patent/CN107369202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种姿势引导的跨类别三维模型组合建模方法及装置，该方法包括：接收用户输入的第一姿势模型；分别计算所述第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度；其中，所述模型数据库中包括多个分割为模型部件的模型，以及与各所述模型对应的第二姿势模型；所述q个第一区域与所述q个第二区域一一对应，q为大于或等于2的整数；根据所述相似度，选择与第二姿势模型的q个第二区域对应的多个模型部件；将选择的多个模型部件进行组合，生成三维模型。本发明实施例能够对结构差异较大的跨类的模型进行组合。

Description

姿势引导的跨类别三维模型组合建模方法及装置
技术领域
本发明实施例涉及三维几何建模技术，尤其涉及一种姿势引导的跨类别三维模型组合建模方法及装置。
背景技术
随着3D建模技术的发展以及模型资源的丰富，三维模型组合建模方法近年来受到了越来越多的关注，其中，跨类别三维模型组合建模由于不受模型种类的限制，可以产生更为丰富的组合建模结果，使其成为一个重要的研究热点。
现有技术中，对跨类别三维模型组合建模时，其中输入是两个或多个分割好的模型，且这些模型之间存在对应关系，通过对各个模型之间有对应关系的功能性子结构进行替换，从而得到大量的三维模型。
然而，上述方法只能对结构相似的模型之间进行跨类组合，对于结构差异较大的跨类的模型进行组合时，上述方法并不适用，因此，如何对结构差异较大的跨类的模型进行组合，是目前亟待解决的技术问题。
发明内容
本发明实施例提供一种姿势引导的跨类别三维模型组合建模方法及装置，以解决如何对结构差异较大的跨类的模型进行组合的技术问题。
第一方面，本发明实施例提供一种姿势引导的跨类别三维模型组合建模方法，包括：
接收用户输入的第一姿势模型；
分别计算所述第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度；其中，所述模型数据库中包括多个分割为模型部件的模型，以及与各所述模型对应的第二姿势模型；所述q个第一区域与所述q个第二区域一一对应，q为大于或等于2的整数；
根据所述相似度，选择与第二姿势模型的q个第二区域对应的多个模型部件；
将选择的多个模型部件进行组合，生成三维模型。
可选地，所述分别计算所述第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度，包括：
分别根据公式
Figure BDA0001346389490000021
计算所述第一姿势模型中q个第一区域与每个所述第二姿势模型的q个第二区域之间的相似度；其中，D(po,pk,j)为第j个第一区域与第j个第二区域之间的相似度，j为小于或等于p的正整数，其中po为第一姿势模型中的姿势，pk为第k个第二姿势模型中的姿势，xo(i)和xk(i)为po和pk所对应骨架的参数，且i＝1,…,19，ωi为权重，
Figure BDA0001346389490000022
和
Figure BDA0001346389490000023
分别为第j个第二区域的中心骨骼点坐标。
可选地，所述根据所述相似度，选择与第二姿势模型的q个第二区域对应的模型部件，包括：
将各所述第二区域对应的多个相似度按照从大到小的顺序进行排序；
针对每个所述第二区域，选择前n个相似度对应的模型部件；
其中，n为正整数。
可选地，所述选择前n个相似度对应的模型部件，包括：
针对每个所述第二区域，在所述模型数据库中，分别选择同类别的前s个相似度对应的模型部件，直至从所有的类别中选择的模型部件数为n，其中，s为小于或等于n的正整数。
可选地，所述将选择的多个模型部件进行组合，生成三维模型之前，所述方法还包括：
判断各模型部件对应的模型类别之间是否能够进行组合；
若所述各模型部件对应的模型类别之间能够进行组合，则执行将选择的多个模型部件进行组合，生成三维模型的步骤。
可选地，所述将选择的多个模型部件进行组合，生成三维模型，包括：
根据各模型部件对应的第二区域，选取与该模型部件关联的功能部件；
通过所述功能部件，将选择的多个模型部件进行组合，生成三维模型。
可选地，所述将选择的多个模型部件进行组合，生成多个三维模型之后，所述方法还包括：
依次根据公式E(Gm)＝E1(p0,Gm)+βE2(ym)+γE3(ym,C)计算多个三维模型的能量值，其中，E(Gm)为第m个所述三维模型的能量值，Gm为第m个三维模型组，xo为第一姿势模型特征，β＝10,γ＝0.1，其中，
Figure BDA0001346389490000031
Figure BDA0001346389490000032
E1(po,Gm)表示三维模型组Gm中四个第二姿势模型的使用姿势与第一姿势模型相对于对应区域的相似度之和，E2(ym)为模型类别的组合兼容性，其中ym为一个二值向量，每个元素对应一个类别，A为模型组合兼容性权重矩阵，E3(ym,C)为用户约束项，C为用户输入的模型类别集合，c为C中的一个模型类别；
对多个所述能量值进行排序，并将排序后的能量值对应的三维模型推送给所述用户。
第二方面，本发明实施例提供一种姿势引导的跨类别三维模型组合建模装置，包括：
接收模块，用于接收用户输入的第一姿势模型；
计算模块，用于分别计算所述第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度；其中，所述模型数据库中包括多个分割为模型部件的模型，以及与各所述模型对应的第二姿势模型；所述q个第一区域与所述q个第二区域一一对应，q为大于或等于2的整数；
选择模块，用于根据所述相似度，选择与第二姿势模型的q个第二区域对应的多个模型部件；
生成模块，用于将选择的多个模型部件进行组合，生成三维模型。
可选地，所述计算模块具体用于：
分别根据公式
Figure BDA0001346389490000033
计算所述第一姿势模型中q个第一区域与每个所述第二姿势模型的q个第二区域之间的相似度；其中，D(po,pk,j)为第j个第一区域与第j个第二区域之间的相似度，j为小于或等于p的正整数，其中po为第一姿势模型中的姿势，pk为第k个第二姿势模型中的姿势，xo(i)和xk(i)为po和pk所对应骨架的参数，且i＝1,…,19，ωi为权重，
Figure BDA0001346389490000041
和
Figure BDA0001346389490000042
分别为第j个第二区域的中心骨骼点坐标。
可选地，所述选择模块具体用于：
将各所述第二区域对应的多个相似度按照从大到小的顺序进行排序；
针对每个所述第二区域，选择前n个相似度对应的模型部件；
其中，n为正整数。
可选地，所述选择模块具体用于：
针对每个所述第二区域，在所述模型数据库中，分别选择同类别的前s个相似度对应的模型部件，直至从所有的类别中选择的模型部件数为n，其中，s为小于或等于n的正整数。
可选地，所述装置还包括：判断模块；其中，
所述判断模块，用于判断各模型部件对应的模型类别之间是否能够进行组合；
所述生成模块，用于在所述判断模块判断出所述各模型部件对应的模型类别之间能够进行组合时，将选择的多个模型部件进行组合，生成三维模型。
可选地，所述生成模块，具体用于：
根据各模型部件对应的第二区域，选取与该模型部件关联的功能部件；
通过所述功能部件，将选择的多个模型部件进行组合，生成三维模型。
可选地，所述计算模块具体用于：
依次根据公式E(Gm)＝E1(p0,Gm)+βE2(ym)+γE3(ym,C)计算多个三维模型的能量值，其中，E(Gm)为第m个所述三维模型的能量值，Gm为第m个三维模型组，xo为第一姿势模型特征，β＝10,γ＝0.1，其中，
Figure BDA0001346389490000043
Figure BDA0001346389490000044
E1(po,Gm)表示三维模型组Gm中四个第二姿势模型的使用姿势与第一姿势模型相对于对应区域的相似度之和，E2(ym)为模型类别的组合兼容性，其中ym为一个二值向量，每个元素对应一个类别，A为模型组合兼容性权重矩阵，E3(ym,C)为用户约束项，C为用户输入的模型类别集合，c为C中的一个模型类别；
对多个所述能量值进行排序，并将排序后的能量值对应的三维模型推送给所述用户。
本发明实施例提供的姿势引导的跨类别三维模型组合建模方法及装置，通过接收用户输入的第一姿势模型；分别计算第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度；其中，模型数据库中包括多个分割为模型部件的模型，以及与各模型对应的第二姿势模型；q个第一区域与所述q个第二区域一一对应；根据相似度，选择与第二姿势模型的q个第二区域对应的多个模型部件；将选择的多个模型部件进行组合，生成三维模型。由于通过计算用户输入的第一姿势模型的第一区域与模型数据库中每个第二姿势模型的第二区域之间的相似度，根据相似度选择第二区域对应的多个模型部件，并对模型部件进行组合，因此可以对结构差异较大的跨类的模型进行组合。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的姿势引导的跨类别三维模型组合建模方法实施例一的流程示意图；
图2为第一姿势模型的结构示意图；
图3为模型数据库中包括的三维模型的示意图；
图4a为自行车模型的示意图；
图4b为图4a中模型的节点连接示意图
图5a为三轮车模型的示意图
图5b为图5a中模型的节点连接示意图；
图6a为模型部件组合一示意图；
图6b为模型部件组合另一示意图；
图6c为模型部件组合又一示意图；
图6d为图6c中模型的节点连接示意图；
图7为本发明姿势引导的跨类别三维模型组合建模装置实施例一的结构示意图；
图8为本发明姿势引导的跨类别三维模型组合建模装置实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的姿势引导的跨类别三维模型组合建模方法及装置，可以应用于创意设计、计算机辅助设计等领域，尤其适用于对不同类别的三维模型进行跨类别组合建模的场景中。在本发明实施例中，利用第一姿势模型中的人体姿势引导的跨类别三维模型组合建模方法能快速构建大量的跨类别组合三维模型，为三维动画制作、产品设计等应用提供三维素材。
本发明实施例主要针对的是如何对结构差异较大的不同类别的三维模型进行跨类别组合建模的技术问题。现有技术中，对三维模型组合建模时，其中输入是两个或多个分割好的模型，且这些模型分割后产生的部件之间存在对应关系，通过对各个模型部件之间有对应关系的功能性子结构进行替换，从而得到大量的三维模型，由于跨类别模型之间的部件关联关系难以确定，现有技术中只能对结构相似的模型类别之间进行跨类组合。
因此，本发明实施例提供的姿势引导的跨类别三维模型组合建模方法及装置，旨在解决如何对结构差异较大的不同类别的三维模型进行跨类组合建模的技术问题。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例提供的姿势引导的跨类别三维模型组合建模方法实施例一的流程示意图。如图1所示，该方法包括如下步骤：
步骤101：接收用户输入的第一姿势模型。
本发明实施例的执行主体可以为终端设备，例如可以为手机、计算机或平板电脑等。在本实施例中，图2为第一姿势模型的结构示意图，如图2所示，终端设备中可以预先存储有人体模型，用户通过向终端设备中输入参数，如输入后背的中心骨骼点的坐标或手部的中心骨骼点的坐标等，终端设备根据用户输入的参数以及预先存储的人体模型，将会生成人体姿势，即第一姿势模型。当然，用户也可以直接向终端设备输入第一姿势模型。
步骤102：分别计算第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度；其中，该模型数据库中包括多个分割为模型部件的模型，以及与各模型对应的第二姿势模型；q个第一区域与q个第二区域一一对应，q为大于或等于2的整数。
在本实施例中，在终端设备中将预先构建模型数据库，该模型数据库中包括多个被分割为模型部件的模型，以及与各模型对应的第二姿势模型。图3为模型数据库中包括的三维模型的示意图，如图3所示，该模型数据库中可以包括如下18类可以与用户直接交互的三维模型，如桌子、椅子、床、画架、健身器、电子琴、秋千、书架、沙发、台灯、柜子、平板电脑、滑板车、婴儿车、自行车、三轮车、手推车和轮椅，其中，终端设备可以对上述的各三维模型进行预分割处理后得到部件级的三维模型，如将桌子分割为桌面以及桌腿等，将椅子分割为把手、靠背、椅面和椅腿等。在分割完成后，可以将这些模型的结构用部件的关联图表示，即模型的部件为关联图的节点，如果两个部件相互连接，则部件之间存在一条边连接对应的两个节点，如桌面和桌腿相互连接，则将桌面和桌腿分别作为两个节点，且用一条边将这两个节点进行连接。
另外，模型数据库中还包括与上述各三维模型匹配的第二姿势模型。具体地，可以对模型数据库中的每个对象，标注其使用者的人体姿势，即编辑第二姿势模型，并调整其姿势与被标注的三维模型相匹配，因此，在模型数据库中的第二姿势模型有多个。需要说明的是，可以仅对模型数据库中的每个对象标注其使用者的人体姿势，如仅对椅子类别标注人体姿势，对桌子类别标注人体姿势，也可以对模型数据库中的每个三维模型标注人体姿势等，对于具体的标注方式，本实施例在此不作限制。标注完成后，还可以将第二姿势模型划分为q个第二区域，可选地，可以将第二姿势模型划分为四个第二区域，如划分为手部、背部、臀部和腿部，另外，对于分割后的模型部件，将与第二区域接触的部件被标注为不同的类别，以表示其使用功能性。如椅子被分割为把手、靠背、椅面和椅腿，则与手部接触的部件为把手，与背部接触的部件为靠背，与臀部接触的部件为椅面以及与腿部接触的部件为椅腿。
终端设备在接收到用户输入的第一姿势模型后，会自动将第一姿势模型划分为q个第一区域，可选地，可以将第一姿势模型划分为四个第一区域，如划分为手部、背部、臀部和腿部。划分完成后，将分别计算第一姿势模型的q个第一区域与模型数据库中每个第二姿势模型的q个第一区域之间的相似度，且q个第一区域与q个第二区域是一一对应的，例如：若将第一姿势模型划分为四个第一区域，分别为手部、背部、臀部和腿部，相应的，将模型数据库中的每个第二姿势模型也划分为四个第一区域，分别为手部、背部、臀部和腿部，终端设备将计算第一姿势模型中的手部与模型数据库中的每个第二姿势模型中的手部之间的相似度，计算第一姿势模型中的背部与模型数据库中的每个第二姿势模型中的背部之间的相似度，计算第一姿势模型中的臀部与模型数据库中的每个第二姿势模型中的臀部之间的相似度，计算第一姿势模型中的腿部与模型数据库中的每个第二姿势模型中的腿部之间的相似度，计算完成之后，将得到四个相似度的模型序列。
可选地，上述步骤102包括：分别根据公式(1)计算第一姿势模型中q个第一区域与每个第二姿势模型的q个第二区域之间的相似度：
Figure BDA0001346389490000081
其中，D(po,pk,j)为第j个第一区域与第j个第二区域之间的相似度，j为小于或等于p的正整数，其中po为第一姿势模型中的姿势，pk为第k个第二姿势模型中的姿势，xo(i)和xk(i)为po和pk所对应骨架的参数，且i＝1,…,19，ωi为权重，
Figure BDA0001346389490000082
和
Figure BDA0001346389490000083
分别为第j个第二区域的中心骨骼点坐标。
具体地，用户通过交互界面输入第一姿势模型之后，终端设备将第一姿势模型中的人体姿势定为po，将模型数据库中第k个第二姿势模型的人体姿势定为pk，则第一姿势模型中第j个第一区域与模型数据库中第k个第二姿势模型中第j个第二区域之间的相似度可以通过公式(1)进行计算。另外，骨架的参数包括骨架中关节点之间的转角。根据上述公式，可以针对每一个第一区域计算出一个相似度的序列。
步骤103：根据相似度，选择与第二姿势模型的q个第二区域对应的多个模型部件。
在本实施例中，终端设备在分别计算出第一姿势模型的q个第一区域与模型数据库中每个第二姿势模型的q个第二区域之间的相似度后，将根据计算出的相似度，从模型数据库中，选择出与第一姿势模型中的各第一区域之间的相似性较大的第二区域对应的模型部件。例如：如图2和图3所示，若图2中的第一姿势模型的第一区域包括手部和臀部，模型数据库中各模型对应的第二姿势模型的第二区域也包括手部和臀部，通过计算第一区域的手部和多个第二区域的手部之间的相似度之后，将选择相似度较大的一个或多个第二区域对应的手部对应的模型部件，如选择模型数据库中的自行车的把手模型部件、健身器材中的把手模型部件或三轮车中的把手模型部件中的一个或多个。在计算第一区域的臀部和多个第二区域的臀部之间的相似度之后，将选择相似度较大的一个或多个第二区域对应的臀部对应的模型部件，如选择模型数据库中的椅子的椅面模型部件、沙发中的坐面模型部件或三轮车中的坐面模型部件中的一个或多个。
可选地，上述步骤103具体可以包括：将各第二区域对应的多个相似度按照从大到小的顺序进行排序；针对每个第二区域，选择前n个相似度对应的模型部件，其中，n为正整数。
具体地，由于模型数据库中包括多个第二姿势模型，因此，对于每一个第二区域来说，根据公式(1)都可以计算出多个相似度，终端设备将计算出的多个相似度按照从大到小的顺序进行排序，并选择前n个相似度对应的模型部件，即选择与第一区域的较为相似的第二区域对应的模型部件。
进一步地，为了推荐出更为合理的组合模型，需要对选择出的模型进行组合筛选，为了确保更多类别的模型参与组合以及减少计算开销，在计算出各第二区域对应的多个相似度后，将在模型数据库中，分别选择同类别的前s个相似度对应的模型部件，直至从所有的类别中选择的模型部件数为n，其中，s为小于或等于n的正整数。具体地，终端设备在每一个第二区域对应的模型部件中，对于同类别的模型，将取前s个相似度对应的模型部件，例如：将从自行车的类别中取前3个相似度对应的模型部件，再从三轮车的类别中取前3个相似度对应的模型部件等，另外，可以只用整个相似度序列的前t个模型参与组合，例如：只用前9个模型参与组合等，由此可以得到一系列关于p个第二区域的模型组合，这样，可以避免选择的模型部件来自于单一模型的现象，从而可以保证更多类别的模型参与组合。
步骤104：将选择的多个模型部件进行组合，生成三维模型。
在本实施例中，在选择出多个模型部件之后，可以将选择的多个模型部件进行组合，以生成三维模型。其中，多个模型部件为不同第二区域对应的模型部件，如将背部对应的模型部件和手部对应的模型部件进行组合等。另外，生成的三维模型可以为一个，也可以为多个，对于三维模型的数量，本实施例在此不作限制。
在实际应用中，在进行多个模型部件之间的组合时，终端设备将根据每个选择的模型部件对应的第二区域抽取与该模型部件关联的功能部件，另外，用户还需要通过终端设备的交互界面向终端设备输入基座部件，终端设备将通过这些功能部件将多个模型部件进行组合。此外，图4a为自行车模型的示意图，图4b为图4a中模型的节点连接示意图，图5a为三轮车模型的示意图，图5b为图5a中模型的节点连接示意图，如图4a-图5b所示，为了将这些部件连接成完整的结构，终端设备首先将各个模型原有结构图中除功能节点外，度不为2的节点定为中继节点，度为2的节点定为连接节点，如图4b和图5b中实心节点表示中继节点，空心节点表示连接节点。图6a为模型部件组合一示意图，图6b为模型部件组合另一示意图，图6c为模型部件组合又一示意图，图6d为图6c中模型的节点连接示意图，如图6a-图6d所示，将图4b和图5b中的节点对应的部件按照第一姿势模型调整位置，取不重叠且与邻接的节点距离在新的结构和原有结构中相似的中继节点和连接节点，构成组合模型的结构关联图。例如：按照图2中所示的第一姿势模型，将三轮车的坐面模型部件、后轮模型部件与自行车的前轮模型部件以及把手模型部件进行组合，生成图6c中的三维模型。
可选地，为了生成多个使用者的组合模型，还可以在上述生成满足单一使用者模型方式的基础上，将通过上述方式生成的三维模型通过调整与其绑定第二姿势模型的中心位置进行组合，在用户选取基座部件以后，这些单一使用者的组合模型利用上述的组合方法会进一步的生成多个使用者的组合模型。
可选地，为了使得生成的三维模型更加合理，在将选择的多个模型部件进行组合，生成三维模型之前，还可以判断各模型部件对应的模型类别之间是否能够进行组合；若各模型部件对应的模型类别之间能够进行组合，再将选择的多个模型部件进行组合，生成三维模型。
具体地，终端设备可以采集用户输入的样本数据，该样本数据为用户对模型数据库中任意两个模型的对象类别是否能够组合的打分，终端设备根据该样本数据，即可得到模型类别两两之间的组合兼容性先验。例如：若某两个对象类别时间能够组合的打分低于预设值，则认为这两个对象类别之间不能组合，若该打分高于预设值，则认为这两个对象之间能够结合，终端设备将所有的类别两两之间判断完成后，会将判断结果进行保存。
终端设备在选择出多个模型部件后，将根据前述保存的结果判断这些部件所属的模型类别之间是否能够进行组合，在判断出能够组合后，再将选择的多个模型部件进行组合，若判断出不能够组合，再将向用户发出提示信息，以提醒用户该类别不能组合，或者终端设备将重新选择新的模型部件。由于在判断出各模型部件对应的模型类别之间能够进行组合时，再将多个模型部件进行组合，由此可以提高模型部件组合的合理性。
可选地，用户还可以根据自己的喜好或者实际情况在交互界面上输入模型对象的类别，终端设备将根据用户输入的模型类别，计算每个生成的三维模型的能量值，在实际应用中，将依次根据公式(2)计算多个三维模型的能量值，并对多个能量值进行排序，再将排序后的能量值对应的三维模型推送给用户。这样，终端设备可以根据用户的喜好或者实际情况，向用户推荐组合后的三维模型，由此可以提高用户的体验。
E(Gm)＝E1(p0,Gm)+βE2(ym)+γE3(ym,C) (2)
其中，E(Gm)为第m个三维模型的能量值，Gm为第m个三维模型组，xo为第一姿势模型特征，β＝10,γ＝0.1，其中，
Figure BDA0001346389490000121
Figure BDA0001346389490000122
E1(po,Gm)表示三维模型组Gm中四个第二姿势模型的使用姿势与第一姿势模型相对于对应区域的相似度之和，E2(ym)为模型类别的组合兼容性，其中ym为一个二值向量，每个元素对应一个类别，如果该组合中含有该类别，则ym取1，否则为0，A为模型组合兼容性权重矩阵，E3(ym,C)为用户约束项，C为用户输入的模型类别集合，c为C中的一个模型类别。
本发明实施例提供的姿势引导的跨类别三维模型组合建模方法，通过接收用户输入的第一姿势模型；分别计算第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度；其中，模型数据库中包括多个分割为模型部件的模型，以及与各模型对应的第二姿势模型；q个第一区域与所述q个第二区域一一对应；根据相似度，选择与第二姿势模型的q个第二区域对应的多个模型部件；将选择的多个模型部件进行组合，生成三维模型。由于通过计算用户输入的第一姿势模型的第一区域与模型数据库中每个第二姿势模型的第二区域之间的相似度，根据相似度选择第二区域对应的多个模型部件，并对模型部件进行组合，因此可以对结构差异较大的跨类的模型进行组合。另外，本发明中利用用户输入的第一姿势模型，可以产生跨类别的三维组合模型，提高了组合建模的自动化程度。
图7为本发明姿势引导的跨类别三维模型组合建模装置实施例一的结构示意图，该装置可以位于终端设备，参见图7所示，该装置包括：接收模块11、计算模块12、选择模块13和生成模块14，其中：
接收模块11用于接收用户输入的第一姿势模型；
计算模块12用于分别计算所述第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度；其中，所述模型数据库中包括多个分割为模型部件的模型，以及与各所述模型对应的第二姿势模型；所述q个第一区域与所述q个第二区域一一对应，q为大于或等于2的整数；
选择模块13用于根据所述相似度，选择与第二姿势模型的q个第二区域对应的多个模型部件；
生成模块14用于将选择的多个模型部件进行组合，生成三维模型。
本发明实施例提供的姿势引导的跨类别三维模型组合建模装置，接收模块11通过接收用户输入的第一姿势模型；计算模块12分别计算第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度；其中，模型数据库中包括多个分割为模型部件的模型，以及与各模型对应的第二姿势模型；q个第一区域与所述q个第二区域一一对应；选择模块13根据相似度，选择与第二姿势模型的q个第二区域对应的多个模型部件；生成模块14将选择的多个模型部件进行组合，生成三维模型。由于通过计算用户输入的第一姿势模型的第一区域与模型数据库中每个第二姿势模型的第二区域之间的相似度，根据相似度选择第二区域对应的多个模型部件，并对模型部件进行组合，因此可以对结构差异较大的跨类的模型进行组合。
可选地，计算模块12具体用于：
分别根据公式
Figure BDA0001346389490000131
计算所述第一姿势模型中q个第一区域与每个所述第二姿势模型的q个第二区域之间的相似度；其中，D(po,pk,j)为第j个第一区域与第j个第二区域之间的相似度，j为小于或等于p的正整数，其中po为第一姿势模型中的姿势，pk为第k个第二姿势模型中的姿势，xo(i)和xk(i)为po和pk所对应骨架的参数，且i＝1,…,19，ωi为权重，
Figure BDA0001346389490000132
和
Figure BDA0001346389490000133
分别为第j个第二区域的中心骨骼点坐标。
可选地，选择模块13具体用于：
将各所述第二区域对应的多个相似度按照从大到小的顺序进行排序；
针对每个所述第二区域，选择前n个相似度对应的模型部件；
其中，n为正整数。
可选地，选择模块13具体用于：
针对每个所述第二区域，在所述模型数据库中，分别选择同类别的前s个相似度对应的模型部件，直至从所有的类别中选择的模型部件数为n，其中，s为小于或等于n的正整数。
本发明实施例提供的姿势引导的跨类别三维模型组合建模装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图8为本发明姿势引导的跨类别三维模型组合建模装置实施例二的结构示意图，在图7所示实施例的基础上，该装置还包括：判断模块15，其中：
判断模块15用于判断各模型部件对应的模型类别之间是否能够进行组合；
生成模块14用于在所述判断模块15判断出所述各模型部件对应的模型类别之间能够进行组合时，将选择的多个模型部件进行组合，生成三维模型。
本发明实施例提供的姿势引导的跨类别三维模型组合建模装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
可选地，所述生成模块14具体用于：
根据各模型部件对应的第二区域，选取与该模型部件关联的功能部件；
通过所述功能部件，将选择的多个模型部件进行组合，生成三维模型。
可选地，所述计算模块12具体用于：
依次根据公式E(Gm)＝E1(p0,Gm)+βE2(ym)+γE3(ym,C)计算多个三维模型的能量值，其中，E(Gm)为第m个所述三维模型的能量值，Gm为第m个三维模型组，xo为第一姿势模型特征，β＝10,γ＝0.1，其中，
Figure BDA0001346389490000141
Figure BDA0001346389490000142
E1(po,Gm)表示三维模型组Gm中四个第二姿势模型的使用姿势与第一姿势模型相对于对应区域的相似度之和，E2(ym)为模型类别的组合兼容性，其中ym为一个二值向量，每个元素对应一个类别，A为模型组合兼容性权重矩阵，E3(ym,C)为用户约束项，C为用户输入的模型类别集合，c为C中的一个模型类别；
对多个所述能量值进行排序，并将排序后的能量值对应的三维模型推送给所述用户。
本发明实施例提供的姿势引导的跨类别三维模型组合建模装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种姿势引导的跨类别三维模型组合建模方法，其特征在于，包括：
接收用户输入的第一姿势模型；
分别计算所述第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度；其中，所述模型数据库中包括多个分割为模型部件的模型，以及与各所述模型对应的第二姿势模型；所述q个第一区域与所述q个第二区域一一对应，q为大于或等于2的整数；
根据所述相似度，选择与第二姿势模型的q个第二区域对应的多个模型部件；
将选择的多个模型部件进行组合，生成三维模型；
其中，所述分别计算所述第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度，包括：
分别根据公式
Figure FDA0002217834270000011
计算所述第一姿势模型中q个第一区域与每个所述第二姿势模型的q个第二区域之间的相似度；其中，D(po,pk,j)为第j个第一区域与第j个第二区域之间的相似度，j为小于或等于p的正整数，其中po为第一姿势模型中的姿势，pk为第k个第二姿势模型中的姿势，xo(i)和xk(i)为po和pk所对应骨架的参数，且i＝1,…,19，ωi为权重，
Figure FDA0002217834270000012
和
Figure FDA0002217834270000013
分别为第j个第二区域的中心骨骼点坐标。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相似度，选择与第二姿势模型的q个第二区域对应的模型部件，包括：
将各所述第二区域对应的多个相似度按照从大到小的顺序进行排序；
针对每个所述第二区域，选择前n个相似度对应的模型部件；
其中，n为正整数。
3.根据权利要求2所述的方法，其特征在于，所述选择前n个相似度对应的模型部件，包括：
针对每个所述第二区域，在所述模型数据库中，分别选择同类别的前s个相似度对应的模型部件，直至从所有的类别中选择的模型部件数为n，其中，s为小于或等于n的正整数。
4.根据权利要求1所述的方法，其特征在于，所述将选择的多个模型部件进行组合，生成三维模型之前，所述方法还包括：
判断各模型部件对应的模型类别之间是否能够进行组合；
若所述各模型部件对应的模型类别之间能够进行组合，则执行将选择的多个模型部件进行组合，生成三维模型的步骤。
5.根据权利要求1所述的方法，其特征在于，所述将选择的多个模型部件进行组合，生成三维模型，包括：
根据各模型部件对应的第二区域，选取与该模型部件关联的功能部件；
通过所述功能部件，将选择的多个模型部件进行组合，生成三维模型。
6.根据权利要求1所述的方法，其特征在于，所述将选择的多个模型部件进行组合，生成多个三维模型之后，所述方法还包括：
依次根据公式E(Gm)＝E1(p0,Gm)+βE2(ym)+γE3(ym,C)计算多个三维模型的能量值，其中，E(Gm)为第m个所述三维模型的能量值，Gm为第m个三维模型组，xo为第一姿势模型特征，β＝10,γ＝0.1，其中，
Figure FDA0002217834270000021
Figure FDA0002217834270000022
E1(po,Gm)表示三维模型组Gm中四个第二姿势模型的使用姿势与第一姿势模型相对于对应区域的相似度之和，E2(ym)为模型类别的组合兼容性，其中ym为一个二值向量，每个元素对应一个类别，A为模型组合兼容性权重矩阵，E3(ym,C)为用户约束项，C为用户输入的模型类别集合，c为C中的一个模型类别；
对多个所述能量值进行排序，并将排序后的能量值对应的三维模型推送给所述用户。
7.一种姿势引导的跨类别三维模型组合建模装置，其特征在于，包括：
接收模块，用于接收用户输入的第一姿势模型；
计算模块，用于分别计算所述第一姿势模型的q个第一区域与预设模型数据库中每个第二姿势模型的q个第二区域之间的相似度；其中，所述模型数据库中包括多个分割为模型部件的模型，以及与各所述模型对应的第二姿势模型；所述q个第一区域与所述q个第二区域一一对应，q为大于或等于2的整数；
选择模块，用于根据所述相似度，选择与第二姿势模型的q个第二区域对应的多个模型部件；
生成模块，用于将选择的多个模型部件进行组合，生成三维模型；
其中，所述计算模块具体用于：
分别根据公式
Figure FDA0002217834270000031
计算所述第一姿势模型中q个第一区域与每个所述第二姿势模型的q个第二区域之间的相似度；其中，D(po,pk,j)为第j个第一区域与第j个第二区域之间的相似度，j为小于或等于p的正整数，其中po为第一姿势模型中的姿势，pk为第k个第二姿势模型中的姿势，xo(i)和xk(i)为po和pk所对应骨架的参数，且i＝1,…,19，ωi为权重，
Figure FDA0002217834270000032
和
Figure FDA0002217834270000033
分别为第j个第二区域的中心骨骼点坐标。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：判断模块；其中，
所述判断模块，用于判断各模型部件对应的模型类别之间是否能够进行组合；
所述生成模块，用于在所述判断模块判断出所述各模型部件对应的模型类别之间能够进行组合时，将选择的多个模型部件进行组合，生成三维模型。
CN201710558801.3A 2017-07-10 2017-07-10 姿势引导的跨类别三维模型组合建模方法及装置 Active CN107369202B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710558801.3A CN107369202B (zh) 2017-07-10 2017-07-10 姿势引导的跨类别三维模型组合建模方法及装置
US15/792,717 US10521955B2 (en) 2017-07-10 2017-10-24 Posture-guided method and device for combination modeling of cross-category three-dimensional models

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710558801.3A CN107369202B (zh) 2017-07-10 2017-07-10 姿势引导的跨类别三维模型组合建模方法及装置

Publications (2)

Publication Number Publication Date
CN107369202A CN107369202A (zh) 2017-11-21
CN107369202B true CN107369202B (zh) 2020-04-21

Family

ID=60306036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710558801.3A Active CN107369202B (zh) 2017-07-10 2017-07-10 姿势引导的跨类别三维模型组合建模方法及装置

Country Status (2)

Country Link
US (1) US10521955B2 (zh)
CN (1) CN107369202B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414124B (zh) * 2019-07-25 2023-06-27 广联达科技股份有限公司 一种模型构件文件相似度的分析方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231192A (zh) * 2011-05-31 2011-11-02 福建物联天下信息科技有限公司 一种采集动作数据进行比对并得出比对相似度结果的系统
CN102831638A (zh) * 2012-07-06 2012-12-19 南京大学 一种采用手绘草图的三维人体多姿态建模方法
CN102999764A (zh) * 2012-10-30 2013-03-27 上海交通大学 图像中基于聚类的多物体检测方法
CN104978583A (zh) * 2014-04-11 2015-10-14 北京数码视讯科技股份有限公司 人物动作的识别方法及装置
CN104978762A (zh) * 2015-07-13 2015-10-14 北京航空航天大学 服装三维模型生成方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011090466A (ja) * 2009-10-21 2011-05-06 Sony Corp 情報処理装置及び方法、並びにプログラム
KR101796190B1 (ko) * 2010-12-23 2017-11-13 한국전자통신연구원 디지털 클론 생성 장치 및 방법
US20150134302A1 (en) * 2013-11-14 2015-05-14 Jatin Chhugani 3-dimensional digital garment creation from planar garment photographs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231192A (zh) * 2011-05-31 2011-11-02 福建物联天下信息科技有限公司 一种采集动作数据进行比对并得出比对相似度结果的系统
CN102831638A (zh) * 2012-07-06 2012-12-19 南京大学 一种采用手绘草图的三维人体多姿态建模方法
CN102999764A (zh) * 2012-10-30 2013-03-27 上海交通大学 图像中基于聚类的多物体检测方法
CN104978583A (zh) * 2014-04-11 2015-10-14 北京数码视讯科技股份有限公司 人物动作的识别方法及装置
CN104978762A (zh) * 2015-07-13 2015-10-14 北京航空航天大学 服装三维模型生成方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自动匹配虚拟人模型与运动数据;胡晓雁 等;《软件学报》;20061030;第17卷(第10期);2181-2191 *

Also Published As

Publication number Publication date
US20190012830A1 (en) 2019-01-10
CN107369202A (zh) 2017-11-21
US10521955B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
CN108510437B (zh) 一种虚拟形象生成方法、装置、设备以及可读存储介质
Kottur et al. SIMMC 2.0: A task-oriented dialog dataset for immersive multimodal conversations
Mok et al. An IGA-based design support system for realistic and practical fashion designs
Saul et al. SketchChair: an all-in-one chair design system for end users
Schulz et al. Design and fabrication by example
CN101958007B (zh) 一种采用草绘的三维动画姿态建模方法
Guerra-Filho et al. The human motion database: A cognitive and parametric sampling of human motion
CN102609991B (zh) 三维实体模型轻量化优化方法
CN104463788B (zh) 基于运动捕捉数据的人体运动插值方法
Akase et al. Automatic 3D furniture layout based on interactive evolutionary computation
CN107832558B (zh) 数字舞台创意场景智能生成方法
JP3638249B2 (ja) ３次元人体姿勢の検索方法および検索装置
Fu et al. Pose-inspired shape synthesis and functional hybrid
Zhou et al. Convertible furniture design
CN107369202B (zh) 姿势引导的跨类别三维模型组合建模方法及装置
CN115471641A (zh) 一种三维室内场景补全方法、装置、设备及存储介质
Guan et al. FAME: 3D shape generation via functionality-aware model evolution
Peng et al. Feature fusion based automatic aesthetics evaluation of robotic dance poses
Duncan et al. Zoomorphic design
CN105809742A (zh) 一种数据驱动的室内场景着色方法
Shao et al. VR and AR Technology used in Education in the Education of Packaging Design for Students
Gao The application of digital media art in film and television animation based on three-dimensional interactive technology
Matthews et al. A sketch-based articulated figure animation tool
Uludüz et al. Machine as the designer of generative solutions in chair design
Ouyang et al. Autoskin: Skeleton-based human skinning with deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant