CN110637324A - 三维数据系统以及三维数据处理方法 - Google Patents

Abstract

一种三维数据系统(1)，包括：图像获取单元(11)，用于获取通过拍摄目标对象的表面而获得的拍摄图像以及获取用于指示从参考点到表面的距离的距离信息；附加单元(21)，用于将个性数据附加到三维模型数据中，所述个性数据用于指示三维模型的动态的个性，所述三维模型数据用于指示目标对象的三维模型，三维模型是从拍摄图像和距离信息所获得；以及存储单元(22)，用于存储附加了个性数据的三维模型数据。

Description

三维数据系统以及三维数据处理方法

技术领域

本发明涉及处理三维数据的技术领域。

背景技术

将人或物品等拍摄下来、转换成三维数据、并在虚拟空间中使用是习知的技术。专利文献1描述了一种用于使人类的三维模型采取不同的姿势或执行动作的技术。详细而言，专利文献1揭露了在客体采取基本姿势以及基本姿势以外的变形姿势之后对客体拍摄，对于各个姿势来生成客体的三维模型数据，以及对模型的姿势之间进行比较，以检测各个部分的旋转支点。

先前技术文献

专利文献

专利文献1：日本特开2002-58045号公报

发明内容

欲解决的问题

根据专利文献1中公开的技术，是无法对三维模型数据赋予外观以外的个性。相较之下，本发明提供了一种技术，用于对三维模型数据赋予外观以外的个性。

解决问题的手段

本发明提供一种三维数据系统，包括：图像获取单元，用于获取通过拍摄客体对象的表面而获得的拍摄图像以及获取用于指示从参考点到表面的距离的距离信息；附加单元，用于将个性数据附加到三维模型数据中，个性数据用于指示三维模型的动态的个性，三维模型数据用于指示客体的三维模型，三维模型是从拍摄图像和距离信息所获得；以及存储单元，用于存储附加了个性数据的三维模型数据。

三维数据系统可包括估计单元，用于通过使用三维模型数据来估计客体的个性，其中附加单元将透过估计单元所估计出用于指示个性的数据附加为个性数据。

三维数据系统可包括：特征获取单元，用于从三维模型数据获取多个特征点；以及计算单元，用于计算与多个特征点的位置关系有关的特征值，其中估计单元使用特征值来估计客体的个性。

三维数据系统可包括分类单元，用于将客体分类至多个组之一，其中估计单元基于此分类来估计客体的个性。

分类单元可用于：基于从多个客体各个的拍摄图像所获得的特征值，将既存的多个客体分类至多个组；以及将客体分类至基于从既存的多个客体的特征值所获得的多个组之一。

特征获取单元从拍摄图像获取客体的静态的特征值，以及分类单元使用静态的特征值将客体分类至多个组之一。

图像获取单元可获取具有不同姿势的客体的多个拍摄图像，特征获取单元可从多个拍摄图像中获取客体的动态的特征值，以及分类单元可使用动态的特征值将客体分类至多个组之一。

多个组中的每一个可具有代表个性数据，代表个性数据用于指示代表组的个性，以及估计单元可将客体所属的组的代表个性数据所指示的个性估计为客体的个性。

多个组中的每一个具有代表特征值以及代表个性数据，代表特征值用于指示代表组的特征值，代表个性数据用于指示代表组的个性；图像处理装置包括校正单元，校正单元根据代表特征值以及从客体获得的特征值之间的差异来校正代表个性数据；估计单元将由校正单元校正的代表个性数据所指示的个性估计为客体的个性。基于从多个客体各个的拍摄图像获得的特征值，分类单元将既存的多个客体分类至多个组。对于多个组中的每一个，估计单元使用从具有不同姿势的多个拍摄图像获得的个性数据来作为代表个性数据，其中姿势是从相关于属于组的既存的客体的至少一部分获得的。

分类单元可根据分类后具有不同组数的多个等级中选择至少一个等级来对客体进行分类；以及估计单元用于：在多个等级中的第一等级的分类中，基于分类后的组中的特征值的代表值与客体的特征值之间的差异来估计客体的个性；以及在多个等级中的第二等级的分类中，将代表分类后的组的个性估计为客体的个性，其中第二等级在分类后的组数大于第一等级。

本发明也提供一种三维数据处理方法，包括：获取客体的表面的拍摄图像以及获取用于指示从参考点到表面的距离的距离信息；附加三维模型的动态的个性数据至三维模型数据中，三维模型数据用于指示由拍摄图像和距离信息所获得的客体的三维模型；以及存储已附加个性数据的三维模型数据。

而且，本发明提供一种三维数据系统，包括：图像获取单元，用于获取通过拍摄一被拍摄的对象的表面而获得的拍摄图像以及获取用于指示从参考点到表面的距离的距离信息；附加单元，用于将骨骼数据以及元数据附加至用于指示客体的三维模型的三维模型数据，骨骼数据用于指示用于向三维模型赋予动作的骨骼结构，元数据随附三维模型，三维模型是从拍摄图像和距离信息所获得；以及存储单元，用于存储附加了骨骼数据以及元数据的三维模型数据。

元数据可包括用于限制虚拟相机的位置或视角的数据，虚拟相机用于显示位于虚拟空间中的三维模型。

元数据可包括三维模型的声音数据。

发明的功效

根据本发明，可以对三维模型数据赋予外观以外的个性。

附图说明

图1示出了根据一实施例的三维数据系统1的示意图。

图2示出了三维数据系统1的功能配置。

图3示出了三维数据输入系统10的示例性的配置。

图4示出了三维数据处理系统20的示例性的硬体配置。

图5示出了根据一个实施例的三维数据系统1的示例性操作。

图6示出了客体的三维模型数据生成流程的细节。

图7示出了标准模型的示例性的调整。

图8示出了特征点之间的示例性的位置关系。

图9示出了对三维模型数据附加个性的过程的细节。

图10示出了对三维模型数据进行分类的过程。

图11示出了三维模型数据的动作。

图12示出了从脸部提取的特征点。

图13示出了使用三维模型数据的过程的细节。

图14示出了根据变形例1的三维数据系统1的概略。

符号说明

1…三维数据系统，

10…三维数据输入系统，

11…获取单元，

12…生成单元，

13…获取单元，

20…三维数据处理系统，

21…附加单元，

22…存储单元，

23…分类单元，

24…估计单元，

30…应用程序，

201…中央处理单元(CPU)，

202…记忆体，

203…存储器，

204…网络接口。

具体实施方式

1.配置

图1示出了根据一实施例的三维数据系统1的概略示意图。三维数据系统1是用于通过使用通过拍摄客体的表面而获得的图像(在下文中，此图像称为“拍摄图像”)来生成三维模型数据、存储此模型数据、以及将三维模型数据提供给应用程序以响应请求的系统。“客体”是指为其生成三维模型数据的对象，包括生物(例如人和动物)以及无生命的物体(例如玩偶或家具)。三维模型数据是指用于显示三维模型的数据。三维模型是指在三维虚拟空间中示出三维形状的数据。三维模型至少包括有关对象表面形状的信息以及有关表面颜色的信息。

三维数据系统1包括三维数据输入系统10、三维数据处理系统20以及应用程序30。三维数据输入系统10从拍摄图像生成三维模型数据。三维数据输入系统10包括例如所谓的三维扫描仪。三维数据处理系统20处理并存储由三维数据输入系统10生成的三维模型数据。应用程序30使用三维模型数据向用户提供产品或服务。尽管仅示出了一个三维数据输入系统10和一个应用程序30，但是三维数据系统1可以包括多个三维数据输入系统10和/或应用程序30。举例而言，三维数据输入系统10是本地系统，而三维数据处理系统20是网络系统，即所谓的云系统。

图2示出了三维数据系统1的功能配置。三维数据系统1包括获取单元11、生成单元12、附加单元21、存储单元22以及输出单元25。获取单元11获取拍摄图像和距离信息，而获取单元11是图像获取单元的一个例子。拍摄图像是通过拍摄客体的表面而获得的图像。距离信息是用于指示从参考点到表面的距离的信息。获取单元11从诸如相机等的拍摄装置以及距离传感器(两者均未在图2中示出)来获取拍摄图像和距离信息。生成单元12使用拍摄图像和距离信息来生成客体的三维模型数据。附加单元21将三维模型数据的动态的个性数据附加到生成单元12所生成的三维模型数据中。个性数据是用于指示三维模型的个性的数据，在许多情况下，其相应于客体的个性。在此例中，个性数据用于指示动态的个性。存储单元22存储了多种数据，例如附加了个性数据的三维模型数据。输出单元25响应来自应用程序30的请求输出三维模型数据和个性数据。

三维数据系统1还包括估计单元24。估计单元24通过使用三维模型数据来估计客体的个性。通过附加单元21被附加到三维模型数据的个性数据包括用于指示由估计单元24所估计出的个性的数据。

三维数据系统1还包括获取单元13和计算单元14。获取单元13(特征获取单元的一个例子)从三维模型数据(或从拍摄图像)获取多个特征点。这些特征点指的是指示与三维模型(或客体)的形状有关的特征的点(稍后将参照图7等进行描述)。计算单元14计算与多个特征点的位置关系有关的特征值。估计单元24使用特征值来估计作为对象的客体的个性。

三维数据系统1还包括分类单元23。分类单元23将客体分类至多个组之一。估计单元24基于此分类来估计作为对象的客体的个性。

在一实施例中，与多个特征点的位置关系有关的特征值用于指示三维模型的静态的特征。静态的特征指的是从单一姿势的客体获得的特征。另一方面，动态的特征指的是用于向三维模型赋予多个姿势(或动作)的特征(稍后将参照图11等进行描述)。如上所述，由估计单元24所估计的个性是客体的动态的个性，也就是，动态的特征。在此例中，估计单元24使用静态特征来估计动态特征。

在本实施例中，获取单元11、生成单元12、获取单元13以及计算单元14被设置在三维数据输入系统10中。附加单元21、存储单元22、分类单元23以及估计单元24被设置在三维数据处理系统20中。应当注意的是，三维数据输入系统10和三维数据处理系统20中的功能的分配仅为示例，功能和装置之间的对应关系不限于图2所示的例子。

图3示出了三维数据输入系统10的示例性的配置。在此例中，三维数据输入系统10是所谓的三维扫描仪。三维数据输入系统10包括传感器组SD、台座T、框体F以及图像处理装置100。传感器组SD包括了由照相机C和距离传感器D组成的多个组。在传感器组SD是固定的状态下，各个照相机C仅拍摄客体S的表面的有限的部分。距离传感器D检测从距离传感器D所安装的位置(作为基准位置的示例)到客体S的表面的距离。距离传感器D具有投射单元以及成像单元。投射单元投射具可见光之外的波长(诸如红外光)的预定样式图案(例如，光栅)的图像。成像单元用于读取被投射的图像。照相机C和距离传感器D组被固定至共通安装台M，照相机C和距离传感器D的光轴被定向大致相同的位置。框体F(传感器组SD)相对于台座T旋转。可以是当框体F固定于安装表面时，台座T旋转；也可以是当台座T固定于安装表面的同时，框体F绕台座T旋转。当体F与台座T相对旋转时，照相机C拍摄客体S。在传感器组SD是与框体F和台座T相对静止的状态下，传感器组SD仅涵盖客体S的有限表面。然而，通过将框体F以及台座T相对于彼此旋转360度并且同时连续拍摄图像，传感器组SD能拍摄客体S的表面的整个区域。

图3示出了三维数据输入系统10的示例性的配置，并且三维数据输入系统10不限于此配置。例如，可以在三维数据输入系统10中，在适当的位置处提供足够数量的传感器组SD，使得传感器组SD可以在空间上覆盖客体S的表面的整个区域。在此情况下，传感器SD组相对于台座T是固定的。作为另一示例，当从上方观察台座T时，三维数据输入系统10可具有多个位在预定的间隔(例如120度)的框体F。在此情况下，如果框体F和台座T相对于彼此旋转120度，则传感器组SD可以获取客体S的表面的整个区域的图像。

图4示出了三维数据处理系统20的示例性的硬体配置。三维数据处理系统20是包括中央处理单元(Central Processing Unit，CPU)201、记忆体(memory)202、存储器(storage)203以及网络接口204的计算机系统。中央处理单元201是根据程序执行处理并控制三维数据处理系统20的其他硬件元件的控制器。记忆体202是主记忆体，其用作中央处理单元201执行程序的工作区域，并且包括例如随机存取记忆体(Random Access Memory，RAM)。存储器203是存储各种程序和数据的非易失性辅助存储装置，并且例如包括传统硬盘(Hard Disk Drive，HDD)和固态硬盘(Solid-State Disk，SSD)中的至少一个。网络接口204是用于根据预定的通信标准(例如Transmission Control Protocol and the InternetProtocol，TCP/IP)执行通信的接口，并且例如包括网络接口卡(Network Interface Card，NIC)。

在此实施例中，存储器203存储用于使计算机装置用作三维数据处理系统20的程序(以下称为“三维数据处理程序”)。当中央处理单元201执行三维数据处理程序时，计算机装置实行图2的功能。执行三维数据处理程序的中央处理单元201是附加单元21、存储单元22、分类单元23以及估计单元24的示例。

应用程序30可以是使用三维模型数据的任何应用程序。举例来说，应用程序30包括ID卡、名片、虚拟通信、电动游戏、换装(试穿)、量测、虚拟剧院、健身、医疗以及电影制作中的至少一种。

2.操作

图5示出了根据一个实施例的三维数据系统1的操作(三维数据处理方法)。图5示出了此操作的概要。在步骤S1中，三维数据输入系统10生成客体的三维模型数据。在步骤S2中，三维数据处理系统20执行用于将个性数据附加到三维模型数据的处理。根据个性数据，使三维模型数据的动作个性化。在步骤S3中，应用程序30使用三维模型数据和个性数据向用户提供产品或服务。

操作例1

2-1-1.三维模型数据的生成

图6示出了客体的三维模型数据生成流程的细节。图6假定三维数据系统1在已经存储多个客体(以下称为“既存客体”)各个的三维模型数据的情况下，生成新客体(以下称为“目标客体S”)的三维模型数据。例如，当用户指示三维数据输入系统10生成三维模型数据时，开始图6所示的处理。

在步骤S11中，三维数据输入系统10拍摄目标客体S的图像并获得拍摄图像。目标客体S是以预定姿势被拍摄。除了拍摄图像之外，三维数据输入系统10还获取用于测量与照相机C的距离的图像(例如，红外线样式图案的图像，以下称为“样式图像”)。

在步骤S12中，三维数据输入系统10从拍摄图像生成三维模型数据。三维数据输入系统10使用样式图像来计算从照相机C到样式图像中的各个点的距离，也就是，客体S的表面的三维形状。三维数据输入系统10将拍摄图像映射到所计算出的三维形状。如此，获得了目标客体S的三维模型数据。

在步骤S13中，三维数据输入系统10从三维模型数据获取特征点。此特征点是从三维模型数据获得的。形状的特征点例如是三维模型中所谓的骨骼端点。骨骼是用于将动作赋予三维模型的虚拟结构。

在此示例中，三维数据输入系统10包括三维模型的骨骼结构的标准模型。标准模型例如具有根据真实人体的骨骼的结构的骨骼结构。标准模型被分类为诸如成年男性、成年女性、老年男性、老年女性、年轻男性以及年轻女性的类别。三维数据输入系统10从多个标准模型中选择与用户的属性相对应的标准模型。三维数据输入系统10例如使用拍摄图像自动判定用户的属性(例如年龄和性别)。或者，三维数据输入系统10也可以提示用户输入他或她的属性并且根据用户的输入来设置用户的属性。三维数据输入系统10对应所生成的三维模型来调整选出的标准模型，并将调整后的标准模型应用于三维模型。

图7示出了标准模型的调整。图7(A)的左侧示出了三维模型，而右侧示出了骨骼的标准模型。在骨骼的标准模型中，端点由点(●)表示。多个端点中的每一个都是三维模型的特征点的示例。三维数据输入系统10例如延伸和收缩标准模型的高度(身高)，以便适合三维模型(图7(A))。进一步而言，三维数据输入系统10在垂直于骨骼的方向上将各个骨骼的端点的位置移动到中心位置(图7(B))。

图7(C)示出了调整后的标准模型。图中各个骨骼的端点对应从三维模型数据获取的特征点。此图显示了穿过三维模型数据的虚拟重心且平行于客体S的正面的截面。尽管图7仅示出了单个截面，但是可以调整标准模型以适合具有不同方向的多个横截面的三维模型。

再次参考图6。在步骤S14中，三维数据输入系统10计算用于指示多个特征点的位置关系的特征值。在此实施例中，三维数据输入系统10计算用于指示有关特定特征点与其他特征点之间的位置关系的特征值。特定特征点例如是在对应于膝盖的关节的位置处的特征点。在此情况下，特定特征点与其他相邻特征点之间的位置关系是指膝盖的关节与脚踝和髋关节的位置关系，并指示所谓的弓型腿(O型腿)、内八腿(X型腿)，XO型腿等。

图8示出了特征点之间的位置关系。图8(A)示出了正常腿，图8(B)示出了弓型腿(O型腿)，图8(C)示出了内八腿(X型腿)。与特定特征值有关的特征值例如被定义为距离d1相对于长度L1的比值，其中长度L1为连接对应髋关节的特征点P1与对应脚踝的特征点P3的直线L的长度，距离d1为对应膝盖的特征点P2与直线L的距离。于此示出的特定特征点和与特定特征点有关的特征值的定义仅是示例，并且可以具体地以任何方式设置。三维模型的其中之一可以具有多个“特定特征点”。例如，可以将脚趾、膝盖、肘部、手、颈部和头顶设置为特定特征点。

再次参考图6。在步骤S15中，三维数据输入系统10将与特征点有关的特征值以及三维模型数据输出到三维数据处理系统20。在此实施例中，用于指示客体的属性(ID、年龄、性别等)的数据(以下称为“属性数据”)被进一步附加到三维模型数据中。

2-1-2.附加个性数据

图9示出了对三维模型数据附加个性的过程的细节。例如，通过从三维数据输入系统10输入三维模型数据来触发此过程。

在步骤S21中，三维数据处理系统20将客体S的三维模型数据分类至多个组之一。例如，在以下方面之一中进行分类。

(1)基于客体的静态特征值的分类。

(2)基于客体的动态特征值的分类。

(3)基于客体属性的分类。

(4)根据上述两种或以上的组合进行分类。

基于客体的静态特征值的分类是指通过使用至少一个类型的静态特征值来进行三维模型数据的分类。具一个类型的静态特征值例如是膝关节与脚踝和髋关节之间的位置关系的特征值。具两个类型的特征值例如是膝关节、踝关节和髋关节之间的位置关系的特征值，以及肘关节、腕关节和肩膀之间的位置关系的特征值。根据此示例，可以从客体的静态特征值估计出动态特征值。

基于客体的动态特征值来分类是指使用至少一个类型的动态特征值对三维模型数据进行分类。用于分类的特征值是与要估计的个性有关的特征值不同类型的特征值。根据此示例，可以从客体的第一类型的动态特征值来估计第二类型的动态特征值。例如，如果要估计的个性(第二类型的动态特征值的示例)是膝盖在跳跃动作中的最高位置，则用于分类的特征值就是行走动作中膝盖的最高位置(第一类型的动态特征值的示例)。

基于客体的属性的分类是指使用至少一个类型的客体的属性对三维模型数据进行分类。客体的属性例如是客体的年龄、性别、种族、国籍、职业或病史。根据此示例，可以从客体的属性估计出动态特征值。

基于两个或更多个组合的分类是指，基于静态特征值的分类、基于动态特征值的分类以及基于的客体的属性的分类中，使用两个或更多个组合来进行分类。根据此示例，可以执行更多样化的估计。

在此，作为示例，将给出使用基于组合的分类(4)的示例的描述。具体而言，首先，基于客体的属性对三维模型数据进行分类(第一阶段分类)，并且基于客体的静态特征进一步对三维模型数据进行分类(第二阶段分类)。基于客体的属性的分类是基于客体的年龄和性别的分类。在此示例中，将选择骨骼结构的标准模型时使用的属性用于对三维模型数据进行分类。也就是说，在第一阶段的分类中，三维模型数据的分类与骨骼结构的标准模型一一对应。

图10示出了对三维模型数据示例性的分类。图10示出了第二阶段的分类。在此示例中，是使用N种类型的特征值来执行第二阶段的分类。具体而言，三维数据处理系统20在使用各个特征量作为坐标轴的N维空间中标示(plot)出各个三维模型数据，并且根据数学演算法对这些标示进行聚类(cluster)。此处为了简化说明，以N＝2作为示例。也就是说，使用特征值A和特征值B这两种类型的特征值来执行第二阶段的分类。在一个示例中，特征值A是与膝盖有关的特征值，特征值B是与胸椎有关的特征值。于此图中，各个三维模型数据被绘制在二维坐标上，其中垂直轴表示特征值A，而水平轴表示特征值B。一个标示对应一个三维模型数据。例如，如果先前获得了10000个人的三维模型数据和特征，则将获得10000个标示。三维数据处理系统20使用已知的聚类技术，例如最短路径法或k平均法(k-means算法)，将这些标示划分或分组至子集(subsets)。在图10的示例中，这些标示被分类至G1至G5五个组。

例如，当图10所示的分类是由既存的客体的三维模型数据获得时，三维数据处理系统20判定出与目标客体S的三维模型数据的标示最接近的既存标示，并将目标客体S的三维模型数据分类至与既存标示相同的组中。或者，三维数据处理系统20使用聚类技术将目标客体S的三维模型数据和既存的三维模型数据再次进行分类，并且决定目标客体S的三维模型数据属于哪个组。

如上所述，由于对骨骼结构的每个标准模型进行了第一阶段的分类，因此第二阶段是对每个标准模型进行分类。例如，当目标客体S是成年男性时，将聚类技术应用于包括了既存客体的成年男性群集，并且所获得的结果用于对目标客体S的三维模型数据进行分类。

再次参考图9。在步骤S22中，三维数据处理系统20基于分类来估计目标客体S的三维模型数据的个性，也就是目标客体S的个性。在此动作的示例中，个性是指用于定义三维模型的特征点的轨迹的信息，更具体而言，是指当三维模型行走时膝盖和手的最高位置。此示例的个性数据是指示在行走动作中膝盖和末端的最高位置的数据。或者，个性数据除了肘部和末端的最高位置之外还可指示包括处于中间状态的位置的数据。

图11示出了三维模型数据的动作。此示例示出了当三维模型数据正在行走时骨骼的相对位置。图11(A)示出了基准姿势。图11(B)示出了抬起左脚的姿势。图11(C)示出了左脚下降到地面的姿势。图11(D)示出了抬起右脚的姿势。图11(E)示出了右脚下降的姿势。通过使三维模型数据重复地采取这些姿势，可以使三维模型行走。图11(A)至11(E)相当于所谓的关键帧(key frames)，并且关键帧之间的姿势通过内插(interpolation)来计算。针对每个标准模型来定义关键帧的姿势，并将关键帧的姿势预先存储在三维数据处理系统20中。

在此示例中，将以下数据定义为个性：

(1)在图11(B)的姿势中，左膝盖的位置和右手末端的位置。

(2)在图11(D)的姿势中，右膝盖的位置和左手末端的位置。

更具体而言，将对标准模型定义的关键帧中的特征点的位置的偏差(差异)定义为个性。例如，在标准模型的图11(B)的姿势中，相对于左膝盖的位置P2s的偏差向量D(P2)是个性数据的一例。

对于一部分的存储在三维数据系统1中的三维模型数据而言，客体的动作是在生成三维模型时或在其他时间被实际地拍摄。以下，将已经拍摄了实际动作的客体称为“特定客体”。也就是说，特定客体的个性数据不是被估计的而是被实际测量的。例如，三维数据输入系统10拍摄特定客体行走的图像，并获取与图11所示的关键帧相对应的图像，此图像是多个拍摄图像的示例，各个拍摄图像具有不同的姿势。三维数据处理系统20从这样获得的动作数据中确定出代表组的动作数据。如此，对于每个组而言，获得代表组的个性数据。

代表组的个性数据例如是从包括在组中的特定客体中，随机选择的客体的个性数据。或者，代表组的个性数据是包括在组中的特定客体中，在N维坐标空间中最靠近此组的中心坐标的位置处被标示的客体的个性数据。又或者，代表组的个性数据是统计代表值，例如包括在组中的特定客体的个性数据的平均值。

三维数据处理系统20使用代表组的个性数据，来作为目标客体的三维模型数据系统的个性数据，其中目标客体S的三维模型数据属于此组。也就是说，这相当于估计出，目标客体S的个性是与代表目标客体S的三维模型数据所属组的个性相同。例如，当目标三维模型数据属于组G4时，三维数据处理系统20判定使用代表组G4的个性数据来作为目标客体S的三维模型数据的个性数据。

再次参考图9。在步骤S23中，三维数据处理系统20将指示所估计的个性的个性数据附加到目标客体S的三维模型数据中。在此，“附加”是指至少以可识别两者之间的对应关系的状态进行存储。以这种方式，应用程序30可以使用目标客体S的三维模型数据。

应注意的是，附加到一个三维模型数据的个性数据不限于一种类型。可以将多种类型的个性数据附加到一个三维模型数据中。例如，特定客体的三维模型数据可以被附加与行走动作有关的个性数据、与跳跃动作有关的个性数据、与拳打动作有关的个性数据以及与踢脚动作有关的个性数据。或者，用于综合地定义这些动作的个性数据也可以被定义。

2-1-3.个性数据

到目前为止描述的个性数据仅是示例性的。作为上述示例的替代或补充，个性数据可以包括以下数据。

(1)头发硬度

随着三维模型的移动，他们的反动会摇动他们的头发。头发硬度是影响头发如何摇动的个性数据。如果头发坚硬，则摇动很小；如果头发柔软，则摇动很大。例如，如果将一部分头发的尖端的位置提取为特征点，则以特征点的动作可以来表示头发的硬度。

(2)眨眼

眨眼的方式也是个性。例如，可能有一个一次执行多次眨眼的人，一个眨眼速度慢的人，或者一个长时间保持眼睑闭合的人。例如，如果提取眼睑的下端作为特征点，则以特征点的动作可以来表示眨眼的方式。

(3)面部表情

面部表情(例如微笑)也是个性。图12示出了从脸部提取的特征点。例如，如果嘴角、眼角以及脸部表情肌肉被提取为特征点，则以特征点的动作可以来表示面部表情。

(4)声音

个性数据可以包括声音数据。尽管声音数据不包含有关从三维模型数据中提取的特征点的轨迹的信息，但是，在声音是由于客体的声带振动而产生的观点上，以及在伴随着时间的变化而表现出客体的动态个性的观点上，可以说声音指示了客体的动态个性。声音可能与客体的身体特征或属性相关(男孩的声音较高等)，并且与个性数据的估计相性良好。

(5)皮肤状态

皮肤的紧致状态是动态个性，会在相对较长的时间范围内变化(以数十年为单位)。皮肤状态的变化可能表示成长或老化。例如，如果从脸部的凹凸中提取特征点，则以特征点的时间变化可以来表示成长或老化。

(6)动作习惯

例如行走，跑步等标准动作之外的动作可以表示客体的个性，例如，抓头发、抓头、摸鼻子、穷抖脚等。这些动作也可以转换为数据。

(7)视点位置和视角

在应用程序30中，将三维模型放置在虚拟空间中。虚拟照相机安装在虚拟空间中。应用程序30在显示装置上显示由虚拟照相机获取的二维图像。由于虚拟照相机仅仅是虚拟的，因此从理论上而言，应用程序30可以任意设置视点的位置和视角。然而，一些应用程序希望限制虚拟照相机相对于三维模型的相对位置。作为一个具体示例，例如，当处理女性流行歌手的三维模型时，会希望限制虚拟照相机进入三维模型的腰部以下。或者是，有将虚拟照相机的视角不能减小到一定范围之外的需求。为了满足这些需求，可以将用于限制虚拟相机的视点相对于三维模型的位置的数据作为个性数据。利用此信息，可以为每个三维模型定义用户看不到的区域。

(8)动作限制

关节的可移动范围代表客体的个性。例如，体操运动员可以将双腿(臀部)打开180度，而一般民众只能打开大约90度。如果将每个关节的可移动范围转换为数据，则可以将其用作个性数据。在这种情况下，关节的动作范围可能受到除实际动作范围之外的其他情况的限制。例如，在某些三维模型中，髋关节的动作范围限制为最多到60度。以这种方式，用于限制关节的动作范围的数据可以作为个性数据。

2-1-4.三维模型数据的使用

图13示出了使用三维模型数据的过程的细节。图13所示的过程，例如是通过应用程序30的用户指示获取三维模型数据的事件来触发。

在步骤S31中，应用程序30向三维数据处理系统20请求三维模型数据。所述请求包括识别三维模型数据的信息，例如，客体的身份。或者是，请求可以包括从三维数据系统1所存储的三维模型数据中，检索期望数据的搜索关键字。在此示例中，三维数据处理系统20将与搜索关键字匹配的三维模型数据的列表发送到应用程序30。应用程序30从列表中选择一个三维模型数据。识别所选择的三维模型数据的信息被输出到三维数据处理系统20。

除了识别三维模型数据的信息之外，上述要求还可以包括识别个性数据的信息。当将多种类型的个性数据附加到一个三维模型数据中时，特定应用程序30不需要所有的多种类型的个性数据。因此，应用程序30仅向三维数据处理系统20请求应用程序30所需的个性数据。

在步骤S32中，三维数据处理系统20将所请求的三维模型数据和个性数据输出至发出请求的应用程序30。如果应用程序30仅需要某些个性数据，则三维数据处理系统20除了三维模型数据之外，仅输出所请求的个性数据。

在步骤S33中，应用程序30使用从三维数据处理系统20获取的三维模型数据和个性数据来提供产品或服务。在三维数据系统1中，不同类型的应用程序可以使用相同的三维模型数据和相同的个性数据。应用程序30例如包括ID卡、名片、虚拟通信、电动游戏、换装(试穿)、量测、虚拟剧院、健身、医疗以及电影制作中的至少一种。应用程序30可以透过诸如智能电话的移动终端来操作，或者可以透过定点的个人计算机来操作。

ID卡是用于识别用户的应用程序。三维模型显示在ID卡上，而不是用户的照片。

名片是用于将用户的个人信息传输给另一个用户的应用程序。名片数据包括三维模型数据。例如，用户UA的名片数据被输出给另一个用户UB。用户UB可以在其计算机装置上浏览包括用户UA的三维模型的名片数据。

虚拟通信是一种用于与虚拟空间中的其他用户进行通信的应用程序。在虚拟空间中，每个用户都使用所谓的虚拟化身(avatar)来显示。根据本实施例的三维模型用作虚拟化身。虚拟通信可以用于，例如，在远程位置会面多个用户。在会议中，每个用户的虚拟化身都具有个性而增加了现实度。

在电动游戏中，根据本实施例的三维模型被用作出现在电动游戏中的角色。例如，在格斗游戏中，玩家可以使用自己的三维模型作为玩家角色。三维模型具有与玩家相对应的动作特征，例如如何奔跑，跳跃等。

换装是一种将衣服给虚拟空间中的人体模型穿上的应用程序。使用根据本实施例的三维模型作为此人体模型。人体模型穿着衣服在虚拟空间中移动(所谓的伸展台行走(runway walk))。此时，人体模型具有与用户相对应的动作特征，例如行走方式。

测量是用于测量客体S的身体的大小(身高、胸围、腰围等)的应用程序。

虚拟剧院是使虚拟角色(虚拟化身)在虚拟空间中进行表演(唱歌、演戏、跳舞等)并欣赏表演的应用程序。每个角色都具有个性。表演例如在虚拟空间上的某个舞台进行。用户可以观看虚拟摄像机拍摄的表演。根据例如来自用户的指令来控制虚拟摄像机的位置(视点)。用户可以将虚拟摄像机带到特定的表演者、俯瞰舞台、自由控制虚拟摄像机的位置。

健身是用于运动前后建立客体的三维模型并记录的应用程序。通过比较存储的三维模型，可以在视觉上确认通过锻炼增强的肌肉的部分和减少多余的赘肉的部分。

医疗是一种应用程序，用于在治疗前后对客体的身体进行建立三维模型和记录。通过比较所存储的三维模型，可以视觉地确认治疗、施药和康复的效果。

电影制作是一种使三维模型出现在电影中的应用程序。例如，如果获取演员的三维模型数据和个性数据，则演员可以作为电影中的角色出现而无需演员实际地扮演。

操作例2

在操作例1中，已经描述了估计目标客体S的个性数据的示例。在本示例中，不执行个性数据的估计。个性数据预先在三维数据系统1中准备，并且用户(例如，客体S本身)从预先准备的多个个性数据中选择期望的数据。

在三维数据系统1中，用于搜索的标签被分配给个性数据。标签可以包括例如年龄、性别、种族、国籍、职业或历史。用户可以使用这些属性作为搜索关键字来搜索个性数据。例如，三维数据系统1可以通过将指定的个性数据应用于目标客体S的三维模型数据来显示具有指定的个性数据的目标客体S的三维模型的预览。

在三维数据系统1中预先准备的个性数据可以包括例如著名运动员和演员的个性数据。在此情况下，用于识别体育运动员和演员的标识(名称)被分配给个性数据。使用与职业足球运动员踢球有关的个性化数据，用户可以在足球比赛中，例如使从他拍摄图像中获得的三维模型作为运动员的角色出现，并使角色以著名职业足球运动员的形式踢球。

根据此实施例，可以在不估计个性的情况下将个性数据添加到三维模型数据中。 可以将操作例2与操作例1结合使用。例如，三维数据系统1可以让用户选择，通过估计的个性数据的附加或预先准备的个性数据的附加，并且通过用户选择的方法来附加个性数据。

3.变形例

本发明不限于上述实施例，并且可以进行各种变形。下面将描述几种变形例。可以将实施例的至少一部分和以下变形例中的两个或更多个进行组合。

3-1.变形例1

图14示出了根据变形例1的三维数据系统1的概略。在此示例中，三维数据处理系统20存储多组三维模型数据、骨骼数据和元数据。骨骼数据是指示三维模型的骨骼结构的数据。例如，可以通过以多种姿势拍摄客体来实际测量骨骼数据，或者可以通过根据三维模型来调整预先准备的骨骼结构的标准模型来获得骨骼数据。元数据是指与三维模型相关的数据，并且是指示例如客体的属性、摄影装置的属性、声音、复制限制等的数据。在实施例中示例的个性数据和属性数据可以被视为元数据的示例。元数据可以不包括指示三维模型的动态的个性的信息。同样在此示例中，三维数据系统1可以容易地为应用程序30提供三维模型数据、骨骼数据和元数据的组合。

可以在三维数据处理系统20中预先决定三维模型数据、骨骼数据和元数据的组合。或者，可以根据应用程序30或用户的要求重新设置三维模型数据、骨骼数据和元数据的组合。例如，当元数据包括用于限制关节的动作范围的数据(在下文中称为“限制数据”)和声音数据时，三维数据处理系统20存储限制数据和声音数据的多个范本(template)。三维数据处理系统20将用户选择的限制数据和声音数据附加到指定的三维模型数据。根据此示例，用户可以选择期望的元数据并将其附加到三维模型数据中。图14中，包括三维模型数据的组合可以不包括骨骼数据。在一个示例中，三维数据处理系统20可以仅存储三维模型数据和例如为限制数据的元数据。

3-2.变形例2

通过估计单元24估计个性的方法不限于实施例中所示的示例。分类后的每个组除了具有代表组的个性数据(代表个性数据)以外，还可以具有代表组的特征值(代表特征值)。三维数据处理系统20包括校正单元(图中未示出)。校正单元根据代表特征值和从目标客体S的三维模型数据获得的特征值之间的差异来校正代表个性数据。例如，校正单元通过将代表特征值与从目标客体S的三维模型数据获得的特征值之间的差异和系数相乘而获得的结果(向量)，附加至代表个性数据来校正代表个性数据。根据此示例，可以使用例如静态特征值的差异来校正动态个性数据。

3-3.变形例3

分类单元23进行的分类可以分类为多个等级。分类后，多个等级中的每个等级都有不同数量的组。例如，基于相同类型的特征值的分类被分类至低等级(组的数量小)、中等级(组的数量为中等)和高等级(组的数量为)。大)。例如，通过用户的指令或应用程序30的请求来决定使用多个分类中的何种分类。例如，当使用低等级(第一等级的示例)分类时，如变形例2所示，估计单元24基于组的代表特征值与目标客体S的特征值之间的差异来估计(校正)个性数据。例如，当使用高等级分类(第二级分类的示例)时，估计单元24直接使用代表组的个性数据作为目标客体S的三维模型的个性数据。

3-4.变形例4

在实施例中，已经描述了其中将个性数据定义为动态特征值自标准数据的偏差向量的示例。然而，个性数据不限于偏差向量，并且可以是表示动态特征值本身(绝对值)的数据。在此情况下，不需要定义标准数据。在使用偏差向量的情况下，与传送标准数据和偏差向量的情况相比，如果应用程序30持有标准数据，则仅需要传送偏差向量，从而在系统之间传送的数据量可以减少。

3-5.变形例5

在基于三维模型数据进行分类的情况下，代表组的个性数据不限于测量出来的数据。通过估计获得的个性数据可以用作为代表组的个性数据。

3-6.其他变形例

在三维数据系统1中，在三维数据输入系统10和三维数据处理系统20中的功能分配不限于图2所示。例如，可以在三维数据处理系统20中，也就是在云端，实现与生成单元12相对应的功能。或者，可以在三维数据输入系统10中实现与附加单元21或分类单元23相对应的功能。

三维数据输入系统10、三维数据处理系统20和应用程序30可以分别在一个或多个不同的计算机装置中实行，或者对于至少一些功能可以在共同的计算机装置中实行。多个计算机装置可以物理上作为三维数据输入系统10、三维数据处理系统20或应用程序30来运作。

Claims (15)

1.一种三维数据系统，其特征在于，包括：

一图像获取单元，用于获取通过拍摄一对象的一表面而获得的一拍摄图像以及获取用于指示从一参考点到所述表面的一距离的一距离信息；

一附加单元，用于将一个性数据附加到一三维模型数据中，所述个性数据用于指示所述三维模型的所述动态的个性，所述三维模型数据用于指示所述客体的所述三维模型，所述三维模型是从所述拍摄图像和所述距离信息所获得；以及

一存储单元，用于存储附加了所述个性数据的所述三维模型数据。

2.如权利要求1所述的三维数据系统，其特征在于，所述三维数据系统更包括：

一估计单元，用于通过使用所述三维模型数据来估计所述客体的所述个性，其中

所述附加单元将透过所述估计单元所估计出用于指示所述个性的数据附加为所述个性数据。

3.如权利要求2所述的三维数据系统，其特征在于，所述三维数据系统更包括：

一特征获取单元，用于从所述三维模型数据获取多个特征点；以及

一计算单元，用于计算与所述多个特征点的所述位置关系有关的一特征值，其中

所述估计单元使用所述特征值来估计所述客体的所述个性。

4.如权利要求2所述的三维数据系统，其特征在于，所述三维数据系统更包括：

一分类单元，用于将所述客体分类至多个组之一，其中

所述估计单元基于此分类来估计所述客体的所述个性。

5.如权利要求4所述的三维数据系统，其特征在于，所述分类单元用于：

基于从多个客体各个的所述拍摄图像所获得的所述特征值，将既存的所述多个客体分类至所述多个组；以及

将所述客体分类至基于从既存的所述多个客体的所述特征值所获得的多个组之一。

6.如权利要求4或5所述的三维数据系统，其特征在于，

所述特征获取单元从所述拍摄图像获取所述客体的一静态的特征值；以及

所述分类单元使用所述静态的特征值将所述客体分类至多个组之一。

7.如权利要求4至6中任一项所述的三维数据系统，其特征在于，

所述图像获取单元获取具有不同姿势的所述客体的多个拍摄图像；

所述特征获取单元从所述多个拍摄图像中获取所述客体的一动态的特征值；以及

所述分类单元使用所述动态的特征值将所述客体分类至所述多个组之一。

8.如权利要求4至7中任一项所述的三维数据系统，其特征在于，

所述多个组中的每一个具有一代表个性数据，所述代表个性数据用于指示代表所述组的所述个性；以及

所述估计单元将所述客体所属的所述组的所述代表个性数据所指示的所述个性估计为所述客体的所述个性。

9.如权利要求4至7中任一项所述的三维数据系统，其特征在于，

所述多个组中的每一个具有一代表特征值以及一代表个性数据，所述代表特征值用于指示代表所述组的一特征值，所述代表个性数据用于指示代表所述组的所述个性；

所述图像处理装置包括一校正单元，所述校正单元根据所述代表特征值以及从所述客体获得的所述特征值之间的一差异来校正所述代表个性数据；

所述估计单元将由所述校正单元校正的所述代表个性数据所指示的所述个性估计为所述客体的所述个性。

10.如权利要求4至9中任一项所述的三维数据系统，其特征在于，

基于从所述多个客体各个的拍摄图像获得的一特征值，所述分类单元将既存的所述多个客体分类至多个组；以及

对于所述多个组中的每一个，所述估计单元使用从具有不同姿势的多个拍摄图像获得的一个性数据来作为所述代表个性数据，其中所述姿势是从相关于属于所述组的既存的客体的至少一部分获得的。

11.如权利要求4至10中任一项所述的三维数据系统，其特征在于，

所述分类单元是根据分类后具有不同组数的多个等级中选择至少一个等级来对所述客体进行分类；以及

所述估计单元用于：

在所述多个等级中的一第一等级的分类中，基于分类后的所述组中的所述特征值的代表值与所述客体的特征值之间的差异来估计所述客体的所述个性；以及

在所述多个等级中的一第二等级的分类中，将代表分类后的所述组的个性估计为所述客体的所述个性，其中所述第二等级在分类后的所述组数大于所述第一等级。

12.一种三维数据处理方法，其特征在于，包括：

获取一客体的一表面的一拍摄图像以及获取用于指示从一参考点到所述表面的一距离的一距离信息；

附加所述三维模型的所述动态的个性数据至所述三维模型数据中，所述三维模型数据用于指示由所述拍摄图像和所述距离信息所获得的所述客体的所述三维模型；以及

存储已附加所述个性数据的所述三维模型数据。

13.一种三维数据系统，其特征在于，包括：

一图像获取单元，用于获取通过拍摄一被拍摄的对象的一表面而获得的一拍摄图像以及获取用于指示从一参考点到所述表面的一距离的一距离信息；

一附加单元，用于将一骨骼数据以及一元数据附加至用于指示所述客体的一三维模型的一三维模型数据，所述骨骼数据用于指示用于向所述三维模型赋予动作的一骨骼结构，所述元数据随附所述三维模型，所述三维模型是从所述拍摄图像和所述距离信息所获得；以及

一存储单元，用于存储附加了所述骨骼数据以及所述元数据的所述三维模型数据。

14.如权利要求13所述的三维数据系统，其特征在于，

所述元数据包括用于限制一虚拟相机的一位置或一视角的一数据，所述虚拟相机用于显示位于一虚拟空间中的所述三维模型。

15.如权利要求13或14所述的三维数据系统，其特征在于，

所述元数据包括所述三维模型的一声音数据。