CN109285214A - 三维模型的处理方法、装置、电子设备及可读存储介质 - Google Patents
三维模型的处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN109285214A CN109285214A CN201810934594.1A CN201810934594A CN109285214A CN 109285214 A CN109285214 A CN 109285214A CN 201810934594 A CN201810934594 A CN 201810934594A CN 109285214 A CN109285214 A CN 109285214A
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- information
- acceleration
- key point
- target key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 21
- 230000007613 environmental effect Effects 0.000 claims abstract description 14
- 230000001133 acceleration Effects 0.000 claims description 75
- 238000012545 processing Methods 0.000 claims description 56
- 238000009877 rendering Methods 0.000 claims description 26
- 238000006073 displacement reaction Methods 0.000 claims description 20
- 238000005286 illumination Methods 0.000 claims description 11
- 239000000463 material Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 230000001795 light effect Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 230000036548 skin texture Effects 0.000 description 12
- 210000004209 hair Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000004660 morphological change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提出一种三维模型的处理方法、装置、电子设备及可读存储设备，其中，方法包括：通过获取人体的三维模型；其中，三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖模型框架的纹理信息；获取构建三维模型时所处环境的环境信息；根据环境信息，对三维模型中的部分关键点进行位置调整，和/或对三维模型的纹理信息进行渲染。该方法使得人体三维模型能够更加真实的反应环境的效果，提高了三维模型展示特效的逼真度。
Description
技术领域
本申请涉及电子设备技术领域，尤其涉及一种三维模型的处理方法、装置、电子设备以及可读存储介质。
背景技术
三维模型重建是建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。通常通过对三维模型中关键点进行处理，实现模型的重建。
在实际操作中，与三维模型关联的电子设备晃动或所处的环境光线变化时，三维模型也相应的变化，导致三维模型不能展示出更为逼真的特效。例如，电子设备运动或不同光线照射时，人脸三维模型也会发生相应的变化，如刘海和面部肌肉会随着电子设备的晃动同时摇摆，面部的光线也随着环境光线同时发生改变。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种三维模型的处理方法，以解决现有技术中与三维模型关联的电子设备晃动或所处环境的光线变化时，三维模型也相应的变化，使人体三维模型不能真实的反应环境的效果的技术问题。
本申请提出一种三维模型的处理装置。
本申请提出一种电子设备。
本申请提出一种计算机可读存储介质。
本申请一方面实施例提出了一种三维模型的处理方法，包括：
获取人体的三维模型；其中，所述三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖所述模型框架的纹理信息；
获取构建所述三维模型时所处环境的环境信息；
根据所述环境信息，对所述三维模型中的部分关键点进行位置调整，和/或对所述三维模型纹理信息进行渲染。
本申请实施例的三维模型的处理方法，通过获取人体的三维模型；其中，三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖模型框架的纹理信息；获取构建三维模型时所处环境的环境信息；根据环境信息，对三维模型中的部分关键点进行位置调整，和/或对三维模型的纹理信息进行渲染。由此，通过对人体三维模型的部分关键点进行位置调整以及对人体三维模型的纹理信息进行渲染，使人体三维模型更加真实的反应环境的效果，提高了三维模型展示特效的逼真度。
本申请又一方面实施例提出了一种三维模型的处理装置，包括：
第一获取模块，用于获取人体的三维模型；其中，所述三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖所述模型框架的纹理信息；
第二获取模块，用于获取构建所述三维模型时所处环境的环境信息；
处理模块，用于根据所述环境信息，对所述三维模型中的部分关键点进行位置调整，和/或对所述三维模型的纹理信息进行渲染。
本申请实施例的三维模型的处理装置，通过获取人体的三维模型；其中，三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖模型框架的纹理信息；获取构建三维模型时所处环境的环境信息；根据环境信息，对三维模型中的部分关键点进行位置调整，和/或对三维模型的纹理信息进行渲染。由此，通过对人体三维模型的部分关键点进行位置调整以及对人体三维模型的纹理信息进行渲染，使人体三维模型更加真实的反应环境的效果，提高了三维模型展示特效的逼真度。
本申请又一方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述实施例所述的三维模型的处理方法。
本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如前述实施例所述的三维模型的处理方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种三维模型处理方法的流程示意图；
图2为本申请实施例提供的对目标关键点进行位置调整的流程示意图；
图3为本申请实施例提供的一种三维模型处理装置的结构示意图；
图4为本申请实施例提供的另一种三维模型处理装置的结构示意图；
图5为一个实施例中电子设备的内部结构示意图；
图6为作为一种可能的实现方式的图像处理电路的示意图；
图7为作为另一种可能的实现方式的图像处理电路的示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的三维模型处理方法和装置。
图1为本申请实施例所提供的一种三维模型处理方法的流程示意图。
如图1所示，该三维模型的处理方法包括以下步骤：
本申请实施例中，电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
步骤101，获取人体的三维模型；其中，三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖模型框架的纹理信息。
本实施例中获取的人体的三维模型，包括多个关键点以及多个关键点连接形成的模型框架，以及覆盖模型框架的纹理信息。其中，关键点以及多个关键点连接形成的模型框架可以采用三维坐标的形式表示出来。
由于人体不同区域对应的皮肤纹理不同，因此人体三维模型的不同区域，对应的纹理信息也不相同。例如，头发部位、眼睛部位、面部区域、手部等位置的皮肤纹理均不相同。
本实施例中人体的三维模型的获取，是根据深度信息和人体图像，进行三维重构得到的，而不是简单的获取RGB数据和深度数据。
作为一种可能的实现方式，可以将深度信息与人体二维图像对应的色彩信息进行融合，得到人体三维模型。具体地，可以基于人体关键点检测技术，从深度信息提取人体的关键点，以及从色彩信息中提取人体的关键点，而后将从深度信息中提取的关键点和从色彩信息中提取的关键点，进行配准和关键点融合处理，最终根据融合后的关键点，生成人体三维模型。其中，关键点为人体上显眼的点，或者为关键位置上的点，例如关键点可以为头发、眼、鼻子、嘴、手等。
进一步的，可以基于人体关键点检测技术，对人体图像进行关键点识别，得到人体图像对应的关键点，从而可以根据各关键点在三维空间中的相对位置，将多个关键点连接形成三维模型的框架，进而获取覆盖模型框架的纹理信息。
步骤102，获取构建三维模型时所处环境的环境信息。
其中，环境信息，包括构建三维模型时所处环境的加速度信息以及光照信息。
需要说明的是，构建三维模型时可能由于电子设备的抖动、晃动等原因运动，产生加速度信息。同时，三维模型也会发生相应的变化，例如，随着电子设备的抖动，人体三维模型中的头发或者面部肌肉等也会随着摆动。
当电子设备所处环境光线的强度发生变化时，人体三维模型也会随着改变，例如，用强光照射电子设备的时，三维模型也会如同被强光照射一样。
本申请实施例中，首先通过电子设备配置的加速度传感器测量得到第一加速度向量，再通过电子设备配置的重力传感器测量得到第二加速度向量，进而对测得的第一加速度向量和第二加速度向量进行合成得到加速度向量，最终根据合成得到的加速度向量，确定环境信息中的加速度信息。其中，加速度向量包括加速度的大小和方向。
同样地，通过三维模型关联的电子设备中的环境光传感器获取该电子设备所处环境中的光照信息。光照信息包括环境中的光线的强度和/或光线照射电子设备屏幕的角度信息。
步骤103，根据环境信息，对三维模型中的部分关键点进行位置调整，和/或对三维模型的纹理信息进行渲染。
本申请实施例中，从获得的三维模型的多个关键点中，确定待调整的目标关键点，以对目标关键点进行位置调整。
由于三维模型关联的电子设备抖动或者晃动等原因产生加速度信息时，三维模型也做出相应的变化，因此，需要根据获得的三维模型关联的电子设备的加速度信息，对待调整的目标关键点进行位置调整，进一步地，再对位置调整处理后的三维模型，进行纹理信息渲染，使得三维模型能够展示出更加逼真的特效。
进一步地，根据三维模型关联的电子设备的光照信息确定照射到电子设备的光线强度和光线角度，并同时根据光线强度和光线角度，调整三维模型不同位置处的高光值的大小。进而对位置调整处理后的三维模型，进行皮肤纹理的光效渲染，进而使三维模型表面的光强随着光照信息的变化而变化。
作为另一种可能的实现方式，根据三维模型关联的电子设备的光照信息确定照射到电子设备的光线强度，并根据光线强度，调整三维模型不同位置处的高光值的大小。例如，用强光照射电子设备的时，三维模型也会如同被强光照射一样，因此需要调整三维模型不同位置处的高光值大小，进而对三维模型进行皮肤纹理的光效渲染，使三维模型表面的光强随着光照强度的变化而变化。
作为另一种可能的实现方式，由于电子设备翻转、抖动等运动时，环境光照射到电子设备的光线角度会发送变化，同一光线强度的环境光，从不同角度照射电子设备时，三维模型的不同位置处的光线强度则不同。根据三维模型关联的电子设备的光照信息确定照射到电子设备的光线角度，并根据光线强度，调整三维模型不同位置处的高光值的大小，进而对三维模型进行皮肤纹理的光效渲染，使三维模型表面的光强随着光照角度的变化而变化。
本申请实施例的三维模型处理方法，通过获取人体的三维模型；其中，三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖模型框架的纹理信息；获取构建三维模型时所处环境的环境信息；根据环境信息，对三维模型中的部分关键点进行位置调整，和/或对三维模型的纹理信息进行渲染。本申请中，通过对人体三维模型的部分关键点进行位置调整以及对人体三维模型的纹理信息进行渲染，使人体三维模型更加真实的反应环境的效果，提高了三维模型展示特效的逼真度。
作为一种可能的实现方式，对于确定的人体三维模型的目标关键点，根据加速度信息，对目标关键点进行位置调整。为了能够准确的根据加速度信息，对目标关键点进行位置调整，本申请实施例中，根据确定的目标关键点的调整方向，进而沿着调整方向，移动目标关键点，参见图2，具体步骤如下：
步骤201，读取预存的目标关键点与转换系数之间的对应关系。
其中，转换系数，是指目标关键点对应的加速度与位移之间的转换系数。
需要说明的是，目标关键点为多个，各目标关键点对应的转换系数取值，是根据各目标关键点对应三维模型的材质和/或在三维模型中的相对位置确定的。因此，不同位置的目标关键点对应不同的转换系数。
作为一种示例，目标关键点为三维模型中的头发部位时，设定三维模型中头发部位的目标关键点和目标关键点的位移权重w，例如，发根占的权重较小，发尖占的权重较大，根据各目标关键点对应三维模型的材质，例如黑色材质，以及目标关键点在三维模型中的相对位置，根据预存的目标关键点与转换系数之间的对应关系，确定目标关键点对应的转换系数的取值。
步骤202，根据加速度信息指示的加速度值，以及目标关键点对应的加速度与位移之间的转换系数，确定目标关键点对应的位移值。
具体地，根据三维模型关联的电子设备的加速度传感器测量得到的加速度信息，得到加速度的大小，并且根据预存的目标关键点与转换系数之间的对应关系，确定目标关键点对应的转换系数的取值。进而根据目标关键点的加速度至以及对应的加速度与位移之间的转换系数，确定目标关键点对应的位移值。
作为一种示例，根据电子设备的加速度传感器测量得到的加速度的大小V以及加速度的方向D，确定三维模型中头发部分的运动方向为-VD。进一步的，根据重力传感器测量得到电子设备的重力加速度G，将重力加速度G与加速度V合成，得到由电子设备运动以及外力引起的三维模型中头发的运动方向为G-VD。进而确定三维模型中头发部位的各个目标关键点对应的位移值S＝w(G-VD)。
步骤203，根据加速度信息指示的加速度方向，确定目标关键点的调整方向。
具体地，根据三维模型关联的电子设备的加速度传感器测量得到的加速度信息，得到加速度的方向，进而确定目标关键点的调整方向。
步骤204，沿调整方向，移动目标关键点，移动距离符合位移值。
本实施例中，沿着通过加速度方向确定的目标关键点的调整方向，移动目标关键点的位置，其中，移动距离为对应的位移值。
本申请实施例的三维模型的处理方法，通过读取预存的目标关键点与转换系数之间的对应关系；根据加速度信息指示的加速度值，以及目标关键点对应的加速度与位移之间的转换系数，确定目标关键点对应的位移值；再根据加速度信息指示的加速度方向，确定目标关键点的调整方向；最终沿调整方向，移动目标关键点，移动距离符合位移值。该方法通过调整三维模型中目标关键点的位置与方向，使得人体三维模型更加真实的反应环境的效果，提高了三维模型展示特效的逼真度。
为了实现上述实施例，本申请还提出一种三维模型的处理装置。
图3为本申请实施例提供的一种三维模型的处理装置的结构示意图。
如图所示，该三维模型的处理装置100包括：第一获取模块110、第二获取模块120以及处理模块130。
第一获取模块110，用于获取人体的三维模型；其中，三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖模型框架的纹理信息。
第二获取模块120，用于获取构建三维模型时所处环境的环境信息。
处理模块130，用于根据环境信息，对三维模型中的部分关键点进行位置调整，和/或对三维模型的纹理信息进行渲染。
作为一种可能的实现方式，参见图4，处理模块130，还包括：
确定单元131，用于从三维模型的多个关键点中，确定待调整的目标关键点。
调整单元132，用于根据加速度信息，对目标关键点进行位置调整。
渲染单元133，用于对位置调整处理后的三维模型，进行皮肤纹理渲染。
作为一种可能的实现方式，调整单元132，还用于根据加速度信息指示的加速度值，以及目标关键点对应的加速度与位移之间的转换系数，确定目标关键点对应的位移值；
根据加速度信息指示的加速度方向，确定目标关键点的调整方向；
沿调整方向，移动目标关键点，移动距离符合位移值。
作为一种可能的实现方式，参见图4，第二获取模块120,还包括：
第一测量单元121，用于通过加速度传感器测得第一加速度向量。
第二测量单元122，用于通过重力传感器测得第二加速度向量。
合成单元123，用于对第一加速度向量和第二加速度向量进行合成。
第二确定单元124，用于根据合成得到的加速度向量，确定环境信息中的加速度信息。
作为一种可能的实现方式，参见图4，该三维模型的处理装置，还包括：
读取模块140，用于读取预存的目标关键点与转换系数之间的对应关系；
其中，目标关键点为多个，各目标关键点对应的转换系数取值，是根据各目标关键点对应三维模型的材质和/或在三维模型中的相对位置确定的。
作为一种可能的实现方式，渲染单元133，还用于根据光照信息确定光强和/或光线角度；进而根据光强和/或光线角度，对三维模型的皮肤纹理进行光效渲染。
本申请实施例的三维模型处理装置，通过获取人体的三维模型；其中，三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖模型框架的纹理信息；获取构建三维模型时所处环境的环境信息；根据环境信息，对三维模型中的部分关键点进行位置调整，和/或对三维模型的纹理信息进行渲染。本申请中，通过对人体三维模型的部分关键点进行位置调整以及对人体三维模型的皮肤纹理进行渲染，使人体三维模型更加真实的反应环境的效果，提高了三维模型展示特效的逼真度。
需要说明的是，前述对三维模型处理方法实施例的解释说明也适用于该实施例的三维模型处理装置，此处不再赘述。
为了实现上述实施例，本申请还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述实施例所述的三维模型的处理方法。
图5为一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过系统总线210连接的处理器220、存储器230、显示器240和输入装置250。其中，电子设备200的存储器230存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的人脸识别方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的显示器240可以是液晶显示屏或者电子墨水显示屏等，输入装置250可以是显示器240上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
作为一种可能的实现方式，请参阅图6，提供了本申请实施例的图像处理电路，图像处理电路可利用硬件和/或软件组件实现。
如图6，该图像处理电路具体包括：图像单元310、深度信息单元320和处理单元330。其中，
图像单元310，用于输出二维的人体图像。
深度信息单元320，用于输出深度信息。
本申请实施例中，可以通过图像单元310，获取二维的图像，以及通过深度信息单元320，获取图像对应的深度信息。
处理单元330，分别与图像单元310和深度信息单元320电性连接，用于根据图像单元获取的二维的图像，以及深度信息单元获取的对应的深度信息，识别与图像中匹配的目标三维模板，输出目标三维模块关联的信息。
本申请实施例中，图像单元310获取的二维图像可以发送至处理单元330，以及深度信息单元320获取的图像对应的深度信息可以发送至处理单元330，处理单元330可以根据图像以及深度信息，识别与图像中匹配的目标三维模板，输出目标三维模块关联的信息。具体的实现过程，可以参见上述图1至图2实施例中对三维模型处理的方法的解释说明，此处不做赘述。
进一步地，作为本申请一种可能的实现方式，参见图7，在图6所示实施例的基础上，该图像处理电路还可以包括：
作为一种可能的实现方式，图像单元310具体可以包括：电性连接的图像传感器311和图像信号处理(Image Signal Processing，简称ISP)处理器312。其中，
图像传感器311，用于输出原始图像数据。
ISP处理器312，用于根据原始图像数据，输出图像。
本申请实施例中，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的图像。其中，图像传感器311可包括色彩滤镜阵列(如Bayer滤镜)，以及对应的感光单元，图像传感器311可获取每个感光单元捕捉的光强度和波长信息，并提供可由ISP处理器312处理的一组原始图像数据。ISP处理器312对原始图像数据进行处理后，得到YUV格式或者RGB格式的图像，并发送至处理单元330。
其中，ISP处理器312在对原始图像数据进行处理时，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器312可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
作为一种可能的实现方式，深度信息单元320，包括电性连接的结构光传感器321和深度图生成芯片322。其中，
结构光传感器321，用于生成红外散斑图。
深度图生成芯片322，用于根据红外散斑图，输出深度信息；深度信息包括深度图。
本申请实施例中，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)，该深度图指示了红外散斑图中各像素点的深度。深度图生成芯片322将深度图发送至处理单元330。
作为一种可能的实现方式，处理单元330，包括：电性连接的CPU331和GPU(Graphics Processing Unit，图形处理器)332。其中，
CPU331，用于根据标定数据，对齐图像与深度图，根据对齐后的图像与深度图，输出三维模型。
GPU332，用于根据三维模型，确定匹配的目标三维模板，输出目标三维模板关联的信息。
本申请实施例中，CPU331从ISP处理器312获取到人体图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将二维图像与深度图对齐，从而确定出图像中各像素点对应的深度信息。进而，CPU331根据深度信息和图像，进行三维重构，得到三维模型。
CPU331将三维模型发送至GPU332，以便GPU332根据三维模型执行如前述实施例中描述的三维模型处理方法，实现对三维模型中的部分关键点进行位置调整，和/或对三维模型的皮肤纹理进行渲染。
具体地，GPU332可以根据三维模型，确定匹配的目标三维模板，而后根据目标三维模板关联的信息，在图像中进行标注，输出标注信息的图像。
进一步地，图像处理电路还可以包括：显示单元340。
显示单元340，与GPU332电性连接，用于对标注信息的图像进行显示。
具体地，GPU332处理得到的美化后的图像，可以由显示器340显示。
可选地，图像处理电路还可以包括：编码器350和存储器360。
本申请实施例中，GPU332处理得到的美化后的图像，还可以由编码器350编码后存储至存储器360，其中，编码器350可由协处理器实现。
在一个实施例中，存储器360可以为多个，或者划分为多个存储空间，存储GPU312处理后的图像数据可存储至专用存储器，或者专用存储空间，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。存储器360可被配置为实现一个或多个帧缓冲器。
下面结合图7，对上述过程进行详细说明。
如图7所示，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的图像，并发送至CPU331。
如图7所示，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)。深度图生成芯片322将深度图发送至CPU331。
CPU331从ISP处理器312获取到二维人体图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出图像中各像素点对应的深度信息。进而，CPU331根据深度信息和二维图像，进行三维重构，得到重构的三维模型。
CPU331将人体三维模型发送至GPU332，以便GPU332根据人体三维模型执行如前述实施例中描述的三维模型处理方法，实现三维模型中部分关键点进行位置调整，和/或对三维模型的皮肤纹理进行渲染。GPU332处理得到的处理后的三维模型，可以由显示器340显示，和/或，由编码器350编码后存储至存储器360。
例如，以下为运用图5中的处理器220或运用图7中的图像处理电路(具体为CPU331和GPU332)实现控制方法的步骤：
获取所述三维模型关联的电子设备所处环境的环境信息；
CPU331获取二维的人体图像，以及所述人体图像对应的深度信息；CPU331根据所述深度信息和所述人脸图像，进行三维重构，得到人体的三维模型；其中，所述三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖所述模型框架的皮肤纹理；CPU331进一步的获取三维模型关联的电子设备所处环境的环境信息；GPU332根据环境信息，对三维模型中的部分关键点进行位置调整，和/或对三维模型的皮肤纹理进行渲染。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述存储介质中的指令由处理器执行时，实现如前述实施例所述的三维模型的处理方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种三维模型的处理方法，其特征在于，所述方法包括以下步骤：
获取人体的三维模型；其中，所述三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖所述模型框架的纹理信息；
获取构建所述三维模型时所处环境的环境信息；
根据所述环境信息，对所述三维模型中的部分关键点进行位置调整，和/或对所述三维模型纹理信息进行渲染。
2.根据权利要求1所述的处理方法，其特征在于，所述环境信息包括加速度信息；所述根据所述环境信息，对所述三维模型中的部分关键点进行位置调整，和/或对所述三维模型纹理信息进行渲染，包括：
从所述三维模型的多个关键点中，确定待调整的目标关键点；
根据所述加速度信息，对所述目标关键点进行位置调整；
对位置调整处理后的三维模型，进行纹理信息渲染。
3.根据权利要求2所述的处理方法，其特征在于，所述根据所述加速度信息，对所述目标关键点进行位置调整，包括：
根据所述加速度信息指示的加速度值，以及所述目标关键点对应的加速度与位移之间的转换系数，确定所述目标关键点对应的位移值；
根据所述加速度信息指示的加速度方向，确定所述目标关键点的调整方向；
沿所述调整方向，移动所述目标关键点，移动距离符合所述位移值。
4.根据权利要求1所述的处理方法，其特征在于，所述获取构建所述三维模型时所处环境的环境信息，包括：
通过加速度传感器测得第一加速度向量；
通过重力传感器测得第二加速度向量；
对所述第一加速度向量和所述第二加速度向量进行合成；
根据合成得到的加速度向量，确定所述环境信息中的加速度信息。
5.根据权利要求3所述的处理方法，其特征在于，所述根据所述加速度信息指示的加速度值，以及所述目标关键点对应的加速度与位移之间的转换系数，确定所述目标关键点对应的位移值之前还包括：
读取预存的所述目标关键点与所述转换系数之间的对应关系；
其中，所述目标关键点为多个，各目标关键点对应的转换系数取值，是根据各目标关键点对应三维模型的材质和/或在所述三维模型中的相对位置确定的。
6.根据权利要求1-5任一项所述的处理方法，其特征在于，所述环境信息包括光照信息；所述对所述三维模型的纹理信息进行渲染，包括：
根据所述光照信息确定光强和/或光线角度；
根据所述光强和/或光线角度，对所述三维模型的纹理信息进行光效渲染。
7.一种三维模型的处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取人体的三维模型；其中，所述三维模型包括多个关键点，以及多个关键点连接形成的模型框架，以及覆盖所述模型框架的纹理信息；
第二获取模块，用于获取构建所述三维模型时所处环境的环境信息；
处理模块，用于根据所述环境信息，对所述三维模型中的部分关键点进行位置调整，和/或对所述三维模型纹理信息进行渲染。
8.根据权利要求7所述的处理装置，其特征在于，所述环境信息包括加速度信息；所述处理模块，包括：
确定单元，用于从所述三维模型的多个关键点中，确定待调整的目标关键点；
调整单元，用于根据所述加速度信息，对所述目标关键点进行位置调整；
渲染单元，用于对位置调整处理后的三维模型，进行纹理信息渲染。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-6中任一所述的三维模型的处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现如权利要求1-6中任一所述的三维模型的处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810934594.1A CN109285214A (zh) | 2018-08-16 | 2018-08-16 | 三维模型的处理方法、装置、电子设备及可读存储介质 |
| PCT/CN2019/090557 WO2020034738A1 (zh) | 2018-08-16 | 2019-06-10 | 三维模型的处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810934594.1A CN109285214A (zh) | 2018-08-16 | 2018-08-16 | 三维模型的处理方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109285214A true CN109285214A (zh) | 2019-01-29 |
Family
ID=65183565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810934594.1A Pending CN109285214A (zh) | 2018-08-16 | 2018-08-16 | 三维模型的处理方法、装置、电子设备及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109285214A (zh) |
| WO (1) | WO2020034738A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717867A (zh) * | 2019-09-04 | 2020-01-21 | 北京达佳互联信息技术有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
| WO2020034738A1 (zh) * | 2018-08-16 | 2020-02-20 | Oppo广东移动通信有限公司 | 三维模型的处理方法、装置、电子设备及可读存储介质 |
| CN111063024A (zh) * | 2019-12-11 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 三维虚拟人驱动方法、装置、电子设备及存储介质 |
| CN111369670A (zh) * | 2020-03-13 | 2020-07-03 | 江西科骏实业有限公司 | 一种实时构建实训数字孪生模型的方法 |
| CN112426716A (zh) * | 2020-11-26 | 2021-03-02 | 网易（杭州）网络有限公司 | 三维头发模型处理方法、装置、设备及存储介质 |
| CN113780120A (zh) * | 2021-08-27 | 2021-12-10 | 深圳云天励飞技术股份有限公司 | 生成人体三维模型的方法、装置、服务器和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140029837A1 (en) * | 2012-07-30 | 2014-01-30 | Qualcomm Incorporated | Inertial sensor aided instant autofocus |
| CN103988226A (zh) * | 2011-08-31 | 2014-08-13 | Metaio有限公司 | 用于估计摄像机运动以及用于确定实境三维模型的方法 |
| CN104424630A (zh) * | 2013-08-20 | 2015-03-18 | 华为技术有限公司 | 三维重建方法及装置、移动终端 |
| CN104461013A (zh) * | 2014-12-25 | 2015-03-25 | 中国科学院合肥物质科学研究院 | 一种基于惯性传感单元的人体动作重构与分析系统及方法 |
| CN107705355A (zh) * | 2017-09-08 | 2018-02-16 | 郭睿 | 一种基于多张图片的3d人体建模方法及装置 |
| CN107944420A (zh) * | 2017-12-07 | 2018-04-20 | 北京旷视科技有限公司 | 人脸图像的光照处理方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966312B (zh) * | 2014-06-10 | 2017-07-21 | 腾讯科技（深圳）有限公司 | 一种3d模型的渲染方法、装置及终端设备 |
| US20170053422A1 (en) * | 2015-08-17 | 2017-02-23 | Fabien CHOJNOWSKI | Mobile device human body scanning and 3d model creation and analysis |
| CN106502388B (zh) * | 2016-09-26 | 2020-06-02 | 惠州Tcl移动通信有限公司 | 一种互动式运动方法及头戴式智能设备 |
| CN107274466A (zh) * | 2017-05-31 | 2017-10-20 | 珠海金山网络游戏科技有限公司 | 一种实时全身动作捕捉的方法、装置和系统 |
| CN109285214A (zh) * | 2018-08-16 | 2019-01-29 | Oppo广东移动通信有限公司 | 三维模型的处理方法、装置、电子设备及可读存储介质 |
-
2018
- 2018-08-16 CN CN201810934594.1A patent/CN109285214A/zh active Pending
-
2019
- 2019-06-10 WO PCT/CN2019/090557 patent/WO2020034738A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103988226A (zh) * | 2011-08-31 | 2014-08-13 | Metaio有限公司 | 用于估计摄像机运动以及用于确定实境三维模型的方法 |
| US20140029837A1 (en) * | 2012-07-30 | 2014-01-30 | Qualcomm Incorporated | Inertial sensor aided instant autofocus |
| CN104424630A (zh) * | 2013-08-20 | 2015-03-18 | 华为技术有限公司 | 三维重建方法及装置、移动终端 |
| CN104461013A (zh) * | 2014-12-25 | 2015-03-25 | 中国科学院合肥物质科学研究院 | 一种基于惯性传感单元的人体动作重构与分析系统及方法 |
| CN107705355A (zh) * | 2017-09-08 | 2018-02-16 | 郭睿 | 一种基于多张图片的3d人体建模方法及装置 |
| CN107944420A (zh) * | 2017-12-07 | 2018-04-20 | 北京旷视科技有限公司 | 人脸图像的光照处理方法和装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020034738A1 (zh) * | 2018-08-16 | 2020-02-20 | Oppo广东移动通信有限公司 | 三维模型的处理方法、装置、电子设备及可读存储介质 |
| CN110717867A (zh) * | 2019-09-04 | 2020-01-21 | 北京达佳互联信息技术有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
| CN111063024A (zh) * | 2019-12-11 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 三维虚拟人驱动方法、装置、电子设备及存储介质 |
| CN111369670A (zh) * | 2020-03-13 | 2020-07-03 | 江西科骏实业有限公司 | 一种实时构建实训数字孪生模型的方法 |
| CN112426716A (zh) * | 2020-11-26 | 2021-03-02 | 网易（杭州）网络有限公司 | 三维头发模型处理方法、装置、设备及存储介质 |
| CN112426716B (zh) * | 2020-11-26 | 2024-08-13 | 网易（杭州）网络有限公司 | 三维头发模型处理方法、装置、设备及存储介质 |
| CN113780120A (zh) * | 2021-08-27 | 2021-12-10 | 深圳云天励飞技术股份有限公司 | 生成人体三维模型的方法、装置、服务器和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020034738A1 (zh) | 2020-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109285214A (zh) | 三维模型的处理方法、装置、电子设备及可读存储介质 | |
| US12095969B2 (en) | Augmented reality with motion sensing | |
| CN109102559B (zh) | 三维模型处理方法和装置 | |
| CN109118569B (zh) | 基于三维模型的渲染方法和装置 | |
| WO2019228473A1 (zh) | 人脸图像的美化方法和装置 | |
| JP4401727B2 (ja) | 画像表示装置及び方法 | |
| CN109191584B (zh) | 三维模型处理方法、装置、电子设备及可读存储介质 | |
| US11069151B2 (en) | Methods and devices for replacing expression, and computer readable storage media | |
| EP2531979B1 (en) | Depth camera compatibility | |
| US20090238449A1 (en) | Method and Apparatus for Absolute-Coordinate Three-Dimensional Surface Imaging | |
| WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| CN109191393B (zh) | 基于三维模型的美颜方法 | |
| CN108682050B (zh) | 基于三维模型的美颜方法和装置 | |
| CN108876709A (zh) | 人脸美化方法、装置、电子设备及可读存储介质 | |
| CN109949900B (zh) | 三维脉波的显示方法、装置、计算机设备及存储介质 | |
| CN109147037A (zh) | 基于三维模型的特效处理方法、装置和电子设备 | |
| CN109242760B (zh) | 人脸图像的处理方法、装置和电子设备 | |
| KR20160147980A (ko) | 3d 스캔이 수행 중인 물체에 관한 색상 정보를 수집하기 위한 시스템, 방법, 장치 및 컴퓨터 판독가능 저장 매체 | |
| CN107517346A (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| US11816854B2 (en) | Image processing apparatus and image processing method | |
| CN109905594A (zh) | 提供图像的方法和用于支持该方法的电子装置 | |
| CN115330980A (zh) | 表情迁移方法、装置、电子设备及存储介质 | |
| CN108549484A (zh) | 基于人体动态姿态的人机交互方法和装置 | |
| KR101010904B1 (ko) | 마커를 사용하지 않는 증강공간 제공 장치 | |
| CN108711186A (zh) | 目标物体制图的方法与装置、身份识别装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190129 |
|
| RJ01 | Rejection of invention patent application after publication |