CN109636890B - 纹理融合方法和装置、电子设备、存储介质、产品 - Google Patents

纹理融合方法和装置、电子设备、存储介质、产品 Download PDF

Info

Publication number
CN109636890B
CN109636890B CN201811446395.2A CN201811446395A CN109636890B CN 109636890 B CN109636890 B CN 109636890B CN 201811446395 A CN201811446395 A CN 201811446395A CN 109636890 B CN109636890 B CN 109636890B
Authority
CN
China
Prior art keywords
model
feature point
texture
map
projection position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811446395.2A
Other languages
English (en)
Other versions
CN109636890A (zh
Inventor
朴镜潭
王权
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201811446395.2A priority Critical patent/CN109636890B/zh
Publication of CN109636890A publication Critical patent/CN109636890A/zh
Application granted granted Critical
Publication of CN109636890B publication Critical patent/CN109636890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

本申请实施例公开了一种纹理融合方法和装置、电子设备、存储介质、产品，其中，方法包括，对三维模型进行纹理展开，获得展开模型；获得展开模型中的每个第一特征点在至少一个贴图中的第一投影位置；获得贴图在第一投影位置的纹理参数，基于纹理参数对三维模型的第二特征点赋值，获得目标三维模型，基于展开模型对三维模型进行纹理参数赋值，提高了贴图的速度和质量。

Description

纹理融合方法和装置、电子设备、存储介质、产品
技术领域
本申请涉及计算机视觉技术，尤其是一种纹理融合方法和装置、电子设备、存储介质、产品。
背景技术
在物体重建过程中，基于彩色图片的物体纹理生成是在形状生成基础上更复杂的问题，由于纹理的多样性和重建结果与投影图片具有的误差，以及可能的图片中物体的运动和内部变形，导致纹理结果质量很难有比较好的结果。为了消除可能具有的人为边缘(由于多视角下重建结果的投影位置不完全精确)、鬼影(物体在拍摄时间内有运动或变形)、模糊(纹理上同一点在多个图像上并不重合) 等问题，需要比较复杂的基于多个图片和全图的优化过程，需要耗费大量计算量。
发明内容
本申请实施例提供了一种纹理融合方法和装置、电子设备、存储介质、产品。
根据本申请实施例的一个方面，提供的一种纹理融合方法，包括：
对三维模型进行纹理展开，获得展开模型；
获得所述展开模型中的每个第一特征点在至少一个贴图中的第一投影位置；
获得所述贴图在所述第一投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标模型。
可选地，在本申请上述任一方法实施例中，所述对三维模型进行纹理展开，获得展开模型，包括：
利用最小化曲面第一基本形式的参数对所述三维模型进行共形纹理展开，获得所述展开模型。
可选地，在本申请上述任一方法实施例中，所述利用最小化曲面第一基本形式的参数对所述三维模型进行共形纹理展开，获得所述展开模型，包括：
利用最小化曲面第一基本形式的参数对所述三维模型进行共形纹理展开，获得至少一个展开图；
基于所述至少一个展开图的面积筛选获得所述展开模型。
可选地，在本申请上述任一方法实施例中，所述获得所述展开模型中的每个第一特征点在至少一个贴图中的第一投影位置，包括：
对所述展开模型进行分区，获得至少两个展开模型区域；
根据所述至少一个贴图中每个贴图的人脸姿态，确定所述贴图对应的展开模型区域；
获得所述展开模型区域中的每个第一特征点在所述展开模型区域对应的所述贴图中对应的第三特征点，将所述对应的第三特征点作为所述第一特征点的第一投影位置。
可选地，在本申请上述任一方法实施例中，所述获得所述展开模型区域中的每个第一特征点在所述展开模型区域对应的所述贴图中对应的第三特征点之前，还包括：
基于卷积神经网络分别对所述至少一个贴图进行特征提取，获得所述贴图中的第三特征点。
可选地，在本申请上述任一方法实施例中，所述方法还包括：
基于所述至少两个展开模型区域的交接处获得至少一个边界区域；
响应于所述边界区域内的至少两个第一特征点对应的纹理参数之间的差值大于设定值，对所述至少两个第一特征点中的至少一个第一特征点的纹理参数进行调整，使所述边界区域中的第一特征点中的纹理参数的差值在预设范围内。
可选地，在本申请上述任一方法实施例中，所述对三维模型进行纹理展开，获得展开模型之后，还包括：
基于所述展开模型和所述三维模型确定所述第二特征点与所述第一特征点之间的变形系数。
可选地，在本申请上述任一方法实施例中，所述获得所述贴图在所述第一投影位置的纹理参数，基于所述纹理参数对所述三维模型的特征点赋值，获得目标模型，包括：
获得所述贴图在所述第一投影位置的纹理参数；
基于所述第一投影位置对应的所述展开模型的第一特征点确定所述第一投影位置对应的第二特征点；
基于所述第一投影位置的纹理参数对所述对应的第二特征点赋值，获得目标模型。
可选地，在本申请上述任一方法实施例中，所述基于所述第一投影位置对应的所述展开模型的第一特征点确定所述第一投影位置对应的第二特征点，包括：
基于所述第二特征点与所述第一特征点之间的变形系数，确定所述展开模型的第一特征点在所述三维模型中对应的第二特征点，即所述第一投影位置对应的第二特征点。
可选地，在本申请上述任一方法实施例中，所述获得所述贴图在所述第一投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标三维模型之前，还包括：
基于所述三维模型的第二特征点在所述贴图中的第二投影位置对所述展开模型的第一特征点在所述贴图中的第一投影位置进行矫正，获得矫正后的第三投影位置；
所述获得所述贴图在所述第一投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标模型，包括：
获得所述贴图在所述第三投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标模型。
可选地，在本申请上述任一方法实施例中，所述方法还包括：
响应于所述目标模型中的设定区域内至少一个相邻第二特征点的纹理参数之间的差值大于设定值，对所述至少一个相邻第二特征点的纹理参数进行矫正。
可选地，在本申请上述任一方法实施例中，所述对所述至少一个相邻第二特征点的纹理参数进行矫正，包括：
基于所述设定区域内所有第二特征点的纹理参数对所述至少一个相邻第二特征点的纹理参数进行矫正。
可选地，在本申请上述任一方法实施例中，所述纹理参数包括颜色参数。
根据本申请实施例的另一个方面，提供的一种纹理融合装置，包括：
模型展开单元，用于对三维模型进行纹理展开，获得展开模型；
投影单元，用于获得所述展开模型中的每个第一特征点在至少一个贴图中的第一投影位置；
目标模型单元，用于获得所述贴图在所述第一投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标模型。
可选地，在本申请上述任一装置实施例中，所述模型展开单元，用于利用最小化曲面第一基本形式的参数对所述三维模型进行共形纹理展开，获得所述展开模型。
可选地，在本申请上述任一装置实施例中，所述模型展开单元，具体用于利用最小化曲面第一基本形式的参数对所述三维模型进行共形纹理展开，获得至少一个展开图；基于所述至少一个展开图的面积筛选获得所述展开模型。
可选地，在本申请上述任一装置实施例中，所述投影单元，具体用于对所述展开模型进行分区，获得至少两个展开模型区域；根据所述至少一个贴图中每个贴图的人脸姿态，确定所述贴图对应的展开模型区域；获得所述展开模型区域中的每个第一特征点在所述展开模型区域对应的所述贴图中对应的第三特征点，将所述对应的第三特征点作为所述第一特征点的第一投影位置。
可选地，在本申请上述任一装置实施例中，所述投影单元，还用于基于卷积神经网络分别对所述至少一个贴图进行特征提取，获得所述贴图中的第三特征点。
可选地，在本申请上述任一装置实施例中，所述投影单元，还用于基于所述至少两个展开模型区域的交接处获得至少一个边界区域；响应于所述边界区域内的至少两个第一特征点对应的纹理参数之间的差值大于设定值，对所述至少两个第一特征点中的至少一个第一特征点的纹理参数进行调整，使所述边界区域中的第一特征点中的纹理参数的差值在预设范围内。
可选地，在本申请上述任一装置实施例中，所述装置还包括：
变形系数单元，用于基于所述展开模型和所述三维模型确定所述第二特征点与所述第一特征点之间的变形系数。
可选地，在本申请上述任一装置实施例中，所述目标模型单元，包括：
纹理参数模块，用于获得所述贴图在所述第一投影位置的纹理参数；
特征点对应模块，用于基于所述第一投影位置对应的所述展开模型的第一特征点确定所述第一投影位置对应的第二特征点；
特征点赋值模块，用于基于所述第一投影位置的纹理参数对所述对应的第二特征点赋值，获得目标模型。
可选地，在本申请上述任一装置实施例中，所述特征点对应模块，具体用于基于所述第二特征点与所述第一特征点之间的变形系数，确定所述展开模型的第一特征点在所述三维模型中对应的第二特征点，即所述第一投影位置对应的第二特征点。
可选地，在本申请上述任一装置实施例中，所述装置还包括：
位置矫正单元，用于基于所述三维模型的第二特征点在所述贴图中的第二投影位置对所述展开模型的第一特征点在所述贴图中的第一投影位置进行矫正，获得矫正后的第三投影位置；
所述目标模型单元，具体用于获得所述贴图在所述第三投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标模型。
可选地，在本申请上述任一装置实施例中，所述装置还包括：
参数矫正单元，用于响应于所述目标模型中的设定区域内至少一个相邻第二特征点的纹理参数之间的差值大于设定值，对所述至少一个相邻第二特征点的纹理参数进行矫正。
可选地，在本申请上述任一装置实施例中，所述参数矫正单元，具体用于基于所述设定区域内所有第二特征点的纹理参数对所述至少一个相邻第二特征点的纹理参数进行矫正。
可选地，在本申请上述任一装置实施例中，所述纹理参数包括颜色参数。
根据本申请实施例的又一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的纹理融合装置。
根据本申请实施例的还一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述纹理融合方法的操作。
根据本申请实施例的再一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行如上任意一项所述纹理融合方法的操作。
根据本申请实施例的又一个方面，提供的一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述纹理融合方法的指令。
基于本申请上述实施例提供的一种纹理融合方法和装置、电子设备、存储介质、产品，对三维模型进行纹理展开，获得展开模型；获得展开模型中的每个第一特征点在至少一个贴图中的第一投影位置；获得贴图在第一投影位置的纹理参数，基于纹理参数对三维模型的第二特征点赋值，获得目标模型，基于展开模型对三维模型进行纹理参数赋值，提高了贴图的速度和质量。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请实施例提供的纹理融合方法的一个流程示意图。
图2为本申请实施例提供的纹理融合装置的一个结构示意图。
图3为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本申请实施例提供的纹理融合方法的一个流程示意图。该方法可以由任意电子设备执行，例如终端设备、服务器、移动设备等等。如图1所示，该实施例方法包括：
步骤110，对三维模型进行纹理展开，获得展开模型。
可选地，本实施例所指三维模型为立体三维模型，该三维模型中包括多个第二特征点，为了更便捷快速的实现纹理融合，本申请实施例将三维模型进行纹理展开，把三维模型映射到平面，获得以平面形式显示的展开模型，展开模型中的每个第一特征点都位于同一平面，并且，每个第一特征点与第二特征点存在对应关系。
可选地，本申请实施例可应用到人脸纹理融合，此时三维模型为人脸模型，将人脸模型进行纹理展开，把人脸模型映射到平面，获得以平面形式显示的展开模型。
步骤120，获得展开模型中的每个第一特征点在至少一个贴图中的第一投影位置。
可选地，为了将贴图中的纹理参数融合到人脸特征中，需要在贴图中找到与展开模型对应的位置，本实施例通过寻找特征点对应贴图中投影位置的方式实现，可选地第一投影位置可以是贴图对应的特征点的位置。
步骤130，获得贴图在第一投影位置的纹理参数，基于纹理参数对三维模型的第二特征点赋值，获得目标模型。
基于本申请上述实施例提供的一种纹理融合方法，对三维模型进行纹理展开，获得展开模型；获得展开模型中的每个第一特征点在至少一个贴图中的第一投影位置；获得贴图在第一投影位置的纹理参数，基于纹理参数对三维模型的第二特征点赋值，获得目标模型，基于展开模型对三维模型进行纹理参数赋值，提高了贴图的速度和质量。
在一个或多个可选的实施例中，步骤110可以包括：
利用最小化曲面第一基本形式的参数对三维模型进行共形纹理展开，获得展开模型。其中优化函数为离散第一基本形式(1)，即
Figure BDA0001885822540000091
其中，αij表示三维模型中的边的对角，ui和uj是二维坐标，|ui-uj|表示在参数域内的(i，j)边的长度，
Figure BDA0001885822540000092
表示经过共形纹理展开后的展开图中作为最小单元的三角形的狄利克雷能量。
可选地，利用最小化曲面第一基本形式的参数对三维模型进行共形纹理展开，获得展开模型，包括：
利用最小化曲面第一基本形式的参数对三维模型进行共形纹理展开，获得至少一个展开图；
基于至少一个展开图的面积筛选获得展开模型。
获得的每个展开图中的最小单元为三角形，以每个展开图对应的三角形的面积作为约束条件，确定一个展开面积最大的展开图作为展开模型。
在一个或多个可选的实施例中，步骤120包括：
对展开模型进行分区，获得至少两个展开模型区域；
根据至少一个贴图中每个贴图的人脸姿态，确定贴图对应的展开模型区域；
获得展开模型区域中的每个第一特征点在展开模型区域对应的贴图中对应的第三特征点，将对应的第三特征点作为第一特征点的第一投影位置。
可选地，对展开模型进行分区可通过对三维模型进行分区来实现，对三维模型进行分区可以由不同角度对立体的三维模型获取的不同部分实现分区，例如：左侧面获得左侧脸部区域，正面获得正面脸部区域等；可选地，为了实现将立体的三维模型每个部位都实现纹理融合，可将三维模型分区为4个展开模型区域，分别对应从左侧、右侧、正前方和下方对三维模型进行获取的人脸部分。
可选地，步骤120在获得展开模型区域中的每个第一特征点在展开模型区域对应的贴图中对应的第三特征点之前，还包括：
基于卷积神经网络分别对至少一个贴图进行特征提取，获得贴图中的第三特征点。
其中，卷积神经网络为任意可以实现对图像进行特征提取的卷积神经网络，本申请实施例不限制其具体结构和参数；利用深度学习得到贴图的特征点，将可能的需要耗费大量计算量图像纹理特征进行简化，更快速地进行针对三维模型的纹理重建工作。
在一个或多个可选的实施例中，本申请实施例提供的方法在执行步骤110之后，还包括：
基于展开模型和三维模型确定第二特征点与第一特征点之间的变形系数。
纹理展开获得的展开模型中的每个第一特征点都对应三维模型中的一个第二特征点，基于每对对应的第一特征点和第二特征点，可以确定展开模型和三维模型中的特征点的变形系数，通过这个系数可以实现基于第一特征点获得对应的第二特征点。
可选地，步骤130包括：
获得贴图在第一投影位置的纹理参数；
基于第一投影位置对应的展开模型的第一特征点确定第一投影位置对应的第二特征点；
基于第一投影位置的纹理参数对对应的第二特征点赋值，获得目标模型。
可选地，本实施例中贴图中的每个第一投影位置(例如：第三特征点)都对应具体的纹理参数(例如：颜色参数)，基于该第一投影位置对应的第一特征点可确定该第一投影位置对应的第二特征点，实现基于第一投影位置的纹理参数对第二特征点进行赋值，将三维模型中每个特征点都完成赋值后，获得目标模型，例如：目标模型可以是彩色模型，当本申请实施例方法应用到人脸纹理融合时，目标模型为彩色人脸模型。
可选地，基于第三投影位置对应的展开模型的第一特征点确定第三投影位置对应的第二特征点，包括：
基于第二特征点与第一特征点之间的变形系数，确定展开模型的第一特征点在三维模型中对应的第二特征点，即第三投影位置对应的第二特征点。
本申请实施例通过在平面模型(展开模型)和三维模型中特征点之间的变形系数，确定展开模型中的一个特征点(第一特征点)在三维模型中对应的特征点 (第二特征点)，实现通过变形系数将展开模型和三维模型中的特征点建立对应关系。
在一个或多个可选的实施例中，本申请实施例提供的方法在执行步骤130之前，还包括：
基于三维模型的第二特征点在贴图中的第二投影位置对展开模型的第一特征点在贴图中的第一投影位置进行矫正，获得矫正后的第三投影位置；
在本实施例中，步骤130包括：
获得贴图在第三投影位置的纹理参数，基于纹理参数对三维模型的第二特征点赋值，获得目标模型。
根据特征点检测到的位置和3D特征点投影位置的偏差，对所有投影到该图片上的点进行矫正，即利用预先设置的根据人类标准模型的点位分布得到的每个点基于关键点的变形系数影响因子，将关键点迁移到检测位置后计算其余点对应的矫正后位置。
在一个或多个可选的实施例中，本申请实施例提供的方法还包括：
响应于目标模型中的设定区域内至少一个相邻第二特征点的纹理参数之间的差值大于设定值，对至少一个相邻第二特征点的纹理参数进行矫正。
可选地，目标图像中存在一些区域由于拍摄或其他原因导致部分区域的颜色较暗，为了获取更接近目标本身的目标模型，需要对颜色较暗的区域进行纹理参数矫正，可选地，可基于其他部位的平均纹理参数对该区域的特征点进行赋值。
可选地，当本申请实施例方法应用到人脸纹理融合时，人脸中存在一些区域 (例如：鼻子两侧)，由于容易产生阴影而导致拍摄的图像中该区域的颜色较暗，为了获得更接近人脸本身的目标模型，需要对较暗的区域进行纹理参数矫正，可选地，可基于其他部位的平均纹理参数对该区域的特征点进行赋值；例如：将鼻子及附近区域作为设定区域，当鼻子两侧的纹理参数与鼻子中间的纹理参数之间的差值较大时，对鼻子两侧的纹理参数进行矫正。
可选地，对至少一个相邻第二特征点的纹理参数进行矫正，包括：
基于设定区域内所有第二特征点的纹理参数对至少一个相邻第二特征点的纹理参数进行矫正。
当相邻的第二特征点之间的纹理参数差异较大时，可能存在一些错误，本申请实施例针对这些可能出现的错误，进行纹理参数的矫正，通过设定区域内的第二特征点的纹理参数对相邻第二特征点的纹理参数进行矫正，避免了相邻第二特征点之间的纹理参数差异较大的问题。
在一个或多个可选的实施例中，本申请实施例提供的方法还包括：
基于至少两个展开模型区域的交接处获得至少一个边界区域；
响应于边界区域内的至少两个第一特征点对应的纹理参数之间的差值大于设定值，对至少两个第一特征点中的至少一个第一特征点的纹理参数进行调整，使边界区域中的第一特征点中的纹理参数的差值在预设范围内。
由于上述实施例通过分区对三维模型进行赋值，由于每个展开模型区域对应一个贴图，即三维模型的不同分区中的纹理参数来自不同贴图，由于光线等外部原因，可能会导致获得的目标三维模型具有明显的分界线，这是不符合正常目标 (例如，人脸等)的现象，本申请实施例可通过泊松(Poisson)方程使各个分区贴图光照一致同时连接边缘色彩连续。
可选地，纹理参数包括颜色参数。
颜色参数由于不同的色彩模式可以包括不同的参数类别，例如：RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，通过RGB三个颜色通道的值表示颜色参数，不同颜色参数表示不同颜色，例如：(0,0,0)表示黑色，(255,255,255)表示白色，(255,0,0)表示红色等等。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图2为本申请实施例提供的纹理融合装置的一个结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图2所示，该实施例的装置包括：
模型展开单元21，用于对三维模型进行纹理展开，获得展开模型。
投影单元22，用于获得展开模型中的每个第一特征点在至少一个贴图中的第一投影位置。
目标模型单元23，用于获得贴图在第一投影位置的纹理参数，基于纹理参数对三维模型的第二特征点赋值，获得目标模型。
基于本申请上述实施例提供的一种纹理融合装置，对三维模型进行纹理展开，获得展开模型；获得展开模型中的每个第一特征点在至少一个贴图中的第一投影位置；获得贴图在第一投影位置的纹理参数，基于纹理参数对三维模型的第二特征点赋值，获得目标模型，基于展开模型对三维模型进行纹理参数赋值，提高了贴图的速度和质量。
在一个或多个可选的实施例中，模型展开单元21，用于利用最小化曲面第一基本形式的参数对三维模型进行共形纹理展开，获得展开模型。
可选地，模型展开单元，具体用于利用最小化曲面第一基本形式的参数对三维模型进行共形纹理展开，获得至少一个展开图；基于至少一个展开图的面积筛选获得展开模型。
在一个或多个可选的实施例中，投影单元22，具体用于对展开模型进行分区，获得至少两个展开模型区域；根据至少一个贴图中每个贴图的人脸姿态，确定贴图对应的展开模型区域；获得展开模型区域中的每个第一特征点在展开模型区域对应的贴图中对应的第三特征点，将对应的第三特征点作为第一特征点的第一投影位置。
可选地，对展开模型进行分区可通过对三维模型进行分区来实现，对三维模型进行分区可以由不同角度对立体的三维模型获取的不同部分实现分区，例如：左侧面获得左侧脸部区域，正面获得正面脸部区域等；可选地，为了实现将立体的三维模型每个部位都实现纹理融合，可将三维模型分区为4个展开模型区域，分别对应从左侧、右侧、正前方和下方对三维模型进行获取的人脸部分。
可选地，投影单元22，还用于基于卷积神经网络分别对至少一个贴图进行特征提取，获得贴图中的第三特征点。
在一个或多个可选的实施例中，本申请实施例提供的装置还包括：
变形系数单元，用于基于展开模型和三维模型确定第二特征点与第一特征点之间的变形系数。
纹理展开获得的展开模型中的每个第一特征点都对应三维模型中的一个第二特征点，基于每对对应的第一特征点和第二特征点，可以确定展开模型和三维模型中的特征点的变形系数，通过这个系数可以实现基于第一特征点获得对应的第二特征点。
可选地，目标模型单元23，包括：
纹理参数模块，用于获得贴图在第一投影位置的纹理参数；
特征点对应模块，用于基于第一投影位置对应的展开模型的第一特征点确定第一投影位置对应的第二特征点；
特征点赋值模块，用于基于第一投影位置的纹理参数对对应的第二特征点赋值，获得目标模型。
可选地，特征点对应模块，具体用于基于第二特征点与第一特征点之间的变形系数，确定展开模型的第一特征点在三维模型中对应的第二特征点，即第一投影位置对应的第二特征点。
在一个或多个可选的实施例中，本申请实施例提供的装置还包括：
位置矫正单元，用于基于三维模型的第二特征点在贴图中的第二投影位置对展开模型的第一特征点在贴图中的第一投影位置进行矫正，获得矫正后的第三投影位置；
目标模型单元23，具体用于获得贴图在第三投影位置的纹理参数，基于纹理参数对三维模型的第二特征点赋值，获得目标模型。
根据特征点检测到的位置和3D特征点投影位置的偏差，对所有投影到该图片上的点进行矫正，即利用预先设置的根据人类标准模型的点位分布得到的每个点基于关键点的变形系数影响因子，将关键点迁移到检测位置后计算其余点对应的矫正后位置。
在一个或多个可选的实施例中，本申请实施例提供的装置还包括：
参数矫正单元，用于响应于目标模型中的设定区域内至少一个相邻第二特征点的纹理参数之间的差值大于设定值，对至少一个相邻第二特征点的纹理参数进行矫正。
可选地，目标图像中存在一些区域由于拍摄或其他原因导致部分区域的颜色较暗，为了获取更接近目标本身的目标模型，需要对颜色较暗的区域进行纹理参数矫正，可选地，可基于其他部位的平均纹理参数对该区域的特征点进行赋值。
可选地，参数矫正单元，具体用于基于设定区域内所有第二特征点的纹理参数对至少一个相邻第二特征点的纹理参数进行矫正。
可选地，投影单元22，还用于基于至少两个展开模型区域的交接处获得至少一个边界区域；响应于边界区域内的至少两个第一特征点对应的纹理参数之间的差值大于设定值，对至少两个第一特征点中的至少一个第一特征点的纹理参数进行调整，使边界区域中的第一特征点中的纹理参数的差值在预设范围内。
可选地，纹理参数包括颜色参数。
根据本申请实施例的又一个方面，提供的一种电子设备，包括处理器，该处理器包括上述任意一个实施例提供的纹理融合装置。
根据本申请实施例的还一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与该存储器通信以执行所述可执行指令从而完成上述任意一个实施例提供的纹理融合方法的操作。
根据本申请实施例的再一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，该指令被执行时执行上述任意一个实施例提供的纹理融合方法的操作。
根据本申请实施例的又一个方面，提供的一种计算机程序产品，包括计算机可读代码，其特征在于，当该计算机可读代码在设备上运行时，设备中的处理器执行用于实现上述任意一个实施例提供的纹理融合方法的指令。
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机 (PC)、平板电脑、服务器等。下面参考图3，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备300的结构示意图：如图3所示，电子设备 300包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)301，和/或一个或多个图像处理器(GPU)313等，处理器可以根据存储在只读存储器(ROM)302中的可执行指令或者从存储部分308 加载到随机访问存储器(RAM)303中的可执行指令而执行各种适当的动作和处理。通信部312可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband) 网卡。
处理器可与只读存储器302和/或随机访问存储器303中通信以执行可执行指令，通过总线304与通信部312相连、并经通信部312与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，对三维模型进行纹理展开，获得展开模型；获得展开模型中的每个第一特征点在至少一个贴图中的第一投影位置；获得贴图在第一投影位置的纹理参数，基于纹理参数对三维模型的第二特征点赋值，获得目标模型。
此外，在RAM 303中，还可存储有装置操作所需的各种程序和数据。CPU301、ROM302以及RAM303通过总线304彼此相连。在有RAM303的情况下，ROM302 为可选模块。RAM303存储可执行指令，或在运行时向ROM302中写入可执行指令，可执行指令使中央处理单元301执行上述通信方法对应的操作。输入/输出 (I/O)接口305也连接至总线304。通信部312可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310 也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
需要说明的，如图3所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图3的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU313 和CPU301可分离设置或者可将GPU313集成在CPU301上，通信部可分离设置，也可集成设置在CPU301或GPU313上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，对三维模型进行纹理展开，获得展开模型；获得展开模型中的每个第一特征点在至少一个贴图中的第一投影位置；获得贴图在第一投影位置的纹理参数，基于纹理参数对三维模型的第二特征点赋值，获得目标模型。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的方法中限定的上述功能的操作。
可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (25)

1.一种纹理融合方法，其特征在于，包括：
对三维模型进行纹理展开，获得展开模型；
获得所述展开模型中的每个第一特征点在至少一个贴图中的第一投影位置；
获得所述贴图在所述第一投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标模型；
所述对三维模型进行纹理展开，获得展开模型，包括：
利用最小化曲面第一基本形式的参数对所述三维模型进行共形纹理展开，获得至少一个展开图；
基于所述至少一个展开图的面积筛选获得所述展开模型。
2.根据权利要求1所述的方法，其特征在于，所述获得所述展开模型中的每个第一特征点在至少一个贴图中的第一投影位置，包括：
对所述展开模型进行分区，获得至少两个展开模型区域；
根据所述至少一个贴图中每个贴图的人脸姿态，确定所述贴图对应的展开模型区域；
获得所述展开模型区域中的每个第一特征点在所述展开模型区域对应的所述贴图中对应的第三特征点，将所述对应的第三特征点作为所述第一特征点的第一投影位置。
3.根据权利要求2所述的方法，其特征在于，所述获得所述展开模型区域中的每个第一特征点在所述展开模型区域对应的所述贴图中对应的第三特征点之前，还包括：
基于卷积神经网络分别对所述至少一个贴图进行特征提取，获得所述贴图中的第三特征点。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于所述至少两个展开模型区域的交接处获得至少一个边界区域；
响应于所述边界区域内的至少两个第一特征点对应的纹理参数之间的差值大于设定值，对所述至少两个第一特征点中的至少一个第一特征点的纹理参数进行调整，使所述边界区域中的第一特征点中的纹理参数的差值在预设范围内。
5.根据权利要求1-4任一所述的方法，其特征在于，所述对三维模型进行纹理展开，获得展开模型之后，还包括：
基于所述展开模型和所述三维模型确定所述第二特征点与所述第一特征点之间的变形系数。
6.根据权利要求5所述的方法，其特征在于，所述获得所述贴图在所述第一投影位置的纹理参数，基于所述纹理参数对所述三维模型的特征点赋值，获得目标模型，包括：
获得所述贴图在所述第一投影位置的纹理参数；
基于所述第一投影位置对应的所述展开模型的第一特征点确定所述第一投影位置对应的第二特征点；
基于所述第一投影位置的纹理参数对所述对应的第二特征点赋值，获得目标模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一投影位置对应的所述展开模型的第一特征点确定所述第一投影位置对应的第二特征点，包括：
基于所述第二特征点与所述第一特征点之间的变形系数，确定所述展开模型的第一特征点在所述三维模型中对应的第二特征点，即所述第一投影位置对应的第二特征点。
8.根据权利要求1-4任一所述的方法，其特征在于，所述获得所述贴图在所述第一投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标三维模型之前，还包括：
基于所述三维模型的第二特征点在所述贴图中的第二投影位置对所述展开模型的第一特征点在所述贴图中的第一投影位置进行矫正，获得矫正后的第三投影位置；
所述获得所述贴图在所述第一投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标模型，包括：
获得所述贴图在所述第三投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标模型。
9.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：
响应于所述目标模型中的设定区域内至少一个相邻第二特征点的纹理参数之间的差值大于设定值，对所述至少一个相邻第二特征点的纹理参数进行矫正。
10.根据权利要求9所述的方法，其特征在于，所述对所述至少一个相邻第二特征点的纹理参数进行矫正，包括：
基于所述设定区域内所有第二特征点的纹理参数对所述至少一个相邻第二特征点的纹理参数进行矫正。
11.根据权利要求1-4任一所述的方法，其特征在于，所述纹理参数包括颜色参数。
12.一种纹理融合装置，其特征在于，包括：
模型展开单元，用于对三维模型进行纹理展开，获得展开模型；
投影单元，用于获得所述展开模型中的每个第一特征点在至少一个贴图中的第一投影位置；
目标模型单元，用于获得所述贴图在所述第一投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标模型；
所述模型展开单元，用于利用最小化曲面第一基本形式的参数对所述三维模型进行共形纹理展开，获得至少一个展开图；基于所述至少一个展开图的面积筛选获得所述展开模型。
13.根据权利要求12所述的装置，其特征在于，所述投影单元，具体用于对所述展开模型进行分区，获得至少两个展开模型区域；根据所述至少一个贴图中每个贴图的人脸姿态，确定所述贴图对应的展开模型区域；获得所述展开模型区域中的每个第一特征点在所述展开模型区域对应的所述贴图中对应的第三特征点，将所述对应的第三特征点作为所述第一特征点的第一投影位置。
14.根据权利要求13所述的装置，其特征在于，所述投影单元，还用于基于卷积神经网络分别对所述至少一个贴图进行特征提取，获得所述贴图中的第三特征点。
15.根据权利要求13所述的装置，其特征在于，所述投影单元，还用于基于所述至少两个展开模型区域的交接处获得至少一个边界区域；响应于所述边界区域内的至少两个第一特征点对应的纹理参数之间的差值大于设定值，对所述至少两个第一特征点中的至少一个第一特征点的纹理参数进行调整，使所述边界区域中的第一特征点中的纹理参数的差值在预设范围内。
16.根据权利要求12-15任一所述的装置，其特征在于，所述装置还包括：
变形系数单元，用于基于所述展开模型和所述三维模型确定所述第二特征点与所述第一特征点之间的变形系数。
17.根据权利要求16所述的装置，其特征在于，所述目标模型单元，包括：
纹理参数模块，用于获得所述贴图在所述第一投影位置的纹理参数；
特征点对应模块，用于基于所述第一投影位置对应的所述展开模型的第一特征点确定所述第一投影位置对应的第二特征点；
特征点赋值模块，用于基于所述第一投影位置的纹理参数对所述对应的第二特征点赋值，获得目标模型。
18.根据权利要求17所述的装置，其特征在于，所述特征点对应模块，具体用于基于所述第二特征点与所述第一特征点之间的变形系数，确定所述展开模型的第一特征点在所述三维模型中对应的第二特征点，即所述第一投影位置对应的第二特征点。
19.根据权利要求12-15任一所述的装置，其特征在于，所述装置还包括：
位置矫正单元，用于基于所述三维模型的第二特征点在所述贴图中的第二投影位置对所述展开模型的第一特征点在所述贴图中的第一投影位置进行矫正，获得矫正后的第三投影位置；
所述目标模型单元，具体用于获得所述贴图在所述第三投影位置的纹理参数，基于所述纹理参数对所述三维模型的第二特征点赋值，获得目标模型。
20.根据权利要求12-15任一所述的装置，其特征在于，所述装置还包括：
参数矫正单元，用于响应于所述目标模型中的设定区域内至少一个相邻第二特征点的纹理参数之间的差值大于设定值，对所述至少一个相邻第二特征点的纹理参数进行矫正。
21.根据权利要求20所述的装置，其特征在于，所述参数矫正单元，具体用于基于所述设定区域内所有第二特征点的纹理参数对所述至少一个相邻第二特征点的纹理参数进行矫正。
22.根据权利要求12-15任一所述的装置，其特征在于，所述纹理参数包括颜色参数。
23.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求12至22任意一项所述的纹理融合装置。
24.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至11任意一项所述纹理融合方法的操作。
25.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至11任意一项所述纹理融合方法的操作。
CN201811446395.2A 2018-11-29 2018-11-29 纹理融合方法和装置、电子设备、存储介质、产品 Active CN109636890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811446395.2A CN109636890B (zh) 2018-11-29 2018-11-29 纹理融合方法和装置、电子设备、存储介质、产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811446395.2A CN109636890B (zh) 2018-11-29 2018-11-29 纹理融合方法和装置、电子设备、存储介质、产品

Publications (2)

Publication Number Publication Date
CN109636890A CN109636890A (zh) 2019-04-16
CN109636890B true CN109636890B (zh) 2023-02-28

Family

ID=66069838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811446395.2A Active CN109636890B (zh) 2018-11-29 2018-11-29 纹理融合方法和装置、电子设备、存储介质、产品

Country Status (1)

Country Link
CN (1) CN109636890B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136236B (zh) * 2019-05-17 2022-11-29 腾讯科技（深圳）有限公司 三维角色的个性化脸部显示方法、装置、设备及存储介质
CN111192223B (zh) * 2020-01-07 2022-09-30 腾讯科技（深圳）有限公司 人脸纹理图像的处理方法、装置、设备及存储介质
CN111667564B (zh) * 2020-06-22 2023-08-08 网易（杭州）网络有限公司 一种纹理数据的处理方法及装置、电子设备、存储介质
CN112884870A (zh) * 2021-02-26 2021-06-01 深圳市商汤科技有限公司 一种三维模型的展开方法、电子设备以及计算机存储介质
CN116841350A (zh) * 2022-03-23 2023-10-03 华为技术有限公司 一种3d显示方法以及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663820B (zh) * 2012-04-28 2014-10-22 清华大学 三维头部模型重建方法
CN105096377B (zh) * 2014-05-14 2019-03-19 华为技术有限公司 一种图像处理方法和装置
CN108062784B (zh) * 2018-02-05 2022-04-29 深圳市易尚展示股份有限公司 三维模型纹理贴图转换方法与装置

Also Published As

Publication number Publication date
CN109636890A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109636890B (zh) 纹理融合方法和装置、电子设备、存储介质、产品
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
JP6613605B2 (ja) 深度画像の深度値復元方法及びシステム
EP3108449B1 (en) View independent 3d scene texturing
CN105374065B (zh) 用于在渲染图像中使用的可重新照明纹理
US9426444B2 (en) Depth measurement quality enhancement
US8374428B2 (en) Color balancing for partially overlapping images
US10347052B2 (en) Color-based geometric feature enhancement for 3D models
US8310499B2 (en) Balancing luminance disparity in a display by multiple projectors
US9437034B1 (en) Multiview texturing for three-dimensional models
US20130121567A1 (en) Determining characteristics of multiple light sources in a digital image
US10169891B2 (en) Producing three-dimensional representation based on images of a person
US20180108141A1 (en) Information processing device and information processing method
EP3756163B1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
US10019848B2 (en) Edge preserving color smoothing of 3D models
WO2021169396A1 (zh) 一种媒体内容植入方法以及相关装置
US20200211255A1 (en) Methods, devices, and computer program products for checking environment acceptability for 3d scanning
CN112669436A (zh) 一种基于3d点云的深度学习样本生成方法
WO2018039936A1 (en) Fast uv atlas generation and texture mapping
Pan et al. Color adjustment in image-based texture maps
JP5661381B2 (ja) 画像処理装置およびその方法
CN115457206A (zh) 三维模型生成方法、装置、设备及存储介质
CN108520259A (zh) 一种前景目标的提取方法、装置、设备及存储介质
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
RU2626661C1 (ru) Способ и подсистема определения содержащих документ фрагментов цифрового изображения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant