CN110473294B - 一种基于三维模型的纹理映射方法、装置及设备 - Google Patents
一种基于三维模型的纹理映射方法、装置及设备 Download PDFInfo
- Publication number
- CN110473294B CN110473294B CN201810449321.8A CN201810449321A CN110473294B CN 110473294 B CN110473294 B CN 110473294B CN 201810449321 A CN201810449321 A CN 201810449321A CN 110473294 B CN110473294 B CN 110473294B
- Authority
- CN
- China
- Prior art keywords
- patch
- texture
- dimensional model
- area
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 187
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000003086 colorant Substances 0.000 claims description 41
- 238000005457 optimization Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 9
- 238000013519 translation Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Abstract
本发明实施例提供了一种基于三维模型的纹理映射方法、装置及设备，方法包括：针对三维模型中的每一面片，确定该面片映射到多张纹理深度图像中的区域片，选择不存在遮挡的区域片作为待映射区域片，将待映射区域片的纹理特征映射到该面片；可见，本方案中，利用纹理深度图像中不存在遮挡的区域片的纹理特征，对三维模型中的面片进行映射，每一面片对应的区域片都不存在遮挡，提高了映射效果。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种基于三维模型的纹理映射方法、装置及设备。
背景技术
一般来说，通过网格构建得到的三维模型不具有纹理特征，为了使三维模型具有更好的视觉效果，通常需要对三维模型进行纹理映射。现有的纹理映射方案包括：获取三维模型对应的多张纹理图像，该多张纹理图像中包含该三维模型对应的目标，比如车辆目标、人员目标等；从该多张纹理图像中，选择一张视点最近的图像，或者选择一张最清晰的图像；根据所选择纹理图像中像素点与三维模型中网格点的映射关系，将所选择纹理图像中该目标的纹理特征映射到三维模型中。
应用上述方案，如果所选择纹理图像中的目标被遮挡，则无法将该遮挡区域的纹理特征映射到三维模型上，映射效果较差。
发明内容
本发明实施例的目的在于提供一种基于三维模型的纹理映射方法、装置及设备，以提高映射效果。
为达到上述目的，本发明实施例提供了一种基于三维模型的纹理映射方法，包括：
获取待处理三维模型、所述待处理三维模型对应的多张纹理深度图像、以及所述待处理三维模型与所述多张纹理深度图像的映射关系；
针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到各张纹理深度图像中的区域片；根据纹理深度图像的深度信息，判断所确定的每个区域片是否存在遮挡；在不存在遮挡的区域片中，选择一个或多个区域片作为待映射区域片；将所述待映射区域片的纹理特征映射到该面片。
可选的，所述针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到各张纹理深度图像中的区域片，包括：
针对所述待处理三维模型中的每一面片，根据该面片与所述多张纹理深度图像的位姿关系，确定该面片对应的候选纹理深度图像；
根据所述待处理三维模型与所述候选纹理深度图像的映射关系，确定该面片映射到所述候选纹理深度图像中的区域片。
可选的，所述根据该面片与所述多张纹理深度图像的位姿关系，确定该面片对应的候选纹理深度图像，包括：
针对每张纹理深度图像，计算该面片的法向量与该张纹理深度图像的法向量之间的夹角；
若所述夹角小于预设第一阈值，则将该张纹理深度图像确定为该面片对应的候选纹理深度图像。
可选的，所述根据纹理深度图像的深度信息，判断所确定的每个区域片是否存在遮挡，包括：
针对所确定的每个区域片，根据该区域片的深度信息以及所述映射关系，将该区域片映射到所述待处理三维模型所在坐标系中，生成参考面片；
计算所述参考面片与该区域片所对应面片之间的间距，该区域片所对应面片为：根据所述映射关系，映射到该区域片的面片；
若所述间距小于预设第二阈值，则该区域片不存在遮挡。
可选的，所述在不存在遮挡的区域片中，选择一个或多个区域片作为待映射区域片，包括：
针对不存在遮挡的每个区域片，利用预设优化模型，计算该区域片的能量值；其中，在所述预设优化模型中，区域片的面积越大，区域片的能量值越小，若该区域片与该区域片所对应面片的相邻面片所对应区域片属于同一图像，则将该区域片的能量值调小；
将能量值最小的区域片确定为待映射区域片。
可选的，所述预设优化模型为：
其中，Faces表示构成待处理三维模型中的面片集合，Fi表示Faces中的第i个面片，Ii表示Fi对应的区域片，E(I)表示面片Fi所对应区域片Ii的能量值；Edata表示面片Fi所对应区域片Ii的面积归一值，区域片的面积越大，面积归一值越小；Fj表示Fi的相邻面片，Ij表示Fj对应的区域片，(Fi，Fj)∈Edges表示Fi与Fj具有公共边；如果Fi与Fj所对应区域片属于同一张图像，则Esmooth为0，如果Fi与Fj所对应区域片不属于同一张图像，则Esmooth为1。
可选的，在将所述待映射区域片的纹理特征映射到该面片之后，还包括：
在映射纹理特征后得到的三维模型中，判断是否存在纹理接缝；其中，所述纹理接缝两侧的面片对应的区域片属于不同的纹理深度图像；
如果存在，对纹理接缝两侧区域进行颜色调整。
可选的，所述对纹理接缝两侧区域进行颜色调整，包括：
利用预设代价函数，对各个纹理接缝两侧区域的颜色进行全局调整；其中，所述代价函数中包含全局调整后纹理接缝两侧区域的颜色差值、以及同一面片中各顶点颜色调整量的差值；
在全局调整后的纹理接缝中，判断是否存在两侧区域颜色差异大于预设第三阈值的纹理接缝；
如果存在，对颜色差异大于预设第三阈值的纹理接缝两侧区域的颜色进行融合。
可选的，所述利用预设代价函数，对各个纹理接缝两侧区域的颜色进行全局调整，包括：
针对每个纹理接缝，判断该纹理接缝两侧区域的颜色差异是否小于预设第四阈值；如果是，将该纹理接缝确定为待调整纹理接缝；
利用预设代价函数，对全部待调整纹理接缝两侧区域的颜色进行全局调整。
可选的，所述预设代价函数为：
其中，v表示纹理接缝处的顶点，g表示颜色调整量，顶点v两侧颜色分别为与的颜色调整量为的颜色调整量全局调整后顶点v两侧颜色分别为与vi、vj表示同一面片的两个顶点，表示vi的颜色调整量，表示vj的颜色调整量，λ为权重因子。
可选的，所述获取待处理三维模型、所述待处理三维模型对应的多张纹理深度图像、以及所述待处理三维模型与所述多张纹理深度图像的映射关系，包括：
获取多台采集设备采集的当前帧纹理深度图像；
获取所述当前帧纹理深度图像对应的待处理三维模型；
获取所述待处理三维模型与所述当前帧纹理深度图像的映射关系；
所述针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到各张纹理深度图像中的区域片，包括：
针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到所述当前帧纹理深度图像中的区域片；
在将所述待映射区域片的纹理特征映射到该面片之后，还包括：
若存在未映射纹理特征的面片，则获取所述未映射纹理特征的面片对应的历史纹理特征，所述历史纹理特征为所述当前帧纹理深度图像之前的历史帧纹理深度图像中包含的纹理特征；
将所获取的历史纹理特征映射到所述未映射纹理特征的面片。
可选的，所述获取所述未映射纹理特征的面片对应的历史纹理特征，包括：
确定所述未映射纹理特征的面片对应的历史面片；其中，所述历史面片为历史帧纹理深度图像对应的历史三维模型中的面片；
获取所确定的历史面片对应的历史纹理特征。
为达到上述目的，本发明实施例还提供了一种基于三维模型的纹理映射装置，包括：
第一获取模块，用于获取待处理三维模型、所述待处理三维模型对应的多张纹理深度图像、以及所述待处理三维模型与所述多张纹理深度图像的映射关系；
确定模块，用于针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到各张纹理深度图像中的区域片；
第一判断模块，用于根据纹理深度图像的深度信息，判断所确定的每个区域片是否存在遮挡；
选择模块，用于在不存在遮挡的区域片中，选择一个或多个区域片作为待映射区域片；
第一映射模块，用于将所述待映射区域片的纹理特征映射到该面片。
可选的，所述确定模块，包括：
第一确定子模块，用于针对所述待处理三维模型中的每一面片，根据该面片与所述多张纹理深度图像的位姿关系，确定该面片对应的候选纹理深度图像；
第二确定子模块，用于根据所述待处理三维模型与所述候选纹理深度图像的映射关系，确定该面片映射到所述候选纹理深度图像中的区域片。
可选的，所述第一确定子模块，具体用于：
针对每张纹理深度图像，计算该面片的法向量与该张纹理深度图像的法向量之间的夹角；
若所述夹角小于预设第一阈值，则将该张纹理深度图像确定为该面片对应的候选纹理深度图像。
可选的，所述第一判断模块，具体用于：
针对所确定的每个区域片，根据该区域片的深度信息以及所述映射关系，将该区域片映射到所述待处理三维模型所在坐标系中，生成参考面片；
计算所述参考面片与该区域片所对应面片之间的间距，该区域片所对应面片为：根据所述映射关系，映射到该区域片的面片；
若所述间距小于预设第二阈值，则该区域片不存在遮挡。
可选的，所述选择模块，具体用于：
针对不存在遮挡的每个区域片，利用预设优化模型，计算该区域片的能量值；其中，在所述预设优化模型中，区域片的面积越大，区域片的能量值越小，若该区域片与该区域片所对应面片的相邻面片所对应区域片属于同一图像，则将该区域片的能量值调小；
将能量值最小的区域片确定为待映射区域片。
可选的，所述预设优化模型为：
其中，Faces表示构成待处理三维模型中的面片集合，Fi表示Faces中的第i个面片，Ii表示Fi对应的区域片，E(I)表示面片Fi所对应区域片Ii的能量值；Edata表示面片Fi所对应区域片Ii的面积归一值，区域片的面积越大，面积归一值越小；Fj表示Fi的相邻面片，Ij表示Fj对应的区域片，(Fi，Fj)∈Edges表示Fi与Fj具有公共边；如果Fi与Fj所对应区域片属于同一张图像，则Esmooth为0，如果Fi与Fj所对应区域片不属于同一张图像，则Esmooth为1。
可选的，所述装置还包括：
第二判断模块，用于在映射纹理特征后得到的三维模型中，判断是否存在纹理接缝；其中，所述纹理接缝两侧的面片对应的区域片属于不同的纹理深度图像；如果存在，触发调整模块；
调整模块，用于对纹理接缝两侧区域进行颜色调整。
可选的，所述调整模块，包括：
调整子模块，用于利用预设代价函数，对各个纹理接缝两侧区域的颜色进行全局调整；其中，所述代价函数中包含全局调整后纹理接缝两侧区域的颜色差值、以及同一面片中各顶点颜色调整量的差值；
判断子模块，用于在全局调整后的纹理接缝中，判断是否存在两侧区域颜色差异大于预设第三阈值的纹理接缝；如果存在，触发融合子模块；
融合子模块，用于对颜色差异大于预设第三阈值的纹理接缝两侧区域的颜色进行融合。
可选的，所述调整子模块，具体用于：
针对每个纹理接缝，判断该纹理接缝两侧区域的颜色差异是否小于预设第四阈值；如果是，将该纹理接缝确定为待调整纹理接缝；
利用预设代价函数，对全部待调整纹理接缝两侧区域的颜色进行全局调整。
可选的，所述预设代价函数为：
其中，v表示纹理接缝处的顶点，g表示颜色调整量，顶点v两侧颜色分别为与的颜色调整量为的颜色调整量全局调整后顶点v两侧颜色分别为与vi、vj表示同一面片的两个顶点，表示vi的颜色调整量，表示vj的颜色调整量，λ为权重因子。
可选的，所述第一获取模块，具体用于：
获取多台采集设备采集的当前帧纹理深度图像；获取所述当前帧纹理深度图像对应的待处理三维模型；获取所述待处理三维模型与所述当前帧纹理深度图像的映射关系；
所述确定模块，具体用于：
针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到所述当前帧纹理深度图像中的区域片；
所述装置还包括：
第二获取模块，用于在存在未映射纹理特征的面片的情况下，获取所述未映射纹理特征的面片对应的历史纹理特征，所述历史纹理特征为所述当前帧纹理深度图像之前的历史帧纹理深度图像中包含的纹理特征；
第二映射模块，用于将所获取的历史纹理特征映射到所述未映射纹理特征的面片。
可选的，所述第二获取模块，具体用于：
确定所述未映射纹理特征的面片对应的历史面片；其中，所述历史面片为历史帧纹理深度图像对应的历史三维模型中的面片；
获取所确定的历史面片对应的历史纹理特征。
应用本发明所示实施例，针对三维模型中的每一面片，确定该面片映射到多张纹理深度图像中的区域片，选择不存在遮挡的区域片作为待映射区域片，将待映射区域片的纹理特征映射到该面片；可见，本方案中，利用纹理深度图像中不存在遮挡的区域片的纹理特征，对三维模型中的面片进行映射，每一面片对应的区域片都不存在遮挡，提高了映射效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于三维模型的纹理映射方法的第一种流程示意图；
图2为本发明实施例提供的基于三维模型的纹理映射方法的第二种流程示意图；
图3为本发明实施例提供的一种基于三维模型的纹理映射装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决上述技术问题，本发明实施例提供了一种基于三维模型的纹理映射方法、装置及电子设备。该方法及装置可以应用于具有图像处理功能的各种电子设备，比如手机、电脑、或者摄像机等等，具体不做限定。
下面首先对本发明实施例提供的一种基于三维模型的纹理映射方法进行详细说明。
图1为本发明实施例提供的基于三维模型的纹理映射方法的第一种流程示意图，包括：
S101：获取待处理三维模型、所述待处理三维模型对应的多张纹理深度图像、以及所述待处理三维模型与所述多张纹理深度图像的映射关系。
待处理三维模型即为需要映射纹理特征的网格模型，该待处理三维模型可以为人体模型、车辆模型、或者建筑物模型等等，具体不做限定。
纹理深度图像即为具有深度信息的纹理图像，比如RGBD(Red，红；Green，绿；Blue，蓝；Depth，深度)图像。对于每张纹理深度图像来说，其可以为一张同时具有纹理信息及深度信息的图像，也可以包括两张图像，一张为纹理图像，一张为深度图像，该纹理图像与该深度图像中的像素点之间一一对应。
纹理深度图像中包含与该模型相对应的目标，比如，如果待处理三维模型为人体模型，则纹理深度图像包含该人体目标，如果待处理三维模型为车辆模型，则纹理深度图像包含该车辆目标，如果待处理三维模型为建筑物模型，则纹理深度图像包含该建筑物目标。
三维模型与纹理深度图像的映射关系可以根据相机外参和相机内参得到。举例来说，可以通过相机标定算法，比如，张正友平面标定法、圆标定方法、主动视觉摄像机标定方法等等，获取相机外参和相机内参。相机内参可以包括相机主点、焦距等，相机外参可以包括模型到图像的旋转、平移关系等。将该旋转关系记为旋转矩阵R，将该平移关系记为平移矩阵T，将相机主点坐标记为(uo，vo)，将相机在X轴方向上的焦距记为fx，将相机在Y轴方向上的焦距记为fy。
比如，三维模型与纹理深度图像的映射关系可以包括两部分，第一部分为三维模型与纹理深度图像的相机坐标系之间的映射关系，第二部分为该相机坐标系与纹理深度图像的图像坐标系之间的映射关系。
如果纹理深度图像包括纹理图像与深度图像，则三维模型与纹理深度图像的映射关系可以为三维模型与纹理图像的映射关系。该三维模型与纹理图像的映射关系中，第一部分为三维模型与纹理图像的相机坐标系之间的映射关系，第二部分为该相机坐标系与纹理图像的图像坐标系之间的映射关系。为了方便描述，下面内容以纹理深度图像同时具有纹理信息及深度信息的情况为例进行说明。
第一部分的映射关系可以表示为Xc＝RXw+T，其中，Xc表示纹理深度图像中的像素点在相机坐标系中的坐标值，Xw表示待处理三维模型中网格点的坐标值。
假设Xc包含坐标值(xc，yc，zc)，Xw包含坐标值(xw，yw，zw)，R为旋转矩阵T为平移矩阵第一部分的映射关系可以表示为：
第二部分的映射关系可以表示为：
或者也可以表示为：
其中，(uc，vc)表示纹理深度图像中的像素点在图像坐标系中的坐标值，(uo，vo)为相机主点坐标，fx为相机在X轴方向上的焦距，fy为相机在Y轴方向上的焦距。
通过第二部分的映射关系，便可以将纹理深度图像中像素点在相机坐标系中的坐标值Xc进行映射，得到图像坐标系中的坐标值(uc，vc)。可见，通过上述两部分映射关系，可以将待处理三维模型中的网格点映射到纹理深度图像的图像坐标系中，也可以将纹理深度图像的图像坐标系中的像素点映射到待处理三维模型中的网格点。
S102：针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到各张纹理深度图像中的区域片。
将构成三维模型的最小单元称为面片(face)，面片可以为三角形面片，或者，也可以为矩形面片等等，具体不做限定。根据映射关系，也就是上述投影矩阵，可以将每一面片映射到各张纹理深度图像中，本实施例中，将一个面片映射到纹理深度图像中的区域称为一个区域片。在每张纹理深度图像中，面片与区域片一一对应，由于S101中获取到多张纹理深度图像，因此，一个面片对应多个区域片。
举例来说，假设S101中获取到纹理深度图像I1、I2和I3；假设待处理三维模型中一三角面片F(△ABC)，面片F映射到图像I1中的区域片为I11，面片F映射到图像I2中的区域片为I21，面片F映射到图像I3中的区域片为I31；可见，在纹理深度图像I1中，面片F与区域片I11一一对应，在纹理深度图像I2中，面片F与区域片I21一一对应，在纹理深度图像I3中，面片F与区域片I31一一对应，而对于面片F来说，其对应I11、I21和I31三个区域片。
以一个三角面片F为例进行说明，面片F的三个顶点为A、B、C，比如对于顶点A来说，假设顶点A在面片F中的坐标值为XA，XA包含坐标值(xA，yA，zA)；假设顶点A映射到纹理深度图像I中对应的投影点为A’，A’在相机坐标系中的坐标值为XA’，XA’包含坐标值(xA’，yA’，zA’)，R为旋转矩阵T为平移矩阵根据上述第一部分的映射关系可得
根据第二部分的映射关系计算投影点A’在纹理深度图像I的图像坐标系中的二维坐标(uA，vA)：
其中，(uo，vo)为相机主点坐标，fx为相机在X轴方向上的焦距，fy为相机在Y轴方向上的焦距。
类似的，对于顶点B和顶点C也进行上述处理，可以确定出顶点B映射到纹理深度图像I中对应的投影点B’在图像坐标系中的二维坐标(uB，vB)、以及顶点C映射到纹理深度图像I中对应的投影点C’在图像坐标系中的二维坐标(uC，vC)。A’、B’、C’均为纹理深度图像I中的像素点，这三个像素点在纹理深度图像I中构成一个区域片，该区域片也就是面片F映射到纹理深度图像I中的区域片。
作为一种实施方式，S102可以包括：针对所述待处理三维模型中的每一面片，根据该面片与所述多张纹理深度图像的位姿关系，确定该面片对应的候选纹理深度图像；根据所述待处理三维模型与所述候选纹理深度图像的映射关系，确定该面片映射到所述候选纹理深度图像中的区域片。
在这种实施方式，先根据面片与纹理深度图像的位姿关系，对获取的多张纹理深度图像进行筛选。具体的，可以针对每张纹理深度图像，计算该面片的法向量与该张纹理深度图像的法向量之间的夹角；若所述夹角小于预设第一阈值，则将该张纹理深度图像确定为该面片对应的候选纹理深度图像。
延续上述例子，第一部分的映射关系可以为Xc＝RXw+T，或者表示为：
假设纹理深度图像I的法向量为可以通过如下算式计算得到
其中，表示Z轴方向上的单位向量；
假设三角面片F(△ABC)的法向量可以用表示，其中，A、B、C为面片F的三个顶点。面片F的法向量与纹理深度图像I的法向量之间的夹角为可以针对该夹角设定阈值，为了与下面内容中的阈值相区分，将针对该夹角设定的阈值称为预设第一阈值，举例来说，预设第一阈值可以为小于90度。如果小于90度，则将纹理深度图像I确定为面片F对应的候选纹理深度图像。
可以理解，如果面片F的法向量与纹理深度图像I的法向量之间的夹角大于等于90度，则利用图像I对面片F进行纹理映射的效果较差。举例来说，假设待处理三维模型为人体模型，面片F属于人体正面区域，而纹理深度图像I为人体背面图像，这种情况下，面片F的法向量与纹理深度图像I的法向量大于90度，接近180度，利用人体背面图像对人体正面区域的面片进行纹理映射，效果较差，则不再将纹理深度图像I确定为面片F对应的候选纹理深度图像，不再确定面片F映射到纹理深度图像I中的区域片；可见，应用本实施方式，仅确定该面片映射到所述候选纹理深度图像中的区域片减少了计算量，提高了映射效率。
在本实施方式中，预设第一阈值可以根据实际情况进行设定，比如可以为75度，70度等，具体不做限定。
S103：根据纹理深度图像的深度信息，判断所确定的每个区域片是否存在遮挡。
如上所述，S101中获取的纹理深度图像具有深度信息，可以根据该深度信息，判断S102中所确定的每个区域片是否存在遮挡。举例来说，假设待处理模型为人体模型，假设S101中获取的到一张纹理深度图像中，人体目标抬起一只手挡在了胸前，手和胸的深度信息是不同的，可以根据该图像的深度信息，判断出手遮挡了胸。
作为一种实施方式，S103可以包括：
针对所确定的每个区域片，根据该区域片的深度信息以及所述映射关系，将该区域片映射到所述待处理三维模型中，生成参考面片；计算所述参考面片与该区域片所对应面片之间的间距，该区域片所对应面片为：根据所述映射关系，映射到该区域片的面片；若所述间距小于预设第二阈值，则该区域片不存在遮挡。
仍以三角面片F为例进行说明，面片F包含三个顶点A、B、C，对于顶点A来说，其映射到纹理深度图像I中的投影点为A’，假设A’在纹理深度图像I中的深度值为d(uA，vA)；再根据上述映射关系将A’进行反映射，假设投影点A’反映射到三维模型所在坐标系中的点为A”，A”在三维模型所在坐标系中的坐标值为XA”，XA”包含坐标值(xA”，yA”，zA”)；。
通过如下反映射关系可以得到A”的坐标值：
XA”＝RTXA'-RTT
类似的，对于顶点B和顶点C也进行上述处理，可以确定出B”的坐标值和C”的坐标值。A”、B”、C”均为三维模型所在坐标系中的坐标点，这三个坐标点在三维模型所在坐标系中构成一个参考面片。
也就是说，面片F、投影点A’B’C’构成的区域片、以及该参考面片具有对应关系，上述“该区域片所对应面片”也就是面片F，计算该参考面片与面片F的间距。作为一种实施方式，可以分别确定该参考面片的质心、以及面片F的质心，将二者质心之间的距离作为该参考面片与面片F的间距。
举例来说，假设三维模型所在坐标系统的坐标原点为O，面片F的质心为C，参考面片的质心为Crefer，则
间距L＝||C-Crefer||2。
针对间距L设定一阈值，为了区分描述，将该阈值称为预设第二阈值。作为一种实施方式，基于S101中获取的待处理三维模型、映射关系、或者基于该纹理深度图像的深度信息，可以引入误差e，该预设第二阈值可以大于误差e。另外，该预设第二阈值可以为场景中发生遮挡的最小距离occ，也就是说，e<间距L<occ，occ可以根据实际场景进行设定。
如果l小于该预设第二阈值，表示投影点A’B’C’构成的区域片不存在遮挡。
S104：在不存在遮挡的区域片中，选择一个或多个区域片作为待映射区域片。
假设S102中针对面片F确定出的区域片有3个，则S103中分别判断这3个区域片中是否存在遮挡，假设2个区域片中不存在遮挡，则在这2个区域片中选择1个或2个区域片作为待映射区域片。
示例性地，选择方式可以包括：针对不存在遮挡的每个区域片，利用预设优化模型，计算该区域片的能量值；其中，在所述预设优化模型中，区域片的面积越大，区域片的能量值越小，若该区域片与该区域片所对应面片的相邻面片所对应区域片属于同一图像，则将该区域片的能量值调小；将能量值最小的区域片确定为待映射区域片。
举例来说，可以设定两个值：第一值和第二值，第一值大于第二值；如果区域片A与区域片A所对应面片的相邻面片所对应区域片属于同一图像，则将区域片A的能量值设定为第二值，也就是将区域片A的能量值调小；如果区域片A与区域片A所对应面片的相邻面片所对应区域片不属于同一图像，则将区域片A的能量值设定为第一值，也就是将区域片A的能量值调大。
比如，第一值可以为1，第二值可以为0。或者，也可以为其他数值，具体不做限定。
举例来说，该预设优化模型可以为基于马尔科夫随机场建立的优化模型，比如，可以通过如下算式，计算该区域片的能量值：
其中，Faces表示构成待处理三维模型中的面片集合，Fi表示Faces中的第i个面片，Ii表示Fi对应的区域片，E(I)表示面片Fi所对应区域片Ii的能量值；Edata表示面片Fi所对应区域片Ii的面积归一值，区域片的面积越大，面积归一值越小；Fj表示Fi的相邻面片，Ij表示Fj对应的区域片，(Fi，Fj)∈Edges表示Fi与Fj具有公共边；如果Fi与Fj所对应区域片属于同一张图像，则Esmooth为0，如果Fi与Fj所对应区域片不属于同一张图像，则Esmooth为1。
将该区域片的面积记作X，将Faces中面片所对应最大区域片的面积记作Xmax，将Faces中面片所对应最小区域片的面积记作Xmin，则可以利用如下算式对该区域片的面积进行归一处理：X/Xmax；或者(X-Xmin)/(Xmax-Xmin)；或者其他算式，具体不做限定。
将能量值最小的区域片确定为待映射区域片，或者，将能量值小于阈值的多个区域片确定为待映射区域片，等等，具体不做限定。
如果选择出多个区域片作为待映射区域片，可以为这多个区域片分配权重，根据该权重将该多个区域片进行融合，将融合后的区域片作为待映射区域片。如果根据上述能量值分配权重，则能量值越小，所分配的权重越大。
S105：将所述待映射区域片的纹理特征映射到该面片。
待映射区域片属于纹理深度图像，因此待映射区域片中包括纹理特征；待映射区域片与面片存在对应关系，针对三维模型中的每个面片，都将该面片对应的待映射区域片的纹理特征映射到该面片，这样便得到了纹理映射后的三维模型。
作为一种实施方式，在S105之后，还可以包括：在映射纹理特征后得到的三维模型中，判断是否存在纹理接缝；其中，所述纹理接缝两侧的面片对应的区域片属于不同的纹理深度图像；如果存在，对纹理接缝两侧区域进行颜色调整。
本实施例中，针对模型中的每个面片，在多张纹理深度图像中选择该面片对应的待映射区域片，也就是说，每个面片对应的待映射区域片可能属于不同的图像。可以理解，由于光照变化或者其他影响，利用不同图像对同一模型进行纹理映射，会产生纹理接缝。纹理接缝两侧的面片对应的区域片属于不同的纹理深度图像。
在本实施方式中，在映射纹理特征后得到的三维模型中，判断是否存在纹理接缝，也就是判断是否利用多张纹理深度图像映射得到该三维模型。或者，在上述计算能量值的实施方式中，可以通过每个区域片对应的Esmooth判断是否存在纹理接缝，如果全部区域片的Esmooth都为0，则表示利用一张纹理深度图像映射得到该三维模型，不存在纹理接缝，如果存在Esmooth为1的区域片，则表示利用多张纹理深度图像映射得到该三维模型，存在纹理接缝。
如果存在纹理接缝，可以对纹理接缝两侧区域进行颜色调整，这样，可以提高三维模型的视觉效果。
对纹理接缝两侧区域进行颜色调整的方式有多种，比如，可以对纹理接缝两侧区域的颜色进行加权融合，或者取两侧颜色平均值等方式，具体不做限定。
如果存在多个纹理接缝，可以对各个纹理接缝两侧区域进行整体颜色调整。举例来说，可以利用预设代价函数，对各个纹理接缝两侧区域的颜色进行全局调整；其中，所述代价函数中包含全局调整后纹理接缝两侧区域的颜色差值、以及同一面片中各顶点颜色调整量的差值。
作为一种实施方式，预设代价函数可以为：
其中，v表示纹理接缝处的顶点，g表示颜色调整量，顶点v两侧颜色分别为与的颜色调整量为的颜色调整量全局调整后顶点v两侧颜色分别为与也就是说，表示全局调整后纹理接缝两侧的颜色差值；vi、vj表示同一面片的两个顶点，表示vi的颜色调整量，表示vj的颜色调整量，λ为权重因子，也就是说，表示同一面片中各顶点颜色调整量的差值。
作为一种实施方式，可以针对每个纹理接缝，判断该纹理接缝两侧区域的颜色差异是否小于预设第四阈值；如果是，将该纹理接缝确定为待调整纹理接缝；利用预设代价函数，对全部待调整纹理接缝两侧区域的颜色进行全局调整。
在本实施方式中，针对全局颜色调整设定限制条件，仅对满足限制条件的纹理接缝两侧区域的颜色进行全局调整。
举例来说，一些情况下，纹理接缝两侧区域颜色差异并不是由于不同图像光照不同引起的，而是由于纹理接缝两侧区域所对应目标的颜色本身就是不同的，这种情况下，不对纹理接缝两侧区域进行全局调整。比如，三维模型为人体模型，纹理深度图像中包含人体目标，纹理接缝两侧区域中，一侧区域对应人手，另一侧区域对应衣服袖口，人手与衣服袖口颜色本身不同，不对这两侧区域颜色进行全局调整。
或者，在另一些情况下，正常纹理与异常纹理之间存在误差，这种情况下，不对纹理接缝两侧区域进行全局调整，可以避免异常纹理影响到正常纹理。
该限制条件可以表示为：
其中，RGB分别表示Red通道的值、Green通道的值、Blue通道的值，△R表示计算出的对Red通道的调整值，△G表示计算出的对Green通道的调整值，△B表示计算出的对Blue通道的调整值；Threshold1-4表示4个阈值，这4个阈值可以根据实际情况设定，可以相同或不同。
具体来说，上述限制条件为：先判断是否满足R≈G≈B：
如果满足R≈G≈B，则判断是否满足这两个条件，如果满足这两个条件，则对这两侧区域颜色进行全局调整，如果不满足这两个条件，则不对这两侧区域颜色进行全局调整；
如果不满足R≈G≈B，则判断是否满足这三个条件中任一，如果满足，则对这两侧区域颜色进行全局调整，如果不满足，则不对这两侧区域颜色进行全局调整。
本实施方式中，判断每个纹理接缝两侧区域的颜色差异是否小于预设第四阈值，如果大于等于，则认为该颜色差异是由于纹理接缝两侧区域所对应目标的颜色本身不同，不对纹理接缝两侧区域进行全局调整；如果小于，则认为该颜色差异是由于不同图像之间光照不同、或者其他采集误差引起的，这种情况下，对纹理接缝两侧区域进行全局调整。
作为一种实施方式，在全局调整后的纹理接缝中，判断是否存在两侧区域颜色差异大于预设第三阈值的纹理接缝；如果存在，对颜色差异大于预设第三阈值的纹理接缝两侧区域的颜色进行融合。
也就是说，在全局调整之后，可以进一步地进行微调，微调也就是针对仍存在颜色差异(颜色差异大于大于预设第三阈值)的纹理接缝，将该纹理接缝两侧的纹理特征进行融合。这样，可以进一步提高映射效果。
示例性地，融合方式有多种，比如，可以对纹理接缝两侧区域的颜色进行加权融合，或者取两侧颜色平均值，或者也可利用泊松编辑(Poisson Editing)等方式进行融合，具体不做限定。
作为一种实施方式，S101可以包括：获取多台采集设备采集的当前帧纹理深度图像；获取所述当前帧纹理深度图像对应的待处理三维模型；获取所述待处理三维模型与所述当前帧纹理深度图像的映射关系。
本实施方式中，获取的纹理深度图像为多段视频中的图像，视频中的目标可以是动态的，相对应的，待处理三维模型也可以是动态的，视频中的每帧图像均对应一个三维模型，应用本发明实施例，利用每一当前帧纹理深度图像对该帧图像对应的三维模型进行映射。
S102可以包括：针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到所述当前帧纹理深度图像中的区域片。
S105之后还可以包括：若存在未映射纹理特征的面片，则获取所述未映射纹理特征的面片对应的历史纹理特征，所述历史纹理特征为所述当前帧纹理深度图像之前的历史帧纹理深度图像中包含的纹理特征；将所获取的历史纹理特征映射到所述未映射纹理特征的面片。
可以理解，如果对于一面片来说，其在当前帧纹理图像中对应的区域片都存在遮挡，则当前帧纹理图像不存在该面片对应的待映射区域片，该面片即为未映射纹理特征的面片，也就是说对该面片的映射失败；这种情况下，利用本实施方式，获取该面片对应的历史纹理特征，将该历史纹理特征映射到该面片，这样，对映射失败的面片重新进行映射，提高了映射效果。
作为一种实施方式，可以确定所述未映射纹理特征的面片对应的历史面片；其中，所述历史面片为历史帧纹理深度图像对应的历史三维模型中的面片；获取所确定的历史面片对应的历史纹理特征。
举例来说，S105之后可以对三维模型中每个面片的映射结果进行存储，也就是对每帧图像对应的三维模型面片的映射结果均进行存储。对于每个面片顶点来说，顶点索引可以记作vi_idx，顶点法向索引可以记作vni_idx，顶点纹理索引可以记作vti_idx，一些情况下，vi_idx＝vni_idx。如果面片F为三角面片，其具有三个顶点，如果三个顶点分别对应i＝1，2，3，则面片F的存储格式可以为：
v1_idx/vt1_idx/vn1_idx；v2_idx/vt2_idx/vn2_idx；v3_idx/vt3_idx/vn3_idx；
这样，可以通过vti_idx(i＝1，2，3)判断面片F是否映射失败，示例性地，如果面片顶点不存在对应的纹理索引，则映射失败。通过vti_idx确定出映射失败的面片(未映射纹理特征的面片)后，可以利用如下算式计算该面片的质心：
f＝(v1_idx+v2_idx+v3_idx)/3；
可以利用面片质心的距离，确定与未映射纹理特征的面片距离最近的历史面片。示例性地，可以利用min||fi-fi’||2，获取距离最近的历史面片的顶点索引vi’_idx∈fi’，其中，fi表示未映射纹理特征的面片的质心，fi’表示历史面片质心。
利用历史面片的顶点索引vi’_idx，查找到历史面片的历史纹理索引vt’_idx，通过该历史纹理索引vt’_idx，得到对该历史面片对应的历史纹理特征。举例来说，可以根据未映射纹理特征的面片与该历史面片之间三对顶点的距离之和，来确定这三对顶点之间的对应关系，根据该对应关系，将历史纹理特征映射到未映射纹理特征的面片中。
比如，未映射纹理特征的面片包括三个顶点A、B、C，历史面片包括三个顶点A’、B’、C’，其中，A与A’相对应，B与B’相对应，C与C’相对应；计算这两个面片顶点之间的距离和，可以理解，AA’的距离+BB’的距离+CC’的距离相比于其他情况下的距离和都小，因此可以根据该距离和，确定出三对顶点的对应关系。
应用本发明图1所示实施例，针对三维模型中的每一面片，确定该面片映射到多张纹理深度图像中的区域片，选择不存在遮挡的区域片作为待映射区域片，将待映射区域片的纹理特征映射到该面片；可见，本方案中，利用纹理深度图像中不存在遮挡的区域片的纹理特征，对三维模型中的面片进行映射，每一面片对应的区域片都不存在遮挡，提高了映射效果。
图2为本发明实施例提供的基于三维模型的纹理映射方法的第二种流程示意图，包括：
S201：获取多台采集设备采集的当前帧纹理深度图像；获取所述当前帧纹理深度图像对应的待处理三维模型；获取所述待处理三维模型与所述当前帧纹理深度图像的映射关系。
在图2所示实施例中，获取的纹理深度图像为多段视频中的图像，视频中的目标可以是动态的，相对应的，待处理三维模型也可以是动态的，视频中的每帧图像均对应一个三维模型，应用图2所示实施例，利用每一当前帧纹理深度图像对该帧图像对应的三维模型进行映射。
三维模型与纹理深度图像的映射关系可以根据相机外参和相机内参得到。举例来说，可以通过相机标定算法，比如，张正友平面标定法、圆标定方法、主动视觉摄像机标定方法等等，获取相机外参和相机内参。相机内参可以包括相机主点、焦距等，相机外参可以包括模型到图像的旋转、平移关系等。将该旋转关系记为旋转矩阵R，将该平移关系记为平移矩阵T，将相机主点坐标记为(uo，vo)，将相机在X轴方向上的焦距记为fx，将相机在Y轴方向上的焦距记为fy。
比如，三维模型与纹理深度图像的映射关系可以包括两部分，第一部分为三维模型与纹理深度图像的相机坐标系之间的映射关系，第二部分为该相机坐标系与纹理深度图像的图像坐标系之间的映射关系。
如果纹理深度图像包括纹理图像与深度图像，则三维模型与纹理深度图像的映射关系可以为三维模型与纹理图像的映射关系。该三维模型与纹理图像的映射关系中，第一部分为三维模型与纹理图像的相机坐标系之间的映射关系，第二部分为该相机坐标系与纹理图像的图像坐标系之间的映射关系。为了方便描述，下面内容以纹理深度图像同时具有纹理信息及深度信息的情况为例进行说明。
第一部分的映射关系可以表示为Xc＝RXw+T，其中，Xc表示纹理深度图像中的像素点在相机坐标系中的坐标值，Xw表示待处理三维模型中网格点的坐标值。
假设Xc包含坐标值(xc，yc，zc)，Xw包含坐标值(xw，yw，zw)，R为旋转矩阵T为平移矩阵第一部分的映射关系可以表示为：
第二部分的映射关系可以表示为：
或者也可以表示为：
其中，(uc，vc)表示纹理深度图像中的像素点在图像坐标系中的坐标值，(uo，vo)为相机主点坐标，fx为相机在X轴方向上的焦距，fy为相机在Y轴方向上的焦距。
通过第二部分的映射关系，便可以将纹理深度图像中像素点在相机坐标系中的坐标值Xc进行映射，得到图像坐标系中的坐标值(uc，vc)。可见，通过上述两部分映射关系，可以将待处理三维模型中的网格点映射到纹理深度图像的图像坐标系中，也可以将纹理深度图像的图像坐标系中的像素点映射到待处理三维模型中的网格点。
S202：针对所述待处理三维模型中的每一面片，根据该面片与多张当前帧纹理深度图像的位姿关系，确定该面片对应的候选纹理深度图像。
示例性地，可以针对S201中获取的每张当前帧纹理深度图像，计算该面片的法向量与该张当前帧纹理深度图像的法向量之间的夹角；若所述夹角小于预设第一阈值，则将该张当前帧纹理深度图像确定为该面片对应的候选纹理深度图像。
延续上述例子，第一部分的映射关系可以为Xc＝RXw+T，或者表示为：
假设纹理深度图像I的法向量为可以通过如下算式计算得到
其中，表示Z轴方向上的单位向量；
假设三角面片F(△ABC)的法向量为其中，A、B、C为面片F的三个顶点。面片F的法向量与纹理深度图像I的法向量之间的夹角为可以针对该夹角设定阈值，为了与下面内容中的阈值相区分，将针对该夹角设定的阈值称为预设第一阈值，举例来说，预设第一阈值可以为小于90度。如果小于90度，则将纹理深度图像I确定为面片F对应的候选纹理深度图像。
可以理解，如果面片F的法向量与纹理深度图像I的法向量之间的夹角大于等于90度，则利用图像I对面片F进行纹理映射的效果较差。举例来说，假设待处理三维模型为人体模型，面片F属于人体正面区域，而纹理深度图像I为人体背面图像，这种情况下，面片F的法向量与纹理深度图像I的法向量大于90度，接近180度，利用人体背面图像对人体正面区域的面片进行纹理映射，效果较差，则不再将纹理深度图像I确定为面片F对应的候选纹理深度图像，不再确定面片F映射到纹理深度图像I中的区域片；可见，应用本实施方式，仅确定该面片映射到所述候选纹理深度图像中的区域片减少了计算量，提高了映射效率。
在本实施方式中，预设第一阈值可以根据实际情况进行设定，比如可以为75度，70度等，具体不做限定。
S203：根据所述待处理三维模型与所述候选纹理深度图像的映射关系，确定该面片映射到所述候选纹理深度图像中的区域片。
本实施例中，将构成三维模型的最小单元称为面片(face)，面片可以为三角形面片，或者，也可以为矩形面片等等，具体不做限定。根据映射关系，也就是上述投影矩阵，可以将每一面片映射到各张纹理深度图像中，本实施例中，将一个面片映射到纹理深度图像中的区域称为一个区域片。在每张纹理深度图像中，面片与区域片一一对应，由于S201中获取到多张当前帧纹理深度图像，因此，一个面片对应多个区域片。
S204：针对所确定的每个区域片，根据该区域片的深度信息以及所述映射关系，将该区域片映射到所述待处理三维模型所在坐标系中，生成参考面片。
以三角面片F为例进行说明，面片F包含三个顶点A、B、C，对于顶点A来说，其映射到纹理深度图像I中的投影点为A’，假设A’在纹理深度图像I中的深度值为d(uA，vA)；再根据上述映射关系将A’进行反映射，假设投影点A’反映射到三维模型所在坐标系中的点为A”，A”在三维模型所在坐标系中的坐标值为XA”，XA”包含坐标值(xA”，yA”，zA”)；。
通过如下反映射关系可以得到A”的坐标值：
XA”＝RTXA'-RTT
类似的，对于顶点B和顶点C也进行上述处理，可以确定出B”的坐标值和C”的坐标值。A”、B”、C”均为三维模型所在坐标系中的坐标点，这三个坐标点在三维模型所在坐标系中构成一个参考面片。
S205：计算所述参考面片与该区域片所对应面片之间的间距；若所述间距小于预设第二阈值，则该区域片不存在遮挡。该区域片所对应面片为：根据所述映射关系，映射到该区域片的面片。
面片F、投影点A’B’C’构成的区域片、以及该参考面片具有对应关系，上述“该区域片所对应面片”也就是面片F，计算该参考面片与面片F的间距。作为一种实施方式，可以分别确定该参考面片的质心、以及面片F的质心，将二者质心之间的距离作为该参考面片与面片F的间距。
举例来说，假设三维模型所在坐标系统的坐标原点为O，面片F的质心为C，参考面片的质心为Crefer，则
间距L＝||C-Crefer||2。
针对间距L设定一阈值，为了区分描述，将该阈值称为预设第二阈值。作为一种实施方式，基于S101中获取的待处理三维模型、映射关系、或者基于该纹理深度图像的深度信息，可以引入误差e，该预设第二阈值可以大于误差e。另外，该预设第二阈值可以为场景中发生遮挡的最小距离occ，也就是说，e<间距L<occ，occ可以根据实际场景进行设定。
如果间距L小于该预设第二阈值，表示投影点A’B’C’构成的区域片不存在遮挡。
S206：针对不存在遮挡的每个区域片，利用预设优化模型，计算该区域片的能量值；其中，在所述预设优化模型中，区域片的面积越大，区域片的能量值越小，若该区域片与该区域片所对应面片的相邻面片所对应区域片属于同一图像，则将该区域片的能量值调小；将能量值最小的区域片确定为待映射区域片。
举例来说，可以设定两个值：第一值和第二值，第一值大于第二值；如果区域片A与区域片A所对应面片的相邻面片所对应区域片属于同一图像，则将区域片A的能量值设定为第二值，也就是将区域片A的能量值调小；如果区域片A与区域片A所对应面片的相邻面片所对应区域片不属于同一图像，则将区域片A的能量值设定为第一值，也就是将区域片A的能量值调大。
比如，第一值可以为1，第二值可以为0。或者，也可以为其他数值，具体不做限定。
举例来说，该预设优化模型可以为基于马尔科夫随机场建立的优化模型，比如，可以通过如下版式，计算该区域片的能量值：
其中，Faces表示构成待处理三维模型中的面片集合，Fi表示Faces中的第i个面片，Ii表示Fi对应的区域片，E(I)表示面片Fi所对应区域片Ii的能量值；Edata表示面片Fi所对应区域片Ii的面积归一值，区域片的面积越大，面积归一值越小；Fj表示Fi的相邻面片，Ij表示Fj对应的区域片，(Fi，Fj)∈Edges表示Fi与Fj具有公共边；如果Fi与Fj所对应区域片属于同一张图像，则Esmooth为0，如果Fi与Fj所对应区域片不属于同一张图像，则Esmooth为1。
将该区域片的面积记作X，将Faces中面片所对应最大区域片的面积记作Xmax，将Faces中面片所对应最小区域片的面积记作Xmin，则可以利用如下算式对该区域片的面积进行归一处理：X/Xmax；或者(X-Xmin)/(Xmax-Xmin)；或者其他算式，具体不做限定。
将能量值最小的区域片确定为待映射区域片。
S207：将所述待映射区域片的纹理特征映射到该面片。
S208：判断是否存在未映射纹理特征的面片，如果存在，执行S209。
S209：获取所述未映射纹理特征的面片对应的历史纹理特征，所述历史纹理特征为所述当前帧纹理深度图像之前的历史帧纹理深度图像中包含的纹理特征。
S210：将所获取的历史纹理特征映射到所述未映射纹理特征的面片。
可以理解，如果对于一面片来说，其对应当前帧纹理图像中的区域片都存在遮挡，则当前帧纹理图像不存在该面片对应的待映射区域片，该面片即为未映射纹理特征的面片，也就是说对该面片的映射失败；这种情况下，执行S209-S210，获取该面片对应的历史纹理特征，将该历史纹理特征映射到该面片，这样，对映射失败的面片重新进行映射，提高了映射效果。
举例来说，可以确定所述未映射纹理特征的面片对应的历史面片；其中，所述历史面片为历史帧纹理深度图像对应的历史三维模型中的面片；获取所确定的历史面片对应的历史纹理特征。
举例来说，S105之后可以对三维模型中每个面片的映射结果进行存储，也就是对每帧图像对应的三维模型面片的映射结果均进行存储。对于每个面片顶点来说，顶点索引可以记作vi_idx，顶点法向索引可以记作vni_idx，顶点纹理索引可以记作vti_idx，一些情况下，vi_idx＝vni_idx。如果面片F为三角面片，其具有三个顶点，如果三个顶点分别对应i＝1，2，3，则面片F的存储格式可以为：
v1_idx/vt1_idx/vn1_idx；v2_idx/vt2_idx/vn2_idx；v3_idx/vt3_idx/vn3_idx；
这样，可以通过vti_idx(i＝1，2，3)判断面片F是否映射失败，示例性地，如果面片顶点不存在对应的纹理索引，则映射失败。通过vti_idx确定出映射失败的面片(未映射纹理特征的面片)后，可以利用如下算式计算该面片的质心：
f＝(v1_idx+v2_idx+v3_idx)/3；
可以利用面片质心的距离，确定与未映射纹理特征的面片距离最近的历史面片。示例性地，可以利用min||fi-fi’||2，获取距离最近的历史面片的顶点索引vi’_idx∈fi’，其中，fi表示未映射纹理特征的面片的质心，fi’表示历史面片质心。
利用历史面片的顶点索引vi’_idx，查找到历史面片的历史纹理索引vt’_idx，通过该历史纹理索引vt’_idx，得到对该历史面片对应的历史纹理特征。举例来说，可以根据未映射纹理特征的面片与该历史面片之间三对顶点的距离之和，来确定这三对顶点之间的对应关系，根据该对应关系，将历史纹理特征映射到未映射纹理特征的面片中。
比如，未映射纹理特征的面片包括三个顶点A、B、C，历史面片包括三个顶点A’、B’、C’，其中，A与A’相对应，B与B’相对应，C与C’相对应；计算这两个面片顶点之间的距离和，可以理解，AA’的距离+BB’的距离+CC’的距离相比于其他情况下的距离和都小，因此可以根据该距离和，确定出三对顶点的对应关系。
应用本发明图2所示实施例，针对三维模型中的每一面片，确定该面片映射到多张纹理深度图像中的区域片，选择不存在遮挡的区域片作为待映射区域片，将待映射区域片的纹理特征映射到该面片；可见，本方案中，利用纹理深度图像中不存在遮挡的区域片的纹理特征，对三维模型中的面片进行映射，每一面片对应的区域片都不存在遮挡，提高了映射效果。
与上述方法实施例相对应，本发明实施例还提供了一种基于三维模型的纹理映射装置，如图3所示，包括：
第一获取模块301，用于获取待处理三维模型、所述待处理三维模型对应的多张纹理深度图像、以及所述待处理三维模型与所述多张纹理深度图像的映射关系；
确定模块302，用于针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到各张纹理深度图像中的区域片；
第一判断模块303，用于根据纹理深度图像的深度信息，判断所确定的每个区域片是否存在遮挡；
选择模块304，用于在不存在遮挡的区域片中，选择一个或多个区域片作为待映射区域片；
第一映射模块305，用于将所述待映射区域片的纹理特征映射到该面片。
作为一种实施方式，确定模块302，可以包括：第一确定子模块和第二确定子模块(图中未示出)，其中，
第一确定子模块，用于针对所述待处理三维模型中的每一面片，根据该面片与所述多张纹理深度图像的位姿关系，确定该面片对应的候选纹理深度图像；
第二确定子模块，用于根据所述待处理三维模型与所述候选纹理深度图像的映射关系，确定该面片映射到所述候选纹理深度图像中的区域片。
作为一种实施方式，所述第一确定子模块，具体可以用于：
针对每张纹理深度图像，计算该面片的法向量与该张纹理深度图像的法向量之间的夹角；
若所述夹角小于预设第一阈值，则将该张纹理深度图像确定为该面片对应的候选纹理深度图像。
作为一种实施方式，第一判断模块303，具体可以用于：
针对所确定的每个区域片，根据该区域片的深度信息以及所述映射关系，将该区域片映射到所述待处理三维模型所在坐标系中，生成参考面片；
计算所述参考面片与该区域片所对应面片之间的间距，该区域片所对应面片为：根据所述映射关系，映射到该区域片的面片；
若所述间距小于预设第二阈值，则该区域片不存在遮挡。
作为一种实施方式，选择模块304，具体可以用于：
针对不存在遮挡的每个区域片，利用预设优化模型，计算该区域片的能量值；其中，在所述预设优化模型中，区域片的面积越大，区域片的能量值越小，若该区域片与该区域片所对应面片的相邻面片所对应区域片属于同一图像，则将该区域片的能量值调小；
将能量值最小的区域片确定为待映射区域片。
作为一种实施方式，所述装置还可以包括：第二判断模块和调整模块(图中未示出)，其中，
第二判断模块，用于在映射纹理特征后得到的三维模型中，判断是否存在纹理接缝；其中，所述纹理接缝两侧的面片对应的区域片属于不同的纹理深度图像；如果存在，触发调整模块；
调整模块，用于对纹理接缝两侧区域进行颜色调整。
作为一种实施方式，所述调整模块，可以包括：
调整子模块，用于利用预设代价函数，对各个纹理接缝两侧区域的颜色进行全局调整；其中，所述代价函数中包含全局调整后纹理接缝两侧区域的颜色差值、以及同一面片中各顶点颜色调整量的差值；
判断子模块，用于在全局调整后的纹理接缝中，判断是否存在两侧区域颜色差异大于预设第三阈值的纹理接缝；如果存在，触发融合子模块；
融合子模块，用于对颜色差异大于预设第三阈值的纹理接缝两侧区域的颜色进行融合。
作为一种实施方式，所述调整子模块，具体可以用于：
针对每个纹理接缝，判断该纹理接缝两侧区域的颜色差异是否小于预设第四阈值；如果是，将该纹理接缝确定为待调整纹理接缝；
利用预设代价函数，对全部待调整纹理接缝两侧区域的颜色进行全局调整。
作为一种实施方式，第一获取模块301，具体可以用于：
获取多台采集设备采集的当前帧纹理深度图像；获取所述当前帧纹理深度图像对应的待处理三维模型；获取所述待处理三维模型与所述当前帧纹理深度图像的映射关系；
确定模块302，具体可以用于：
针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到所述当前帧纹理深度图像中的区域片；
所述装置还可包括：第二获取模块和第二映射模块(图中未示出)，其中，
第二获取模块，用于在存在未映射纹理特征的面片的情况下，获取所述未映射纹理特征的面片对应的历史纹理特征，所述历史纹理特征为所述当前帧纹理深度图像之前的历史帧纹理深度图像中包含的纹理特征；
第二映射模块，用于将所获取的历史纹理特征映射到所述未映射纹理特征的面片。
作为一种实施方式，所述第二获取模块，具体可以用于：
确定所述未映射纹理特征的面片对应的历史面片；其中，所述历史面片为历史帧纹理深度图像对应的历史三维模型中的面片；
获取所确定的历史面片对应的历史纹理特征。
作为一种实施方式，所述预设优化模型为：
其中，Faces表示构成待处理三维模型中的面片集合，Fi表示Faces中的第i个面片，Ii表示Fi对应的区域片，E(I)表示面片Fi所对应区域片Ii的能量值；Edata表示面片Fi所对应区域片Ii的面积归一值，区域片的面积越大，面积归一值越小；Fj表示Fi的相邻面片，Ij表示Fj对应的区域片，(Fi，Fj)∈Edges表示Fi与Fj具有公共边；如果Fi与Fj所对应区域片属于同一张图像，则Esmooth为0，如果Fi与Fj所对应区域片不属于同一张图像，则Esmooth为1。
作为一种实施方式，所述预设代价函数为：
其中，v表示纹理接缝处的顶点，g表示颜色调整量，顶点v两侧颜色分别为与的颜色调整量为的颜色调整量全局调整后顶点v两侧颜色分别为与vi、vj表示同一面片的两个顶点，表示vi的颜色调整量，表示vj的颜色调整量，λ为权重因子。
本发明实施例还提供一种电子设备，如图4所示，包括处理器401和存储器402；存储器402，用于存放计算机程序；处理器401，用于执行存储器402上所存放的程序时，实现上述任一种基于三维模型的纹理映射方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图3所示的基于三维模型的纹理映射装置实施例、图4所示的电子设备实施例而言，由于其基本相似于图1-2所示的基于三维模型的纹理映射方法实施例，所以描述的比较简单，相关之处参见图1-2所示的基于三维模型的纹理映射方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (24)
1.一种基于三维模型的纹理映射方法，其特征在于，包括：
获取待处理三维模型、所述待处理三维模型对应的多张纹理深度图像、以及所述待处理三维模型与所述多张纹理深度图像的映射关系；
针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到各张纹理深度图像中的区域片；根据纹理深度图像的深度信息，判断所确定的每个区域片是否存在遮挡；在不存在遮挡的区域片中，选择一个或多个区域片作为待映射区域片；将所述待映射区域片的纹理特征映射到该面片。
2.根据权利要求1所述的方法，其特征在于，所述针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到各张纹理深度图像中的区域片，包括：
针对所述待处理三维模型中的每一面片，根据该面片与所述多张纹理深度图像的位姿关系，确定该面片对应的候选纹理深度图像；
根据所述待处理三维模型与所述候选纹理深度图像的映射关系，确定该面片映射到所述候选纹理深度图像中的区域片。
3.根据权利要求2所述的方法，其特征在于，所述根据该面片与所述多张纹理深度图像的位姿关系，确定该面片对应的候选纹理深度图像，包括：
针对每张纹理深度图像，计算该面片的法向量与该张纹理深度图像的法向量之间的夹角；
若所述夹角小于预设第一阈值，则将该张纹理深度图像确定为该面片对应的候选纹理深度图像。
4.根据权利要求1所述的方法，其特征在于，所述根据纹理深度图像的深度信息，判断所确定的每个区域片是否存在遮挡，包括：
针对所确定的每个区域片，根据该区域片的深度信息以及所述映射关系，将该区域片映射到所述待处理三维模型所在坐标系中，生成参考面片；
计算所述参考面片与该区域片所对应面片之间的间距，该区域片所对应面片为：根据所述映射关系，映射到该区域片的面片；
若所述间距小于预设第二阈值，则该区域片不存在遮挡。
5.根据权利要求1所述的方法，其特征在于，所述在不存在遮挡的区域片中，选择一个或多个区域片作为待映射区域片，包括：
针对不存在遮挡的每个区域片，利用预设优化模型，计算该区域片的能量值；其中，在所述预设优化模型中，区域片的面积越大，区域片的能量值越小，若该区域片与该区域片所对应面片的相邻面片所对应区域片属于同一图像，则将该区域片的能量值调小；
将能量值最小的区域片确定为待映射区域片。
6.根据权利要求5所述的方法，其特征在于，所述预设优化模型为：
其中，Faces表示构成待处理三维模型中的面片集合，Fi表示Faces中的第i个面片，Ii表示Fi对应的区域片，E(I)表示面片Fi所对应区域片Ii的能量值；Edata表示面片Fi所对应区域片Ii的面积归一值，区域片的面积越大，面积归一值越小；Fj表示Fi的相邻面片，Ij表示Fj对应的区域片，(Fi，Fj)∈Edges表示Fi与Fj具有公共边；如果Fi与Fj所对应区域片属于同一张图像，则Esmooth为0，如果Fi与Fj所对应区域片不属于同一张图像，则Esmooth为1。
7.根据权利要求1所述的方法，其特征在于，在将所述待映射区域片的纹理特征映射到该面片之后，还包括：
在映射纹理特征后得到的三维模型中，判断是否存在纹理接缝；其中，所述纹理接缝两侧的面片对应的区域片属于不同的纹理深度图像；
如果存在，对纹理接缝两侧区域进行颜色调整。
8.根据权利要求7所述的方法，其特征在于，所述对纹理接缝两侧区域进行颜色调整，包括：
利用预设代价函数，对各个纹理接缝两侧区域的颜色进行全局调整；其中，所述代价函数中包含全局调整后纹理接缝两侧区域的颜色差值、以及同一面片中各顶点颜色调整量的差值；
在全局调整后的纹理接缝中，判断是否存在两侧区域颜色差异大于预设第三阈值的纹理接缝；
如果存在，对颜色差异大于预设第三阈值的纹理接缝两侧区域的颜色进行融合。
9.根据权利要求8所述的方法，其特征在于，所述利用预设代价函数，对各个纹理接缝两侧区域的颜色进行全局调整，包括：
针对每个纹理接缝，判断该纹理接缝两侧区域的颜色差异是否小于预设第四阈值；如果是，将该纹理接缝确定为待调整纹理接缝；
利用预设代价函数，对全部待调整纹理接缝两侧区域的颜色进行全局调整。
10.根据权利要求8或9所述的方法，其特征在于，所述预设代价函数为：
其中，v表示纹理接缝处的顶点，g表示颜色调整量，顶点v两侧颜色分别为与 的颜色调整量为 的颜色调整量全局调整后顶点v两侧颜色分别为与vi、vj表示同一面片的两个顶点，表示vi的颜色调整量，表示vj的颜色调整量，λ为权重因子，Face表示构成待处理三维模型中的面片。
11.根据权利要求1所述的方法，其特征在于，所述获取待处理三维模型、所述待处理三维模型对应的多张纹理深度图像、以及所述待处理三维模型与所述多张纹理深度图像的映射关系，包括：
获取多台采集设备采集的当前帧纹理深度图像；
获取所述当前帧纹理深度图像对应的待处理三维模型；
获取所述待处理三维模型与所述当前帧纹理深度图像的映射关系；
所述针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到各张纹理深度图像中的区域片，包括：
针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到所述当前帧纹理深度图像中的区域片；
在将所述待映射区域片的纹理特征映射到该面片之后，还包括：
若存在未映射纹理特征的面片，则获取所述未映射纹理特征的面片对应的历史纹理特征，所述历史纹理特征为所述当前帧纹理深度图像之前的历史帧纹理深度图像中包含的纹理特征；
将所获取的历史纹理特征映射到所述未映射纹理特征的面片。
12.根据权利要求11所述的方法，其特征在于，所述获取所述未映射纹理特征的面片对应的历史纹理特征，包括：
确定所述未映射纹理特征的面片对应的历史面片；其中，所述历史面片为历史帧纹理深度图像对应的历史三维模型中的面片；
获取所确定的历史面片对应的历史纹理特征。
13.一种基于三维模型的纹理映射装置，其特征在于，包括：
第一获取模块，用于获取待处理三维模型、所述待处理三维模型对应的多张纹理深度图像、以及所述待处理三维模型与所述多张纹理深度图像的映射关系；
确定模块，用于针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到各张纹理深度图像中的区域片；
第一判断模块，用于根据纹理深度图像的深度信息，判断所确定的每个区域片是否存在遮挡；
选择模块，用于在不存在遮挡的区域片中，选择一个或多个区域片作为待映射区域片；
第一映射模块，用于将所述待映射区域片的纹理特征映射到该面片。
14.根据权利要求13所述的装置，其特征在于，所述确定模块，包括：
第一确定子模块，用于针对所述待处理三维模型中的每一面片，根据该面片与所述多张纹理深度图像的位姿关系，确定该面片对应的候选纹理深度图像；
第二确定子模块，用于根据所述待处理三维模型与所述候选纹理深度图像的映射关系，确定该面片映射到所述候选纹理深度图像中的区域片。
15.根据权利要求14所述的装置，其特征在于，所述第一确定子模块，具体用于：
针对每张纹理深度图像，计算该面片的法向量与该张纹理深度图像的法向量之间的夹角；
若所述夹角小于预设第一阈值，则将该张纹理深度图像确定为该面片对应的候选纹理深度图像。
16.根据权利要求13所述的装置，其特征在于，所述第一判断模块，具体用于：
针对所确定的每个区域片，根据该区域片的深度信息以及所述映射关系，将该区域片映射到所述待处理三维模型所在坐标系中，生成参考面片；
计算所述参考面片与该区域片所对应面片之间的间距，该区域片所对应面片为：根据所述映射关系，映射到该区域片的面片；
若所述间距小于预设第二阈值，则该区域片不存在遮挡。
17.根据权利要求13所述的装置，其特征在于，所述选择模块，具体用于：
针对不存在遮挡的每个区域片，利用预设优化模型，计算该区域片的能量值；其中，在所述预设优化模型中，区域片的面积越大，区域片的能量值越小，若该区域片与该区域片所对应面片的相邻面片所对应区域片属于同一图像，则将该区域片的能量值调小；
将能量值最小的区域片确定为待映射区域片。
18.根据权利要求17所述的装置，其特征在于，所述预设优化模型为：
其中，Faces表示构成待处理三维模型中的面片集合，Fi表示Faces中的第i个面片，Ii表示Fi对应的区域片，E(I)表示面片Fi所对应区域片Ii的能量值；Edata表示面片Fi所对应区域片Ii的面积归一值，区域片的面积越大，面积归一值越小；Fj表示Fi的相邻面片，Ij表示Fj对应的区域片，(Fi，Fj)∈Edges表示Fi与Fj具有公共边；如果Fi与Fj所对应区域片属于同一张图像，则Esmooth为0，如果Fi与Fj所对应区域片不属于同一张图像，则Esmooth为1。
19.根据权利要求13所述的装置，其特征在于，所述装置还包括：
第二判断模块，用于在映射纹理特征后得到的三维模型中，判断是否存在纹理接缝；其中，所述纹理接缝两侧的面片对应的区域片属于不同的纹理深度图像；如果存在，触发调整模块；
调整模块，用于对纹理接缝两侧区域进行颜色调整。
20.根据权利要求19所述的装置，其特征在于，所述调整模块，包括：
调整子模块，用于利用预设代价函数，对各个纹理接缝两侧区域的颜色进行全局调整；其中，所述代价函数中包含全局调整后纹理接缝两侧区域的颜色差值、以及同一面片中各顶点颜色调整量的差值；
判断子模块，用于在全局调整后的纹理接缝中，判断是否存在两侧区域颜色差异大于预设第三阈值的纹理接缝；如果存在，触发融合子模块；
融合子模块，用于对颜色差异大于预设第三阈值的纹理接缝两侧区域的颜色进行融合。
21.根据权利要求20所述的装置，其特征在于，所述调整子模块，具体用于：
针对每个纹理接缝，判断该纹理接缝两侧区域的颜色差异是否小于预设第四阈值；如果是，将该纹理接缝确定为待调整纹理接缝；
利用预设代价函数，对全部待调整纹理接缝两侧区域的颜色进行全局调整。
22.根据权利要求20或21所述的装置，其特征在于，所述预设代价函数为：
其中，v表示纹理接缝处的顶点，g表示颜色调整量，顶点v两侧颜色分别为与 的颜色调整量为 的颜色调整量全局调整后顶点v两侧颜色分别为与vi、vj表示同一面片的两个顶点，表示vi的颜色调整量，表示vj的颜色调整量，λ为权重因子，Face表示构成待处理三维模型中的面片。
23.根据权利要求13所述的装置，其特征在于，所述第一获取模块，具体用于：
获取多台采集设备采集的当前帧纹理深度图像；获取所述当前帧纹理深度图像对应的待处理三维模型；获取所述待处理三维模型与所述当前帧纹理深度图像的映射关系；
所述确定模块，具体用于：
针对所述待处理三维模型中的每一面片，根据所述映射关系，确定该面片映射到所述当前帧纹理深度图像中的区域片；
所述装置还包括：
第二获取模块，用于在存在未映射纹理特征的面片的情况下，获取所述未映射纹理特征的面片对应的历史纹理特征，所述历史纹理特征为所述当前帧纹理深度图像之前的历史帧纹理深度图像中包含的纹理特征；
第二映射模块，用于将所获取的历史纹理特征映射到所述未映射纹理特征的面片。
24.根据权利要求23所述的装置，其特征在于，所述第二获取模块，具体用于：
确定所述未映射纹理特征的面片对应的历史面片；其中，所述历史面片为历史帧纹理深度图像对应的历史三维模型中的面片；
获取所确定的历史面片对应的历史纹理特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810449321.8A CN110473294B (zh) | 2018-05-11 | 2018-05-11 | 一种基于三维模型的纹理映射方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810449321.8A CN110473294B (zh) | 2018-05-11 | 2018-05-11 | 一种基于三维模型的纹理映射方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110473294A CN110473294A (zh) | 2019-11-19 |
| CN110473294B true CN110473294B (zh) | 2023-09-01 |
Family
ID=68504600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810449321.8A Active CN110473294B (zh) | 2018-05-11 | 2018-05-11 | 一种基于三维模型的纹理映射方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110473294B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369660B (zh) * | 2020-03-02 | 2023-10-13 | 中国电子科技集团公司第五十二研究所 | 一种三维模型的无接缝纹理映射方法 |
| CN112184875B (zh) * | 2020-08-26 | 2024-07-12 | 广州梦域数码技术有限公司 | 基于赋值照片权重的连续三维材质生成方法、设备及介质 |
| CN113487729A (zh) * | 2021-07-30 | 2021-10-08 | 上海联泰科技股份有限公司 | 三维模型的表面数据处理方法、系统及存储介质 |
| CN114972612B (zh) * | 2022-07-18 | 2022-11-11 | 深圳大学 | 一种基于三维简化模型的图像纹理生成方法及相关设备 |
| CN118379470B (zh) * | 2024-06-21 | 2024-08-30 | 武汉大势智慧科技有限公司 | 一种交互式的三维模型纹理的编辑方法、系统及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101958008A (zh) * | 2010-10-12 | 2011-01-26 | 上海交通大学 | 序列图像三维重建中的自动纹理映射方法 |
| CN105574921A (zh) * | 2014-11-04 | 2016-05-11 | 达索系统公司 | 根据图像的自动化纹理映射和动画绘制 |
| US20170116771A1 (en) * | 2014-06-10 | 2017-04-27 | Tencent Technology (Shenzhen) Company Limited | 3d model rendering method and apparatus and terminal device |
| US20170316598A1 (en) * | 2015-05-22 | 2017-11-02 | Tencent Technology (Shenzhen) Company Limited | 3d human face reconstruction method, apparatus and server |
-
2018
- 2018-05-11 CN CN201810449321.8A patent/CN110473294B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101958008A (zh) * | 2010-10-12 | 2011-01-26 | 上海交通大学 | 序列图像三维重建中的自动纹理映射方法 |
| US20170116771A1 (en) * | 2014-06-10 | 2017-04-27 | Tencent Technology (Shenzhen) Company Limited | 3d model rendering method and apparatus and terminal device |
| CN105574921A (zh) * | 2014-11-04 | 2016-05-11 | 达索系统公司 | 根据图像的自动化纹理映射和动画绘制 |
| US20170316598A1 (en) * | 2015-05-22 | 2017-11-02 | Tencent Technology (Shenzhen) Company Limited | 3d human face reconstruction method, apparatus and server |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110473294A (zh) | 2019-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110473294B (zh) | 一种基于三维模型的纹理映射方法、装置及设备 | |
| CN111369659B (zh) | 一种基于三维模型的纹理映射方法、装置及设备 | |
| CN111052176B (zh) | 无缝图像拼接 | |
| US10504242B2 (en) | Method and device for calibrating dual fisheye lens panoramic camera, and storage medium and terminal thereof | |
| US20180218485A1 (en) | Method and apparatus for fusing plurality of depth images | |
| CN112689135B (zh) | 投影校正方法、装置、存储介质及电子设备 | |
| US8755592B2 (en) | Stereo matching system using dynamic programming and method thereof | |
| US9762871B2 (en) | Camera assisted two dimensional keystone correction | |
| US8059916B2 (en) | Hybrid system for multi-projector geometry calibration | |
| KR101249791B1 (ko) | 차량 어라운드 뷰 영상 생성 방법 | |
| CN111369660B (zh) | 一种三维模型的无接缝纹理映射方法 | |
| CN112288826B (zh) | 双目相机的标定方法、装置及终端 | |
| CN111144213B (zh) | 一种对象检测方法和相关设备 | |
| CN106651897B (zh) | 一种基于超像素分割的视差修正方法 | |
| US8994722B2 (en) | Method for enhancing depth images of scenes using trellis structures | |
| CN109186772B (zh) | 一种基于红外探测器的人体判断方法及电器 | |
| CN114697623A (zh) | 投影面选取和投影图像校正方法、装置、投影仪及介质 | |
| US11284052B2 (en) | Method for automatically restoring a calibrated state of a projection system | |
| CN111597963B (zh) | 用于图像中人脸的补光方法、系统、介质以及电子设备 | |
| CN113763295B (zh) | 图像融合方法、确定图像偏移量的方法及装置 | |
| JP7275583B2 (ja) | 背景モデル生成装置、背景モデル生成方法及び背景モデル生成プログラム | |
| CN108596981B (zh) | 一种图像的鸟瞰视角重投影方法、装置及便携式终端 | |
| US20120206442A1 (en) | Method for Generating Virtual Images of Scenes Using Trellis Structures | |
| CN113822937B (zh) | 一种图像校正方法、装置、设备及存储介质 | |
| CN110942052A (zh) | 基于三合一cbct头颅侧位图像的侧位耳点校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |