CN111553969A - 一种基于梯度域的纹理映射方法、介质、终端和装置 - Google Patents

一种基于梯度域的纹理映射方法、介质、终端和装置 Download PDF

Info

Publication number
CN111553969A
CN111553969A CN201911402919.2A CN201911402919A CN111553969A CN 111553969 A CN111553969 A CN 111553969A CN 201911402919 A CN201911402919 A CN 201911402919A CN 111553969 A CN111553969 A CN 111553969A
Authority
CN
China
Prior art keywords
map
gradient
pose
texture
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911402919.2A
Other languages
English (en)
Other versions
CN111553969B (zh
Inventor
李云强
陈颖
余虹亮
罗苇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jimu Yida Science And Technology Co ltd
Original Assignee
Shenzhen Jimu Yida Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jimu Yida Science And Technology Co ltd filed Critical Shenzhen Jimu Yida Science And Technology Co ltd
Priority to CN201911402919.2A priority Critical patent/CN111553969B/zh
Publication of CN111553969A publication Critical patent/CN111553969A/zh
Application granted granted Critical
Publication of CN111553969B publication Critical patent/CN111553969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于梯度域的纹理映射方法、介质、终端和装置，先得到三维模型在纹理图对应视角下的深度图，然后计算两者的梯度影像，再基于梯度不变假设直接利用梯度影像优化测量误差或者基于显著点方式利用梯度影像优化显著点与匹配点的重投影误差，经过多次迭代修正回归参数，使得在优化过程中回归参数不断逼近最优解，最终得到最优位姿。该方法有效利用了深度图信息，并将深度图进行转化得到亮度信息，将图像与模型的对齐问题转化成图像与图像的配准问题；此外，在梯度域上进行处理，克服了不同影像之间亮度差异带来的配准误差，而相比于传统提取特征或边界的方式，本发明提出的梯度以及显著点计算方法更加简洁有效，且提高了鲁棒性。

Description

一种基于梯度域的纹理映射方法、介质、终端和装置
【技术领域】
本发明涉及三维建模领域，尤其涉及一种基于梯度域的纹理映射方法、介质、终端和装置。
【背景技术】
随着可视化技术的发展，人们可以在计算机上用三维模型表达复杂的信息，从而再现三维世界中的实体。现有技术可以通过三维激光扫描仪扫描物体建立三维模型网格，但是三维模型网格缺乏明显的可辨识性，不能清楚地分辨出物体的细节，因此需要对三维模型网格进行纹理映射。纹理映射是指将纹理影像构成的纹理空间和物体表面参数构成的三维模型空间一一对应的映射，即把指定的纹理图映射到三维模型表面上的技术，其核心目标是确定重建模型与多视角下纹理图像序列的纹理对应关系，进而实现纹理坐标的映射与纹理贴图的生成。然而在实际的建模过程中，存在一些因素限制着纹理映射的准确性，包括：①三维重建过程中，每个视角对应一个相机位姿，由于摄像头姿态估计误差以及相机本身自带的光学畸变等原因，在实际纹理影像与模型对应时出现纹理错位的问题，尤其是边缘部分；②模型构建过程中产生误差，实际恢复出来的点云数据经过配准和表面重建后，其空间位置与实际物体都会存在微小的偏差，如果直接进行纹理映射，有误差的区域会出现模糊、扭曲的现象；③三维扫描设备采集纹理图与深度图时，存在一定延时，从而导致纹理图与深度图无法一一对应。
以上因素都对三维模型与纹理影像之间的映射关系具有重要影响，主要表现为纹理变形、纹理错位等现象。现有技术主要采用图像与模型对齐的方法来解决上述问题，具体来说存在以下几种方法：
(1)交互性的采样点对应算法，其主要思想是计算采样的几何模型顶点投影到图像上的位置，通过用户标记的方式对这些点进行一一对应，使得纹理能够映射到三维模型上，这种方式需要用户来交互，自动化程度低。
(2)通过在模型上提取特征点来矫正错位现象的方法，如sift3d，将三维特征点投影到影像上进行精化配准，但模型上特征点较少或特征点分布不均的情况下，配准效果不理想。
(3)通过提取模型与纹理的外轮廓或边界区域，设置代价函数，构建优化问题，这种方式依赖于区域分割，较差的区域分割结果可能对算法的实际效果造成影响。
【发明内容】
本发明提供了一种基于梯度域的纹理映射方法、介质、终端和装置，解决了以上所述的技术问题。
本发明解决上述技术问题的技术方案如下：一种基于梯度域的纹理映射方法，包括以下步骤：
步骤1，获取三维模型在对应纹理图视角下的深度图，并计算生成所述深度图对应的亮度图；
步骤2，计算所述纹理图的第一梯度图以及所述亮度图的第二梯度图；
步骤3，选择预设优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿；所述预设优化算法包括基于梯度不变假设的优化算法、基于显著点的优化算法、基于显著点带内参不带畸变的优化算法以及基于显著点带内参及畸变的优化算法中的至少一个。
在一个优选实施方式中，选择基于梯度不变假设的优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿，具体包括以下步骤：
S301，计算所述第一梯度图It_grad在x、y方向的梯度dx和dy，并给定相机内参K0和位姿初始值ξ0＝I,I为单位阵；
S302，基于梯度不变假设建立所述纹理图和所述亮度图的梯度误差函数如下：
e＝Id_grad(P1)-It_grad(P2)，
其中，P1和P2为空间点P的两个像点，
Figure BDA0002347913330000031
Figure BDA0002347913330000032
Figure BDA0002347913330000033
(u1,v1,1)与(u2,v2,1)分别为P1和P2点在各自图像中的图像齐次坐标，Z1为空间点P的深度，Z2为空间点P通过ξ位姿变换得到的深度，It_grad为第一梯度图，Id_grad为第二梯度图，K为相机内参；
S303，对于第m次高斯牛顿迭代，通过当前位姿和K0将第二梯度图对应的点云反投到所述纹理图上，并对所述梯度误差函数关于位姿的第一雅克比矩阵J1和第一残差r1进行求解如下：
Figure BDA0002347913330000041
其中X、Y、Z为空间点P扰动之后点q的坐标，fx和fy为相机内参；
S304，根据所述第一雅克比矩阵J1和所述第一残差r1计算本次迭代的位姿估计ξm，具体计算公式为：J1 TJ1ξ＝-J1r1；
S305，判断Δξm是否小于预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新对应的参数向量ξm+1＝ξm+Δξm，并返回步骤S303，继续迭代优化过程。
在一个优选实施方式中，选择基于显著点的优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿，具体包括以下步骤：
S306，获取第二梯度图上任一显著点所对应的空间三维显著点W，同时给定相机内参K0和位姿初始值ξ0＝I,I为单位阵；
S307，将所述空间三维显著点W经过当前位姿变换生成q，再经过相机参数K0投影到当前纹理图坐标系下得到显著点u(x,y)，然后在纹理图的第一梯度图上找到对应的匹配点u1(x1,y1)，建立显著点u(x,y)与匹配点u1(x1,y1)的距离误差函数如下：
Figure BDA0002347913330000042
S308，对于第m次高斯牛顿迭代，对所述距离误差函数关于位姿的第二雅克比矩阵J2和第二残差r2进行求解如下：
Figure BDA0002347913330000051
Figure BDA0002347913330000052
其中X、Y、Z为q点的坐标，fx和fy为相机内参；
S309，根据所述第二雅克比矩阵J2和所述第二残差r2计算本次迭代的位姿估计ξm，具体计算公式为：J2 TJ2ξ＝-J2r2；
S310，判断Δξm是否小于预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新对应的参数向量ξm+1＝ξm+Δξm,并返回步骤S308，继续迭代优化过程。
在一个优选实施方式中，选择基于显著点带内参不带畸变的优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿，具体包括以下步骤：
S311，获取第二梯度图上任一显著点所对应的空间三维显著点W，同时给定相机初始内参K0和位姿初始值ξ0＝I,I为单位阵或步骤S310生成的最优位姿；
S312，将所述空间三维显著点W经过当前位姿变换生成q，再经过当前相机参数投影到当前纹理图坐标系下得到显著点u(x,y)，然后在纹理图的第一梯度图上找到对应的匹配点u1(x1,y1)，建立显著点u(x,y)与匹配点u1(x1,y1)的距离误差函数如下：
Figure BDA0002347913330000053
S313，对于第m次高斯牛顿迭代，对所述距离误差函数关于位姿和相机内参的第三雅克比矩阵J3和第三残差r3进行求解如下：
Figure BDA0002347913330000054
Figure BDA0002347913330000061
其中
Figure BDA0002347913330000062
X、Y、Z为q点的坐标，fx、fy、cx和cy为相机内参；
S314，根据所述第三雅克比矩阵J3和所述第三残差r3计算本次迭代的位姿估计ξm，具体计算公式为：J3 TJ3ξ＝-J3r3；
S315，判断Δξm和ΔKm是否均小于各自对应的预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新参数向量ξm+1＝ξm+Δξm以及Km+1＝Km+ΔKm，并返回步骤S313，继续迭代优化过程。
在一个优选实施方式中，选择基于显著点带内参及畸变的优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿，具体包括以下步骤：
S316，获取第二梯度图上任一显著点所对应的空间三维显著点W，同时给定相机初始参数K0和位姿初始值ξ0＝I,I为单位阵或步骤S315生成的最优位姿；
S317，将所述空间三维显著点W经过当前位姿变换生成q，再经过当前相机参数投影到当前纹理图坐标系下得到显著点u(x,y)，然后在纹理图的第一梯度图上找到对应的匹配点u1(x1,y1)，建立显著点u(x,y)与匹配点u1(x1,y1)的距离误差函数如下：
Figure BDA0002347913330000063
S318，对于第m次高斯牛顿迭代，对所述距离误差函数关于位姿、相机内参和畸变的第四雅克比矩阵J4和第四残差r4进行求解如下：
Figure BDA0002347913330000064
Figure BDA0002347913330000071
Figure BDA0002347913330000072
其中，
x＝fx((1+k1*r+k2*r2+k3*r3)*x0+2*p1*x0*y0+p2*(r+2*x0 2))+cx，
y＝fy((1+k1*r+k2*r2+k3*r3)*y0+2*p1*(r+2*y0 2)+2*p2*x0*y0)+cy，
x0＝X/Z,y0＝Y/Z,r＝x0 2+y0 2，X、Y、Z为q点的坐标，fx、fy、cx和cy为相机内参，k1、k2、k3、p1和p2为畸变参数；
S319，根据所述第四雅克比矩阵J4和所述第四残差r4计算本次迭代的位姿估计ξm，具体计算公式为：J4 TJ4ξ＝-J4r4；
S320，判断Δξm、ΔKm和畸变增量是否均小于各自对应的预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新参数向量ξm+1＝ξm+Δξm、Km+1＝Km+ΔKm和畸变，并返回步骤S318，继续迭代优化过程。
在一个优选实施方式中，生成三维模型在对应纹理图视角下的深度图，并获取所述深度图对应的亮度图像，具体包括以下步骤：
S101，将三维模型反投到纹理图对应的视角下，生成所述三维模型的深度图以及所述深度图对应的点云信息和法线信息；
S102，采用预设公式计算深度图对应的亮度图：
Id＝cos(θ)*Ic+Im，
其中θ为像素点对应光线方向
Figure BDA0002347913330000073
与法线方向
Figure BDA0002347913330000074
的夹角，
Figure BDA0002347913330000075
Ic为缩放系数，Im亮度参考值。
本发明实施例的第二方面提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现以上所述基于梯度域的纹理映射方法。
本发明实施例的第三方面提供了一种基于梯度域的纹理映射终端，包括所述的计算机可读存储介质和处理器，所述处理器执行所述计算机可读存储介质上的计算机程序时实现以上所述基于梯度域的纹理映射方法的步骤。
本发明实施例的第四方面提供了一种基于梯度域的纹理映射装置，包括亮度图计算模块、梯度计算模块和优化模块，
所述亮度图计算模块用于获取三维模型在对应纹理图视角下的深度图，并计算生成所述深度图对应的亮度图；
所述梯度计算模块用于计算所述纹理图的第一梯度图以及所述亮度图的第二梯度图；
所述优化模块用于选择预设优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿；所述预设优化算法包括基于梯度不变假设的优化算法、基于显著点的优化算法、基于显著点带内参不带畸变的优化算法以及基于显著点带内参及畸变的优化算法中的至少一个。
本发明提供了一种基于梯度域的纹理映射方法、介质、终端和装置，先通过三维模型得到纹理图对应视角下的深度图，然后计算两者的梯度影像，再基于梯度不变假设直接利用梯度影像优化测量误差或者基于显著点方式利用梯度影像优化显著点与匹配点的重投影误差，经过多次迭代修正相关的回归参数，使得在优化过程中回归参数不断逼近最优解，直到最终的残差平方和达到最小，得到最优位姿。该方法有效利用了深度图信息，并将深度图进行转化得到亮度信息，将图像与模型的对齐问题转化成图像与图像的配准问题；此外，在梯度域上进行处理，克服了不同影像之间亮度差异带来的配准误差，而相比于传统提取特征或边界的方式，本发明提出的梯度以及显著点计算方法更加简洁有效，且提高了鲁棒性。
为使发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是实施例提供的基于梯度域的纹理映射方法的位姿优化示意图；
图2是另一实施例提供的基于梯度域的纹理映射方法的流程示意图；
图3是另一实施例中椅子的三维模型图；
图4是另一实施例中椅子的初始纹理贴图效果图；
图5是另一实施例中椅子模型反投得到的深度图；
图6是另一实施例中椅子模型对应深度图的亮度图；
图7是另一实施例中椅子纹理图的第一梯度图；
图8是另一实施例中椅子亮度图的第二梯度图；
图9是另一实施例中纹理图与深度图的错位示意图；
图10是另一实施例中基于梯度不变假设的纹理映射效果图；
图11是另一实施例中基于显著点的纹理映射效果图；
图12是另一实施例中基于显著点带内参不带畸变的纹理映射效果图；
图13是另一实施例中基于显著点带内参带畸变的纹理映射效果图；
图14是另一实施例优化后的纹理贴图效果图；
图15是另一实施例提供的基于梯度域的纹理映射装置的结构示意图；
图16是另一实施例提供的基于梯度域的纹理映射终端的结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
本发明三维模型M保持不变，先将三维模型M反投到对应纹理图视角下得到深度图Id，通过不断修正纹理图相对于深度图的位姿ξ来解决纹理与模型错位的问题，如图1所示。这实际是一个位姿优化问题，先构造一个关于位姿变化的误差函数，当这个误差函数最小时，位姿估计最优。假设有N个空间点pi，那么，整个位姿估计问题可以用公式(1)表示：
Figure BDA0002347913330000101
其中，ei为误差函数，误差是随位姿ξ不断变化的，J(ξ)是误差函数相对于位姿ξ的雅可比矩阵。为了求解误差ei是如何随着相机位姿ξ变化的，需求分析它们的导数关系，即分析如何计算
Figure BDA0002347913330000111
以下对实现上述原理的纹理映射方法进行详细说明。
图2是一实施例提供的基于梯度域的纹理映射方法的流程示意图，如图2所示，包括以下步骤：
步骤1，获取三维模型在对应纹理图视角下的深度图，并计算生成所述深度图对应的亮度图。具体包括以下步骤：
S101，已知纹理图It，将三维模型反投到纹理图对应的视角下,得到所述三维模型的深度图，并由深度图得到对应的点云信息和法线信息。
S102，根据朗伯体假设，即漫反射亮度与每个像素点对应的光线方向
Figure BDA0002347913330000112
与法线
Figure BDA0002347913330000113
方向的夹角的余弦值
Figure BDA0002347913330000114
成正比，因此可以按照如下公式计算得到深度图对应的亮度图Id：
Id＝cos(θ)*Ic+Im，其中Ic为缩放系数，Im亮度参考值。
然后执行步骤2，计算纹理图It的第一梯度图It_grad和亮度图Id的第二梯度图Id_grad：
Figure BDA0002347913330000115
Figure BDA0002347913330000116
其中It_gradx、It_grady为纹理图在x，y方向上的梯度，Id_gradx、Id_grady为亮度图在在x，y方向上的梯度。
然后，选择预设优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿；所述预设优化算法包括基于梯度不变假设的优化算法、基于显著点的优化算法、基于显著点带内参不带畸变的优化算法以及基于显著点带内参及畸变的优化算法中的至少一个。
根据不同的应用场景，选择上述不同的优化算法采用高斯牛顿法进行优化。当采用基于梯度不变假设进行优化时，包括以下步骤：
S301，计算所述第一梯度图It_grad在x、y方向的梯度dx和dy，并给定相机内参K0和位姿初始值ξ0＝I,I为单位阵。
S302，基于梯度不变假设优化测量误差，即建立所述纹理图和所述亮度图的梯度误差函数如下：
e＝Id_grad(P1)-It_grad(P2)，
其中，P1和P2为空间点P(X1,Y1,Z1)的两个像点，
Figure BDA0002347913330000121
Figure BDA0002347913330000122
(u1,v1,1)与(u2,v2,1)分别为P1和P2点在各自图像中的图像齐次坐标，Z1为空间点P的深度，Z2为空间点P通过ξ位姿变换得到的深度，It_grad为第一梯度图，Id_grad为第二梯度图，K为相机内参。
S303，对于第m次高斯牛顿迭代，通过当前位姿和K0将第二梯度图对应的点云反投到所述纹理图上，然后基于剃度不变假设对J(ξ)进行求解。利用李代数上的扰动模型，exp(ξ^)左乘一个小扰动exp(δξ^)，得:
Figure BDA0002347913330000123
令q＝δξ^exp(ξ^)P,
Figure BDA0002347913330000124
q代表P在扰动之后的坐标，u为q的像素坐标，利用一阶泰勒展开有：
Figure BDA0002347913330000131
由上式可知，一阶导数由链式法则分成了三项，分别为：
(1)
Figure BDA0002347913330000132
为纹理图的第一梯度图在u处的像素梯度：
Figure BDA0002347913330000133
(2)
Figure BDA0002347913330000134
为投影方程关于变换后的三维点q＝[X,Y,Z]T的导数：
Figure BDA0002347913330000135
其中，
Figure BDA0002347913330000136
fx，fy，cx，cy为相机内参。
(3)
Figure BDA0002347913330000137
为变换后的空间三维点q＝[X,Y,Z]T关于位姿的导数：
Figure BDA0002347913330000138
在实践中，由于后两项只与三维点q有关，与图像无关，将其合并如下：
Figure BDA0002347913330000139
于是可以推导出误差相对于位姿的第一雅可比矩阵：
Figure BDA0002347913330000141
第一残差
Figure BDA0002347913330000142
其中X、Y、Z为空间点q的坐标，fx和fy为相机内参；
S304，根据所述第一雅克比矩阵J1和所述第一残差r1计算本次迭代的位姿估计ξm，具体计算公式为：J1 TJ1ξ＝-J1r1。
S305，判断Δξm是否小于预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新对应的参数向量ξm+1＝ξm+Δξm，并返回步骤S303，继续迭代优化过程，直至达到预设收敛条件，即Δξm小于预设阈值。当获取到纹理图和亮度图之间的最优位姿后，即可根据该最优位姿将纹理图映射到三维模型。
另一实施例采用基于显著点的优化算法，具体包括以下步骤：
S306，获取第二梯度图上任一显著点所对应的空间三维显著点W＝(X1,Y1,Z1)，同时给定相机内参K0和位姿初始值ξ0＝I,I为单位阵。
S307，将所述空间三维显著点W经过当前位姿变换生成q＝[X,Y,Z]T，再经过相机参数K0投影到当前纹理图坐标系下得到显著点u(x,y)，然后通过最近邻算法在纹理图的第一梯度图上找到对应的匹配点u1(x1,y1)，优化重投影误差，即显著点u(x,y)与匹配点u1(x1,y1)的距离误差来优化位姿，此时距离误差函数如下：
Figure BDA0002347913330000143
S308，e(ξ)是一个2×1的距离列向量，代表着二维距离。由于投影过程一致，类似上述基于梯度不变假设方法利用链式法则，误差函数关于位姿的雅可比矩阵可以写成
Figure BDA0002347913330000144
其中：
Figure BDA0002347913330000151
误差函数对u求导即对像素坐标x，y求导，即
Figure BDA0002347913330000152
故第二雅克比矩阵J2和第二残差r2进行求解如下：
Figure BDA0002347913330000153
Figure BDA0002347913330000154
其中X、Y、Z为q点的坐标，fx和fy为相机内参。
S309，根据所述第二雅克比矩阵J2和所述第二残差r2计算本次迭代的位姿估计ξm，具体计算公式为：J2 TJ2ξ＝-J2r2。
S310，判断Δξm是否小于预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新对应的参数向量ξm+1＝ξm+Δξm,并返回步骤S308，继续迭代优化过程，直至达到预设收敛条件，即Δξm小于预设阈值。当获取到纹理图和亮度图之间的最优位姿后，即可根据该最优位姿将纹理图映射到三维模型。
另一实施例采用基于显著点带内参不带畸变的优化算法，联合相机内参(fx,fy,cx,cy)进行优化，具体包括以下步骤：
S311，获取第二梯度图上任一显著点所对应的空间三维显著点W＝(X1,Y1,Z1)，同时给定相机初始内参K0(由初始标定得到)和位姿初始值ξ0＝I,I为单位阵或步骤S310生成的最优位姿。
S312，将所述空间三维显著点W经过当前位姿变换生成q＝[X,Y,Z]T，再经过当前相机参数投影到当前纹理图坐标系下得到显著点u(x,y)，然后通过最近邻算法在纹理图的第一梯度图上找到对应的匹配点u1(x1,y1)，建立显著点u(x,y)与匹配点u1(x1,y1)的距离误差函数如下：
Figure BDA0002347913330000161
S313，对于第m次高斯牛顿迭代，对所述距离误差函数关于位姿和相机内参(不带畸变)的第三雅克比矩阵J3和第三残差r3进行求解如下：
Figure BDA0002347913330000162
Figure BDA0002347913330000163
其中
Figure BDA0002347913330000164
X、Y、Z为q点的坐标，fx、fy、cx和cy为相机内参。
S314，根据所述第三雅克比矩阵J3和所述第三残差r3计算本次迭代的位姿估计ξm，具体计算公式为：J3 TJ3ξ＝-J3r3。
S315，判断Δξm和ΔKm是否均小于各自对应的预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新参数向量ξm+1＝ξm+Δξm以及Km+1＝Km+ΔKm，并返回步骤S313，继续迭代优化过程，直至达到预设收敛条件，即Δξm和ΔKm均小于各自对应的预设阈值。当获取到纹理图和亮度图之间的最优位姿后，即可根据该最优位姿将纹理图映射到三维模型。
另一实施例采用基于显著点带内参带畸变的优化算法，联合相机内参(fx,fy,cx,cy)以及畸变参数(k1,k2,k3,p1,p2)进行优化,即具体包括以下步骤：
S316，获取第二梯度图上任一显著点所对应的空间三维显著点W＝(X1,Y1,Z1)，同时给定相机初始参数K0和位姿初始值ξ0＝I,I为单位阵或步骤S315生成的最优位姿。
S317，将所述空间三维显著点W经过当前位姿变换生成q＝[X,Y,Z]T，再经过当前相机参数投影到当前纹理图坐标系下得到显著点u(x,y)，然后在纹理图的第一梯度图上找到对应的匹配点u1(x1,y1)，建立显著点u(x,y)与匹配点u1(x1,y1)的距离误差函数如下：
Figure BDA0002347913330000171
S318，对于第m次高斯牛顿迭代，对所述距离误差函数关于位姿、相机内参和畸变的第四雅克比矩阵J4和第四残差r4进行求解如下：
Figure BDA0002347913330000172
Figure BDA0002347913330000173
其中，
x＝fx((1+k1*r+k2*r2+k3*r3)*x0+2*p1*x0*y0+p2*(r+2*x0 2))+cx，
y＝fy((1+k1*r+k2*r2+k3*r3)*y0+2*p1*(r+2*y0 2)+2*p2*x0*y0)+cy，
x0＝X/Z,y0＝Y/Z,r＝x0 2+y0 2，X、Y、Z为q点的坐标，fx、fy、cx和cy为相机内参，k1、k2、k3、p1和p2为畸变参数。
S319，根据所述第四雅克比矩阵J4和所述第四残差r4计算本次迭代的位姿估计ξm，具体计算公式为：J4 TJ4ξ＝-J4r4。
S320，判断Δξm、ΔKm和畸变增量是否均小于各自对应的预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新参数向量ξm+1＝ξm+Δξm、Km+1＝Km+ΔKm和畸变，并返回步骤S318，继续迭代优化过程,直至达到预设收敛条件，即Δξm小于预设阈值。当获取到纹理图和亮度图之间的最优位姿后，即可根据该最优位姿将纹理图映射到三维模型。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以下通过一个具体实施例对上述过程进行具体说明。
首先采用手持三维扫描仪采集了椅子的三维模型以及纹理图，如图3和图4所示，点云与纹理的采集有一定时延，以及配准重建误差等导致模型与纹理存在错位现象，纹理图的箭头位置有纹理错位，表现为重影。
针对以上现象，本实施例采用以下纹理映射方法：
S1，找到错位区域对应的纹理图,并将椅子三维模型投影到纹理图对应的视角下,得到深度图，如图5所示，由深度图得到对应的点云信息及法线信息。
S2，计算深度图对应的亮度图，如图6所示，此时Ic＝126，Im＝64。
S3，采用sobel算子计算纹理图以及亮度图在x，y方向上的梯度，再对两个方向上的梯度求平方平均数，得到第一梯度图It_grad与第二梯度图Id_grad，如图7和图8所示。
S4，考虑到像素梯度比较小，雅可比也比较小，对位姿增量的贡献较小，因此，这里舍弃像素梯度不明显的点，只采用梯度比较大的像素点进行计算，即Id_grad，It_grad大于一定阈值的点，这里阈值为512。图9将Id_grad中梯度较大的点叠加到纹理图上，可以看出纹理图与深度图错位明显，尤其在椅子腿的底部边缘部分，如圆圈所示。为了纠正偏差，下面我们分别采用上述不同的优化策略利用高斯牛顿法进行优化。
1)采用sobel算子计算纹理梯度图It_grad在x，y方向的梯度dx,dy，对梯度较大的点按照基于梯度不变假设的优化方法进行精化配准。经过优化得到纹理图相对于深度图的位姿ξ，将Id_grad中梯度较大的点通过位姿ξ以及相机参数K反投到纹理图上，结果如图10所示，对比图9可知，椅子腿底部边缘部分与纹理图契合较好。
2)本实施例中直接将上述Id_grad梯度大于512的点作为显著点，再在纹理梯度图It_grad上以当前点为中心，n*n的邻域内计算离当前点距离最近的点作为对应的匹配点，然后基于显著点的优化方法进行精化配准，配准结果如图11所示，同样的，通过优化的位姿ξ，纹理图与深度图的错位得到了纠正。
3)计算显著点与匹配点，并基于显著点并带fx,fy,cx,cy的优化方法进行精化配准，配准效果如图12所示，配准后，纹理图与深度图的错位得到了纠正。
4)计算显著点与匹配点，基于显著点并带fx,fy,cx,cy,k1,k2,k3,p1,p2的优化方法进行精化配准，配准效果如图13所示，配准后，纹理图与深度图的错位得到了纠正。
通过上述四种方式都能较好的纠正纹理图相对于深度图的位姿，采用精化的参数修正原始的参数，再进行纹理贴图，贴图后的效果图14所示，对比图3可见，重影现象消失，模型与纹理的错位问题得到了解决。
本发明实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现以上所述的基于梯度域的纹理映射方法。
图15是另一实施例提供的基于梯度域的纹理映射装置的结构示意图，如图15所示，包括亮度图计算模块100、梯度计算模块200和优化模块300，
所述亮度图计算模块100用于获取三维模型在对应纹理图视角下的深度图，并计算生成所述深度图对应的亮度图；
所述梯度计算模块200用于计算所述纹理图的第一梯度图以及所述亮度图的第二梯度图；
所述优化模块300用于选择预设优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿；所述预设优化算法包括基于梯度不变假设的优化算法、基于显著点的优化算法、基于显著点带内参不带畸变的优化算法以及基于显著点带内参及畸变的优化算法中的至少一个。
一个优选实施例中，所述亮度图计算模块100具体包括：
深度图构建单元101，用于将三维模型反投到纹理图对应的视角下，生成所述三维模型的深度图以及所述深度图对应的点云信息和法线信息；
计算单元102，采用预设公式计算深度图对应的亮度图：
Id＝cos(θ)*Ic+Im，
其中θ为像素点对应光线方向
Figure BDA0002347913330000201
与法线方向
Figure BDA0002347913330000202
的夹角，
Figure BDA0002347913330000203
Ic为缩放系数，Im亮度参考值。
一个优选实施例中，所述梯度计算模块200具体用于计算第一梯度图
Figure BDA0002347913330000211
以及第二梯度图
Figure BDA0002347913330000212
其中It_gradx、It_grady为纹理图在x，y方向上的梯度，Id_gradx、Id_grady为亮度图在在x，y方向上的梯度。
本发明实施例还提供了一种基于梯度域的纹理映射终端，包括所述的计算机可读存储介质和处理器，所述处理器执行所述计算机可读存储介质上的计算机程序时实现以上所述基于梯度域的纹理映射方法的步骤。图16是另一实施例提供的基于梯度域的纹理映射终端的结构示意图，如图16所示，该实施例的基于梯度域的纹理映射终端8包括：处理器80、可读存储介质81以及存储在所述可读存储介质81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个方法实施例中的步骤，例如图2所示的步骤1至步骤3。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块的功能，例如图15所示模块100至300的功能。
示例性的，所述计算机程序82可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述可读存储介质81中，并由所述处理器80执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述基于梯度域的纹理映射终端8中的执行过程。
所述基于梯度域的纹理映射终端8可包括，但不仅限于，处理器80、可读存储介质81。本领域技术人员可以理解，图16仅仅是基于梯度域的纹理映射终端8的示例，并不构成对基于梯度域的纹理映射终端8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于梯度域的纹理映射终端还可以包括电源管理模块、运算处理模块、输入输出设备、网络接入设备、总线等。
所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述可读存储介质81可以是所述基于梯度域的纹理映射终端8的内部存储单元，例如基于梯度域的纹理映射终端8的硬盘或内存。所述可读存储介质81也可以是所述基于梯度域的纹理映射终端8的外部存储设备，例如所述基于梯度域的纹理映射终端8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述可读存储介质81还可以既包括所述基于梯度域的纹理映射终端8的内部存储单元也包括外部存储设备。所述可读存储介质81用于存储所述计算机程序以及所述基于梯度域的纹理映射终端所需的其他程序和数据。所述可读存储介质81还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

Claims (10)

1.一种基于梯度域的纹理映射方法，其特征在于，包括以下步骤：
步骤1，获取三维模型在对应纹理图视角下的深度图，并计算生成所述深度图对应的亮度图；
步骤2，计算所述纹理图的第一梯度图以及所述亮度图的第二梯度图；
步骤3，选择预设优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿；所述预设优化算法包括基于梯度不变假设的优化算法、基于显著点的优化算法、基于显著点带内参不带畸变的优化算法以及基于显著点带内参及畸变的优化算法中的至少一个。
2.根据权利要求1所述基于梯度域的纹理映射方法，其特征在于，选择基于梯度不变假设的优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿，具体包括以下步骤：
S301，计算所述第一梯度图It_grad在x、y方向的梯度dx和dy，并给定相机内参K0和位姿初始值ξ0＝I,I为单位阵；
S302，基于梯度不变假设建立所述纹理图和所述亮度图的梯度误差函数如下：
e＝Id_grad(P1)-It_grad(P2)，
其中，P1和P2为空间点P的两个像点，
Figure FDA0002347913320000011
Figure FDA0002347913320000012
(u1,v1,1)与(u2,v2,1)分别为P1和P2点在各自图像中的图像齐次坐标，Z1为空间点P的深度，Z2为空间点P通过ξ位姿变换得到的深度，It_grad为第一梯度图，Id_grad为第二梯度图，K为相机内参；
S303，对于第m次高斯牛顿迭代，通过当前位姿和K0将第二梯度图对应的点云反投到所述纹理图上，并对所述梯度误差函数关于位姿的第一雅克比矩阵J1和第一残差r1进行求解如下：
Figure FDA0002347913320000021
Figure FDA0002347913320000022
其中X、Y、Z为空间点P扰动之后点q的坐标，fx和fy为相机内参；
S304，根据所述第一雅克比矩阵J1和所述第一残差r1计算本次迭代的位姿估计ξm，具体计算公式为：J1 TJ1ξ＝-J1r1；
S305，判断Δξm是否小于预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新对应的参数向量ξm+1＝ξm+Δξm，并返回步骤S303，继续迭代优化过程。
3.根据权利要求1所述基于梯度域的纹理映射方法，其特征在于，选择基于显著点的优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿，具体包括以下步骤：
S306，获取第二梯度图上任一显著点所对应的空间三维显著点W，同时给定相机内参K0和位姿初始值ξ0＝I,I为单位阵；
S307，将所述空间三维显著点W经过当前位姿变换生成q，再经过相机参数K0投影到当前纹理图坐标系下得到显著点u(x,y)，然后在纹理图的第一梯度图上找到对应的匹配点u1(x1,y1)，建立显著点u(x,y)与匹配点u1(x1,y1)的距离误差函数如下：
Figure FDA0002347913320000031
S308，对于第m次高斯牛顿迭代，对所述距离误差函数关于位姿的第二雅克比矩阵J2和第二残差r2进行求解如下：
Figure FDA0002347913320000032
Figure FDA0002347913320000033
其中X、Y、Z为q点的坐标，fx和fy为相机内参；
S309，根据所述第二雅克比矩阵J2和所述第二残差r2计算本次迭代的位姿估计ξm，具体计算公式为：J2 TJ2ξ＝-J2r2；
S310，判断Δξm是否小于预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新对应的参数向量ξm+1＝ξm+Δξm,并返回步骤S308，继续迭代优化过程。
4.根据权利要求3所述基于梯度域的纹理映射方法，其特征在于，选择基于显著点带内参不带畸变的优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿，具体包括以下步骤：
S311，获取第二梯度图上任一显著点所对应的空间三维显著点W，同时给定相机初始内参K0和位姿初始值ξ0＝I,I为单位阵或步骤S310生成的最优位姿；
S312，将所述空间三维显著点W经过当前位姿变换生成q，再经过当前相机参数投影到当前纹理图坐标系下得到显著点u(x,y)，然后在纹理图的第一梯度图上找到对应的匹配点u1(x1,y1)，建立显著点u(x,y)与匹配点u1(x1,y1)的距离误差函数如下：
Figure FDA0002347913320000041
S313，对于第m次高斯牛顿迭代，对所述距离误差函数关于位姿和相机内参的第三雅克比矩阵J3和第三残差r3进行求解如下：
Figure FDA0002347913320000042
Figure FDA0002347913320000043
其中
Figure FDA0002347913320000044
X、Y、Z为q点的坐标，fx、fy、cx和cy为相机内参；
S314，根据所述第三雅克比矩阵J3和所述第三残差r3计算本次迭代的位姿估计ξm，具体计算公式为：J3 TJ3ξ＝-J3r3；
S315，判断Δξm和ΔKm是否均小于各自对应的预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新参数向量ξm+1＝ξm+Δξm以及Km+1＝Km+ΔKm，并返回步骤S313，继续迭代优化过程。
5.根据权利要求4所述基于梯度域的纹理映射方法，其特征在于，选择基于显著点带内参及畸变的优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿，具体包括以下步骤：
S316，获取第二梯度图上任一显著点所对应的空间三维显著点W，同时给定相机初始参数K0和位姿初始值ξ0＝I,I为单位阵或步骤S315生成的最优位姿；
S317，将所述空间三维显著点W经过当前位姿变换生成q，再经过当前相机参数投影到当前纹理图坐标系下得到显著点u(x,y)，然后在纹理图的第一梯度图上找到对应的匹配点u1(x1,y1)，建立显著点u(x,y)与匹配点u1(x1,y1)的距离误差函数如下：
Figure FDA0002347913320000051
S318，对于第m次高斯牛顿迭代，对所述距离误差函数关于位姿、相机内参和畸变的第四雅克比矩阵J4和第四残差r4进行求解如下：
Figure FDA0002347913320000052
Figure FDA0002347913320000053
其中，
x＝fx((1+k1*r+k2*r2+k3*r3)*x0+2*p1*x0*y0+p2*(r+2*x0 2))+cx，
y＝fy((1+k1*r+k2*r2+k3*r3)*y0+2*p1*(r+2*y0 2)+2*p2*x0*y0)+cy，
x0＝X/Z,y0＝Y/Z,r＝x0 2+y0 2，X、Y、Z为q点的坐标，fx、fy、cx和cy为相机内参，k1、k2、k3、p1和p2为畸变参数；
S319，根据所述第四雅克比矩阵J4和所述第四残差r4计算本次迭代的位姿估计ξm，具体计算公式为：J4 TJ4ξ＝-J4r4；
S320，判断Δξm、ΔKm和畸变增量是否均小于各自对应的预设阈值，若是，则停止迭代，并将本次迭代的位姿估计ξm输出为最优位姿，若否，则更新参数向量ξm+1＝ξm+Δξm、Km+1＝Km+ΔKm和畸变，并返回步骤S318，继续迭代优化过程。
6.根据权利要求1-5任一所述基于梯度域的纹理映射方法，其特征在于，生成三维模型在对应纹理图视角下的深度图，并获取所述深度图对应的亮度图像，具体包括以下步骤：
S101，将三维模型反投到纹理图对应的视角下，生成所述三维模型的深度图以及所述深度图对应的点云信息和法线信息；
S102，采用预设公式计算深度图对应的亮度图：
Id＝cos(θ)*Ic+Im，
其中θ为像素点对应光线方向
Figure FDA0002347913320000061
与法线方向
Figure FDA0002347913320000062
的夹角，
Figure FDA0002347913320000063
Ic为缩放系数，Im亮度参考值。
7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-6任一项所述基于梯度域的纹理映射方法。
8.一种基于梯度域的纹理映射终端，其特征在于，包括权利要求7所述的计算机可读存储介质和处理器，所述处理器执行所述计算机可读存储介质上的计算机程序时实现如权利要求1-6任一项所述基于梯度域的纹理映射方法的步骤。
9.一种基于梯度域的纹理映射装置，其特征在于，包括亮度图计算模块、梯度计算模块和优化模块，
所述亮度图计算模块用于获取三维模型在对应纹理图视角下的深度图，并计算生成所述深度图对应的亮度图；
所述梯度计算模块用于计算所述纹理图的第一梯度图以及所述亮度图的第二梯度图；
所述优化模块用于选择预设优化算法建立所述纹理图和所述深度图之间位姿估计的误差函数，并根据所述第一梯度图和所述第二梯度图对所述位姿估计进行高斯牛顿迭代优化，求解所述误差函数最小值对应的最优位姿；所述预设优化算法包括基于梯度不变假设的优化算法、基于显著点的优化算法、基于显著点带内参不带畸变的优化算法以及基于显著点带内参及畸变的优化算法中的至少一个。
10.根据权利要求9所述基于梯度域的纹理映射装置，其特征在于，所述梯度计算模块具体用于计算第一梯度图
Figure FDA0002347913320000071
以及第二梯度图
Figure FDA0002347913320000072
其中It_gradx、It_grady为纹理图在x，y方向上的梯度，Id_gradx、Id_grady为亮度图在在x，y方向上的梯度。
CN201911402919.2A 2019-12-31 2019-12-31 一种基于梯度域的纹理映射方法、介质、终端和装置 Active CN111553969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911402919.2A CN111553969B (zh) 2019-12-31 2019-12-31 一种基于梯度域的纹理映射方法、介质、终端和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911402919.2A CN111553969B (zh) 2019-12-31 2019-12-31 一种基于梯度域的纹理映射方法、介质、终端和装置

Publications (2)

Publication Number Publication Date
CN111553969A true CN111553969A (zh) 2020-08-18
CN111553969B CN111553969B (zh) 2023-09-05

Family

ID=72005620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911402919.2A Active CN111553969B (zh) 2019-12-31 2019-12-31 一种基于梯度域的纹理映射方法、介质、终端和装置

Country Status (1)

Country Link
CN (1) CN111553969B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232274A (zh) * 2020-11-03 2021-01-15 支付宝(杭州)信息技术有限公司 深度图像模型训练方法及装置
CN113887408A (zh) * 2021-09-30 2022-01-04 平安银行股份有限公司 活化人脸视频的检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005583A (en) * 1997-04-30 1999-12-21 Hewlett-Packard Company Precise gradient calculation system and method for a texture mapping system of a computer graphics system
CN107481236A (zh) * 2017-08-28 2017-12-15 方玉明 一种屏幕图像的质量评价方法
CN109118578A (zh) * 2018-08-01 2019-01-01 浙江大学 一种层次化的多视图三维重建纹理映射方法
WO2019164497A1 (en) * 2018-02-23 2019-08-29 Sony Mobile Communications Inc. Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005583A (en) * 1997-04-30 1999-12-21 Hewlett-Packard Company Precise gradient calculation system and method for a texture mapping system of a computer graphics system
CN107481236A (zh) * 2017-08-28 2017-12-15 方玉明 一种屏幕图像的质量评价方法
WO2019164497A1 (en) * 2018-02-23 2019-08-29 Sony Mobile Communications Inc. Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
CN109118578A (zh) * 2018-08-01 2019-01-01 浙江大学 一种层次化的多视图三维重建纹理映射方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232274A (zh) * 2020-11-03 2021-01-15 支付宝(杭州)信息技术有限公司 深度图像模型训练方法及装置
CN113887408A (zh) * 2021-09-30 2022-01-04 平安银行股份有限公司 活化人脸视频的检测方法、装置、设备及存储介质
CN113887408B (zh) * 2021-09-30 2024-04-23 平安银行股份有限公司 活化人脸视频的检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111553969B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
EP3614340B1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
WO2021115071A1 (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
Lourenço et al. sRD-SIFT: keypoint detection and matching in images with radial distortion
JP6057298B2 (ja) 迅速な３ｄモデリング
CN111127422A (zh) 图像标注方法、装置、系统及主机
CN110458932B (zh) 图像处理方法、装置、系统、存储介质和图像扫描设备
US20140125772A1 (en) Image processing apparatus and method, image processing system and program
US20120127171A1 (en) Techniques for rapid stereo reconstruction from images
US9437034B1 (en) Multiview texturing for three-dimensional models
CN111401266B (zh) 绘本角点定位的方法、设备、计算机设备和可读存储介质
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
US9147279B1 (en) Systems and methods for merging textures
CN113516781A (zh) 一种三维动态跟踪方法、装置、电子设备和存储介质
US20170064284A1 (en) Producing three-dimensional representation based on images of a person
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
CN113689578A (zh) 一种人体数据集生成方法及装置
CN113140036A (zh) 一种三维建模方法、装置、设备及存储介质
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
CN111553969B (zh) 一种基于梯度域的纹理映射方法、介质、终端和装置
Zhang et al. A line scan camera-based structure from motion for high-resolution 3D reconstruction
CN111681186A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN113793387A (zh) 单目散斑结构光系统的标定方法、装置及终端
CN115830135A (zh) 一种图像处理方法、装置及电子设备
Shi et al. A new method of camera pose estimation using 2D–3D corner correspondence
CN111462245A (zh) 一种基于矩形结构的变焦相机姿态标定方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant