CN114998407A - 基于傅里叶变换的数字图像三维纹理重建方法 - Google Patents

基于傅里叶变换的数字图像三维纹理重建方法 Download PDF

Info

Publication number
CN114998407A
CN114998407A CN202210913156.3A CN202210913156A CN114998407A CN 114998407 A CN114998407 A CN 114998407A CN 202210913156 A CN202210913156 A CN 202210913156A CN 114998407 A CN114998407 A CN 114998407A
Authority
CN
China
Prior art keywords
image
frequency domain
domain information
light
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210913156.3A
Other languages
English (en)
Other versions
CN114998407B (zh
Inventor
谈忠坤
李刚
易鑫
卢旭阳
宋小金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Huacheng Testing Technology Co ltd
Original Assignee
Hunan Huacheng Testing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Huacheng Testing Technology Co ltd filed Critical Hunan Huacheng Testing Technology Co ltd
Priority to CN202210913156.3A priority Critical patent/CN114998407B/zh
Publication of CN114998407A publication Critical patent/CN114998407A/zh
Application granted granted Critical
Publication of CN114998407B publication Critical patent/CN114998407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于傅里叶变换的数字图像三维纹理重建方法，包括如下步骤：将已知拍摄方向下的图像分别按照二维傅里叶展开，得到在变换后的图像频域信息，相机出发的光线经过被测对象时，光线路径上的任意一点形成一个图像单元，将图像中像素点看作光线路径上所有图像单元合成的，构建图像频域信息预测模型，将已知拍摄方向下图像频域信息代入所述图像信息预测模型进行训练，然后将训练完成后的图像信息预测模型用于图像频域信息的预测，将预测得到的图像频域信息进行二维傅里叶逆变化，得到图像在任意拍摄角度下的像素值，完成三维纹理重建。本发明中同一个位置的纹理特征会随着视角的变化而变化，更加符合真实世界在图像中不同视角的反应。

Description

基于傅里叶变换的数字图像三维纹理重建方法
技术领域
本发明涉及数字图像处理技术领域，具体涉及一种基于傅里叶变换的数字图像三维纹理重建方法。
背景技术
数字图像三维重建是指根据单视图或者多视图的图像重建三维信息的过程，在桥梁、建筑、地理坐标、数字化城市、元宇宙等领域中都有广泛的应用。
相关技术中，图像三维重构主要是通过提取图像特征点，然后通过特征点匹配，从而通过三角关系恢复图像中的三维数据，在此基础上进行纹理贴图。该方法在物体的侧向、边界等位置常常出现较大的误差，会造成边界位置不清晰，纹理变形等。特别是对于纹理特征较弱的区域存在匹配失败的情况。因此，实有必要提供一种基于傅里叶变换的数字图像三维纹理重建方法解决上述问题。
发明内容
本发明要解决的技术问题是在于提供一种基于傅里叶变换的数字图像三维纹理重建方法，其纹理信息是所在光线上的信息叠加，同一个位置的纹理特征会随着视角的变化而变化，更加符合真实世界在图像中不同视角的反应。
为实现上述目的，本发明的技术方案为：
一种基于傅里叶变换的数字图像三维纹理重建方法，包括如下步骤：
S1：通过相机拍摄被测对象在已知拍摄方向
Figure 433751DEST_PATH_IMAGE001
下的图像，计算得到被测对象在已知拍摄方向
Figure 611922DEST_PATH_IMAGE001
下的位姿信息及图像信息；
S2：以被测对象在已知拍摄方向
Figure 359298DEST_PATH_IMAGE001
下的图像为研究对象，将得到的图像分别按照二维傅里叶展开，得到变换后的图像频域信息
Figure 976224DEST_PATH_IMAGE002
；
S3：相机出发的光线经过被测对象时，光线路径上的任意一点形成一个图像单元，将图像中像素点看作光线路径上所有图像单元合成的，构建图像频域信息预测模型；
S4：将光线沿光线路径等间距离散为N个点，表示为
Figure 250080DEST_PATH_IMAGE003
、
Figure 661470DEST_PATH_IMAGE004
…
Figure 896142DEST_PATH_IMAGE005
…
Figure 316759DEST_PATH_IMAGE006
，将所述图像频域信息预测模型离散化，表示为：
Figure 195853DEST_PATH_IMAGE007
式中，
Figure 840461DEST_PATH_IMAGE008
表示整个光线路径上叠加的图像频域信息，
Figure 500113DEST_PATH_IMAGE009
表示光线路径上的第
Figure 724421DEST_PATH_IMAGE009
个点，
Figure 713148DEST_PATH_IMAGE010
表示在
Figure 794237DEST_PATH_IMAGE005
位置处得到的图像单元的透明度；
Figure 675605DEST_PATH_IMAGE011
表示在
Figure 375708DEST_PATH_IMAGE005
位置处得到的图像单元的图像频域信息，
Figure 291711DEST_PATH_IMAGE012
表示光线在
Figure 543701DEST_PATH_IMAGE005
位置处的模，
Figure 177945DEST_PATH_IMAGE013
表示从
Figure 665427DEST_PATH_IMAGE003
到
Figure 435937DEST_PATH_IMAGE014
得到的图像单元的透明度叠加的指数形式，
Figure 858828DEST_PATH_IMAGE013
的计算过程为：
Figure 386892DEST_PATH_IMAGE015
式中，
Figure 491114DEST_PATH_IMAGE016
表示在
Figure 444027DEST_PATH_IMAGE017
位置处得到的图像单元的透明度，
Figure 975502DEST_PATH_IMAGE018
表示光线在
Figure 505710DEST_PATH_IMAGE017
位置处的模，
Figure 148044DEST_PATH_IMAGE019
表示光线路径上的第
Figure 955463DEST_PATH_IMAGE019
个点；
S5：将被测对象沿世界坐标系的
Figure 657839DEST_PATH_IMAGE020
、
Figure 426075DEST_PATH_IMAGE021
、
Figure 872100DEST_PATH_IMAGE022
三个方向等间距进行离散，利用被测对象离散点的位置信息，采用三线性插值的方法求解得到
Figure 799605DEST_PATH_IMAGE005
的位置信息，得到光线在
Figure 672883DEST_PATH_IMAGE005
位置处的模
Figure 912103DEST_PATH_IMAGE012
；
S6：将已知拍摄方向
Figure 161819DEST_PATH_IMAGE001
下的图像频域信息代入离散化的图像频域信息预测模型中，采用梯度下降算法对离散化的图像频域信息预测模型进行多次训练，得到在
Figure 943830DEST_PATH_IMAGE005
位置处的图像单元的透明度
Figure 988010DEST_PATH_IMAGE010
及图像频域信息
Figure 465258DEST_PATH_IMAGE011
，完成模型的训练；
S7：针对任意被测对象的数字图像三维纹理重建方法，通过所述图像频域信息预测模型输出预测的图像频域信息
Figure 253086DEST_PATH_IMAGE008
，再通过二维傅里叶逆变换，得到图像在拍摄方向
Figure 889604DEST_PATH_IMAGE023
下的像素值
Figure 104684DEST_PATH_IMAGE024
，完成三维纹理重建。
优选的，步骤S2中，变换后的图像频域信息
Figure 318497DEST_PATH_IMAGE002
表示为：
Figure 706753DEST_PATH_IMAGE025
式中，
Figure 401039DEST_PATH_IMAGE026
是第一个大于等于图像宽度的2的n次方数；
Figure 724704DEST_PATH_IMAGE027
是第一个大于等于图像高度的2的n次方数；
Figure 238862DEST_PATH_IMAGE028
，表示像素点在像素坐标系中的行；
Figure 430809DEST_PATH_IMAGE029
，表示像素点在像素坐标系中的列，x表示像素点在图像坐标系中的行；y表示像素点在图像坐标系中的列，
Figure 979602DEST_PATH_IMAGE030
表示像素点的像素值；j表示虚数单位。
优选的，步骤S3中，图像频域信息预测模型表示为：
Figure 723436DEST_PATH_IMAGE031
Figure 724890DEST_PATH_IMAGE032
式中，
Figure 720528DEST_PATH_IMAGE033
表示光线路径
Figure 123828DEST_PATH_IMAGE034
上叠加的图像频域信息，
Figure 789295DEST_PATH_IMAGE003
表示光线路径的起始点，
Figure 278045DEST_PATH_IMAGE006
表示光线路径的终止点，
Figure 77374DEST_PATH_IMAGE035
表示光线路径
Figure 335180DEST_PATH_IMAGE034
上图像单元透明度叠加的指数表示形式，
Figure 420817DEST_PATH_IMAGE036
表示以相机中心为原点
Figure 396863DEST_PATH_IMAGE037
的矢量，
Figure 734303DEST_PATH_IMAGE038
，
Figure 846616DEST_PATH_IMAGE039
Figure 119465DEST_PATH_IMAGE040
，
Figure 113966DEST_PATH_IMAGE041
表示光线的单位矢量，
Figure 192781DEST_PATH_IMAGE042
为相机的方向信息，
Figure 346550DEST_PATH_IMAGE043
表示光线绕相机坐标系
Figure 852618DEST_PATH_IMAGE044
轴旋转的角度，
Figure 599994DEST_PATH_IMAGE045
表示光线绕相机坐标系
Figure 482500DEST_PATH_IMAGE046
轴旋转的角度；
Figure 241508DEST_PATH_IMAGE047
表示在
Figure 184056DEST_PATH_IMAGE048
位置处图像单元的透明度，
Figure 356412DEST_PATH_IMAGE049
表示
Figure 573766DEST_PATH_IMAGE048
位置处图像单元的图像频域信息。
优选的，所述步骤S5中，三线性插值的过程为：
Figure 719706DEST_PATH_IMAGE005
处于8个被测对象离散点围成的最小立方体
Figure 567577DEST_PATH_IMAGE050
中，利用立方体
Figure 289545DEST_PATH_IMAGE051
中的八个顶点坐标b1、b2、b3、b4、b5、b6、b7、b8进行三线性插值，得到
Figure 248274DEST_PATH_IMAGE005
在世界坐标系中的坐标，然后将
Figure 247454DEST_PATH_IMAGE005
在世界坐标系中的坐标转换成相机坐标系中的坐标，计算得到光线在光线路径上任意点
Figure 646DEST_PATH_IMAGE005
位置处的模
Figure 209911DEST_PATH_IMAGE012
；
三线性插值的具体计算过程为：
Figure 972330DEST_PATH_IMAGE052
Figure 75284DEST_PATH_IMAGE053
Figure 264957DEST_PATH_IMAGE054
Figure 695939DEST_PATH_IMAGE055
式中，
Figure 996470DEST_PATH_IMAGE056
为
Figure 970242DEST_PATH_IMAGE005
的插值坐标，表示为
Figure 330816DEST_PATH_IMAGE057
，
Figure 249094DEST_PATH_IMAGE058
为最小立方体
Figure 353316DEST_PATH_IMAGE051
角点的坐标，表示为
Figure 430862DEST_PATH_IMAGE059
，
Figure 962338DEST_PATH_IMAGE060
、
Figure 367911DEST_PATH_IMAGE061
、
Figure 10245DEST_PATH_IMAGE062
为中间计算参数。
优选的，在模型的训练过程中，优化的目标损失函数
Figure 693031DEST_PATH_IMAGE063
表示为：
Figure 192145DEST_PATH_IMAGE064
式中，
Figure 22698DEST_PATH_IMAGE065
表示预测的图像频域信息和实际图像频域信息的均方根，
Figure 655673DEST_PATH_IMAGE066
表示总变分正则化，
Figure 255282DEST_PATH_IMAGE067
表示超参，控制正则化项
Figure 190877DEST_PATH_IMAGE066
的大小。
与相关技术相比，本发明的有益效果在于：
传统方法得到的模型数据是一个固定值，所建立的三维模型在不同视角下看，其纹理是固定的，这与真实情况不相符，本发明所提出的三维纹理重建，其纹理信息是所在光线上的信息叠加，同一个位置的纹理特征会随着视角的变化而变化，更加符合真实世界在图像中不同视角的反应。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1为被测对象的拍摄示意图；
图2为被测对象离散化后的示意图；
图3为光线从离散化后的示意图；
图4为光线于被测对象相互计算的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合本申请的附图对本发明的具体实施方式作进一步的说明。
请结合参阅图1-4，本发明提供一种基于傅里叶变换的数字图像三维纹理重建方法，包括如下步骤：
S1：通过相机拍摄被测对象在已知拍摄方向
Figure 508726DEST_PATH_IMAGE001
下的图像，计算得到被测对象在已知拍摄方向
Figure 696125DEST_PATH_IMAGE001
下的位姿信息及图像信息。
被测对象在已知拍摄方向
Figure 150240DEST_PATH_IMAGE001
下的位姿信息及图像信息的计算方法采用本领域的常规技术。计算得到的位姿信息包括被测对象在世界坐标系、图像坐标系及像素坐标系中的位置坐标；图像信息包括图像中像素点的像素值
Figure 256736DEST_PATH_IMAGE068
。
S2：以被测对象在已知拍摄方向
Figure 61881DEST_PATH_IMAGE001
下的图像为研究对象，将得到的图像分别按照二维傅里叶展开，得到变换后的图像频域信息
Figure 36659DEST_PATH_IMAGE002
：
Figure 610860DEST_PATH_IMAGE069
式中，
Figure 888257DEST_PATH_IMAGE026
是第一个大于等于图像宽度的2的n次方数；
Figure 180698DEST_PATH_IMAGE027
是第一个大于等于图像高度的2的n次方数；
Figure 444321DEST_PATH_IMAGE028
，表示像素点在像素坐标系中的行；
Figure 873028DEST_PATH_IMAGE029
，表示像素点在像素坐标系中的列，x表示像素点在图像坐标系中的行；y表示像素点在图像坐标系中的列，
Figure 586906DEST_PATH_IMAGE030
表示像素点的像素值；j表示虚数单位。
S3：相机出发的光线经过被测对象时，光线路径上的任意一点形成一个图像单元，将图像中像素点看作光线路径上所有图像单元合成的，构建图像频域信息预测模型：
Figure 22435DEST_PATH_IMAGE070
Figure 417645DEST_PATH_IMAGE032
式中，
Figure 966438DEST_PATH_IMAGE033
表示光线路径
Figure 585638DEST_PATH_IMAGE034
上叠加的图像频域信息，
Figure 259196DEST_PATH_IMAGE003
表示光线路径的起始点，
Figure 192517DEST_PATH_IMAGE006
表示光线路径的终止点，
Figure 658133DEST_PATH_IMAGE035
表示光线路径
Figure 385918DEST_PATH_IMAGE034
上图像单元透明度叠加的指数表示形式，
Figure 61619DEST_PATH_IMAGE036
表示以相机中心为原点
Figure 533051DEST_PATH_IMAGE037
的矢量，
Figure 853174DEST_PATH_IMAGE038
，
Figure 17439DEST_PATH_IMAGE039
Figure 931169DEST_PATH_IMAGE071
，
Figure 940713DEST_PATH_IMAGE072
表示光线的单位矢量，
Figure 380922DEST_PATH_IMAGE042
为相机的方向信息，
Figure 450509DEST_PATH_IMAGE043
表示光线绕相机坐标系
Figure 100802DEST_PATH_IMAGE044
轴旋转的角度，
Figure 914037DEST_PATH_IMAGE045
表示光线绕相机坐标系
Figure 208752DEST_PATH_IMAGE046
轴旋转的角度；
Figure 714820DEST_PATH_IMAGE047
表示在
Figure 337562DEST_PATH_IMAGE048
位置处图像单元的透明度，
Figure 954488DEST_PATH_IMAGE049
表示
Figure 103710DEST_PATH_IMAGE048
位置处图像单元的图像频域信息。
S4：将光线沿光线路径等间距离散为N个点，表示为
Figure 780679DEST_PATH_IMAGE003
、
Figure 145844DEST_PATH_IMAGE004
…
Figure 97620DEST_PATH_IMAGE005
…
Figure 304610DEST_PATH_IMAGE006
，将所述图像频域信息预测模型离散化，表示为：
Figure 418060DEST_PATH_IMAGE007
式中，
Figure 749815DEST_PATH_IMAGE008
表示整个光线路径上叠加的图像频域信息，
Figure 770861DEST_PATH_IMAGE009
表示光线路径上的第
Figure 566778DEST_PATH_IMAGE009
个点，
Figure 772501DEST_PATH_IMAGE010
表示在
Figure 919448DEST_PATH_IMAGE005
位置处得到的图像单元的透明度；
Figure 744185DEST_PATH_IMAGE011
表示在
Figure 660188DEST_PATH_IMAGE005
位置处得到的图像单元的图像频域信息，
Figure 521965DEST_PATH_IMAGE012
表示光线在
Figure 156209DEST_PATH_IMAGE005
位置处的模，
Figure 519057DEST_PATH_IMAGE013
表示从
Figure 555146DEST_PATH_IMAGE003
到
Figure 837092DEST_PATH_IMAGE014
得到的图像单元的透明度叠加的指数形式，
Figure 958631DEST_PATH_IMAGE013
的计算过程为：
Figure 125170DEST_PATH_IMAGE015
式中，
Figure 750187DEST_PATH_IMAGE016
表示在
Figure 219345DEST_PATH_IMAGE017
位置处得到的图像单元的透明度，
Figure 562602DEST_PATH_IMAGE018
表示光线在
Figure 532832DEST_PATH_IMAGE017
位置处的模，
Figure 277934DEST_PATH_IMAGE019
表示光线路径上的第
Figure 167262DEST_PATH_IMAGE019
个点。
光线经过被测对象时，在光线路径上的任意一点均会形成一个具有一定透明度的图像单元，将光线路径上所有的图像单元进行叠加，即可得到该条光线所对应的像素点，因此将光线路径上所有图像单元的频域信息进行叠加，即可得到像素点的频域信息。
请参阅图3，
Figure 997814DEST_PATH_IMAGE003
、
Figure 506156DEST_PATH_IMAGE004
…
Figure 105765DEST_PATH_IMAGE005
…
Figure 916726DEST_PATH_IMAGE006
表示光线的离散点，其中，
Figure 234575DEST_PATH_IMAGE003
为光线的起始点，
Figure 281028DEST_PATH_IMAGE006
为光线路径的终止点，
Figure 723DEST_PATH_IMAGE005
表示光线路径上的任意点。
S5：将被测对象沿世界坐标系的
Figure 966273DEST_PATH_IMAGE020
、
Figure 833735DEST_PATH_IMAGE021
、
Figure 621563DEST_PATH_IMAGE022
三个方向等间距离散为多个单点的离散模型，利用被测对象中离散点的位置信息，采用三线性插值的方法求解得到光线路径上光线路径上任意点
Figure 133447DEST_PATH_IMAGE005
的位置信息，得到光线在光线路径上任意点
Figure 348527DEST_PATH_IMAGE005
位置处的模
Figure 437706DEST_PATH_IMAGE012
。
请参阅图4，图4中，实心点表示被测对象离散化的点，空心点表示光线路径上离散化的点，当实心点与空心点重合时，直接以实心点的位置信息作为空心点的位置信息；实心点与空心点不重合时，空心点处于8个实心点围成的最小立方体
Figure 29224DEST_PATH_IMAGE050
中，利用立方体
Figure 644882DEST_PATH_IMAGE051
中的八个顶点坐标b1、b2、b3、b4、b5、b6、b7、b8进行三线性插值，即可得到
Figure 30864DEST_PATH_IMAGE005
在世界坐标系中的坐标，完成位置确定。然后将
Figure 872918DEST_PATH_IMAGE005
在世界坐标系中的坐标转换成相机坐标系中的坐标，即可得到光线在光线路径上任意点
Figure 2548DEST_PATH_IMAGE005
位置处的模
Figure 223445DEST_PATH_IMAGE012
，
三线性插值的具体计算过程为：
Figure 45908DEST_PATH_IMAGE052
Figure 109679DEST_PATH_IMAGE053
Figure 43000DEST_PATH_IMAGE054
Figure 367671DEST_PATH_IMAGE073
式中，
Figure 361035DEST_PATH_IMAGE056
为插值点
Figure 912102DEST_PATH_IMAGE005
的坐标，表示为
Figure 383534DEST_PATH_IMAGE057
，
Figure 579023DEST_PATH_IMAGE058
为方体
Figure 540026DEST_PATH_IMAGE051
角点的坐标，表示为
Figure 250493DEST_PATH_IMAGE059
，
Figure 712567DEST_PATH_IMAGE060
、
Figure 90459DEST_PATH_IMAGE061
、
Figure 222363DEST_PATH_IMAGE062
表示中间计算参数。
S6：将已知拍摄方向
Figure 685705DEST_PATH_IMAGE001
下的图像频域信息代入离散化的图像频域信息预测模型中，采用梯度下降算法对离散化的图像频域信息预测模型进行多次训练，得到在光线路径上任意点
Figure 436624DEST_PATH_IMAGE005
位置处的图像单元的透明度
Figure 669022DEST_PATH_IMAGE010
及图像频域信息
Figure 971827DEST_PATH_IMAGE011
，完成模型的训练。
在模型的训练过程中，将训练的数据分为训练集和测试集，利用训练集对模型进行训练，用测试集测试模型的性能，以预测的图像频域信息与实际的图像频域信息的平方差最小为优化目标，完成模型参数的计算。在模型的训练过程中，优化的目标损失函数表示为：
Figure 922466DEST_PATH_IMAGE064
式中，
Figure 720483DEST_PATH_IMAGE065
表示预测的图像频域信息和实际图像频域信息的均方根，
Figure 807388DEST_PATH_IMAGE066
表示总变分正则化，
Figure 546674DEST_PATH_IMAGE067
表示超参，控制正则化项
Figure 719029DEST_PATH_IMAGE066
的大小。
S7：针对任意被测对象的数字图像三维纹理重建方法，通过所述图像频域信息预测模型输出预测的图像频域信息
Figure 811750DEST_PATH_IMAGE008
，再通过二维傅里叶逆变换，得到图像在拍摄方向
Figure 18741DEST_PATH_IMAGE074
上的像素值
Figure 663349DEST_PATH_IMAGE024
：
Figure 100002_DEST_PATH_IMAGE075
。
与相关技术相比，本发明的有益效果在于：
传统方法得到的模型数据是一个固定值，所建立的三维模型在不同视角下看，其纹理是固定的，这与真实情况不相符，本发明所提出的三维纹理重建，其纹理信息是所在光线上的信息叠加，同一个位置的纹理特征会随着视角的变化而变化，更加符合真实世界在图像中不同视角的反应。
以上对本发明的实施方式作出详细说明，但本发明不局限于所描述的实施方式。对本领域的技术人员而言，在不脱离本发明的原理和精神的情况下对这些实施例进行的多种变化、修改、替换和变型均仍落入在本发明的保护范围之内。

Claims (5)

1.一种基于傅里叶变换的数字图像三维纹理重建方法，其特征在于，包括如下步骤：
S1：通过相机拍摄被测对象在已知拍摄方向
Figure DEST_PATH_IMAGE001
下的图像，计算得到被测对象在已知拍摄方向
Figure DEST_PATH_IMAGE002
下的位姿信息及图像信息；
S2：以被测对象在已知拍摄方向
Figure 265225DEST_PATH_IMAGE001
下的图像为研究对象，将得到的图像分别按照二维傅里叶展开，得到变换后的图像频域信息
Figure DEST_PATH_IMAGE003
；
S3：相机出发的光线经过被测对象时，光线路径上的任意一点形成一个图像单元，将图像中像素点看作光线路径上所有图像单元合成的，构建图像频域信息预测模型；
S4：将光线沿光线路径等间距离散为N个点，表示为
Figure DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
…
Figure DEST_PATH_IMAGE006
…
Figure DEST_PATH_IMAGE007
，将所述图像频域信息预测模型离散化，表示为：
Figure DEST_PATH_IMAGE008
式中，
Figure DEST_PATH_IMAGE009
表示整个光线路径上叠加的图像频域信息，
Figure DEST_PATH_IMAGE010
表示光线路径上的第
Figure 962791DEST_PATH_IMAGE010
个点，
Figure DEST_PATH_IMAGE011
表示在
Figure DEST_PATH_IMAGE012
位置处得到的图像单元的透明度；
Figure DEST_PATH_IMAGE013
表示在
Figure 945791DEST_PATH_IMAGE012
位置处得到的图像单元的图像频域信息，
Figure DEST_PATH_IMAGE014
表示光线在
Figure 996792DEST_PATH_IMAGE012
位置处的模，
Figure DEST_PATH_IMAGE015
表示从
Figure DEST_PATH_IMAGE016
到
Figure DEST_PATH_IMAGE017
得到的图像单元的透明度叠加的指数形式，
Figure DEST_PATH_IMAGE018
的计算过程为：
Figure DEST_PATH_IMAGE019
式中，
Figure DEST_PATH_IMAGE020
表示在
Figure DEST_PATH_IMAGE021
位置处得到的图像单元的透明度，
Figure DEST_PATH_IMAGE022
表示光线在
Figure 201377DEST_PATH_IMAGE021
位置处的模，
Figure DEST_PATH_IMAGE023
表示光线路径上的第
Figure 695944DEST_PATH_IMAGE023
个点；
S5：将被测对象沿世界坐标系的
Figure DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
、
Figure DEST_PATH_IMAGE026
三个方向等间距进行离散，利用被测对象离散点的位置信息，采用三线性插值的方法求解得到
Figure 149928DEST_PATH_IMAGE012
的位置信息，得到光线在
Figure 614407DEST_PATH_IMAGE012
位置处的模
Figure 548865DEST_PATH_IMAGE014
；
S6：将已知拍摄方向
Figure DEST_PATH_IMAGE027
下的图像频域信息代入离散化的图像频域信息预测模型中，采用梯度下降算法对离散化的图像频域信息预测模型进行多次训练，得到在
Figure DEST_PATH_IMAGE028
位置处的图像单元的透明度
Figure 214333DEST_PATH_IMAGE011
及图像频域信息
Figure 234241DEST_PATH_IMAGE013
，完成模型的训练；
S7：针对任意被测对象的数字图像三维纹理重建方法，通过所述图像频域信息预测模型输出预测的图像频域信息
Figure DEST_PATH_IMAGE029
，再通过二维傅里叶逆变换，得到图像在拍摄方向
Figure DEST_PATH_IMAGE030
下的像素值
Figure DEST_PATH_IMAGE031
，完成三维纹理重建。
2.根据权利要求1所述的基于傅里叶变换的数字图像三维纹理重建方法，其特征在于，步骤S2中，变换后的图像频域信息
Figure DEST_PATH_IMAGE032
表示为：
Figure DEST_PATH_IMAGE033
式中，
Figure DEST_PATH_IMAGE034
是第一个大于等于图像宽度的2的n次方数；
Figure DEST_PATH_IMAGE035
是第一个大于等于图像高度的2的n次方数；
Figure DEST_PATH_IMAGE036
，表示像素点在像素坐标系中的行；
Figure DEST_PATH_IMAGE037
，表示像素点在像素坐标系中的列，x表示像素点在图像坐标系中的行；y表示像素点在图像坐标系中的列，
Figure DEST_PATH_IMAGE038
表示像素点的像素值；j表示虚数单位。
3.根据权利要求1所述的基于傅里叶变换的数字图像三维纹理重建方法，其特征在于，步骤S3中，图像频域信息预测模型表示为：
Figure DEST_PATH_IMAGE039
Figure DEST_PATH_IMAGE040
式中，
Figure DEST_PATH_IMAGE041
表示光线路径
Figure DEST_PATH_IMAGE042
上叠加的图像频域信息，
Figure 238099DEST_PATH_IMAGE016
表示光线路径的起始点，
Figure DEST_PATH_IMAGE043
表示光线路径的终止点，
Figure DEST_PATH_IMAGE044
表示光线路径
Figure 682856DEST_PATH_IMAGE042
上图像单元透明度叠加的指数表示形式，
Figure DEST_PATH_IMAGE045
表示以相机中心为原点
Figure DEST_PATH_IMAGE046
的矢量，
Figure DEST_PATH_IMAGE047
，
Figure DEST_PATH_IMAGE048
Figure DEST_PATH_IMAGE049
，
Figure DEST_PATH_IMAGE050
表示光线的单位矢量，
Figure DEST_PATH_IMAGE051
为相机的方向信息，
Figure DEST_PATH_IMAGE052
表示光线绕相机坐标系
Figure 502913DEST_PATH_IMAGE025
轴旋转的角度，
Figure DEST_PATH_IMAGE053
表示光线绕相机坐标系
Figure 151063DEST_PATH_IMAGE024
轴旋转的角度；
Figure DEST_PATH_IMAGE054
表示在
Figure DEST_PATH_IMAGE055
位置处图像单元的透明度，
Figure DEST_PATH_IMAGE056
表示
Figure 613137DEST_PATH_IMAGE055
位置处图像单元的图像频域信息。
4.根据权利要求1所述的基于傅里叶变换的数字图像三维纹理重建方法，其特征在于，所述步骤S5中，三线性插值的过程为：
Figure 522187DEST_PATH_IMAGE012
处于8个被测对象离散点围成的最小立方体
Figure DEST_PATH_IMAGE057
中，利用立方体
Figure DEST_PATH_IMAGE058
中的八个顶点坐标b1、b2、b3、b4、b5、b6、b7、b8进行三线性插值，得到
Figure 529458DEST_PATH_IMAGE012
在世界坐标系中的坐标，然后将
Figure 789538DEST_PATH_IMAGE012
在世界坐标系中的坐标转换成相机坐标系中的坐标，计算得到光线在光线路径上任意点
Figure 133931DEST_PATH_IMAGE012
位置处的模
Figure 22122DEST_PATH_IMAGE014
；
三线性插值的具体计算过程为：
Figure DEST_PATH_IMAGE059
Figure DEST_PATH_IMAGE060
Figure DEST_PATH_IMAGE061
Figure DEST_PATH_IMAGE062
式中，
Figure DEST_PATH_IMAGE063
为
Figure 262610DEST_PATH_IMAGE012
的插值坐标，表示为
Figure DEST_PATH_IMAGE064
，
Figure DEST_PATH_IMAGE065
为最小立方体
Figure DEST_PATH_IMAGE066
角点的坐标，表示为
Figure DEST_PATH_IMAGE067
，
Figure DEST_PATH_IMAGE068
、
Figure DEST_PATH_IMAGE069
、
Figure DEST_PATH_IMAGE070
为中间计算参数。
5.根据权利要求1所述的基于傅里叶变换的数字图像三维纹理重建方法，其特征在于，在模型的训练过程中，优化的目标损失函数
Figure DEST_PATH_IMAGE071
表示为：
Figure DEST_PATH_IMAGE072
式中，
Figure DEST_PATH_IMAGE073
表示预测的图像频域信息和实际图像频域信息的均方根，
Figure DEST_PATH_IMAGE074
表示总变分正则化，
Figure DEST_PATH_IMAGE075
表示超参，控制正则化项
Figure 931358DEST_PATH_IMAGE074
的大小。
CN202210913156.3A 2022-08-01 2022-08-01 基于傅里叶变换的数字图像三维纹理重建方法 Active CN114998407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210913156.3A CN114998407B (zh) 2022-08-01 2022-08-01 基于傅里叶变换的数字图像三维纹理重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210913156.3A CN114998407B (zh) 2022-08-01 2022-08-01 基于傅里叶变换的数字图像三维纹理重建方法

Publications (2)

Publication Number Publication Date
CN114998407A true CN114998407A (zh) 2022-09-02
CN114998407B CN114998407B (zh) 2022-11-08

Family

ID=83022415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210913156.3A Active CN114998407B (zh) 2022-08-01 2022-08-01 基于傅里叶变换的数字图像三维纹理重建方法

Country Status (1)

Country Link
CN (1) CN114998407B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894565A (zh) * 2015-11-24 2016-08-24 徐州维林苑文化传媒有限公司 一种基于cuda的无镜立体图像重建方法
CN107346425A (zh) * 2017-07-04 2017-11-14 四川大学 一种三维纹理照相系统、标定方法及成像方法
CN107563378A (zh) * 2017-07-31 2018-01-09 上海联影医疗科技有限公司 体数据中提取感兴趣区域的方法及其系统
US20180270474A1 (en) * 2015-02-06 2018-09-20 The University Of Akron Optical imaging system and methods thereof
CN113989436A (zh) * 2021-10-29 2022-01-28 武汉大学 基于hvs和随机打印机模型的三维网目调重建方法
CN114511637A (zh) * 2022-04-20 2022-05-17 湖南华城检测技术有限公司 一种基于构造强特征的弱特征物体图像三维重建系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180270474A1 (en) * 2015-02-06 2018-09-20 The University Of Akron Optical imaging system and methods thereof
CN105894565A (zh) * 2015-11-24 2016-08-24 徐州维林苑文化传媒有限公司 一种基于cuda的无镜立体图像重建方法
CN107346425A (zh) * 2017-07-04 2017-11-14 四川大学 一种三维纹理照相系统、标定方法及成像方法
CN107563378A (zh) * 2017-07-31 2018-01-09 上海联影医疗科技有限公司 体数据中提取感兴趣区域的方法及其系统
US20190139223A1 (en) * 2017-07-31 2019-05-09 Shanghai United Imaging Healthcare Co., Ltd. System and method for extracting a region of interest from volume data
CN113989436A (zh) * 2021-10-29 2022-01-28 武汉大学 基于hvs和随机打印机模型的三维网目调重建方法
CN114511637A (zh) * 2022-04-20 2022-05-17 湖南华城检测技术有限公司 一种基于构造强特征的弱特征物体图像三维重建系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DING LIU ET AL.: "Frequency-based 3D reconstruction of transparent and specular objects", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
杨嘉佳: "铝合金双丝PMIG焊熔池视觉特征规律及表面形态三维重构", 《中国优秀博硕士学位论文全文数据库(博士) 工程科技Ⅰ辑》 *

Also Published As

Publication number Publication date
CN114998407B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN109272537B (zh) 一种基于结构光的全景点云配准方法
CN104200236B (zh) 基于dpm的快速目标检测方法
CN111079565B (zh) 视图二维姿态模板的构建方法及识别方法、定位抓取系统
CN109035327B (zh) 基于深度学习的全景相机姿态估计方法
CN109147025B (zh) 一种面向rgbd三维重建的纹理生成方法
CN103839238B (zh) 一种基于边缘信息和反卷积的sar图像超分辨率方法
CN105513063A (zh) Veronese映射和棋盘格标定拋物折反射摄像机
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Komatsu et al. 360 depth estimation from multiple fisheye images with origami crown representation of icosahedron
CN111581776A9 (zh) 一种基于几何重建模型的等几何分析方法
CN104318552A (zh) 基于凸包投影图匹配的模型配准方法
JP2024510230A (ja) 顔表情、身体ポーズ形状及び衣服パフォーマンスキャプチャのための暗黙的微分可能レンダラーを用いたマルチビューニューラル人間予測
CN109509259B (zh) 一种医学图像三维重建等值面网格提取方法
CN101996415A (zh) 眼球的三维建模方法
CN103955687B (zh) 一种基于质心法的光斑图像中心的快速定位方法
CN114998407B (zh) 基于傅里叶变换的数字图像三维纹理重建方法
CN116758219A (zh) 基于神经网络的区域感知多视角立体匹配三维重建方法
Aouada et al. Deformation transfer of 3d human shapes and poses on manifolds
CN109829951A (zh) 平行等位检测方法、装置与自动驾驶系统
Li et al. Design and application of parallel stereo matching algorithm based on CUDA
CN115994955B (zh) 相机外参标定方法、装置和车辆
CN114219900B (zh) 基于混合现实眼镜的三维场景重建方法、重建系统和应用
CN111144064B (zh) 文字变形方法、介质、设备及装置
Heng et al. Multi-scale Geometry-aware Self-Attention for 3D Point Cloud Classification
CN113343871B (zh) 基于泊松融合+直方图匹配的高分四号多光谱遥感影像中舰船目标的仿真方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant