CN112614233B - 一种在vr虚拟环境下的碎片拼接方法 - Google Patents
一种在vr虚拟环境下的碎片拼接方法 Download PDFInfo
- Publication number
- CN112614233B CN112614233B CN202011496459.7A CN202011496459A CN112614233B CN 112614233 B CN112614233 B CN 112614233B CN 202011496459 A CN202011496459 A CN 202011496459A CN 112614233 B CN112614233 B CN 112614233B
- Authority
- CN
- China
- Prior art keywords
- relic
- hole
- sphere
- cultural relic
- virtual environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012634 fragment Substances 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 21
- 230000005484 gravity Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 241000283086 Equidae Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种在VR虚拟环境下的碎片拼接方法,通过对文物三维模型进行数字化处理简化模型后输入到VR环境中,然后采用三角网格化识别文物孔洞的方式对残缺的文物进行文物孔洞识别,计算每个文物孔洞的重心位置,以重心到文物孔洞最远点的距离作为半径,构建文物孔洞碰撞球体;同理构建文物碎片碰撞球体,当两者发生相交时,自动调用拼接算法,提取文物孔洞的边界主轮廓线、文物碎片外表面与断裂面相交的次轮廓线,利用单位三元组的曲线匹配方法匹配刚体变换矩阵,再通过SAC‑IA算法进行粗匹配,最后调用ICP算法对文物碎片与文物孔洞进行精确匹配,最终实现VR环境下的碎片拼接;该方法不仅算法速度快,而且使文物工作者在虚拟环境下可亲身体验拼接的效果。
Description
技术领域
本发明涉及碎片拼接方法,具体涉及一种在VR虚拟环境下的碎片拼接方法。
背景技术
我国是一个历史悠久的文明古国,在我国漫长的历史进程中,产生了许多种类的文物,随着时间的流逝均有不同程度的破损,例如兵马俑在挖掘出土的过程中,大部分都是残缺不全的碎片,需要进行碎片拼接复原,以前多采用人工的方式进行复原,复原时间漫长。
现代碎片拼接采用三维扫描技术和传统算法的方式完成文物碎片的虚拟复原。现代碎片拼接技术均是在指定软件中进行算法拼接,其次把得到的碎片拼接的位置信息发送给文物工作者,使他们按照指定的碎片位置进行粘合,得到完整的文物模型。
申请号为CN201811226011.6的中国发明专利公开了一种文物智能辅助引导方法和引导系统,包括三维扫描技术、三维建模软件和文物数字化智能修复技术,三维扫描技术是将碎片进行三维扫描存储;三维建模软件是指通过计算机去寻找能够拼接在一起的碎片的软件,将碎片拼接制作成3D数字模型;文物数字化智能修复技术是将已拼接的3D数字模型和AR眼镜虚拟现实技术进行项目整合,再与Holoens眼镜虚拟现实技术结合,达到实时精细定位与引导操作。
申请号为CN201410443407.1的中国发明专利公开了一种不规则破碎单面图像快速拼接方法,是首先将不规则破碎的单面图像碎片扫描成数字图像,然后获取每个图像碎片边缘的逆时针像素灰度值序列,通过计算各个图像碎片边缘像素灰度值序列相互之间的相关系数,获得各个相邻的图像碎片,并利用碎片的旋转、平移等方法,最终实现不规则破碎图像碎片的快速自动拼接。
综上所述,现有的碎片拼接方式,虽然使文物工作者的工作量有所下降,减少了寻找碎片的时间,但是这些算法通常计算时间长,很难得到效果良好的拼接结构图,其次文物工作者有时候也很难理解该碎片拼接的位置信息。
发明内容
本发明目的在于提供一种在VR虚拟环境下文物工作者可亲身体验拼接效果以及算法速度快的碎片拼接方法。
为实现上述目的,本发明采用的技术方案是:
一种在VR虚拟环境下的碎片拼接方法,具体包括以下步骤:
步骤1:获取文物三维模型后数字化数据预处理得到简化模型;
步骤2:将步骤1中的简化模型通过三角网格化识别文物孔洞方式对残缺的文物进行文物孔洞识别,后计算每个文物孔洞的重心位置,以重心到文物孔洞最远点的距离作为半径,构建文物孔洞碰撞球体;同理构建文物碎片碰撞球体,检测文物孔洞碰撞球体是否与文物碎片碰撞球体相交;
步骤3:若步骤2中的文物孔洞碰撞球体与文物碎片碰撞球体不相交时,则返回到步骤2重新构建文物碎片碰撞球体;
若所述步骤2中的文物孔洞碰撞球体与文物碎片碰撞球体相交时,则通过提取文物孔洞的边界主轮廓线、文物碎片外表面与断裂面相交的次轮廓线,利用单位三元组的曲线匹配方法匹配刚体变换矩阵,后作为在VR虚拟环境下的特征表示;
步骤4:所述步骤3中得到的特征表示通过SAC-IA算法得到粗匹配的特征表示,后调用ICP算法得到精准匹配的特征表示;
步骤5:将精准匹配的特征表示在VR虚拟环境下自动拼接。
进一步地,所述文物三维模型通过阿泰克三维扫描仪扫描获取。
进一步地,所述步骤2中所述的两个碰撞球体是否相交具体包括以下检测步骤:
步骤2.1:取文物孔洞的每个边缘位置点V=[VX,VY,VZ],通过计算公式
计算出文物孔洞的坐标,作为每个文物孔洞的球心位置;其中,Qij是文物三维模型第i个孔洞的球心位置,Vj是文物孔洞上的第j个坐标点,由X,Y,Z三个值组成,N是文物孔洞上点的个数;
步骤2.2:通过的欧式距离公式计算球心到每一个文物孔洞点的距离,将最大距离R=MAX(dist)作为碰撞球半径R;其中,Qi是文物三维模型第i个孔洞的球心位置,V是文物孔洞上的坐标点,dist(Qi,V)是球心位置到V的距离;MAX是求距离中的最大值,作为球半径R;
步骤2.3:取步骤2.1中的球心Qij,取步骤2.2中的半径R构建文物孔洞碰撞球体;
步骤2.4:按照步骤2.1~2.2的步骤原理构建一个球心位置为Sij,半径为r的文物碎片碰撞球体;
步骤2.5:通过公式计算出文物孔洞碰撞球体与文物碎片碰撞球体之间的距离,其中,Qx,Qy,Qz是孔洞碰撞球体的坐标,Sx,Sy,Sz是碎片碰撞球体的坐标;
步骤2.6:通过步骤2.5中得到的distance同步骤2.3的R与步骤2.4中的r之和进行比较,当distance<=R+r时,则发生相交;distance>R+r时,则不相交。
进一步地,所述步骤3中边界主轮廓线通过在VR虚拟环境下采用计算边的重数N来判断文物三维模型的边界进行提取,提取公式如下:
L={lk=(pi,pj)i,j=0,1,2,...,m;k=0,1,2,...,n},其中,L是文物三维模型的边集,m表示组成文物三维模型点的个数,n表示组成文物三维模型边的条数。
进一步地,所述步骤3中次轮廓线的提取包括在VR虚拟环境下三维模型的曲面分割、区域合并、识别断裂面以及曲面扫描四个部分,其中,曲面分割采用区域生长算法得出,计算公式如下:其中已生长区域li的法向量为/>面积为S(li),法向量夹角值为/>
进一步地,所述步骤3中提取到的边界主轮廓线和次轮廓线经滤波、光顺处理后重新采样,后再利用单位三元组的曲线匹配方法匹配刚体变换矩阵,后作为在VR虚拟环境下的特征表示。
进一步地,所述滤波的方式是通过高斯滤波器滤波。
进一步地,所述滤波通过高斯函数g(t,s)进行表示,高斯函数g(t,s)的具体公式如下:
其中,t是高斯分布的位置参数,描述高斯分布的集中趋势位置;s为高斯分布的形状参数,描述高斯分布的离散程度。
进一步地,所述步骤4中SAC-IA算法的具体步骤如下:
步骤4.1:提取待配准的文物碎片点云P和目标文物碎片点云Q的视点特征直方图特征,简称VFH特征;
步骤4.2:在点云P中选取n个不同VFH特征的采样点;
步骤4.3:在点云Q中选取与采样点VFH特征相似的多个对应点,随机选择一个对应点作为一个采集点的对应点;
步骤4.4:取多个对应点通过Huber罚函数计算出对应点与对应点之间的刚体变换矩阵距离误差和函数,Huber罚函数的计算公式如下:其中:
公式中:np为预先设定的阈值,pi为第i组对应点变换之后的误差;
步骤4.5:重复上述步骤4.1~4.4,直至达到距离误差和的最小值,即可完成初始匹配。
进一步地,所述步骤4中的ICP算法具体包括以下步骤:
步骤4.6:取初始匹配后经过坐标变换的文物碎片点云p’中选择n个数据点作为匹配点集Np,Np的表达式为Np={pi|i=1,2,...,n};
步骤4.7:点集Np中的每一点pi,采用k-d树搜索其在目标文物碎片点云Q中寻找距离最近的对应点qi,组成初始对应点对,初始对应点对采用方向向量阈值表示;
步骤4.8:取对应点集之间的均方误差最小值通过计算公式计算出旋转矩阵Rk和平移向量Tk的值,其中dk为第k次迭代的均方误差最小值;
步骤4.9:将步骤4.8中得到的旋转矩阵Rk和平移向量Tk通过公式p’=Rkp’+Tk应用于点云p’;
步骤5.0:设定阈值ε和最大迭代次数K,计算p’和Q的距离误差,如果dk-dk-1<ε或者k>K,则迭代结束;否则继续重复步骤4.6~5.0,直至满足收敛条件。
与现有技术相比,本发明的有益效果是:
本发明通过对文物三维模型进行数字化处理简化模型,后输入到VR环境中,然后采用三角网格化识别文物孔洞对残缺的文物进行文物孔洞识别,其次计算每个文物孔洞的重心位置,以重心到文物孔洞最远点的距离作为半径,构建文物孔洞碰撞球体;同理构建文物碎片碰撞球体,当两者发生相交时,自动调用拼接算法,提取文物孔洞的边界主轮廓线、文物碎片外表面与断裂面相交的次轮廓线,利用单位三元组的曲线匹配方法匹配刚体变换矩阵,再通过SAC-IA算法进行粗匹配,最后调用ICP算法对文物碎片与文物孔洞进行精确匹配,最终实现在虚拟环境下的碎片拼接;该方法不仅算法速度快,而且使文物工作者在虚拟环境下可亲身体验拼接的效果,进而使文物工作者更容易在许多的待匹配文物碎片中查询到需要的目标文物碎片。
附图说明
图1是本发明的流程框图;
图2是本发明在VR虚拟环境下兵马俑模型的正面示意图;
图3是本发明在VR虚拟环境下兵马俑模型的侧面示意图;
图4是本发明是在VR虚拟环境下通过三角网格化方式计算出来的孔洞位置以及兵马俑孔洞位置计算出来的碰撞球体的球形结构示意图;
图5是本发明通过提取边界主轮廓线之后使用三元组算法,寻找碎片与孔洞拼接轮廓位置的示意图;
图6是本发明通过SAC-IA和ICP算法使兵马俑碎片与兵马俑计算出来的配准区域发生自动配准的示意图。
具体实施方式
下面结合具体实施例对本发明作进一步详细描述,但不作为对本发明的限定。
如图1-图3所示,本发明提供一种在VR虚拟环境下的碎片拼接方法,具体包括以下步骤:
步骤1:文物工作者采用阿泰克三维扫描仪对兵马俑进行扫描获取兵马俑模型,通过Geomagic软件对兵马俑模型进行模型简化处理,后将处理好的简化模型输入到U3D平台上。
步骤2:参照图1和图4,将步骤1中的简化模型通过三角网格化识别兵马俑孔洞方式进行兵马俑孔洞识别,后计算每个兵马俑孔洞的重心位置,以重心到兵马俑孔洞最远点的距离作为半径,构建兵马俑孔洞碰撞球体;同理构建兵马俑碎片碰撞球体,检测兵马俑孔洞碰撞球体是否与兵马俑碎片碰撞球体相交。
具体包括以下检测步骤;步骤2.1:取兵马俑孔洞的每个边缘位置点V=[VX,VY,VZ],通过计算公式计算出兵马俑孔洞的坐标,作为每个兵马俑孔洞的球心位置;其中,Qij是兵马俑三维模型第i个孔洞的球心位置,Vj是兵马俑孔洞上的第j个坐标点,由X,Y,Z三个值组成,N是兵马俑孔洞上点的个数。
步骤2.2:通过的欧式距离公式计算球心到每一个兵马俑孔洞点的距离,将最大距离R=MAX(dist)作为碰撞球半径R;其中,Qi是兵马俑模型第i个孔洞的球心位置,V是兵马俑孔洞上的坐标点,dist(Qi,V)是球心位置到V的距离;MAX是求距离中的最大值,作为球半径R。
步骤2.3:取步骤2.1中的球心Qij,取步骤2.2中的半径R构建兵马俑孔洞碰撞球体。
步骤2.4:按照步骤2.1~2.2的步骤原理构建一个球心位置为Sij,半径为r的兵马俑碎片碰撞球体。
步骤2.5:通过公式计算出兵马俑孔洞碰撞球体与兵马俑碎片碰撞球体之间的距离,其中,Qx,Qy,Qz是孔洞碰撞球体的坐标,Sx,Sy,Sz是碎片碰撞球体的坐标。
步骤2.6:通过步骤2.5中得到的distance同步骤2.3的R与步骤2.4中的r之和进行比较,当distance<=R+r时,则发生相交;distance>R+r时,则不相交。
步骤3:若步骤2中的兵马俑孔洞碰撞球体与兵马俑碎片碰撞球体不相交时,返回到步骤2重新构建兵马俑碎片碰撞球体。
若所述步骤2中的兵马俑孔洞碰撞球体与兵马俑碎片碰撞球体相交时,则通过提取兵马俑孔洞的边界主轮廓线、兵马俑碎片外表面与断裂面相交的次轮廓线,
边界主轮廓线通过在VR虚拟环境下采用计算边的重数N来判断兵马俑三维模型的边界进行提取,提取公式如下:
L={lk=(pi,pj)i,j=0,1,2,...,m;k=0,1,2,...,n},其中,L是兵马俑三维模型的边集,m表示组成兵马俑三维模型点的个数,n表示组成兵马俑三维模型边的条数。
边界主轮廓线提取算法主要步骤如下:
步骤3.1:设两个栈S1和S2,用来存储边界主轮廓线的点集。
步骤3.2:取兵马俑模型中任意一条边lk,判断其重数N的值是否为1,若为1,将两个顶点Hi和Hj分别入栈S1和S2,并且将边lk标记为true;若N不为1,则重复步骤3.2。
步骤3.3:以S1和S2的栈顶的点为当前两个点,分别按照相反方向搜索模型的边集L,把与其构成的边lk的重数为1,且这条边标记为false的点加入当前栈。
步骤3.4:判断栈S1和S2的栈顶元素是否相同,若相同,栈S1和S2中所有的点出栈,构成兵马俑模型的边界主轮廓线点集L。
若不同,则返回步骤3.3,继续搜索。
次轮廓线的提取包括在VR虚拟环境下三维模型的曲面分割、区域合并、识别断裂面以及曲面扫描四个部分,其中,曲面分割采用区域生长算法得出,计算公式如下:
其中已生长区域li的法向量为/>面积为S(li),法向量夹角值为/>
判断两个曲面能否合并的依据是两个相邻区域公共边界的移除概率值Pij的大小,Pij的定义式如下:
其中,Length(Li)指边界线Li的长度,Avg(θi)指边界线平均二面角值。
参照图1和图5,提取到的边界主轮廓线和次轮廓线经高斯滤波器滤波、光顺处理使主轮廓线和次轮廓线更平滑,滤波通过高斯函数g(t,s)进行描述表示,具体公式为后重新采样进行曲线匹配以减少数据量,再利用单位三元组的曲线匹配方法匹配刚体变换矩阵,以每个三元组为单位计算匹配变换矩阵具体包括以下步骤:
步骤3.5:平移两个三元组{ai,ai+1,ai+2}和{bi,bi+1,bi+2},保证点ai和点bi与坐标原点重合。
步骤3.6:变换三元组,使和/>的单位向量d(ai+1)和d(bi+1)分别与z轴对齐:/>
步骤3.7:产生了两个新的三元组和/>并且确定了连个平面S1和S2。
步骤3.8:通过旋转角度θ使平面S1和S2对齐,来实现点的位置与点/>的位置重合。用θ表示两个平面的夹角。
计算公式为:θ=θ2-θ1其中,
通过上述方法得出使三元组和/>对齐的变换矩阵后选一个最准确的变换矩阵,作为该相似曲线段的匹配变换矩阵;后作为在VR虚拟环境下的特征表示。
步骤4:参照图1和图6,步骤3中得到的特征表示通过SAC-IA算法得到粗匹配的特征表示,后调用ICP算法得到精准匹配的特征表示。
SAC-IA算法的具体步骤如下:
步骤4.1:提取待配准的兵马俑碎片点云P和目标兵马俑碎片点云Q的视点特征直方图特征,简称VFH特征。
步骤4.2:在点云P中选取n个不同VFH特征的采样点。
步骤4.3:在点云Q中选取与采样点VFH特征相似的多个对应点,随机选择一个对应点作为一个采集点的对应点。
步骤4.4:取多个对应点通过Huber罚函数计算出对应点与对应点之间的刚体变换矩阵距离误差和函数,Huber罚函数的计算公式如下:其中:
公式中:np为预先设定的阈值,pi为第i组对应点变换之后的误差。
步骤4.5:重复上述步骤4.1~4.4,直至达到距离误差和的最小值,即可完成初始匹配。
在VR虚拟空间中使用SAC-IA算法进行初始配准之后,兵马俑碎片点云模型已经大致重合,但仍没有紧密贴合,可能出现上下错位等问题。此时需要使用改进后的ICP算法进行精确配准。在传统ICP算法的基础上,我们使用k-d树加速对应点对的搜索,提高配准的效率。ICP算法具体包括以下步骤:
步骤4.6:取初始匹配后经过坐标变换的兵马俑碎片点云p’中选择n个数据点作为匹配点集Np,Np的表达式为Np={pi|i=1,2,...,n}。
步骤4.7:点集Np中的每一点pi,采用k-d树搜索其在目标兵马俑碎片点云Q中寻找距离最近的对应点qi,组成初始对应点对,初始对应点对采用方向向量阈值表示。
步骤4.8:取对应点集之间的均方误差最小值通过计算公式计算出旋转矩阵Rk和平移向量Tk的值,其中dk为第k次迭代的均方误差最小值。
步骤4.9:将步骤4.8中得到的旋转矩阵Rk和平移向量Tk通过公式p’=Rkp’+Tk应用于点云p’。
步骤5.0:设定阈值ε和最大迭代次数K,计算p’和Q的距离误差,如果dk-dk-1<ε或者k>K,则迭代结束;否则继续重复步骤4.6~5.0,直至满足收敛条件。
步骤5:将精准匹配的特征表示在VR虚拟环境下自动拼接。
本实施例不仅算法速度快,而且使文物工作者在虚拟环境下可亲身体验拼接的效果,进而使文物工作者更容易在许多的待匹配文物碎片中查询到需要的目标文物碎片。
参照上述实施例对本发明进行了详细说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本权利要求范围当中。
Claims (9)
1.一种在VR虚拟环境下的碎片拼接方法,其特征在于:具体包括以下步骤:
步骤1:获取文物三维模型后数字化数据预处理得到简化模型;
步骤2:将步骤1中的简化模型通过三角网格化识别文物孔洞方式对残缺的文物进行文物孔洞识别,后计算每个文物孔洞的重心位置,以重心到文物孔洞最远点的距离作为半径,构建文物孔洞碰撞球体;同理构建文物碎片碰撞球体,检测文物孔洞碰撞球体是否与文物碎片碰撞球体相交;
所述步骤2中所述的两个球体是否相交具体包括以下检测步骤:
步骤2.1:取文物孔洞的每个边缘位置点V=[VX,VY,VZ],通过计算公式计算出文物孔洞的坐标,作为每个文物孔洞的球心位置;其中,Qij是文物三维模型第i个孔洞的球心位置,Vj是文物孔洞上的第j个坐标点,由X,Y,Z三个值组成,N是文物孔洞上点的个数;
步骤2.2:通过的欧式距离公式计算球心到每一个文物孔洞点的距离,将最大距离R=MAX(dist)作为碰撞球半径R;其中,Qi是文物三维模型第i个孔洞的球心位置,V是文物孔洞上的坐标点,dist(Qi,V)是球心位置到V的距离;MAX是求距离中的最大值,作为球半径R;
步骤2.3:取步骤2.1中的球心Qij,取步骤2.2中的半径R构建文物孔洞碰撞球体;
步骤2.4:按照步骤2.1~步骤2.3的步骤原理构建一个球心位置为Sij,半径为r的文物碎片碰撞球体;
步骤2.5:通过公式计算出文物孔洞碰撞球体与文物碎片碰撞球体之间的距离,其中,Qx,Qy,Qz是孔洞碰撞球体的坐标,Sx,Sy,Sz是碎片碰撞球体的坐标;
步骤2.6:通过步骤2.5中得到的distance同步骤2.3的R与步骤2.4中的r之和进行比较,当distance<=R+r时,则发生相交;distance>R+r时,则不相交;
步骤3:若步骤2中的文物孔洞碰撞球体与文物碎片碰撞球体不相交时,则返回到步骤2重新构建文物碎片碰撞球体;
若所述步骤2中的文物孔洞碰撞球体与文物碎片碰撞球体相交时,则通过提取文物孔洞的边界主轮廓线、文物碎片外表面与断裂面相交的次轮廓线,利用单位三元组的曲线匹配方法匹配刚体变换矩阵,后作为在VR虚拟环境下的特征表示;
步骤4:所述步骤3中得到的特征表示通过SAC-IA算法得到粗匹配的特征表示,后调用ICP算法得到精准匹配的特征表示;
步骤5:将精准匹配的特征表示在VR虚拟环境下自动拼接。
2.根据权利要求1所述的一种在VR虚拟环境下的碎片拼接方法,其特征在于:所述文物三维模型通过阿泰克三维扫描仪扫描获取。
3.根据权利要求1所述的一种在VR虚拟环境下的碎片拼接方法,其特征在于:所述步骤3中边界主轮廓线通过在VR虚拟环境下采用计算边的重数N来判断文物三维模型的边界进行提取,提取公式如下:
L={lk=(pi,pj)i,j=0,1,2,...,m;k=0,1,2,...,n},其中,L是文物三维模型的边集,m表示组成文物三维模型点的个数,n表示组成文物三维模型边的条数。
4.根据权利要求3所述的一种在VR虚拟环境下的碎片拼接方法,其特征在于:所述步骤3中次轮廓线的提取包括在VR虚拟环境下三维模型的曲面分割、区域合并、识别断裂面以及曲面扫描四个部分,其中,曲面分割采用区域生长算法得出,计算公式如下:其中已生长区域li的法向量为/>面积为S(li),法向量夹角值为/>
5.根据权利要求4所述的一种在VR虚拟环境下的碎片拼接方法,其特征在于:所述步骤3中提取到的边界主轮廓线和次轮廓线经滤波、光顺处理后重新采样,后再利用单位三元组的曲线匹配方法匹配刚体变换矩阵,后作为在VR虚拟环境下的特征表示。
6.根据权利要求5所述的一种在VR虚拟环境下的碎片拼接方法,其特征在于:所述滤波的方式是通过高斯滤波器滤波。
7.根据权利要求6所述的一种在VR虚拟环境下的碎片拼接方法,其特征在于:所述滤波通过高斯函数g(t,s)进行表示,高斯函数g(t,s)的具体公式如下:
其中,t是高斯分布的位置参数,描述高斯分布的集中趋势位置;s为高斯分布的形状参数,描述高斯分布的离散程度。
8.根据权利要求1所述的一种在VR虚拟环境下的碎片拼接方法,其特征在于:所述步骤4中SAC-IA算法的具体步骤如下:
步骤4.1:提取待配准的文物碎片点云P和目标文物碎片点云Q的视点特征直方图特征,简称VFH特征;
步骤4.2:在点云P中选取n个不同VFH特征的采样点;
步骤4.3:在点云Q中选取与采样点VFH特征相似的多个对应点,随机选择一个对应点作为一个采集点的对应点;
步骤4.4:取多个对应点通过Huber罚函数计算出对应点与对应点之间的刚体变换矩阵距离误差和函数,Huber罚函数的计算公式如下:其中:/>公式中:np为预先设定的阈值,pi为第i组对应点变换之后的误差;
步骤4.5:重复上述步骤4.1~4.4,直至达到距离误差和的最小值,即可完成初始匹配。
9.根据权利要求8所述的一种在VR虚拟环境下的碎片拼接方法,其特征在于:所述步骤4中的ICP算法具体包括以下步骤:
步骤4.6:取初始匹配后经过坐标变换的文物碎片点云p′中选择n个数据点作为匹配点集Np,Np的表达式为Np={pi|i=1,2,...,n};
步骤4.7:点集Np中的每一点pi,采用k-d树搜索其在目标文物碎片点云Q中寻找距离最近的对应点qi,组成初始对应点对,初始对应点对采用方向向量阈值表示;
步骤4.8:取对应点集之间的均方误差最小值通过计算公式计算出旋转矩阵Rk和平移向量Tk的值,其中dk为第k次迭代的均方误差最小值;
步骤4.9:将步骤4.8中得到的旋转矩阵Rk和平移向量Tk通过公式p'=Rkp'+Tk应用于点云p′;
步骤5.0:设定阈值ε和最大迭代次数K,计算p′和Q的距离误差,如果dk-dk-1<ε或者k>K,则迭代结束;否则继续重复步骤4.6~5.0,直至满足收敛条件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011496459.7A CN112614233B (zh) | 2020-12-17 | 2020-12-17 | 一种在vr虚拟环境下的碎片拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011496459.7A CN112614233B (zh) | 2020-12-17 | 2020-12-17 | 一种在vr虚拟环境下的碎片拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112614233A CN112614233A (zh) | 2021-04-06 |
CN112614233B true CN112614233B (zh) | 2023-09-29 |
Family
ID=75240926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011496459.7A Active CN112614233B (zh) | 2020-12-17 | 2020-12-17 | 一种在vr虚拟环境下的碎片拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112614233B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114187178B (zh) * | 2021-12-13 | 2024-04-02 | 浙大城市学院 | 一种文物修复辅助用瓷器碎片分类、拼接系统及方法 |
CN116450018B (zh) * | 2023-06-16 | 2023-08-15 | 西安交通大学城市学院 | 面向虚拟现实应用的文物修复数据处理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016095167A2 (zh) * | 2014-12-18 | 2016-06-23 | 复旦大学 | 一种基于手术导航系统的牵拉变形矫正方法 |
CN109615581A (zh) * | 2018-11-30 | 2019-04-12 | 扬州大学 | 一种融合扩展高斯球和颜色几何特征的三维碎片的拼接复原方法 |
-
2020
- 2020-12-17 CN CN202011496459.7A patent/CN112614233B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016095167A2 (zh) * | 2014-12-18 | 2016-06-23 | 复旦大学 | 一种基于手术导航系统的牵拉变形矫正方法 |
CN109615581A (zh) * | 2018-11-30 | 2019-04-12 | 扬州大学 | 一种融合扩展高斯球和颜色几何特征的三维碎片的拼接复原方法 |
Non-Patent Citations (2)
Title |
---|
汤涛 ; .三维技术在兵马俑"修复"中的应用研究.艺术品鉴.2018,(21),全文. * |
袁洁 ; 周明全 ; 耿国华 ; 张雨禾 ; .基于轮廓线双向距离场的文物碎片拼接算法.计算机工程.2017,(06),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN112614233A (zh) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112070818B (zh) | 基于机器视觉的机器人无序抓取方法和系统及存储介质 | |
CN109544612B (zh) | 基于特征点几何表面描述的点云配准方法 | |
CN109272523B (zh) | 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法 | |
CN111311679B (zh) | 一种基于深度相机的自由漂浮目标位姿估计方法 | |
CN112614233B (zh) | 一种在vr虚拟环境下的碎片拼接方法 | |
CN110070567B (zh) | 一种地面激光点云配准方法 | |
CN114972377B (zh) | 基于移动最小二乘法与超体素的3d点云分割方法和装置 | |
CN101894254B (zh) | 一种基于等高线法的三维人脸识别方法 | |
CN113628263A (zh) | 一种基于局部曲率及其近邻特征的点云配准方法 | |
CN101441769A (zh) | 单目摄像机实时视觉定位方法 | |
CN111145232A (zh) | 一种基于特征信息变化度的三维点云自动配准方法 | |
CN108133191A (zh) | 一种适用于室内环境的实时物体识别方法 | |
CN107818598B (zh) | 一种基于视觉矫正的三维点云地图融合方法 | |
CN111179321B (zh) | 一种基于模板匹配的点云配准方法 | |
WO2020151454A1 (zh) | 一种基于线束描述子图像匹配的无纹理金属零件抓取方法 | |
CN111145129A (zh) | 基于超体素的点云去噪方法 | |
CN107220964A (zh) | 一种线状特征提取用于地质危岩体稳定性评估方法 | |
CN109147040A (zh) | 基于模板的人体点云孔洞修补方法 | |
CN117132630A (zh) | 一种基于二阶空间兼容性度量的点云配准方法 | |
CN111028345B (zh) | 一种港口场景下圆形管道的自动识别与对接方法 | |
JP2017097578A (ja) | 情報処理装置及び方法 | |
CN113313200A (zh) | 一种基于法向约束的点云精匹配方法 | |
Wang et al. | 6D pose estimation from point cloud using an improved point pair features method | |
CN116416305B (zh) | 一种基于优化采样五维点对特征的多实例位姿估计方法 | |
CN113223189B (zh) | 机械臂抓取物体三维点云模型孔洞修复及规则体拟合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |