CN110570525A - 增强现实系统中三维扫描坐标与投影坐标快速匹配的方法 - Google Patents

增强现实系统中三维扫描坐标与投影坐标快速匹配的方法 Download PDF

Info

Publication number
CN110570525A
CN110570525A CN201910752696.6A CN201910752696A CN110570525A CN 110570525 A CN110570525 A CN 110570525A CN 201910752696 A CN201910752696 A CN 201910752696A CN 110570525 A CN110570525 A CN 110570525A
Authority
CN
China
Prior art keywords
coordinates
projection
costheta
dimensional
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910752696.6A
Other languages
English (en)
Other versions
CN110570525B (zh
Inventor
孙澄宇
郑兆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201910752696.6A priority Critical patent/CN110570525B/zh
Publication of CN110570525A publication Critical patent/CN110570525A/zh
Application granted granted Critical
Publication of CN110570525B publication Critical patent/CN110570525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

一种增强现实系统中三维扫描坐标与投影坐标快速匹配的方法。充分利用了可事先获得的投影视锥参数,在实际操作中将原“两次承接法”中的两次共面承接操作简化为一次非共面承接操作。在本发明方法中,扫描一次非共面承接的匹配图案,仅受到三维扫描仪的精度影响,投影视锥的各向夹角参数可以通过提前的其它高精度标定方法获取,或者直接从厂商的参数列表中获得。本发明方法相比于原有“两次承接法”,在系统误差与实际操作难度方面都有改善,在实际使用中则直接反映为匹配精度的提高。

Description

增强现实系统中三维扫描坐标与投影坐标快速匹配的方法
技术领域
本发明涉及增强现实系统领域。
技术背景
目前国内外都有基于投影仪-摄像头系统(Projector-camera system/PCS)的增强现实计算机辅助设计工具,国外有如德国慕尼黑工业大学的Gerhard Schubert等人开发的CDP系统(http://cdp.ai.ar.tum.de/),麻省理工学院媒体实验室(media lab)开发的CityScope(https://www.media.mit.edu/projects/cityscope/overview/),国内有同济大学的孙澄宇开发的MR.SAP辅助设计平台。此类系统一般包含三个部分:三维扫描模块,模型处理模块,投影反馈模块,运行的原理一般为:
在不断重复的每一运算周期中:先通过三维扫描模块,以点云形式捕获工作范围内的实物对象的外形;然后在模型处理模块中,将其重构为由面组成的几何对象,在此基础上再对其进行各种预先设定的数值计算,以生成相应的二维信息图形;最终由投影反馈模块将该二维信息图形投射到实物对象上与之相匹配,实现增强现实的效果。通过不断重复进行的上述计算周期,在强大计算能力的支持下,可以体现为由计算机增强至实物对象的信息与人操作实物对象的动态过程形成实时互动关系。
为了正确生成二维信息图形,确保其能够准确地被回投到实物上,这类系统都需要在运行前完成三维扫描仪坐标与投影仪坐标的匹配。详细来讲就是在三维扫描仪坐标系中描述投影仪视锥的顶点与朝向。这样,二维信息图案才能被正确生成并用以投影,而三维扫描仪与投影仪坐标系的这一匹配精度就会直接影响最终投射在实物上的二维信息图形与其轮廓的重合效果。
接近的现有技术情况:
目前,一般的匹配方法是使用三维扫描仪识别出投影仪投出的特定匹配图案中特征点的三维空间坐标,计算出投影仪的投影视锥在三维扫描仪坐标系中的顶点位置与投射朝向,为后续计算任意对象的三维坐标在二维投影画面上的像素位置提供关键参数。
比如,孙澄宇等人的公开专利《一种互动区域可调的增强现实云台系统,201610715102.0》包含一种现有的匹配方法,其匹配过程是利用在投影光路中用两个平面承接到的匹配图案之上的多对特征点,描绘出各条投影视锥棱线的一部分,利用特征图案的已知几何特征计算投影仪视锥在三维扫描坐标系中的顶点与朝向。其所用的原理是光线沿直线传播与两直线的夹角,列出每根棱线的直线方程,并将其两两联立求解。对结果求得的平均值即是投影视锥的顶点。
本发明将《一种互动区域可调的增强现实云台系统》(专利号:201610715102.0)公开的匹配方法简称为“两次承接法”。
发明内容
本发明的目的在于对上述现有算法做出改进,使得在投影与捕获匹配图案时,只需要一次、且不需要确保特征图案的特征点在一个平面上,就可以完成匹配计算。
本发明需要保护的技术方案
一种增强现实系统中三维扫描坐标与投影坐标快速匹配的方法,其特征在于,包括如下步骤:
步骤1布置设备、定义工作范围。
现场设置有三维扫描模块、模型处理模块、投影反馈模块,所述三维扫描模块输入连接于模型处理模块,模型处理模块输出连接于投影反馈模块;所述三维扫描模块为三维扫描仪;所述模型处理模块为数据处理设备,用于特征分析、数据解算功能;所述投影反馈模块将预设的匹配图案投影出供三维扫描模块采集;
确定工作范围,调整所述三维扫描仪与投影仪的位置与方向,确保两者的工作视锥在所述工作范围上重合。
步骤2预设、投射匹配图案。
系统预设四个具有特征点的匹配图案(即特征点在整个画面上的二维平面坐标位置已知),四个匹配图案各不相同,且所述匹配图案具有被唯一识别的一个特征点。用所述投影仪将预设的四个具有特征点的匹配图案投射出来。
步骤3承接匹配图案。
在所述工作范围内以任意平面分别承接四个匹配图案(四个承接位置不必共面)。
步骤4扫描捕捉匹配图案特征点。
用三维扫描仪同时采集步骤3承接的四个匹配图案,通过画面特征分析,获得四个匹配图案特征点的扫描仪空间坐标系下的三维坐标。
步骤5计算投影视锥顶点与朝向以完成匹配。
依据投影仪视锥参数以及步骤4获得的扫描仪空间坐标系下的四个特征点的三维坐标,根据空间中线段的比例关系计算出投影仪机位在扫描仪空间坐标系下的视锥顶点与朝向。
进一步公开,上述步骤5实质上是利用已知的投影仪视锥参数,根据投影仪视锥棱线的夹角参数列出二元二次参数方程组;然后将投影仪视锥棱线的夹角参数方程组代入一次承接所得的匹配图案的三维坐标中(步骤4获得的扫描仪空间坐标系下的四个特征点的三维坐标),得到一个一元四次方程;最后求解出该一元四次方程投影视锥顶点坐标(即投影仪机位)。
再进一步公开,求解问题设为:对“已知投影视锥四条棱线(PA,PB,PC,PD)之间两两夹角,这些夹角∠APB,∠APC,∠APD,∠BPC,∠BPD,∠CPD即投影仪视锥参数,也为已知参数,以及投影视锥四条棱线与承接面的扫描仪空间坐标系下的四个交点的三维坐标,求棱锥顶点P坐标”问题的求解。求得的棱锥顶点P坐标,即为投影仪机位。
它可以转化为:已知扫描仪空间中,投影视锥形状、四条棱上各一点坐标,求投影视锥的顶点。即已知:点A,B,C,D坐标,及∠APB,∠BPC,∠CPD,∠DPA,∠APC,∠BPD,求点P的坐标。算法分为两步如下:
第一步:建立一元四次方程
将视锥旋转平移,得P′A′B′D′,使P′点与扫描仪空间坐标系下的原点O(0,0,0)重合,使点P′,A′,B′在平面OXZ中,同时方向为坐标系Z轴,旋转矩阵记为M。即 其中(m,n,l),(o,p,q)为单位向量,可以根据棱线之间夹角∠A’P’B’=θ1,∠B’P’D’=θ2,∠A’P’D’=θ3求出。
令t1=1,此时可得到与视锥PA′B′D′比例不同但相似的视锥PA″B″D″,根据几何关系列出关于t2的一元四次方程(方程1)。
at2 4+bt2 3+ct2 2+dt2 1+e=0 方程1
其中:
a=(f×f)-(4.0×cosTheta×cosTheta×T1×T1/(T2×T2))
b=(4.0×f×(l×cosTheta-g×q))-(-8.0×(T1×T1×cosTheta×(q×cosTheta+l)/(T2×T2)))
c=(2.0×f×(g+1.0-2.0×l×l)+4.0×(l×cosTheta-g×q)×(l×cosTheta-g×q))-(4.0×((T1×T1/(T2×T2)+l×l-1.0)×cosTheta×cosTheta+T1×T1×l×l/(T2×T2)+T1×T1×4.0×l×q×cosTheta/(T2×T2)))
d=(4.0×(l×cosTheta-g×q)×(g+1.0-2.0×l×l))-(-8.0×((T1×T1/(T2×T2)+l×l-1.0)×l×cosTheta+T1×T1×q×l×l/(T2×T2)))
e=((g+1.0-2.0×l×l)×(g+1.0-2.0×l×l))-(4.0×(T1×T1/(T2×T2)+l×l-1.0)×l×l)
f=(T3×T3-T1×T1-T2×T2)/(T2×T2)
g=(T3×T3-T1×T1)/(T2×T2)
cosTheta=m×o+n×p+l×q
T1=|AB|,T2=|AD|,T3=|DB|;|AB|,|AD|,|DB|为原视锥的线段长度。
上述a、b、c、d、e是未知数t2各个项中的系数,f、g、cosTheta是解算方程1中临时设的参数。
第二步:求解一元四次方程,即求解方程1,即:at2 4+bt2 3+ct2 2+dt2 1+e=0。
最终得到:t2=τ1,τ2,τ3,τ4
代入即可得到t3,进而得到B″,D″坐标,根据比例即可得到A′,B′,D′坐标,P点坐标旋转前即乘以旋转矩阵M的逆得出。
本发明方法的好处在于充分利用了可事先获得的投影视锥参数,在实际操作中将原“两次承接法”中的两次共面承接操作简化为一次非共面承接操作。在实际使用中,既简化了操作(省去了寻求大型平整平面已达到共面承接)、提高了效率(仅匹配一次),又提高了精度(减少了影响精度的因素)。具体来讲,由于“两次承接法”中影响计算结果的主要因素是三维扫描而来的两次共面承接而来的特征点的三维空间坐标,受到两次实际承接面的平整度(越平整则越符合共面要求,计算误差就越小)、相对距离(两个平面离得越远,相同程度的扫描误差带来的视锥顶端计算误差就越小)、扫描精度三个因素的影响。而在本发明方法中,扫描一次非共面承接的匹配图案,仅受到三维扫描仪的精度影响(投影视锥的各向夹角参数可以通过提前的其它高精度标定方法获取,或者直接从厂商的参数列表中获得)。所以,本发明方法相比于原有“两次承接法”,在系统误差与实际操作难度方面都有改善,在实际使用中则直接反映为匹配精度的提高。
附图说明
实施例中各个示意图如下
图1由扫描仪与投影仪交汇部分定义的工作范围;
图2具有特征点的匹配图案;
图3投影仪与四个承接面的相对位置关系;
图4投影视锥的顶点与四个承接到的特征点;
图5视锥旋转平移;
图6带入验根;
图7取距离最小的P点作为最终的投影仪在三维扫描仪空间坐标系下的机位;
附录一中示意图如下
图8视锥旋转平移;
附录二中示意图如下
图9满足∠APD=θ3的P点坐标集合;
图10分别满足∠APD=θ3,∠APB=θ1,∠BPD=θ2的P点坐标集合;
图11曲线为所有满足∠APB=θ1且∠BPD=θ2的P点集合;
图12P点集合。
具体实施方式
实施例
为了更好得理解本发明技术方案,以下结合附图和实施例,进一步详述一套根据投影匹配图案并使用三维扫描仪捕获图案特征点进行相关计算及操作的方法,包括以下步骤:
步骤1定义工作范围。
根据需要的工作范围,调整三维扫描仪与投影仪的位置与方向,确保两者的工作视锥在工作范围上重合(如图1,斜线区域为重合工作范围)。
步骤2投射匹配图案。
用投影仪将四个具有特征点的匹配图案(例如图2)投射出来。每个匹配图案各不相同,且具有可以被唯一识别的一个特征点(比如图案中心点像素坐标)。
步骤3承接匹配图案。
在上述工作范围内以任意平面分别承接各个匹配图案(无需确保四个匹配图案的特征点共面,例如图3)。
步骤4扫描捕捉匹配图案特征点。
用三维扫描仪的可见光色谱捕捉功能(一般三维扫描仪都自带该功能)同时采集上述四个匹配图案,通过画面特征分析(例如采用ARtoolkit函数库arDetectMarker函数),以及可见光像素位置与景深数据的换算功能(一般三维扫描仪都自带该功能,如Kinect扫描设备SDK中的m_pCoordinateMapper函数),获得四个匹配图案特征点的三维坐标。
步骤5计算投影视锥顶点与朝向以完成匹配。
根据步骤4获得的四个特征点的三维坐标,投影仪视锥参数,根据空间中线段的比例关系计算出投影仪在扫描仪空间坐标系下的视锥顶点与朝向(后文详细展开)。
其中,上述步骤5实质上是对“已知投影视锥四条棱线(PA,PB,PC,PD)之间两两夹角(∠APB,∠APC,∠APD,∠BPC,∠BPD,∠CPD)以及棱线与承接面的四个交点的三维坐标,求棱锥顶点坐标与四棱矢量(投影仪机位)”问题的求解。
它可以转化为:已知空间中,投影视锥形状、四条棱上各一点坐标,求投影视锥的顶点(图4)。即已知:点A,B,C,D坐标,及∠APB,∠BPC,∠CPD,∠DPA,∠APC,∠BPD,求点P的坐标。
详细算法分为两步如下:
第一步:建立一元四次方程
将视锥旋转平移(如图5所示),使P′点与原点O(0,0,0)重合,点P′,A′,B′在平面OXZ中,同时方向为坐标系Z轴,旋转矩阵记为M。即其中(m,n,l),(o,p,q)为单位向量,可以根据棱线之间夹角∠A’P’B’=θ1,∠B’P’D’=θ2,∠A’P’D’=θ3求出。
令t1=1,根据几何关系列出关于t2的一元四次方程(方程1),具体推导过程见附录一。
at2 4+bt2 3+ct2 2+dt2 1+e=0············方程1
其中:
a=(f×f)-(4.0×cosTheta×cosTheta×T1×T1/(T2×T2))
b=(4.0×f×(l×cosTheta-g×q))-(-8.0×(T1×T1×cosTheta×(q×cosTheta+l)/(T2×T2)))
c=(2.0×f×(g+1.0-2.0×l×l)+4.0×(l×cosTheta-g×q)×(l×cosTheta-g×q))-(4.0×((T1×T1/(T2×T2)+l×l-1.0)×cosTheta×cosTheta+T1×T1×l×l/(T2×T2)+T1×T1×4.0×l×q×cosTheta/(T2×T2)))
d=(4.0×(l×cosTheta-g×q)×(g+1.0-2.0×l×l))-(-8.0×((T1×T1/(T2×T2)+l×l-1.0)×l×cosTheta+T1×T1×q×l×l/(T2×T2)))
e=((g+1.0-2.0×l×l)×(g+1.0-2.0×l×l))-(4.0×(T1×T1/(T2×T2)+l×l-1.0)×l×l)
f=(T3×T3-T1×T1-T2×T2)/(T2×T2)
g=(T3×T3-T1×T1)/(T2×T2)
cosTheta=m×o+n×p+l×q
T1=|AB|,T2=|AD|,T3=|DB|,根据空间中线段的比例关系可以计算出投影仪在扫描仪空间坐标系下的视锥顶点与朝向。
第二步:求解一元四次方程,并处理实际应用中由于误差导致的无解或多解的的情况,即求解方程1。
根据重根判别式:
D=3b-8ac
E=-b+4abc-8ad
F=3b+16ac-16abc+16abd-64ae
A=D-3F
B=DF-9E
C=F-3DE
总判别式:
Δ=B2-4AC
(1)当D=E=F=0时,方程有一个四重实根。
(2)当DEF≠0,A=B=C=0时,方程有四个实根,其中有一个三重根。
(3)当E=F=0,D≠0时,方程有两对二重根;若D>0,根为实数;若D<0,根为虚数。
(4)当ABC≠0,Δ=0时,方程有一对二重实根;若AB>0,则其余两根为不等实根;若AB<0,则其余两根为共轭虚根。
其中,sgn表示符号因子。计算方法如下:
<1>当n=0时,sgn(n)=0。
<2>当n≠0时,sgn(n)=abs(n)/n,即
(下同)
(5)当Δ>0时,方程有两个不等实根和一对共轭虚根。
则有:
(6)当Δ<0时,若D与F均为正数,则方程有四个不等实根;否则方程有两对不等共轭虚根。
<1>若E=0,D>0,F>0,
<2>若E=0,D<0,F>0,
<3>若E=0,F<0,
<4>若E≠0,一定存在max{y1,y2,y3}=y2;故若D或F中有非正值即方程无实数解时,sqrt(y1)=sqrt(-y1)i,sqrt(y3)=sqrt(-y3)i,而y2始终为正。(sqrt代表二次根号)
此时有:
当D与F均为正时,四实根为:
当D或F中有非正值时,四虚根为:
最终得到:
t=t1,t2,t3,t4
带入即可得到B″,D″坐标,根据比例即可得到A′,B′,D′坐标,P点坐标旋转前即乘以旋转矩阵M的逆得出。
实际情况与方程近似根的取值:当上述方法用于实际应用时,由于扫描仪获得的点ABCD的空间坐标A,B,C,D存在测量误差,进而导致上述所求的一元四次方程不一定具有四个实数解。然而舍弃所有复数解则有可能错误的舍弃掉最优解。根据实验检验,在此直接取复数解的实数部分作为解的近似值。
至此已经求出前文所述的四个P点,并且通过计算得知有且仅有4个P点(证明见附录二)。显然P的四个解不一定都为四棱锥的顶点,本发明将第四个角点C带入验根即可得到P的唯一坐标(如图6所示)。
实际情况中,由于存在误差,由每组共四个三棱锥(三棱锥PABC,三棱锥PABD,三棱锥PACD,三棱锥PBCD)计算出的共16个P点有可能不像上文中所属存在重合的情况。因此用这16个解求出对应的投影矩阵,再以求解过程中剩余的棱线交点(即若P点是由三棱锥PABC求出,则带入点D)乘以对应投影矩阵得到投影画面中对应的二维像素点。比较像素点与原始画面中点的距离(如图7所示),取距离最小的P点作为最终的投影仪在扫描仪空间坐标系下的机位。
需要说明的是,本发明所述的三维扫描仪是一个抽象概念,指那些可以采集其工作范围内物体轮廓的三维坐标的设备,比如景深相机、体感捕捉设备、多镜头三维重建系统等。凡是采用此类设备与投影设备进行组合使用的系统的匹配过程都适用本发明技术方案方法。
附录一:一元四次方程的推导过程
首先,易知若已知四棱锥中每两棱之间的夹角以及每条棱上一点的坐标即可确定唯一一个顶点,即投影仪的机位。直接根据已知信息和空间几何关系列出方程计算较为复杂,故需要将问题进行转化。其次若已知固定三棱锥三条棱上三点以及三棱之间夹角即可确定出有限个顶点的解,具体证明会在附录中给出详细过程。根据以上结论,将求四棱锥顶点问题转化为求所有三条棱棱组合成的三棱锥顶点的问题。即求出PABC,PBCD,PCDA,PDAB,再求出这个四个解集中重合的唯一解,即为四棱锥的顶点。下面以求PDAB为例给出详细解法。
将视锥旋转平移(图8所示),使P′点与原点O(0,0,0)重合,点P′,A′,B′在平面OXZ中,同时方向为坐标系Z轴,旋转矩阵记为M。即 其中(m,n,l),(o,p,q)为单位向量,可以根据棱线之间夹角∠A’P’B’=θ1,∠B’P’D’=θ2,∠A’P’D’=θ3求出。
令t1=1,目前问题变成已知P’点, 其中(m,n,l),(o,p,q)为单位向量,|A’B’|=T1,|A’D’|=T2,|D’B’|=T3求A,B,D三点坐标。
目前有t1,t2,t3个未知数,我们先进行消元。
令t1=1,则有A″=(0,0,1),
根据相似列出方程1
根据余弦定理列出方程2,3
|A′D′|2=|PA′|2+|PD′|2-2|PA′|×|PD′|×cos θ3········方程2
|A′B′|2=|PA′|2+|PB′|2-2|PA′|×|PB′|×cos θ1········方程3
将2,3带入1得方程式1得:
根据得到方程5:
联立方程4,5可化简为一个关于t2的一元四次方程6:
化简得:
at2 4+bt2 3+ct2 2+dt2 1+e=0········方程6
其中:
a=(f×f)-(4.0×cosTheta×cosTheta×T1×T1/(T2×T2))
b=(4.0×f×(l×cosTheta-g×q))-(-8.0×(T1×T1×cosTheta×(q×cosTheta+l)/(T2×T2)))
c=(2.0×f×(g+1.0-2.0×l×l)+4.0×(l×cosTheta-g×q)×(l×cosTheta-g×q))-(4.0×((T1×T1/(T2×T2)+l×l-1.0)×cosTheta×cosTheta+T1×T1×l×l/(T2×T2)+T1×T1×4.0×l×q×cosTheta/(T2×T2)))
d=(4.0×(l×cosTheta-g×q)×(g+1.0-2.0×l×l))-(-8.0×((T1×T1/(T2×T2)+l×l-1.0)×l×cosTheta+T1×T1×q×l×l/(T2×T2)))
e=((g+1.0-2.0×l×l)×(g+1.0-2.0×l×l))-(4.0×(T1×T1/(T2×T2)+l×l-1.0)×l×l)
f=(T3×T3-T1×T1-T2×T2)/(T2×T2)
g=(T3×T3-T1×T1)/(T2×T2)
cosTheta=m×o+n×p+l×q
T1=|AB|,T2=|AD|,T3=|DB|
附录二:论证操作步骤5中算法的可行性。
证明:任意三条棱之间夹角,与其对应与承接面之间的交点,即可确定有限个个P点。
可用做图法简单证明P点的个数.根据作图可知已知A,B,D坐标,及∠APB=θ1,∠BPD=θ2,∠APD=θ3,即可确定有限个P点。
1)以锥PABD为例,画过点ADP的圆,将圆以AD为轴旋转一周(如图9所示),扫得的曲面即为满足∠APD=θ3的P点坐标集合。
2)同理,画出分别满足∠APB=θ1,∠BPD=θ2的P点,以AB,BD为轴画出曲面如图10所示
3)求其中两个曲面(以AB为轴和以BD为轴旋转得到的曲面)的交集,如图11中红色曲线所示(如图11所示),其几何意义为所有满足∠APB=θ1且∠BPD=θ2的P点集合。
4)求此曲线与剩余曲面的交集,即图12中点(如图12所示),其几何意义为所有满足∠APB=θ1且∠BPD=θ2且∠APD=θ3的P点集合。
以上步骤可以推测出满足条件的P点数量为关于平面ABD对称的每侧4个共8个点。通过验根可舍去其中一侧的四个点,此结果与上文中所得一元四次方程方程1情况吻合。

Claims (4)

1.一种增强现实系统中三维扫描坐标与投影坐标快速匹配的方法,其特征在于,包括如下步骤:
步骤1 布置设备、定义工作范围
现场设置有三维扫描模块、模型处理模块、投影反馈模块,所述三维扫描模块输入连接于模型处理模块,模型处理模块输出连接于投影反馈模块;所述三维扫描模块为三维扫描仪;所述模型处理模块为数据处理设备,用于特征分析、数据解算功能;所述投影反馈模块将预设的匹配图案投影出供三维扫描模块采集;
确定工作范围,调整所述三维扫描仪与投影仪的位置与方向,确保两者的工作视锥在所述工作范围上重合;
步骤2 预设、投射匹配图案
系统预设四个具有特征点的匹配图案,四个匹配图案各不相同,且所述匹配图案具有被唯一识别的一个特征点。用所述投影仪将预设的四个具有特征点的匹配图案投射出来;
步骤3 承接匹配图案
在所述工作范围内以任意平面分别承接四个匹配图案;
步骤4 扫描捕捉匹配图案特征点
用三维扫描仪同时采集步骤3承接的四个匹配图案,获得四个匹配图案特征点的扫描仪空间坐标系下的三维坐标;
步骤5 计算投影视锥顶点与朝向以完成匹配
依据投影仪视锥参数以及步骤4获得的扫描仪空间坐标系下的四个特征点的三维坐标,根据空间中线段的比例关系计算出投影仪机位在扫描仪空间坐标系下的视锥顶点与朝向。
2.如权利要求1所述的增强现实系统中三维扫描坐标与投影坐标快速匹配的方法,其特征在于,步骤5实质上是利用已知的投影仪视锥参数,根据投影仪视锥棱线的夹角参数列出二元二次参数方程组;然后将投影仪视锥棱线的夹角参数方程组代入一次承接所得的匹配图案的三维坐标中,得到一个一元四次方程;最后求解出该一元四次方程投影视锥顶点坐标。
3.如权利要求2所述的增强现实系统中三维扫描坐标与投影坐标快速匹配的方法,其特征在于,求解问题设为:对“已知投影视锥四条棱线(PA,PB,PC,PD)之间两两夹角,这些夹角∠APB,∠APC,∠APD,∠BPC,∠BPD,∠CPD即投影仪视锥参数,也为已知参数,以及投影视锥四条棱线与承接面的扫描仪空间坐标系下的四个交点的三维坐标,求棱锥顶点P坐标”问题的求解。求得的棱锥顶点P坐标,即为投影仪机位。
4.如权利要求3所述的增强现实系统中三维扫描坐标与投影坐标快速匹配的方法,其特征在于,转化为:已知扫描仪空间中,投影视锥形状、四条棱上各一点坐标,求投影视锥的顶点。即已知:点A,B,C,D坐标,及∠APB,∠BPC,∠CPD,∠DPA,∠APC,∠BPD,求点P的坐标,算法分为两步如下:
第一步:建立一元四次方程
将视锥旋转平移,得P′A′B′D′,使P′点与扫描仪空间坐标系下的原点O(0,0,0)重合,使点P′,A′,B′在平面OXZ中,同时方向为坐标系Z轴,旋转矩阵记为M,即(o,p,q),其中(m,n,l),(o,p,q)为单位向量,根据棱线之间夹角∠A’P’B’=θ1,∠B’P’D’=θ2,∠A’P’D’=θ3求出;
令t1=1,此时得到与视锥PA′B′D′比例不同但相似的视锥PA″B″D″,根据几何关系列出关于t2的一元四次方程
at2 4+bt2 3+ct2 2+dt2 1+e=0 方程1
其中:
a=(f×f)-(4.0×cosTheta×cosTheta×T1×T1/(T2×T2))
b=(4.0×f×(l×cosTheta-g×q))-(-8.0×(T1×T1×cosTheta×(q×cosTheta+l)/(T2×T2)))
c=(2.0×f×(g+1.0-2.0×l×l)+4.0×(l×cosTheta-g×q)×(l×cosTheta-g×q))-(4.0×((T1×T1/(T2×T2)+l×l-1.0)×cosTheta×cosTheta+T1×T1×l×l/(T2×T2)+T1×T1×4.0×l×q×cosTheta/(T2×T2)))
d=(4.0×(l×cosTheta-g×q)×(g+1.0-2.0×l×l))-(-8.0×((T1×T1/(T2×T2)+l×l-1.0)×l×cosTheta+T1×T1×q×l×l/(T2×T2)))
e=((g+1.0-2.0×l×l)×(g+1.0-2.0×l×l))-(4.0×(T1×T1/(T2×T2)+l×l-1.0)×l×l)
f=(T3×T3-T1×T1-T2×T2)/(T2×T2)
g=(T3×T3-T1×T1)/(T2×T2)
cosTheta=m×o+n×p+l×q
T1=|AB|,T2=|AD|,T3=|DB|;|AB|,|AD|,|DB|为原视锥的线段长度;
上述a、b、c、d、e是未知数t2各个项中的系数,f、g、cosTheta是解算方程1中临时设的参数;
第二步:求解一元四次方程,即求解方程1,即:at2 4+bt2 3+ct2 2+dt2 1+e=0;
最终得到:t2=τ1,τ2,τ3,τ4
代入即可得到t3,进而得到B″,D″坐标,根据比例即可得到A′,B′,D′坐标,P点坐标旋转前即乘以旋转矩阵M的逆得出。
CN201910752696.6A 2019-08-15 2019-08-15 增强现实系统中三维扫描坐标与投影坐标快速匹配的方法 Active CN110570525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910752696.6A CN110570525B (zh) 2019-08-15 2019-08-15 增强现实系统中三维扫描坐标与投影坐标快速匹配的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752696.6A CN110570525B (zh) 2019-08-15 2019-08-15 增强现实系统中三维扫描坐标与投影坐标快速匹配的方法

Publications (2)

Publication Number Publication Date
CN110570525A true CN110570525A (zh) 2019-12-13
CN110570525B CN110570525B (zh) 2022-05-13

Family

ID=68775579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752696.6A Active CN110570525B (zh) 2019-08-15 2019-08-15 增强现实系统中三维扫描坐标与投影坐标快速匹配的方法

Country Status (1)

Country Link
CN (1) CN110570525B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233158A (zh) * 2020-10-14 2021-01-15 首都师范大学 微纳米ct投影图像的二次投影配准方法
CN116128736A (zh) * 2023-04-19 2023-05-16 广东三姆森科技股份有限公司 一种扫描成像方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008128751A (ja) * 2006-11-20 2008-06-05 Roland Dg Corp 3次元形状測定方法およびその装置
JP2013077165A (ja) * 2011-09-30 2013-04-25 Kakei Gakuen 3次元形状データ処理方法、3次元形状データ処理装置
CN106371586A (zh) * 2016-08-24 2017-02-01 同济大学 一种互动区域可调的增强现实实现方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN107958491A (zh) * 2017-12-06 2018-04-24 河南省水利勘测设计研究有限公司 移动增强现实虚拟坐标与施工现场坐标匹配方法
CN108038902A (zh) * 2017-12-07 2018-05-15 合肥工业大学 一种面向深度相机的高精度三维重建方法和系统
CN108458671A (zh) * 2018-03-08 2018-08-28 西安知微传感技术有限公司 一种线结构光三维测量系统的标定方法
US20190026948A1 (en) * 2017-07-24 2019-01-24 Visom Technology, Inc. Markerless augmented reality (ar) system
CN109801379A (zh) * 2019-01-21 2019-05-24 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008128751A (ja) * 2006-11-20 2008-06-05 Roland Dg Corp 3次元形状測定方法およびその装置
JP2013077165A (ja) * 2011-09-30 2013-04-25 Kakei Gakuen 3次元形状データ処理方法、3次元形状データ処理装置
CN106371586A (zh) * 2016-08-24 2017-02-01 同济大学 一种互动区域可调的增强现实实现方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
US20190026948A1 (en) * 2017-07-24 2019-01-24 Visom Technology, Inc. Markerless augmented reality (ar) system
CN107958491A (zh) * 2017-12-06 2018-04-24 河南省水利勘测设计研究有限公司 移动增强现实虚拟坐标与施工现场坐标匹配方法
CN108038902A (zh) * 2017-12-07 2018-05-15 合肥工业大学 一种面向深度相机的高精度三维重建方法和系统
CN108458671A (zh) * 2018-03-08 2018-08-28 西安知微传感技术有限公司 一种线结构光三维测量系统的标定方法
CN109801379A (zh) * 2019-01-21 2019-05-24 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YAUN-CHOU CHENG: "AR-Based Positioning for Mobile Devices", 《INTERNATIONAL CONFERENCE ON PARALLEL PROCESSING WORKSHOPS (ICPPW)》 *
袁聪聪等: "基于平面标靶的三维扫描与数据配准", 《计算机工程与设计》 *
韦争亮等: "结构光三维测量系统中投影仪标定技术研究", 《光学技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233158A (zh) * 2020-10-14 2021-01-15 首都师范大学 微纳米ct投影图像的二次投影配准方法
CN116128736A (zh) * 2023-04-19 2023-05-16 广东三姆森科技股份有限公司 一种扫描成像方法、装置、设备及介质
CN116128736B (zh) * 2023-04-19 2023-08-15 广东三姆森科技股份有限公司 一种扫描成像方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110570525B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN110514143B (zh) 一种基于反射镜的条纹投影系统标定方法
CN111750806B (zh) 一种多视角三维测量系统及方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
Mendonca et al. Epipolar geometry from profiles under circular motion
Hartley et al. Parameter-free radial distortion correction with center of distortion estimation
JP5337243B2 (ja) 表面特徴の適応型3次元走査システム
CN110296667B (zh) 基于线结构光多角度投影的高反射表面三维测量方法
Wong et al. Camera calibration from surfaces of revolution
WO2014024579A1 (ja) 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
CN110378969B (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
KR20160082931A (ko) 깊이 카메라를 교정하는 방법
JP2016075637A (ja) 情報処理装置およびその方法
Wu et al. A novel high precise laser 3D profile scanning method with flexible calibration
CN109307483A (zh) 一种基于结构光系统几何约束的相位展开方法
CN110570525B (zh) 增强现实系统中三维扫描坐标与投影坐标快速匹配的方法
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
Xu et al. 3D multi-directional sensor with pyramid mirror and structured light
Gorevoy et al. Optimal calibration of a prism-based videoendoscopic system for precise 3D measurements
Barone et al. Structured light stereo catadioptric scanner based on a spherical mirror
Siddique et al. 3d object localization using 2d estimates for computer vision applications
Park et al. 3-D modeling of real-world objects using range and intensity images
Peng et al. Hybrid calibration procedure for structured light field system
Chen et al. Virtual binocular vision systems to solid model reconstruction
Chen et al. Simple calibration method for dual-camera structured light system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant