CN106371586B - 一种互动区域可调的增强现实实现方法 - Google Patents

一种互动区域可调的增强现实实现方法 Download PDF

Info

Publication number
CN106371586B
CN106371586B CN201610717548.7A CN201610717548A CN106371586B CN 106371586 B CN106371586 B CN 106371586B CN 201610717548 A CN201610717548 A CN 201610717548A CN 106371586 B CN106371586 B CN 106371586B
Authority
CN
China
Prior art keywords
projection
interaction area
scanning device
point
display apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610717548.7A
Other languages
English (en)
Other versions
CN106371586A (zh
Inventor
孙澄宇
王宇泽
郑兆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201610717548.7A priority Critical patent/CN106371586B/zh
Publication of CN106371586A publication Critical patent/CN106371586A/zh
Application granted granted Critical
Publication of CN106371586B publication Critical patent/CN106371586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种互动区域可调的增强现实实现方法，包括如下步骤实现:步骤1，构建云台；步骤2，实现互动区域可调；步骤3，操作方法；步骤4，读入数据并运行实现空间匹配。通过调节三维扫描设备与投影显示设备之间相对空间位置的四个维度，实现对增强现实互动区域及主信息图形投影方向的调节；利用三维扫描两次捕获到由投影显示设备满屏显示的同一个具有非中心对称关系图案的图形，通过算法计算出三维扫描设备与投影显示设备之间的相对位置关系，及显示设备的主要投影参数。有益效果：本发明加入旧有的增强现实互动系统中后，实现三维扫描设备与投影显示设备之间形成的互动区域,及主信息图形投影方向的可调节，拓展了旧有系统的应用场合。

Description

一种互动区域可调的增强现实实现方法
技术领域
本发明所属增强现实技术领域。
背景技术
目前，国内外都有基于增强现实技术的三维对象互动系统，如德国慕尼黑工业大学的Gerhard Schubert等人开发的CDP系统(http://cdp.ai.ar.tum.de/)，又如张伊娜发明的实用新型《一种三维模型互动演示装置》(授予公告号CN 205281823 U)。此类系统的运行具有相似的原理，即在不断循环的每一计算片断中，先通过三维扫描模块，以点云形式捕获参与互动的实物对象的外形，然后通过图形处理模块将其重构为由面组成的几何对象，在此基础上由数据处理模块对其进行各种数值计算，以生成相应的二维信息图形，最终由投影显示系统将该二维信息图形投射到与实物对象相匹配的空间位置，实现增强现实的效果。不断循环进行的上述计算片段，在强大计算能力的支持下，可以体现为由计算机增强至实物对象的信息与人操作实物对象的动态过程形成实时互动关系。
显然，上述旧有系统依赖于，以经三维扫描而来的实物对象所处的三维空间坐标系统为参考，描述投影显示的空间轨迹，基于此描述才有可能实现二维信息图形在真实空间中与实物对象的正确匹配。由于此类系统的投影显示设备与三维扫描设备都由市场采购集成而来，一方面缺乏相对于物理设备的准确焦点位置和扫描原点的技术信息，另一方面在集成安装过程中也总是存在各种误差，因此目前上述系统均采用了三维扫描模块与投影显示模块相对位置固定的设计，在搭建系统后可以通过在扫描而来的三维坐标系统中，为投影原点与方向引入三维调节参数，反复调试校准，来实现两者的匹配。正因为匹配工作较为困难，所以投影显示设备与三维扫描设备相对位置固定，而由两者的有效工作空间所交汇的互动区域(两个四棱锥的交集空间)亦被固定下来。
上述固定的互动区域对于灵活多变的应用需求而言就是一个问题。由于现有三维扫描设备可以获得其观察点处实物对象可见部分的所有点云(那些法线与扫描线呈较大锐角夹角的侧向面依然可以被点云覆盖，只是面上点的密度有所降低，但一般不影响面的重构计算)，而这些侧面上的投影效果却随着夹角的变大相应变差(圆形的像素在这些侧面上变成椭圆形，颜色、亮度、清晰度都会随之变差)。所以在旧有系统中两者相对位置固定的情况下，它往往只能提供一个几乎垂直于投影设备的最佳工作面(目前旧有系统不约而同地采取水平桌面作为最佳工作面，而扫描与投影设备固定于其正上方，主要的信息图形投影在实物对象的顶面及其各平行面)。显然，当信息图形需要投影在实物对象的不同方向时，这样的固定互动区域系统无法胜任；同时当实物对象的尺度超出桌面、或不可置于桌上，或在周围一定区域移动时，这样的固定互动区域系统也无法胜任。
本发明旨在基于旧有系统的一般原理，提出增加一个令互动区域可调的云台系统(云台自身可灵活安装在各种方向的固定或移动平台上)，云台上面固定的三维扫描设备与投影显示设备之间的相对位置可调，由配套操作与算法实现两者的快速空间匹配，获得一个新的互动区域，提高对各种实物对象的适应能力。
发明内容
本发明旨在基于旧有系统的一般原理，提出增加一个令互动区域可调的云台系统，云台上面固定的三维扫描设备与投影显示设备之间的相对位置可调，由配套操作与算法实现两者的快速空间匹配，获得一个新的互动区域，提高对各种实物对象的适应能力。
为此，本发明给出的方法技术方案为：
一种互动区域可调的增强现实实现方法，其特征在于，包括如下步骤实现:
步骤1，构建云台
该云台设计为上下两个刚性构件，两者以旋钮V同时实现竖向间距调节、围绕R-R'轴的旋转定位。
下方构件的底部用于与其他固定或可移动支座连接，其上部用于连接三维扫描设备。
上方构件用于连接投影设备，并通过横向调节螺母H实现横向平移与方向调节。
步骤2，实现互动区域可调
当三维扫描设备与投影显示设备通过该云台连接，分别通过调节旋钮H与V，实现在横向相对位置、竖向相对位置、横向方向相对夹角、竖向方向相对夹角的可变，调节到某一相对位置时，两者(三维扫描设备、投影显示设备)各自的工作范围(四棱锥)在空间中形成一个交集，该交集中在扫描设备的有效工作距离Smin至Smax之间，且在投影设备的最小聚焦距离Pmin以外，形成了有效的互动区域及主信息图形投影方向。即实现对于互动区域的调节。
步骤3，操作方法
首先由投影显示设备满屏显示一个具有非中心对称关系图案的图形，设在图像宽度为w个像素、高度为h个像素的满屏画面中，四角分别有红、绿、蓝、灰四个边长为t个像素的正方形色块，然后由操作者斜持一平板在互动区域内先后两次在两个不同位置分别承接完整的上述图形。
步骤4，读入数据并运行实现空间匹配
由三维扫描设备将两次采集该图形四角色块的点云(每点包含三维坐标与颜色值)，设三维扫描以O点为原点的点云空间坐标系统来描述投影显示设备的投影焦点P，扫描数据读入增强现实控制器中的图形与数据处理单元8，所述图形与数据处理单元8运行空间匹配算法，由空间匹配算法计算出P点的空间坐标及其各投影参数。
最后一步中算法的基本思路是：
1)分别在两次采集所得的具有非中心对称关系图案的图形中找到至少三组特征点对，且它们在各自所在采集面中不共线；
2)通过求出各点对之间连线的空间交点，得到投影焦点P的空间坐标；
3)过任意一个点，求一个平面多边形，除该点外其余顶点分别位于其他相应点对连线及延长线上，且该平面多边形与之前投影的图案中的相应多边形为相似多边形关系(图案在该平面及其平行平面上不变形)，该求得平面即为投影聚焦平面；
4)在投影聚焦平面上根据特征点在原图案中的位置关系，求得画面的横向、竖向、法向矢量；
5)根据上述矢量，以及特征点在原画面中与画面四角的像素比例关系，即可从特征点的空间坐标求得该投影聚焦平面上画面的四角坐标，求出投影四棱锥四条棱的矢量。
除了本发明利用紧凑的四维度可调节云台来实现投影设备与扫描设备的相对位置调节以外，还可以通过将投影设备与三维扫描设备分别安装于各自的云台上,并设置于不同的空间位置，在确保投影的匹配图象能被扫描设备完整采集的条件下,亦可在一定空间范围内实现互动区域的可变。在这种情况下,两个设备依然可通过本发明中的匹配方法,快速完成投影设备与扫描设备空间位置关系的匹配。这种实施方式,应看作是本发明构思在尺度延伸后的另一种具体实施方式。
以上技术方案的关键技术点:
1)可以通过调节三维扫描设备与投影显示设备之间相对空间位置的四个维度(横向距离、竖向距离、横向夹角、竖向夹角)，实现对增强现实互动区域及主信息图形投影方向的调节；
2)在无需知晓投影显示设备投影参数的条件下，利用三维扫描两次捕获到由投影显示设备满屏显示的同一个具有非中心对称关系图案的图形，通过算法计算出三维扫描设备与投影显示设备之间的相对位置关系，及显示设备的主要投影参数。
与现有技术相比，本发明的益效果:
本发明加入旧有的增强现实互动系统中后，可以实现三维扫描设备与投影显示设备之间形成的互动区域,及主信息图形投影方向的可调节，从而可以使信息图形按需要投影到实物对象的不同方向、适应尺度超出桌面、或不可置于桌上，或在周围一定区域移动的实物对象，大大拓展了旧有系统的应用场合。
附图说明
图1云台构成
图2加入云台后的增强现实系统
图3满屏显示的特殊图形
图4投影焦点P及其投影参数
图5聚焦平面与画面四角
标记说明：
1 扫描设备
2 云台
3 投影设备
4 互动区域
5 投有信息图形的实物对象
6 固定或可移动支座
7 与三维扫描设备连接的输入单元
8 图形与数据处理单元
9 与投影显示设备连接的输出单元
10 增强现实控制器
11 第一次承载完整图形的平面
12 第二次承载完整图形的平面
具体实施方式
以下给出实施例并结合附图，对本发明技术方案做进一步介绍。
实施例1
云台(图1)上下分别为两个刚性构件，两者以旋钮V同时实现竖向间距调节、围绕R-R'轴的旋转定位。下方构件的底部采用标准的摄影云台尺寸，并设有固定孔，用来与其他固定或可移动支座连接。下方构件的上部用于连接三维扫描设备。上方构件通过横向调节螺母H连接投影设备，实现横向平移与方向调节。即两个设备在固定过程中，可以分别通过调节旋钮H与V，实现它们在横向相对位置、竖向相对位置、横向方向相对夹角、竖向方向相对夹角的可变，从而实现对于互动区域的调节。
该云台可加入旧有系统，如图2。当三维扫描设备与投影显示设备通过该云台连接，并调节到某一相对位置时，两者各自的工作范围(四棱锥)在空间中形成一个交集。该交集中在扫描设备的有效工作距离Smin至Smax之间，且在投影设备的最小聚焦距离Pmin以外，形成了有效的互动区域(图2中以粗虚线表示的4部分)。通过调节旋钮H与V可使两者在一定的范围内变化相对空间位置关系，形成各种互动区域及主信息图形投影方向。
与云台配套的匹配方法，旨在以三维扫描获得的以O点(图2)为原点的点云空间坐标系统来描述投影显示设备的投影焦点P(图2)，及其各投影参数。
该匹配方法分为四步：
1)由投影显示设备满屏显示一个具有非中心对称关系图案的图形。比如图3在图像宽度为w个像素、高度为h个像素的满屏画面中，四角分别有红、绿、蓝、灰四个边长为t个像素的正方形色块。
2)由操作者斜持一平板在互动区域内先后两次在两个不同位置分别承接完整的上述图形,如图4中的11与12。
3)由三维扫描设备将两次采集该图形四角色块的点云(每点包含三维坐标与颜色值)读入增强现实控制器。
4)由空间匹配算法计算出P点的空间坐标，及其各投影参数。
上述空间匹配算法的具体实现如下(本实施例采用了四组特征点对)
一、算法的第一阶段：已知两次采集而来的两组每组四个色块的点云，求四组特征点对(A-E,B-F,C-G,D-H)的坐标，。
对于每次采集的点云集，可分别以颜色来区分，分别计算出每个四边形色块的中心,即坐标平均值，分别采取以下命名。
第一次A(Xa,Ya,Za)、B(Xb,Yb,Zb)、C(Xc,Yc,Zc)、D(Xd,Yd,Zd)
第二次E(Xe,Ye,Ze)、F(Xf,Yf,Zf)、G(Xg,Yg,Zg)、H(Xh,Yh,Zh)
二、算法的第二阶段：根据四组特征点对求出投影焦点P的(x,y,z)坐标
根据四棱锥的几何特点可知：两次截面上的四组对应点(A与E、B与F、C与G、D与H)分别所在四条棱，理想状态下他们具有共同的交点P。由于实际测量获得的各点存在一定的误差，无法确保其所描述的任意两条棱共面而具有交点，更无法确保任意两条棱的交点都完全重合，所以本算法分别取相邻两条棱之间的最小距离的中点作为两者的近似交点，并取两两相邻棱四个近似交点的平均值作为最终的P点。
1.分别取任意相邻两条棱上的四个点，以点A、B、E、F为例，即可通过以下点法式参数方程，列出直线AE与直线BF的方程。
直线AE参数方程为
直线BF参数方程为
虽然图4中两直线相交，但是由于测量值必然存在误差，因此此处假设直线AE与BF实为异面直线，其理想化的交点实际上取它们间最短距离的中点。
2.求上述两条直线间的最短距离线段，设该线段两端即为直线AE与BF上的两点M1与N1。
1)设点M1位于直线AE上，其与直线BF间的距离为d1,求当d1最小时M1坐标。
设点M1坐标为有关参数tm1的函数(Xm1,Ym1,Zm1)，其中
Xm1＝(Xe-Xa)tm1+Xa
Ym1＝(Ye-Ya)tm1+Ya
Zm1＝(Ze-Za)tm1+Za
利用已知点B(Xb,Yb,Zb)作为辅助点,有
过M1点作M1N1垂直于直线BF，垂足为N1，M1N1长即为d1，
设直线BF的单位向量为
其中
有
上式经整理后为d1关于tm1的二次函数，不妨缩写为
其中
a＝[(Ye-Ya)k1-(Ze-Za)j1]2+[(Ze-Za)i1-(Xe-Xa)k1]2+[(Xe-Xa)j1-(Ye-Ya)i1]2
b＝-2{[(Ye-Ya)k1-(Ze-Za)j1]((Yb-Ya)k1-(Zb-Za)j1)+[(Ze-Za)i1-(Xe-Xa)k1]((Zb-Za)i1-(Xb-Xa)k1)+[(Xe-Xa)j1-(Ye-Ya)i1]((Xb-Xa)j1-(Yb-Ya)i1)}
当d1取最小值时即为两异面直线AE与BF的距离，此时
将展开得
将tm1代入回(Xm1,Ym1,Zm1)中，可得到直线AE上点M1的坐标。
2)同理，可得到直线BF上点N1坐标，其到直线AE距离最小,其中
设点N1坐标为有关参数tn1的函数(Xn1,Yn1,Zn1)，其中
Xn1＝(Xf-Xb)tn1+Xb
Yn1＝(Yf-Yb)tn1+Yb
Zn1＝(Zf-Zb)tn1+Zb
3.求出M1N1的中点，即该次计算所得的近似交点P1(Xp1,Yp1,Zp1)
4.分别求另外三组相邻棱近似交点P2(Xp2,Yp2,Zp2)、P3(Xp3,Yp3,Zp3)、P4(Xp4,Yp4,Zp4)
1)由直线BF、CG确定的P2(Xp2,Yp2,Zp2)
其中
M2((Xf-Xb)tm2+Xb,(Yf-Yb)tm2+Yb,(Zf-Zb)tm2+Zb)
N2((Xg-Xc)tn2+Xc,(Yg-Yc)tn2+Yc,(Zg-Zc)tn2+Zc)
2)由直线CG、DH确定的P3(Xp3,Yp3,Zp3)
其中
M3((Xg-Xc)tm3+Xc,(Yg-Yc)tm3+Yc,(Zg-Zc)tm3+Zc)
N3((Xh-Xd)tn3+Xd,(Yh-Yd)tn3+Yd,(Zh-Zd)tn3+Zd)
3)以及由直线DH、AE确定的P4(X4,Y4,Z4)
其中
M4((Xh-Xd)tm4+Xd,(Yh-Yd)tm4+Yd,(Zh-Zd)tm4+Zd)
N4((Xe-Xa)tn4+Xa,(Ye-Ya)tn4+Ya,(Ze-Za)tn4+Za)
5.取P1、P2、P3、P4坐标平均值求得点P(Xp,Yp,Zp)
三、算法的第三阶段：由于投影仪的光路呈四棱锥形，其画面投射的上下方向不对称，而左右方向对称，对应图中即点A与B是相对P点对称，而A与D不对称，所以当取ABCD中的任意一个点，如A，该步骤求：过该点的投影聚焦平面AB'C”'D”'(图5)。
这里要求AB'C”'D”'为共面矩形，点B'位于点P与点B的连线上，且线段PA与线段PB'相等，点D”'与C”'也相对P点对称，点D”'与C”'尽可能靠近PD与PC直线(由于四条实测棱未必两两共面，所以最后确定的C”'D”'也是近似值，而并非追求一定落在PC与PD直线上)。
1.求矩形B'点
由B(Xb,Yb,Zb)，P(Xp,Yp,Zp)得直线PB参数方程为
因此可设在直线PB上的点B'坐标是关于参数tb的函数，如下
B′((Xb-Xp)tb+Xp,(Yb-Yp)tb+Yp,(Zb-Zp)tb+Zp)
由PB'＝PA，A(Xa,Ya,Za)可以以下方程求得tb
[(Xb-Xp)2+(Yb-Yp)2+(Zb-Zp)2]tb 2＝(Xa-Xp)2+(Ya-Yp)2+(Za-Zp)2
检验方向后可知此处取正值
再将tb代入回直线PB参数方程，即求得B′(Xb′,Yb′,Zb′)
2.求在PD直线上点D'，其与AB'构成直角三角形
由D(Xd,Yd,Zd)P(Xp,Yp,Zp)得直线PD参数方程
可在直线PD上的点D′坐标是关于参数td的函数，如下
D′((Xd-Xp)td+Xp,(Yd-Yp)td+Yp,(Zd-Zp)td+Zp)
由
可得求得td
其中
代入解得
代入到直线PD参数方程中，即可求得D′(Xd′,Yd′,Zd′)
3.求与D'相对P点对称的点C'(Xc',Yc',Zc')，且AB'C'D'为共面矩形
由于四边形AB'C'D'为矩形，有Xa+Xc′＝Xb′+Xd′
Ya+Yc′＝Yb′+Yd′
Za+Zc′＝Zb′+Zd′
解得
C'(Xc',Yc',Zc')＝(Xb′+Xd′-Xa,Yb′+Yd′-Ya,Zb′+Zd′-Za)
4.由于实测而来的PC与PD并不可能与理想状况那样相对P点完全对称且共面，所以除了上述从D入手外，还再从C入手，用相同的方法求得另一个共面矩形(最终的聚焦平面将取两者的平均)。这里从C入手，根据上述第2步骤的相同方法，可以在PC直线上求得C”使其与点A和点B'构成直角三角形，再通过上述第3步骤的相同方法，求出对应D”，结果如下：
C″((Xp-Xc)tc+Xc,(Yp-Yc)tc+Yc,(Zp-Zc)tc+Zc)
其中
D″(Xa+Xc″-Xb′,Ya+Yc″-Yb′,Za+Zc″-Zb′)
5.鉴于测量误差，最终取点C'与点C"中点，即两点平均值，作聚焦平面点C"'(Xc"',Yc"',Zc"')
6.同理求出聚焦平面点D"'(Xd"',Yd"',Zd"')
D"'(Xd"',Yd"',Zd"')＝(Xa+Xc"'-Xb′,Ya+Yc"'-Yb′,Za+Zc"'-Zb′)
综上所求得聚焦平面为共面矩形AB'C"'D"'
四、算法的第四阶段：根据上述AB'C”'D”'聚焦平面计算该平面特征单位矢量，包括向右方向向下方向法线方向
取的单位向量，即
取的单位向量，即
为垂直于单位向量与所在平面的单位向量，即求两者叉乘
五、算法第五阶段：根据AB'C”'D”'及向右方向向下方向以及匹配时使用的满屏显示的特殊图形中的色块象素在整个投影画面中所占的横向、纵向比例，计算投影四棱锥的真实边界，即满屏四角IJKL的坐标，最终计算出描述投影显示边界的四条棱的矢量PI、PJ、PK、PL(图5)。
A点需沿矢量移动(-t·|AB′|/(2(w-t)))单位的距离，同时沿矢量移动(-t·|AD″′|/(2(h-t)))单位的距离，到达I。
即
(O为坐标原点)
其中
同理可以得到J、K、L，进而求出
即
对J有
其中
对K有
其中
对L有
其中
最终，通过上述算法，获得了投影焦点P相对扫描原点O的空间坐标，以及一组描述投影特性的参数，包括：聚焦平面的向右方向向下方向法线方向四角的投射方向
实施例2
实施例1：利用紧凑的四维度可调节云台来实现投影设备与扫描设备的相对位置调节。
区别于实施例1，本实施例通过将投影设备与三维扫描设备分别安装于各自的云台上,并设置于不同的空间位置，在确保投影的匹配图象能被扫描设备完整采集的条件下,亦可在一定空间范围内实现互动区域的可变。在这种情况下,两个设备依然可通过实施例1中的匹配方法,快速完成投影设备与扫描设备空间位置关系的匹配。

Claims (3)

1.一种互动区域可调的增强现实实现方法，其特征在于，包括如下步骤实现:
步骤1，构建云台
该云台设计为上下两个刚性构件，两者以旋钮V同时实现竖向间距调节、围绕R-R'轴的旋转定位；
下方构件的底部用于与可移动支座连接，其上部用于连接三维扫描设备；
上方构件用于连接投影设备，并通过横向调节螺母H实现横向平移与方向调节；
步骤2，实现互动区域可调
当三维扫描设备与投影显示设备通过该云台连接，分别通过调节旋钮H与V，实现在横向相对位置、竖向相对位置、横向方向相对夹角、竖向方向相对夹角的可变，调节到某一相对位置时，三维扫描设备、投影显示设备各自的工作范围在空间中形成一个交集，该交集中在扫描设备的有效工作距离Smin至Smax之间，且在投影设备的最小聚焦距离Pmin以外，形成了有效的互动区域及主信息图形投影方向；即实现对于互动区域的调节；
步骤3，操作方法
首先由投影显示设备满屏显示一个具有非中心对称关系图案的图形，设在图像宽度为w个像素、高度为h个像素的满屏画面中，四角分别有红、绿、蓝、灰四个边长为t个像素的正方形色块，然后由操作者斜持一平板在互动区域内先后两次在两个不同位置分别承接完整的上述图形；
步骤4，读入数据并运行实现空间匹配
由三维扫描设备将两次采集该图形四角色块的点云，设三维扫描以O点为原点的点云空间坐标系统来描述投影显示设备的投影焦点P，扫描数据读入增强现实控制器中的图形与数据处理单元(8)，所述图形与数据处理单元(8)运行空间匹配算法，由空间匹配算法计算出P点的空间坐标及其各投影参数。
2.如权利要求1所述的方法，其特征在于，所述最后一步中算法的基本思路是：
1)分别在两次采集所得的具有非中心对称关系图案的图形中找到至少三组特征点对，且它们在各自所在采集面中不共线；
2)通过求出各点对之间连线的空间交点，得到投影焦点P的空间坐标；
3)过任意一个点，求一个平面多边形，除该点外其余顶点分别位于其他相应点对连线及延长线上，且该平面多边形与之前投影的图案中的相应多边形为相似多边形关系，求得平面即为投影聚焦平面；
4)在投影聚焦平面上根据特征点在原图案中的位置关系，求得画面的横向、竖向、法向矢量；
5)根据上述矢量，以及特征点在原画面中与画面四角的像素比例关系，即可从特征点的空间坐标求得该投影聚焦平面上画面的四角坐标，求出投影四棱锥四条棱的矢量。
3.如权利要求1或者2所述的方法，其特征在于，通过将投影设备与三维扫描设备分别安装于云台上,并设置于不同的空间位置，在确保投影的匹配图象能被扫描设备完整采集的条件下,实现互动区域的可变，并采用空间匹配算法,快速完成投影设备与扫描设备空间位置关系的匹配。
CN201610717548.7A 2016-08-24 2016-08-24 一种互动区域可调的增强现实实现方法 Active CN106371586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610717548.7A CN106371586B (zh) 2016-08-24 2016-08-24 一种互动区域可调的增强现实实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610717548.7A CN106371586B (zh) 2016-08-24 2016-08-24 一种互动区域可调的增强现实实现方法

Publications (2)

Publication Number Publication Date
CN106371586A CN106371586A (zh) 2017-02-01
CN106371586B true CN106371586B (zh) 2018-10-26

Family

ID=57879238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610717548.7A Active CN106371586B (zh) 2016-08-24 2016-08-24 一种互动区域可调的增强现实实现方法

Country Status (1)

Country Link
CN (1) CN106371586B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784693B (zh) * 2017-09-22 2021-06-04 西安点云生物科技有限公司 一种信息处理方法和装置
CN107993289B (zh) * 2017-12-06 2021-04-13 重庆欧派信息科技有限责任公司 基于ar增强现实技术的装修系统
US10777012B2 (en) 2018-09-27 2020-09-15 Universal City Studios Llc Display systems in an entertainment environment
CN110570525B (zh) * 2019-08-15 2022-05-13 同济大学 增强现实系统中三维扫描坐标与投影坐标快速匹配的方法
CN114708403A (zh) * 2020-12-16 2022-07-05 高勇 一种互动投影输入输出设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1741620A (zh) * 2005-09-29 2006-03-01 北京理工大学 用于现场数字三维重建的增强现实定点观察系统
CN101833896A (zh) * 2010-04-23 2010-09-15 西安电子科技大学 基于增强现实的地理信息指引方法与系统
CN104320587A (zh) * 2014-11-12 2015-01-28 南京汉图信息技术有限公司 一种室外云台摄像机的自动获取取景范围的方法
US9060136B1 (en) * 2010-06-14 2015-06-16 Open Invention Network, Llc Advanced gameplay system
CN105115560A (zh) * 2015-09-16 2015-12-02 北京理工大学 一种船舱舱容的非接触测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1741620A (zh) * 2005-09-29 2006-03-01 北京理工大学 用于现场数字三维重建的增强现实定点观察系统
CN101833896A (zh) * 2010-04-23 2010-09-15 西安电子科技大学 基于增强现实的地理信息指引方法与系统
US9060136B1 (en) * 2010-06-14 2015-06-16 Open Invention Network, Llc Advanced gameplay system
CN104320587A (zh) * 2014-11-12 2015-01-28 南京汉图信息技术有限公司 一种室外云台摄像机的自动获取取景范围的方法
CN105115560A (zh) * 2015-09-16 2015-12-02 北京理工大学 一种船舱舱容的非接触测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《五自由度并联视觉云台机构的性能分析与误差建模》;胡江;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160115;全文 *
《基于移动增强现实的虚拟机械臂系统研究与实现》;王志强;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160615;全文 *

Also Published As

Publication number Publication date
CN106371586A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN106371586B (zh) 一种互动区域可调的增强现实实现方法
Raskar et al. Multi-projector displays using camera-based registration
CN102438153B (zh) 多摄像机图像校正方法和设备
Raij et al. Auto-calibration of multi-projector display walls
CN106091984A (zh) 一种基于线激光的三维点云数据获取方法
CN104735465B (zh) 在视频画面中植入平面图案广告的方法及装置
EP2631740A2 (en) System for reproducing virtual objects
US6715888B1 (en) Method and system for displaying images on curved surfaces
CN110099266A (zh) 投影机画面校正方法、装置及投影机
CN104168467A (zh) 运用时间序列结构光技术实现投影显示几何校正的方法
CN109523635B (zh) 一种三维人体扫描非刚性重建和测量方法及装置
JP7088530B2 (ja) ３次元計測対象物体の表面に計測結果関連情報を投影する方法および装置
CN106331682B (zh) 一种互动区域可调的增强现实云台系统
Sagawa et al. Calibration of lens distortion by structured-light scanning
CN114820817A (zh) 基于高精度线激光3d相机的标定方法和三维重建方法
JP2012141758A (ja) 三次元データ処理装置、方法及びプログラム
Portalés et al. An efficient projector calibration method for projecting virtual reality on cylindrical surfaces
Zhou et al. Automatic calibration of a multiple-projector spherical fish tank vr display
JP2011075336A (ja) ３次元形状計測装置、３次元形状計測方法
Fleischmann et al. Fast projector-camera calibration for interactive projection mapping
WO2015174885A1 (ru) Способ построения трехмерного цветного изображения и устройство для его осуществления
Yapo et al. Dynamic projection environments for immersive visualization
Kern et al. Projector-based augmented reality for quality inspection of scanned objects
Lincoln et al. Continual surface-based multi-projector blending for moving objects
CN111045286A (zh) 基于两折幕场地的投影方法及系统、两折幕场地

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant