CN109345633A - 一种面向增强现实装配的全景三维注册系统及方法 - Google Patents

一种面向增强现实装配的全景三维注册系统及方法 Download PDF

Info

Publication number
CN109345633A
CN109345633A CN201811096287.7A CN201811096287A CN109345633A CN 109345633 A CN109345633 A CN 109345633A CN 201811096287 A CN201811096287 A CN 201811096287A CN 109345633 A CN109345633 A CN 109345633A
Authority
CN
China
Prior art keywords
coordinate system
igps
coordinate
design
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811096287.7A
Other languages
English (en)
Other versions
CN109345633B (zh
Inventor
尹传豪
郭建华
王超凡
胡建中
蒋科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Machinery Equipment Research Institute
Original Assignee
Beijing Machinery Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Machinery Equipment Research Institute filed Critical Beijing Machinery Equipment Research Institute
Priority to CN201811096287.7A priority Critical patent/CN109345633B/zh
Publication of CN109345633A publication Critical patent/CN109345633A/zh
Application granted granted Critical
Publication of CN109345633B publication Critical patent/CN109345633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种面向增强现实装配的全景三维注册系统及方法,属于增强现实技术领域,解决了现有技术中注册错误率高、应用环境尺寸小、照明要求高、算法计算量高、定位精度低的问题。包括:iGPS发射器,用于发射扇面激光;iGPS基准尺,用于对测量坐标系进行标定;iGPS矢量传感器,用于接收发射器发出的激光信号;iGPS工作站,用于求取iGPS矢量传感器中激光信号接收点的坐标;摄像终端,用于获取现实场景图像;计算及显示终端,用于将虚拟信息进行坐标变换,并叠加在现实场景图像中。本发明无需进行特征识别,可实现所有尺寸产品、视野角度、任何照明环境的全景三维注册;同时,算法计算量低,定位精度为0.2mm,可应用于增强现实装配过程的精确展示。

Description

一种面向增强现实装配的全景三维注册系统及方法
技术领域
本发明涉及增强现实技术领域,尤其涉及一种面向增强现实装配的全景三维注册系统及方法。
背景技术
增强现实是随着虚拟现实技术发展起来的一种新的交互技术,它将虚拟信息实时叠加在真实环境中,从而给人一种虚实融合的视觉感受。增强现实装配指的是将增强现实技术运用于装配现场,以进行装配引导、提示以及纠错的过程。三维注册方法指如何确定虚拟场景与现实环境坐标系之间的变换关系,并将变换后的虚拟信息叠加在现实图像上。传统的增强现实装配三维注册方法主要有基于视觉的三维注册方法与基于地理定位的三维注册方法。
其中,基于视觉的三维注册方法,如“扫码增强现实”产品,主要依靠摄像头对装配场景中的标志物进行特征识别,并计算标识物的位置、姿态,从而得到虚拟与现实环境坐标系之间的变换关系,并将变换后的虚拟信息叠加在现实图像上。基于视觉的三维注册方法定位精度为毫米级,可以实现装配过程的精确展示,但是存在以下问题:
(1)识别注册错误率高。当待识别标志物的关键特征存在遮挡时,容易导致标志物无法识别;当待识别标志物与其他标识物存在相似特征时,容易发生特征识别匹配错误。
(2)应用对象尺寸小。必须保证标识物在拍摄图像中占有一定尺寸,使其拥有足够像素用于特征识别,只能用于中小尺寸产品、部分视野角度的增强现实三维注册过程。
(3)照明要求高。必须保证装配环境中有足够照明,以支持标识物通过摄像头进行特征识别。
(4)算法计算量高。计算过程需要对拍摄图像中所有的像素点进行离散分析,对计算设备的性能要求高,三维注册过程容易出现卡顿。
同时,基于地理定位的三维注册方法,如“Pokemon Go”产品,采用增强现实摄像设备所自带的GPS、重力、角度等传感器,来感知摄像设备的位置、姿态,从而得到虚拟与现实环境坐标系之间的转换关系。但基于地理定位的三维注册方法其定位精度只有米级,无法精确展示产品的装配过程。
发明内容
鉴于上述的分析,本发明旨在提供一种面向增强现实装配的全景三维注册系统及方法,用以解决现有增强现实装配三维注册方法存在的注册错误率高、应用环境尺寸小、照明要求高、算法计算量高、定位精度低的问题。
本发明的目的主要是通过以下技术方案实现的:
一方面,提供了一种面向增强现实装配的全景三维注册系统,包括:iGPS发射器、iGPS基准尺、iGPS矢量传感器、iGPS工作站、摄像终端、计算及显示终端;
所述iGPS发射器,用于发射扇面激光;
所述iGPS基准尺,用于对测量坐标系进行标定;
所述iGPS矢量传感器,包含两个激光信号接收点,用于接收发射器发出的激光信号,并传输给所述iGPS工作站;
所述iGPS工作站,对接收到的激光信号进行处理,求取上述激光信号接收点在测量坐标系中的坐标,并传输给所述计算及显示终端;
所述摄像终端,与所述iGPS矢量传感器固定连接,用于获取现实场景图像,并传输给所述计算及显示终端;
所述计算及显示终端,用于接收上述激光信号接收点坐标及现实场景图像,并根据虚拟信息与现实环境坐标系之间的变换关系,将虚拟信息进行坐标变换后,叠加在现实场景图像中。
本发明有益效果如下:
(1)识别注册准确。本发明通过iGPS激光定位确定摄像设备位置、姿态,无需进行特征识别;实现装配环境中无标识物的全景精确三维注册。
(2)实现全景三维注册。本发明通过外部测量确定摄像设备位置、姿态,对拍摄图像不做要求,可实现所有尺寸产品、视野角度的全景三维注册。
(3)无照明要求。本发明无需通过机器视觉识别标志物,可以适用于任何照明环境。
(4)算法计算量低。本发明计算过程不涉及图像处理、特征提取、匹配等过程,算法计算量低。
(5)定位精度高。本发明所使用的iGPS测量设备定位精度为0.2mm,可应用于增强现实装配过程的精确展示。
在上述方案的基础上,本发明还做了如下改进:
进一步,所述iGPS矢量传感器的数量为两个,且两个iGPS矢量传感器呈一定夹角放置。
进一步,还包括:用以固定连接iGPS矢量传感器与摄像终端的固定架。
进一步,所述iGPS发射器固定安装在装配现场,以固定频率旋转发射扇面激光;所述iGPS发射器的数量不少于四台。
进一步,所述工作站,将接收到的激光信号转化为数字化的角度信息,再通过角度交会方法及三角测量原理计算iGPS矢量传感器中激光信号接收点的坐标。
另一方面,提供了一种面向增强现实装配的全景三维注册方法,包括以下步骤:
步骤S1、在装配现场四周布置四台iGPS发射器、iGPS基准尺、两个iGPS矢量传感器、iGPS工作站、计算及显示终端;使用iGPS基准尺对iGPS测量网络进行标定,建立测量坐标系;将两个iGPS矢量传感器放置在设计坐标系的已知位置,记录两个iGPS矢量传感器上四个激光信号接收点在设计坐标系中的坐标Pw0_i;并求取两个iGPS矢量传感器上四个激光信号接收点的测量坐标系坐标Pm0_i;i取1……4;
步骤S2、将上述获取的四个激光信号接收点的坐标Pw0_i、Pm0_i代入设计坐标系与测量坐标系之间的转换公式中,求得测量坐标系与设计坐标系之间的变换矩阵Hwm
步骤S3、将两个iGPS矢量传感器从步骤S1中放置的位置取下,与摄像终端一起安装在固定架上;记录iGPS矢量传感器的四个激光信号接收点在摄像设备坐标系中的坐标Pc_i;并实时求取iGPS矢量传感器上四个激光信号接收点的测量坐标系坐标Pm_i
步骤S4、将上述实时获取的Pc_i、Pm_i及测量坐标系与设计坐标系之间的变换矩阵Hwm代入摄像设备坐标系、设计坐标系、测量坐标系之间的转换公式中,求得当前摄像终端获取第k帧图像时的摄像设备坐标系与设计坐标系之间变换矩阵Hcw(k);
步骤S5、根据摄像设备成像原理,求取投影矩阵Hsc
步骤S6、实时将增强现实装配设计的虚拟信息第k帧图像中的各像素点坐标P′w(X′w,Y′w,Z′w)及上述求取的第k帧图像的摄像设备坐标系与设计坐标系之间变换矩阵Hcw(k),代入显示器坐标系与设计坐标系之间的转换公式中,可以得到各像素点在显示器坐标系中的坐标P′s(Xs,Ys),并叠加在摄像头获取的视频图像上。
本发明有益效果如下:
该方法无需进行特征识别,可实现所有尺寸产品、视野角度、任何照明环境的全景三维注册。该方法计算过程不涉及图像处理、特征提取、匹配等过程,算法计算量低,定位精度为0.2mm,可应用于增强现实装配过程的精确展示。
在上述方案的基础上,本发明还做了如下改进:
进一步,所述设计坐标系与测量坐标系之间的转换关系为:
式中,Pw(Xw,Yw,Zw)为点P在设计坐标系中的坐标,Pm(Xm,Ym,Zm)为点P在测量坐标系中的坐标,Hwm为测量坐标系与设计坐标系之间的变换矩阵;为设计坐标系旋转矩阵,为设计坐标系平移向量。
进一步,所述摄像设备坐标系、设计坐标系、测量坐标系之间的转换关系为:
式中,Pc(Xc,Yc,Zc)为点P在摄像设备坐标系中的坐标、Pw(Xw,Yw,Zw)为点P在设计坐标系中的坐标、Pm(Xm,Ym,Zm)为点P在测量坐标系中的坐标;Hcw为摄像设备坐标系与设计坐标系之间的变换矩阵;为摄像设备坐标系旋转矩阵,为摄像设备坐标系平移向量。
进一步,所述投影矩阵Hsc为:
式中,f为摄像设备的焦距参数,dx、dy表示显示器在X轴与Y轴方向的放缩比例,表示成像坐标系原点Oi在显示器坐标系中的坐标。
进一步,所述显示器坐标系与设计坐标系之间的转换关系为:
式中,Ps(Xs,Ys)为点P在显示器坐标系中的坐标,Pw(Xw,Yw,Zw)为点P在设计坐标系中的坐标,Hsc为投影矩阵,Hcw为摄像设备坐标系与设计坐标系之间的变换矩阵。
本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为本发明实施例中面向增强现实装配的全景三维注册系统结构图;
图2为本发明实施例中坐标变换示意图;
附图标记:
1-iGPS发射器,2-iGPS矢量传感器,3-iGPS基准尺,4-iGPS工作站,5-固定架,6-摄像终端,7-计算及显示终端,8-增强现实装配设计所采用的设计坐标系Ow-XwYwZw;9-iGPS所建立的测量坐标系Om-XmYmZm;10-摄像设备坐标系Oc-XcYcZc,Oc为摄像设备光心,Zc为摄像设备光轴;11-摄像设备的成像坐标系Oi-XiYi;12-计算与显示设备的屏幕坐标系Os-XsYs
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
实施例1
本发明的一个具体实施例,公开了一种面向增强现实装配的全景三维注册系统。如图1所示,包括:iGPS发射器(1);iGPS矢量传感器(2);iGPS基准尺(3);iGPS工作站(4);摄像终端(6);计算及显示终端(7);
iGPS发射器,用于发射扇面激光;
iGPS基准尺,用于对测量坐标系进行标定;
iGPS矢量传感器,包含两个激光信号接收点,用于接收发射器发出的激光信号,并传输给所述iGPS工作站;
iGPS工作站,对接收到的激光信号进行处理,求取上述激光信号接收点在测量坐标系中的坐标,并传输给所述计算及显示终端;
摄像终端,与所述iGPS矢量传感器固定连接,用于获取现实场景图像,并传输给所述计算及显示终端;
计算及显示终端,用于接收上述激光信号接收点坐标及现实场景图像,并根据虚拟信息与现实环境坐标系之间的变换关系,将虚拟信息进行坐标变换后,叠加在现实场景图像中。
实施时,通过运用iGPS设备实时获取摄像设备坐标系中四个固定点位置,计算摄像头相对于增强现实装配设计所采用的设计坐标系的变换矩阵,进而计算虚拟信息在屏幕坐标系中显示的图像内容,与现实图像叠加完成增强现实装配全景三维注册过程。
与现有技术相比,本实施例提供的面向增强现实装配的全景三维注册系统。(1)识别注册准确。本发明通过iGPS激光定位确定摄像设备位置、姿态,无需进行特征识别;实现装配环境中无标识物的全景精确三维注册。(2)实现全景三维注册。本发明通过外部测量确定摄像设备位置、姿态,对拍摄图像不做要求,可实现所有尺寸产品、视野角度的全景三维注册。(3)无照明要求。本发明无需通过机器视觉识别标志物,可以适用于任何照明环境。(4)算法计算量低。本发明计算过程不涉及图像处理、特征提取、匹配等过程,算法计算量低。(5)定位精度高。本发明所使用的iGPS测量设备定位精度为0.2mm,可应用于增强现实装配过程的精确展示。
具体来说,iGPS发射器固定安装在装配现场,以固定频率(优选的,3000r/min)旋转发射扇面激光,并通过iGPS矢量传感器进行接收。为了精确获取iGPS矢量传感器的坐标,iGPS发射器的数量不少于四台,iGPS发射器越多,测量的位置越精确,优选的,采用四台iGPS发射器。
iGPS矢量传感器接收发射器发出的激光信号,因此数量越多,得到的定位位置越精确,优选的,选用两个iGPS矢量传感器,其中,每个iGPS矢量传感器均由两个固定距离的传感器(即两个激光信号接收点)组成,两个iGPS矢量传感器成一定角度放置(优选的,垂直放置)。
iGPS基准尺,与iGPS工作站连接,用于对测量坐标系进行标定。
iGPS工作站,配置有测量iGPS数据预处理与传输设备(如:PCE)以及数据处理软件(如:Surveyor),与iGPS矢量传感器及计算及显示终端分别进行数据传输(有线或者无线的方式),对iGPS矢量传感器接收到的激光信号进行处理,求取iGPS矢量传感器上激光信号接收点的坐标,并将求取的坐标发送给计算及显示终端;具体地,将接收到的激光信号转化为数字化的角度信息,再通过现有的角度交会方法及三角测量原理计算iGPS矢量传感器坐标。
摄像终端用于获取现实场景图像(优选的,配有标准镜头的摄像机),并传输给(可以通过有线或无线的方式)计算及显示终端。需要强调的是,摄像终端需与iGPS矢量传感器固定连接,优选的,通过固定架(5)将两个iGPS矢量传感器与摄像终端固定在一起(两个iGPS矢量传感器成一定角度)。
计算及显示终端,用于接收iGPS工作站传输的iGPS矢量传感器上激光信号接收点的坐标信息及摄像终端传输的现实场景图像,并根据虚拟信息与现实环境坐标系之间的变换关系,将虚拟信息进行坐标变换后,叠加在现实场景图像的指定位置,并利用显示终端进行呈现,实现增强现实装配全景三维注册;其中,虚拟信息与现实环境坐标系之间的变换关系包括:摄像设备坐标系、设计坐标系、测量坐标系、成像坐标系、显示器坐标系之间的转换关系,通过求取上述坐标系之间的转换矩阵,进而将设计坐标系下的虚拟信息转换到显示器坐标系。
需要说明的是,该系统中的iGPS发射器、iGPS矢量传感器、iGPS工作站可以由其他数字化测量设备如激光跟踪仪、三坐标测量设备等替代,获取摄像终端的位置信息。
实施例2
公开了一种应用实施例1中的系统的面向增强现实装配的全景三维注册注册方法,包括以下步骤:
步骤S1、在装配现场四周布置四台iGPS发射器、iGPS基准尺、两个iGPS矢量传感器、iGPS工作站、计算及显示终端;使用iGPS基准尺对iGPS测量网络进行标定,建立测量坐标系;将两个iGPS矢量传感器放置在设计坐标系的已知位置,记录两个iGPS矢量传感器上四个激光信号接收点在设计坐标系中的坐标Pw0_i;并求取两个iGPS矢量传感器上四个激光信号接收点的测量坐标系坐标Pm0_i;i取1……4;
步骤S2、将上述获取的四个激光信号接收点的坐标Pw0_i、Pm0_i代入设计坐标系与测量坐标系之间的转换公式中,求得测量坐标系与设计坐标系之间的变换矩阵Hwm
步骤S3、将两个iGPS矢量传感器从步骤S1中放置的位置取下,与摄像终端一起安装在固定架上;记录iGPS矢量传感器的四个激光信号接收点在摄像设备坐标系中的坐标Pc_i;并实时求取iGPS矢量传感器上四个激光信号接收点的测量坐标系坐标Pm_i
步骤S5、将上述实时获取的Pc_i、Pm_i及测量坐标系与设计坐标系之间的变换矩阵Hwm代入摄像设备坐标系、设计坐标系、测量坐标系之间的转换公式中,求得当前摄像终端获取第k帧图像时的摄像设备坐标系与设计坐标系之间变换矩阵Hcw(k);
步骤S6、根据摄像设备成像原理,求取投影矩阵Hsc
步骤S7、实时将增强现实装配设计的虚拟信息第k帧图像中的各像素点坐标P′w(X′w,Y′w,Z′w)及上述求取的第k帧图像的摄像设备坐标系与设计坐标系之间变换矩阵Hcw(k),代入显示器坐标系与设计坐标系之间的转换公式中,可以得到各像素点在显示器坐标系中的坐标P′s(Xs,Ys),并叠加在摄像头获取的视频图像上。
与现有技术相比,本实施例提供的面向增强现实装配的全景三维注册方法,无需进行特征识别,可实现所有尺寸产品、视野角度、任何照明环境的全景三维注册。该方法计算过程不涉及图像处理、特征提取、匹配等过程,算法计算量低,定位精度为0.2mm,可应用于增强现实装配过程的精确展示。
具体来说,在步骤S1中:在实际应用的装配现场(可以为球体、长方体等封闭/半封闭空间,优选的,为长方体车间)周围布置四台iGPS发射器(优选的,车间天花板的四个角落),并将两个iGPS矢量传感器、iGPS工作站、计算及显示终端连接;iGP基准尺与iGPS工作站连接;并对上述设备供电;
在实际应用中,可以根据装配现场环境,摆放和调整发射器的位置,应保证发射器顶点形成的四边形能够覆盖装配区域,优选的,采用具有最佳测量效果的矩形覆盖。
需要说明的是,将两个iGPS矢量传感器放置于装配现场中的已知标定位置(如:对于汽车转配现场,汽车轮胎位置),并记录传感器中四个激光信号接收点在设计坐标系中的坐标Pw0_i(i=1,2,3,4)。其中,设计坐标为装配对象设计时采用的坐标,即装配对象中各点的设计坐标可以直接获取。
使用iGPS基准尺对iGPS测量网络进行标定,建立测量坐标系。开启iGPS发射器,发射扇面信号,iGPS矢量传感器接收激光信号,传递给iGPS工作站,求取iGPS矢量传感器上传感器的测量坐标系坐标Pm0_i(i=1,2,3,4),并传递给计算及显示终端。
需要说明的是,在测量坐标系中,需将所有iGPS发射器都归纳入统一的测量坐标系,优选的,可以任意iGPS发射器为基准建立,即将测量坐标系的原点选在某一iGPS发射器的中心位置,并通过iGPS基准尺进行标定,建立测量坐标系。
在步骤S2中:设计坐标系与测量坐标系之间的转换公式为:
式中,Pw(Xw,Yw,Zw)为点P在设计坐标系中的坐标,Pm(Xm,Ym,Zm)为点P在测量坐标系中的坐标,Hwm为测量坐标系与设计坐标系之间的变换矩阵;变换矩阵Hwm包含一个3×3设计坐标系旋转矩阵和一个3×1的设计坐标系平移向量
需要强调的是,上述变换矩阵Hwm为定值,由设计坐标系与测量坐标系确定,与摄像设备坐标系的移动无关;因此,将步骤S1中获取的四个激光信号接收点的坐标Pw0_i、Pm0_i代入设计坐标系与测量坐标系之间的转换公式中,即可求得测量坐标系与设计坐标系之间的变换矩阵Hwm;在之后进行三维注册坐标变换的过程中,将此变换矩阵Hwm作为已知值,避免了重复运作带来的工作量。
在步骤S3中,将步骤S1中的两个iGPS矢量传感器从先前放置的位置取下,并与摄像终端安装在固定架上(移动时,iGPS矢量传感器与摄像终端整体保持相对静止);实时记录iGPS矢量传感器的四个激光信号接收点在摄像设备坐标系中的坐标Pc_i;并实时求取iGPS矢量传感器上四个激光信号接收点的测量坐标系坐标Pm_i;同时,发送到计算及显示终端;
在步骤S4中:将步骤S3中实时获取的Pc_i、Pm_i及步骤S2中求取的测量坐标系与设计坐标系之间的变换矩阵Hwm代入摄像设备坐标系、设计坐标系、测量坐标系之间的转换公式中,求得第k帧图像的摄像设备坐标系与设计坐标系之间变换矩阵Hcw(k);
其中摄像设备坐标系、设计坐标系、测量坐标系三者之间的转换公式为:
式中,Pc(Xc,Yc,Zc)为点P在摄像设备坐标系中的坐标、Pw(Xw,Yw,Zw)为点P在设计坐标系中的坐标、Pm(Xm,Ym,Zm)为点P在测量坐标系中的坐标;Hcw为摄像设备坐标系与设计坐标系之间的变换矩阵;变换矩阵Hcw包含一个3×3摄像设备坐标系旋转矩阵和一个3×1的摄像设备坐标系平移向量
在步骤S5中,根据摄像设备成像原理,投影矩阵Hsc计算公式为:
式中,f为摄像设备的焦距参数,dx、dy表示显示器在X轴与Y轴方向的放缩比例,表示成像坐标系原点Oi在显示器坐标系中的坐标。
需要说明的是,Hsc为摄像机投影矩阵,只与摄像机本身的结构有关,各项参数均为摄像设备与计算及显示终端的已知信息,因此,对于同一摄像机标定后投影矩阵不会发生变化。
在步骤S6中,利用摄像设备成像原理及显示器显示原理,可以知道摄像设备坐标系与显示器坐标系存在变换关系:
式中,Pc(Xc,Yc,Zc)为点P在摄像设备坐标系中的坐标;Ps(Xs,Ys)为点P在显示器坐标系中的坐标;Hsc为摄像机投影矩阵。
进而根据摄像设备坐标系与设计坐标系之间的关系转换公式,可以得到显示器坐标系与设计坐标系之间的转换公式为:
式中,Ps(Xs,Ys)为点P在显示器坐标系中的坐标,Pw(Xw,Yw,Zw)为点P在设计坐标系中的坐标,Hsc为投影矩阵,Hcw为摄像设备坐标系与设计坐标系之间的变换矩阵。
实时将增强现实装配设计的虚拟信息第k帧图像中的各像素点坐标P′w(X′w,Y′w,Z′w)及步骤S4中求取的第k帧图像的摄像设备坐标系与设计坐标系之间变换矩阵Hcw(k),代入显示器坐标系与设计坐标系之间的转换公式中,可以得到各像素点在显示器坐标系中的坐标P′s(Xs,Ys)(即显示在屏幕上的增强现实虚拟信息),并叠加在摄像头获取的视频图像上。
经过步骤S3~步骤S6,计算及显示终端实时计算显示在屏幕上的增强现实虚拟信息,并逐帧叠加在摄像头获取的视频图像上,即实现增强现实装配全景三维注册过程。
上述方法实施例与装置实施例基于相同的发明构思,具体实现之处可相互借鉴。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种面向增强现实装配的全景三维注册系统,其特征在于,包括:iGPS发射器、iGPS基准尺、iGPS矢量传感器、iGPS工作站、摄像终端、计算及显示终端;
所述iGPS发射器,用于发射扇面激光;
所述iGPS基准尺,用于对测量坐标系进行标定;
所述iGPS矢量传感器,包含两个激光信号接收点,用于接收发射器发出的激光信号,并传输给所述iGPS工作站;
所述iGPS工作站,对接收到的激光信号进行处理,求取上述激光信号接收点在测量坐标系中的坐标,并传输给所述计算及显示终端;
所述摄像终端,与所述iGPS矢量传感器固定连接,用于获取现实场景图像,并传输给所述计算及显示终端;
所述计算及显示终端,用于接收上述激光信号接收点坐标及现实场景图像,并根据虚拟信息与现实环境坐标系之间的变换关系,将虚拟信息进行坐标变换后,叠加在现实场景图像中。
2.根据权利要求1所述的系统,其特征在于,所述iGPS矢量传感器的数量为两个,且两个iGPS矢量传感器呈一定夹角放置。
3.根据权利要求2所述的系统,其特征在于,还包括:用以固定连接iGPS矢量传感器与摄像终端的固定架。
4.根据权利要求3所述的系统,其特征在于,所述iGPS发射器固定安装在装配现场,以固定频率旋转发射扇面激光;所述iGPS发射器的数量不少于四台。
5.根据权利要求4所述的系统,其特征在于,所述工作站,将接收到的激光信号转化为数字化的角度信息,再通过角度交会方法及三角测量原理计算iGPS矢量传感器中激光信号接收点的坐标。
6.一种面向增强现实装配的全景三维注册方法,其特征在于,包括以下步骤:
步骤S1、在装配现场四周布置四台iGPS发射器、iGPS基准尺、两个iGPS矢量传感器、iGPS工作站、计算及显示终端;使用iGPS基准尺对iGPS测量网络进行标定,建立测量坐标系;将两个iGPS矢量传感器放置在设计坐标系的已知位置,记录两个iGPS矢量传感器上四个激光信号接收点在设计坐标系中的坐标Pw0_i;并求取两个iGPS矢量传感器上四个激光信号接收点的测量坐标系坐标Pm0_i;i取1……4;
步骤S2、将上述获取的四个激光信号接收点的坐标Pw0_i、Pm0_i代入设计坐标系与测量坐标系之间的转换公式中,求得测量坐标系与设计坐标系之间的变换矩阵Hwm
步骤S3、将两个iGPS矢量传感器从步骤S1中放置的位置取下,与摄像终端一起安装在固定架上;记录iGPS矢量传感器的四个激光信号接收点在摄像设备坐标系中的坐标Pc_i;并实时求取iGPS矢量传感器上四个激光信号接收点的测量坐标系坐标Pm_i
步骤S4、将上述实时获取的Pc_i、Pm_i及测量坐标系与设计坐标系之间的变换矩阵Hwm代入摄像设备坐标系、设计坐标系、测量坐标系之间的转换公式中,求得当前摄像终端获取第k帧图像时的摄像设备坐标系与设计坐标系之间变换矩阵Hcw(k)
步骤S5、根据摄像设备成像原理,求取投影矩阵Hsc
步骤S6、实时将增强现实装配设计的虚拟信息第k帧图像中的各像素点坐标P′w(X′w’Y′w’Z′w)及上述求取的第k帧图像的摄像设备坐标系与设计坐标系之间变换矩阵Hcw(k),代入显示器坐标系与设计坐标系之间的转换公式中,可以得到各像素点在显示器坐标系中的坐标P′s(Xs,Ys),并叠加在摄像头获取的视频图像上。
7.根据权利要求6所述的方法,其特征在于,所述设计坐标系与测量坐标系之间的转换关系为:
式中,Pw(Xw’Yw’Zw)为点P在设计坐标系中的坐标,Pm(Xm’Ym’Zm)为点P在测量坐标系中的坐标,Hwm为测量坐标系与设计坐标系之间的变换矩阵;为设计坐标系旋转矩阵,为设计坐标系平移向量。
8.根据权利要求7所述的方法,其特征在于,所述摄像设备坐标系、设计坐标系、测量坐标系之间的转换关系为:
式中,Pc(Xc’Yc’Zc)为点P在摄像设备坐标系中的坐标、Pw(Xw’Yw’Zw)为点P在设计坐标系中的坐标、Pm(Xm’Ym’Zm)为点P在测量坐标系中的坐标;Hcw为摄像设备坐标系与设计坐标系之间的变换矩阵;为摄像设备坐标系旋转矩阵,为摄像设备坐标系平移向量。
9.根据权利要求8所述的方法,其特征在于,所述投影矩阵Hsc为:
式中,f为摄像设备的焦距参数,dx、dy表示显示器在X轴与Y轴方向的放缩比例,表示成像坐标系原点Oi在显示器坐标系中的坐标。
10.根据权利要求9所述的方法,其特征在于,所述显示器坐标系与设计坐标系之间的转换关系为:
式中,Ps(Xs’Ys)为点P在显示器坐标系中的坐标,Pw(Xw’Yw’Zw)为点P在设计坐标系中的坐标,Hsc为投影矩阵,Hcw为摄像设备坐标系与设计坐标系之间的变换矩阵。
CN201811096287.7A 2018-09-19 2018-09-19 一种面向增强现实装配的全景三维注册系统及方法 Active CN109345633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811096287.7A CN109345633B (zh) 2018-09-19 2018-09-19 一种面向增强现实装配的全景三维注册系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811096287.7A CN109345633B (zh) 2018-09-19 2018-09-19 一种面向增强现实装配的全景三维注册系统及方法

Publications (2)

Publication Number Publication Date
CN109345633A true CN109345633A (zh) 2019-02-15
CN109345633B CN109345633B (zh) 2022-12-23

Family

ID=65305515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811096287.7A Active CN109345633B (zh) 2018-09-19 2018-09-19 一种面向增强现实装配的全景三维注册系统及方法

Country Status (1)

Country Link
CN (1) CN109345633B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349504A (zh) * 2019-07-03 2019-10-18 武汉子序科技股份有限公司 一种基于ar的博物馆导览系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020305A1 (en) * 2006-09-26 2010-01-28 Samsung Heavy Ind. Co., Ltd. Three-dimensional measurement system and rescaling method using indoor gps
CN102384717A (zh) * 2011-08-17 2012-03-21 天津大学 采用标准杆的工作空间测量定位系统快速定向方法
CN104154859A (zh) * 2014-07-31 2014-11-19 北京航空航天大学 一种用于飞机数字化装配的多尺度测量场集成检测方法
CN105222709A (zh) * 2015-10-21 2016-01-06 中国矿业大学(北京) 一种基于iGPS单站多点分时测量方法
CN108227929A (zh) * 2018-01-15 2018-06-29 廖卫东 基于bim技术的增强现实放样系统及实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020305A1 (en) * 2006-09-26 2010-01-28 Samsung Heavy Ind. Co., Ltd. Three-dimensional measurement system and rescaling method using indoor gps
CN102384717A (zh) * 2011-08-17 2012-03-21 天津大学 采用标准杆的工作空间测量定位系统快速定向方法
CN104154859A (zh) * 2014-07-31 2014-11-19 北京航空航天大学 一种用于飞机数字化装配的多尺度测量场集成检测方法
CN105222709A (zh) * 2015-10-21 2016-01-06 中国矿业大学(北京) 一种基于iGPS单站多点分时测量方法
CN108227929A (zh) * 2018-01-15 2018-06-29 廖卫东 基于bim技术的增强现实放样系统及实现方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周兴林等: "大尺寸工件直线度视觉测量系统中摄像机标定的研究", 《宇航计测技术》 *
武雪玲等: "混合硬件跟踪定位的空间信息虚实配准", 《地理与地理信息科学》 *
黄有群等: "采用视觉注册的户外增强现实技术的研究", 《工程图学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349504A (zh) * 2019-07-03 2019-10-18 武汉子序科技股份有限公司 一种基于ar的博物馆导览系统

Also Published As

Publication number Publication date
CN109345633B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
US10134196B2 (en) Mobile augmented reality system
You et al. Orientation tracking for outdoor augmented reality registration
JP4245963B2 (ja) 較正物体を用いて複数のカメラを較正するための方法およびシステム
JP6484587B2 (ja) カメラの空間特性を決定する方法及びシステム
CN106664776B (zh) 体育场照明瞄准系统和方法
CN106228538B (zh) 基于logo的双目视觉室内定位方法
KR102016636B1 (ko) 카메라와 레이더의 캘리브레이션 장치 및 방법
US9501872B2 (en) AR image processing apparatus and method technical field
Zhang et al. A universal and flexible theodolite-camera system for making accurate measurements over large volumes
US10841570B2 (en) Calibration device and method of operating the same
JP2014529727A (ja) 自動シーン較正
JP2008046687A (ja) 撮影環境校正方法及び情報処理装置
US20130113897A1 (en) Process and arrangement for determining the position of a measuring point in geometrical space
CN110009682A (zh) 一种基于单目视觉的目标识别定位方法
KR20130121290A (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
CN110274594A (zh) 一种室内定位设备及方法
JP2006234703A (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
CN110599432B (zh) 影像处理系统及影像处理方法
CN115841487A (zh) 一种沿输电线路的隐患定位方法及终端
CN113137973A (zh) 一种图像语义特征点真值确定方法及装置
CN112258633B (zh) 一种基于slam技术的场景高精度重建方法及装置
CN109345633A (zh) 一种面向增强现实装配的全景三维注册系统及方法
WO2021227082A1 (en) Method and device for positioning internet of things devices
TWI691932B (zh) 影像處理系統及影像處理方法
JP2008203991A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant