CN109087399B - 一种通过定位图快速同步ar空间坐标系的方法 - Google Patents
一种通过定位图快速同步ar空间坐标系的方法 Download PDFInfo
- Publication number
- CN109087399B CN109087399B CN201810781869.2A CN201810781869A CN109087399B CN 109087399 B CN109087399 B CN 109087399B CN 201810781869 A CN201810781869 A CN 201810781869A CN 109087399 B CN109087399 B CN 109087399B
- Authority
- CN
- China
- Prior art keywords
- equipment
- devices
- coordinate system
- server
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000006073 displacement reaction Methods 0.000 claims abstract description 5
- 238000009877 rendering Methods 0.000 claims abstract description 3
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 241000220225 Malus Species 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000021016 apples Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种通过定位图快速同步AR空间坐标系的方法，包括如下步骤：S1、至少包括两个AR设备，各为一号AR设备、二号AR设备，二号AR设备能够显示定位图；S2、启动一号AR设备、二号AR设备，二号AR设备生成可被一号AR设备识别的定位图，并显示；S3、二号AR设备以设备当前空间位置为原点生成坐标系，一号设备识别S2中二号AR设备显示的图案，此图案位置代表二号AR设备与一号AR设备之间当前位置和空间角度，通过计算得到二号AR设备相对于一号设备的位移差和角度差；通过一号AR设备、二号AR设备的相对位置和相对角度在一号AR设备内计算得出一号AR设备在坐标系的坐标点，在之后的操作和运动中，一号AR设备、二号AR设备均以坐标系来渲染计算全息图。
Description
技术领域
本发明涉及一种AR技术，特别是涉及一种通过定位图快速同步AR空间坐标系的方法。
背景技术
增强现实技术（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术1990年提出。随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广。
而目前AR技术的实现主要依赖于AR设备，目前主流AR设备分为两种：
手持AR设备：以苹果的ARKit开发平台和安卓的ARCode为代表的手持AR设备，其原理理是通过摄像头录制真实世界，再通过算法混入虚拟物品，最后通过屏幕呈现出混合之后的结果。
头戴AR设备：以微软的HoloLens为代表，普遍以眼镜的形式存在，用户可以通过眼镜看到真实世界，系统直接在镜片上投射虚拟物品，最后混合成像。
这两种设备各有优缺点，头戴式设备体验更好，更加真实，但价格昂贵，且每次只能一人使用。而手持式设备价格便宜，能同时被多人使用，但是体验并不不震撼。
而且不同的平台和设备拥有不同的空间扫描SLAM运算方法，其数据难于在不同的设备之间同步，如果AR设备不能同步空间，就难于协同工作，这时候一个简单而便利的协同工作算法就非常需要。
在真实的应用场景中，我们需要将两者结合使用， 比如技校老师用头戴式设备操作汽车维修场景，学生拿手持设备观看操作结果。这里里面有一个比较重要的要求，就是老师头戴AR设备的操作能实时反应在学生的手持AR设备中。这里面有很重要的一个需要解决的问题——坐标系的同步。
举例而言，老师头戴AR在桌子上放置一个虚拟茶杯，那么学生手持AR设备应该看到茶杯在桌子上而不是其它什么位置。如果老师桌子上的3D位置是坐标（x1，y1，z1）， 而学生看到茶杯的坐标是（x2，y2，z2），角度也应该相同，那么两者应该在现实中代表同样一个空间坐标。这时候我们的工作就是将（x1，y1，z1）和（x2，y2，z2）映射到相同的真实空间位置。
这就是我们专利中主要解决的问题，微软的HoloLens解决这个问题时候使 用了自己的硬件和算法，苹果也在做这个工作，但传统的方法中都依赖于本身系统的实现，也就是说微软的同步空间位置不能和苹果的空间位置同步互通。但很多时候，我们需要同时使用不同公司和平台的AR设备，以及混合手持AR设备和头戴AR设备使用。
因此，申请人提出一种通过定位图快速同步AR空间坐标系的方法，其能够有效解决上述问题。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种通过定位图快速同步AR空间坐标系的方法，其通过预设的定位图实现不同AR设备在同一空间内的坐标统一。
为实现上述目的，本发明提供了一种通过定位图快速同步AR空间坐标系的方法，包括如下步骤：
S1、至少包括两个AR设备，各为一号AR设备、二号AR设备，以此类推，其中至少一个AR设备可以通过拍摄并识别图案（一号AR设备），其它AR设备能够显示可被识别的图案（二号AR设备）；
S2、启动一号AR设备、二号AR设备；
二号AR设备生成可被一号AR设备识别的图案，如二维码或者特征团等，并显示，此图案就是定位图；
S3、二号AR设备以设备当前空间位置为原点生成坐标系，一号设备识别S2中二号AR设备显示的图案，此图案位置代表二号AR设备与一号AR设备之间当前位置和空间角度，通过计算得到二号AR设备相对于一号设备的位移差和角度差；
通过一号AR设备、二号AR设备的相对位置和相对角度在一号AR设备内计算得出一号AR设备在坐标系的坐标点，在之后的操作和运动中，一号AR设备、二号AR设备均以坐标系来渲染计算全息图；这样我们在多个AR设备中就可以看到在相同坐标系的全息物体。也就是实现了坐标同步。
S4、具有两台以上的AR设备时，重复S1-S3即可获得其它AR设备在坐标系上的坐标点，从而实现多台AR设备之间同步之间同步空间坐标系。在这种情况下通过不同的图案来区分不同的AR设备（头戴AR设备除外）,在这种情况下需要通过联网来协调各设备空间位置。
优选地，一号AR设备为头戴AR设备，二号AR设备为手持AR设备。
优选地，坐标系以手持AR设备屏幕中点为原点，以屏幕水平线从左至右连线在水平面的映射线为X轴，以通过原点垂直于地面的向上方向为Y轴，以X，Y轴叉乘结果为Z轴。
优选地，一号AR设备采用基于特征点的图像识别方法识别其它AR设备显示的定位图。
优选地，AR设备通过局域网联网后，先检查局域网内是否已经有广播信号，如果没有，则把自己建立为服务器，并广播数据；头戴AR设备和之后进入的手持AR设备接收广播，得到服务器ip地址，作为客户端加入网络；
所有加入设备依次分配id，从小到大排列序列；
当服务器断开链接，序列最小id设备重新创建服务器并广播，其它AR设备断线之后重新连接下一台服务器。
本发明的有益效果是：本发明操作简单方便，在极少的步骤下就能实现不同类型AR设备之间的空间坐标同步，且本发明不依赖于任何特有平台的算法，特别适合跨底层平台使用。
本发明可以应用于所有需要手持AR设备和头戴AR设备共用的领域，如：
1、老师用头戴式AR设备操作课程，学生可以手持AR设备学习并录项。这样大大减少了学校配置设备的成本，也可以更好的利用不同类型设备的优势。
2、重要访客通过头戴式AR设备参观现场，操作员通过手持AR设备录项并投射在大屏幕上拱其它人学习。
3、新类型的游戏，头戴AR设备作为目标，手持AR设备控制大炮射击，头戴设备的人躲闪。可以体会到不同设备协同工作的快乐。
附图说明
图1是本发明的使用示意图。
图2是本发明的使用示意图。
图3是本发明的使用示意图。
图4是本发明的使用示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明：
本实施例中包括两个AR设备，其中一号AR设备为头戴式AR设备，二号AR设备为手持式AR设备。
参见图1，1为头戴式AR设备操作员。2为头戴式AR设备。3为手持式AR设备。
操作员佩戴上头戴AR设备，同时开启手持AR设备，启动关联软件并两者联网。
参见图2，4为手持AR设备显示特殊空间定位图、5为通过头戴式AR设备的摄像头捕捉手持AR设备上面显示的图案、6通过计算机视觉算法分析得到一个同步于不同类型AR设备的统一空间坐标系。
在具体的实现中，我们使用了vuforia库，识别图案要事先设置在vuforia的数据库中，同时因为我们已知手持AR设备屏幕的大小，所以我们也可以控制生成图案的大小，这样就可以让vuforia更准确地识别图案；
头戴式AR设备直接产生可以被计算机视觉识别的图案，这样两者操作就可以瞬间完成，大简化了这个操作流程，在具体的实施中，视觉识别采用了vuforia来实现，网路传输使用了UNet库来实现，整个程序使用Unity来实现。
由于头戴式AR设备集成了vuforia库（我们已知vuforia库是通过特征点算法来实现计算机视觉并计算结果的），所以可以通过手持式AR设备上面显示的图案并识别后计算出其相对位置，然后两者相减求出三轴上的位移差d（x，y，z），和⻆度差a（x，y，z）。
参见图3，7为头戴AR设备在操作的虚拟物体、8为手持AR设备在观察的虚拟物体。
在同步了空间坐标信息之后，不同类型AR设备开始运行相同逻辑的AR程序，此时头戴式AR设备和手持AR设备可以同时操纵和观察虚拟空间物品，并且两者在统一的坐标环境下所看到的位置，旋转，缩放同步于真实空间。
参见图4，此算法也可以在多台头戴式AR设备和多台手持AR设备之间同步空间坐标系，在这种情况下通过不同用于定位的图案来区分不同的手持AR设备。
本发明选择手持AR设备的起始点建立坐标系，也可以根据具体的使用情况适当选择头戴AR设备建立坐标系。在本文具体实现中，坐标系以手持AR设备屏幕中点为原点，以屏幕水平线从左至右连线在水平面的映射线为X轴，以通过原点垂直于地面的向上方向为Y轴，以X，Y轴叉乘结果为Z轴。
为了高效的对图案进行识别和计算坐标，建议使用基于特征点的图像识别方法，特征点可以称兴趣点或者角点,三者经常相互使用,即图像的极值点,线段的终点,曲线曲率最大的点或者水平或者竖直方向上属性最大的点等等,这些特征点是图像很重要的特征,对图像图形的理解和分析有很重要的作用。特征点在保留图像图形重要特征的同时,可以代替整幅图像的处理,有效地减少信息的数据量,使其信息的含量很高,有效地提高了计算的速度,有利于图像的可靠匹配,使得实时处理成为可能。
AR设备通过局域网联网后，检查局域网内是否已经有广播信号，如果没有，则把自己建立为服务器，并广播数据。头戴AR设备和之后进入的手持AR设备接收广播，得到服务器ip地址，作为客户端加入网络。
所有加入设备依次分配id，从小到大排列序列。当服务器断开链接，序列最小id设备重新创建服务器并广播，其它AR设备断线之后重新连接下一台服务器。在这个流程中所有设备均可以自动保持连接，用户无需进行任何网络配置，只要把所有设备链接到相同局域网中便可以协同工作。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (2)
1.一种通过定位图快速同步AR空间坐标系的方法，其特征在于，包括如下步骤：
S1、至少包括两个AR设备，各为一号AR设备、二号AR设备，二号AR设备能够显示定位图；
S2、启动一号AR设备、二号AR设备，二号AR设备生成可被一号AR设备识别的定位图，并显示；
S3、二号AR设备以设备当前空间位置为原点生成坐标系，一号设备识别S2中二号AR设备显示的定位图，此定位图位置代表二号AR设备与一号AR设备之间当前位置和空间角度，通过计算得到二号AR设备相对于一号设备的位移差和角度差；S2中的相对位置，包括，位移差d（x，y，z），角度差a（x，y，z）；坐标系以手持AR设备屏幕中心点为原点，以手持设备屏幕从左至右水平线在水平面的映射线为X轴，以通过原点垂直于地面的向上方向为Y轴，以X，Y轴叉乘结果为Z轴；
通过一号AR设备、二号AR设备的相对位置和相对角度在一号AR设备内计算得出一号AR设备在坐标系的坐标点，在之后的操作和运动中，一号AR设备、二号AR设备均以坐标系来渲染计算全息图；
S4、具有两台以上的AR设备时，重复S1-S3即可获得其它AR设备在坐标系上的坐标点，从而实现多台AR设备之间同步之间同步空间坐标系，在这种情况下通过不同的图案来区分不同的AR设备,且需要通过联网来协调各设备空间位置；
AR设备通过局域网联网后，检查局域网内是否已经有广播信号，如果没有，则把自己建立为服务器，并广播数据；头戴AR设备和之后进入的手持AR设备接收广播，得到服务器ip地址，作为客户端加入网络；所有加入设备依次分配id，从小到大排列序列；当服务器断开链接，序列最小id设备重新创建服务器并广播，其它AR设备断线之后重新连接下一台服务器；
一号AR设备为头戴AR设备，二号AR设备为手持AR设备。
2.如权利要求1所述的方法，其特征在于，一号AR设备采用基于特征点的图像识别方法识别其它AR设备显示的定位图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810781869.2A CN109087399B (zh) | 2018-07-17 | 2018-07-17 | 一种通过定位图快速同步ar空间坐标系的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810781869.2A CN109087399B (zh) | 2018-07-17 | 2018-07-17 | 一种通过定位图快速同步ar空间坐标系的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109087399A CN109087399A (zh) | 2018-12-25 |
| CN109087399B true CN109087399B (zh) | 2024-03-01 |
Family
ID=64838092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810781869.2A Active CN109087399B (zh) | 2018-07-17 | 2018-07-17 | 一种通过定位图快速同步ar空间坐标系的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109087399B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627270B (zh) * | 2022-03-16 | 2023-02-03 | 深圳市博乐信息技术有限公司 | 一种基于ar/vr技术的虚拟空间共享方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101286909A (zh) * | 2008-06-10 | 2008-10-15 | 华中科技大学 | 一种自动构建无线分布式系统的方法 |
| CN104506627A (zh) * | 2014-12-26 | 2015-04-08 | 厦门雅迅网络股份有限公司 | 一种同桌用餐人员多平板同时点餐的方法及系统 |
| WO2017027338A1 (en) * | 2015-08-07 | 2017-02-16 | Pcms Holdings, Inc. | Apparatus and method for supporting interactive augmented reality functionalities |
| CN107274491A (zh) * | 2016-04-09 | 2017-10-20 | 大连七界合创科技有限公司 | 一种三维场景的空间操控虚拟实现方法 |
| CN107657589A (zh) * | 2017-11-16 | 2018-02-02 | 上海麦界信息技术有限公司 | 基于三基准点标定的手机ar定位坐标轴同步方法 |
| CN107945116A (zh) * | 2017-11-16 | 2018-04-20 | 上海麦界信息技术有限公司 | 用于多设备间实现ar室内定位的坐标轴同步方法 |
| CN108259827A (zh) * | 2018-01-10 | 2018-07-06 | 中科创达软件股份有限公司 | 一种实现安防的方法、装置、ar设备及系统 |
-
2018
- 2018-07-17 CN CN201810781869.2A patent/CN109087399B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101286909A (zh) * | 2008-06-10 | 2008-10-15 | 华中科技大学 | 一种自动构建无线分布式系统的方法 |
| CN104506627A (zh) * | 2014-12-26 | 2015-04-08 | 厦门雅迅网络股份有限公司 | 一种同桌用餐人员多平板同时点餐的方法及系统 |
| WO2017027338A1 (en) * | 2015-08-07 | 2017-02-16 | Pcms Holdings, Inc. | Apparatus and method for supporting interactive augmented reality functionalities |
| CN107274491A (zh) * | 2016-04-09 | 2017-10-20 | 大连七界合创科技有限公司 | 一种三维场景的空间操控虚拟实现方法 |
| CN107657589A (zh) * | 2017-11-16 | 2018-02-02 | 上海麦界信息技术有限公司 | 基于三基准点标定的手机ar定位坐标轴同步方法 |
| CN107945116A (zh) * | 2017-11-16 | 2018-04-20 | 上海麦界信息技术有限公司 | 用于多设备间实现ar室内定位的坐标轴同步方法 |
| CN108259827A (zh) * | 2018-01-10 | 2018-07-06 | 中科创达软件股份有限公司 | 一种实现安防的方法、装置、ar设备及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109087399A (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107341832B (zh) | 一种基于红外定位系统的多视角切换拍摄系统和方法 | |
| US20120162384A1 (en) | Three-Dimensional Collaboration | |
| US20110102460A1 (en) | Platform for widespread augmented reality and 3d mapping | |
| US20120192088A1 (en) | Method and system for physical mapping in a virtual world | |
| US20200097732A1 (en) | Markerless Human Movement Tracking in Virtual Simulation | |
| US20070202472A1 (en) | Device And Method For Simultaneously Representing Virtual And Real Ambient Information | |
| CN107330978B (zh) | 基于位置映射的增强现实建模体验系统及方法 | |
| WO2015048906A1 (en) | Augmented reality system and method for positioning and mapping | |
| JP2013061937A (ja) | ステレオカメラ及びステレオディスプレイを組み合わせたやり取り | |
| KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
| CN103400119A (zh) | 基于人脸识别技术的混合显示眼镜交互展示方法 | |
| CN109598796A (zh) | 将真实场景与虚拟物体进行3d融合显示的方法和装置 | |
| CN101923809A (zh) | 交互式增强现实点播机 | |
| US11055049B1 (en) | Systems and methods for facilitating shared rendering | |
| US20130257686A1 (en) | Distributed virtual reality | |
| CN113936121B (zh) | 一种ar标注设置方法以及远程协作系统 | |
| CN109087399B (zh) | 一种通过定位图快速同步ar空间坐标系的方法 | |
| US11341716B1 (en) | Augmented-reality system and method | |
| Adithya et al. | Augmented reality approach for paper map visualization | |
| CN112675541A (zh) | Ar信息共享方法、装置、电子设备及存储介质 | |
| CN105183142A (zh) | 一种利用空间位置装订的数字信息复现方法 | |
| CN111782035A (zh) | 一种基于增强现实技术的远程作业指导方法及系统 | |
| Park et al. | AR room: Real-time framework of camera location and interaction for augmented reality services | |
| Kim et al. | 3-d virtual studio for natural inter-“acting” | |
| Daniilidis et al. | Real-time 3d-teleimmersion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |