CN113643443A - 一种用于ar/mr技术的定位系统 - Google Patents

一种用于ar/mr技术的定位系统 Download PDF

Info

Publication number
CN113643443A
CN113643443A CN202111190943.1A CN202111190943A CN113643443A CN 113643443 A CN113643443 A CN 113643443A CN 202111190943 A CN202111190943 A CN 202111190943A CN 113643443 A CN113643443 A CN 113643443A
Authority
CN
China
Prior art keywords
reference object
node
global
scene unit
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111190943.1A
Other languages
English (en)
Other versions
CN113643443B (zh
Inventor
李晔
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weifang Vision Software Technology Co ltd
Original Assignee
Weifang Vision Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weifang Vision Software Technology Co ltd filed Critical Weifang Vision Software Technology Co ltd
Priority to CN202210255311.7A priority Critical patent/CN114820998A/zh
Priority to CN202111190943.1A priority patent/CN113643443B/zh
Publication of CN113643443A publication Critical patent/CN113643443A/zh
Application granted granted Critical
Publication of CN113643443B publication Critical patent/CN113643443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本发明涉及AR/MR空间计算技术领域,尤其涉及一种用于AR/MR技术的定位系统,定位系统包括现实场景单元和设备,设备内建立有节点体系和虚拟场景单元,设备设有摄像头;设备能单识别点定位;现实场景单元包括参考对象A和参考对象B,虚拟场景单元包括参考对象a和参考对象b;节点体系包括全局节点,全局节点包括全局总节点、全局位移节点和全局旋转节点,其父‑子级顺序是:全局总节点‑全局位移节点‑全局旋转节点;参考对象a属于节点体系中总节点的子对象。该定位系统,能够利用多节点和多参考对象对复杂场景整体和场景中多个定位目标进行精准定位。

Description

一种用于AR/MR技术的定位系统
技术领域
本发明涉及AR/MR空间计算技术领域,尤其涉及一种用于AR/MR技术的定位系统。
背景技术
增强现实技术(Augmented Reality,简称 AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术1990年提出。随着随身电子产品CPU运算能力的提升,预期增强现实的用途将会越来越广。
混合现实技术(简称MR)是增强现实技术的进一步发展,行业中一般认为与增强现实的区别是,增强现实的显示画面和虚拟画面是混合后在屏幕显示,而混合显示是通过透镜看到现实画面,虚拟画面单独显示在透镜上或者投射入用户眼睛上。该技术通过在现实场景呈现虚拟场景信息,在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路,以增强用户体验的真实感。
随着AR/MR技术不断发展,其在各种领域的深入应用变得越来越多,这种技术与现实空间结合非常紧密,尤其是在一些工业能源企业的场景中,需要对场景内的建筑或者仪器设备非常准确的定位。限于当前空间定位算法、设备自身的精度问题以及光照等环境影响,定位并不准确,这降低了行业应用的严谨性,限制了AR/MR行业发展。
现有技术中,对场景进行定位的传统办法包括一下几种:
第一种,通过扫描场景获取对应的场景网格数据,在开发时将网格场景数据导入3D引擎中,根据场景网格数据把虚拟信息放在对应的位置上。该方法的缺点是:1、扫描时间长。2、会出现周期性自动校准造成的抖动。3、定位精准度不高。4、扫描场景时消耗大量的设备算力性能。5、无法根据用户需要主动进行调整。6、很难判断是否定位准确。
第二种,通过扫描场景网格信息生成与场景相贴合的碰撞器,从头部或者手部发射射线,在射线与碰撞器的接触点进行坐标定位。该方法的缺点是:1、扫描时间长。2、扫描场景时消耗大量的设备算力性能。3、定位精确度差。4、无法对复杂场景进行校准。5、很难判断是否定位准确。
第三种,单识别点定位。即对一个模型,或者对一个图片进行识别,然后把所有内容都根据这个识别信息进行对齐。该方法的缺点是:1、定位精度不高。2、只能针对单参考对象,其它需要识别的参考对象离这个单参考参考对象越远精度越差。3、很难判断是否定位准确。
如图10所示,现实中有一个设备,其上有①、②、③、④四个按钮,虚线框代表设备的高温位置。现在需要用AR/MR应用中虚拟箭头指示出当前该操作的按钮是按钮③,并用虚拟高温标志指示出高温位置。由于传统办法定位不准确可能导致的偏差,按钮和标志的指示错位了,就像图10中,虚拟箭头指向了按钮④、虚拟高温标志偏离了虚线框代表设备的高温位置。因此就会误导用户。
如何解决复杂场景中精准坐标定位是行业及市场的迫切的需求。
发明内容
本发明拟解决的技术问题是针对以上不足,提供一种用于AR、MR技术的定位系统,能够利用多节点和多参考参考对象对复杂场景整体和场景中多个定位目标进行精准定位。
为解决以上问题,本发明采用的技术方案如下:
一种用于AR、MR技术的定位系统,包括现实场景单元和设备,设备为AR或MR设备;开发设备软件所使用的3D引擎,3D引擎内建立有节点体系和与现实场景单元同比例映射的虚拟场景单元,所述设备上设有摄像头;设备通过和软件功能结合,能识别单个对象;
现实场景单元包括参考对象A和参考对象B,参考对象B是现实场景单元内较明显的且与对象A不重合的固定物体;虚拟场景单元包括参考对象a和参考对象b;参考对象a和参考对象b分别是参考对象A和参考对象B在虚拟场景单元中的映射;
参考对象A用于虚拟场景单元和现实场景单元间的粗定位,参考对象a用于对比虚拟场景单元和现实场景单元间的粗定位误差;
参考对象B用于虚拟场景单元和现实场景单元间的较精准定位;参考对象b用于对比虚拟场景单元和现实场景单元间的较精准定位误差;
节点体系包括全局节点,全局节点包括全局总节点、全局位移节点和全局旋转节点,三个节点的父-子级顺序是:全局总节点-全局位移节点-全局旋转节点;参考对象a属于节点体系中全局总节点的子对象;参考对象b属于节点体系中全局旋转节点的子对象。
优选的,所述节点体系还包括用于静态参考对象定位的静态节点,静态节点属于全局旋转节点的子对象;静态节点包括静态位移节点和静态旋转节点,二者的父-子级顺序是:静态位移节点-静态旋转节点。
优选的,所述节点体系还包括用于动态参考对象定位的目标点定位节点;目标点定位节点属于全局旋转节点的子对象,或属于静态旋转节点的子对象。
优选的,所述现实场景单元还包括参考对象D,虚拟场景单元还包括参考对象d;参考对象d是参考对象D在虚拟场景单元中的映射;参考对象D是现实场景单元内固定的物体,参考对象D用于虚拟场景单元和现实场景单元间的精准定位;参考对象d用于对比虚拟场景单元和现实场景单元间的精准定位误差。
优选的,所述参考对象d属于节点体系中静态旋转节点的子对象。
优选的,所述节点中除去全局总节点和目标点定位节点外,其他每个节点都要创建对应的控制。
一种用于AR、MR技术的定位系统,该定位系统的定位方法包括以下步骤:
S1,在SDK中把现实场景单元中的参考对象A指定为SDK的识别点,把节点体系中全局总节点作为SDK识别点的定位对象;
S2,设备通过摄像头感知现实场景单元中的参考对象A,全局总节点移动到参考对象A的位置;
S3,查看并调整节点体系中全局总节点的位置,使得参考对象a与参考对象A重合;
S4,查看并调整节点体系中全局旋转节点的位置,使得参考对象b与参考对象B重合。
优选的,在所述S3中,如果发现参考对象a与参考对象A偏差较大,则表示使用者此时操作不规范或者对参考对象A感知时角度有问题;通过调整感知位置及多次尝试的方式消除或减小这种偏差, 直至目测参考对象a与参考对象A的相对位置不再因为重复操作而产生变化,说明该步骤操作所能消除的偏差已完成。
优选的,在所述S4中,查看参考对象b与参考对象B是否重合;如果不重合通过控制节点体系中全局位移节点及全局旋转节点的选项,直至目测参考对象b与参考对象B重合。
优选的,所述定位方法还包括以下步骤:
S5,查看并调整节点体系中静态旋转节点的位置,使得参考对象d与参考对象D重合;如果参考对象d与参考对象D不重合,通过控制节点体系中静态对象位移节点及静态旋转节点的选项,使得目测参考对象d与参考对象D重合。
本发明采用以上技术方案,与现有技术相比,具有以下优点:
1.减少定位时设备中的性能消耗。
2.可以对场景整体进行精确定位。
3.可以对场景中多个定位目标实现精准定位。
4.可以在使用过程中根据需要实时调整定位精准度。
5.可以让不同目标上的虚拟信息在位置迁移时精准。
6. 可以清楚的确定当前定位是否准确。
下面结合附图和实施例对本发明进行详细说明。
附图说明
图1为本发明一种用于AR、MR技术的定位系统的结构示意图;
图2为本发明中现实场景单元的示意图。
图3为本发明中虚拟场景单元的示意图;
图4为本发明的设备感知到虚拟场景单元时的示意图;
图5为通过现实场景单元中参考对象A和虚拟场景单元的参考对象a对比调整后的示意图;
图6为通过现实场景单元中参考对象B和虚拟场景单元的参考对象b对比调整后的示意图;
图7为通过现实场景单元中参考对象D和虚拟场景单元的参考对象d对比调整后的示意图;
图8为针对全局位移节点创建的三个界面滑条示意图;
图9为针对针静态旋转节点创建的三组按钮示意图;
图10为使用背景技术中方法定位后示意图;
其中:1-参考对象A,2-参考对象B,3-参考对象D,4-参考对象a,5-参考对象b,6-参考对象d,7-参考对象E,8-参考对象e,9-高温标志,10-第一目标点,11-第二目标点。
具体实施方式
实施例
SDK是一种已封装好功能的辅助开发工具。
复杂场景是指一个需要被AR/MR应用中虚拟信息指示特定目标的现实场景。例如在一个AR/MR应用使用时,场景中有一个真实设备,需要一个虚拟的箭头指向该设备中的一个按钮上,提示用户顺时针旋转该按钮,那么这个场景就是针对于该AR/MR应用的复杂场景。
节点是在开发时开发者预先在场景中布置的空参考对象,或者开发者通过代码生成的空参考对象。这些参考对象一定具备三维组件,非必要但可以在空参考对象的基础上挂载其它脚本或组件,不影响其作为节点。
如图1、图2、图3、图4、图5、图6和图7共同所示,一种用于AR、MR技术的定位系统,包括现实场景单元和设备,设备内建立有节点体系和与现实场景单元同比例映射的虚拟场景单元;设备上设有摄像头。现实场景单元包括参考对象A1和参考对象B2,参考对象B2是现实场景单元内较明显的且与对象A1不重合的固定物体。虚拟场景单元包括参考对象a4和参考对象b5;参考对象a4和参考对象b5分别是参考对象A1和参考对象B2在虚拟场景单元中的映射。
参考对象A1用于虚拟场景单元和现实场景单元间的粗定位,参考对象a4用于对比虚拟场景单元和现实场景单元间的粗定位误差。参考对象B2用于虚拟场景单元和现实场景单元间的较精准定位。参考对象b5用于对比虚拟场景单元和现实场景单元间的较精准定位误差。
节点体系是3D引擎中一个对象及其子对象形成体系。节点体系包括全局节点,全局节点包括全局总节点、全局位移节点和全局旋转节点,三个节点的父-子级顺序是:全局总节点-全局位移节点-全局旋转节点。参考对象a4属于节点体系中全局总节点的子对象;参考对象b5属于节点体系中全局旋转节点的子对象。
节点体系还包括用于静态参考对象定位的静态节点,静态节点属于全局旋转节点的子对象;静态节点包括静态位移节点和静态旋转节点,二者的父-子级顺序是:静态位移节点-静态旋转节点。节点体系还包括用于动态参考对象定位的目标点定位节点;目标点定位节点属于全局旋转节点的子对象,或属于静态旋转节点的子对象。
现实场景单元还包括参考对象D,虚拟场景单元还包括参考对象d。实际应用中,根据需求现实场景单元中还可以包括与参考对象D并列设置的参考对象E、参考对象F、参考对象G等多个参考对象,虚拟场景单元中也有与现实场景单元中各参考对象一一对应的参考对象e、参考对象f、参考对象g等多个参考对象。本实施例中优选的,以现实场景单元中包括参考对象D3和参考对象E7两个对象为例进行说明,即虚拟场景单元中包括参考对象d6和参考对象e8。参考对象D3为一个控制柜,参考对象E7为一台仪器。参考对象d6是参考对象D3在虚拟场景单元中的映射,参考对象e8是参考对象e8在虚拟场景单元中的映射。参考对象D3和参考对象E7是现实场景单元内固定的物体,参考对象D3和参考对象E7用于虚拟场景单元和现实场景单元间的精准定位。参考对象d6用于对比虚拟场景单元和现实场景单元间的精准定位误差。参考对象d6和参考对象e8均属于节点体系中静态旋转节点的子对象。
如图8和图9所示,节点中除去全局总节点和目标点定位节点外,其他每个节点都要创建对应的控制。只要是能够控制位移节点的三个轴向移动和旋转节点的三个轴向旋转就可以,本实施例中以如图8和图9所示进行控制,但并不局限于该形式的控制方式。
本发明通过两个场景单元和一个节点体系起到精准定位及坐标同步的目的。两个场景单元其中一个是现实场景单元,另一个是设备内建立的与现实场景单元同比例映射的虚拟场景单元。
如图2所示,现实场景单元是现实世界中的物体。在现实场景单元体系中,涉及三类参考对象,分别是:
参考对象A1,负责全局内容的快速粗定位,可以是一张图画,可以是一个物体,也可以是一张二维码。本实施例中参考对象A1是一张图画。
参考对象B2,负责全局定位的较精准调节,是一个现实场地内较明显的且与参考对象A1不重合的固定物体,例如一个雕塑,一个设备或一个地面上的地板砖。本实施例中参考对象B2的数量为一个,参考对象B2是一张桌子。
参考对象D3,负责特定对象的精准调节,是在现实场景单元内固定的设备,或家具,或展品等。本实施例中参考对象D的数量为两个。即现实场景单元中包括参考对象D3和参考对象E7,虚拟场景单元中包括参考对象d6和参考对象e8。参考对象D3为一个控制柜,参考对象E7为一台仪器。
如图3所示,虚拟场景单元是通过3D引擎制作模型,然后将模型设置在设备内。在虚拟场景单元中,也涉及三类参考对象,三类参考对象分别是:
参考对象a4,负责对比与参考对象A1的定位误差。例如参考对象a4可以是一个三维坐标模型,或者一个立方体模型。它属于节点体系的全局节点中全局总节点的子对象。本实施例中优选的,参考对象a4是一个三维坐标模型。
参考对象b5,负责对比与参考对象B2的定位误差。例如与现实中雕塑相同尺寸形状的雕塑模型。它属于节点体系的全局节点中全局旋转节点的子对象。
参考对象d6和参考对象e8,分别负责对比与参考对象D3、参考对象E7的定位误差。参考对象d6和参考对象e8分别是与参考对象D3、参考对象E7所对应的模型,其模型的特征点,尺寸,参考对象d6与参考对象D3、参考对象e8与参考对象E7完全一致。例如现实场景单元的参考对象D3是现实中一个电视,那么虚拟场景单元的参考对象d6就要测量好电视的尺寸,并完全按照电视的尺寸进行建模,如果对电视上的细节按钮等内容建模,也要保证这些细节的位置和该电视上的完全一致。再例如参考对象D3是一个根据工业模型制造的机器,可以用工业模型转换为3D引擎中使用的模型。参考对象d6和参考对象e8均属于节点体系中静态节点的静态旋转节点的子对象。
节点体系中目标点定位节点,负责动态对象在节点体系中的目标点定位,可以属于节点体系的全局节点中全局旋转节点的子对象,也可以属于节点体系中静态节点中静态旋转节点的子对象。如图7所示,动态对象是一个高温标志9,在参考对象d6上选取第一目标点10,在参考对象e8上选取第二目标点11。高温标志9可能出现在第一目标点10的位置,也可能出现在第二目标点11的位置,或者在第一目标点10与第二目标点11之间形成移动。目标点定位节点即可用于高温标志9在第一目标点10与第二目标点11两个位置处的定位。
在实际使用过程中,节点体系中的全局节点是必要条件。静态节点和目标点定位节点可根据需要选择性使用;如使用,则定位更加精准。
建立该用于AR、MR技术的定位系统时,第一步,建立现实场景单元,并测量现实场景单元中各个参考对象在现实中对应的位置以及尺寸。
第二步,在3D引擎中,建立虚拟场景单元:根据测量结果创建节点体系。创建与现实场景单元中各参考对象一样尺寸与特征点的虚拟场景单元,并让它们之间的相对关系包含距离,旋转与现实场景单元各参考对象之间的相对关系距离,旋转保持一致。
第三步,在3D引擎中调整节点体系。例如现实场景单元中参考对象A1是一张图片,虚拟场景单元中参考对象a4是一个可以明显对比与参考对象A1相对位置的模型,本实施例中优选的参考对象a4使用三维坐标模型,把三维坐标模型的x轴和z轴分别放在参考对象A1图片上直角的两个边上,其它虚拟场景单元中的参考对象完全按照现实场景单元中参考对象建模。例如,现实中参考对象B2与参考对象A1平行且距离直角10cm。在虚拟场景单元中参考对象b5就与三维模型中对应的边平行,并且距离模型10cm。
第四步,根据节点体系参考对象创建节点体系节点。节点体系节点的位置要与虚拟场景单元中参考对象的位置对应,且虚拟场景单元中参考对象是对应节点体系中对应节点类的子物体,例如,在虚拟场景单元中有一个参考对象d6,那么就要相应的创建一个节点体系静态节点,让参考对象d6的层级放在这个静态节点的静态旋转节点的子级中。
第五步,创建节点体系中节点对应的控制。除了节点体系中的全局总节点外,每个节点都要创建对应的控制。例如,图8针对全局位移节点创建三个界面滑条,分别控制全局位移节点在其x、y、z三个轴上的正反向移动,当拖动滑条上的滑块时,节点体系全局位移节点就会向对应方向偏移。图9针对一个对象的静态旋转节点创建三组按钮,每组两个控制一个轴向上的旋转,每次按下按钮时静态旋转节点就会依对应轴向旋转。
第六步,设置SDK中参考对象A1。AR或MR的SDK中会有一种单识别点定位的方法,单识别点指一个图像或一个二维码或一个模型,当设备观测到现实中该识别点时,会把在3D引擎中指定的定位对象移动到这个识别点的位置上。定位方法是SDK本身具备的功能。在SDK中把参考对象A1指定为SDK的识别点。把节点体系中全局总节点作为SDK识别点的定位对象。
如图4、图5、图6和图7共同所示,该用于AR、MR技术的定位系统的定位方法,包括以下步骤:
S1,在SDK中把现实场景单元中的参考对象A1指定为SDK的识别点,把节点体系中全局总节点作为SDK识别点的定位对象。
S2,通过设备的摄像头感知现实场景单元中的参考对象A1,全局总节点移动到参考对象A1的位置。让设备感知、参考现实场景单元中的参考对象A1。例如本实施例中参考对象A1是图片,就让设备的摄像头对准参考对象A1。当设备感知现实场景单元中的参考对象A1时,全局总节点就会移动到节点的位置。
S3,查看并调整节点体系中全局总节点的位置,使得参考对象a4与参考对象A1重合。
S4,查看并调整节点体系中全局旋转节点的位置,使得参考对象b5与参考对象B2重合。
S5,查看并调整节点体系中静态旋转节点的位置,使得参考对象d6与参考对象D3重合、参考对象E7与参考对象e8重合;如果参考对象d6与参考对象D3不重合,参考对象E7与参考对象e8不重合,通过控制节点体系中静态对象位移节点及静态旋转节点的选项,使得参考对象d6与参考对象D3重合,参考对象E7与参考对象e8重合。
具体操作时,在S3中,需要查看并调整节点体系中全局总节点的位置。如果发现参考对象a4与参考对象A1偏差较大,则表示使用者此时操作不规范或者对参考对象A1感知时角度有问题。通过调整感知位置及多次尝试的方式消除或减小这种偏差,直至参考对象a4与参考对象A1重合。即由于在感知现实场景单元中第一类参考对象时的角度不合适、使用者操作不规范,设备当时的性能压力大等问题可能导致初次定位有偏差。当节点体系中全局总节点定位到现实场景单元中的全局节点位置时,如果发现参考对象a4与设置时理论位置偏差较大,则等于提示使用者此时操作不规范或者对现实场景单元中的全局节点感知时角度有问题,这种问题可以靠调整感知位置及多次尝试的方式消除或减小这种偏差,该误差为操作误差,应消除。
例如图4中三维坐标模型的x,z轴明显不在理论上应该定位的位置,且偏差较大,因为有了参考对象a4这个三维模型,所以可以判断出此时是有明显问题,通过多次感知地上的图片,就能消除由于感知角度等问题带来的错误。如5有明显改善。如果多次感知,参考对象a4与参考对象A1重合、或存在较小的误差,每次感知结果都一样,则认为系统本身存在一定的系统误差,通过多次感知已经无法消除该系统误差,我们可以认为参考对象a4与参考对象A1已经重合。这时现实场景单元与虚拟场景单元中存在的误差需要通过坐标体系中的各个节点进行调整。
在S4中,查看并调整节点体系中全局旋转节点的位置。即查看参考对象b5与参考对象B2是否重合;如果不重合通过控制节点体系中全局位移节点及全局旋转节点的选项,直至参考对象b5与参考对象B2重合。
由于现实场景单元中第一类参考对象的质量差,例如图片清晰度,纸张不平;或SDK中算法的局限性、光线等问题。无法简单通过规范操作,或者多次操作来修正。需要识别出是否有类似偏差,并通微调减小这种偏差。
当调整完节点体系中全局总节点后,查看节点体系静态节点是否和现实场景单元静态节点重合,如果不重合,则说明有原理中所提到的原因造成偏差。此时通过调整控制节点体系中全局位移节点及全局旋转节点的选项,来让参考对象b5和参考对象B2重合。
例如图 5中,偏差的位置通过参考对象b5与参考对象B2的对比已经较难发现偏移,而由于节点体系中的总节点相当于节点体系的圆心,所以其它参考对象越远就会越明显。此时可以根据桌子来判断定位的准确度。调整后可以达到图 6的效果,整体定位已经较为精细。但是人眼的校准和操作还是不能完全避免误差,该误差我们认为是可以接受的误差。更远的其它对象的误差会更明显,不能再做整体定位调整。需要后续的独立精准调整。
在S5中,查看并调整节点体系中静态旋转节点的位置。在定位时,离定位中心全局节点越远的位置,可能出现的偏差就越大。因为离中心越远,半径越大,角度对应的位移偏差就越大。
当调整完节点体系中全局旋转节点后,查看参考对象d6是否和参考对象D3重合,参考对象e8是否和参考对象E7重合;如果有不重合,通过调整控制节点体系中静态对象位移节点及静态旋转节点的选项,来让节点体系中目标类定位节点和现实场景单元中的目标点重合。如图7,至此所有虚拟信息都可以准确的指示现实场景中的位置。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于AR、MR技术的定位系统,包括现实场景单元和设备,其特征在于:设备内建立有节点体系和与现实场景单元同比例映射的虚拟场景单元,所述设备上设有摄像头;现实场景单元包括参考对象A(1)和参考对象B(2),参考对象B(2)是现实场景单元内较明显的且与对象A(1)不重合的固定物体;虚拟场景单元包括参考对象a(4)和参考对象b(5);参考对象a(4)和参考对象b(5)分别是参考对象A(1)和参考对象B(2)在虚拟场景单元中的映射;
参考对象A(1)用于虚拟场景单元和现实场景单元间的粗定位,参考对象a(4)用于对比虚拟场景单元和现实场景单元间的粗定位误差;参考对象B(2)用于虚拟场景单元和现实场景单元间的较精准定位;参考对象b(5)用于对比虚拟场景单元和现实场景单元间的较精准定位误差;
节点体系包括全局节点,全局节点包括全局总节点、全局位移节点和全局旋转节点,三个节点的父-子级顺序是:全局总节点-全局位移节点-全局旋转节点;
参考对象a(4)属于节点体系中全局总节点的子对象;参考对象b(5)属于节点体系中全局旋转节点的子对象。
2.如权利要求1所述的用于AR、MR技术的定位系统,其特征在于:所述节点体系还包括用于静态参考对象定位的静态节点,静态节点属于全局旋转节点的子对象;静态节点包括静态位移节点和静态旋转节点,二者的父-子级顺序是:静态位移节点-静态旋转节点。
3.如权利要求2所述的用于AR、MR技术的定位系统,其特征在于:所述节点体系还包括用于动态参考对象定位的目标点定位节点;目标点定位节点属于全局旋转节点的子对象,或属于静态旋转节点的子对象。
4.如权利要求2所述的用于AR、MR技术的定位系统,其特征在于:所述现实场景单元还包括参考对象D(3),虚拟场景单元还包括参考对象d(6);参考对象d(6)是参考对象D(3)在虚拟场景单元中的映射;参考对象D(3)是现实场景单元内固定的物体,参考对象D(3)用于虚拟场景单元和现实场景单元间的精准定位;参考对象d(6)用于对比虚拟场景单元和现实场景单元间的精准定位误差。
5.如权利要求4所述的用于AR、MR技术的定位系统,其特征在于:所述参考对象d(6)属于节点体系中静态旋转节点的子对象。
6.如权利要求3所述的用于AR、MR技术的定位系统,其特征在于:所述节点中除去全局总节点和目标点定位节点外,其他每个节点都要创建对应的控制。
7.一种用于AR、MR技术的定位系统,其特征在于,该定位系统的定位方法包括以下步骤:
S1,在SDK中把现实场景单元中的参考对象A(1)指定为SDK的识别点,把节点体系中全局总节点作为SDK识别点的定位对象;
S2,设备通过摄像头感知现实场景单元中的参考对象A(1),全局总节点移动到参考对象A(1)的位置;
S3,查看并调整节点体系中全局总节点的位置,使得参考对象a(4)与参考对象A(1)重合;
S4,查看并调整节点体系中全局旋转节点的位置,使得参考对象b(5)与参考对象B(2)重合。
8. 如权利要求7所述的用于AR、MR技术的定位系统,其特征在于:在所述S3中,如果发现参考对象a(4)与参考对象A(1)偏差较大,则表示使用者此时操作不规范或者对参考对象A(1)感知时角度有问题;通过调整感知位置及多次尝试的方式消除或减小这种偏差, 直至目测参考对象a(4)与参考对象A(1)的相对位置不再因为重复操作而产生变化,说明该步骤操作已经消除了由于人为因素造成的偏差。
9.如权利要求7所述的用于AR、MR技术的定位系统,其特征在于:在所述S4中,查看参考对象b(5)与参考对象B(2)是否重合;如果不重合通过控制节点体系中全局位移节点及全局旋转节点的选项,直至目测参考对象b(5)与参考对象B(2)重合。
10.如权利要求7所述的用于AR、MR技术的定位系统,其特征在于:所述定位方法还包括以下步骤:
S5,查看并调整节点体系中静态旋转节点的位置,使得参考对象d(6)与参考对象D(3)重合;如果参考对象d(6)与参考对象D(3)不重合,通过控制节点体系中静态对象位移节点及静态旋转节点的选项,使得参考对象d(6)与参考对象D(3)重合。
CN202111190943.1A 2021-10-13 2021-10-13 一种用于ar/mr技术的定位系统 Active CN113643443B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210255311.7A CN114820998A (zh) 2021-10-13 2021-10-13 一种ar/mr定位系统
CN202111190943.1A CN113643443B (zh) 2021-10-13 2021-10-13 一种用于ar/mr技术的定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111190943.1A CN113643443B (zh) 2021-10-13 2021-10-13 一种用于ar/mr技术的定位系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210255311.7A Division CN114820998A (zh) 2021-10-13 2021-10-13 一种ar/mr定位系统

Publications (2)

Publication Number Publication Date
CN113643443A true CN113643443A (zh) 2021-11-12
CN113643443B CN113643443B (zh) 2022-01-21

Family

ID=78426548

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111190943.1A Active CN113643443B (zh) 2021-10-13 2021-10-13 一种用于ar/mr技术的定位系统
CN202210255311.7A Pending CN114820998A (zh) 2021-10-13 2021-10-13 一种ar/mr定位系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210255311.7A Pending CN114820998A (zh) 2021-10-13 2021-10-13 一种ar/mr定位系统

Country Status (1)

Country Link
CN (2) CN113643443B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875493A (zh) * 2017-02-24 2017-06-20 广东电网有限责任公司教育培训评价中心 Ar眼镜中虚拟目标物的叠加方法
CN109840947A (zh) * 2017-11-28 2019-06-04 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN109961523A (zh) * 2019-04-18 2019-07-02 广州市百果园信息技术有限公司 虚拟目标的更新方法、装置、系统、设备及存储介质
US20200005538A1 (en) * 2018-06-29 2020-01-02 Factualvr, Inc. Remote Collaboration Methods and Systems
CN111161422A (zh) * 2019-12-13 2020-05-15 广东电网有限责任公司 一种用于增强虚拟场景实现的模型展示方法
CN111223190A (zh) * 2019-12-30 2020-06-02 安徽逻根农业科技有限公司 一种现实场景中采集vr图像的处理方法
US10929670B1 (en) * 2019-10-21 2021-02-23 The Boeing Company Marker-to-model location pairing and registration for augmented reality applications

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875493A (zh) * 2017-02-24 2017-06-20 广东电网有限责任公司教育培训评价中心 Ar眼镜中虚拟目标物的叠加方法
CN109840947A (zh) * 2017-11-28 2019-06-04 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
US20200005538A1 (en) * 2018-06-29 2020-01-02 Factualvr, Inc. Remote Collaboration Methods and Systems
CN109961523A (zh) * 2019-04-18 2019-07-02 广州市百果园信息技术有限公司 虚拟目标的更新方法、装置、系统、设备及存储介质
US10929670B1 (en) * 2019-10-21 2021-02-23 The Boeing Company Marker-to-model location pairing and registration for augmented reality applications
CN111161422A (zh) * 2019-12-13 2020-05-15 广东电网有限责任公司 一种用于增强虚拟场景实现的模型展示方法
CN111223190A (zh) * 2019-12-30 2020-06-02 安徽逻根农业科技有限公司 一种现实场景中采集vr图像的处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GERDREIS 等: "Mixed reality applications in urology: Requirements and future potential", 《ANNALS OF MEDICINE AND SURGERY》 *
卢山: "MR智能定位系统的研究与实现", 《中国新技术新产品》 *

Also Published As

Publication number Publication date
CN114820998A (zh) 2022-07-29
CN113643443B (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
CN109040738B (zh) 校准方法和非暂态计算机可读介质
US9201568B2 (en) Three-dimensional tracking of a user control device in a volume
AU2013224660B2 (en) Automated frame of reference calibration for augmented reality
US9776364B2 (en) Method for instructing a 3D printing system comprising a 3D printer and 3D printing system
CN109584295A (zh) 对图像内目标物体进行自动标注的方法、装置及系统
US10304206B2 (en) Selecting feature patterns and corresponding layout positions for viewpoint measurement
Asayama et al. Fabricating diminishable visual markers for geometric registration in projection mapping
Baratoff et al. Interactive multi-marker calibration for augmented reality applications
EP2546806A2 (en) Image based rendering for AR - enabling user generation of 3D content
CN109765936A (zh) 移动终端的定位和控制方法、装置及无人机
CN108629799B (zh) 一种实现增强现实的方法及设备
Moser et al. Evaluation of user-centric optical see-through head-mounted display calibration using a leap motion controller
CN110187774A (zh) 光学透视式的ar设备及其实体标注方法
Kahn Reducing the gap between Augmented Reality and 3D modeling with real-time depth imaging
JP6061334B2 (ja) 光学式シースルー型hmdを用いたarシステム
US20220321851A1 (en) Portable projection mapping device and projection mapping system
Pape et al. Quality evaluation of projection-based VR displays
CN113643443B (zh) 一种用于ar/mr技术的定位系统
Pentenrieder Augmented reality based factory planning
Sauer et al. Occlusion handling in augmented reality user interfaces for robotic systems
CN108346183A (zh) 一种用于ar基准定位的方法及系统
Schillebeeckx et al. The geometry of colorful, lenticular fiducial markers
Ashdown et al. Robust calibration of camera-projector system for multi-planar displays
Chen et al. Sketching in the air: a vision-based system for 3d object design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant