CN117830576A - 一种基于mr设备的混合现实定位方法、系统及介质 - Google Patents

一种基于mr设备的混合现实定位方法、系统及介质 Download PDF

Info

Publication number
CN117830576A
CN117830576A CN202410253265.6A CN202410253265A CN117830576A CN 117830576 A CN117830576 A CN 117830576A CN 202410253265 A CN202410253265 A CN 202410253265A CN 117830576 A CN117830576 A CN 117830576A
Authority
CN
China
Prior art keywords
dimensional code
coordinate
coordinates
node
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410253265.6A
Other languages
English (en)
Other versions
CN117830576B (zh
Inventor
温雷雷
樊启武
冷洪明
王昌杰
殷本林
张彤
宿有云
宋家欢
李霞
李莺
郭甫成
吕江波
王天宇
周云定
毛玉鑫
罗金成
李斌
何林涛
张慧源
焦明君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuclear Industry Southwest Survey & Design Institute Co ltd
Sinohydro Bureau 7 Co Ltd
Original Assignee
Nuclear Industry Southwest Survey & Design Institute Co ltd
Sinohydro Bureau 7 Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuclear Industry Southwest Survey & Design Institute Co ltd, Sinohydro Bureau 7 Co Ltd filed Critical Nuclear Industry Southwest Survey & Design Institute Co ltd
Priority to CN202410253265.6A priority Critical patent/CN117830576B/zh
Publication of CN117830576A publication Critical patent/CN117830576A/zh
Application granted granted Critical
Publication of CN117830576B publication Critical patent/CN117830576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于MR设备的混合现实定位方法、系统及介质，方法包括：通过MR设备扫描现实空间中的任意一个二维码图片，得到其在第二虚拟空间中的坐标作为第一坐标；识别二维码图片上的二维码，得到二维码图片的ID和第一相对坐标；基于二维码图片的ID，得到第二虚拟空间中对应的节点ID所属的定位节点，并计算第一坐标与该定位节点的坐标的相对坐标作为第二相对坐标，计算虚拟对象与该定位节点的相对坐标作为第三相对坐标；计算第一相对坐标减去第三相对坐标的差值作为第一差值；计算虚拟对象在虚拟空间中的坐标、第二相对坐标和第一差值的和，得到第二坐标作为虚拟对象在虚拟空间中的坐标进行投影。同样的定位精度下，定位简单、工作量更低。

Description

一种基于MR设备的混合现实定位方法、系统及介质
技术领域
本发明涉及MR混合现实技术领域，具体涉及一种基于MR设备的混合现实定位方法、系统及介质。
背景技术
建筑信息模型（Building Information Model，简称BIM）是一种数字化建筑设计、建造和管理的方法。它基于三维建模技术，将建筑物的几何形状、空间关系以及相关的属性和信息整合到一个集中的数字模型中。建筑信息模型包含了一个建筑项目的各个方面的信息，包括建筑元素的几何形状、材料、尺寸、性能特征、施工序列、成本估算、进度计划等。这些信息可以从不同的专业领域（如建筑、结构、机电、给排水等）获取并整合在一起，形成一个综合的、共享的建筑模型。通过建筑信息模型，建筑专业人员可以进行协同设计、冲突检测和解决、可视化展示、成本估算、进度管理等工作。BIM模型可以通过可视化的方式展示建筑物的外观、结构和系统，帮助设计师和利益相关者更好地理解设计意图并做出决策。
混合现实（Mixed Reality，简称MR）是将虚拟模型和真实元素无缝融合在一起的技术，使用户能够与虚拟模型进行实时交互，并将它们与真实世界环境进行混合。混合现实定位技术是为了确定用户在真实世界中的位置和姿态，并将虚拟模型准确地叠加到用户所处的环境中。
目前的混合现实定位方法中，定位方式复杂，给技术人员带来了较大的工作量。
发明内容
本申请要解决的技术问题是提供一种基于MR设备的混合现实定位方法、系统及介质，具有在可以达到同样定位精度的情况下，定位方式简单、技术人员工作量低的特点。
第一方面，一种实施例中提供一种基于MR设备的混合现实定位方法，包括：
在现实空间中确定实体对象的位置；
在现实空间的多个位置设置二维码图片，对于任意一个位置的二维码图片，图片上的二维码中记载有该二维码图片的ID和所述实体对象与该二维码图片的相对坐标作为第一相对坐标；
在构建的第一虚拟空间中设置多个定位节点得到第二虚拟空间，对于任意一个定位节点，包括节点ID，多个节点ID与多个二维码图片的ID一一对应；所述第一虚拟空间中包括与所述实体对象所对应的虚拟对象；
基于设置有第二虚拟空间的MR设备，通过所述MR设备的摄像头扫描所述现实空间中的任意一个二维码图片，得到该任意一个二维码图片在所述第二虚拟空间中的坐标作为第一坐标；识别该任意一个二维码图片上的二维码，得到二维码中保存的二维码图片的ID和第一相对坐标；
基于识别到的二维码图片的ID，得到第二虚拟空间中对应的节点ID所属的定位节点，并计算第一坐标与该定位节点的坐标的相对坐标作为第二相对坐标，计算虚拟对象与该定位节点的相对坐标作为第三相对坐标；
计算第一相对坐标减去第三相对坐标的差值作为第一差值；
计算虚拟对象在虚拟空间中的坐标、第二相对坐标和第一差值的和，得到第二坐标；
将所述第二坐标作为所述虚拟对象在虚拟空间中的坐标进行投影。
一种实施例中，所述的多个节点ID与多个二维码图片的ID一一对应，包括：
多个节点ID与多个二维码图片的ID一一对应且相同。
一种实施例中，所述的多个节点ID与多个二维码图片的ID一一对应，包括：
所述二维码图片的ID包括二维码图片的名称，和/或，所述节点ID包括节点名称。
一种实施例中，所述的基于识别到的二维码图片的ID，得到第二虚拟空间中对应的节点ID所属的定位节点，并计算第一坐标与该定位节点的坐标的相对坐标作为第二相对坐标，计算虚拟对象与该定位节点的相对坐标作为第三相对坐标，包括：
基于识别到的二维码图片的ID，得到第二虚拟空间中对应的节点ID所属的定位节点，并计算第一坐标与该定位节点的坐标的相对坐标作为第二相对坐标A，计算虚拟对象与该定位节点的相对坐标作为第三相对坐标B；
所述的计算第一相对坐标减去第三相对坐标的差值作为第一差值，包括：
D=C-B，
其中，D表示第一差值，C表示是第一相对坐标；
计算虚拟对象在虚拟空间中的坐标、第二相对坐标和第一差值的和，得到第二坐标，包括：
O2=O1+A+D，
其中，O2表示第二坐标，O1表示虚拟对象在虚拟空间中的坐标。
一种实施例中，所述的将所述第二坐标作为所述虚拟对象在虚拟空间中的坐标进行投影，包括：
基于设置的投影剪裁距离，投影时，剔除剪裁距离以外的投影对象。
一种实施例中，要投影的虚拟对象为经过减面处理的虚拟对象，所述减面处理包括立体面面数的减面处理和/或减少线条拐点的减面处理。
一种实施例中，要投影的虚拟对象为经过材质合批的虚拟对象，所述材质合批包括：
将虚拟对象中的若干子对象采用相同的材质进行覆盖；
将材质相同的子对象视为单独的物体，在加载渲染过程中，将所述材质相同的子对象合并为一个批次进行渲染。
第二方面，一种实施例中提供一种混合现实定位系统，应用于MR设备，所述MR设备加载有虚拟空间，所述虚拟空间包括虚拟对象和多个定位节点，对于任意一个定位节点，包括节点ID，多个节点ID与多个二维码图片的ID一一对应；所述多个二维码图片为在现实空间的多个位置设置的二维码图片，对于任意一个位置的二维码图片，图片上的二维码中记载有该二维码图片的ID和实体对象与该二维码图片的相对坐标作为第一相对坐标；所述实体对象与所述虚拟对象相对应，基于现实空间确定实体对象在现实空间中的位置；所述定位系统包括：
第一坐标和第一相对坐标获取模块，被配置为基于MR设备的摄像头扫描所述现实空间中的任意一个二维码图片，得到该任意一个二维码图片在所述第二虚拟空间中的坐标作为第一坐标；识别该任意一个二维码图片上的二维码，得到二维码中保存的二维码图片的ID和第一相对坐标；
第二相对坐标和第三相对坐标获取模块，被配置为基于识别到的二维码图片的ID，得到虚拟空间中对应的节点ID所属的定位节点，并计算第一坐标与该定位节点的坐标的相对坐标作为第二相对坐标，计算虚拟对象与该定位节点的相对坐标作为第三相对坐标；
第一差值获取模块，被配置为计算第一相对坐标减去第三相对坐标的差值作为第一差值；
第二坐标获取模块，被配置为计算虚拟对象在虚拟空间中的坐标、第二相对坐标和第一差值的和，得到第二坐标；
投影坐标获取模块，被配置为将所述第二坐标作为所述虚拟对象在虚拟空间中的坐标进行投影。
一种实施例中，所述定位系统还包括投影剪裁距离设置模块，用于设置投影剪裁距离，从而使得基于设置的投影剪裁距离，投影时，剔除剪裁距离以外的投影对象。
第三方面，一种实施例中提供一种计算机可读存储介质，其特征在于，所述介质中存储有程序，所述程序能够被处理器加载并执行上述任意一个实施例所述的基于MR设备的混合现实定位方法。
本发明的有益效果是：
由于在确定第二坐标作为定位坐标的过程中，所设置的定位节点，只要与二维码图片的ID对应即可，不需要去设定定位节点的坐标使得定位节点与虚拟对象的相对坐标和二维码图像与实体对象的相对坐标一致，这就省去了工作人员需要去精确计算和按照计算结果去设定定位节点的过程。另外，如果二维码图片的位置发生变动，也只需要更改二维码图片上二维码中所保存的第一相对坐标信息即可，不需要再去调整定位节点。因此，在可以达到同样的精度的情况下，定位方式更简单，且大大节省了技术人员的工作量。
附图说明
图1是本申请一种实施例的定位方法流程示意图；
图2是本申请一种实施例的第二坐标确定示意图；
图3是本申请一种实施例的定位系统结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
为便于对本申请的发明构思进行说明，以下对混合现实定位技术进行简要说明。
目前的基于MR设备的混合现实定位的某些方案中，会先在现实空间中设置多个二维码图片，二维码图片的二维码中会记载有坐标信息，同时，也会在对应的虚拟空间中设置对应的定位节点，该多个定位节点与多个二维码图片一一对应。然而，申请人在研究中发现，目前的技术中，在虚拟空间中设置的定位节点与虚拟空间中的虚拟对象的相对坐标，需要与现实空间中设置的二维码图片与实体对象的相对坐标保持一致，才能找到虚拟对象在虚拟空间中的准确坐标，以实现准确的定位投影，一旦任意一个二维码图片的位置发生变动，则相应的定位节点也要发生变动，因此，一方面，需要用户对定位节点进行准确地设置，另一方面，也需要在二维码图片的位置变动后，去调节相应的定位节点，从而导致定位方式复杂，也给技术人员带来了较大的繁琐的工作量。
鉴于此，本申请的一种实施例中提供了一种基于MR设备的混合现实定位方法，该定位方法中，通过对相对坐标的转换计算从而找到虚拟对象在虚拟空间中的坐标以进行定位投影，在可以达到同样定位精度的情况下，定位方式简单，大大节省技术人员的工作量的技术效果。
请参照图1，该定位方法包括：
步骤S10，在现实空间中确定实体对象的位置。
本领域技术人员可以理解地，该实体对象为与虚拟空间中的虚拟对象相对应的虚拟对象，可以是还未建设的或者还未建设完成的实体对象，而确定的实体对象的位置，为实体对象要坐落的位置。一种实施例中，该实体对象可以是工程大模型，如桥梁建筑模型等。
步骤S20，在现实空间的多个位置设置二维码图片，对于任意一个位置的二维码图片，图片上的二维码中记载有该二维码图片的ID和实体对象与该二维码图片的相对坐标作为第一相对坐标。
一种实施例中，二维码图片的ID可以是一个二维码图片的唯一标识编码，也可以是一个唯一的名称，也可以既包括一个唯一的名称，又包括一个唯一标识编码。
步骤S30，在构建的第一虚拟空间中设置多个定位节点得到第二虚拟空间，对于任意一个定位节点，包括节点ID，多个节点ID与多个二维码图片的ID一一对应；第一虚拟空间中包括与实体对象所对应的虚拟对象。
一种实施例中，节点ID可以是一个节点的唯一标识编码，也可以是一个唯一的名称，也可以既包括一个唯一的名称，又包括一个唯一标识编码。
一种实施例中，多个节点ID与多个二维码图片的ID一一对应，但不一致。一种实施例中，多个节点ID与多个二维码图片的ID一一对应且相同。
步骤S40，基于设置有第二虚拟空间的MR设备，通过MR设备的摄像头扫描现实空间中的任意一个二维码图片，得到该任意一个二维码图片在第二虚拟空间中的坐标作为第一坐标；识别该任意一个二维码图片上的二维码，得到二维码中保存的二维码图片的ID和第一相对坐标。
本领域技术人员可以理解地，虚拟对象所在的虚拟空间仅有一个，这里的第一虚拟空间和第二虚拟空间仅用于与区别是否设置有定位节点，并不是指两个空间。
一种实施例中，需要进行定位时，将基于slam构建的包括定位节点的孪生模型加载到MR设备中，MR设备基于加载的孪生模型进行全息投影，通过MR设备的摄像头扫描处于现实空间中的任意一个二维码图片，即可得到该任意一个二维码图片在虚拟空间中的坐标，将该坐标作为第一坐标。同时，识别该任意一个二维码图片上的二维码，即可得到二维码中保存的二维码图片的ID信息和第一相对坐标信息。
步骤S50，基于识别到的二维码图片的ID，得到第二虚拟空间中对应的节点ID所属的定位节点，并计算第一坐标与该定位节点的坐标的相对坐标作为第二相对坐标，计算虚拟对象与该定位节点的相对坐标作为第三相对坐标。
由于可以获取到对应的定位节点在虚拟空间中的坐标，因此，可以得到第一坐标与该定位节点的坐标的相对坐标作，也就是第二相对坐标。
一种实施例中，请参考图2，将第二相对坐标记为A，将第三相对坐标记为B。
一种实施例中，若定位节点的坐标为（5,0,0），第一坐标为（10,0,0），则第二相对坐标A为（10-5,0-0,0-0），即（5,0,0）。
一种实施例中，将虚拟对象在虚拟空间中的坐标记为O1，若O1为（5,5,0），则第三相对坐标B为（0,5,0）。
步骤S60，计算第一相对坐标减去第三相对坐标的差值作为第一差值。
一种实施例中，将第一相对坐标记为C，且C为（0,10,0），将第一差值记为D，则第一差值D=C-B，则一种实施例中，第一差值D为（0,5,0）。
步骤S70，计算虚拟对象在虚拟空间中的坐标、第二相对坐标和第一差值的和，得到第二坐标。
一种实施例中，将第二坐标记为O2，则O2=O1+A+D，则得到第二坐标为（10,10,0）。
步骤S80，将第二坐标作为虚拟对象在虚拟空间中的坐标进行投影。
基于上述方案，将得到的第二坐标作为定位投影的坐标，即将第二坐标作为虚拟对象在虚拟空间中的坐标进行投影。由此得到的定位坐标，可以达到同样的精度。同时我们发现，在确定定位坐标的过程中，所设置的定位节点，只要与二维码图片的ID对应即可，不需要去设定定位节点的坐标使得定位节点与虚拟对象的相对坐标和二维码图像与实体对象的相对坐标一致，这就省去了工作人员需要去精确计算和按照计算结果去设定定位节点的过程。另外，如果二维码图片的位置发生变动，也只需要更改二维码图片上二维码中所保存的第一相对坐标信息即可，不需要再去调整定位节点。因此，基于上述的定位投影方案，定位方式更简单，且大大节省了技术人员的工作量。
申请人在研究中还发现，由于MR设备的运算能力不足，当工程模型过于庞大或者复杂时，容易造成显示模型掉帧或者设备卡死。
鉴于此，本申请的一种实施中，可以对投影的剪裁距离进行设置，基于设置的投影剪裁距离，投影时，剔除剪裁距离以外的投影对象。
相机视椎体是一个视觉范围内的立方体，只有位于其中的物体才会被加载渲染，基于此，可以设置相机的剪裁距离，将相机裁剪距离设置为一个可调参数，根据现场实时调节此参数，它可用于剔除剪裁距离以外的物体，例如，可以设置裁剪距离为50m，则只对50m以内的投影对象进行投影，以此减少渲染物体的数量，提高渲染效率，使渲染更加流畅和高效。
一种实施例中，对要投影的虚拟对象进行减面处理，如此，要投影的虚拟对象为经过减面处理的虚拟对象，以此减少渲染数量，使得渲染更加流程和高效。该减面处理可以是立体面面数的减面处理，如建筑物的某一面，也可以是减少线条拐点的减面处理，如弧线边缘物体的线条拐点的减少。
一种实施例中，对要投影的虚拟对象进行材质合批处理，如此，要投影的虚拟对象为经过材质合批的虚拟对象，以此减少渲染数量，使得渲染更加流程和高效。要渲染的虚拟对象中，
该材质合批处理的方法中，将虚拟对象中的若干子对象采用相同的材质进行覆盖，将材质相同的子对象视为单独的物体，在加载渲染过程中，将材质相同的子对象合并为一个批次进行渲染，以此减少渲染数量。
在虚拟对象中，某些材质相同的子对象可以采用相同的材质进行覆盖，然后再以位置坐标和/或纹理颜色等进行区分，因此，可以将这些子对象采用相同的材质进行覆盖，这样就可以在加载渲染过程中，将材质相同的子对象视为单独的物体，合并为一个批次进行渲染，从而减少渲染数量。
本申请的一种实施例中提供了一种混合现实定位系统，该混合现实定位系统可以应用与MR设备，以实现上述任意一个实施例的混合现实定位方法。请参考图3，该混合现实定位系统包括第一坐标和第一相对坐标获取模块01、第二相对坐标和第三相对坐标获取模块02、第一差值获取模块03、第二坐标获取模块04和投影坐标获取模块05。
对于第一坐标和第一相对坐标获取模块01，被配置为基于MR设备的摄像头扫描现实空间中的任意一个二维码图片，得到该任意一个二维码图片在第二虚拟空间中的坐标作为第一坐标；识别该任意一个二维码图片上的二维码，得到二维码中保存的二维码图片的ID和第一相对坐标。
对于第二相对坐标和第三相对坐标获取模块02，被配置为基于识别到的二维码图片的ID，得到虚拟空间中对应的节点ID所属的定位节点，并计算第一坐标与该定位节点的坐标的相对坐标作为第二相对坐标，计算虚拟对象与该定位节点的相对坐标作为第三相对坐标。
对于第一差值获取模块03，被配置为计算第一相对坐标减去第三相对坐标的差值作为第一差值。
对于第二坐标获取模块04，被配置为计算虚拟对象在虚拟空间中的坐标、第二相对坐标和第一差值的和，得到第二坐标。
对于投影坐标获取模块05，被配置为将第二坐标作为虚拟对象在虚拟空间中的坐标进行投影。
基于上述定位系统，将得到的第二坐标作为定位投影的坐标，即将第二坐标作为虚拟对象在虚拟空间中的坐标进行投影。由此得到的定位坐标，可以达到同样的精度。同时我们发现，在确定定位坐标的过程中，所设置的定位节点，只要与二维码图片的ID对应即可，不需要去设定定位节点的坐标使得定位节点与虚拟对象的相对坐标和二维码图像与实体对象的相对坐标一致，这就省去了工作人员需要去精确计算和按照计算结果去设定定位节点的过程。另外，如果二维码图片的位置发生变动，也只需要更改二维码图片上二维码中所保存的第一相对坐标信息即可，不需要再去调整定位节点。因此，基于上述的定位投影方案，定位方式更简单，且大大节省了技术人员的工作量。
一种实施例中，定位系统还包括投影剪裁距离设置模块06，用于设置投影剪裁距离，从而使得基于设置的投影剪裁距离，投影时，剔除剪裁距离以外的投影对象。
基于该投影剪裁距离设置模块06，可将相机裁剪距离设置为一个可调参数，根据现场实时调节此参数，它可用于剔除剪裁距离以外的物体，以此减少渲染物体的数量，提高渲染效率，使渲染更加流畅和高效。
本申请的一种实施例中提供了一种计算机可读存储介质，存储介质上存储有程序，存储的程序包括能够被处理器加载并处理上述任意一实施例中的混合现实定位方法。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于MR设备的混合现实定位方法，其特征在于，包括：
在现实空间中确定实体对象的位置；
在现实空间的多个位置设置二维码图片，对于任意一个位置的二维码图片，图片上的二维码中记载有该二维码图片的ID和所述实体对象与该二维码图片的相对坐标作为第一相对坐标；
在构建的第一虚拟空间中设置多个定位节点得到第二虚拟空间，对于任意一个定位节点，包括节点ID，多个节点ID与多个二维码图片的ID一一对应；所述第一虚拟空间中包括与所述实体对象所对应的虚拟对象；
基于设置有第二虚拟空间的MR设备，通过所述MR设备的摄像头扫描所述现实空间中的任意一个二维码图片，得到该任意一个二维码图片在所述第二虚拟空间中的坐标作为第一坐标；识别该任意一个二维码图片上的二维码，得到二维码中保存的二维码图片的ID和第一相对坐标；
基于识别到的二维码图片的ID，得到第二虚拟空间中对应的节点ID所属的定位节点，并计算第一坐标与该定位节点的坐标的相对坐标作为第二相对坐标，计算虚拟对象与该定位节点的相对坐标作为第三相对坐标；
计算第一相对坐标减去第三相对坐标的差值作为第一差值；
计算虚拟对象在虚拟空间中的坐标、第二相对坐标和第一差值的和，得到第二坐标；
将所述第二坐标作为所述虚拟对象在虚拟空间中的坐标进行投影。
2.如权利要求1所述的基于MR设备的混合现实定位方法，其特征在于，所述的多个节点ID与多个二维码图片的ID一一对应，包括：
多个节点ID与多个二维码图片的ID一一对应且相同。
3.如权利要求1或2所述的基于MR设备的混合现实定位方法，其特征在于，所述的多个节点ID与多个二维码图片的ID一一对应，包括：
所述二维码图片的ID包括二维码图片的名称，和/或，所述节点ID包括节点名称。
4.如权利要求1所述的基于MR设备的混合现实定位方法，其特征在于，所述的基于识别到的二维码图片的ID，得到第二虚拟空间中对应的节点ID所属的定位节点，并计算第一坐标与该定位节点的坐标的相对坐标作为第二相对坐标，计算虚拟对象与该定位节点的相对坐标作为第三相对坐标，包括：
基于识别到的二维码图片的ID，得到第二虚拟空间中对应的节点ID所属的定位节点，并计算第一坐标与该定位节点的坐标的相对坐标作为第二相对坐标A，计算虚拟对象与该定位节点的相对坐标作为第三相对坐标B；
所述的计算第一相对坐标减去第三相对坐标的差值作为第一差值，包括：
D=C-B，
其中，D表示第一差值，C表示是第一相对坐标；
计算虚拟对象在虚拟空间中的坐标、第二相对坐标和第一差值的和，得到第二坐标，包括：
O2=O1+A+D，
其中，O2表示第二坐标，O1表示虚拟对象在虚拟空间中的坐标。
5.如权利要求1所述的基于MR设备的混合现实定位方法，其特征在于，所述的将所述第二坐标作为所述虚拟对象在虚拟空间中的坐标进行投影，包括：
基于设置的投影剪裁距离，投影时，剔除剪裁距离以外的投影对象。
6.如权利要求1所述的基于MR设备的混合现实定位方法，其特征在于，要投影的虚拟对象为经过减面处理的虚拟对象，所述减面处理包括立体面面数的减面处理和/或减少线条拐点的减面处理。
7.如权利要求1所述的基于MR设备的混合现实定位方法，其特征在于，要投影的虚拟对象为经过材质合批的虚拟对象，所述材质合批包括：
将虚拟对象中的若干子对象采用相同的材质进行覆盖；
将材质相同的子对象视为单独的物体，在加载渲染过程中，将所述材质相同的子对象合并为一个批次进行渲染。
8.一种混合现实定位系统，应用于MR设备，其特征在于，所述MR设备加载有虚拟空间，所述虚拟空间包括虚拟对象和多个定位节点，对于任意一个定位节点，包括节点ID，多个节点ID与多个二维码图片的ID一一对应；所述多个二维码图片为在现实空间的多个位置设置的二维码图片，对于任意一个位置的二维码图片，图片上的二维码中记载有该二维码图片的ID和实体对象与该二维码图片的相对坐标作为第一相对坐标；所述实体对象与所述虚拟对象相对应，基于现实空间确定实体对象在现实空间中的位置；所述定位系统包括：
第一坐标和第一相对坐标获取模块（01），被配置为基于MR设备的摄像头扫描所述现实空间中的任意一个二维码图片，得到该任意一个二维码图片在所述第二虚拟空间中的坐标作为第一坐标；识别该任意一个二维码图片上的二维码，得到二维码中保存的二维码图片的ID和第一相对坐标；
第二相对坐标和第三相对坐标获取模块（02），被配置为基于识别到的二维码图片的ID，得到虚拟空间中对应的节点ID所属的定位节点，并计算第一坐标与该定位节点的坐标的相对坐标作为第二相对坐标，计算虚拟对象与该定位节点的相对坐标作为第三相对坐标；
第一差值获取模块（03），被配置为计算第一相对坐标减去第三相对坐标的差值作为第一差值；
第二坐标获取模块（04），被配置为计算虚拟对象在虚拟空间中的坐标、第二相对坐标和第一差值的和，得到第二坐标；
投影坐标获取模块（05），被配置为将所述第二坐标作为所述虚拟对象在虚拟空间中的坐标进行投影。
9.如权利要求8所述的混合现实定位系统，其特征在于，所述定位系统还包括投影剪裁距离设置模块（06），用于设置投影剪裁距离，从而使得基于设置的投影剪裁距离，投影时，剔除剪裁距离以外的投影对象。
10.一种计算机可读存储介质，其特征在于，所述介质中存储有程序，所述程序能够被处理器加载并执行如权利要求1到7之一所述的基于MR设备的混合现实定位方法。
CN202410253265.6A 2024-03-06 2024-03-06 一种基于mr设备的混合现实定位方法、系统及介质 Active CN117830576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410253265.6A CN117830576B (zh) 2024-03-06 2024-03-06 一种基于mr设备的混合现实定位方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410253265.6A CN117830576B (zh) 2024-03-06 2024-03-06 一种基于mr设备的混合现实定位方法、系统及介质

Publications (2)

Publication Number Publication Date
CN117830576A true CN117830576A (zh) 2024-04-05
CN117830576B CN117830576B (zh) 2024-05-07

Family

ID=90506226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410253265.6A Active CN117830576B (zh) 2024-03-06 2024-03-06 一种基于mr设备的混合现实定位方法、系统及介质

Country Status (1)

Country Link
CN (1) CN117830576B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140022281A1 (en) * 2012-07-18 2014-01-23 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
CN112767555A (zh) * 2019-10-21 2021-05-07 波音公司 用于增强现实应用的标记到模型位置配对和配准
US20210217244A1 (en) * 2020-01-10 2021-07-15 38Th Research Instituet, China Electronics Technology Group Corporation Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
CN114998559A (zh) * 2022-06-30 2022-09-02 刘杰 混合现实双目立体视觉图像实时远程渲染方法
CN116310918A (zh) * 2023-02-16 2023-06-23 东易日盛家居装饰集团股份有限公司 基于混合现实的室内关键物体识别定位方法、装置及设备
CN117474028A (zh) * 2023-12-11 2024-01-30 郑州捷安高科股份有限公司 一种基于mr的智能检修操作方法
CN117647217A (zh) * 2023-11-28 2024-03-05 苏州光格科技股份有限公司 混合现实设备定向及物体定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140022281A1 (en) * 2012-07-18 2014-01-23 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
CN112767555A (zh) * 2019-10-21 2021-05-07 波音公司 用于增强现实应用的标记到模型位置配对和配准
US20210217244A1 (en) * 2020-01-10 2021-07-15 38Th Research Instituet, China Electronics Technology Group Corporation Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
CN114998559A (zh) * 2022-06-30 2022-09-02 刘杰 混合现实双目立体视觉图像实时远程渲染方法
CN116310918A (zh) * 2023-02-16 2023-06-23 东易日盛家居装饰集团股份有限公司 基于混合现实的室内关键物体识别定位方法、装置及设备
CN117647217A (zh) * 2023-11-28 2024-03-05 苏州光格科技股份有限公司 混合现实设备定向及物体定位方法
CN117474028A (zh) * 2023-12-11 2024-01-30 郑州捷安高科股份有限公司 一种基于mr的智能检修操作方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
JOHN SERMARINI; ROBERT A. MICHLOWITZ; JOSEPH J. LAVIOLA; LORI C. WALTERS; ROGER AZEVEDO; JOSEPH T. KIDER: "Investigating the Impact of Augmented Reality and BIM on Retrofitting Training for Non-Experts", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》, vol. 29, no. 11, 6 October 2023 (2023-10-06), pages 4655 - 4665, XP011953090, DOI: 10.1109/TVCG.2023.3320223 *
XIAOLIN HAO: "Assembly building information management method combining Bim and QR code technology", 《2022 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE IN EVERYTHING (AIE)》, 26 September 2022 (2022-09-26), pages 425 - 430 *
周吉林;朱词恩;苏前广;程源;李文建;: "BIM+AR&MR技术在建筑工程施工中的应用", 《广东土木与建筑》, vol. 26, no. 07, 18 July 2019 (2019-07-18), pages 63 - 67 *
孙振武: "面向工业可视化的增强现实系统研究", 《中国学位论文全文数据库》, 15 December 2021 (2021-12-15) *
王昌杰: "建设BIM基础数据生产体系研究及软件开发", 《电子技术与软件工程》, no. 2022, 15 August 2022 (2022-08-15), pages 63 - 66 *
葛良水;胡少华;商莹: "基于ARToolKit的二维码多标识增强现实系统", 《机械设计与制造工程》, vol. 47, no. 6, 15 August 2018 (2018-08-15), pages 109 - 113 *
陈璐: "图形图像及定位技术研究在变电站中的应用", 《中国优秀硕士学位论文全文数据库（工程科技Ⅱ辑）》, no. 2022, 15 June 2022 (2022-06-15) *
韩冬辰: "面向数字孪生建筑的"信息-物理"交互策略研究", 《中国优秀博士学位论文全文数据库（工程科技Ⅱ辑）》, no. 2022, 15 January 2022 (2022-01-15) *

Also Published As

Publication number Publication date
CN117830576B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
Braun et al. A concept for automated construction progress monitoring using bim-based geometric constraints and photogrammetric point clouds.
Karsch et al. ConstructAide: analyzing and visualizing construction sites through photographs and building models
Golparvar-Fard et al. Visualization of construction progress monitoring with 4D simulation model overlaid on time-lapsed photographs
Cignoni et al. Meshlab: an open-source mesh processing tool.
US10248993B2 (en) Systems and methods for generating photo-realistic images of virtual garments overlaid on visual images of photographic subjects
JP6057298B2 (ja) 迅速な３ｄモデリング
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US20090009513A1 (en) Method and system for generating a 3d model
Gibson et al. Interactive reconstruction of virtual environments from video sequences
Murphy et al. Developing historic building information modelling guidelines and procedures for architectural heritage in Ireland
Khalil et al. H-BIM and the domains of data investigations of heritage buildings current state of the art
Kolivand et al. Cultural heritage in marker-less augmented reality: A survey
Weinmann et al. Efficient 3d mapping and modelling of indoor scenes with the microsoft hololens: A survey
Bolkas et al. Creating a virtual reality environment with a fusion of sUAS and TLS point-clouds
CN114140690A (zh) 装修进度监控方法、装置、电子设备和存储介质
Rüther et al. Challenges in heritage documentation with terrestrial laser scanning
CN117830576B (zh) 一种基于mr设备的混合现实定位方法、系统及介质
AU2013204653B2 (en) Method and system for generating a 3d model
CN110378948B (zh) 3d模型重建方法、装置及电子设备
Englert et al. Enhancing the ar experience with machine learning services
Hess et al. Re-engineering Watt: A case study and best practice recommendations for 3D colour laser scans and 3D printing in museum artefact documentation
Dore Procedural Historic Building Information Modelling (HBIM) for recording and documenting European classical architecture
EP3779878A1 (en) Method and device for combining a texture with an artificial object
JP2001084408A (ja) ３次元データ加工装置及び方法並びに記録媒体
Ahmed Memon et al. A systematic procedure for developing the 3D model to evaluate the construction project progress

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant