CN108765575A - 一种基于ar的工业设备图鉴展示方法和系统 - Google Patents

一种基于ar的工业设备图鉴展示方法和系统 Download PDF

Info

Publication number
CN108765575A
CN108765575A CN201810156767.1A CN201810156767A CN108765575A CN 108765575 A CN108765575 A CN 108765575A CN 201810156767 A CN201810156767 A CN 201810156767A CN 108765575 A CN108765575 A CN 108765575A
Authority
CN
China
Prior art keywords
equipment
presented
image
identification
mapping database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810156767.1A
Other languages
English (en)
Inventor
黄致尧
屈非凡
刘鹏彧
白彩娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PETRIFACTION CENTURY INFORMATION TECHNOLOGY Corp
Original Assignee
PETRIFACTION CENTURY INFORMATION TECHNOLOGY Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PETRIFACTION CENTURY INFORMATION TECHNOLOGY Corp filed Critical PETRIFACTION CENTURY INFORMATION TECHNOLOGY Corp
Priority to CN201810156767.1A priority Critical patent/CN108765575A/zh
Publication of CN108765575A publication Critical patent/CN108765575A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于AR的工业设备图鉴展示方法和系统,包括:建立待展示设备的三维模型;建立待展示设备在不同空间角度下的二维图像与对应三维模型的映射数据库;拍摄并显示包括待展示设备的环境图像,并基于映射数据库对环境图像中的待展示设备进行识别;基于映射数据库获取识别的待展示设备的三维模型及对应设备的相关信息,并通过三维叠加方式叠加在环境图像中。本发明可以快速获取设备三维结构和参数数据,并且能够直观立体的展现出来。

Description

一种基于AR的工业设备图鉴展示方法和系统
技术领域
本发明属于增强现实技术领域,具体地说,尤其涉及一种基于AR的工业设备图鉴展示方法和系统。
背景技术
在现有技术中,工厂设备的零件复杂多样,而工厂设备图册通常为二维纸质书籍,无法完全反映真实设备的外观,阅读者无法全面了解设备的结构信息。
对于工厂设备的二维纸质书籍,在进行设备查询时,主要通过人工判断方式来了解设备的结构信息。并且,对于目前设备的少量数字化模型,设备参数及相关数据通常显示在管理机终端,现场人员不能实时获取相关数据。
发明内容
为了解决上述技术问题,本发明提供了一种基于AR的工业设备图鉴展示方法和系统,可以快速获取设备三维结构和参数数据,并且能够直观立体的展现出来。
根据本发明的一个方面,提供了一种基于AR的工业设备图鉴展示方法,包括:
建立待展示设备的三维模型;
建立待展示设备在不同空间角度下的二维图像与对应三维模型的映射数据库;
拍摄并显示包括待展示设备的环境图像,并基于所述映射数据库对所述环境图像中的待展示设备进行识别;
基于所述映射数据库获取识别的待展示设备的三维模型及对应设备的相关信息,并通过三维叠加方式叠加在所述环境图像中。
根据本发明的一个实施例,建立待展示设备在不同空间角度下的二维图像与对应三维模型的映射数据库,进一步包括:
获取待展示设备不同空间角度下的二维图像;
获取二维图像中的待展示设备的识别特征;
建立所述识别特征与对应设备的三维模型的映射关系,并将所述映射关系存储在映射数据库中,其中,所述映射数据库中还包括待展示设备的坐标和设备相关信息。
根据本发明的一个实施例,拍摄并显示包括待展示设备的环境图像,并基于所述映射数据库对所述环境图像中的待展示设备进行识别,进一步包括:
获取包括待展示设备的环境图像;
获取所述环境图像中的灰度特征点;
基于所述灰度特征点获取识别特征;
基于所述映射数据库和所述识别特征,获取对应设备的三维模型和设备相关信息。
根据本发明的一个实施例,基于所述映射数据库获取识别的待展示设备的三维模型及对应的设备相关信息,并通过三维叠加方式叠加在所述环境图像中,进一步包括:
根据获取的识别特征与所述映射数据库中匹配的三维模型,获取图像特征点对;
根据所述图像特征点对进行投影变换,以解算出图像旋转矩阵;
从所述映射数据库中获取识别的识别特征对应设备的坐标,并基于所述图像旋转矩阵,将识别的识别特征对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标;
在识别的识别特征对应设备的第二坐标系下的坐标处,叠加显示对应设备的三维模型;
获取识别特征对应的设备的实时信息,并叠加显示在所述环境图像中对应设备的三维模型处。
根据本发明的一个实施例,针对待展示设备建立对应的三维模型,进一步包括:
对待展示设备的各组成零件分别进行建模,以得到对应的零件模型;
将所有的零件模型组装在一起构成设备三维模型。
根据本发明的另一个方面,还提供了一种基于AR的工业设备图鉴展示系统,包括:
三维模型建立模块,其配置为建立待展示设备的三维模型;
映射数据库建立模块,其配置为建立待展示设备在不同空间角度下的二维图像与对应三维模型的映射数据库;
识别模块,其配置为拍摄并显示包括待展示设备的环境图像,并基于所述映射数据库对所述环境图像中的待展示设备进行识别;
信息叠加模块,其配置为基于所述映射数据库获取识别的待展示设备的三维模型及对应设备的相关信息,并通过三维叠加方式叠加在所述环境图像中。
根据本发明的一个实施例,所述映射数据库建立模块进一步包括:
二维图像获取单元,其配置为获取待展示设备不同空间角度下的二维图像;
识别特征获取模块,其配置为获取二维图像中的待展示设备的识别特征;
映射关系建立模块,其配置为建立所述识别特征与对应设备的三维模型的映射关系,并将所述映射关系存储在映射数据库中,其中,所述映射数据库中还包括待展示设备的坐标和设备相关信息。
根据本发明的一个实施例,所述识别模块进一步包括:
环境图像获取单元,其配置为获取包括待展示设备的环境图像;
灰度特征点获取单元,其配置为获取所述环境图像中的灰度特征点;
识别特征获取单元,其配置为基于所述灰度特征点获取识别特征;
模型信息获取单元,其配置为基于所述映射数据库和所述识别特征,获取对应设备的三维模型和设备相关信息。
根据本发明的一个实施例,所述信息叠加模块进一步包括:
图像特征点对获取单元,其配置为根据获取的识别特征与所述映射数据库中匹配的三维模型得到图像特征点对;
图像旋转矩阵获取单元,其配置为根据所述图像特征点对进行投影变换,以解算出图像旋转矩阵;
坐标转换单元,其配置为从所述映射数据库中获取识别的识别特征对应设备的坐标,并基于所述图像旋转矩阵,将识别的识别特征对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标;
模型叠加单元,其配置为在识别的识别特征对应设备的第二坐标系下的坐标处,叠加显示对应设备的三维模型;
实时信息叠加单元,其配置为获取识别特征对应的设备的实时信息,并叠加显示在所述环境图像中对应设备的三维模型处。
根据本发明的一个实施例,还包括三维模型建立模块,其配置为对待展示设备的各组成零件分别进行建模,以得到对应的零件模型,将所有的零件模型组装在一起构成设备三维模型。
本发明中的有益效果:
本发明通过结合AR技术,可以快速获取设备三维结构和参数数据,并且能够直观立体的展现出来。
本发明的其它特征和优点将在随后的说明书中阐述,并且部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例共同用于解释本发明,并不构成对本发明的限制。在附图中:
图1是根据本发明的一个实施例的一种基于AR的工业设备图鉴展示方法流程图;
图2是根据本发明的一个实施例的一种基于AR的工业设备图鉴展示系统结构图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
对于工厂设备的二维纸质书籍,在进行设备查询时,主要通过人工判断方式来了解设备的结构信息。并且,对于目前设备的少量数字化模型,设备参数及相关数据通常显示在管理机终端,现场人员不能实时获取相关数据。本发明提供了一种基于AR的工业设备图鉴展示方法和系统,用于通过AR技术,可以快速获取设备三维结构和参数数据,并且能够直观立体的被展现出来。
第一实施例
根据本发明的一个方面,提供了一种基于AR的工业设备图鉴展示方法,如图1所示为根据本发明的一个实施例的一种基于AR的工业设备图鉴展示方法流程图,以下参考图1来对本方法进行详细说明。
在步骤S110中,建立待展示设备的三维模型。具体的,基于待展示设备的详细图纸,在如3dMax等建模软件中对实体设备进行三维建模,以得到设备的三维模型。具体建模时,先对待展示设备的各组成零件分别进行建模,以得到对应的零件模型。然后将所有零件模型组装在一起以得到设备三维模型。
在步骤S120中,建立待展示设备在不同空间角度下的二维图像与对应三维模型的映射数据库。
具体的,建立设待展示备不同空间角度下的二维图像与对应三维模型的映射数据库,进一步包括以下几个步骤。首先,获取待展示设备不同空间角度下的二维图像。具体的,获取在不同角度观察待展示设备时,对应角度下待展示设备的二维图像。在实际场景中,各待展示为三维结构,当观察着位于某一位置观察该设备时,进入观察者眼中的是其视角范围内的设备二维图像。
接着,获取二维图像中的待展示设备的识别特征。具体的,对应于进入观察者眼中的其视角范围的二维图像中,获取代表待展示设备特性的识别特征,通过该识别特征即可以识别该设备。例如,获取包括待展示设备的各二维图像中的灰度特征点既包括与设备对应的图像标识的灰度特征。对灰度特征点进行解析,可以得到对应的图像灰度特征。对图像灰度特征进行组合,可以得到对应设备的识别特征。
最后,建立识别特征与对应设备的三维模型的映射关系,并将映射关系存储在映射数据库中,其中,映射数据库中还包括待展示设备的坐标和设备相关信息。
在步骤S130中,拍摄并显示包括待展示设备的环境图像,并基于映射数据库对所述环境图像中的待展示设备进行识别。
具体的,拍摄并显示包括待展示设备的环境图像,并基于映射数据库对所述环境图像中的待展示设备进行识别,进一步包括以下几个步骤。
首先,获取包括待展示设备的环境图像。可以通过摄像头来采集待展示设备的周围环境图像,也可以通过其他图像采集装置来获取待展示设备的周围环境图像。
接着,获取环境图像中的灰度特征点。具体的,获取环境图像中的灰度特征点,以对环境图像中的设备进行识别。这些灰度特征点既包括与设备二维图像的灰度特征,也包括其他背景图像的灰度特征。其中,环境图像中与设备对应的灰度特征为目标灰度特征。
接着,基于灰度特征点获取图像标识。具体的,对环境图像中的灰度特征点进行解析,可以得到对应的图像灰度特征。对图像灰度特征进行组合,可以得到对应的识别特征。
最后,将获取的识别特征与映射数据库中的图像标识进行匹配,以对获取对应设备的三维模型和设备相关信息。
在步骤S140中,基于映射数据库获取识别的待展示设备的三维模型及对应的设备相关信息,并通过三维叠加方式叠加在所述环境图像中。
具体的,基于映射数据库获取识别的待展示设备的三维模型及对应的设备相关信息,并通过三维叠加方式叠加在环境图像中,进一步包括以下几个步骤。
首先,根据获取的识别特征与映射数据库中匹配的三维模型,获取图像特征点对。也就是说,将获取的识别特征与映射数据库中匹配的三维模型进行匹配,匹配的基准是二维图像中特定的识别特征。通过将获取的二维图像的识别特征与实时信息映射表中匹配的三维模型进行匹配,可以得到对应的图像特征点对。
接着,根据图像特征点对进行投影变换,以解算出图像旋转矩阵。具体的,根据特征点对进行投影变换,解算出图像旋转矩阵和空间位置信息,即得到图片姿态。
接着,从映射数据库中获取识别的识别特征对应设备的坐标,并基于图像旋转矩阵,将识别的识别特征对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标。图片姿态即第一坐标系相对于移动端摄像头所在的第二坐标系的姿态。利用旋转矩阵将识别特征对应的设备在第一坐标系下的坐标转换为第二坐标系下的坐标。具体的,在对环境图像中的二维图像中的识别特征识别后,可以确定环境图像中的二维图像对应的设备及对应的设备模型。在确定对应的设备后,从设备数据库中可以获取该设备在图片的第一坐标系下的坐标。各设备图片的坐标是以图像中心为原点的相对位置坐标系,但是,通过摄像头观察到的图像所在的坐标系为摄像头自身的相机坐标系(第二坐标系)。因此,需根据这两个坐标系之间的转换关系,将识别的二维图像对应设备在大地坐标系下的坐标转换为相机坐标系下的坐标,这样可以将待展示设备在相机坐标系下进行正确显示。
接着,在识别的识别特征对应设备的第二坐标系下的坐标处,叠加显示对应设备的三维模型。
具体的,在识别的二维图像对应设备在第二坐标系下的坐标处,利用三维引擎绘制对应设备的三维模型,然后将该三维模型在第二坐标系下的坐标处进行叠加显示。这样,就可以在环境图像中显示识别的图像标识对应的设备。
最后,获取识别特征对应的设备的实时信息,并叠加显示在环境图像中对应设备的三维模型处。
本发明通过结合AR技术,可以快速获取设备三维结构和参数数据,并且能够直观立体的展现出来。
第二实施例
根据本发明的一个方面,提供了一种基于AR的工业设备图鉴展示系统,如图2所示为根据本发明的一个实施例的一种基于AR的工业设备图鉴展示系统结构图,以下参考图2来对本发明进行详细说明。
该基于AR的工业设备图鉴展示系统包括三维模型建立模块、映射数据库建立模块、识别模块和信息叠加模块。其中,三维模型建立模块配置为建立待展示设备的三维模型。映射数据库建立模块配置为建立待展示设备在不同空间角度下的二维图像与对应三维模型的映射数据库。识别模块配置为拍摄并显示包括待展示设备的环境图像,并基于映射数据库对所述环境图像中的待展示设备进行识别。信息叠加模块配置为基于映射数据库获取识别的待展示设备的三维模型及对应设备的相关信息,并通过三维叠加方式叠加在环境图像中。
在本发明的一个实施例中,该映射数据库建立模块进一步包括二维图像获取单元、识别特征获取模块和映射关系建立模块。其中,二维图像获取单元配置为获取待展示设备不同空间角度下的二维图像。识别特征获取模块配置为获取二维图像中的待展示设备的识别特征。映射关系建立模块配置为建立所述识别特征与对应设备的三维模型的映射关系,并将映射关系存储在映射数据库中,其中,映射数据库中还包括待展示设备的坐标和设备相关信息。
首先,二维图像获取单元获取待展示设备不同空间角度下的二维图像。具体的,获取在不同角度观察待展示设备时,对应角度下待展示设备的二维图像。在实际场景中,各待展示为三维结构,当观察着位于某一位置观察该设备时,进入观察者眼中的是其视角范围内的设备二维图像。
接着,识别特征获取模块获取二维图像中的待展示设备的识别特征。具体的,对应于进入观察者眼中的其视角范围的二维图像中,获取代表待展示设备特性的识别特征,通过该识别特征即可以识别该设备。例如,获取包括待展示设备的各二维图像中的灰度特征点既包括与设备对应的图像标识的灰度特征。对灰度特征点进行解析,可以得到对应的图像灰度特征。对图像灰度特征进行组合,可以得到对应设备的识别特征。
最后,映射关系建立模块建立识别特征与对应设备的三维模型的映射关系,并将映射关系存储在映射数据库中,其中,映射数据库中还包括待展示设备的坐标和设备相关信息。
在本发明的一个实施例中,该识别模块进一步包括环境图像获取单元、灰度特征点获取单元、识别特征获取单元和模型信息获取单元。其中,环境图像获取单元配置为获取包括待展示设备的环境图像。灰度特征点获取单元配置为获取所述环境图像中的灰度特征点。识别特征获取单元配置为基于灰度特征点获取识别特征。模型信息获取单元配置为基于映射数据库和识别特征,获取对应设备的三维模型和设备相关信息。
首先,环境图像获取单元获取包括待展示设备的环境图像。可以通过摄像头来采集待展示设备的周围环境图像,也可以通过其他图像采集装置来获取待展示设备的周围环境图像。
接着,灰度特征点获取单元获取环境图像中的灰度特征点。具体的,获取环境图像中的灰度特征点,以对环境图像中的设备进行识别。这些灰度特征点既包括与设备二维图像的灰度特征,也包括其他背景图像的灰度特征。其中,环境图像中与设备对应的灰度特征为目标灰度特征。
接着,识别特征获取单元基于灰度特征点获取图像标识。具体的,对环境图像中的灰度特征点进行解析,可以得到对应的图像灰度特征。对图像灰度特征进行组合,可以得到对应的识别特征。
最后,模型信息获取单元将获取的识别特征与映射数据库中的图像标识进行匹配,以对获取对应设备的三维模型和设备相关信息。
在本发明的一个实施例中,该信息叠加模块进一步包括图像特征点对获取单元、图像旋转矩阵获取单元、坐标转换单元、模型叠加单元和实时信息叠加单元。其中,图像特征点对获取单元配置为根据获取的识别特征与映射数据库中匹配的三维模型得到图像特征点对。图像旋转矩阵获取单元配置为根据图像特征点对进行投影变换,以解算出图像旋转矩阵。坐标转换单元配置为从映射数据库中获取识别的识别特征对应设备的坐标,并基于所述图像旋转矩阵,将识别的识别特征对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标。模型叠加单元配置为在识别的识别特征对应设备的第二坐标系下的坐标处,叠加显示对应设备的三维模型。实时信息叠加单元配置为获取识别特征对应的设备的实时信息,并叠加显示在环境图像中对应设备的三维模型处。
具体的,首先,图像特征点对获取单元根据获取的识别特征与映射数据库中匹配的三维模型,获取图像特征点对。也就是说,将获取的识别特征与映射数据库中匹配的三维模型进行匹配,匹配的基准是二维图像中特定的识别特征。通过将获取的二维图像的识别特征与实时信息映射表中匹配的三维模型进行匹配,可以得到对应的图像特征点对。
接着,图像旋转矩阵获取单元根据图像特征点对进行投影变换,以解算出图像旋转矩阵。具体的,根据特征点对进行投影变换,解算出图像旋转矩阵和空间位置信息,即得到图片姿态。
接着,坐标转换单元从映射数据库中获取识别的识别特征对应设备的坐标,并基于图像旋转矩阵,将识别的识别特征对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标。图片姿态即第一坐标系相对于移动端摄像头所在的第二坐标系的姿态。利用旋转矩阵将识别特征对应的设备在第一坐标系下的坐标转换为第二坐标系下的坐标。具体的,在对环境图像中的二维图像中的识别特征识别后,可以确定环境图像中的二维图像对应的设备及对应的设备模型。在确定对应的设备后,从设备数据库中可以获取该设备在图片的第一坐标系下的坐标。各设备图片的坐标是以图像中心为原点的相对位置坐标系,但是,通过摄像头观察到的图像所在的坐标系为摄像头自身的相机坐标系(第二坐标系)。因此,需根据这两个坐标系之间的转换关系,将识别的二维图像对应设备在大地坐标系下的坐标转换为相机坐标系下的坐标,这样可以将待展示设备在相机坐标系下进行正确显示。
接着,模型叠加单元在识别的识别特征对应设备的第二坐标系下的坐标处,叠加显示对应设备的三维模型。
具体的,在识别的二维图像对应设备在第二坐标系下的坐标处,利用三维引擎绘制对应设备的三维模型,然后将该三维模型在第二坐标系下的坐标处进行叠加显示。这样,就可以在环境图像中显示识别的图像标识对应的设备。
最后,实时信息叠加单元获取识别特征对应的设备的实时信息,并叠加显示在环境图像中对应设备的三维模型处。
在本发明的一个实施例中,该系统还包括三维模型建立模块,其配置为对待展示设备的各组成零件分别进行建模,以得到对应的零件模型,将所有的零件模型组装在一起构成设备三维模型。
本领域技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
虽然本发明所公开的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所公开的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于AR的工业设备图鉴展示方法,包括:
建立待展示设备的三维模型;
建立待展示设备在不同空间角度下的二维图像与对应三维模型的映射数据库;
拍摄并显示包括待展示设备的环境图像,并基于所述映射数据库对所述环境图像中的待展示设备进行识别;
基于所述映射数据库获取识别的待展示设备的三维模型及对应设备的相关信息,并通过三维叠加方式叠加在所述环境图像中。
2.根据权利要求1所述的方法,其特征在于,建立待展示设备在不同空间角度下的二维图像与对应三维模型的映射数据库,进一步包括:
获取待展示设备不同空间角度下的二维图像;
获取二维图像中的待展示设备的识别特征;
建立所述识别特征与对应设备的三维模型的映射关系,并将所述映射关系存储在映射数据库中,其中,所述映射数据库中还包括待展示设备的坐标和设备相关信息。
3.根据权利要求1或2所述的方法,其特征在于,拍摄并显示包括待展示设备的环境图像,并基于所述映射数据库对所述环境图像中的待展示设备进行识别,进一步包括:
获取包括待展示设备的环境图像;
获取所述环境图像中的灰度特征点;
基于所述灰度特征点获取识别特征;
基于所述映射数据库和所述识别特征,获取对应设备的三维模型和设备相关信息。
4.根据权利要求2所述的方法,其特征在于,基于所述映射数据库获取识别的待展示设备的三维模型及对应的设备相关信息,并通过三维叠加方式叠加在所述环境图像中,进一步包括:
根据获取的识别特征与所述映射数据库中匹配的三维模型,获取图像特征点对;
根据所述图像特征点对进行投影变换,以解算出图像旋转矩阵;
从所述映射数据库中获取识别的识别特征对应设备的坐标,并基于所述图像旋转矩阵,将识别的识别特征对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标;
在识别的识别特征对应设备的第二坐标系下的坐标处,叠加显示对应设备的三维模型;
获取识别特征对应的设备的实时信息,并叠加显示在所述环境图像中对应设备的三维模型处。
5.根据权利要求1所述的方法,其特征在于,针对待展示设备建立对应的三维模型,进一步包括:
对待展示设备的各组成零件分别进行建模,以得到对应的零件模型;
将所有的零件模型组装在一起构成设备三维模型。
6.一种基于AR的工业设备图鉴展示系统,包括:
三维模型建立模块,其配置为建立待展示设备的三维模型;
映射数据库建立模块,其配置为建立待展示设备在不同空间角度下的二维图像与对应三维模型的映射数据库;
识别模块,其配置为拍摄并显示包括待展示设备的环境图像,并基于所述映射数据库对所述环境图像中的待展示设备进行识别;
信息叠加模块,其配置为基于所述映射数据库获取识别的待展示设备的三维模型及对应设备的相关信息,并通过三维叠加方式叠加在所述环境图像中。
7.根据权利要求6所述的系统,其特征在于,所述映射数据库建立模块进一步包括:
二维图像获取单元,其配置为获取待展示设备不同空间角度下的二维图像;
识别特征获取模块,其配置为获取二维图像中的待展示设备的识别特征;
映射关系建立模块,其配置为建立所述识别特征与对应设备的三维模型的映射关系,并将所述映射关系存储在映射数据库中,其中,所述映射数据库中还包括待展示设备的坐标和设备相关信息。
8.根据权利要求1所述的系统,其特征在于,所述识别模块进一步包括:
环境图像获取单元,其配置为获取包括待展示设备的环境图像;
灰度特征点获取单元,其配置为获取所述环境图像中的灰度特征点;
识别特征获取单元,其配置为基于所述灰度特征点获取识别特征;
模型信息获取单元,其配置为基于所述映射数据库和所述识别特征,获取对应设备的三维模型和设备相关信息。
9.根据权利要求1所述的系统,其特征在于,所述信息叠加模块进一步包括:
图像特征点对获取单元,其配置为根据获取的识别特征与所述映射数据库中匹配的三维模型得到图像特征点对;
图像旋转矩阵获取单元,其配置为根据所述图像特征点对进行投影变换,以解算出图像旋转矩阵;
坐标转换单元,其配置为从所述映射数据库中获取识别的识别特征对应设备的坐标,并基于所述图像旋转矩阵,将识别的识别特征对应的设备在第一坐标系下的坐标转换为环境图像所在的第二坐标系下的坐标;
模型叠加单元,其配置为在识别的识别特征对应设备的第二坐标系下的坐标处,叠加显示对应设备的三维模型;
实时信息叠加单元,其配置为获取识别特征对应的设备的实时信息,并叠加显示在所述环境图像中对应设备的三维模型处。
10.根据权利要求1所述的系统,其特征在于,还包括三维模型建立模块,其配置为对待展示设备的各组成零件分别进行建模,以得到对应的零件模型,将所有的零件模型组装在一起构成设备三维模型。
CN201810156767.1A 2018-02-24 2018-02-24 一种基于ar的工业设备图鉴展示方法和系统 Withdrawn CN108765575A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810156767.1A CN108765575A (zh) 2018-02-24 2018-02-24 一种基于ar的工业设备图鉴展示方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810156767.1A CN108765575A (zh) 2018-02-24 2018-02-24 一种基于ar的工业设备图鉴展示方法和系统

Publications (1)

Publication Number Publication Date
CN108765575A true CN108765575A (zh) 2018-11-06

Family

ID=63980096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810156767.1A Withdrawn CN108765575A (zh) 2018-02-24 2018-02-24 一种基于ar的工业设备图鉴展示方法和系统

Country Status (1)

Country Link
CN (1) CN108765575A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949212A (zh) * 2019-03-13 2019-06-28 北京达佳互联信息技术有限公司 图像映射方法、装置、电子设备及存储介质
WO2020140524A1 (zh) * 2019-01-02 2020-07-09 珠海格力电器股份有限公司 芯片结构的增强现实显示方法、装置和可读存储介质
CN111402400A (zh) * 2020-03-11 2020-07-10 中煤航测遥感集团有限公司 管道工程的展示方法、装置、设备及存储介质
CN112802083A (zh) * 2021-04-15 2021-05-14 成都云天创达科技有限公司 一种通过三维模型标记点获取对应二维图像的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903144A (zh) * 2012-08-03 2013-01-30 樊晓东 一种基于云计算的交互式增强现实系统实现方法
WO2013144430A1 (en) * 2012-03-27 2013-10-03 Nokia Corporation Method and apparatus for location tagged user interface for media sharing
CN105023266A (zh) * 2014-04-29 2015-11-04 高德软件有限公司 增强现实实现方法、装置和终端设备
CN105279750A (zh) * 2014-07-09 2016-01-27 雷震 一种基于ir-uwb和图像矩的装备展示导览系统
CN105629696A (zh) * 2016-01-13 2016-06-01 西安交通大学 一种基于迭代去噪收缩阈值算法的数字全息重构方法
CN106097425A (zh) * 2016-06-07 2016-11-09 天津天大求实电力新技术股份有限公司 基于增强现实技术的电力设备信息提取与展示方法及系统
US20160371885A1 (en) * 2015-06-22 2016-12-22 Anatolie Gavriliuc Sharing of markup to image data
US20170085867A1 (en) * 2015-09-17 2017-03-23 Lumii, Inc. Multi-view displays and associated systems and methods
CN107329962A (zh) * 2016-04-29 2017-11-07 成都理想境界科技有限公司 图像检索数据库生成方法、增强现实的方法及装置
CN107464290A (zh) * 2017-08-07 2017-12-12 上海白泽网络科技有限公司 三维信息展示方法、装置和移动终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013144430A1 (en) * 2012-03-27 2013-10-03 Nokia Corporation Method and apparatus for location tagged user interface for media sharing
CN102903144A (zh) * 2012-08-03 2013-01-30 樊晓东 一种基于云计算的交互式增强现实系统实现方法
CN105023266A (zh) * 2014-04-29 2015-11-04 高德软件有限公司 增强现实实现方法、装置和终端设备
CN105279750A (zh) * 2014-07-09 2016-01-27 雷震 一种基于ir-uwb和图像矩的装备展示导览系统
US20160371885A1 (en) * 2015-06-22 2016-12-22 Anatolie Gavriliuc Sharing of markup to image data
US20170085867A1 (en) * 2015-09-17 2017-03-23 Lumii, Inc. Multi-view displays and associated systems and methods
CN105629696A (zh) * 2016-01-13 2016-06-01 西安交通大学 一种基于迭代去噪收缩阈值算法的数字全息重构方法
CN107329962A (zh) * 2016-04-29 2017-11-07 成都理想境界科技有限公司 图像检索数据库生成方法、增强现实的方法及装置
CN106097425A (zh) * 2016-06-07 2016-11-09 天津天大求实电力新技术股份有限公司 基于增强现实技术的电力设备信息提取与展示方法及系统
CN107464290A (zh) * 2017-08-07 2017-12-12 上海白泽网络科技有限公司 三维信息展示方法、装置和移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘安森等: "无标识纸质地图增强现实技术研究与实现", 《测绘工程》 *
陈靖等: "基于自然特征点的实时增强现实注册算法", 《系统仿真学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140524A1 (zh) * 2019-01-02 2020-07-09 珠海格力电器股份有限公司 芯片结构的增强现实显示方法、装置和可读存储介质
CN111402424A (zh) * 2019-01-02 2020-07-10 珠海格力电器股份有限公司 芯片结构的增强现实显示方法、装置和可读存储介质
CN109949212A (zh) * 2019-03-13 2019-06-28 北京达佳互联信息技术有限公司 图像映射方法、装置、电子设备及存储介质
CN109949212B (zh) * 2019-03-13 2023-05-02 北京达佳互联信息技术有限公司 图像映射方法、装置、电子设备及存储介质
CN111402400A (zh) * 2020-03-11 2020-07-10 中煤航测遥感集团有限公司 管道工程的展示方法、装置、设备及存储介质
CN112802083A (zh) * 2021-04-15 2021-05-14 成都云天创达科技有限公司 一种通过三维模型标记点获取对应二维图像的方法
CN112802083B (zh) * 2021-04-15 2021-06-25 成都云天创达科技有限公司 一种通过三维模型标记点获取对应二维图像的方法

Similar Documents

Publication Publication Date Title
CN108765575A (zh) 一种基于ar的工业设备图鉴展示方法和系统
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN109584295A (zh) 对图像内目标物体进行自动标注的方法、装置及系统
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
CN107016704A (zh) 一种基于增强现实的虚拟现实实现方法
CN112954292B (zh) 一种基于增强现实的数字博物馆导览系统和方法
CN110914873A (zh) 增强现实方法、装置、混合现实眼镜及存储介质
CN111275731B (zh) 面向中学实验的投影式实物交互桌面系统和方法
CN109696961A (zh) 基于vr技术的文物虚拟拆装导赏实现系统及方法、介质
CN109886246A (zh) 一种人物注意力判断方法、装置、系统、设备和存储介质
CN110568934B (zh) 一种低误差高效率的多标记图增强现实系统
CN108711188A (zh) 一种基于ar的工厂实时数据展示方法及系统
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
US11532138B2 (en) Augmented reality (AR) imprinting methods and systems
CN104537705A (zh) 基于增强现实的移动平台三维生物分子展示系统和方法
CN115187729B (zh) 三维模型生成方法、装置、设备和存储介质
Adithya et al. Augmented reality approach for paper map visualization
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
CN111653175A (zh) 一种虚拟沙盘展示方法及装置
CN111569421A (zh) 虚拟场景变化同步方法、系统、vr播放设备及存储介质
CN107909654A (zh) 基于ar技术的家居设计体验系统
CN114153548A (zh) 一种展示方法、装置、计算机设备及存储介质
CN114092670A (zh) 一种虚拟现实显示方法、设备以及存储介质
CN111932446B (zh) 三维全景地图的构建方法及装置
CN112017242B (zh) 显示方法及装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20181106

WW01 Invention patent application withdrawn after publication