CN113269892B - 提供增强视图的方法、移动增强现实查看装置 - Google Patents
提供增强视图的方法、移动增强现实查看装置 Download PDFInfo
- Publication number
- CN113269892B CN113269892B CN202110180659.XA CN202110180659A CN113269892B CN 113269892 B CN113269892 B CN 113269892B CN 202110180659 A CN202110180659 A CN 202110180659A CN 113269892 B CN113269892 B CN 113269892B
- Authority
- CN
- China
- Prior art keywords
- image
- anchor element
- projection
- dimensional
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 19
- 238000010276 construction Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 239000007787 solid Substances 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 230000011218 segmentation Effects 0.000 description 8
- 238000007689 inspection Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 206010027146 Melanoderma Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000005338 frosted glass Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
- G02B27/022—Viewing apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
提供了提供增强视图的方法、移动增强现实查看装置。由具有图像传感器的摄像头(2)拍摄图像(8)，并提供包括摄像头位置和摄像头方位的图像基准信息。根据地下基础设施(6)的三维信息(9)通过使用基准信息在图像传感器上二维投影。将地下基础设施(6)的锚元素(7)的在至少一个图像(8)上可见的投影位置(7b')与锚元素(7)的图像位置(7a')进行比较。补偿图像位置(7a')和投影位置(7b')之间的差异(10)，以对根据地下基础设施(6)的三维信息(9)得到的二维投影与至少一个图像(8)进行匹配和叠加，从而提供改进的增强视图(11)。
Description
技术领域
本发明总体上涉及用于得到地下基础设施的增强视图的方法以及移动增强现实查看装置和计算机程序产品。
背景技术
本发明涉及至少部分隐藏在固体表面之下的结构的确定。特别地，本发明涉及在增强现实(AR)视图中将不透明表面下方的结构可视化。这种地下结构例如可以是管道、线缆、管子、通道、隧道、通风口、连接器、掩体或其他地下建筑工程。
在穿过不透明的表面工作时，经常会遇到以下问题：隐藏结构的哪一部分可能被击中。不仅在检查或维修地下公用设施(例如破裂的、腐蚀的、磨损的或泄漏的管道或电线)时，而且在规划和添加新的或附加的公用设施时。另外，当完成一般的建筑工作时，必须在要进行的操作之前检查并核实工作场所相对于地下设施的占用和/或许可。例如，必须得到在哪些地方在需要谨慎。另一个问题是地下设施是否带电，是否有孤立的结构可以被破坏而没有任何伤害，在工作前必须关闭哪些地下结构以及在何处以及如何关闭它们等。这些需要不仅来自于异地规划，也来自在工作之前和/或期间在工作现场。
虽然可以获取规划或地图数据，和/或可以通过诸如线缆探测器、线缆定位器、线缆示踪器、电缆回避工具(CAT)、穿透雷达、金属探测器、声纳等探测装置得到此类数据，这种现有数据往往难以在现场读取，并且经常需要使用测量设备将规划在空间上参照于真实世界。
近来，所谓的增强现实(AR)技术被用于这样做。其中，例如由2D或3D摄像头或透视型装置拍摄的真实世界的实际视图用由计算机生成的图形和渲染进行可视地叠加，以通过其他虚拟信息来增强真实世界的视图。计算框架和软件开发工具包(SDK)例如“ARKit”、“ARCore”、“Wikitude”、“Vuforia”、“ARToolKit”等提供了广泛的基本功能，使能够用于本发明的AR-views例如在智能手机、平板电脑、虚拟现实眼镜、头戴式显示器(HMD)、平视显示器(HUD)、眼镜摄录机(EyeTaps)等移动装置上实现。
移动装置包括用于得到空间中的位置和方位的一种或更多种运动跟踪技术，如全球导航卫星系统(GNSS)(例如卫星导航系统GPS)加速度计、陀螺仪或固态罗盘。
例如，静止图像，实况视频或图像流被摄像头拍摄，在其环境中被空间参照，并且被经虚拟渲染的对象叠加在视频或图像上面。例如，WO2018/160921提到了生成材料移动机器、虚拟沟槽和地下特征的实现的叠合图像。在挖掘机领域，对覆盖精度的要求远低于其他领域。因此，所公开的技术方案限于挖掘机领域。
US2014/210856A1公开了用例如管道或导管这样的内部元素的3D数字模型的图像叠加于墙壁或天花板的图像。必须将标记放置在墙壁或天花板的外部元素上的预定坐标处。图像上的标记允许图像和3D数字模型的精确叠加。在许多应用中，在墙壁或天花板上放置标记的需求是不可接受的，并且非常耗时。
发明内容
因此，本发明的目的是找到无需施加标记即可精确覆盖图像和3D数字模型的解决方案。
本发明的提供真实世界景观和被遮盖的地下基础设施的增强视图包括：
由具有图像传感器的摄像头拍摄真实世界景观的至少一个图像，
向至少一个图像提供图像基准信息，其中，图像基准信息包括当拍摄至少一个图像时在真实世界景观中的摄像头位置和摄像头方向，以及可选地还包括表征光学中心和焦距的摄像头内部参数(作为没有此类内部参数的另选，则选择迭代方案，例如，将图像偏移一些像素直到契合)，
提供地下基础设施的三维信息，
根据地下基础设施的三维信息得到图像传感器处的二维投影，其中，二维投影是通过使用至少一个图像的图像基准信息进行的，并且
将地下基础设施的在真实世界景观的至少一个图像上可见的至少一个锚元素的二维投影的投影位置与同一锚元素在至少一个图像上的图像位置进行比较，以及
使用同一锚元素的来自该比较的图像位置与投影位置之间的差异，以将根据地下基础设施的三维信息得到的二维投影与至少一个图像进行匹配和叠加，从而提供增强视图。
可以通过方法、移动装置或计算机程序产品的形式来实现本发明的解决方案。
真实世界景观和被遮盖的地下基础设施的叠加图像的增强查看适用于拍摄图像的摄像头的定位良好和较差的区域。例如，在GNSS信号接收受限的区域或室内环境中，相对于地下基础设施的地理基准3D模型而确定的位置可能不准确。这会导致叠加信息与摄像头拍摄的现场取景图像之间出现偏差。
可以根据诸如导航卫星系统(GPS)的导航系统和/或基站导航和/或加速度计和/或导航系统和/或陀螺仪和/或惯性测量单元(IMU)和/或固态罗盘和/或运动结构单元和/或束调整单元和/或同时定位和地图绘制(SLAM)和/或使用具有已定义的空间位置的现有基准点的空间基准识别单元的数据得出真实世界景观中的摄像头位置和/或摄像头方位。
根据本发明，通过得到地下基础设施的地理参考3D模型的可见锚元素的位置和/或方向信息，可以减少或防止由于不正确的摄像头位置和方位信息而导致的未对准。地下基础设施例如下水道或电气装置具有连接锚元素，例如如果是下水道则是窨井，如果是电气装置，则是电源插座和电灯开关，这些在真实世界的图像中可见。可以在摄像头拍摄的至少一个图像上以及在具有地理基准的3D模型中找到此类可见元素。这些可见元素称为锚元素。其中的锚元素还可以从图像中包含的其他可见结构中选择，并且在基础设施的具有地理基准的3D模型中可用，而不一定只是在AR视图中实际显示的结构元素。例如，当两者的具有地理基准的3D数据可用时，一个或更多个下水道窨井可以用作例如用于示出地下燃气管道的锚，虽然在AR视图中根本没有示出下水道系统，或者仅示出了下水道系统的锚元素。
地下基础设施的三维信息到摄像头的图像传感器的二维投影特别是虚拟投影是根据当前摄像头位置和方位信息以及摄像头的内部参数，例如，表征摄像头的光学中心、焦距、图像变形等来进行的。如果现有的摄像头位置和方位信息不准确，则地下基础设施在图像传感器上的二维投影中的锚元素将具有与摄像头拍摄的图像中锚元素的位置和/或方位不同的位置和/或方位。
根据本发明，通过将地下基础设施的在真实世界景观的至少一个图像上可见的至少一个锚元素的二维投影的投影位置和同一锚元素在至少一个图像上的图像位置进行比较，防止了增强视图与图像和叠加的地下基础设施错位。对同一锚元素的图像位置和投影位置之间的差异进行补偿，以使根据地下基础设施的三维信息得到的二维投影与至少一个图像匹配并叠加，从而提供改进的增强视图。因此，增强视图被配置为为一个或更多个锚元素以及因此为混合现实视图中所有增强的地下基础结构提供图像和投影在空间上正确匹配的对准。优选地，其在增强视图被提供的同时基本上实时地进行，以使得匹配保持稳定，而且在AR查看装置移动时和/或当装置的位置和/或方位传感器漂移时也是如此。
本发明的解决方案允许在不花费时间将标记放置在真实世界景观中的选定位置处的情况下改善增强视图。
在优选实施方式中，地下基础设施的在真实世界景观的至少一个图像上可见的至少一个锚元素按照使得锚元素可以独立于其施工状态而被分配给锚元素类别的方式被分配给多个预先定义的锚元素类别中的具有对应位置和形状特征的锚元素类别。预先定义的锚元素类别允许进行在地下基础设施的图像和/或二维投影中发现锚元素的识别过程，无论实际上处于哪种施工进度或开发状态。换句话说，可以在早期增量(例如只是安装的插座)、处于最终完成状态(安装完成)或在其间某处，将锚对象鲁棒地或可靠地识别或检测为特定的锚对象类型。该识别和发现是由人工智能系统中的识别器和/或分类器自动建立的，其例如包括机器学习神经网络。其中用于发现和/或分类的起点可以根据地下基础设施的三维信息(分别其附近的二维投影)得到。在实施方式中，锚元素的位置、类别和/或形状可以直接根据地下基础设施的三维信息在投影过程中得到，但是在另一实施方式中，用于识别和/或发现锚元素的(优选地基本上相同的)例程可以应用于图像和二维投影两者。锚元素在图像或二维投影上的大小和形式依赖于摄像头的位置。利用包括不同比例和/或不同投影的形状信息在内的形状特征，可以改进识别锚元素并将锚元素分配给预先定义的锚元素类别中的一个锚元素类别。
预先定义的锚元素类别中的至少一个锚元素类别的位置和形状特征可以包括中心位置和形状信息，其中，形状信息可以例如包括位于锚元素的周线上的至少一个点。形状信息还可以包括周线的一段或闭合周线。可以将与在地下基础设施的图像和/或二维投影中找到的锚元素相对应的预先定义的锚元素类别的位置和形状特征调节为所发现的锚元素的大小，优选地调节为所发现的锚元素透视失真，使得可以为图像和二维投影得到所发现的锚元素的位置。
在优选实施方式中，预先定义的锚元素类别中的至少一个锚元素类别的位置和形状特征至少包括关于穿过中心位置并指示预先定义的锚元素的最大延伸量的轴线的信息。关于最大延伸方向的该信息允许确定相应的锚元素在图像和/或地下基础设施的投影上的方位。
优选实施方式使用分配给至少一个锚元素的位置和形状特征来分别确定至少一个锚元素在图像传感器的二维投影上的投影位置和/或投影定向以及至少一个图像上的图像位置和/或图像定向。如果图像位置和投影位置之间的差异和/或图像方位和投影方位之间的差异在预先定义的最大差异之下，则使用图像位置和投影位置之间的差异和/或图像方位和投影方位之间的差异来提供匹配的二维投影。仅针对低于预先定义的最大差异的差异应用匹配阻止了与不同锚元素的匹配，而其有可能会导致错误的匹配。
在简单的实施方式中，将根据地下基础设施的三维信息得到的二维投影与至少一个图像进行匹配和叠加从而提供改进的增强视图包括依照所得到的位置和/或方位差异对根据地下基础设施的三维信息得到的二维投影进行平移和/或旋转，可选地还缩放。
在另一实施方式中，将根据地下基础设施的三维信息得到的二维投影与至少一个图像匹配并叠加从而提供改进的增强视图包括通过基于同一锚元素的图像位置和/或方位与投影位置和/或方位之间的差异调节真实世界景观的图像基准信息中的位置摄像头位置和/或摄像头方位，并且根据地下基础设施的三维信息得到(具体地计算出或渲染出)从与摄像头的图像传感器相同的视点出发并且优选地具有相同视场和成像特性的二维投影，来改善至少一个图像的图像基准信息。其中，二维投影是通过使用至少一个图像的改进的图像基准信息或通过使用摄像头的改进位置和/或方位(分别由差异得到)来进行的。
移动增强现实查看装置和具有存储在机器可读介质上或实现为电磁波的程序代码的计算机程序产品可以被配置为执行根据本发明的方法的所描述的实施方式。
在提供图像基准信息时，例如对所显示的真实世界景观进行定位，可以包括得到针对图像的视场的空间基准信息，具体地分别得到图像或摄像头的六个自由度的空间基准信息。空间基准信息可以包括来自惯性测量单元(IMU)、来自诸如本地和/或全球导航卫星系统(GPS)这样的导航系统、来自基站导航和/或同时定位和地图绘制(SLAM)单元的数据。
如果没有导航系统可用，则空间基准信息将优选地通过视觉SLAM方法来得到。视觉SLAM允许构造或更新未知环境的地图，同时跟踪摄像头单元在其中的位置和方位。空间基准信息允许得到针对摄像头图像的视场的位置信息。视觉SLAM(VSLAM)正在评估来自摄像头的图像。
查看装置还可以包括深度摄像头，例如飞行时间摄像头、立体摄像头、距离图像摄像头、激光扫描单元、结构化光3D扫描器等。除上面提到的主视图摄像头外，还可以有其他辅助摄像头，其从观察装置向外指向以覆盖操作员周围的最大区域，例如在头戴式显示器(HMD)处。得到位置信息可以具体地包括多个这样的传感器的传感器融合，其可以被配置为得到位置或导航信息，例如还克服多个传感器中的一个或更多个传感器被阻挡或数据不充足的情况。可以例如通过增强现实工具箱的计算框架来提供空间基准、图像处理和/或IMU评估。
在提供三维信息时，例如地下基础设施的地理空间信息可以从存储器中获取，例如从地下基础设施数据库、BIM数据库或地理空间数据库中获取，例如经由开放地理空间联盟(OGC)、Web地图服务(WMS)、Web功能服务(WFS)、Web覆盖服务(WGS)或其他服务，优选地通过无线联网接口在线得到或从本地存储单元得到。然后，根据本发明的方法以与来自摄像头的图像的视场相同的虚拟视场和视角来计算地下基础设施的投影。
结合了来自摄像头的图像和地下基础设施的投影的增强视图可以由二维或三维或立体视觉单元来显示。
本发明优选地被配置为自适应AR视图，其是基于视频流的当前真实世界图像而在现场或实时渲染的。其中提供了摄像头环回功能，其中使用了来自真实世界摄像头图像的视频反馈。
视觉效果可以应用于地下基础设施的投影，以改善对增强现实视图的识别。例如，地下结构可以被显示成像在玻璃盖下面看到，使得地下结构对于用户是可见的，但是同时用户看到覆盖地下结构的表面。换句话说，覆盖地下结构的表面变成虚拟玻璃或磨砂玻璃盖。例如，地下结构的投影可以以渐隐和/或滤色、半透明的形式叠加于来自摄像头的图像的至少一部分。
实时的逐帧处理可以实际提供增强视图。太阳或光照条件可能会迅速变化，因此系统需要实时进行大量调整以保持逼真的效果，例如，当云在太阳前移动时、当树的叶子提供地面上的复杂且不断移动的阴影图案时等。
在图像中可见的地下基础设施的特征可以由计算单元根据地下基础设施的信息中自动检测、识别并与相应特征匹配。
本发明的实施方式被配置为将地下基础设施的锚元素与图像上的相应锚元素在空间上对准。例如，这样的图像处理还可以包括特定的对象检测算法，该特定的对象检测算法被配置为检测地下公共设施类的语义对象的实例，例如使用对真实世界和/或仿真的图像数据进行了训练的机器学习的算法，例如语义软分割(Semantic Soft Segmentaion)等。
例如，可以在真实世界图像中检测和识别地下基础设施的位于表面或表面前面的特征或部分，诸如沟渠盖、消防栓、灯柱、接线盒、导管盖等，并且在其在真实世界图像中的位置对其进行尺寸测绘。
指示位置(X，Y，Z)和方位(横滚，俯仰，偏航)的基准信息可以通过例如GNSS、惯性测量单元、磁力计等的传感器的融合来确定。由于这些传感器可能会遭受系统误差，例如GNSS多路径、大型施工机械引起的磁场变形等，所得的基准信息可能不够准确以至于无法对地下基础设施进行准确投影。
为了提高基准信息的准确性，可以将至少一个检测到的锚元素作为从摄影测量学已知的地面控制点引入到优化过程，这样可以使装置的位置和方位更加准确。换句话说，基准信息，即坐标X，Y，Z和方位角横滚、俯仰、偏航，与至少一个锚元素的图像坐标xA，yA和相应的世界坐标XA，YA，ZA融合，以计算X，Y，Z，横滚，俯仰和偏航的较准确值。在地下基础设施的投影中应用这些值可以使得在增强视图中相对于真实对象的偏差较小。
在将基准信息与锚元素相关的测量结果行融合时，可以基于相应测量结果的准确性来应用加权。
附图说明
下面仅以示例方式，参照附图中示意性示出的工作示例，更详细地描述或说明根据本发明的方法、装置和计算机程序。具体来说，
图1是戴着增强现实头盔的人站在有窨井的街道上的示意性侧视图。
图2是由增强现实头盔的摄像头拍摄的图像，在该图像中添加了地下基础设施的二维投影。
图3是图2的提取图。
图4是改进的增强视图。
图5a和图5b为AR装置和锚元素的位置的示例。
图6是对象表示和分割的示例。
图7是锚元素匹配的示例。
图8是对象分割的示例。并且
图9示出了偏移量补偿的示例。
附图的图示不应视为按比例绘制的。在适当的情况下，相同的附图标记用于相同的特征或具有相似功能的特征。附图标记的不同索引用于区分示例性示出的特征的不同实施方式。
具体实施方式
图1示出了分别具有增强现实头盔1或简称AR头盔1的人。AR头盔1包括摄像头2、显示器3和优选在摄像头处的控制单元。控制单元提供有关在真实世界景观中的摄像头位置和方位的信息。该信息来自于一种或更多种运动跟踪技术，例如全球导航卫星系统(GNSS)(例如GPS)和/或基站导航和/或加速度计和/或陀螺仪和/或惯性测量单元(IMU)和/或固态罗盘和/或动感结构单元和/或束调整单元和/或同时定位和地图绘制(SLAM)单元。
控制单元向摄像头的当前图像提供图像基准信息。图像基准信息包括在拍摄图像时在真实世界中的摄像头位置和摄像头方位以及摄像头的内部参数，例如表征光学中心、焦距和/或摄像头设置的其他成像相关参数。
摄像头2具有视场4。在所示情况下，视场4指向街道5，其中窨井是地下基础设施6的视觉部分。窨井用作地下基础设施6的锚元素7。
图2示出了由摄像头2拍摄的图像8，示出了街道5和锚元素图像7a。提供了地下基础设施6的三维信息9，例如来自离线或在线存储介质，来自GIS或BIM数据库等，例如以CAD数据的形式。在所提供的地下基础设施6的三维信息9中，向图像传感器的二维投影被添加或组合到图像8。地下基础设施6的该投影包括锚元素投影7b。将图像8和地下基础设施6的投影叠加将有可能在其中显示锚元素图像7a和锚元素投影7b的不匹配。
图3示出了图2的锚元素图像7a和锚元素投影7b。锚元素投影7b的中心是锚元素7的投影位置7b'。锚元素图像7a的中心是锚元素7的图像位置7a'。对同一锚元素7的投影位置7b'和图像位置7a'之间的位置差异10进行补偿，以将根据地下基础设施6的三维信息9得到的二维投影和图像8进行匹配和叠加。这可以包括对投影中使用的图像基准信息进行调整或校正，以补偿同一锚元素的图像位置和投影位置之间的差异，从而导致按照使锚元素在两者中均在视觉上匹配的方式对投影进行位移、旋转和/或按比例缩放。
图4示出了图像8的改进的增强视图11以及地下基础设施6的匹配的二维投影。该改进的视图11被提供在增强现实头盔1的显示器3上。在改进的增强视图上，锚元素图像7a和锚元素投影7b完美契合，因此显示了锚元素7。所示出的地下基础设施6的三维信息9的二维投影使地下基础设施6在真实世界景观中可视化。
在图5a中，示出了AR装置的位置和方位(X，Y，Z、偏航、俯仰、横滚)和第一锚元素的位置(XA1，YA1，ZA1)(在AR装置的用户的附近)以及第二锚元素(较远离用户)的位置(XA2，YA2，ZA2)，两个锚元素在该示例中均被实施为窨井盖。在图5b中，示出了具有第一锚元素的中心点的位置(xA1，yA1)和第二锚元素的中心点的位置(xA2，yA2)的对应图像视图。作为调整所有六个自由度(即X、Y、Z、横滚、俯仰和偏航)的另选，可以提高此参数的子集的精度。例如，锚元素的投影可以垂直和水平移动到图像中检测到的位置。基本上，这将对应于调整AR装置的俯仰(垂直旋转)和偏航(水平旋转)。
在图6中，上部示出了电灯开关/电源插座组合的依赖于施工进度的多种表示形式，即电灯开关/电源插座组合的依赖于施工进度的不同外观，以及在图6的下部中的相应的对象分割。可以关于所有这些变化进行训练，以独立于施工状态可靠地检测锚元素。此外，可以将检测模型与确定锚元素的准确形状的对象分割模型组合。
然后，如图7所示，可以将锚元素的形状与同一锚元素的二维锚元素投影进行匹配，在上部(从左到右)例示了步骤：7A：检测对象，步骤7B：分割对象(可选)，以及步骤7C：使用来自模型(7D)的对象形状的投影确定偏移量，以及7E：补偿偏移量(图7的左下部分)。另选地，如右下部分(7B1)所示，投影可以直接与目标检测所产生的边界框匹配，而不进行分割步骤。在两种情况下，匹配都可以基于使得投影与检测到的对象产生的多个轮廓之间的偏差最小化。
另选地，如图8所示，可以根据边界框或者根据对象分割产生的形状得到中心点，在上部(从左到右)例示了步骤8A：检测对象，步骤8B：确定中心点和步骤8C：使用基于基准信息对来自模型的对象的中心点的投影(8D)确定偏移量。因此，如图8的下部所指示，该中心点与表示三维信息的对象中心的二维锚元素投影匹配，并用于对偏移量进行补偿(8E)。
在图9中，示出了偏移量补偿的示例。在左侧图像中，显示了补偿前的增强视图，即锚对象(例如电灯开关/电源插座的组合)的偏离，并且可以观察到来自地下信息的相应锚元素的重新投影(检测到偏移箭头)。此外，隐藏的电缆也被可视化(虚线)。基于图像中检测到的电灯开关/电源插座组合与相应的二维锚元素投影的匹配，检测到偏移量，然后对其进行补偿。在右图中，示出了补偿偏移量后的增强视图：电灯开关/电源插座组合的视图与模型的中心点(黑点)匹配。
Claims (19)
1.一种用于提供真实世界景观和被遮盖的地下基础设施(6)的增强视图(11)的方法，所述方法包括以下步骤：
由具有图像传感器的摄像头(2)拍摄真实世界景观的至少一个图像(8)，
向所述至少一个图像(8)提供图像基准信息，其中，所述图像基准信息包括当拍摄所述至少一个图像(8)时在真实世界景观中的摄像头位置和摄像头方位，
提供地下基础设施(6)的三维信息(9)，以及
根据所述地下基础设施(6)的所述三维信息(9)得到所述图像传感器上的二维投影，其中，所述二维投影是通过使用所述至少一个图像(8)的所述图像基准信息进行的，
其特征在于
将所述地下基础设施(6)的在所述真实世界景观的所述至少一个图像(8)上可见的至少一个锚元素(7)的二维锚元素投影(7b)的投影位置(7b')与所述锚元素(7)的锚元素图像(7a)在所述至少一个图像(8)上的图像位置(7a')进行比较，
其中，对同一锚元素(7)的所述图像位置(7a')与所述投影位置(7b')之间的差异(10)进行补偿，以对根据所述地下基础设施(6)的所述三维信息(9)得到的所述二维投影和所述至少一个图像(8)进行匹配和叠加，从而提供改进的增强视图(11)。
2.根据权利要求1所述的方法，其特征在于
基于机器学习的识别器和/或分类器单元，将所述地下基础设施(6)的在所述真实世界景观的所述至少一个图像(8)上和/或在所述图像传感器处的二维投影中可见的所述至少一个锚元素(7)按照能够独立于施工状态而将锚元素(7)分配到锚元素类别的方式分配到多个预先定义的锚元素类别中的一个锚元素类别。
3.根据权利要求2所述的方法，其特征在于
所述机器学习的识别器和/或分类器单元包括深度学习。
4.根据权利要求2所述的方法，其特征在于
所述机器学习的识别器和/或分类器单元利用卷积神经网络。
5.根据权利要求1或2所述的方法，其特征在于
所述地下基础设施(6)的在所述真实世界景观的所述至少一个图像(8)上可见的所述至少一个锚元素(7)被分配到多个预先定义的锚元素类别中的具有对应位置和形状特征的一个锚元素类别。
6.根据权利要求5所述的方法，其特征在于
所述形状特征包括不同比例和/或不同投影的形状信息。
7.根据权利要求5所述的方法，其特征在于
所述预先定义的锚元素类别的位置和形状特征包括中心位置和形状信息，其中，所述形状信息包括位于所述锚元素(7)的周线上的至少一个点。
8.根据权利要求7所述的方法，其特征在于
其中，所述预先定义的锚元素类别中的至少一个锚元素类别的所述位置和形状特征包括穿过中心位置并指示预先定义的锚元素(7)的最大延伸量的至少一个轴线。
9.根据权利要求5所述的方法，其特征在于
所述地下基础设施(6)的所述至少一个锚元素(7)的所述位置和形状特征用于确定所述至少一个锚元素(7)分别在所述图像传感器的所述二维投影和所述至少一个图像上的投影位置(7b')和图像位置(7a')，
仅当所述图像位置(7a')与所述投影位置(7b)之间的差异低于预先定义的最大差异时，所述图像位置(7a')与所述投影位置(7b')之间的所述差异(10)用于提供匹配的二维投影。
10.根据权利要求5所述的方法，其特征在于
所述地下基础设施(6)的所述至少一个锚元素(7)的所述位置和形状特征用于确定所述至少一个锚元素(7)在所述图像传感器的所述二维投影上以及在具有对应位置和形状特征的至少一个图像(8)上的投影方位和图像方位，
仅当所述图像方位与所述投影方位之间的所述差异低于预先定义的最大差异时，使用所述图像方位与投影方位之间的所述差异来提供匹配的二维投影。
11.根据权利要求10所述的方法，其特征在于
对于锚元素(7)确定所述投影位置(7b')和/或所述投影方位和所述图像位置(7a')和/或所述图像方位包括边缘提取并且将提取的边缘信息拟合到所述预先定义的锚元素类别中的一个锚元素类别的形状特征。
12.根据权利要求10所述的方法，其特征在于
对于锚元素(7)确定所述投影位置(7b')和/或所述投影方位和所述图像位置(7a')和/或所述图像方位包括最小二乘模板匹配。
13.根据权利要求1所述的方法，其特征在于
将根据所述地下基础设施(6)的所述三维信息(9)得到的所述二维投影与所述至少一个图像(8)匹配和叠加从而提供改进的增强视图(11)包括对根据所述地下基础设施(6)的所述三维信息(9)得到的所述二维投影进行平移和/或旋转。
14.根据权利要求1所述的方法，其特征在于
将根据所述地下基础设施(6)的所述三维信息(9)得到的所述二维投影与所述至少一个图像(8)匹配和叠加从而提供改进的增强视图(11)包括：
通过基于同一锚元素(7)的所述图像位置(7a)与所述投影位置(7b)之间的差异调节所述真实世界景观的图像基准信息中的摄像头位置和/或摄像头方位，来改善针对所述至少一个图像(8)的所述图像基准信息，以及
根据所述地下基础设施(6)的所述三维信息(9)得到所述图像传感器处的二维投影，其中，所述二维投影是通过使用所述至少一个图像(8)的改进的图像基准信息来进行的。
15.根据权利要求14所述的方法，其特征在于
通过调节所述真实世界景观中的摄像头位置和/或摄像头方向来改善针对所述至少一个图像(8)的所述图像基准信息包括：
根据所述地下基础设施(6)的所述三维信息(9)得到所述锚元素(7)的位置，以及
使用所述锚元素(7)的位置作为基准位置以改善所述真实世界景观中的摄像头位置和/或摄像头方位。
16.根据权利要求1所述的方法，其特征在于
从导航系统和/或基站导航和/或加速度计和/或陀螺仪和/或惯性测量单元IMU和/或固态罗盘和/或动感结构单元和/或束调整单元和/或同时定位和地图绘制SLAM单元和/或空间基准识别单元的数据得出所述真实世界景观中的摄像头位置和/或摄像头方位。
17.根据权利要求16所述的方法，其特征在于
所述导航系统为导航卫星系统。
18.一种移动增强现实查看装置，其被配置为执行根据权利要求1至17中的任一项所述的方法。
19.一种机器可读存储介质，所述机器可读存储介质存储计算机程序，当所述计算机程序由计算机执行时，造成执行根据权利要求1至17中的任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20157636.0 | 2020-02-17 | ||
| EP20157636.0A EP3865982B1 (en) | 2020-02-17 | 2020-02-17 | Augmented viewing of a scenery and subsurface infrastructure |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113269892A CN113269892A (zh) | 2021-08-17 |
| CN113269892B true CN113269892B (zh) | 2024-04-23 |
Family
ID=69631432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110180659.XA Active CN113269892B (zh) | 2020-02-17 | 2021-02-08 | 提供增强视图的方法、移动增强现实查看装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11348321B2 (zh) |
| EP (1) | EP3865982B1 (zh) |
| CN (1) | CN113269892B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549801B (zh) * | 2022-04-25 | 2022-07-19 | 深圳市同立方科技有限公司 | 一种ar增强现实给排水工程可视化方法、装置及系统 |
| CN116258608B (zh) * | 2023-05-15 | 2023-08-11 | 中铁水利信息科技有限公司 | 融合gis和bim三维技术的水利实时监测信息管理系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9552669B2 (en) * | 2010-09-02 | 2017-01-24 | Underground Imaging Technologies, Llc | System, apparatus, and method for utilizing geographic information systems |
| US20130084838A1 (en) * | 2011-10-03 | 2013-04-04 | Geospatial Holdings, Inc. | System, method, and apparatus for viewing underground structures |
| US9524585B2 (en) * | 2012-11-05 | 2016-12-20 | Microsoft Technology Licensing, Llc | Constructing augmented reality environment with pre-computed lighting |
| US9336629B2 (en) | 2013-01-30 | 2016-05-10 | F3 & Associates, Inc. | Coordinate geometry augmented reality process |
| US10037627B2 (en) * | 2015-08-14 | 2018-07-31 | Argis Technologies Llc | Augmented visualization system for hidden structures |
| JP7133562B2 (ja) | 2017-03-03 | 2022-09-08 | キャタピラー トリンブル コントロール テクノロジーズ、 エルエルシー | 材料移動機械のための拡張現実ディスプレイ |
| US11436807B2 (en) * | 2018-08-08 | 2022-09-06 | Abyssal S.A. | System and method of operation for remotely operated vehicles with improved position estimation |
-
2020
- 2020-02-17 EP EP20157636.0A patent/EP3865982B1/en active Active
-
2021
- 2021-02-08 CN CN202110180659.XA patent/CN113269892B/zh active Active
- 2021-02-16 US US17/176,766 patent/US11348321B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11348321B2 (en) | 2022-05-31 |
| EP3865982B1 (en) | 2024-04-17 |
| US20210256770A1 (en) | 2021-08-19 |
| CN113269892A (zh) | 2021-08-17 |
| EP3865982A1 (en) | 2021-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Behzadan et al. | Augmented reality visualization: A review of civil infrastructure system applications | |
| CA2705254C (en) | Arrangement and method for providing a three dimensional map representation of an area | |
| Behzadan et al. | Georeferenced registration of construction graphics in mobile outdoor augmented reality | |
| US8315425B2 (en) | Method for comparison of 3D computer model and as-built situation of an industrial plant | |
| US7746377B2 (en) | Three-dimensional image display apparatus and method | |
| JP2018077254A (ja) | 点群データ利用システム | |
| CN113269892B (zh) | 提供增强视图的方法、移动增强现实查看装置 | |
| US10997785B2 (en) | System and method for collecting geospatial object data with mediated reality | |
| KR102097416B1 (ko) | 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체 | |
| US20220282967A1 (en) | Method and mobile detection unit for detecting elements of infrastructure of an underground line network | |
| AU2008365306A1 (en) | System and method for mixing a scene with a virtual scenario | |
| Hansen et al. | Augmented reality for subsurface utility engineering, revisited | |
| US20220138467A1 (en) | Augmented reality utility locating and asset management system | |
| Muthalif et al. | A review of augmented reality visualization methods for subsurface utilities | |
| CN108957507A (zh) | 基于增强现实技术的燃气管道泄漏处置方法 | |
| JP5669438B2 (ja) | 対象管理画像生成装置及び対象管理画像生成プログラム | |
| CN108955723B (zh) | 增强现实市政管网的校准方法 | |
| JP7409517B2 (ja) | ３ｄ点群の座標を変換する装置、方法及びプログラム | |
| CN108954016A (zh) | 基于增强现实技术的燃气管道泄漏处置系统 | |
| WO2021111613A1 (ja) | ３次元地図作成装置、３次元地図作成方法、及び３次元地図作成プログラム | |
| CA3056834C (en) | System and method for collecting geospatial object data with mediated reality | |
| He et al. | Research on underground pipeline augmented reality system based on ARToolKit | |
| Pham et al. | Marker-Based Augmented Reality Framework for Checking the Installation Status of Onsite Components | |
| Galvão et al. | GeoAR: a calibration method for Geographic-Aware Augmented Reality | |
| KR20220104988A (ko) | 증강 현실 기법을 이용한 건축 구조물 정보 제공 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |