CN114072695A - 室内勘测装置和方法 - Google Patents
室内勘测装置和方法 Download PDFInfo
- Publication number
- CN114072695A CN114072695A CN202080005759.2A CN202080005759A CN114072695A CN 114072695 A CN114072695 A CN 114072695A CN 202080005759 A CN202080005759 A CN 202080005759A CN 114072695 A CN114072695 A CN 114072695A
- Authority
- CN
- China
- Prior art keywords
- emission pattern
- image
- feature
- operable
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Abstract
一种装置或方法,用于应用自动投影算法以将至少一个2D发射图案投影到水平平面上以生成环境地图、将自动对象识别算法应用于至少一个图像以识别至少一个特征,所述至少一个特征是环境的门道、镜子和窗户中的至少一个、使用至少一组配置数据将自动匹配算法应用于至少一个图像和至少一个2D发射图案以确定至少一个特征在地图上的特征位置;以及标记地图以指示至少一个特征的特征位置。
Description
技术领域
本说明书一般而言涉及用于绘制环境的装置和方法,并且更具体地涉及使用2D范围数据绘制室内环境。
背景技术
范围数据通常用于绘制环境。例如,测距仪可以用于绘制诸如房屋之类的室内环境的墙壁。
由本申请人提交的美国专利No.8,699,005公开了一种勘测装置的示例。该勘测装置包括具有2D测量表面的2D测距仪,由此2D测距仪测量2D数据集。该勘测装置还包括与具有校准系数的2D测距仪耦合的校准光学成像系统,由此可以将由2D测距仪测量的2D数据集中的点投影到由校准光学成像系统使用校准系数捕获的图像上。
如在美国专利No.8,699,005中所公开的,该图像可以用于确立室内环境地图缺少信息的墙壁、门道和窗户的位置和延伸区。投影并对准的2D数据集被显示在平面图窗口中。第二窗口显示由成像系统捕获的图像。虚线可以显示使用校准系数投影到第二窗口中的图像上的2D数据集。图像可以用于由观察第二窗口中的图像并使用用户输入设备(例如,鼠标、触控笔、触摸屏或触摸板)的用户填充2D数据集中的空白,以将缺失的信息添加到平面图窗口中的投影并对准的2D数据集。
具有2D测距仪的勘测装置在绘制室内环境方面具有一定的局限性。特别地,通过使用用户输入设备填充缺失信息来确立墙壁、门道和窗户的位置和延伸区可能是耗时的。
因此,需要与环境绘制相关的改进的装置和方法。
发明内容
以下概述旨在向读者介绍申请人的教导的各个方面,但并不旨在定义任何发明。
根据一些方面,提供了一种用于绘制环境的绘制系统,包括勘测装置,该勘测装置包括:可操作以测量环境表面处的至少一个2D发射图案的2D测距仪,所述至少一个2D发射图案包括范围信息,以及可操作以检测所述至少一个2D发射图案的至少一个传感器,并且所述至少一个传感器包括可操作以捕获环境表面的至少一个图像的成像传感器,并且其中勘测装置可操作以生成指示所述至少一个图像相对于所述至少一个2D发射图案的图像位置的至少一组配置数据;以及通信地耦合到勘测装置以接收所述至少一个2D发射图案、所述至少一个图像和所述至少一组配置数据的至少一个处理器,所述至少一个处理器可操作以应用自动投影算法将所述至少一个2D发射图案投影到水平平面上以生成环境地图、将自动对象识别算法应用于所述至少一个图像以识别至少一个特征,所述至少一个特征是环境的门道、镜子和窗户中的至少一个、使用所述至少一组配置数据将自动匹配算法应用于所述至少一个图像和所述至少一个2D发射图案,以确定所述至少一个特征在地图上的特征位置,以及标记地图以指示所述至少一个特征的特征位置。
在一些示例中,所述至少一个处理器可操作以应用自动匹配处理来确定所述至少一个特征的延伸区并标记地图以指示延伸区。
所述至少一个2D发射图案可以包括从第一位置产生的第一2D发射图案和从与第一位置不同的第二位置产生的第二2D发射图案,以及至少一个处理器可操作以在将所述至少一个2D发射图案投影到水平平面以生成环境地图时,自动对准第一和第二2D发射图案。
绘制系统还可以包括电子指南针和惯性测量单元中的至少一个,其可操作以生成指示2D测距仪的发射位置的一组位置信息,所述至少一个处理器通信地耦合到勘测装置以接收所述一组位置信息,并且可操作以在自动对准第一和第二2D发射图案时应用所述一组位置信息。
勘测装置可以包括光学成像系统,所述光学成像系统包括成像传感器和物镜,并且所述至少一组配置数据可以包括指示物镜的焦距和变形的至少一个校准系数、图像传感器相对于物镜的传感器位置和朝向,以及物镜相对于2D测距仪的透镜位置和朝向。
2D测距仪可以包括激光2D测距仪。
2D测距仪是扫描激光测距仪,所述扫描激光测距仪包括所述至少一个传感器的测距仪传感器。
2D测距仪是三角测量激光测距仪,所述三角测量激光测距仪包括成像传感器。
勘测装置可以包括支架和旋转器,所述旋转器可操作以使所述2D测距仪和所述至少一个传感器相对于所述支架旋转,所述旋转器具有基本垂直于成像传感器的光轴的旋转轴。
至少一个2D发射图案可以延伸至少180度。
根据一些方面,提供了一种生成环境地图的方法,该方法包括:获得在环境的环境表面处的至少一个2D发射图案,所述至少一个2D发射图案包括范围信息;获得环境表面的至少一个图像;获得指示至少一个图像相对于至少一个2D发射图案的图像位置的至少一组配置数据;通过使用自动投影算法将至少一个2D发射图案投影到水平平面上来生成环境地图;使用自动对象识别算法识别所述至少一个图像中的至少一个特征,所述至少一个特征是环境的门道、镜子和窗户中的至少一个;通过使用所述至少一组配置数据将自动匹配算法应用于所述至少一个图像和所述至少一个2D发射图案来识别所述至少一个特征的特征位置;以及标记地图以指示所述至少一个特征的特征位置。
在一些示例中,该方法还包括使用自动匹配算法来识别所述至少一个特征的延伸区,以及标记地图以指示延伸区。
所述至少一个2D发射图案可以包括从第一位置产生的第一2D发射图案和从与第一位置不同的第二位置产生的第二2D发射图案,并且应用自动投影算法将所述至少一个2D发射图案投影到水平平面上以生成环境地图可以包括自动对准第一和第二2D发射图案。
该方法还可以包括从固定到用于测量所述至少一个2D发射图案的2D测距仪的电子指南针和固定到所述2D测距仪的惯性测量单元中的至少一个获得一组位置信息,并且在自动对准第一和第二2D发射图案时应用所述位置信息。
至少一个图像可以从光学成像系统获得,所述光学成像系统包括图像传感器和物镜,并且所述至少一组配置数据包括指示物镜的焦距和变形的至少一个校准系数、图像传感器相对于物镜的传感器位置和朝向,以及物镜相对于用于测量所述至少一个2D发射图案的2D测距仪的透镜位置和朝向。
所述至少一个2D发射图案可以由2D激光测距仪测量。
所述至少一个2D发射图案可以从扫描激光测距仪获得。
所述至少一个2D发射图案可以从三角测量激光测距仪获得,所述三角测量激光测距仪包括光学成像系统,所述至少一个图像也是从光学成像系统获得的。
所述2D发射图案可以延伸至少180度。
根据一些方面,提供了一种用于绘制环境的绘制系统,其包括勘测装置,该勘测装置包括:可操作以从第一位置测量至少一个环境表面处的第一2D发射图案并从与第一位置不同的第二位置测量所述至少一个环境表面处的第二2D发射图案的2D测距仪,第一和第二2D发射图案中的每一个包括范围信息;可操作以检测第一2D发射图案和第二2D发射图案的至少一个传感器,并且所述至少一个传感器包括成像传感器,所述成像传感器可操作以捕获所述至少一个环境表面的至少一个图像,其中所述勘测装置可操作以生成指示所述至少一个图像相对于第一和第二2D发射图案中的至少一个的图像位置的至少一组配置数据;以及至少一个处理器,其通信地耦合到所述勘测装置以接收第一和第二2D发射图案、所述至少一个图像和所述至少一组配置数据,所述至少一个处理器可操作以将自动对象识别处理应用于所述至少一个图像来识别至少一个特征,所述至少一个特征是环境的门道、镜子和窗户中的至少一个、使用所述至少一组配置数据应用自动匹配处理以确定所述至少一个特征相对于第一和第二2D发射图案中的至少一个的特征位置、使用所述特征位置自动对准第一和第二2D发射图案以识别第一和第二2D发射图案中的重叠,以及应用自动投影处理将对准的第一和第二2D发射图案投影到水平平面上,以生成环境地图。
附图说明
本文随附的附图用于图示本说明书的物品、方法和装置的各种示例,并且不旨在以任何方式限制所教导的内容的范围。在附图中:
图1是环境中的绘制系统的示意图;
图2A是投影到水平表面上的2D发射图案的示意图;
图2B是图像的示意图,其中图2A的2D发射图案被投影到该图像上;
图3A是第一2D发射图案的示意图;
图3B是第二2D发射图案的示意图;
图3C是对准的第一和第二2D发射图案的示意图;以及
图4是生成环境地图的方法的流程图。
具体实施方式
下面将描述各种装置或处理以提供每个要求保护的发明的实施例的示例。以下描述的实施例都不限制任何要求保护的发明,并且任何要求保护的发明可以覆盖与以下描述的那些不同的处理或装置。要求保护的发明不限于具有以下描述的任何一个装置或处理的所有特征的装置或处理,也不限于以下描述的多个或所有装置或处理共有的特征。以下描述的装置或处理可能不是任何要求保护的发明的实施例。以下描述的装置或处理中公开的任何未在本文档中要求保护的发明可能是另一种保护性仪器(例如,连续专利申请)的主题,并且申请人、发明人或所有者不旨在由于任何此类发明在本文档中的公开而放弃、否认、或将任何此类发明奉献给公众。
参考图1,其中图示了用于绘制环境102的绘制系统100的示例。例如,绘制系统100可以用于绘制室内环境,诸如建筑物的一个或多个房间或空间的布局。在一些示例中,绘制系统100执行几何仪器功能和/或光学测量功能。
在一些示例中,绘制系统100允许在现场快速捕获勘测数据,以进行后处理和分析和/或进行动态处理和分析,诸如用于生成地图和/或平面图,及其它。在一些示例中,提供了绘制系统100以捕获图像数据,诸如用于以可以使图像数据与勘测数据和/或地图或平面图相关联的方式来记录现场。例如,绘制系统100可以准确地记录从中拍摄图像的成像位置和成像方向。
示例绘制系统100可以用于房地产或保险应用以生成财产的平面图和图像,诸如用于创建虚拟游览。绘制系统100可以用于记录犯罪现场的图像和平面图,并使用该文档进行后续测量。绘制系统100可以用于建筑业应用,以在各个建筑阶段记录建筑物的结构元素,诸如在安装干式墙之前记录具有嵌入式布线的房屋框架。
所示的示例绘制系统100包括勘测装置104和通信地耦合到勘测装置104的至少一个处理器106。所示的至少一个处理器106包括多个处理器107。
在一些示例中,至少一个处理器106无线通信地耦合到勘测装置104。在一些示例中,除了一个或多个无线连接之外或作为一个或多个无线连接的替代,至少一个处理器106通过一个或多个有线连接通信地耦合到勘测装置104。在所示的示例中,至少一个处理器106通过有线网络108通信地耦合到勘测装置104。
所示的示例勘测装置104包括2D测距仪110,该2D测距仪110可操作以测量环境表面124处的至少一个2D发射图案114,该至少一个2D发射图案包括范围信息。例如,2D测距仪110可以测量角位置和距离维度。在一些示例中,2D测距仪110是包括激光源111的激光2D测距仪。
使用2D测距仪优于例如3D测距仪。例如,3D激光扫描仪可以用于生成3D点云,并且可以包括用于捕获要叠加在3D点云上的图像或纹理数据的相机。在一些情况下,可以从3D点云中提取2D切片并将其用于绘制平面图。但是,由3D激光扫描仪捕获的数据量可能过多,捕获房间的3D扫描所需的时间可能是几分钟或过长,并且3D激光扫描仪的成本可能比2D测距仪更昂贵。
2D测距仪110可以是可操作的以在预定角度延伸区(诸如至少90度、至少180度或至少360度)内测量至少一个2D发射图案114。2D测距仪110可以是可操作的以测量2D发射图案作为水平图案或相对于水平线118成角度116。
示例勘测系统104包括2D测距仪110和可操作以检测2D发射图案114的至少一个传感器120。
2D测距仪110可以是可操作的以测量多于一个的发射图案,诸如从第一位置测量第一图案并且从第二不同位置测量第二图案,如下面进一步描述的。
每个2D发射图案114可以包括多个点,并且范围信息可以指示在发射图案中的每个点处从勘测装置104到至少一个环境表面124的距离。
在所示的示例中,至少一个传感器120包括成像传感器128。成像传感器128可操作以捕获至少一个环境表面124的至少一个图像。
成像传感器128可以是光学成像系统130的一部分。例如,光学成像系统130可以包括成像传感器128和物镜132。物镜132可以是视场至少为180度的全景物镜。全景物镜可以通过在两次拍摄之间围绕旋转轴134将成像传感器旋转180度而仅使用两次拍摄就完成360度的覆盖。在一些示例中,图像可以被投影到立方体的侧面上以产生六个校正图像。在一些示例中,相隔120度的三次拍摄可以用于增加校正图像的分辨率,因为校正图像的分辨率在透镜的视场边缘处可能低。在一些示例中,光学成像系统130在2D测距仪110上方,诸如,以避免阻碍全景透镜上方的广角全景视图。
在一些示例中,基于将在不同曝光下拍摄的多个图像组合成具有均等强度分布的结果图像,成像传感器128可操作以生成高动态范围(HDR)图像和/或使用类似技术。例如,这样的图像可以在室内环境中拍摄,室内环境通常包括明亮的区域,诸如窗户附近,以及黑暗的区域,诸如角落中。
所示的示例勘测装置104还可操作以生成至少一组配置数据。该至少一组配置数据指示至少一个图像相对于至少一个2D发射图案114的图像位置。例如,该组配置数据可以包括关于从成像传感器128到2D测距仪110的距离和/或成像传感器128和2D测距仪110中的一个或两个的朝向的信息。
在一些示例中,至少一组配置数据包括指示物镜132的焦距和变形的至少一个校准系数、成像传感器128相对于物镜132的传感器位置和朝向,以及物镜132相对于2D测距仪110的透镜位置和朝向。例如,可以使用传感器校准的方法来确定校准系数,例如,通过使用至少一个传感器120从多个姿态中对已知几何形状的图案进行成像,并匹配结果信息以确定至少一个传感器的位置和朝向。还有的校准方法在美国专利No.8,699,005中进行了讨论。
2D测距仪110可以包括至少一个传感器120的传感器。2D测距仪可以是测量从其自身到三维(3D)空间中的对象表面上的点的距离的仪器。例如,对于给定的2D数据集,2D测距仪可以沿着一组直线测量线测量到至少一个环境表面的距离,所有测量线都在3D空间中的平面中,并且每条线的方向是已知的或从测量中是已知的。
在一些示例中,成像传感器128不用作勘测装置104的2D测距仪的一部分。例如,勘测装置104可以包括使用激光脉冲的飞行时间来测量范围的扫描激光测距仪。除了成像传感器128之外,至少一个传感器120可以包括测距仪传感器,并且扫描激光测距仪可以包括测距仪传感器。
但是,在一些示例中,成像传感器128用作2D测距仪的一部分。例如,勘测装置可以包括三角测量激光测距仪。三角测量激光测距仪可以包括成像传感器128。例如,三角测量激光测距仪可以包括相对于成像传感器128旋转地安装,以产生在成像传感器128的曝光时间期间跨成像传感器的视场至少扫描一次的激光发射的激光源。成像的激光线在至少一个图像上的位置可以用于检测具有范围信息的至少一个2D发射图案114。
在一些示例中,激光2D测距仪的2D发射图案由至少一个具有线生成光学器件(例如,鲍威尔(Powell)透镜)的激光器形成。在一些示例中,线生成光学器件的扇形角可以等于或大于包括成像传感器的光学成像系统的物镜的视场,诸如,以使得能够勘测最大可能的区域。在一些示例中,使用不止一个具有线生成光学器件的激光器,其中激光器被布置为覆盖物镜的视场,使得所有线生成光学元件的扇形角之和等于或大于物镜的视场。例如,可以使用不止一个具有线生成光学器件的激光器来符合设计约束,诸如对单个激光器的功率以及期望的激光线强度进行可能的监管限制。
在所示的示例中,勘测装置100包括支架138和旋转器140。旋转器140可操作以使2D测距仪110和至少一个传感器120相对于支架138旋转。旋转器140具有旋转轴134,该旋转轴134基本垂直于成像传感器128的光轴142。旋转器140可以是全景旋转器。旋转器可以用于最小化旋转轴134与垂直朝向的偏离和/或使得可重复旋转到预定位置。
在一些示例中,旋转器140使得2D测距仪110和至少一个传感器120能够相对于支架138在预定角度位置之间重复旋转。例如,预定角度位置可以包括彼此间隔开180度的两个位置的集合或彼此间隔开120度的三个位置的集合。
在一些示例中,勘测装置100包括一个以上的光学成像系统130,以便不需要旋转装置来产生环境的完整球形图像,并且多个光学成像系统130可以是360度相机(诸如,Insta 360或理光Theta相机)的一部分。
在一些示例中,绘制系统100包括惯性测量单元,该惯性测量单元可操作以生成指示2D测距仪110的发射位置154(图2A)的一组位置信息。在一些示例中,惯性测量单元测量位置和朝向的改变,诸如测量在测量第一2D发射图案与测量第二2D发射图案之间的2D测距仪110的位置和朝向的任何改变。位置信息可以用于帮助对准第一和第二2D发射图案。
在一些示例中,绘制系统100包括电子指南针,该电子指南针可操作以生成指示2D测距仪110的发射位置的一组位置信息。例如,电子指南针可以被集成到惯性测量单元中以提高惯性测量单元的准确度。
在一些示例中,绘制系统100可操作以使用由成像传感器128捕获的图像、关于成像传感器128的配置信息以及关于从地板的成像高度148的信息通过三角测量来测量地板146上的地板点144。地板点144可以用于在地图或平面图上标记某物的位置,诸如以标记用于法医学应用的位置。
现在参考图2A和2B,示出的示例至少一个处理器106通信地耦合到勘测装置104以接收至少一个2D发射图案114、至少一个图像和至少一组配置数据。在一些示例中,至少一个处理器106可操作以应用自动投影算法来将至少一个2D发射图案114投影到水平平面150上以生成环境地图152。在一些示例中,地图152是平面图,诸如室内环境的平面图。
例如,至少一个处理器106可以是可操作的以应用同时定位和绘制(SLAM)算法来构建2D点图。在另一个示例中,投影至少一个2D发射图案可以包括使用一组倾斜信息。该组倾斜信息可以包括2D发射图案和水平线118之间的角度116。在一些示例中,该角度116是使用重力和耦合到2D测距仪110的气泡水平来确定的。在一些示例中,如果2D测距仪110是静态的,那么可以使用加速度计,或者如果2D测距仪110在运动中,那么可以使用惯性测量单元。在一些示例中,可以使用假定的一组倾斜信息代替测得的一组倾斜信息。倾斜信息与范围信息一起可以用于将至少一个2D发射图案114投影到水平平面上以生成地图和/或平面图。
投影和对准的2D发射图案可以被显示给用户,以允许用户手动地将图像中的细节添加到平面图或地图,如在美国专利No.8,699,005中所描述的。但是,在一些示例中,至少一个处理器106还可操作以将自动对象识别算法应用于至少一个图像来识别至少一个特征156。至少一个特征156可以是环境的门道、镜子和窗户中的至少一个。在一些示例中,至少一个处理器106还可操作以使用至少一组配置数据将自动匹配算法应用于至少一个图像和至少一个2D发射图案来确定至少一个特征156在地图152上的特征位置158。
例如,当反射发射光束时,诸如玻璃窗或镜子之类的反射表面可能导致重影(ghost)数据。识别窗户或镜子可能困难,因为重影数据可能对于至少一个传感器看起来与2D发射图案的其余部分相同。如果可以在至少一个图像160中识别出窗户或镜子并且至少一个图像160相对于至少一个2D发射图案114的位置是已知的,那么可以确定至少一个2D发射图案114的跨越窗户或镜子的部分。例如,可以将其从至少一个2D发射图案中去除,以使得至少一个2D发射图案与另一个2D发射图案的对准更容易。
识别对象可以例如通过人工智能(AI)算法或其它匹配算法来完成。算法可以检测和分类至少一个图像160中的对象。算法还能够识别对象在至少一个图像160中的位置和延伸区。在至少一个图像160中并且因此在至少一个2D发射图案114中的门道、窗户和镜子的自动检测可以提高绘制的速度和准确度。
在一些示例中,至少一个处理器106可操作以自动标记地图来指示至少一个特征156的特征位置158。标记地图可以包括移除线或添加指示符,诸如移除线以指示墙壁被窗户或门道打破,或添加示意性窗户、镜子或门道。
在一些示例中,至少一个处理器106可操作以自动将地图或平面图与已知特征位置和/或延伸区进行比较,以验证地图或平面图包括特征位置和/或延伸区。例如,如果地图或平面图缺少特征位置,那么至少一个处理器106可以是可操作的以生成警告。
在一些示例中,至少一个处理器106可操作以使用对象识别和至少一个图像160,诸如通过识别门道、窗户或镜子,或者通过识别其它房间对象,诸如床、浴缸或水槽,来自动识别房间类型。房间类型可以被标记在地图或平面图上。例如,至少一个处理器106可以是可操作的以自动识别房间类型并将指示房间类型的标签添加到地图或平面图。
在一些示例中,至少一个处理器106也是可操作的以应用自动匹配处理来确定至少一个特征156的延伸区162并标记地图以指示延伸区162。
在一些示例中,至少一个处理器106通信地耦合到勘测装置104以接收由惯性测量单元和/或电子指南针生成的一组位置信息,并且可操作以在对准第一和第二2D发射图案时应用该组位置信息。
现在参考图3A至3C,在一些示例中,2D测距仪110可操作以从第一位置168测量第一2D发射图案166,并从与第一位置168不同的第二位置172测量第二2D发射图案170。可以对准第一投影180和第二投影182以形成组合的投影184。
在一些示例中,至少一个传感器120可操作以检测至少一个环境表面124处的第一2D发射图案166。至少一个传感器120也可操作以检测至少一个环境表面124处的第二2D发射图案170。第一2D发射图案166和第二2D发射图案170中的每一个包括范围信息。勘测装置104可操作以生成指示至少一个图像相对于第一2D发射图案166和第二2D发射图案170中的至少一个的图像位置的至少一组配置数据。
例如,勘测装置104可以被重新定位以测量第二2D发射图案170。在一些示例中,选择第二位置172,使得第一2D发射图案166和第二2D发射图案170具有至少一个重叠。在所示的示例中,第一2D发射图案166包括与第二2D发射图案170重叠的第一重叠部分177。第二2D发射图案170包括与第一2D发射图案166重叠的第二重叠部分178。
在一些示例中,当将至少一个2D发射图案114投影到水平平面150上以生成环境地图152时,至少一个处理器106可操作以自动对准第一2D发射图案166和第二2D发射图案170。例如,至少一个处理器106可以应用自动对准算法。
在所示的示例中,第一位置168在第一房间186中,并且第二位置172在与第一房间186相邻的第二房间188中,在两个房间之间有开放的门道190。在所示的示例中,第一2D发射图案166和第二2D发射图案170的对准可以包括最小化合适的成本函数,例如,最接近的公共点之间的距离,以生成对准的2D发射图案192。可以使用各种合适的扫描对准算法;例如,迭代最近点(ICP)算法。对准的2D发射图案192可以被投影到水平平面上并且被带入到公共坐标系中。
在一些示例中,当由勘测装置104进行新的测量时,动态地且自动地生成对准的2D发射图案192和/或将其投影到水平平面上。例如,当勘测装置在建筑物中从一个房间携带到另一个房间时,同时定位和绘制(SLAM)算法可以用于从2D数据动态地且自动地构建地图。在一些示例中,用于动态更新的勘测装置包括高帧率光学成像系统和高采集率测距仪。
在一些示例中,至少一个处理器106可操作以使用至少一组配置数据来应用自动匹配处理,以确定至少一个特征156相对于第一2D发射图案166和第二2D发射图案170中的至少一个的特征位置158。
在一些示例中,至少一个处理器106可操作以使用特征位置158来自动对准第一2D发射图案166和第二2D发射图案170来识别第一2D发射图案166和第二2D发射图案170中的重叠177、178。
例如,仅基于2D发射图案的绘制算法可能难以对准2D发射图案来构建地图。当从第一房间186取得第一2D发射图案166并且从第二邻接房间188(两者之间具有开放的门道190)取得第二2D发射图案170时,每个2D发射图案中通过开放的门道190取得的部分可能只占整个2D发射图案的一小部分。对于算法而言,可能难以识别2D发射图案数据中的门道。
但是,如果在至少一个图像160中识别出门道190,那么可以更容易地识别2D发射图案数据的通过开放的门道190取得的部分。然后,可以使用识别出的重叠177、178来对准第一2D发射图案166和第二2D发射图案170。
在一些示例中,对象识别可以用于识别门道190的位置和延伸区,并且该位置和延伸区可以用于识别重叠177、178。重叠177、178可以用于生成用于对准的初始猜测。摄影测量技术可以用于生成初始猜测。在一些示例中,初始猜测允许其它自动对准算法收敛得更快。
在一些示例中,至少一个处理器106可操作以应用自动投影处理来将对准的第一2D发射图案166和第二2D发射图案170投影到水平平面上,以生成环境102的地图152。
在一些示例中,可以诸如通过经由有线或无线连接向上网本或平板电脑的屏幕传输地图152或平面图来实时视觉评估站点覆盖范围和图像质量来向用户提供地图152或平面图。在一些示例中,用户也可以诸如通过经由上网本或平板电脑进行远程控制来控制勘测装置104的位置和/或朝向。
现在参考图4,图示了生成环境地图的方法196的示例。所示的示例方法196包括在步骤198处在环境的环境表面处获得至少一个2D发射图案,该至少一个2D发射图案包括范围信息。
2D测距仪可以包括激光2D测距仪。在一些示例中,至少一个2D发射图案是从扫描激光测距仪获得的。在一些示例中,至少一个2D发射图案是从三角测量激光测距仪获得的,该三角测量激光测距仪包括光学成像系统。在一些示例中,三角测量激光测距仪的光学成像系统还用于生成如下所述的至少一个图像,并且该至少一个图像是从光学成像系统获得的。
所示的示例方法196包括在步骤200处获得环境表面的至少一个图像。在一些示例中,至少一个图像是从光学成像系统获得的。光学成像系统可以包括图像传感器和物镜,并且至少一组配置数据包括指示物镜的焦距和变形的至少一个校准系数、图像传感器相对于物镜的传感器位置和朝向、以及物镜相对于2D测距仪的透镜位置和朝向。如果2D测距仪是三角测量激光测距仪,那么光学图像传感器可以被用作三角测量激光测距仪的一部分。
所示的示例方法196包括在步骤202处获得指示至少一个图像相对于至少一个2D发射图案的图像位置的至少一组配置数据。
在一些示例中,方法196包括在步骤204处获得一组位置信息。例如,可以从固定到2D测距仪的电子指南针或固定到2D测距仪的惯性测量单元获得该组位置信息。
所示的示例方法196包括在步骤206处通过使用自动投影算法将至少一个2D发射图案投影到水平平面上来生成环境地图。
在一些示例中,至少一个2D发射图案包括从第一位置产生的第一2D发射图案和从与第一位置不同的第二位置产生的第二2D发射图案。在一些示例中,方法196包括在步骤206处应用自动投影算法以将至少一个2D发射图案投影到水平平面上以生成环境地图,并且在步骤208处自动对准第一和第二2D发射图案。
在一些示例中,方法196包括在对准第一和第二2D发射图案时应用一组位置信息。
在所示的示例中,方法196包括在步骤210处使用自动对象识别算法识别至少一个图像中的至少一个特征,该至少一个特征是环境的门道、镜子和窗户中的至少一个。
所示的示例方法196包括在步骤212处通过使用至少一组配置数据将自动匹配算法应用于至少一个图像和至少一个2D发射图案来识别至少一个特征的特征位置。
在一些示例中,方法196包括在对准第一和第二2D发射图案时应用至少一个特征的特征位置。
在一些示例中,方法196包括在步骤214处使用自动匹配算法来识别至少一个特征的延伸区。
所示的示例方法196包括在步骤216处标记地图以指示至少一个特征的特征位置。标记地图可以包括移除线或添加指示符,诸如移除线以指示墙壁被窗户或门道打破,或添加示意性窗户、镜子或门道。
在一些示例中,方法196包括在步骤218处标记地图以指示延伸区。
这里仅通过示例的方式描述了本发明。在不脱离本发明的范围的情况下,可以对这些示例进行各种修改和变化,本发明的范围仅由所附权利要求书来限制。
Claims (20)
1.一种用于绘制环境的绘制系统,包括:
勘测装置,包括:
可操作以测量环境表面处的至少一个2D发射图案的2D测距仪,所述至少一个2D发射图案包括范围信息,以及
可操作以检测所述至少一个2D发射图案的至少一个传感器,并且所述至少一个传感器包括可操作以捕获环境表面的至少一个图像的成像传感器,并且
其中勘测装置可操作以生成指示所述至少一个图像相对于所述至少一个2D发射图案的图像位置的至少一组配置数据;以及通信地耦合到勘测装置以接收所述至少一个2D发射图案、所述至少一个图像和所述至少一组配置数据的至少一个处理器,所述至少一个处理器可操作以:
应用自动投影算法将所述至少一个2D发射图案投影到水平平面上以生成环境地图,
将自动对象识别算法应用于所述至少一个图像以识别至少一个特征,所述至少一个特征是环境的门道、镜子和窗户中的至少一个,
使用所述至少一组配置数据将自动匹配算法应用于所述至少一个图像和所述至少一个2D发射图案,以确定所述至少一个特征在地图上的特征位置,以及
标记地图以指示所述至少一个特征的特征位置。
2.如权利要求1所述的绘制系统,其中所述至少一个处理器可操作以应用自动匹配处理来确定所述至少一个特征的延伸区并标记地图以指示延伸区。
3.如权利要求1所述的绘制系统,其中:
所述至少一个2D发射图案包括:
从第一位置产生的第一2D发射图案,以及
从与第一位置不同的第二位置产生的第二2D发射图案,以及
所述至少一个处理器可操作以在将所述至少一个2D发射图案投影到水平平面上以生成环境地图时,自动对准第一和第二2D发射图案。
4.如权利要求3所述的绘制系统,还包括可操作以生成指示所述2D测距仪的发射位置的一组位置信息的电子指南针和惯性测量单元中的至少一个,所述至少一个处理器通信地耦合到勘测装置以接收所述一组位置信息,并且可操作以在自动对准第一和第二2D发射图案时应用所述一组位置信息。
5.如权利要求1所述的绘制系统,其中所述勘测装置包括光学成像系统,所述光学成像系统包括成像传感器和物镜,并且所述至少一组配置数据包括指示物镜的焦距和变形的至少一个校准系数、图像传感器相对于物镜的传感器位置和朝向,以及物镜相对于2D测距仪的透镜位置和朝向。
6.如权利要求1所述的绘制系统,其中所述2D测距仪包括激光2D测距仪。
7.如权利要求6所述的绘制系统,其中所述2D测距仪是扫描激光测距仪,所述扫描激光测距仪包括所述至少一个传感器的测距仪传感器。
8.如权利要求6所述的绘制系统,其中所述2D测距仪是三角测量激光测距仪,所述三角测量激光测距仪包括所述至少一个传感器的成像传感器。
9.如权利要求1所述的绘制系统,其中所述勘测装置包括支架和旋转器,所述旋转器可操作以使所述2D测距仪和所述至少一个传感器相对于所述支架旋转,所述旋转器具有基本垂直于成像传感器的光轴的旋转轴。
10.如权利要求1所述的绘制系统,其中所述至少一个2D发射图案延伸至少180度。
11.一种生成环境地图的方法,包括:
获得环境的环境表面处的至少一个2D发射图案,所述至少一个2D发射图案包括范围信息;
获得环境表面的至少一个图像;
获得指示所述至少一个图像相对于所述至少一个2D发射图案的图像位置的至少一组配置数据;
通过使用自动投影算法将所述至少一个2D发射图案投影到水平平面上来生成环境地图;
使用自动对象识别算法识别所述至少一个图像中的至少一个特征,所述至少一个特征是环境的门道、镜子和窗户中的至少一个;
通过使用所述至少一组配置数据将自动匹配算法应用于所述至少一个图像和所述至少一个2D发射图案来识别所述至少一个特征的特征位置;以及
标记地图以指示所述至少一个特征的特征位置。
12.如权利要求11所述的方法,还包括:
使用自动匹配算法来识别所述至少一个特征的延伸区,以及
标记地图以指示延伸区。
13.如权利要求11所述的方法,其中:
所述至少一个2D发射图案包括:
从第一位置产生的第一2D发射图案,以及
从与第一位置不同的第二位置产生的第二2D发射图案,以及
应用自动投影算法将所述至少一个2D发射图案投影到水平平面上以生成环境地图包括自动对准第一和第二2D发射图案。
14.如权利要求14所述的方法,还包括:
从固定到用于测量所述至少一个2D发射图案的2D测距仪的电子指南针和固定到所述2D测距仪的惯性测量单元中的至少一个获得一组位置信息,以及
在自动对准第一和第二2D发射图案时应用所述位置信息。
15.如权利要求11所述的方法,其中所述至少一个图像是从光学成像系统获得的,所述光学成像系统包括图像传感器和物镜,并且所述至少一组配置数据包括指示物镜的焦距和变形的至少一个校准系数、图像传感器相对于物镜的传感器位置和朝向,以及物镜相对于用于测量所述至少一个2D发射图案的2D测距仪的透镜位置和朝向。
16.如权利要求11所述的方法,其中所述至少一个2D发射图案由2D激光测距仪测量。
17.如权利要求16所述的方法,其中所述至少一个2D发射图案是从扫描激光测距仪获得的。
18.如权利要求16所述的方法,其中所述至少一个2D发射图案是从三角测量激光测距仪获得的,所述三角测量激光测距仪包括光学成像系统,所述至少一个图像也是从所述光学成像系统获得的。
19.如权利要求11所述的方法,其中所述2D发射图案延伸至少180度。
20.一种用于绘制环境的绘制系统,包括:
勘测装置,包括:
可操作以从第一位置测量至少一个环境表面处的第一2D发射图案并从与第一位置不同的第二位置测量所述至少一个环境表面处的第二2D发射图案的2D测距仪,第一和第二2D发射图案中的每一个包括范围信息,
可操作以检测第一2D发射图案和第二2D发射图案的至少一个传感器,并且所述至少一个传感器包括成像传感器,所述成像传感器可操作以捕获所述至少一个环境表面的至少一个图像,
其中所述勘测装置可操作以生成指示所述至少一个图像相对于第一和第二2D发射图案中的至少一个的图像位置的至少一组配置数据;以及
至少一个处理器,其通信地耦合到所述勘测装置以接收第一和第二2D发射图案、所述至少一个图像以及所述至少一组配置数据,所述至少一个处理器可操作以:
将自动对象识别处理应用于所述至少一个图像来识别至少一个特征,所述至少一个特征是环境的门道、镜子和窗户中的至少一个,
使用所述至少一组配置数据应用自动匹配处理以确定所述至少一个特征相对于第一和第二2D发射图案中的至少一个的特征位置,
使用所述特征位置自动对准第一和第二2D发射图案以识别第一和第二2D发射图案中的重叠,以及
应用自动投影处理将对准的第一和第二2D发射图案投影到水平平面上,以生成环境地图。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CA2020/050714 WO2021237331A1 (en) | 2020-05-26 | 2020-05-26 | Indoor surveying apparatus and method |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114072695A true CN114072695A (zh) | 2022-02-18 |
Family
ID=76088910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080005759.2A Pending CN114072695A (zh) | 2020-05-26 | 2020-05-26 | 室内勘测装置和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220187464A1 (zh) |
CN (1) | CN114072695A (zh) |
CA (1) | CA3112259C (zh) |
WO (1) | WO2021237331A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8699005B2 (en) * | 2012-05-27 | 2014-04-15 | Planitar Inc | Indoor surveying apparatus |
US20150116691A1 (en) * | 2013-10-25 | 2015-04-30 | Planitar Inc. | Indoor surveying apparatus and method |
EP3165945B1 (de) * | 2015-11-03 | 2024-01-03 | Leica Geosystems AG | Oberflächenvermessungsgerät zur bestimmung von 3d-koordinaten einer oberfläche |
-
2020
- 2020-05-26 CA CA3112259A patent/CA3112259C/en active Active
- 2020-05-26 WO PCT/CA2020/050714 patent/WO2021237331A1/en active Application Filing
- 2020-05-26 CN CN202080005759.2A patent/CN114072695A/zh active Pending
- 2020-05-26 US US17/274,346 patent/US20220187464A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CA3112259C (en) | 2021-09-14 |
CA3112259A1 (en) | 2021-05-24 |
US20220187464A1 (en) | 2022-06-16 |
WO2021237331A1 (en) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8699005B2 (en) | Indoor surveying apparatus | |
US11604065B2 (en) | Fully automatic position and alignment determination method for a terrestrial laser scanner and method for ascertaining the suitability of a position for a deployment for surveying | |
US10665012B2 (en) | Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images | |
CN113379822B (zh) | 一种基于采集设备位姿信息获取目标物3d信息的方法 | |
US9689972B2 (en) | Scanner display | |
US7206080B2 (en) | Surface shape measurement apparatus, surface shape measurement method, surface state graphic apparatus | |
JP5816778B2 (ja) | 追加の検出装置を備えたレーザスキャナ | |
US20150116691A1 (en) | Indoor surveying apparatus and method | |
Mills et al. | Geomatics techniques for structural surveying | |
US9989353B2 (en) | Registering of a scene disintegrating into clusters with position tracking | |
JP7300948B2 (ja) | 測量データ処理装置、測量データ処理方法、測量データ処理用プログラム | |
JP3494075B2 (ja) | 移動体の自己位置標定装置 | |
CN109425307B (zh) | 测量装置以及利用其将光图案投影到场景上的方法 | |
US20150042645A1 (en) | Processing apparatus for three-dimensional data, processing method therefor, and processing program therefor | |
JP2004163292A (ja) | 測量装置と電子的記憶媒体 | |
KR101807857B1 (ko) | 검사용 카메라 유닛, 내부 검사 방법, 및 센서 유닛 | |
WO2014063020A1 (en) | Apparatus and method for determining spatial information about environment | |
US20090008554A1 (en) | Method for infrared imaging of living or non-living objects including terrains that are either natural or manmade | |
JP6823482B2 (ja) | 三次元位置計測システム,三次元位置計測方法,および計測モジュール | |
JP2010117211A (ja) | レーザレーダ用設置位置検証装置、レーザレーダ用設置位置の検証方法及びレーザレーダ用設置位置検証装置用プログラム | |
WO2022078442A1 (zh) | 一种基于光扫描和智能视觉融合的3d信息采集方法 | |
EP3706073A1 (en) | System and method for measuring three-dimensional coordinates | |
JP2021039013A (ja) | 壁面のひび割れ測定機および測定方法 | |
JP2001317915A (ja) | 3次元計測装置 | |
EP4257924A1 (en) | Laser scanner for verifying positioning of components of assemblies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |