CN106091921A - 用于确定场景中的尺寸的方法 - Google Patents

用于确定场景中的尺寸的方法 Download PDF

Info

Publication number
CN106091921A
CN106091921A CN201610273855.0A CN201610273855A CN106091921A CN 106091921 A CN106091921 A CN 106091921A CN 201610273855 A CN201610273855 A CN 201610273855A CN 106091921 A CN106091921 A CN 106091921A
Authority
CN
China
Prior art keywords
plane
scene
sensor
size
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610273855.0A
Other languages
English (en)
Other versions
CN106091921B (zh
Inventor
肖勇
冯晨
田口裕
田口裕一
V·R·卡马特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN106091921A publication Critical patent/CN106091921A/zh
Application granted granted Critical
Publication of CN106091921B publication Critical patent/CN106091921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

用于确定场景中的尺寸的方法。该方法通过首先获取由传感器获取的场景的深度图像并从深度图像提取平面来确定场景中的尺寸。确定平面的拓扑关系。基于平面和拓扑关系确定尺寸。利用场景类型来评估尺寸的质量，并且如果质量是足够的，则输出该尺寸，否则输出引导以重新定位传感器。

Description

用于确定场景中的尺寸的方法
技术领域
本发明总体上涉及计算机视觉，并且更具体地，涉及确定室内场景中的尺寸。
背景技术
诸如房间和走廊的室内场景的尺寸信息可以被用于各种各样的应用。在建造建筑物期间，尺寸信息可以被用于监控结构，以确保所述结构满足规范和图纸的要求。在建筑维修期间，尺寸信息可以确定结构是否与现有建筑规范保持一致，并量化例如裂纹的任何缺陷。此外，在建筑自动化的背景下，尺寸信息可被用于在建筑期间执行诸如安装窗户的任务的任意机器人。
对于窗户安装机器人，由于容差不一致，机器人需要知道如所建筑的窗框的实际尺寸，而不是设计尺寸。利用该尺寸信息，机器人能够准确地安装窗户并确保窗户精确地装配到窗框中。此外，任何开口的尺寸对于自主式机器人在室内环境中移动都是非常重要的。例如，当穿过门时，机器人必须检测开口空间的尺寸，使得其能够自动决定是直接穿过该门还是采用其它途径。
在现有技术中，使用旋转激光器的三维(3D)传感器通常被用于生成室内场景的3D模型并测量3D模型中的尺寸。这些传感器可以以到单个位置的长距离且360度覆盖地生成3D模型。然而，这些传感器价格昂贵并且需要长扫描时间，在扫描期间，需要将这些传感器放置在固定位置处。
最近，具有短距离且小视野覆盖范围的3D传感器已变得容易获得。这些传感器能够单发(single-shot)、实时地扫描。为了使用这些传感器来生成大型3D模型，一种方法是使用同步定位与建图(SLAM)技术来记录由这些传感器所获取的多个帧。然而，该方法在记录过程中累积漂移误差，导致尺寸测量的较低精度。
就用户交互方面而言，一种方法提供了具有用户交互以快速访问数据的建造质量检查和管理系统。用于交互仿真建模的另一方法为用户提供步进式引导来构建仿真模型。用户引导充当用户的引导者。考虑到基准图像，又一方法为用户提供引导来从 与拍摄基准图像相同的视角拍摄图像。
发明内容
在许多土木工程任务中，诸如包括人工结构的室内场景的场景的尺寸分析对于空间分析和决策制定是重要的。诸如竣工几何结构生成(as-built geometry generation)的任务需要基于从不同位置收集到的数据有效地解释可能散乱的场景中特定对象的关键尺寸(例如，管道的直径、开口的宽度)。
因此，本发明的一个实施方式提供了一种用于根据由深度传感器获取的单个深度图像确定室内场景中的尺寸的方法。
深度传感器是获取场景的深度图像的3D传感器。深度图像是其中每个像素都表示深度(或者从传感器到场景的距离)的二维图像。通过使用传感器的固有参数针对每个像素逆投影光线并且在所测出的深度生成3D点，可以将深度图像转换成3D点云。如果将深度图像与辉度(intensity)或颜色(例如，红、绿和蓝(RGB))图像相组合，则能够获得RGB-D图像(即，3D有颜色点云)。
然后，通过提取平面并执行几何分析，可以根据单个深度图像获得场景中感兴趣的结构的尺寸。该方法评估尺寸数据和测量的质量，并提供用于以不同姿态定位传感器以获取较高质量的数据的交互式引导(例如，使用图形用户界面(GUI))，根据较高质量的数据可以获得更准确的几何测量。如本文所定义的，姿态具有六个维度(6D)，三个平移分量和三个旋转分量。
本发明部分地使用了能够从深度传感器获得室内场景的尺寸的用户引导尺寸分析方法。本文对从深度传感器获得的单个深度图像执行尺寸分析，以实现高计算效率并避免使用SLAM技术的多帧(multi-frame)记录中的误差累积。
由于传感器的有限视野，单个深度图像无法保证能够确定所有感兴趣的尺寸信息。此外，所确定的尺寸的质量受到传感器的固有精度限制。
因此，为了克服使用单个深度图像的缺陷，开发了基于知识的用户引导系统，以引导用户(或布置有传感器的机器人)将传感器重新定位到更好的姿态，以便收集到适用于尺寸分析的充足且高质量的数据。在收集到高质量的单个图像数据之后，执行几何分析，以获得必要的尺寸信息。
本方法与现有技术不同之处在于，本方法直接针对单个深度图像执行，而不是针 对一系列深度图像执行。单个深度图像的使用使得能够实时评估室内场景的尺寸信息，这对以自动化和机器人为重点的诸多应用是重要的。
此外，与现有技术方法不同，本用户引导系统评估当前图像的数据质量，然后建议用户重新定位传感器以获得对于应用而言的更好的结果。通过简单引导，该系统可以引导不必是专家的用户获得高质量数据，进而获得高质量的尺寸测量。
附图说明
图1是根据本发明的实施方式的、用于确定室内场景的尺寸的方法的框图；
图2是根据本发明的实施方式的、用于提取共面平面的边界点的过程的框图；
图3中的(a)、(b)、(c)和(d)是根据本发明的实施方式的、由室内场景中的平面支持的箱形(box)的示意图和注释图像；并且
图4中的(a)、(b)、(c)和(d)是根据本发明的实施方式的、由室内场景中的平面支持的开口的示意图和注释图像。
具体实施方式
如图1所示，本发明的实施方式提供了一种用于确定如单个深度图像101中所表示的室内场景103中的尺寸的方法。该深度图像可以由深度传感器102获取。本发明的重点是对具有平面表面的室内基础设施的尺寸分析。场景可以具有关联的类型，例如，房间或走廊。该类型可以限定诸如箱形或开口的预定形状。
在一些实施方式中，KinectTM for Xbox传感器被用作深度传感器，以获得室内场景的3D点云。装配有红外(IR)相机和彩色(RGB)相机的Kinect能够获取场景的深度图像和彩色图像。因此，在一些但不是所有实施方式中，可以通过使用传感器校准，将深度图像与彩色图像一起记录104，从而获得RGB-D图像101。
向深度图像或RGB-D图像101应用预处理110。该预处理包括如下步骤：提取平面表面；以及确定这些平面111的拓扑关系。基于这些平面及其关系，执行几何分析120以确定场景的初始尺寸121。
使用场景类型和初始尺寸测量，评估130图像和初始尺寸的质量131。如果质量足够140，则输出最终尺寸105。否则，输出引导141，以改善数据的质量，从而获得更好的尺寸。例如，所述引导可以指示传感器的更好姿态142。可以输出给用户以手 动地重新定位传感器，或者可以输出给机器人以自动重新定位传感器。
如本领域所公知的，可以在处理器100中执行该方法的步骤，处理器100通过总线连接到用于存储该方法所使用的图像和其它数据结构的存储器以及输入/输出接口。本质上，该方法是将例如室内场景中的结构的现实世界对象的深度图像变换为对象的尺寸。
室内场景和平面表面
大多数室内场景被封闭在平面表面内。基于该假设，执行几何分析以获得特定基础设施的的尺寸信息。为了有效地提取平面表面，向深度图像应用平面提取过程，参见，例如Feng等人的“Fast plane extraction in organized point clouds using agglomerative hierarchical clustering”，IEEE International Conference on Robotics and Automation(ICRA)，pp.6218-6225，2014。
将深度图像中的像素分成用于构建图(graph)的组，其中，这些组由节点表示，并且边表示相邻组。然后，针对该图执行凝聚层次聚类(agglomerative hierarchical clustering)，以合并同一平面上的节点。这些平面由像素式区域增长(pixel-wise region growing)来限定。
如果彩色图像与深度图像一起可用(即，使用RGB-D图像)，则彩色信息可以被用于进一步分割平面。例如，可以将出现在各个平面中的颜色聚集，并根据这些聚集来分割平面。
在从深度图像中提取出所有平面之后，基于平面参数，评估这些平面之间的拓扑关系。如下定义了四种类型的拓扑平面关系：
平行：如果两个平面的法向向量彼此平行，则这两个平面是平行平面；
共面：如果两个平面具有相同的参数，则这两个平面是共面平面并且是平行的；
相交：如果两个平面互不平行，则这两个平面是相交平面；以及
垂直：如果两个平面的法向向量是垂直的(彼此正交)，则这两个平面相互垂直。
应当注意，由于传感器测量的不确定性，这些关系都是被近似确定的。例如，如果两个平面的法向向量的角度小于5度，则这两个平面被视为平行平面。
几何分析
如果来自传感器的所有测量值均是准确的，则可以基于场景的几何表示直接确定几何尺寸信息。然而，传感器不是完美的并且测量值具有不确定性。为了获得准确的 尺寸信息，使用最小二乘法。例如，对两个平行平面之间的距离和共面平面的边界之间的距离感兴趣。使用两种用于确定这两个距离的方法来获得准确的估计。
平行平面之间的距离
在提取平面之后，通过最小二乘法来估计平面参数。3D平面方程是ax+by+cz+d＝0，其中，a、b、c和d是平面参数。如果测量值被给出为A＝[x,y,z,1]，其中，x,y,z是包含分配给该平面的所有3D点的所有X,Y,Z坐标的列向量，并且平面参数是P＝[a,b,c,d]T，则线性系统可以被构造为：
AP＝0。 (1)
为了获得最小平方估计值，一种解决方案是对矩阵A执行奇异值分解(SVD)，然后从SVD的结果中提取出平面参数P。
因为存在多个平行平面组，所以可以通过使用这些现有信息来使得平面参数估计结果更加准确。假设平面i和平面j彼此相互平行，同时分配给这些平面的点分别由Ai和Aj表示。为了执行平行约束，平面i和平面j共用相同的法向向量并且被限定为
然后，类似于方程(1)的线性系统可以被构造为：
P＝[ai,bi,ci,di,dj]T,和
因此，通过利用SVD，使用两个平面上的所有点来确定平行平面的平面参数。
在获得平行平面参数之后，基于平面参数直接确定平行平面之间的距离。例如，平面i和平面j之间的距离是
distij＝|di-dj|。 (4)
共面平面的边界之间的距离
需要共面平面的边界之间的距离来估计例如门框的宽度。在该背景下，宽度是门的左右墙壁(两个共面平面)的边界之间的距离。为了确定该宽度，提取出门框的边界点，然后基于该边界点拟合两条线。这两条平行线之间的距离就是门框的宽度。
为了自动定位门框，基于平面拟合结果来估计所提取出的平面表面之间的拓扑关系。在检测出共面平面之后，将所有共面平面都旋转至2D空间。
图2是用于提取门框边界点的伪代码的框图。通过使用2Dα形状算法分别提取 出两个平面的边界点CP1和CP2，参见例如Bernardini等人的“Sampling and Reconstructing Manifolds Using Alpha-Shapes”，Purdue e-Pubs，a Serv.Purdue Univ.Libr.，pp.1-11页，1997。
然后，对于第一平面，针对CP1中的各个点，搜索其它平面边界点CP2中的最近点。在迭代第一平面上的所有点之后，CP2中已搜索出的作为最近点的点(BP2)是第二平面上的门框边界点。通过针对第二平面重复该过程，找到第一平面上的门框边界点BP1。在检测出门框边界点BP1和BP2之后，分别根据两组边界点估计出两条线。根据这两条线估计距离。
用户引导
本用户引导系统基于感兴趣的场景的现有知识。用户引导系统的目标是在从场景中获得尺寸信息方面指示当前帧数据的质量。本文将高质量数据定义为包括来自感兴趣的基础设施特征的支持平面表面的足够数据的图像。
用户引导系统基于传感器和场景的特征来评估所获得的数据的质量。为了充分利用现有信息，用户引导系统将平面表面的拓扑关系可视化。本文描述了两种常规情况，箱形和开口。
箱形
图3中的(a)示出了定义为包含两组的两个平行平面(同时，这两组彼此垂直)的形状的箱形。如图3中的(a)所示，平面A和平面C彼此平行，平面B和平面D亦彼此平行。此外，平面A垂直于平面D。实线表示平面表面之间的相交线。本文使用走廊场景作为示例。
为了获得该结构的尺寸，即，走廊的宽度和高度，应当由传感器获取所有四个平面。用户引导被设计成确保传感器高精度地从所有四个平面表面中获取足够的点。
用户引导假定从场景中检测出至少三个平面。该假定是合理的，因为如果传感器仅观测到两个平面表面，则传感器可能无法获得所有四个平面。这会在走廊过高且传感器无法拍摄所有四个平面时发生。如果在数据中没有获得一个平面表面，则基于部分数据来执行几何分析。基于场景的现有信息和捕捉到的数据，重构可能的形状，从而引导用户。
例如，如图3中的(b)所示，如果未从数据中未检测出平面D(即，地板)，则走廊的高度是未知的，但是仍然可以基于两面墙来确定走廊的宽度。由于检测出了天 花板和两面墙，因此可以推导出天花板与墙之间的相交线。基于现有信息和所确定的相交线，可以估计可能的高度并可以构建出箱形(白线)，如图3中的(c)所示。因此，用户引导系统可以针对这种情况提供相应的引导，并且将传感器重新定位142至更好的姿态以获取如图3中的(d)所示的地板，从而获得最终尺寸。
因为该方法检测出没有来自平面D的点，所以系统建议用户重新定位传感器以从平面D(地板)获得点。通过遵循该引导，传感器被降低，或者朝向向下倾斜，然后获得图像(图3中的(d))。在该图像中，可以从深度图像中提取出所有四个平面A-D，并构建类似于模板的箱形。因此，可以通过几何分析确定走廊的高度和宽度二者。
除了重新定位传感器以获取缺失的平面之外，用户引导还可以基于数据质量提供对测量质量的评述。例如，深度传感器的不确定性通常随着场景与传感器之间的距离的增大而增加。因此，如果场景元素远离传感器，则该对象的点具有高的不确定性，这影响尺寸测量的精度。
因此，当从数据中检测出所有四个平面时，针对每个平面，确定其重心与传感器之间的距离。如果到传感器的距离大于阈值(例如，3.0m)，则用户引导系统建议用户将传感器移动得更接近该平面，从而将测量不确定性减到最小。
开口
开口结构被定义为平面表面中的开口，同时存在用于第一平面表面的另一支撑平面表面(例如，地板)。本文使用作为墙壁上的开口的门框作为示例。如图4中的(a)、(b)、(c)和(d)所示，平面A和平面B是垂直的墙，并且在同一个平面上，即，平面A和平面B的关系是共面的，而平面C是与平面A和平面B垂直的地板。为了获得开口的准确宽度，地板需要提供对重新构建墙的限制。因此，实施用户引导以保证传感器可观测到地板。
如果数据中未检测出平面C(地板)，则系统仍然可以重新构建图4中的(b)中的两条实线，其中，基于这两条实线来估计宽度。然而，由于深度边界周围的传感器的不准确测量，导致线的估计不准确，因此宽度也不总是准确的。通过比较图4中的(a)和(c)，用户引导系统指示用户将传感器重新定位得更低，以便可以获得地板的数据。用这种方法，获取了图4中的(d)中的具有更好的质量数据的新图像。通过添加线与地板垂直的限制，改进了对门宽度的估计。
此外，因为门通常缩进墙中，所以如果传感器观看方向不垂直于门，则墙可能会阻挡传感器的视野。因此，用户引导系统还将此考虑在内。门表面的法向向量被用于该评估。如果传感器观看方向不垂直于门表面，则观看方向不平行于门表面的法向向量。因此，用户引导系统能够提供关于调整传感器的观看方向的反馈。

Claims (11)

1.一种确定场景中的尺寸的方法，所述方法包括如下步骤：
获取由传感器获取的场景的深度图像；
从所述深度图像提取平面；
确定所述平面的拓扑关系；
基于所述平面和所述拓扑关系，确定所述尺寸；
利用场景类型来评估所述尺寸的质量；以及
如果所述质量是足够的，则输出所述尺寸，否则输出引导以重新定位所述传感器，并且
其中，上述步骤在处理器中执行。
2.根据权利要求1所述的方法，其中，将所述深度图像与所述场景的红、绿和蓝(RGB)图像相结合，以形成RGB-深度图像。
3.根据权利要求1所述的方法，其中，向用户输出所述引导。
4.根据权利要求1所述的方法，其中，向布置有所述传感器的机器人输出所述引导。
5.根据权利要求1所述的方法，其中，所述提取的步骤还包括如下步骤：
将所述深度图像中的像素分割成多个组；
将所述多个组表示为图中的节点，其中，边表示相邻的组；以及
向所述图应用凝聚层次聚类，以合并同一平面上的节点。
6.根据权利要求1所述的方法，其中，所述拓扑关系包括：
平行平面，如果两个平面的法向向量彼此平行；
共面平面，如果两个平面具有相同的参数；
相交平面，如果两个平面不平行；以及
垂直平面，如果两个平面的所述法向向量彼此垂直。
7.根据权利要求1所述的方法，所述方法还包括以下步骤：
使用最小二乘法提取所述平面。
8.根据权利要求1所述的方法，其中，所述场景类型限定了预定形状。
9.根据权利要求8所述的方法，其中，所述预定形状包括箱形和开口形状。
10.根据权利要求9所述的方法，其中，所述箱形包含两组两个平行平面，并且所述两组彼此垂直。
11.根据权利要求9所述的方法，其中，所述开口形状包含两个共面平面和垂直于所述两个共面平面的平面。
CN201610273855.0A 2015-04-28 2016-04-28 用于确定场景中的尺寸的方法 Active CN106091921B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/698,200 2015-04-28
US14/698,200 US9761015B2 (en) 2015-04-28 2015-04-28 Method for determining dimensions in an indoor scene from a single depth image

Publications (2)

Publication Number Publication Date
CN106091921A true CN106091921A (zh) 2016-11-09
CN106091921B CN106091921B (zh) 2019-06-18

Family

ID=57205763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610273855.0A Active CN106091921B (zh) 2015-04-28 2016-04-28 用于确定场景中的尺寸的方法

Country Status (3)

Country Link
US (1) US9761015B2 (zh)
JP (1) JP6489552B2 (zh)
CN (1) CN106091921B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109000559A (zh) * 2018-06-11 2018-12-14 广东工业大学 一种物体体积的测量方法、装置、系统和可读存储介质
CN109682304A (zh) * 2019-02-02 2019-04-26 北京理工大学 一种基于ccd相机对位装配系统的综合误差建模方法
CN111412842A (zh) * 2020-04-09 2020-07-14 广东博智林机器人有限公司 墙面的截面尺寸的测量方法及装置、系统
CN113220018A (zh) * 2021-04-23 2021-08-06 上海发电设备成套设计研究院有限责任公司 一种无人机路径规划方法、装置、存储介质及电子设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858681B2 (en) * 2014-10-27 2018-01-02 Digimarc Corporation Signal detection, recognition and tracking with feature vector transforms
US9807365B2 (en) * 2015-12-08 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. System and method for hybrid simultaneous localization and mapping of 2D and 3D data acquired by sensors from a 3D scene
US10721451B2 (en) * 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
JP2018156617A (ja) * 2017-03-15 2018-10-04 株式会社東芝 処理装置および処理システム
US10803663B2 (en) 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
WO2019032736A1 (en) * 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER
US10733762B2 (en) * 2018-04-04 2020-08-04 Motorola Mobility Llc Dynamically calibrating a depth sensor
US11270426B2 (en) * 2018-05-14 2022-03-08 Sri International Computer aided inspection system and methods
JP6821712B2 (ja) * 2018-06-25 2021-01-27 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 自然光景中での統合センサの較正
AU2020274025B2 (en) 2019-05-10 2022-10-20 Smart Picture Technologies, Inc. Methods and systems for measuring and modeling spaces using markerless photo-based augmented reality process
CN110853080A (zh) * 2019-09-30 2020-02-28 广西慧云信息技术有限公司 一种田间果实尺寸的测量方法
CN111914901A (zh) * 2020-07-06 2020-11-10 周爱丽 座椅排列整齐度测量系统及方法
US11568614B1 (en) 2021-08-02 2023-01-31 Bank Of America Corporation Adaptive augmented reality system for dynamic processing of spatial component parameters based on detecting accommodation factors in real time

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246599A (zh) * 2007-01-26 2008-08-20 转换器有限公司 根据2d图像序列进行3d场景重构的方法
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
US8908913B2 (en) * 2011-12-19 2014-12-09 Mitsubishi Electric Research Laboratories, Inc. Voting-based pose estimation for 3D sensors

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3855812B2 (ja) * 2002-03-15 2006-12-13 ソニー株式会社 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置
JP4535096B2 (ja) * 2007-07-27 2010-09-01 ソニー株式会社 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置
JP5838355B2 (ja) * 2012-06-20 2016-01-06 パナソニックＩｐマネジメント株式会社 空間情報検出装置、人位置検出装置
US9230339B2 (en) * 2013-01-07 2016-01-05 Wexenergy Innovations Llc System and method of measuring distances related to an object
WO2014192316A1 (ja) * 2013-05-31 2014-12-04 パナソニックＩｐマネジメント株式会社 モデリング装置、３次元モデル生成装置、モデリング方法、プログラム、レイアウトシミュレータ
JP5799273B2 (ja) * 2013-10-02 2015-10-21 パナソニックＩｐマネジメント株式会社 寸法計測装置、寸法計測方法、寸法計測システム、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246599A (zh) * 2007-01-26 2008-08-20 转换器有限公司 根据2d图像序列进行3d场景重构的方法
US8908913B2 (en) * 2011-12-19 2014-12-09 Mitsubishi Electric Research Laboratories, Inc. Voting-based pose estimation for 3D sensors
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋诗超: "基于Kinect的三维人体建模与测量的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109000559A (zh) * 2018-06-11 2018-12-14 广东工业大学 一种物体体积的测量方法、装置、系统和可读存储介质
CN109682304A (zh) * 2019-02-02 2019-04-26 北京理工大学 一种基于ccd相机对位装配系统的综合误差建模方法
CN111412842A (zh) * 2020-04-09 2020-07-14 广东博智林机器人有限公司 墙面的截面尺寸的测量方法及装置、系统
CN111412842B (zh) * 2020-04-09 2022-02-25 广东博智林机器人有限公司 墙面的截面尺寸的测量方法及装置、系统
CN113220018A (zh) * 2021-04-23 2021-08-06 上海发电设备成套设计研究院有限责任公司 一种无人机路径规划方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
JP2016212086A (ja) 2016-12-15
CN106091921B (zh) 2019-06-18
JP6489552B2 (ja) 2019-03-27
US20160321827A1 (en) 2016-11-03
US9761015B2 (en) 2017-09-12

Similar Documents

Publication Publication Date Title
CN106091921B (zh) 用于确定场景中的尺寸的方法
CN111897332B (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
Borrmann et al. A mobile robot based system for fully automated thermal 3D mapping
CN109564690B (zh) 使用多向相机评估封闭空间的尺寸
US10127718B2 (en) Methods for indoor 3D surface reconstruction and 2D floor plan recovery utilizing segmentation of building and object elements
Braun et al. A concept for automated construction progress monitoring using bim-based geometric constraints and photogrammetric point clouds.
Hong et al. Semi-automated approach to indoor mapping for 3D as-built building information modeling
EP3270247B1 (en) System and method for generating enhanced stereographic videos of aircraft build processes
US9841271B2 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
Borrmann et al. The project thermalmapper–thermal 3d mapping of indoor environments for saving energy
CN107885224A (zh) 基于三目立体视觉的无人机避障方法
WO2024007485A1 (zh) 基于视觉特征的空地多机器人地图融合方法
Díaz-Vilariño et al. Door recognition in cluttered building interiors using imagery and LiDAR data
Braun et al. Towards automated construction progress monitoring using BIM-based point cloud processing
Sheng et al. Mobile robot localization and map building based on laser ranging and PTAM
Ikeda et al. 3D indoor environment modeling by a mobile robot with omnidirectional stereo and laser range finder
Wang et al. A real-time visual compass from two planes for indoor unmanned aerial vehicles (UAVs)
Franceschini et al. Multivariate control charts for monitoring internal camera parameters in digital photogrammetry for LSDM (Large-Scale Dimensional Metrology) applications
Huang et al. Fast initialization method for monocular slam based on indoor model
Schaub et al. Point cloud to BIM registration for robot localization and Augmented Reality
Karam et al. An evaluation pipeline for indoor laser scanning point clouds
Li et al. Design and application of parallel stereo matching algorithm based on CUDA
Shen et al. Automatic Scan Planning and Construction Progress Monitoring in Unknown Building Scene
Sokolova et al. Floorplan-Aware Camera Poses Refinement
Himmelsbach et al. A Comparison of Error Metrics for Extrinsic Calibration and Fusion of Camera and Multi-Layer LIDAR

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant