CN110062893A - 用于对象形状和姿态的点云诊断检验的系统和方法 - Google Patents

用于对象形状和姿态的点云诊断检验的系统和方法 Download PDF

Info

Publication number
CN110062893A
CN110062893A CN201680090789.1A CN201680090789A CN110062893A CN 110062893 A CN110062893 A CN 110062893A CN 201680090789 A CN201680090789 A CN 201680090789A CN 110062893 A CN110062893 A CN 110062893A
Authority
CN
China
Prior art keywords
measurement
candidate target
point cloud
scraper bowl
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680090789.1A
Other languages
English (en)
Inventor
马修·爱德华·格林
泰森·戈文·菲利普斯
彼得·罗斯·迈克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CMTE Development Ltd
Original Assignee
CMTE Development Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CMTE Development Ltd filed Critical CMTE Development Ltd
Publication of CN110062893A publication Critical patent/CN110062893A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

一种确定环境中候选对象的位置的方法，该方法包括以下步骤：(a)捕捉对象及其周围的三维点云扫描；(b)形成候选对象的表面几何模型；(c)形成距离假设检验，将来自候选对象的几何模型的预期距离与激光雷达点云扫描中点的测量距离进行比较，并得出两者之间的误差测量；(d)检验候选对象的表面几何模型的一系列预期位置的距离假设，并确定可能的最低误差测量。

Description

用于对象形状和姿态的点云诊断检验的系统和方法
技术领域
本发明提供了用于对象形状和姿态的自动检验的系统和方法。
参考文献
Armbruster，W.和Hammer，M.(2012).Maritime target identification infiash-ladar imagery.SPIE Defense,Security,and Sensing中，卷8391.国际光学与光子学学会
Bayes，T.和Price，R.(1763).An essay towards solving a problem in thedoctrine of chances.Philosophical Transactions(1683-1775)，370-418页.
Besl，P.J.和McKay，N.D.(1992).Method for registration of 3-dshapes.Robotics-DL tentative中，586-606页.国际光学与光子学学会.
Brosed，F.J.，Aguilar，J.J.，Guillomía，D.，和Santolaria，J.(2010).3dgeometrical inspection of complex geometry parts using a novel lasertriangulation sensor and a robot.Sensors,11(1):90–110.
Cabo，C.，C.，García-Cortés，S.，和Martínez，J.(2014).An algorithmfor automatic detection of pole-like street furniture objects from mobilelaser scanner point clouds.ISPRS Journal of Photogrammetry and RemoteSensing，87:47–56.
Cavada，J.和Fadón，F.(2012).Application of laser technology formeasurement and verification of marine propellers.ASME 201211th BiennialConference on Engineering Systems Design and Analysis，467-475页.美国机械工程师协会.
Choe，Y.，Ahn，S.，和Chung，M.J.(2014).Online urban object recognition inpoint clouds using consecutive point information for urban roboticmissions.Robotics and Autonomous Systems.Cohen.J.(1995).地球是圆的(p<.05).
de Figueiredo，R.P.，Moreno，P.，Bernardino，A.，和Santos-Victor，J.(2013).Mutli-object detection and pose estimation in 3d point clouds:A fast grid-based Bayesian filter.2013IEEEInternational Conference on Robotics andAutomation(ICRA)中，4250-4255页.IEEE.
Falk，R.和Greenbaum，C.W.(1995).Significance tests die hard the amazingpersistence of a probabilistic misconception.Theory&Psychology，5(1):75–98.
Gao，J.和Yang，R.(2013).Online building segmentation from ground-basedlidar data in urban scenes.2013 IEEE International Conference on 3DTV，49-55页.IEEE.
Green，M.E.，Ridley，A.N.，和McAree，P.R.(2013).Pose verification forautonomous equipment interaction in surface mining.2013 IEEE/ASMEInternational Conference on Advanced Intelligent Mechatronics(AIM)中，1199-1204页.IEEE.
Günther，M.，Wiemann，T.，Albrecht，S.，和Hertzberg，J.(2011).Model-basedobject recognition from 3d laser data.2011 KI:Advances in ArtificialIntelligence，99-110页.斯普林格.
Huang，C.-H.，Boyer，E.，和Ilic，S.(2013).Robust human body shape and posetracking.2013 IEEE International Conference on 3DTV，287-294页.IEEE.
IEC(2011).Functional safety of electrical/electronic/programmableelectronic safety-related systems–general requirements.国际电工委员会，(IEC61508).
Johnston，K.(2002).Automotive applications of 3d laser scanning.技术报告，34935 SE Douglas Street,Suite 110,Snoqualmie,WA 98065，发表＝http://www.metronicsys.com/automotive-s.pdf，机构＝Metron Systems Incorporated.
Kashani，A.，Owen，W.，Lawrence，P.，和Hall，R.(2007).Real-time robot jointvariable extraction from a laser scanner.2007 IEEE International Conferenceon Automation and Logistics，2994-2999页.IEEE.
Kashani，A.，Owen，W.S.，Himmelman，N.，Lawrence，P.D.，和Hall，R.A.(2010).Laser scanner-based end-effector tracking and joint variable extraction forheavy machinery.The International Journey of Robotics Research.
Kim，A.M.，Olsen，R.C.，和Kruse，F.A.(2013).Methods for lidar point cloudclassification using local neighborhood statistics，SPIE Defense,Security,andSensing中，873103-873103页.国际光学与光子学学会.
Lehment，N.，Kaiser，M.，和Rigoll，G.(2013).Using segmented 3d pointclouds for accurate likelihood approximation in human posetracking.International journal of computer vision，101(3):482–497.
Liu，Z.-J.，Li，Q.，和Wang，Q.(2014).Pose recognition of articulatedtarget based on ladar range image with elastic shape analysis.Optics&LaserTechnology，62:115–123.
Phillips，T.，Green，M.，和McAree，P.(2014).An adaptive structure filterfor sensor registration from unstructured terrain.Journal of Field Robotics.
Rocha，L.F.，Ferreira，M.，Santos，V.，和Paulo Moreira，A.(2014).Objectrecognition and pose estimation for industrial applications:A cascadesystem.Robotics and Computer-Integrated Manufacturing,30(6):605–621.
Ross，S.M.(2010).Introductory Statistics，9.3章Tests concerning themean of a normal population:case of known variance，394-400页.Academic出版社.
Silverman，B.W.(1986).Density estimation for statistics and dataanalysis，26卷.CRC出版社.
Skotheim，O.，Lind，M.，Ystgaard，P.，和Fjerdingen，S.A.(2012).A flexible 3dobject localization system for industrial part handling.2012 IEEE/RSJInternational Conference on Intelligent Robots and Systems(IROS)中，3326-3333页.IEEE.
Sturrock，P.(1994).Applied Scientific inference.Journal of ScientificExploration，8(4):491–508.
Su J.，Srivastava，A.，和Huffer，F.(2013).Detection,classification andestimation of individual shapes in 2d and 3d point clouds.ComputationalStatistics&Data Analysis，58:227–241.
Teichman，A.，Levinson，J.，和Thrun，S.2011).Towards 3d object recognitionvia classification of arbitrary object tracks.2011 IEEE InternationalConference on Robotics and Automation(ICRA)中，4034-4041页.IEEE.
Ugolotti，R.和Cagnoni，S.(2013).Differential evolution based human bodypose estimation from point clouds.第十五届遗传和进化计算年会进程中，1389-1396页.ACM.
维洛德尼激光雷达公司(2008).HDL-64E S2和S2.1:High Definition LiDARsensor.345 Digital Drive，Morgan Hill，CA 95037.C.(2013).Three-dimensional pose estimation and segmentation methods.3D Computer Vision，89-137页.斯普林格.
背景技术
贯穿说明书的背景技术的任何论述决不应被视为承认那样的技术被广泛知晓或形成本领域中的公知常识的部分。
虽然对对象及其姿态的自动识别在很多方面被很好的研究，但是对于从点云数据验证对象的姿态和几何形状的知识的前期工作很少。
处理形状检测、姿态估计和几何识别问题的文献非常丰富(例如，参见(2013))。“它是什么？”和“它在哪里？”的问题经常出现在组件的操作常常需要了解对象“在哪里”而工艺决策取决于对象“是什么”的制造环境中。例如，Rocha等人(2014)提出了自主传送带涂装线，它要求能够定位和识别不同几何形状的对象。三维点云模型用于训练支持向量机以识别随机到达传送带上的八种不同几何形状。Skotheim等人(2012)使用对象的CAD模型来帮助搬运机器人进行拣放操作所需的定位。采用识别算法来匹配可能几何模型的曲面法线所描述的有向点对。这些受控环境允许在评估之前使用集群例程对测量集进行分段。
质量控制是其中产生验证问题“是我想的那样吗？”的领域。例如，Cavada和Fadón(2012)使用激光测距仪来验证船用螺旋桨是在高精度公差内制造的。模型失配几何上采用的预期和实际测距中的误差决定。其他人也使用模型失配技术来验证汽车工业中复杂发动机部件的制造几何结构，例如，参见Brosed等人(2010)和Johnston(2002)。
“在哪里”和“是什么”的耦合本质使得其他人同时估计对象的姿态和形状。这种策略似乎特别适用于确定人类的姿态。Huang等人(2013)通过优化二次能量函数来促进相邻曲面片的一致性，从而同时跟踪人类的姿态和形状。虽然需要大姿态空间来描述人类形状和手势的高可变性，该方法被证明是非常有效的。Ugolotti和Cagnoni(2013)参数化地描述了具有42个参数的可变形人体模型：29个自由度描述铰接骨架关节，7个参数指定肢体长度/厚度；以及6个参数描述模型的相对姿态。Lehment等人(2013)也探索类似的想法，他们使用观察似然函数近似搜索22-DOF人类姿态空间，从而将Kinect传感器的点云测量与姿态假设的预期点云进行比较。这些工作都采用并行处理以实时搜索大姿态空间。
需要注意的是，在机器人末端执行器的跟踪中出现了“在哪里”问题。Liu等人(2014)利用模拟测距的弹性形状分析对挖掘机的配置进行估计。六个不同姿态的几何模型封装机器的几何形状，并提供可比较轮廓描述符的数据库。Kashani等(2007)利用迭代最近点法(Besl和McKay，1992)提取液压挖掘机的关节空间，以将2D激光雷达剖面拟合为挖掘机铲斗的已知几何形状。该方法在Kashani等人(2010)中采用用于大型矿用挖掘机(类似于本文介绍的机器)的粗估计的粒子滤波被扩展。需要在线分割以去除地形的测量，并将非刚性铲斗门从激光剖面中去除。
“是什么/在哪里”和“是那样吗/是那里吗”问题本身就是多重假设比较。假定一族潜在的替代方案，并选择最能得到证据支持的假设。这个想法由de Figueiredo等人(2013)追求，他们提出基于网格的贝叶斯滤波器用于识别对象和估计它们的姿态。将假设空间(增加6-DOF姿态和标签说明符)离散为8.1×105个假设。通过测量每一个从点云测量推断出来的假设的证据确定最有可能的姿态，在给定假设状态下点云测量被认为是条件独立的。Su等人(2013)采用类似的方法，他们使用似然比测试来检测模拟点云测量中二维和三维几何图形的发生、姿态和比例。从一系列的几何图形生成似然图，以建立用于确定最有可能提供观测点云测量的对象类型的证据。对象的CAD模型通常用于封装这些估计方法所需的先验几何信息(Günther等人，2011)。对几何模型进行编目的替代方法是使用几何描述符描述潜在的对象。Armbruster和Hammer(2012)使用参数化船体形状的一系列几何描述符从闪光激光雷达测量中识别出不同的船型。
城市环境分类提供其中“在哪里”/“是什么”问题被提出的另一个领域。自动驾驶汽车需要“在哪里”的信息来预测障碍物碰撞，以及“在哪里”和“是什么”信息来规划合适的避碰策略。城市对象类型既众多又多变。由于这些原因，几何信息通常由监督训练编码，而不是大量的几何模型。Choe等人(2014)通过连续测量(如垂直、倾斜、散射)之间形成的角度来表征分割的点云集群。该算法被训练以识别这些度的三分量二元高斯混合模型与建筑物、树木、汽车和路缘的模型相似。Teichman等人(2011)提出经过训练的分类器用于识别城市环境中的汽车、行人、自行车或背景对象。使用连通分量算法对对象进行分割，这受到对象主动工作以保持分离的事实的促进。
在城市环境中工作的其他人通过检查他们的点云测量的分布特征来进行对象识别。Cabo等人(2014)通过在测量集中搜索垂直连续性来识别杆状物体，而Gao和Yang(2013)利用小巷中产生的可预测空隙来检测和分割建筑物。Kim等人(2013)考虑41个点云特征在识别草、建筑、道路和树木方面的辨识能力。
大多数之前工作的重点在于回答“是什么？”或者“在哪里？””或两者。本实施例处理验证，尤其是“它是我所想的那样吗/那里吗”的问题。关于这些问题的文献存在很大的空白。
发明内容
本发明的目的，以其优选的形式是提供用于对象形状和姿态的自动检验的系统和方法。
根据本发明的第一方面，提供一种确定环境中候选对象的位置的方法，该方法包括以下步骤：(a)捕捉对象及其周围的三维点云扫描；(b)形成候选对象的表面几何模型；(c)形成距离假设检验，将来自候选对象的几何模型的预期距离与激光雷达点云扫描中点的测量距离进行比较，并得出两者之间的误差测量；(d)检验候选对象的表面几何模型的一系列预期位置的距离假设，并确定可能的最低误差测量。
该方法可针对不同候选对象形状在一系列不同几何模型上执行。步骤(d)优选地可以包括补偿三维点云扫描模型中的扫描传感器姿态和测量不确定度。
三维点云扫描可以包括对象及其周围的激光雷达扫描。候选对象可以包括铲斗。
附图说明
本发明的实施例现在参考附图仅以示例的方式进行描述，其中：
图1示出在露天采矿中用于清除覆岩的电采矿铲车的图片。在自动控制下铲车的桶和装载卡车之间可能发生高能碰撞。
图2示出通用电采矿铲车，示出电采矿铲车的总装配及其相关术语。
图3示出与用于辅助探测的典型扫描相关联的3D激光雷达测量点云。未分割的点云包含：(i)铲斗和柄组件；(ii)铲斗的正前方的挖掘面；以及(iii)从铲斗掉落的松散材料/碎片的测量。铲的几何形状所占空间的假设区域如轮廓所示。
图4(a)示出壳体坐标系下的提环销可达运动范围包络，以及图4(b)示出相应的可达提升-推压扩展空间。
图5(a)示出用于接受铲斗几何形状所占什么空间的置信的激光雷达测量。图5(b)示出用于拒绝铲斗几何形状所占什么空间的置信的示例激光雷达测量。
图6示出实际挖掘机组件的图片，示出不能被建模为刚性几何形状的铲斗柄组件的某些部分。这些部分包括：(i)帮助卡车驾驶员正确定位的从柄悬挂的护柱；(ii)铲斗后部用来延迟门运动的挡板；以及(iii)拉动以松开/释放门的释放缆线。所有这些由扫描仪成像，导致模型测量不匹配。
图7示出相对于壳体坐标系放置在自动化系统认为正确的位置的铲斗柄组件的几何模型。通过沿传感器射线的射线投射并与观测测量进行比较确定预期测量zi。这说明对于第i次测量，观测到的测距zi被显示比预期的距离略短。
图8(a)示出在零假设上绘制的距离差。在报告的姿态中，大多数测距差接近0m。未建模的几何图形的测距被观察到比预期的短多达5米，而如果它们预期与铲斗几何形状相交，则地形的测距长多达5米。图8(b)示出距离差的分布。测距差分布在(与零假设一致)附近。
图9示出平均距离差μ。图9(a)显示在真实姿态处(如“+”标记所示)的平均距离差接近0m，但在非常不正确的姿态中也是低的。如图9(b)所示，样本距离差的标准偏差一般随着姿态误差的增大而增大。图9(c)示出相交射线的数量，这为z测试在全姿态假设空间上的应用提供足够的样本容量。
图10示出大多数铲斗柄姿态假设产生表明观测的平均距离差μ在零假设下发生的机会小于5％的z分数。这是这些姿态假设应该被拒绝的非常强的指示。当相同的显著性水平α＝5％被用于拒绝时，零假设被显示对于薄带的铲斗姿态被接受。“+”显示的真实姿态被拒绝，而“x”表示的非常不准确的姿态假设被接受。
图11示出当零假设被接受但应该被拒绝时发生的假阳性。该假设中的铲斗柄组件的位置远离真实位置，但其平均距离差仅为0.0017m。这因此导致零假设被错误地接受。
图12示出铲斗以几何形状的最移位部分或者是前齿的尖端或者是门闩的方式移动。这两个椭圆显示通过移位齿和闩0.2m形成的提升-推压误差的包络。这两个椭圆的交集定义提升-推压误差空间中的可以接受地放置几何形状的区域，以便没有任何部件从自动化系统所认为的移位超过0.2m。
图13示出为支持零假设提供有限证据的个别测量。但是，总体而言，观测的可能性对于图13(a)中的零假设比图13(b)中的替代高得多。
图14示出将铲斗几何形状放置在其真实位置的0.2m以内的报告的姿态位置。其中的23个被错误地识别为超出公差，并显示为假阳性标记。220个超出公差姿态中的14个被错误地接受为在公差范围内，并由假阴性标记显示。每个单元格中的数字是报告的姿态和真实姿态x之间的几何形状的最大位移。
图15示出图14相对于提环销绘制的结果，以提供这些偏差相对于机器规模的大小的透视。
图16在图16(a)中示出通过正确的假设非常可能获得的测量，在图16(b)中示出铲斗比真实位置向前0.1m，使得我们不太可能观察到传感器提供的测距的假设。图16(c)示出再一个0.1米推压误差显示测量的可能性甚至更小。图16(d)示出假设被扩展到包含铲斗门角。在门是开着的假设下对门的测量不太可能被观察到。没有提供证据支持假设的测量，例如在地形上的测量，被显示为小黑点。
图17示出以0.1m分辨率离散关节空间获得的10001个姿态假设的绘图。对每个假设聚集的m个测量可能性进行归一化显示假设最有可能提供测距。这个估计是最接近铲斗的真实姿态(或者至少是，被认为是真实姿态)的假设。
图18示出正确几何模型的最可能姿态。图18(a)比离散化工作空间上的任何其他假设更有可能，如图18(c)所示。不正确的铲斗几何形状(在这种情况下，图18(b)的沙滩球)有相同的最可能的假设，但它远非图18(d)所示的那样占主导地位。
图19示出可能具有其俯仰支撑长度改变或甚至更改为不同尺寸的一个的铲斗的估计。图19(a)示出这些不正确的几何模型的姿态估计被显示出与所报告的铲斗的提升-推压姿态不一致，并将导致触发安全功能。如果模型已经被估计在正确的位置，它仍然可以通过图19(b)和图19(c)的累积似然图中的低峰值被识别为拒绝。
具体实施方式
实施例寻求提供框架，通过该框架可以从点云数据可靠地建立“它是我所想的那样吗/那里吗”问题的事实或其他方面，点云数据例如为来自高密度高速率扫描仪(如Velodyne HDL-64E)的数据。这些问题的提问者是使用世界模型来在其控制下计划和执行设备的安全运动的自动化系统。自动化系统询问这些问题来验证世界模型，通常使用独立于构建世界模型使用的测量的传感器测量。
此验证被执行作为系统策略的一部分以实现与例如在标准IEC 61508(IEC，2011)中陈述的诊断检验的概念一致的更安全的操作。具体地，如果建立了被测世界与模型的充分差异，自动化系统采取维护安全运行状态所需的动作。
本实施例特别适用于地表采矿设备的自动化操作，特别是图1所示的那类的电采矿铲车，它的功能是挖掘材料和装载卡车，以便运输到库存的倾倒地区。对回答“它是我所想的那样吗/那里吗”问题的诊断检验的需要来自对工程控制的确定需要，以减少高能碰撞的风险，无论是卡车还是铲子都不应该占据自动化系统认为它们占据的空间区域。
在示例实施例中，验证铲车的桶(又称“铲斗”)占据被认为的空间区域被作为是目标。然而，所探讨的想法也适用(直接地或具有恰当的适应)于自动化系统必须检验其对对象的几何形状和位置的知识的其他示例。
实施例深受功能安全的框架(即标准IEC 61508和IEC 62061)的影响，该框架被澳大利亚矿业的监管机构(以及其他司法管辖区)视为实施先进采矿自动化系统的首要框架。除此之外，这需要开发有效的诊断检验来识别由硬件和软件设计引起的危险故障，以及控制由于环境压力或影响而导致的故障(包括与系统配置相关联的故障)。
铲斗验证
在实施例中，重点是检测当电采矿铲车占用与自动化系统认为它占用的空间区域不同的空间区域时所产生的危险故障。
图2作为背景技术，示出电采矿铲车的总体布置并列出示例术语。铲斗的空间位置由摆动、推压和提升运动控制。应用到与这些动作相关联的致动器的分解器测量推压和提升扩展以及摆动角度。自动化系统通常通过描述机器的前端几何形状的运动学模型知道铲斗在哪。铲斗柄组件所占空间的知识是通过在此位置叠加组件的几何模型确定的。通过与致动器搭配的传感器对铲斗位置的间接测量支持低水平控制功能的稳健实现，但是增加将电机分解器读数转换为铲斗所占空间所需的推理链的危险故障的可能性。
本实施例提供使用来自固定至机器壳体(machine house)23的扫描激光雷达传感器22(Velodyne HDL-64E)的数据。传感器提供20Hz的3D点云(Velodyne LiDAR Inc，2008)。该传感器的主要功能是对工作区域内的地形和对象进行成像，包括卡车、推土机和辅助设备，然而它的位置被安排为捕捉铲斗位置。
图3示出与典型扫描相关联的示例点云。传感器提供对铲斗和柄的位置和几何形状的潜在独立(于分解器的)测量。由于Velodyne传感器被安装至机器壳体，与摆动中的误差相关联的危险故障是不可检测的。在实践中，摆动运动并不是造成最重要故障的原因。
升降臂平面中的提环销24的位置用于描述铲斗相对于机器壳体的位置。
图4a显示提环销的可达包络41，图4b显示关联的推压和提升扩展44。提环销在典型装载循环内的运动被指示为45、46。
本实施例寻求检测的故障有几个潜在原因，包括：
1、推压和提升扩展中的偏置。当推压传输滑动时，推压扩展发生偏置。每当更改提升绳和安装新绳时，提升扩展发生偏置。
2、运动参考与机器几何形状之间的不匹配。例如，俯仰支撑(pitch-brace)的长度偶尔被更改以优化铲斗齿的前倾角，而这个改变的知识不被更新到内部模型。同样，机架绳索随着时间的推移而拉伸，从而改变升降臂角度。
3、铲斗偶尔被改变为更大或更小或更适合当前挖掘条件。
这些原因可以分为：(i)与机器操作相关联的系统性问题，如升降臂角度因绳索拉伸而改变，以及(ii)与自动化系统所需信息的配置管理相关的问题，例如保持铲斗的正确内部表示。露天采矿的复杂社会技术环境和潜在的复合原因使这些问题的管理具有挑战性。例如，用替代方案替换铲斗的决定可以触发或可以不触发更新自动化系统的铲斗的几何模型的需求，这取决于站点工作流和对它们的遵守。另外，推压传输的滑动是机器设计的结果，并且使用安装至机器的现有传感器是不可检测的。这不影响当前手动机器操作。然而，在自动化的情况下，有必要识别故障何时已变得足够危险需要处理。
是那样和在那里吗验证是假设检验
图5a示出叠加在铲斗和柄被认为位于的位置上的测量的点云数据50。两者被认为是良好一致的。相反，图5b显示较差的一致性52，因为推压和提升扩展被偏置。目视检查建议，对于图5a，接受铲斗是自动化系统认为的那样和那里的提议，并且对于图5b，拒绝提议。实施例寻求通过分析检验可靠地建立这些相同的结论。重要的是，在存在测量噪声和模型不匹配的情况下，检验必须提供最小的假阳性和假阴性。
关于图5a和图5b中用作比较的基础的点云和几何模型有几点需要注意。具体地：(i)点云包括不在铲斗上的点，这里的地形包括从齿53，54上掉下来的泥土；(ii)点云不提供对铲斗的完整扫描，最上面的点位于传感器视野的顶部；(iii)与之作比较的模型并不是铲斗和柄的完美表示；以及(iv)点云测量容易出错。验证测试相当于确定在出现这些复杂情况下，问题中的对象的内部表示与该对象的点云测量之间的一致性是否足够好以接受它具有正确形状并处于可理解的空间位置的提议。
在一个层面上，任务相当于区分两种世界观：感兴趣的对象占据我们认为它占据的空间区域，或者它确实占据的空间区域与人们所认为的空间区域充分不同，以至于它呈现危险的情况。
第一视图构成零假设H0，第二视图构成替代假设Ha。挑战在于如何可靠地区分这两者。答案可以归结为应用贝叶斯定理(Bayes和Price 1763)，但是这个问题有许多微妙之处需要特别注意。
图6示出铲斗-柄组件的一些不能建模为刚性几何形状的部分。这些部分包括：(i)帮助卡车司机正确定位的悬挂在柄上的护柱，例如61；(ii)铲斗后部用来延迟门运动的挡板63；以及(iii)被拉动以松开/释放门的释放缆线。所有这些由扫描仪成像，导致模型测量不匹配。
经典假设检验能否用于验证？
经典假设检验通常包括设计检验统计量(在零假设和替代假设之间分配)，并询问该统计量的值在零假设所暗示的分布中位于何处。
适当的统计量由图7产生，其描述测量70的几何形状。每个传感器测量zi 73是沿着已知传感器射线75的测距，可以与在自动化系统认为正确的位置对铲斗-柄组件72的几何模型进行射线投射而发现的期望距离74相比较。Velodyne HDL-64E 71通常在铲斗可以占据的区域返回2000到7000个点，其中大约500到3000个点与铲斗-柄组件相交，这取决于它在工作空间中的位置。预期距离和测量之间的差量化了铲斗-柄组件上的点不在他们被认为所在的位置的程度。预期与铲斗-柄相交的所有传感器射线的平均差为：
其中n是预期从铲斗-柄组件给出返回的传感器射线的数量(来自射线投射)。零假设和替代假设可以用μ表示，
H0:μ＝0， (2)
Ha:μ≠0. (3)
图8a示出预期与铲斗-柄组件相交的传感器射线的测距差，铲斗-柄组件的几何形状与自动化系统的内部模型相一致，并且其位置已知在用于确定对提升和推压扩展的偏置补偿的偏离的校准方法的分辨率之内。对于所有意图和目的，在这个数据中，铲斗-柄组件是自动化系统所认为的形状和位置，有效的诊断检验应该验证这一点。预期与铲斗和柄相交的传感器射线的距离差的分布如图8b所示。预期返回铲斗和柄上点的2695射线具有平均距离差，μ＝0.027m以及标准偏差s＝0.535m。由于模型几何形状不正确，标准偏差被一些大的异常值偏置。
使用“插件”z检验(Ross，2010)给出：
对于显著性水平α＝0.05，应用z检验导致拒绝零假设(接受零假设需要-1.96<z<1.96范围内的z分数)。检验错误地失败，因为它判断零假设的可能性为小的却忽略发生可能性更小的替代假设。使用检验的能力(在替代假设情况下拒绝零假设的可能性)将带来额外的清晰度，但需要强调的一点是，在零假设下不太可能的分数本身并不意味着零假设一定不可能或者替代假设可能性更大。对低概率的误读被称为“矛盾的概率证明的错觉”(Falk和Greenbaum，1995)。重要的是支持零假设的证据的相对权重，而不是给定零的检验统计量的概率。
为了更好地理解，图9示出μ、s和预期相交射线的数量如何随着铲斗位置的变化而变化，被映射到推压-提升扩展空间中。自动化系统所知悉的铲斗位置由十字线显示，并且如预期接近μ＝0轮廓和位于s的最小值附近。通过完美测量，铲斗位置的准确知识，与之进行比较的铲斗的完美模型，以及没有影响测量的其他因素，十字线将位于μ＝0和s＝0处。
以μ＝0轮廓为中心的带内的一批提升-推压组合共享不会导致零假设被拒绝的属性。然而在这个带以外与正确姿态的小偏差会导致零假设被拒绝。图10示出扩展空间中对应于观察候选点云测量的接受带。如果推压或提升与电机分解器测量的值相差0.01m，则零假设不会被拒绝。与此相反，图10示出被z检验接受的推压-提升配置，从而导致假阳性。该假阳性的假设和距离差的对应分布如图11所示。这个例子说明，如果使用经典假设检验，则完全有可能在零假设比替代假设更可能的情况下强烈拒绝零假设，反之亦然。
假设之间的选择需要调用贝叶斯定理
对经典假设检验的批判是，它计算的是给定零假设为真的测量的概率P(z|H0)而不是需要的，即给定测量的零假设的概率P(Ho|z)，(参见Cohen 1995)。这两者由提供评估相对概率的方法的贝叶斯定理联系起来。应用贝叶斯定理计算P(Ho|z)是可能的。调用贝叶斯定理提供额外的益处，因为它允许将零假设表示为容忍度。这更符合预期诊断检验的精神，即确定自动化系统对所占用空间的理解是否与实际占用空间足够接近，以免造成意外碰撞。零假设和替代假设可以表示为：
其中pk∈P是铲斗上所有点的集合，并且是自动化系统的表示中的对应点。公差τ描述几何形状中任何部分的最大可允许偏差，其中故障保持是安全的。在实践中，与这个公差带的偏差发生在“末端”，即斗齿或门闩处(如图2所示)。
危险故障公差τ＝0.2米在实践中被利用。这个值是根据操作员在安全装载周期内通常与卡车多接近的观测来选择的。零假设现在可以(非正式地)表述为“前斗齿和门闩的置信位置在其真实位置的0.2米之内”。该可接受几何误差的区域可被映射为图12所示的可接受的推压-提升误差。
推导测量似然驱动的检验统计量
贝叶斯定理声明：
其中f(z|H0)为零假设下观测测距的条件似然，P(H0)是零假设的先验概率，f(z)是测距的概率密度函数。
利用总概率定理，f(z)可以写成：
f(z)＝f(z|H0)·P(H0)+f(z|Ha)·P(Ha)， (8)
它可以被重新排列，以提供替代假设的先验概率的表达式，
其的补集提供零假设的先验概率P(H0)的表达式:
将这个零假设的先验概率的表达式，P(H0)，代回到等式7中允许零假设的后验条件概率完全从三个距离概率密度函数f(z)，f(z|H0)和f(z|Ha)来描述：
期望确定观测测距z的可能性，以及如果铲斗几何形状在公差内(H0)或超出公差(Ha)时观察测距的条件可能性。
评估单变量测量可能性
以下可以提供基于逐条射线估计测量概率密度函数的策略。等式13中的测量概率密度函数是非参数分布，其描述沿假定是在其上测量的射线轨迹观察测距的可能性。采用核密度估计近似距离概率密度函数，考虑如在第i条射线上观测到的独立测量zi的可能性(Silverman，1986)。第i次测距的估计的距离概率密度函数是通过对工作空间的扰动姿态中的铲斗-柄几何形状进行射线投射采样得到的。通过将扰动ΔX应用于自动化系统已知的推压-提升扩展对推压-提升工作空间进行一致的采样。描述的这种射线投射操作被记为r(·)，以及第i次测量对第k次扰动的预期距离为：
第i次测量的距离概率密度函数是由N个光线投射的集合近似得到的，并且核密度估计器将测距概率密度函数近似为位于每个射线投射的位置处的核函数K(·)的和，
术语h，称为带宽，作为平滑参数在估计量的偏置和方差之间提供平衡。对核函数使用高斯分布，
使用以下来动态选择带宽的适当选择，h，以适应样本数据:
其中是采样的距离射线投射的标准偏差。这种带宽，在西尔弗曼(1986)之后被称为西尔弗曼经验法则，对于正态分布的样本数据是最优的。这里选择它而不是恒定带宽是因为采样的射线投射测量的方差是不可预测的。
条件概率密度函数可以仅使用分别满足和不满足几何位移的公差的那些射线投射而近似得到(即图12中区域121内外的一致采样)。三个距离概率密度函数以及可以分别使用N＝1000公差内铲斗姿态，N＝1000超出公差铲斗姿态，以及N＝1000公差无关的铲斗姿态而近似得到。
等式13可以为每一个独立测量提供零假设的单变量概率P(H0|zi)，如图13所示。单个测量为选择一个假设而非另一假设提供很少的证据，事实上这些测量的平均概率只有36.55％。然而，所有射线上的累积证据描绘非常极化的画面。就像Sturrock(1994)所说的那样“非凡的证据可以从许多(但不是很多)不引人注目的证据项建立，前提是这些项是真正独立的”。
近似距离密度函数完全由铲斗-柄几何形状驱动，并假定没有传感器的姿态TH→S中的不确定性，或传感器本身的测量不确定性。用于构建距离概率密度函数的样本能够同时包含这两种不确定性，通过将“理想”射线投射函数(等式14)替换为:
其中wk为射线投射前对传感器配准的偏差，vk为射线投射结果中增加的传感器测量误差。Velodyne HDL-64E的传感器具有20mm的测量不确定度(1σsensor)(Velodyne激光雷达有限公司，2008)，因此vk约为N(0，σ2 sensor)。将该传感器配准到采矿平台的在先研究发现，配准参数可以分别在位置和方向近似10mm和1mrad的1σ不确定度范围内恢复(Phillips等人，2014)。传感器姿态的偏差由该参数协方差得到，即wk～N(0，Cov(TH→S))。
在射线投射函数中增加传感器姿态和测量不确定度扩大估计的距离概率密度函数。因此，对于τ＝0.2m可容许边界附近的假设，检验统计量识别错误报告的几何姿态的能力降低。如果测量误差被解释为支持替代假设的证据，可以使检验偏置从而拒绝零假设，反之亦然。然而，如果没有这些不确定性，检验统计量将是询问观察不准确测量的可能性，给定它们理想所处的位置。这将导致许多有效的报告姿态被错误地拒绝，即谬误跳闸(spurious trip)。
从联合测量可能性评估检验统计量
等式13要求多变量密度f(z)，f(z|H0)and f(z|Ha)以计算零假设的条件概率P(H0|z)。联合概率函数可从上一节给出的单变量核密度近似被确定:
其中n是测距的个数，等式19同样用于计算条件联合概率密度函数
限制实际用途的等式19的特征是如果任何单变量概率密度函数为零，则联合概率密度函数为零。因此，如果在公差(即)下无法实现单个测距，则拒绝零假设。同样地，如果不能从超出公差姿态(即)得到测距，则替代假设不可能是真的。为了克服这些限制：
其中ε是关于最低可允许概率密度的公差。
使用估计的联合概率密度函数评估检验统计量为:
检验统计概率在[0→1]范围内必须满足以下两个条件中的一个，
真实的密度值总是满足这两个条件中的一个，然而核密度估计的可能性的乘积可能导致不再处于零假设和替代假设的可能性之间。这通常发生在零假设和替代假设相交的τ＝0.2m边界处。针对这种情况，提出计算P(H0|z)的替换方案。可以估计先验概率P(H0)使总概率的残差被最小化：
其中残差ri被计算为第i条射线的总概率的估计误差，给定先验概率的估计，
等式24的线性最小二乘最小化产生先验概率的估计：
其可用于近似等式21中的验证统计量：
这给出当等式22或23都不满足时保证P(H0)∈[0→1]的有用的替代验证策略。
实验验证结果
使用361个报告的姿态在运行的实验数据集上对贝叶斯验证统计量进行评估。所报告的姿态的误差在工作空间的0.025米间隔处，多达真实推压-提升位置的±0.225m。验证过程要求将计算的零假设的条件概率P(H0|z)与阈值概率进行比较，阈值概率被认为是可接受的并被选择以提供最小的假阳性和阴性。大量的测量提供大量支持或反对零假设的证据。因此，检验统计量(等式21)报告关于零假设概率的非常两极化的置信。341项检验中有259项报告零假设是确定的(精确100％)或不可能的(精确0％)。最高计算的概率(不是100％)为0.018％，这表明在这个统计量下，零假设的接受对接受阈值的选择并不敏感。
图14示出所报告的姿态的验证结果140。浅色单元141指示检验统计量接受零假设；被拒绝的姿态由深色单元142表示。几何形状的最大位移由每个单元格中的数字表示。在τ＝0.2m公差边界附近可以看到I型和II型误差。图14示出I型误差或假阳性的位置(如143)，即使铲斗几何形状没有任何部分位移超出0.2米，零假设在此处被拒绝。从诊断检验的角度来看，这将导致安全功能的谬误激活。谬误跳闸时铲斗的平均位移为0.178m，最坏的情况发生在0.150m的位移处。II型误差(如144)也被发现出现在公差边界上。这些情况代表安全系统未能检测到铲斗几何形状的最大位移误差超过0.2m的场景。这些情况代表危险故障，因为不采取必要的安全功能可能导致无法接受的后果。造成危险故障的铲斗的平均位移是0.218m，最坏的情况发生在0.214m的位移处。
图15将报告的扩展映射到提环销位置，以提供关于它们偏离真实姿态的幅度的透视。在测量的检验之上很难建立0.2m的边界，并且也许提供了为什么激光雷达测量(容易出错)不能在边缘情况下提供完美的分辨能力的洞察。测量误差和模型误差都能对检验统计量产生偏置。测量过程的不确定性被包括在射线投射过程中，然而测量不确定性仍然使证据支持零假设或替代假设变得模糊。
当测量和模型存在不确定性时总是产生验证误差。通过改变归于测量模型的不确定性水平，这些不确定性可以被相对彼此而权衡。例如，如果认为I型误差(谬误跳闸)过多，可以配置系统以便降低其发生的频率，但会有II型误差(危险故障)更高频出现的风险。某种程度上，任意选择τ可以实现可接受的平衡。
使用已经缩放125％以模拟铲斗的变化的铲斗模型来重复检验。在示例中，所有的检验都拒绝零假设，实际上，告诉我们铲斗不是自动化系统所理解的是什么和在哪里。同样的结果也适用于俯仰支撑长度的适当大变化。总的来说，本节中给出的方法为验证铲斗的形状和位置提供稳健的方法。本方法受到产生结果所需的计算量的限制。运行在单3.40GHz(Intel i7-2600)CPU上的典型检验大约需要410秒来完成。射线投射大约占这个计算时间的99.5％。实时策略要求更快地交付结果。
比较多个假设
测距可用于支持零假设而非替代假设，反之亦然。本节对此进行扩展，以为可进入的推压-提升扩展空间上均匀分布的一族替代假设的成员确定每个测距提供的支持。
通过定义在工作空间上离散化的m个假设，H，而开始并用Hj表示第j个假设。测量zi支持Hi的证据可以表示为：
此处P(Hj)是姿态的先验概率，在没有其他信息的情况下，被认为和其他可概率相等，因此，可以用均匀分布来映射该置信，即
认识到等式28中的分母是归一化常数，
P(Hj|zi)∝f(zi|Hj). (30)
也就是说，假设的条件概率与提供观测的测距的条件可能性成正比。
用于近似距离概率密度函数的核密度估计可以用于近似条件距离可能性每个测量(i＝1，...，n)的可能性是针对m个假设(j＝1，...，m)从一组射线投射(k＝1，...，N)针对位于Hj处的几何模型确定的。模拟测量再次受到传感器配准不确定度w和测量不确定度v的影响，
图16示出四种假设下的每个测量的可能性，其中可能性由与每个测量相关联的圆的强度表示。第一姿态假设H1表示实际位置。铲斗被向前推压0.1m用于H2。在这个位移下，由于它们相交的垂直表面并不垂直于射线而移动的事实，柄侧面的测量仍然是等概率的。然而，对铲斗门的测量不再与模型一致，导致概率密度下降。当铲斗再被向前推压0.1米用于假设H3时，测量甚至变得更小可能。最终假设H4与H1处于相同的推压-提升状态，但铲斗门被打开40度。
可能在姿态假设下的激光雷达射线可以被认为是支持该假设的“证据”(根据等式30)。将跨所有测量的“证据”相加提供跨假设空间的地图。得到最多支持的假设是铲斗位置的估计。
图17示出通过以0.1m分辨率离散推压-提升工作空间得到的10001个姿态假设170的总体测量似然值。非常陡峭的峰171位于这表示最接近真实姿态x＝[9.38m，11.71m]的假设。
该方法能够选择最可能的假设，但不能防止错误假设的几何形状。考虑如果从错误的几何形状估计的姿态被发现与预期一致而出现的情况。这种情况在图18中示出，其中铲斗被沙滩球取代。在该示例中，假设的几何形状显然是错误的，但估计的姿态与用真实几何模型确定的相同。不正确几何形状的关键指示是似然图中的扩散(图18c和图18d)。
分布中的高峰表明该模型是正确的，因为测量一致认同它们提供证据的假设。低峰意味着假设的几何形状与数据不匹配，并提示模型是不正确的。已经被发现的是，在该峰的高度上应用最小阈值可以提供区分正确和错误几何模型的方法。
我们对于(i)俯仰支撑长度的改变和(ii)不同尺寸的铲斗的检测证明了这个想法。图19a示出这些不正确几何模型的姿态估计与报告的铲斗的推压-提升姿态显著不一致。仅此就足以检测出该对象不是自动化系统所认为的“在哪里和是什么”。然而，在姿态估计与所报告的一致的情况下，可以使用峰的高度来警告自动化系统几何形状不正确。图19b和图19c显示，随着模型失配，峰的高度减小。如果发现峰低于指定公差，可以识别出不正确的模型。
实际上，这个方法依次回答“它在哪里？”(估计问题)，然后是“假如我认为它在那里，它是我想的那样吗”(验证问题)。这个两部分方法不能区分问题是在报告的姿态(“哪里”)中还是在假设的几何形状(“什么”)中，然而它确实提供了检测他们中的至少一个是否不正确的能力，回答“是在我认为的那里和什么？”的问题。
结论
实施例提供可以通过高密度激光雷达测量实现的几何验证。提出了两种相关的方法。第一方法是对给定的测量集求出零假设的概率P(H0|z)。尽管位于区域的边界的I型和II型误差描述推压/提升-扩展中的零假设，该方法被显示产生良好的效果。
第二种方法是通过跨一族假设对每个测量所提供的支持水平求和来确定对象的最可能的位置。有人主张，产生的分布的形状揭示对象是否是所认为的什么并处于所认为的那里。具体地，尖峰分布为一个假设(相较于其他假设)提供强证据。该第二种方法的优点是它可以在并行处理器(例如GPU)上实现，允许以视频速率进行实时验证。
使用相同的激光雷达数据来直接确定铲斗的位置以及避免与间接测量相关联的问题(偏差、松弛绳索、不正确的几何模型等)可能是明智的。或者甚至完全不需要几何模型，直接从传感器数据构建的占用网格工作。事实上，考虑到传感器可以直接对感兴趣的对象进行成像，可以主张这种方法完全不需要进行验证。然而，这种主张忘记了要解决的问题不是如何确定空间的哪些部分被占据，而是为了验证自动化系统所拥有的信息，不管它是如何获得的，作为使危险故障的可能性可容忍的处理的一部分是正确的。
解释
在本说明书中对“一个实施例”、“一些实施例”、“实施例”的引用意指结合该实施例描述的特定特征、结构、或者特点被包括在本发明的至少一个实施例中。因此，贯穿本说明书的各个地方出现的短语“在一个实施例中”、“在一些实施例中”或“在实施例中”不是必须都关于相同实施例，但是可以关于相同实施例。此外，对于本公开的领域的普通技术人员显而易见的是，在一个或多个实施例中，可以以任何合适的方式组合特定特征、结构或者特点。
如本文所使用的，除非另有规定，描述共同的对象的序数形容词“第一”、“第二”、“第三”等的使用仅仅指示引用相同对象的不同示例，并且不旨在暗示如此描述的对象必须在时间上、空间上、排序上，或以任何其他方式按照给定的顺序。
在下面的权利要求书和本文的说明书中，包括、被包括或其中包括的术语中的任一个是开放术语，意味着至少包含随后的元素/特性，但不排除其他元素/特性。因此，在权利要求书中使用的术语“包括”不应被解释为限制于其后所列的构件、要素或步骤。例如，装置包括A和B的表达的范围不应限于只由元件A和B组成的装置。本文中使用的包含或其包括或它包含的术语中的任一个也是开放术语，也意味着至少包含术语后面的元素/特性，但不排除其他元素/特性。因此，“包含”与“包括”同义，并意味着“包括”。
如本文所使用的，术语“示例性”以提供示例的意义被使用，而不是指示质量。也就是说，“示例性实施例”是作为示例提供的实施例，而不是必须为示范质量的实施例。
应当认识到，在本发明示例性实施例的上述描述中，本发明的各种特征有时组合在单个实施例，附图或其描述中，其目的是使本公开流线化并帮助理解各种发明方面的一个或多个方面。然而，这种公开的方法不被解释为反映所请求的发明要求比每一项权利要求中明确表述的特征更多的特征的意图。相反，正如以下权利要求书所反映的，本发明的方面在于比上述单个公开实施例的所有特征少。因此，具体实施方式之后的权利要求书在此明确被并入本具体实施方式中，每一项权利要求本身都是本发明的单独实施例。
此外，虽然本文描述的一些实施例包含一些特征但不包含其他实施例中包含的其他特性，不同实施例的特征组合应在本发明的范围内，并形成不同的实施例，这将被本领域技术人员所理解。例如，在下面的权利要求书中，任何声明的实施例可以以任何组合被使用。
此外，本文将一些实施例描述为可以由计算机系统的处理器或执行功能的其他构件实现的方法或方法的元素的组合。因此，具有用于执行该方法或方法的元素的必要指令的处理器形成用于执行该方法或方法的元素的构件。此外，本文所描述的装置实施例中的元件是用于执行元件所实现的功能以用于执行本发明的目的的构件的示例。
在本文提供的描述中，列出了许多具体的细节。然而应当理解的是，本发明的实施例可以在没有这些具体细节的情况下实施。在其他示例中，没有详细说明众所周知的方法、结构和技术，以免混淆对这种描述的理解。
同样，应当注意，在权利要求书中使用的术语“耦合”不应被解释为仅仅限于直接连接。术语“耦合”和“连接”，以及它们的衍生词，可以被使用。应当理解，这些术语并不是作为彼此的同义词。因此，设备A与设备B耦合的表达的范围不应限于设备A的输出直接连接到设备B的输入的设备或系统。它意味着在A的输出和B的输入之间存在路径，这可以是包含其他设备或构件的路径。“耦合”可以意味着两个或更多个元件要么直接物理或电气接触，要么两个或更多个元件彼此没有直接接触，但仍然相互协作或相互作用。
因此，虽然已经描述了被认为是本发明的优选实施例的实施例，本领域技术人员将意识到在不违背本发明精神的情况下，可以对其进行其他和进一步的修改，其目的是要求所有改变和修改均落在本发明的范围内。例如，上面给出的任何公式仅仅是可以使用的程序的代表。功能可以从框图中添加或删除以及操作可以在功能块之间交换。本发明范围内描述的方法可以添加或删除步骤。

Claims (7)

1.一种确定环境中候选对象的位置的方法，所述方法包括以下步骤：
(a)捕捉所述对象及其周围的三维点云扫描；
(b)确定所述候选对象的表面几何模型；
(c)形成距离假设检验，将来自所述候选对象的几何模型的预期距离与所述三维点云扫描中点的测量距离进行比较，得出两者之间的误差测量；
(d)检验所述候选对象的几何模型的一系列预期位置的所述距离假设，并确定可能的最低误差测量。
2.根据前述权利要求中任一项所述的方法，其中所述方法针对不同的候选对象形状在一系列不同的几何模型上执行。
3.根据前述权利要求中任一项所述的方法，其中所述步骤(d)包括补偿所述三维点云扫描模型中的扫描传感器姿态和测量不确定度。
4.根据权利要求1所述的方法，其中所述三维点云扫描包括所述对象及其周围的激光雷达扫描。
5.根据前述权利要求中任一项所述的方法，其中所述候选对象包括铲斗。
6.根据前述权利要求中任一项所述的方法，其中所述距离假设的检验包括通过跨一族可能的距离假设对每个测量提供的支持水平求和来确定候选对象的最可能位置。
7.一种系统，用于实现权利要求1至6中任一项所述的方法。
CN201680090789.1A 2016-10-07 2016-10-07 用于对象形状和姿态的点云诊断检验的系统和方法 Pending CN110062893A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/AU2016/050948 WO2018064703A1 (en) 2016-10-07 2016-10-07 System and method for point cloud diagnostic testing of object form and pose

Publications (1)

Publication Number Publication Date
CN110062893A true CN110062893A (zh) 2019-07-26

Family

ID=61830737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680090789.1A Pending CN110062893A (zh) 2016-10-07 2016-10-07 用于对象形状和姿态的点云诊断检验的系统和方法

Country Status (7)

Country Link
US (1) US20200041649A1 (zh)
CN (1) CN110062893A (zh)
AU (1) AU2016425526A1 (zh)
BR (1) BR112019007000A2 (zh)
CA (1) CA3039533A1 (zh)
WO (1) WO2018064703A1 (zh)
ZA (1) ZA201902492B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368664A (zh) * 2020-02-25 2020-07-03 吉林大学 基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法
CN111364549A (zh) * 2020-02-28 2020-07-03 江苏徐工工程机械研究院有限公司 一种基于激光雷达的同步建图和自动作业方法及系统
WO2021063417A1 (en) * 2019-10-03 2021-04-08 Cheng Hok Chuen Apparatus and method for quantifying the surface flatness of three-dimensional point cloud data

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108226894A (zh) * 2017-11-29 2018-06-29 北京数字绿土科技有限公司 一种点云数据处理方法及装置
CA3027921C (en) 2018-06-25 2022-04-12 Beijing Didi Infinity Technology And Development Co., Ltd. Integrated sensor calibration in natural scenes
US11454713B2 (en) * 2020-02-04 2022-09-27 Caterpillar Inc. Configuration of a LIDAR sensor scan area according to a cycle segment of an operation of a machine
CN111339876B (zh) * 2020-02-19 2023-09-01 北京百度网讯科技有限公司 用于识别场景中各区域类型的方法和装置
US20220260692A1 (en) * 2021-02-18 2022-08-18 Argo AI, LLC Method for characterizing lidar point cloud quality
KR20220140297A (ko) * 2021-04-09 2022-10-18 현대두산인프라코어(주) 건설기계를 위한 센서 퓨전 시스템 및 센싱 방법
CN113762157B (zh) * 2021-09-08 2024-08-13 中建钢构工程有限公司 一种基于视觉识别的机器人分拣方法及存储介质
CN116052088B (zh) * 2023-03-06 2023-06-16 合肥工业大学 基于点云的活力空间测度方法、系统及计算机设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6278798B1 (en) * 1993-08-09 2001-08-21 Texas Instruments Incorporated Image object recognition system and method
CN102236794A (zh) * 2010-05-07 2011-11-09 Mv科技软件有限责任公司 3d场景中3d对象的识别和姿态确定
US20110274343A1 (en) * 2010-05-07 2011-11-10 Honeywell International, Inc. System and method for extraction of features from a 3-d point cloud
US20130129148A1 (en) * 2010-08-03 2013-05-23 Panasonic Corporation Object detection device, object detection method, and program
US20140098094A1 (en) * 2012-10-05 2014-04-10 Ulrich Neumann Three-dimensional point processing and model generation
US20150009214A1 (en) * 2013-07-08 2015-01-08 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
US9128188B1 (en) * 2012-07-13 2015-09-08 The United States Of America As Represented By The Secretary Of The Navy Object instance identification using template textured 3-D model matching
CN104913763A (zh) * 2014-03-14 2015-09-16 莱卡地球系统公开股份有限公司 用于创建空间模型的方法和手持测距装置
CN105654483A (zh) * 2015-12-30 2016-06-08 四川川大智胜软件股份有限公司 三维点云全自动配准方法
US20160180485A1 (en) * 2014-12-23 2016-06-23 Nbcuniversal Media, Llc Apparatus and method for generating a fingerprint and identifying a three-dimensional model

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278798B1 (en) * 1993-08-09 2001-08-21 Texas Instruments Incorporated Image object recognition system and method
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
CN102236794A (zh) * 2010-05-07 2011-11-09 Mv科技软件有限责任公司 3d场景中3d对象的识别和姿态确定
US20110274343A1 (en) * 2010-05-07 2011-11-10 Honeywell International, Inc. System and method for extraction of features from a 3-d point cloud
US20130129148A1 (en) * 2010-08-03 2013-05-23 Panasonic Corporation Object detection device, object detection method, and program
US9128188B1 (en) * 2012-07-13 2015-09-08 The United States Of America As Represented By The Secretary Of The Navy Object instance identification using template textured 3-D model matching
US20140098094A1 (en) * 2012-10-05 2014-04-10 Ulrich Neumann Three-dimensional point processing and model generation
US20150009214A1 (en) * 2013-07-08 2015-01-08 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
CN104913763A (zh) * 2014-03-14 2015-09-16 莱卡地球系统公开股份有限公司 用于创建空间模型的方法和手持测距装置
US20160180485A1 (en) * 2014-12-23 2016-06-23 Nbcuniversal Media, Llc Apparatus and method for generating a fingerprint and identifying a three-dimensional model
CN105654483A (zh) * 2015-12-30 2016-06-08 四川川大智胜软件股份有限公司 三维点云全自动配准方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021063417A1 (en) * 2019-10-03 2021-04-08 Cheng Hok Chuen Apparatus and method for quantifying the surface flatness of three-dimensional point cloud data
CN111368664A (zh) * 2020-02-25 2020-07-03 吉林大学 基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法
CN111368664B (zh) * 2020-02-25 2022-06-14 吉林大学 基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法
CN111364549A (zh) * 2020-02-28 2020-07-03 江苏徐工工程机械研究院有限公司 一种基于激光雷达的同步建图和自动作业方法及系统
CN111364549B (zh) * 2020-02-28 2021-11-09 江苏徐工工程机械研究院有限公司 一种基于激光雷达的同步建图和自动作业方法及系统

Also Published As

Publication number Publication date
WO2018064703A1 (en) 2018-04-12
CA3039533A1 (en) 2018-04-12
AU2016425526A1 (en) 2019-05-02
BR112019007000A2 (pt) 2019-06-25
ZA201902492B (en) 2019-11-27
US20200041649A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
CN110062893A (zh) 用于对象形状和姿态的点云诊断检验的系统和方法
Wang et al. Computational methods of acquisition and processing of 3D point cloud data for construction applications
Zhang et al. An autonomous excavator system for material loading tasks
JP6770577B2 (ja) 機械学習用データベース作成システム
Thorpe et al. Toward autonomous driving: the cmu navlab. i. perception
Belter et al. Rough terrain mapping and classification for foothold selection in a walking robot
Siegemund et al. A temporal filter approach for detection and reconstruction of curbs and road surfaces based on conditional random fields
Sinha et al. Mind the gap: Detection and traversability analysis of terrain gaps using LIDAR for safe robot navigation
Teizer et al. Framework for real-time three-dimensional modeling of infrastructure
Ho et al. A near-to-far non-parametric learning approach for estimating traversability in deformable terrain
Tseng et al. Strategies for autonomous robots to inspect pavement distresses
CN110361026A (zh) 一种基于3d点云的仿人机器人路径规划方法
Wang et al. 3D-LIDAR based branch estimation and intersection location for autonomous vehicles
Lee et al. Three-dimensional iterative closest point-based outdoor SLAM using terrain classification
Kim et al. 3D pose estimation and localization of construction equipment from single camera images by virtual model integration
van der Mark et al. Stereo based obstacle detection with uncertainty in rough terrain
CN117570959A (zh) 一种人机协同救援态势地图构建方法
Lytle A framework for object recognition in construction using building information modeling and high frame rate 3D imaging
Muffert et al. Stix-fusion: A probabilistic stixel integration technique
Wang Autonomous mobile robot visual SLAM based on improved CNN method
Chen et al. Intelligent interpretation of the geometric properties of rock mass discontinuities based on an unmanned aerial vehicle
Phillips et al. Is It What I Think It Is? Is It Where I Think It Is? Using Point‐Clouds for Diagnostic Testing of a Digging Assembly's Form and Pose for an Autonomous Mining Shovel
Yan et al. Mobile robot 3D map building and path planning based on multi–sensor data fusion
Xiao et al. Occupancy modelling for moving object detection from lidar point clouds: A comparative study
Lourenço et al. A volumetric representation for obstacle detection in vegetated terrain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190726

WD01 Invention patent application deemed withdrawn after publication