CN107025663B - 视觉系统中用于3d点云匹配的杂波评分系统及方法 - Google Patents

视觉系统中用于3d点云匹配的杂波评分系统及方法 Download PDF

Info

Publication number
CN107025663B
CN107025663B CN201611000107.1A CN201611000107A CN107025663B CN 107025663 B CN107025663 B CN 107025663B CN 201611000107 A CN201611000107 A CN 201611000107A CN 107025663 B CN107025663 B CN 107025663B
Authority
CN
China
Prior art keywords
point cloud
cloud image
score
clutter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611000107.1A
Other languages
English (en)
Other versions
CN107025663A (zh
Inventor
贾洪骏
D·J·迈克尔
A·瓦格曼
A·赫尔舍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of CN107025663A publication Critical patent/CN107025663A/zh
Application granted granted Critical
Publication of CN107025663B publication Critical patent/CN107025663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种使用视觉系统处理器将表示模型的第一三维(3D)点云图像与表示目标的第二3D点云图像对准的方法和系统。为所述第一3D点云图像与第二3D点云图像的可能对准建立合格总分。为所述第一3D点云图像与第二3D点云图像的至少一种对准估计覆盖分数，使得所述覆盖分数描述第一3D点云图像中的期望特征存在于第二3D点云图像中的量。估计杂波分数，使得杂波分数描述了第二3D点云中的无关特征。将所述总分计算为所述覆盖分数和所述杂波分数之间的差。

Description

视觉系统中用于3D点云匹配的杂波评分系统及方法
技术领域
本发明涉及用于在成像场景中对准和检查对象的机器视觉系统及其相关方法。
背景技术
机器视觉系统，在本文也称为“视觉系统”，其用于在制造环境中执行多种任务。一般来说，视觉系统由一个或多个具有图像传感器(或“成像器”)的二维(2D)相机组成，该图像传感器获取包含制造中的对象的场景灰度或者彩色图像。能够对对象的2D图像进行分析，以提供数据/信息给用户以及相关的制造工艺。2D相机产生的数据通常由一个或多个视觉系统处理器(其能够是专用的)中的视觉系统、或者在通用计算机(例如，PC、笔记本、平板电脑或智能手机)内实例化的一个或多个软件应用程序的一部分来分析和处理。
常见的视觉系统任务包括对准和检查。在对准任务中，视觉系统工具，如可从内蒂克郡(Natick)、马尔迈松市(MA)的康耐视公司购买的公知的
Figure GDA0003092742690000011
系统，将场景的2D图像中的特征与经训练的(使用实际或合成模型)2D图案进行比较，并且确定2D成像场景中的2D图案的存在/不存在以及姿态。该信息能够用在随后的检查(或其它的)操作中，以搜索缺陷和/或执行其它操作，如部分拒绝。
利用视觉系统的特定任务为，基于经训练的三维(3D)模型形状于运行期间对3D目标形状进行对准。3D相机能够基于各种技术-例如，激光位移传感器(分析器)、立体相机、声纳、激光或者激光雷达测距相机、以及各种其它被动或主动测距技术。此类相机产生深度图像，其中产生图像像素阵列(通常表征为沿着正交x和y轴的位置)，对于每一像素，还包含第三(高度)维度(通常表征为沿着垂直于x-y平面的z轴)。替代地，此类相机能够产生成像对象的点云表示。点云为空间中的3D点的集合，其中每一点i能够表示为(Xi,Yi,Zi)。点云能够表示完整的3D对象，这包括对象的背面和侧面、顶面和底面。3D点(Xi,Yi,Zi)表示对象对相机为可见的空间中的位置。在这种表示中，空的空间表示没有点存在。
通过比较，3D深度图像表示Z(x,y)类似于2D图像表示I(x,y)，其中深度或高度Z取代图像中的位置x、y处的亮度/强度I。深度图像专门表示直接面向相机的对象正面，因为仅有单一深度与任一点位置x、y关联。深度图像通常不能表示对象的背面或侧面、顶面或底面。深度图像通常具有每一位置(x,y)处的数据，即使该相机没有此类位置处的信息。有时，相机图像数据在某些位置处通过包括“丢失像素”标签直接表示不存在信息。“丢失像素”能够意味着图像中的该位置处的成像条件很差，或者其能够意味着对象中的该位置处存在孔。3D深度图像有时能够使用常规2D图像处理技术来处理，其中高度维度Z被亮度/强度I所取代，并且以特殊的方式来处理丢失像素或者将它们忽略。
作为进一步的背景，在3D的深度图像表示和3D点云表示之间转换3D图像能够通过适当的技术来完成，但是并非没有信息损失和/或精度损失。一些3D相机能够在获取图像时(同时)直接产生3D点云图像或3D深度图像。一旦获取图像，即使在来自能够产生任一表示的相机的表示之间转换图像也可能导致精度的损失。因此，当由相机以该相应模式获取时，3D点云或者深度图像是最精确的。
在将目标图像(获取或者通过合成过程生成的)与模型图像(也是或者合成的)对准的过程中，一种方法涉及目标中的3D点云与模型中的3D点云的匹配/比较，以努力找到最佳匹配姿态。该比较可能涉及目标相对于模型的覆盖分数。高于某一阈值的分数被认为是可接受的匹配/姿态估计，并且使用该信息生成对准结果。然而，基于3D图像精确和有效地产生对准结果是有挑战性的，并且采用模型3D点云匹配目标3D点云的实际的、通用的技术通常是不可用的。
发明内容
通过提供了一种使用3D(点云)图像中的杂波将3D目标图像与3D模型图像对准的系统和方法，从而提供了一种用于在各种表面形状上操作的3D匹配的通用技术，本发明克服了现有技术的缺点。在目标图像中识别杂波，其表示不期望出现于图像中的元素，并且用于计算杂波分数，该杂波分数用于匹配来自各种姿态的对准候选者。如果在3D图像中观测到太多杂波，则不建议匹配。该姿态因此对分数产生负面影响，并且这样的姿态被拒绝作为候选者。相反，满足预定阈值的那些分数被认为是能够用于生成对准结果的姿态候选者(pose candidate)。
在说明性实施例中，提供了一种使用视觉系统处理器将第一3D点云图像与第二3D点云图像对准的系统和方法，其包括第一3D点云图像(通常为对象资源(称为“模型”)的图像)以及第二3D点云图像(通常为运行时的对象(称为“目标”)的图像)。为所述第一3D点云图像与第二3D点云图像的可能对准建立合格总分。为所述第一3D点云图像与第二3D点云图像的至少一种可能对准估计覆盖分数，使得所述覆盖分数描述第一3D点云图像中的期望特征存在于第二3D点云图像中的量。同样地，为所述第一3D点云图像与第二3D点云图像的至少一种可能对准估计杂波分数，使得所述杂波分数描述第二3D点云图像中的无关(extraneous)特征。将所述总分计算为所述覆盖分数和所述杂波分数之间的差。
说明性地，使用3D相机和3D计算机辅助设计描述中的至少一个来定义所述模型。以及使用3D相机和3D计算机辅助设计描述中的至少一个来定义所述目标。说明性地，所述系统和方法定义了围绕第一3D点云图像的包围体，以计算所述覆盖分数和杂波分数。能够自动地或基于用户指定的定义来定义所述包围体。该体积可以例如限定具有成直角侧面的长方体或任何其它期望形状。在实施例中(根据某些标准)，其能够是轴对准的和/或设置为包围/界定(包含)3D点云图像的最小体积。作为初始步骤，基于所述第一3D点云图像和第二3D点云图像中的每一个的预定排列的点的匹配，执行所述第一3D点云图像和第二3D点云图像的粗略配准。说明性地，所述第一3D点云图像和第二3D点云图像中的每一点能够定义用于分数计算的覆盖权重，其中所述覆盖权重的值能够定义在0和1之间。另外，能够基于杂波分数乘以杂波率常数来估计总分。所述杂波率常数能够由用户(例如)使用GUI来设置并且其值能够为1或更小(例如0.5)。
附图说明
本发明下文的描述参考以下附图，其中：
图1为视觉系统的示意图，该视觉系统设置为用于为对准目的而获取对象(示例性的平截头体)表面的3D(点云)图像；
图2示出了训练时的视觉系统的示意图，该视觉系统设置为用于定义围绕无杂波区的示例性模型对象(平截头体)的合适大小的包围体；
图3示出了运行时的视觉系统的示意图，其中图2中经训练的3D包围体位于示例性的运行时的对象(平截头体)的周围，该对象包括凹陷在对象顶部内的杂波区，使得经训练的包围体的大小为包括该杂波；
图4示出了训练时的视觉系统的示意图，该视觉系统设置为用于定义围绕无杂波区的示例性模型对象(平截头体)的合适大小的包围体；
图5示出了运行时的视觉系统的示意图，其中图4中经训练的3D包围体位于示例性的运行时的对象(平截头体)的周围，该对象包括在对象顶部上方突起的杂波区，使得经训练的包围体的大小为包括该杂波；
图6为使用估计的覆盖分数和杂波分数将模型3D点云图像与目标3D点云图像对准的过程的流程图；以及
图7为手动或自动设置包围体以计算3D点云图像的杂波分数的过程的流程图。
具体实施方式
图1示出了机器视觉系统装置(本文也称为“视觉系统”)100，其用于检查和/或分析对象112表面110上的特征，对象112在3D视觉系统的相机组件120(也称为“位移传感器”)的视场(FOV)内成像。相机组件120能够是任何可接受设置的部件并且通常包括镜头组件122以及容纳图像传感器(成像器)126的相机主体124，成像器126基于任何可接受的成像技术，如CCD或CMOS。成像器126能够设置为用于获取一个或两个维度(例如，沿着x和y轴)的图像，该图像使用能够适用于以灰度或颜色感测场景的图像像素阵列。相机组件120进一步适用于确定第三正交维度(例如，沿着z轴的高度)，其构成对象表面110的3D“深度图像”。能够利用各种技术来生成相应图像像素的高度数据。将高度数据及其相关深度图像转换成点云。替代地，3D视觉系统的相机组件能够使用适当的相机功能和设置来直接获取3D点(点云)的集合。值得注意的是，能够以阵列的形式使用多个相机和/或传感器，并且使用术语3D相机组件来描述用于生成对象表面的点云表示的整体装置。
用于生成点云的示例性类型的3D相机组件(如图1所示)为激光位移传感器，其将扇形130激光(或其它结构的光照)投影在对象表面110以形成线(例如，横跨x方向定向的)132，并且在激光位移传感器的成像器126处以扇形130平面和成像器光轴OA之间的相对(锐角)角度(A)接收来自投影线的反射光。因此，基于每一点处的对象表面的高度，投影线132在成像器的像素阵列126中呈现沿y方向、横跨x方向的位移。这个基于y的位移由相机组件转换成沿着z轴的高度值。检测点在空间中的相应x坐标为Xi。该检测点的相应高度值为Zi。下文讨论Yi值的获取。
在典型的设置中，3D相机组件120和/或对象112处于相对运动中(例如，朝箭头138所示的物理y坐标方向)，以便对象表面110由一个或多个激光位移传感器来扫描，并且以所需的空间间隔-通常与运动控制器140以及相关编码器或者其它运动测量装置(其将运动信息144传送给系统视觉处理器(150，下文描述))关联-(或者替代地，以基于时间的间隔)从激光线130中获取图像序列。对象上的点沿运动方向的位置定义为坐标Yi。通过3D相机组件获取的点(Xi,Yi,Zi)的集合定义为点云。
可明确设想的是，也能够采用使用其它功能原理操作的3D相机组件来获取场景中的对象的3D图像(深度图像或点云)。例如，结构光系统、立体视觉系统、DLP计量装置以及其它装置。这些系统均生成提供高度值(例如，z坐标)给像素的图像。
由各种类型的3D相机组件生成的3D点云图像能够用于定位和确定对象表面上的特定特征的存在和/或特性。
相机主体124能够容纳各种图像处理部件，这些部件构成操作相关视觉过程的视觉处理器150。视觉处理器150对所获取的场景图像进行操作并且能够利用视觉系统工具和过程152来从所获取的图像中提取信息。该信息能够关于感兴趣特征以及出现在图像中的其它项-例如，视觉系统工具，如可从内蒂克郡(Natick)、马尔迈松市(MA)的康耐视公司购买的公知的
Figure GDA0003092742690000051
系统，能够用于分析图像中的2D和3D特征并且提供关于相对姿态、对准以及其它细节(例如，边缘、斑点等)的信息。同时能够将某些或者全部视觉系统过程在相机组件120的主体124内实例化。可明确设想的是，某些或者全部过程能够通过互连的(有线或无线)计算装置/处理器160来执行，如通过专用处理器或通用计算机(例如，服务器、PC、笔记本、智能手机、平板电脑等)，其具有合适的用户接口162和显示器164。互连的计算装置/处理器160能够使用经处理的图像数据来执行进一步的利用任务(即，使用“利用元件”或者“利用器(utilizer)”处理)170。例如，当视觉系统执行检查任务时，该信息能够用于提供质量控制信息给数据库或者拒绝线上的缺陷部分。通过读取对象上的标签和/或ID代码，该信息还能够用在(例如)物流应用中。还能够使用图像数据及其相关信息进行各种其它利用任务。
在说明性实施例中，视觉过程和处理器包括对准过程(处理器)154，其使用杂波测定过程(处理器)来促进模型3D图像和目标3D图像的对准。根据本文的实施例，对准过程(处理器)154运行以确定所获取的图像中的杂波水平。杂波通常被认为是图像中的信息，其中根据经训练的图像中的图案，不应存在杂波。一般来说，大多数常规搜索工具寻找经训练的图案的存在，并且如果找到，则返回指示成功的结果。然而，如果在对象表面的图像中存在杂波或其它不期望的“噪声”，则可能存在期望的/经训练的图案，但是整体图像仍然指示缺陷(由于附加的噪声或杂波)，这将导致用户因为有缺陷而拒绝该对象。
在确定对准中，过程(处理器)150采用显示为评分模块156的杂波评分过程，评分模块156生成与图像数据的每一姿态关联的杂波分数(下文描述)。结合每个可能姿态的模型和目标图像之间产生的覆盖分数，对准过程(处理器)确定目标相对于模型的最佳对准。
现在参考图2，其示出了在视觉系统的训练时间期间由上述3D视觉系统相机/传感器120和过程(处理器)150来成像的示例性模型对象(例如，平截头体)210。由相机/传感器120生成的图像能够定义为3D点云(模型)图像，因为其由具有关联的x和y和z坐标的点集组成，x和y和z坐标全部与相机的坐标空间关联。视场240包围整个对象，该对象定义了最大高度深度DO(沿所示x轴)、最大宽度WO(沿所示y轴)、以及最大高度HO(沿所示z轴)。视觉系统设置为，定义围绕对象220的3D包围体250(在该示例中为具有直角/正交平面的长方体或“盒”)，其以包围(界定)对象的全部深度、宽度以及高度的方式而具有相应尺寸DB、WB以及HB。如下文所述，在该示例中，对象不具有杂波特征，并且包围体的大小适配为完全包围对象。值得注意的是，此实施例中的3D相机/传感器基于朝扫描方向(箭头260)的对象和传感器之间的相对运动来操作。
现在参考图3，通过视觉系统相机/传感器120(经由扫描箭头260)对类似形状的、示例性的运行时的对象(本文一般称为“目标”)320(平截头体)进行成像，以为了将其3D点云图像与模型3D点云图像进行对准以确定最佳姿态。在训练时定义的包围体250现在通过视觉系统来定位，以便其完全包围目标320的图像。在该示例中，对象320包括以对象顶面中的示例性凹口或凹槽330形状的杂波区。在训练时对包围体积尺寸的选择允许该包围体250完全包围对象320的特征，包括当将其映射到图像时的示例性杂波区。如下文进一步所述，包围体250的定义足以允许凹槽表面上的大多数点接收杂波权重值。这些权重值用作为对成像目标的特定姿态的总杂波分数的贡献。
在图4中，类似的训练对象(平截头体)420由相机/传感器120以及关联的视觉过程(处理器)150成像。该系统期望杂波可以超过对象的标准最大尺寸DO1、WO1以及HO1中的至少一个(在本情形中为高度HO1)，并且因此将3D包围体450的尺寸DB1、WB1以及HB1扩展(在本情形中为包围体的高度HB1)，以包围由杂波区引起的预期过高。如图5所示，接着在运行时将不太紧的包围体应用至成像目标520的姿态。在本情形中，当映射到图像时，突起物530提供了扩展的包围体450包括在其范围内的杂波区。这确保了突起物(杂波)530被包括在杂波权重值中并且成为总杂波分数计算的一部分。在各个实施例中，包围体定义了顶面和底面(例如，在长方体形状内)，其分别平行于基面，并且该包围体保持为仅绕z轴旋转。
现在参考图6，其示出了过程600，通过使用估计的覆盖分数和杂波分数来选择表示最佳姿态的对准候选者，将模型3D点云图像与目标3D点云图像对准。在步骤610中，将基于上述对象模型的第一3D点云图像输入视觉系统对准过程(处理器)(图1中的154)。在步骤620中，同样地，将基于目标的第二3D点云图像输入对准过程(处理器)154。在步骤630中，用户或者自动化系统为模型3D点云图像和目标3D点云图像之间的可能对准设置最小的合格分数。这可能需要在设置/训练时在系统GUI中设置一值或者在运行时设置该值。
接着，在步骤640中，针对模型3D点云和目标3D点云之间的一种或多种可能的对准，过程600估计相应的覆盖分数。在步骤650中，针对模型的3D点云和目标的3D点云之间的一种或多种可能的对准，过程600接着估计杂波分数。值得注意的是，说明性系统和方法基于在对准两个3D点云之后的整体覆盖和杂波条件来选择最佳对准候选者。将生成的姿态应用至运行时的云(目标)以将其与训练时的云(模型)对准。接着，从两个对准的云中计算两个分数，即覆盖分数和杂波分数。
覆盖分数表示为模型上所有点的覆盖分数的总和与所有模型点的数量之间的比值，而杂波分数则定义为所有目标点的杂波分数的总和与所有模型点的数量之间的比值。如果任何映射的目标点位于该点的领域内，则认为模型点被对准目标所覆盖，并且将其覆盖分数设置为1，否则设置为0。如果目标点能够映射到模型云区域内或附近的位置同时附近没有实际的模型点(该区域基本上没有模型点)，则其杂波分数为1；否则，杂波分数则为0。说明性地，覆盖分数描述了模型上的期望特征被目标覆盖了多少，而杂波分数则描述了无关特征从目标云被引入到模型空间中的程度。可选地，还能够将0和1之间的权重引入到每一目标/模型点，以进一步强调一些点的重要性，并且替代上述的覆盖/杂波分数。
在说明性实施例中，根据过程600的步骤660，最终的估计分数定义为：
分数＝覆盖分数-杂波分数*杂波率。
杂波率为控制杂波分数的惩罚(penalty)的常数，其处于0和1之间-例如，其能够被设置为1/2(0.5)，但是能够基于各种其他因数而变化，并且能够使用(例如)上述的GUI来定义。说明性地，如果上述等式产生负值，则该分数设置为0。替代地，能够设置该过程，以将模型和目标的3D点云转移进3D体积或网格中，并且使用重叠区域的体积或者表面积来计算覆盖和杂波分数。如果点云具有在每个点上定义的更多属性，则能够基于除距离之外的属性相似性来计算上述分数。值得注意的是，模型3D点云中的每一点具有计算的“覆盖权重”，目标3D点云中的每一点具有计算的“覆盖权重”以及计算的“杂波权重”。所有此类权重均定义在范围[0,1]内。覆盖分数为模型的覆盖权重的总和与模型点的数量的比值。类似地，杂波分数为杂波权重的总和与模型点的数量的比值。
对于运行时的点，覆盖权重和杂波权重分别基于离其最近的映射模型点的距离来计算。如果该距离足够近(例如，小于阈值dist_thres1)，则覆盖权重等于1，并且覆盖权重值随距离的增大而减小。因此，如果该距离足够远(例如，大于阈值dist_thres2)，则杂波权重等于1，并且杂波权重随着距离变小而变小。用于模型点的覆盖权重为基于运行时的点的覆盖权重。说明性地，模型点的覆盖权重等于与其对应的运行时的点的覆盖权重的最大值。根据以下关系描述，其中T是从模型空间映射到目标空间的变换：
映射盒←T*包围盒
映射模型←T*模型云
N模型←模型点的数量
W覆盖←所有模型点上的覆盖权重的总和。如果模型点靠近映射盒中的点，则其“被覆盖”。
W杂波←映射盒中所有运行时的点的权重总和
分数覆盖←W覆盖/N模型
分数杂波←W杂波/N模型
如上所述，以及进一步参考图7和过程700，基于模型点云的大小，确定用于计算杂波分数的包围体的尺寸(步骤710)。包围体的大小能够由用户在训练时指定，或者用户能够请求自动计算包围盒(判定步骤720)。如果自动设置，则根据某些标准，能够将包围体的尺寸(大小)设置为(例如)完全包含模型点云的最小体积的包围体(步骤730)。在实施例中，根据某些标准，包围体能够是轴对准的。如果是用户定义的，则基于经由(例如)视觉系统的GUI(160、162、164)的输入，将包围体大小设置为用户定义的尺寸(步骤740)。如上所述，基于设置盒的大小，接着基于驻留在粗略对准的包围体内的目标的3D点云来确定杂波分数(步骤750)。值得注意的是，所有分数在最终的、完善的姿态上进行。为了对模型和目标点云进行初始评分，基于粗糙特征或者能够用于相对模型上已知的特征识别目标特征的小的点集(例如，角、边缘等)，作为初始步骤将模型和目标点云粗略对准。
再次参考过程600，一旦确定覆盖分数和杂波分数的差值，从而为每一可能的对准候选者估计总分时(步骤660)，在步骤670中，选取具有最高总分(如果有的话)的一个或多个对准候选者。这成为用于该目标的对准方案。
在说明性实施例中，所述系统和方法能够用于在图像包含杂波情况下在图像中找到目标的多个实例。当定位到多个实例时，根据上述步骤对每一实例进行评分，并且将具有最佳分数的一个或多个实例识别为用于进一步处理的发现目标。
应当清楚的是，上述系统和方法提供了，一种用于测量3D点云匹配结果的准确性的相对简单的技术。0和1之间的分数提供了可理解的度量，其中1定义了模型和目标点云之间的完美匹配，而较高的分数表示较好的姿态估计，并且较低的分数定义了较不理想的估计，并且当低于给定分数阈值时，潜在地定义了被拒绝的候选者。这种分数能够与用于确定匹配的技术无关，因此能够用作为基于类似标准来评估来自不同方法的结果的度量。另外，说明性系统和方法提供了处理点云图像中的杂波的独特能力，这在确定对象上的某些特征时提供附加的益处。
前述已经是本发明说明性实施例的详细描述。在不脱离本发明精神和范围的情况下，能够进行各种修改和添加。上述每一实施例中的特征可以适当地与其他所述实施例的特征组合，以便在相关联的新实施例中提供多种特征组合。此外，尽管前述描述了本发明的装置和方法的多个单独的实施例，但是本文描述的仅仅是对本发明原理应用的说明。例如，如本文所使用的，术语“过程”和/或“处理器”应当从广义上来理解，以包括各种基于电子硬件和/或软件的功能和组件(并且替代地，能够称为功能“模块”或“元件”)。此外，所描绘的过程或处理器可以与其他过程和/或处理器组合或分成各种子过程或处理器。此类子过程和/或子处理器能够根据本文的实施例进行各种组合。同样地，可以明确设想的是，能够使用电子硬件、由程序指令的非暂时性计算机可读介质构成的软件、或硬件和软件的组合来实现本文中的任何功能、过程和/或处理器。另外，如本文所使用的，如“垂直”、“水平”、“上”、“下”、“底部”、“顶部”、“侧面”、“前”、“左”、“右”等各种方向和位置术语仅被用作相对约定，而不是作为相对于固定坐标系的绝对方向/位置，如重力的作用方向。因此，该描述仅意在作为示例，而不以其他方式限制本发明的范围。

Claims (21)

1.一种将第一3D点云图像与第二3D点云图像对准的方法，包括：
将来自模型的第一3D点云图像提供给视觉系统处理器；
将来自目标的第二3D点云图像提供给视觉系统处理器；
为所述第一3D点云图像与第二3D点云图像的可能对准建立合格总分；
为所述第一3D点云图像与第二3D点云图像的至少一种可能对准估计覆盖分数，使得所述覆盖分数描述第一3D点云图像中的期望特征存在于第二3D点云图像中的量；以及
为所述第一3D点云图像与第二3D点云图像的至少一种可能对准估计杂波分数，使得所述杂波分数描述第二3D点云图像中的无关特征；
将总分估计为覆盖分数和杂波分数之间的差；以及
基于所述总分从所述可能对准中选择至少一种对准。
2.根据权利要求1所述的方法，其中，使用3D相机和3D计算机辅助设计描述中的至少一个来定义所述模型和所述目标中的至少一个。
3.根据权利要求2所述的方法，其中，所述第一3D点云图像为模型图像。
4.根据权利要求3所述的方法，其中，所述第二3D点云图像为目标图像。
5.根据权利要求1所述的方法，进一步包括定义围绕所述第一3D点云图像的包围体，以估计所述覆盖分数和杂波分数。
6.根据权利要求5所述的方法，其中，自动地或基于用户指定的定义来定义所述包围体的大小。
7.根据权利要求6所述的方法，其中，将所述包围体设置为完全包含第一3D点云图像的最小体积形状。
8.根据权利要求1所述的方法，进一步包括基于所述第一3D点云图像和第二3D点云图像的每一个中的预定排列的点的匹配，执行所述第一3D点云图像和第二3D点云图像的初始配准。
9.根据权利要求1所述的方法，其中，所述第一3D点云图像和第二3D点云图像中的每一点定义一覆盖权重。
10.根据权利要求9所述的方法，其中，所述覆盖权重的值定义在0和1之间。
11.根据权利要求10所述的方法，其中，基于杂波分数乘以杂波率常数，估计所述总分。
12.根据权利要求10所述的方法，其中，所述第一3D点云图像和第二3D点云图像中的每一点定义了值为0和1之间的覆盖权重和杂波权重，以及(a)其中所述覆盖分数为覆盖权重值的总和与第一3D点云图像中的点数的比值，以及(b)所述杂波分数为杂波权重值的总和与第一3D点云图像中的点数的比值。
13.根据权利要求5所述的方法，其中，所述包围体定义为相对于所述模型的至少一个尺寸扩展的扩展包围体。
14.一种将第一3D点云图像与第二3D点云图像对准的系统，包括：
评分模块，所述评分模块为第一3D点云图像和第二3D点云图像之间的至少一种可能对准确定覆盖分数、杂波分数以及总分，所述覆盖分数描述第一3D点云图像中的期望特征存在于第二3D点云图像中的量，所述杂波分数描述第二3D点云图像中的无关特征，所述总分为覆盖分数和杂波分数之间的差；以及
对准模块，所述对准模块基于所述总分来从所述至少一种可能对准中为所述第二3D点云图像选择至少一种对准。
15.根据权利要求14所述的系统，其中，使用3D相机和3D计算机辅助设计描述中的至少一个来定义模型。
16.根据权利要求15所述的系统，其中，所述第二3D点云图像为目标图像。
17.根据权利要求14所述的系统，其中，定义围绕所述第一3D点云图像的包围体，以估计所述覆盖分数和杂波分数。
18.根据权利要求17所述的系统，其中，自动地或基于用户指定的定义来定义所述包围体的大小。
19.根据权利要求18所述的系统，其中，将所述包围体设置为完全包含第一3D点云图像的最小体积形状。
20.根据权利要求14所述的系统，其中，所述第一3D点云图像和第二3D点云图像中的每一点定义一覆盖权重。
21.根据权利要求20所述的系统，其中，所述覆盖权重的值定义在0和1之间。
CN201611000107.1A 2015-11-12 2016-11-14 视觉系统中用于3d点云匹配的杂波评分系统及方法 Active CN107025663B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/938,981 2015-11-12
US14/938,981 US10452949B2 (en) 2015-11-12 2015-11-12 System and method for scoring clutter for use in 3D point cloud matching in a vision system

Publications (2)

Publication Number Publication Date
CN107025663A CN107025663A (zh) 2017-08-08
CN107025663B true CN107025663B (zh) 2021-08-17

Family

ID=57288255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611000107.1A Active CN107025663B (zh) 2015-11-12 2016-11-14 视觉系统中用于3d点云匹配的杂波评分系统及方法

Country Status (4)

Country Link
US (1) US10452949B2 (zh)
EP (1) EP3168812B1 (zh)
JP (1) JP6506731B2 (zh)
CN (1) CN107025663B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9605950B2 (en) * 2013-05-22 2017-03-28 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor
US10452949B2 (en) * 2015-11-12 2019-10-22 Cognex Corporation System and method for scoring clutter for use in 3D point cloud matching in a vision system
US10482621B2 (en) 2016-08-01 2019-11-19 Cognex Corporation System and method for improved scoring of 3D poses and spurious point removal in 3D image data
US11094112B2 (en) * 2018-09-06 2021-08-17 Foresight Ai Inc. Intelligent capturing of a dynamic physical environment
US10825199B2 (en) 2018-09-12 2020-11-03 Cognex Corporation Methods and apparatus for processing image data for machine vision
JP6795562B2 (ja) * 2018-09-12 2020-12-02 ファナック株式会社 検査装置及び機械学習方法
JP7182528B2 (ja) * 2018-09-12 2022-12-02 コグネックス・コーポレイション マシンビジョン用の画像データを処理するための方法及び装置
US10878299B2 (en) 2018-09-12 2020-12-29 Cognex Corporation Methods and apparatus for testing multiple fields for machine vision
US10846563B2 (en) * 2018-09-12 2020-11-24 Cognex Corporation Methods and apparatus for generating a dense field of three dimensional data for machine vision
EP3942792A1 (en) * 2019-03-20 2022-01-26 Bobst Mex Sa Multi-camera imaging system using a laser line
WO2020232709A1 (en) * 2019-05-23 2020-11-26 Beijing Didi Infinity Technology And Development Co., Ltd. Method and system for evaluating quality of a point cloud map
WO2021112858A1 (en) * 2019-12-05 2021-06-10 Hewlett-Packard Development Company, L.P. Registering objects
WO2021145888A1 (en) * 2020-01-17 2021-07-22 Hewlett-Packard Development Company, L.P. Object deformation determination
CN115867939A (zh) * 2020-06-18 2023-03-28 德卡产品有限公司 用于空中到地面配准的系统和方法
WO2021257094A1 (en) * 2020-06-19 2021-12-23 Hewlett-Packard Development Company, L.P. Point cloud alignment
US20230290060A1 (en) * 2020-07-28 2023-09-14 Hewlett-Packard Development Company, L.P. Deriving metrology data for an object based on abstract geometry data
CN115078384A (zh) * 2022-06-16 2022-09-20 华侨大学 一种石材大板表面凹坑和裂缝的快速检测装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166294A1 (en) * 2008-12-29 2010-07-01 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
US20110286660A1 (en) * 2010-05-20 2011-11-24 Microsoft Corporation Spatially Registering User Photographs

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109425A (en) 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6173070B1 (en) 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
US6323776B1 (en) 1999-12-21 2001-11-27 Snap-On Technologies, Inc. Method and apparatus of automatically identifying faults in a machine vision measuring system
US6476803B1 (en) 2000-01-06 2002-11-05 Microsoft Corporation Object modeling system and process employing noise elimination and robust surface extraction techniques
US6941026B1 (en) 2000-06-13 2005-09-06 Cognex Corporation Method and apparatus using intensity gradients for visual identification of 2D matrix symbols
US7110602B2 (en) 2002-08-21 2006-09-19 Raytheon Company System and method for detection of image edges using a polar algorithm process
US7242460B2 (en) 2003-04-18 2007-07-10 Sarnoff Corporation Method and apparatus for automatic registration and visualization of occluded targets using ladar data
US7583852B2 (en) 2004-10-26 2009-09-01 Mitutoyo Corporation Method of filtering an image for high precision machine vision metrology
US8126253B2 (en) 2005-11-12 2012-02-28 Cognex Technology And Investment Corporation Automatically determining machine vision tool parameters
US7995054B2 (en) 2005-11-21 2011-08-09 Leica Geosystems Ag Identification of edge regions from 3D point data
US8054217B2 (en) 2006-10-26 2011-11-08 Raytheon Company Radar imaging system and method using gradient magnitude second moment spatial variance detection
US8675951B2 (en) * 2007-05-11 2014-03-18 Three Pixels Wide Pty Ltd. Method and system for generating a 3D model
ATE468572T1 (de) 2008-01-18 2010-06-15 Mvtec Software Gmbh System und verfahren zur erkennung verformbarer objekte
US20090232388A1 (en) 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data by creation of filtered density images
WO2010042466A1 (en) 2008-10-06 2010-04-15 Kevin Scott Williams Apparatus and method for classifying point cloud data based on principal axes
US8290305B2 (en) * 2009-02-13 2012-10-16 Harris Corporation Registration of 3D point cloud data to 2D electro-optical image data
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
US8686992B1 (en) * 2009-03-30 2014-04-01 Google Inc. Methods and systems for 3D shape matching and retrieval
US8488877B1 (en) 2009-12-02 2013-07-16 Hrl Laboratories, Llc System for object recognition in colorized point clouds
US8345930B2 (en) * 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
JP5600954B2 (ja) 2010-02-10 2014-10-08 セイコーエプソン株式会社 検査システム、その方法及びプログラム
JP5713159B2 (ja) 2010-03-24 2015-05-07 独立行政法人産業技術総合研究所 ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム
US8331650B2 (en) 2010-07-29 2012-12-11 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for defect detection
JP5863440B2 (ja) 2010-12-28 2016-02-16 キヤノン株式会社 情報処理装置および方法
US8447099B2 (en) 2011-01-11 2013-05-21 Eastman Kodak Company Forming 3D models using two images
US8269830B1 (en) 2011-04-14 2012-09-18 Mitutoyo Corporation Inspecting potentially interfering features in a machine vision system
WO2012146253A1 (en) 2011-04-29 2012-11-01 Scape Technologies A/S Pose estimation and classification of objects from 3d point clouds
US9153061B2 (en) 2012-05-04 2015-10-06 Qualcomm Incorporated Segmentation of 3D point clouds for dense 3D modeling
US20140050387A1 (en) 2012-08-17 2014-02-20 Cognex Corporation System and Method for Machine Vision Inspection
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
US8995756B2 (en) * 2012-09-27 2015-03-31 Vangogh Imaging, Inc. 3D vision processing
US20140192050A1 (en) 2012-10-05 2014-07-10 University Of Southern California Three-dimensional point processing and model generation
US20140120319A1 (en) 2012-11-01 2014-05-01 Benjamin E. Joseph 3d mapping using structured light and formation of custom surface contours
US9294495B1 (en) * 2013-01-06 2016-03-22 Spheric Security Solutions System and method for evaluating and enhancing the security level of a network system
US9355462B2 (en) * 2013-05-08 2016-05-31 Caterpillar Inc. Motion estimation system utilizing point cloud registration
RU2677096C2 (ru) * 2013-05-10 2019-01-15 Конинклейке Филипс Н.В. Способ и система выбора 3-d устройства интерфейса пациента
CN105378802B (zh) * 2013-05-10 2019-02-05 皇家飞利浦有限公司 3d患者接口设备选择系统和方法
US9098773B2 (en) 2013-06-27 2015-08-04 Chevron U.S.A. Inc. System and method of detecting objects in scene point cloud
US9208609B2 (en) 2013-07-01 2015-12-08 Mitsubishi Electric Research Laboratories, Inc. Method for fitting primitive shapes to 3D point clouds using distance fields
US9280827B2 (en) 2013-07-03 2016-03-08 Mitsubishi Electric Research Laboratories, Inc. Method for determining object poses using weighted features
US9811714B2 (en) 2013-08-28 2017-11-07 Autodesk, Inc. Building datum extraction from laser scanning data
WO2015127464A1 (en) * 2014-02-24 2015-08-27 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
US9443161B2 (en) * 2014-02-24 2016-09-13 Dimensions And Shapes, Llc Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
US9785818B2 (en) * 2014-08-11 2017-10-10 Synaptics Incorporated Systems and methods for image alignment
JP2015007639A (ja) 2014-08-20 2015-01-15 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US9426409B2 (en) * 2014-09-30 2016-08-23 Apple Inc. Time-lapse video capture with optimal image stabilization
US10452949B2 (en) * 2015-11-12 2019-10-22 Cognex Corporation System and method for scoring clutter for use in 3D point cloud matching in a vision system
US10380767B2 (en) * 2016-08-01 2019-08-13 Cognex Corporation System and method for automatic selection of 3D alignment algorithms in a vision system
US10482621B2 (en) * 2016-08-01 2019-11-19 Cognex Corporation System and method for improved scoring of 3D poses and spurious point removal in 3D image data
GB201717397D0 (en) * 2017-10-23 2017-12-06 Brainomix Ltd Tomographic data analysis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166294A1 (en) * 2008-12-29 2010-07-01 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
US20110286660A1 (en) * 2010-05-20 2011-11-24 Microsoft Corporation Spatially Registering User Photographs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Automated identification and classification of land vehicles in 3D LADAR data》;ERIK SOBEL等;《SPIE-INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING. PROCEEDINGS》;20040921;第5426卷;第92-101页 *

Also Published As

Publication number Publication date
US20170140537A1 (en) 2017-05-18
EP3168812B1 (en) 2018-11-07
CN107025663A (zh) 2017-08-08
EP3168812A3 (en) 2017-05-31
JP2017096939A (ja) 2017-06-01
EP3168812A2 (en) 2017-05-17
US10452949B2 (en) 2019-10-22
JP6506731B2 (ja) 2019-04-24

Similar Documents

Publication Publication Date Title
CN107025663B (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
US10482621B2 (en) System and method for improved scoring of 3D poses and spurious point removal in 3D image data
US10237532B2 (en) Scan colorization with an uncalibrated camera
US10086955B2 (en) Pattern-based camera pose estimation system
US8600192B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
JP7339316B2 (ja) ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
CN107680125B (zh) 在视觉系统中自动选择三维对准算法的系统和方法
US11488322B2 (en) System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
US10451403B2 (en) Structure-based camera pose estimation system
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
US9858669B2 (en) Optimized camera pose estimation system
US9569850B2 (en) System and method for automatically determining pose of a shape
KR102073468B1 (ko) 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법
JP2020512536A (ja) モデルベースのピーク選択を使用した３ｄプロファイル決定のためのシステム及び方法
Cui et al. ACLC: Automatic Calibration for non-repetitive scanning LiDAR-Camera system based on point cloud noise optimization
JP2005346348A (ja) 画像処理方法、画像処理装置および画像処理プログラム
CN116736272A (zh) 一种联合标定参数确定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant