CN104807406A - 确定物体上3d表面特征和不平度的系统和方法 - Google Patents

确定物体上3d表面特征和不平度的系统和方法 Download PDF

Info

Publication number
CN104807406A
CN104807406A CN201510041524.XA CN201510041524A CN104807406A CN 104807406 A CN104807406 A CN 104807406A CN 201510041524 A CN201510041524 A CN 201510041524A CN 104807406 A CN104807406 A CN 104807406A
Authority
CN
China
Prior art keywords
region
pixel
height
image
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510041524.XA
Other languages
English (en)
Other versions
CN104807406B (zh
Inventor
M·阿科皮扬
L·D·雅各布森
R·A·沃尔夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Priority to CN202010778813.9A priority Critical patent/CN112097696B/zh
Publication of CN104807406A publication Critical patent/CN104807406A/zh
Application granted granted Critical
Publication of CN104807406B publication Critical patent/CN104807406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种确定物体上3D表面特征和不平度的系统和方法，用于确定含有相对于物体上光滑周围表面而言的上升或凹陷区域的某些表面特征的位置和特性的系统和方法。滤波器对场景的距离图像起作用。滤波器在每个像素周围限定环形或其他周长形状，在所述像素内建立最佳拟合表面。所述像素的法线允许导出局部位移高度。所述位移高度用于建立所述物体的高度偏差，通过所述高度偏差，可以确定凸块、凹部或者其他高度位移特征。所述凸块滤波器用于通过将最小不平度映射到网格中并随后将所述网格阈值化以在具有这种不平度的表面上定位区域。具有最小成本的区域是应用标签和其他物品的可接受的候选区域，在所述区域内，一平滑表面满足需要。

Description

确定物体上3D表面特征和不平度的系统和方法
技术领域
本发明涉及用于在三维(3D)空间中确定成像的物体表面位移的机器视觉系统。
背景技术
在制造和组装工艺中，通常可取地分析物体表面，以确定特征和/或不平度的性质。可以使用具有激光位移传感器(在本文中也称为激光束“断面仪”)的形式的机器视觉系统(在本文中也称为“视觉系统”)，来确定物体表面的位移(或“轮廓”)。激光位移传感器在与光束传播路径垂直的特定平面中使用激光束的平面幕状物或“风扇”来捕捉并且确定扫描的物体表面的(三维)轮廓。在传统的设置中，视觉系统相机组件定向为从平面的外面观看光束的平面。这种设置捕捉在物体表面上的投影线(例如，沿着物理x轴延伸)的轮廓，由于在光束(风扇)平面与相机之间的基线(即，沿着y轴的相对间隔)，所以这促使成像线表现为根据成像点的物理z轴高度(沿着图像x轴)在y轴方向变化。这种偏差表示表面的轮廓。激光位移传感器可用于广泛的检查和制造操作中，其中，用户期望通过三角测量法来测量和表征扫描的物体的表面细节。激光位移传感器的一种形式使用具有可以基于CCD或CMOS设计的透镜组件和图像传感器(或“成像器”)的视觉系统相机。成像器在通过透镜从成像场景中接收聚焦光的图像平面上限定预定的灰度场或颜色传感像素。
在典型的设置中，位移传感器和/或物体进行相对运动(通常在物理y坐标方向)，以便由相机扫描物体表面，并且通过期望的空间间隔(通常与编码器或其他运动测量装置相关联)(或者替换地，通过基于时间的间隔)，获得激光线的一系列图像。通常从单个获取的图像中取得这些单轮廓线中的每个。这些线路共同描述成像物体和周围成像场景的表面，并且限定“距离图像”或“深度图像”。
其他相机组件还可以用于在场景中捕捉物体的3D图像(距离图像)。例如，可以使用结构光系统、立体视觉系统、DLP计量以及其他设置。这些系统均生成将高度值(即，z坐标)提供给像素的图像。
由各种类型的相机组件(或其组合)生成的3D(距离)图像可以用于定位和确定在物体表面上的特定特征的存在和/或特性。对于视觉系统，识别和定位这种特征是一种挑战，尤其是在该表面本身限定一个不同的表面轮廓的情况下。进一步的挑战是定位适合于放置某些物品以及应用某些工艺(例如，标签和/或印刷品)的物体的区域，其中，3D表面不平度可以危害令人满意的放置。
发明内容
通过提供一种用于相对于在总体物体上的光滑的周围表面确定通常包括上升或凹陷区域的某些3D表面特征的位置和相对特性的系统和方法，本发明克服了现有技术的缺点。该系统和方法使用对场景的距离(深度)图像起作用的滤波器。滤波器可以在每个像素周围限定环形或其他合适的周长形状，从所述像素中建立最佳拟合表面(例如，最佳拟合平面)。最佳拟合表面用于在像素中生成法线。该法线用于相对于最佳拟合平面的平均高度导出局部位移高度。位移高度用于建立物体的总体“凸块”或高度偏差图像，通过该图像，可以使用合适的视觉系统工具(例如，blob工具、边缘工具、卡尺工具等)，来定位和分析凸块、凹部或者其他高度位移/偏差特征。
在一个说明性实施方式中，提供了一种用于根据距离图像确定在物体上的表面法线高度变化(特征)的系统。相机组件生成包含物体的场景的距离图像。可操作地连接至相机组件和/或与相机组件相关联的视觉系统分析距离图像。运行与相机传感器工艺相关联的过滤工艺或者在获取来源之后从来源中接收图像的滤波器(a)在距离图像内的每个所选像素周围生成具有平均高度的最佳拟合表面(例如，最佳拟合平面)，(b)分别为每个像素建立最佳拟合表面的法线，并且(c)相对于最佳拟合表面，在每个像素周围确定区域的相对高度位移。与传感器工艺相关联的视觉系统工具分析由滤波器定位的高度位移特征。通过说明的方式，滤波器包括在每个所选像素周围的后台区域，从所选像素中建立最佳拟合表面。滤波器包括前台区域，其位于后台区域附近。在前台区域内，该工艺确定至少一个所选像素的相对高度位移。在一个说明性实施方式中，根据物体的尺寸和形状中的至少一个，由用户定义后台区域和前台区域中的至少一个的尺寸和形状中的至少一个。而且，通过说明的方式，相机组件包括位移传感器，所述传感器在物体上投射光线并且通过在高度方向限定多个位移值的方式在成像器中接收投射线的光(例如，激光位移传感器)。
在另一个说明性实施方式中，提供了一种用于确定表面不平度的区域的系统和方法。该系统和方法可以用于定位完全没有不平度的在物体表面上的区域，以便能够令人满意地放置/应用标签、印刷品或其他物品和增强物。通过将最小不平度映射到网格中，然后，将该网格阈值化，以生成价值函数，该系统和方法使用上述凸块滤波器(bump filter)来在具有这种不平度的表面上定位区域。具有最小成本的区域是应用标签和其他物品的可接受的候选区域，在所述区域内，平滑表面可取。在一个说明性实施方式中，提供了一种用于在具有低表面不平度的表面上确定区域的系统和方法。该系统和方法使用视觉系统工具，该工具定位表面并且获取至少一部分表面的3D图像。(凸块)滤波器在3D图像上所选的一组像素中的每个像素周围为区域确定相对高度位移。在说明性实施方式中，映射部件使在图像上的多个区域中的每个区域的高度位移分解为具有高度值的网格部件。这个高度值可以阈值化(例如，成为二进制1和0值)。然后，定位部件直接根据由凸块滤波器提供的结果或者根据阈值化结果，计算每个区域的高度位移的成本价值，并且确定容纳预定区域的最小成本区域。阈值化结果可以是映射网格的一部分。这个预定区域(如果有的话)可以具有适合于容纳标签、印刷品或其他装饰品的的尺寸。阈值化部件根据高度值高于还是低于至少一个预定参数，将每个高度值分解为二进制值。预定参数是(a)高于或低于在区域中的周围表面的高度位移和(b)相对于在区域中的周围表面的不同的高度位移的区域中的至少一个。通过说明的方式，定位部件确定是否具有合适的最小成本区域。此外，每个网格部件可以包括在图像上具有预定密度的规则网格的一部分，和/或在图像上可以包括从最小成本区域中省略的至少一个排斥区域。这个排斥区域可以在表面上包括标签、印刷品以及装饰品中的至少一个。该表面可以包括至少一部分封装，并且最小成本区域适合于接收应用的标签和印刷品中的至少一个。
附图说明
本发明的说明书下面参照附图，其中：
图1为根据一个说明性实施例在扫描方向在其间发生相对运动时获取具有需要分析的表面法线凸块/小块特征的物体的图像的激光位移传感器系统的示意性透视图；
图2为具有非平面表面和多个凸块/高度偏差特征的一个示例性物体(例如，土豆)的距离图像的示图，说明了从未过滤的图像中分解这种特征的困难；
图3为根据一个说明性实施例用于分解高度位移的表面高度变化(例如，凸块和凹部)的过滤工艺的流程图；
图4为包含具有凸块和凹部(即，高度偏差特征)的变化表面的一个示例性物体(例如，土豆)的距离图像的示图，示出了其与基准平面(网格)的关系，用于描述图3的说明性过滤工艺；
图5为根据图3的说明性过滤工艺描述前台和后台区域的建立的图4的示例性距离图像的进一步示图；
图6为根据图3的说明性过滤工艺描述在所选像素周围生成最佳拟合表面(例如，最佳拟合平面)的图4的示例性距离图像的进一步示图；
图7为根据图3的说明性过滤工艺描述相对于所选像素在法线方向生成距离的图4的示例性距离图像的进一步示图；
图8为用于生成总体高度偏差图像的根据图3的说明性过滤工艺描述将滤波器操作符用于在距离图像中的所有像素中的图4的示例性距离图像的进一步示图；
图9为根据图2的示例性距离图像(根据图3的说明性过滤工艺)的高度变化图像，其中，清晰地分解凸块特征，用于由视觉系统应用合适的分析工具；
图10为包含不平度的一个示例性物体表面的所获取的3D距离图像的示图，根据一个说明性系统和方法，确定适合于将标签或其他物品应用于表面中的位置；
图11为图10的所获取的图像的示图，在其上的表面区域分别导出到具有表示平坦或不规则平面特征的二进制值的网格内；
图12为用于确定具有一个或多个合适的位置/区域的一个说明性工艺的流程图，这些位置/区域具有充足的平坦度或表面规则性，以便应用物品(例如，标签)；
图12A为用于使用凸块滤波器结果构造价值函数来确定具有一个或多个合适的位置/区域的一个替换工艺的流程图，这些位置/区域具有充足的平坦度或表面规则性，以便应用物品；以及
图13为具有包括不平度和排除区域的球面的一个示例性球体的示图，示出了应用系统和方法，用于确定合适的位置，以将标签和/或其他物品应用于表面上。
具体实施方式
I、系统概述
图1示出了一种包括激光位移传感器组件110的视觉系统设置100，该组件定向为使物体120(有时也称为“部件”)成像。该位移传感器组件可以包含在相对于成像场景安装在合适位置中的单个外壳112内。在替换的实施方式中，位移传感器可以包括离散的分离子元件。物体120和位移传感器110处于相对运动(双箭头MY)中，位移传感器110、物体120或者这两者沿着相对坐标系(在这个实例中，物理y轴方向)的至少一个轴移动(扫描运动方向)。在一个典型的设置中，通过本领域的技术人员清楚的方式，物体120位于精密运动平台130(显示为虚线)上，该平台提供与运动平台驱动系统132可操作地连接的编码器或相似的装置的运动数据。
要注意的是，上述位移传感器110是可以用于生成根据在本文中的系统和方法使用的距离图像的各种成像装置和/或相机组件中的一种。通过非限制性实例，在其他类型的设置之中，在本文中限定的相机组件可以包括结构光系统、立体视觉系统、DLP计量和/或其组合。而且，如下面进一步所述，可以在图像上使用该系统和方法，获取并且然后储存这些图像，以供进一步处理。可以通过处理器没有连接至相机组件或其他图像获取设置的方式，传输这种图像，用于由该系统和方法(即，过滤工艺和相关的视觉系统工具)进行处理。
举例而言，物体120是具有表面140的结构，该表面限定大致非平面形状，并且通过非限制性实例，更尤其地限定略微扭曲的表面，再改表面中，高度(即，沿着物理z轴的位移尺寸)相对于x轴和y轴方向变化。显然，物体表面140包括多个凸块或“小块”142，这些凸块或“小块”均沿着物理z轴方向改变位移，通常在远离物体表面的“正”方向定向。正位移的特征可以在于，沿着与物体表面垂直的方向和距离(即，在小块上的点中与表面正切的平面的表面法线)。因此，这些小块142相对于周围表面限定高度位移。这仅仅是广泛的可能表面形状的一个实例，并且作为该系统和方法的说明性实施方式的原理的一个有用实例进行描述。在进一步的实例中，周围表面可以限定具有额外特征的更复杂的周边。
位移传感器组件110包括包含透镜的激光组件150或其他光学设置152(例如，鲍威尔透镜或柱面透镜)，该设置通过沿着物理x轴(与扫描运动方向MY垂直)形成线路156的方式朝着物体120投射激光的幕状物或风扇154。风扇154通常位于平面内，在该实施方式中，该平面与参考平面(例如，运动平台130的物理x-y平面和/或周围物体表面140的平面)大致(或大体上)垂直。位移传感器110还包括相机组件(虚线框160)，该组件总体上由可能设置在众所周知的Scheimpflug配置中的透镜/光学组件162以及成像器组件(“成像器”)164构成。成像器164包含具有预定分辨率的一系列光敏像素，并且相机组件总体上限定在线路156的区域中与物体120相交的光轴OA。光轴OA相对于激光风扇154的平面(以及相关的线路170)限定不平行的角□(例如，锐角)。因此，在沿着物理x轴的线路中的任何物理z轴高度变化/位移由相机组件160成像，作为在二维(2D)图像172的所产生的线路171中的位置变化(沿着图像轴YI)，总体上如在示例性(以及可选的)显示器174中所示。
要注意的是，轴(x、y、z)的设置是一种惯例，并且明确地考虑相对方向(例如，极坐标)的其他表示。如图所示，还由(例如)双曲线箭头Rx表示围绕规定的轴的旋转，这描述了围绕物理x轴的旋转。
在这个实施方式中，成像器164可操作地与包含在位移传感器110的外壳112内的视觉系统处理器180互连。在替换的实施方式中，一些或所有视觉系统处理器元件和/或工艺可以远离外壳(或(例如)互连PC)。视觉系统处理器180根据下面进一步详细描述的说明性实施方式执行位移传感器工艺182。处理器180还从运动平台130或另一个运动装置(例如，保持位移传感器和/或物体的起重机架或操纵器)中接收相对运动信号。获取与这种运动信号相关联的图像，以便线路156与在场景中的物理位置对齐。
还如下面所述，将物体的图像数据(即，2D距离图像)传输给下游数据处理装置和工业，用于各种生产活动中，例如，检查、质量控制、物体操纵、组装等。
用户通常期望以物理单元(例如，在x、y以及z中的毫米或微米)为特征的测量，而非以图像单元(即，在x中的像素/图素，在y中的基于编码器运动的触发器，以及在z中的行位移)。为此，通常校准位移传感器，以在图像像素输出与物理单元之间转换，以便校准的位移传感器输出位于物理单元内。制造商可以进行位移传感器校准，以便位移传感器在物理单元(例如，从马萨诸塞州纳蒂克的康耐视公司可购买的模型DS1100)中提出输出。或者，传感器可以在未校准的图像单元内提出输出。在传感器输出位于未校准的图像单元内时，用户或应用的任务在于处理在图像像素单元内的输入数据。
还要注意的是，应广泛地采用在本文中使用的术语“工艺”和/或“处理器”，以包括各种基于电子硬件和/或软件的功能和元件。而且，所描述的工艺或处理器可以与其他工艺和/或处理器相结合或者分成各种子工艺或处理器。根据在本文中的实施方式，这种子工艺和/或子处理器可以不同地相结合。同样，明确地考虑使用由程序指令的永久性计算机可读介质构成的电子硬件、软件或硬件和软件的组合，可以实现在本文中的工艺和/或处理器。
II、滤波器和传感器工艺
简单地参照图2，该图示出了物体的距离图像200，在该实例中，该物体是具有不同的表面几何图形和各种高度偏差/高度位移特征210的土豆。这些高度位移特征210(“凸块”或“小块”)成像并且具有不同的阴影和/或颜色)。然而，应该清楚，由于物体的表面高度/几何图形的总体变化，所以这种“凸块”难以分解。物体表面的几何图形(例如，弯曲形状)致使识别难以识别的单独小块(或其他表面法线高度变化特征，例如，凹部)。这可以使用视觉系统使总体检查工艺减慢或致使该工艺无效。因此，为了增强视觉系统的检查工艺的有效性和精度，根据一个说明性实施方式的过滤工艺190(图1)用作总体传感器工艺182的一部分。下面参照图9，进一步描述过滤的图像。
如图1中所示，可以从储存图像数据的来源188中交替地(或另外)提供图像，用于进一步进行处理。包括过滤工艺190和/或视觉系统工具的图像处理器可以与相机组件的功能分开并且可以位于单独装置内，或者如图所示，可以位于相机组件(110)内。因此，明确地考虑在执行过滤工艺时，该系统和方法可以在与相机组件不互连的图像上进行操作。
进一步参照图3的流程图，描述过滤工艺190。在场景内的物体成像，以生成距离图像时，该工艺开始(步骤310)。还参照图4，显示了具有可变表面几何图形的距离图像400的示例性物体410(例如，土豆)。所描述的示例性物体表面限定多个积极高度特征(例如，凸块或小块)和多个消极高度特征(例如，凹部)。由说明性滤波器处理的距离图像限定物体(土豆)的距离(z轴深度)图像，其中，每个图像像素表示物体在物体所倚靠的基准平面(示例性网格420和表面130(图1))之上的高度。两个示例性z像素430、432的坐标可以分别表示为Z0(X0,Y0)以及Z1(X1,Y1)。全距离图像在图像的每个像素位置(xi、yj)限定高度z。
在步骤320中，过滤工艺190首先生成表面高度和表面法线方向(使用平面拟合工具)。然后，该工艺190在法线方向计算高度偏差测量(使用高度工具)。平面拟合产生前两个测量，并且高度工具产生第三个测量。还参照图5的图像400，工艺190计算每个像素(十字形510)的合适的前台区域和后台区域(或多个这种区域)。示例性像素(十字形510)显示为具有与前台表面(圆形530)相距径向距离的以该示例性像素为中心的后台区域(环形520)，该后台区域表示法线高度区域。可以从在图像中的每个像素或者可以由各种工艺确定的像素的子集中计算凸块高度。要注意的是，可以为规定的像素建立多个后台和/或前台区域。这两个区域用于计算像素(十字形510)的局部“凸块”高度，下面进一步进行描述。用户可以通过核实的用户界面(例如，与在图1中的显示器174相关联的界面)确定这种区域的尺寸、形状以及数量。根据在物体上的凸块(或其他表面法线高度特征)的尺寸、形状和/或位置的一般知识，可以建立这些区域。通过这种方式，通过这种方式，用户设置滤波器的参照，以便优化在物体上的这种特征的确定。
接下来，工艺190在图像400中(为一个或多个(多个)区域(例如，像素510))生成最佳拟合表面以及在该区域中的z像素的表面法线。要注意的是，最佳拟合表面通常是平面，但是明确地考虑，最佳拟合表面可以包括球面或其他预先定义的2D或3D形状中的所有或一部分。可能由用户输入选择和定义这种形状，以将最佳结果提供给特定的高度偏差特征。从后台区域(环形520)中生成说明性最佳拟合表面/平面610，并且根据在后台区域中的像素的高度轮廓，该表面/平面表示在像素510的区域中的“光滑”物体表面的局部后台估计。表面法线620从像素510中延伸并且与说明性平面610垂直，指向积极高度方向。要注意的是，在使用多个这种区域时，用于生成最佳拟合表面和/或凸块高度(后台和前台)的区域不需要连续。这可以允许该系统忽略超出以在物体上的表面的剩余部分为特征的“光滑”或“凸块”几何图形的范围的某些特征。
在步骤340中，并且参照图7，然后，工艺190计算像素510的前台区域530与最佳拟合平面610相距的相对距离(图6)。前台区域530限定这组z像素，从估计的局部后台平面610中计算这组z像素的平均符号距离。要注意的是，可以通过各种方式计算潜在的基准平面(420，图4)。在表示最小高度的部分成像场景中在视野范围内的扫描线的位置可以与基准平面(z轴)高度相关联。通过计算前台点的质量中心(CM)，然后计算这个CM点与估计的局部后台表面/平面相距的(符号)距离，可以可选地获得这个平均距离。要注意的是，如果前台区域高于表面/平面610(在与在前一个幻灯片中显示的朝外表面法线相同的平面侧边上)，那么该距离具有正符号，如果前台区域低于平面610，那么该距离具有负符号。
在步骤350中，并且参照图8，使用上面描述的滤波器操作符(每个像素具有一个或多个后台区域以及一个或多个前台区域)，在每个像素中分析图像400，以生成总体的“凸块图像”或者更一般而言，生成“高度偏差图像”结果。即，该工艺为在距离图像中的所有像素(或者在所有像素中所选择的子集)重复以上步骤330和340。在图像400周围的不同位置中显示滤波器操作符810、820、830以及840。要注意的是，还可以分析消极高度“凹部”以及积极高度“凸块”870。在基准平面(420，图4)上的区域显示为点850。所产生的高度偏差图像是符号图像，该图像表示与物体(例如，土豆)的光滑表面表示的局部高度偏差。相对于局部周围表面，在表面内的局部凹部(例如，凹部860)限定消极高度，并且在表面上的局部凸块(例如，凸块870)限定积极高度。
根据在步骤350中导出的高度偏差“凸块”图像，传感器工艺可以应用各种视觉系统工具(在图1中的183)，包括但不限于边缘检测工具、blob分析工具和/或卡尺工具，以分析符合期望规格的这种凸块、凹部或其他特征(步骤360)。可取地，这种凸块和凹部由滤波器定位，以便视觉系统可以更有效地并且通过更少的处理时间对这些特征引导分析。
IV、确定在物体表面上的无不平度的区域
可以使用上面描述的3D视觉系统(即，激光剖面系统)的一个特定问题涉及在包含不平度的物体表面上的标签、印刷品和/或其他增强物的位置和放置。在一个实例中，表面包括可以包括产生粗糙表面和/或限定不应应用进一步的印刷品或标签的排除区域的胶带或其他应用物品的盒体、纸箱或容器。参照图10，该图示出了包含具有表面不平度的区域和排除区域的典型物体表面1010。通过实例，表面1010限定应应用具有预定尺寸(例如，长度LL和宽度WL)的标签1040的典型盒体表面。可取地放置标签1040，以避免在运输和/或物流工艺的各个阶段应该可以看见的运输条形码(或其他信息)1020。还可取地放置标签，以避免在密封的胶带条1030上重叠，该胶带条可以包括具有褶皱和槽谷的不规则表面。即，标签不能适当地粘合至该区域，和/或显示为凌乱地放置。在替换方案中规定，标签可取地放在比较光滑并且通常没有3D表面不平度的区域内。
为了允许通过快速并且可靠的方式将示例性标签1040自动放在盒体表面1010上，盒体表面的尺寸、形状以及布局可以改变，使得标签的可预测的放置对于该系统具有挑战性。同样，可以通过一系列方向和/或倾斜角，向该系统显示盒体，这也使标签的定位具有挑战性。如图10中所示，盒体表面1010相对于沿着(例如)传送带的线路运动的方向构成角度A。
现在参照图11，该图示出了盒体表面1010的所获取的3D图像1100。图像1100包括条形码特征1120以及胶带条特征1130，这两个特征均表示用于放置标签1040的排斥区域。简单地说，一旦定位该表面，该系统和方法就确定在总体图像内的一系列网格位置1150。这些网格位置可以如图所示规则地隔开，或者不规则地隔开，例如，相对于在表面上的已知兴趣区域定向。确定在每个网格位置的3D特征的性质。具有表面不平度(例如，超过预定高度/深度阈值的凸块或凹陷)的那些网格位置如图所示由所应用的X标志标记(例如，网格位置1152)。如下面所描述的，网格形成关于规定的区域是否适合于容纳标签或其他装饰品的决策过程的基础，或者如果在该表面上不能使用任何区域来容纳物品。
进一步参照图12，更详细地显示和描述位置工艺1200。在步骤1210中，工艺1200(通常由视觉系统处理器180(图1)使用位置确定工艺191执行)使用任何合适的3D成像装置在兴趣物体上获取表面的3D距离图像(即，轮廓)，该3D成像装置包括但不限于在图1中的视觉系统设置100。该物体可以穿过视觉系统设置，并且使用(例如)测量输送通过成像场景的物体的传送带的行程的编码器来跟踪。由视觉系统相机获取的3D像素数据用于提供图像数据集，用于各种后续视觉系统工艺中。通过说明的方式，在步骤1220中，所获取的图像(例如，在2D)中用于定位表面的边缘和角落(如果适用的话)和/或在表面上的任何兴趣特征(例如，缝合线、标签、条形码、基准点等)。在该步骤中，可以使用各种传统的和/或定制的视觉系统工具，例如，边缘查找器、blob工具、对比工具以及技术人员清楚了解的其他工具和应用程序(例如，从马萨诸塞州纳蒂克的康耐视公司可购买的工具/应用程序)。
在工艺步骤1230中，上述凸块滤波器在图像数据集上进行操作，以确定在表面图像上的表面不平度(即，3D凸块和凹陷)的位置/区域。然后，在步骤1240中，工艺1200在一些或所有表面图像之上生成具有预定的粒度(可以根据用户的需要限定为更精细或更粗糙)的网格地图。在图11中，示例性网格由部件1150显示。根据给予系统的参数或基于用户的参数(例如，使用合适的图形用户界面(未显示))，将网格阈值化。根据特定的网格部件是否包含具有足够大小(例如，z轴高度和/或x-y轴尺寸)的表面不平度，阈值化可以产生值1s和0s的二进制(1比特)模式，以满足在应用标签时被系统视为有问题的表面不平度的最小阈值。如上所述，网格的间隔和布局可以在x和y轴方向具有规则性，或者可以根据规则或不规则间隔的另一个模式来设置。例如，沿着x轴方向的间隔可以小于沿着y轴方向的间隔。而且，与其他区域(例如，该区域挤满了应避免的小特征)相比，图像的某些区域可以规定在任一个(或这两个)方向的更密切的网格间距。
在可以可选的步骤1250中，该系统可以在包含不应由标签或其他物品覆盖的某些特征的图像的区域周围，在排斥区域(即，禁止区域)的网格表示内生成掩膜。例如，在图11的图像中的区域1120包括应该在示例性封装上暴露的并且明显露出的条形码。可以预先定义这些排斥区域，其中，该特征在封装上位于已知的并且可预测的位置内。或者，可以使用视觉系统工具(例如，ID代码查找工具)限定排斥区域。排斥区域的尺寸足以确保该特征不受到标签或其他物品的应用的影响。要注意的是，还可以根据在图像上的位置，限定排斥区域，在这些位置中，发生进一步的工艺，例如，应用额外的标签、张贴、冲压等。在该工艺中预先定义(预先训练)这种位置，并且通常不根据在图像中的特征的确定，生成这种位置。
在步骤1260中，工艺1200反复为阈值化网格应用价值函数。这个价值函数计算具有由表面不平度造成的高值的区域(和/或由印刷品等造成的可选地排斥区域)。在生成这种值时，工艺1200在这系列标签尺寸(例如，x和y长度和宽度)上为在图像中的每个网格位置计算1s(例如，在图11中显示为X的网格部件(1152))对0s(1150)的数量。然后，在步骤1270中，该工艺定位尽可能减小总价值(例如，具有最少数量的X的全局最小值)的区域。如在图11的实例中所示，胶带条的区域1170密布了高值网格部件(X)。同样，图像的底部区域1180包含几个高值网格部件。相反，图像1100的右上角相对没有不平度(即，最平坦的无印刷品的区域)，因此，提供应用示例性标签的可取的位置形式，由虚线框1160显示。
要注意的是，在本文中显示和描述的价值函数说明了映射图像的广泛技术、机构和/或方法。或者，在步骤1230中，可以直接在凸块滤波器的结果上构造价值函数。同样，在图12A中所示的修改的流程图适用。要注意的是，与在图12中显示和描述的步骤相似的步骤具有相似的参考数字，并且其以上描述适用。尤其地，从图12A中省略步骤1240，并且凸块滤波器在步骤1230中生成具有表面不平度的区域，这些区域直接表示凸块或凹陷位于总体表面上的位置。在步骤1292中处理这些位置，以生成没有任何网格地图的价值函数。即，价值函数将高度(和覆盖范围)信息用于凸块和凹陷中，以确定特定的区域是否适合于要应用于物品中的物品/标签。还可以在步骤1292中处理可选的排斥区域，以排除标签或其他禁止特征所在的区域。
一旦在图12或12A中确定标签(或其他物品)应用的最佳位置，该工艺就可以触发其他装置或系统在步骤1280中将标签/物品(用虚线显示)应用于该位置中。这必需为机器人操作手和/或包含物体的运动平台提供伺服系统，以便标签/物品应用于在表面上的期望位置。或者，步骤1280可以指示由于可用的平坦表面的过量不平度或尺寸限制，所以没有任何合适的位置来将标签或其他物品应用于表面中。在没有任何合适的位置时，物体可以由警报标记和/或从输送线(例如)重新路由给特别的处理位置。
明确地考虑用户界面或其他编程机构可以用于通过改变或调谐凸块滤波器掩膜，以识别具有某个高度和/或尺寸的不平度(非平坦的特征)，来调整工艺的敏感度。还可以调整网格密度/粒度，来改变该工艺的总体敏感度。
参照图13的物体1300(例如，具有交替的白色和黑色五角形形状1310和1320的英式足球)，该工艺1200具有容纳表面的低频变化的能力，例如，球体的连续曲率。工艺1200可以识别所应用的物品的合适位置(虚线框1330)，同时定位应避免的脊状物1340(由网格X表示)。如上面在步骤1250中所述，通过建立排斥区域，还可以避免黑色五角形1320用作物品的位置。说明性工艺1200甚至在倾斜或弯曲的表面(例如，所描述的球体)上有效地定位具有低不平度的表面。相反，其他算法(例如，传统的拟合平面算法)通常在所描述的球体的表面上失效。
该系统和方法也优于一种替换的技术，在该替换的技术中，平面与特定区域配合，然后，只要平面的配合质量依然可以接受(取决于占据标签的尺寸)，该区域就生长。在这种替换的技术中，由于该系统通过连续的区域生长操作来迭代，所以所需要的处理开销通常远远更大。
再次参照图2的示例性距离图像200，在应用图3的过滤工艺之后，高度偏差图像可以由图9的示图表示。物体900显示为具有一系列分解点，这些点清晰地区分高度偏移特征(凸块)和周围表面(由于其所描述的与周围情况的鲜明对比)。同样，视觉系统可以更精确地并且更有效地特别为这些突出的区域引导进一步的分析。
因此，应该显而易见，在上面描述的说明性表面法线凸块滤波器特别可取地用于分析具有不平坦的但是光滑的表面的物体，这些表面具有局部凹部和凸块。对于简单的表面(例如，具有凹部的平面)，说明性的凸块滤波器会提供可比较的结果，作为通过配合单个平面，然后从拟合平面中测量在表面上的每个点(像素)的距离所获得的结果。然而，由于凸块滤波器估计局部平面，所以能够容纳具有可变的并且先验未知的表面几何图形的大量不平坦平面。显然，由于说明性凸块滤波器测量与表面垂直的距离，所以甚至在3D物体在深度上旋转并且使用距离传感器重新成像时，该滤波器在相应的点中产生了几乎相同的高度估计。这种不变性大幅简化了凸块高度图像的后续处理/分析，以便通过各种视觉系统工具检测表面缺陷。
明确地考虑上述工艺的特定增强功能可以用于其他应用中。通过说明的方式，该工艺可以使用平面拟合的残留误差来使高度测量合格。在环形(例如)用于后台并且在前台中的补丁用于高度时，该工艺可以对正在寻求的(凸块)特征作出响应，并且还可以始终对一个特定的线性特征(例如，脊状物)作出响应。平面拟合可以在环形以脊状物为中心的地方显示高度残余拟合误差，并且该响应可以用于在那些地方拒绝高度测量。
在确定应用标签或其他物品的足够平坦的和/或规则的表面时，上述实施方式提供了一种有效的并且可变的系统和方法。该系统和方法在具有高频和低频表面变化的表面上进行操作，并且有效地确定应用物品的合适的位置。这些物品可以包括应用于可取地位于比较规则的区域内的表面中的标签、印刷品、蚀刻版画、贴花和/或任何其他合适的装饰品。同样，下垫面可以平坦、弯曲或者部分平坦和部分弯曲。还考虑各种软和/或硬表面材料和/或抛光剂，包括镜面、不透明、半透明、透明及其组合。而且，通过使用掩膜和/或排斥区域，在确定应用物品的位置时，可以忽略皱褶或其他已知的不平坦。通过这种方式，物品可以放在皱褶、折痕、顶部边缘或其他已知的特征上。
上述内容是本发明的说明性实施方式的详细描述。在不背离本发明的精神和范围的情况下，可以进行各种修改和添加。上面描述的各种实施方式中的每个实施方式的特征可以酌情与其他描述的实施方式的特征相结合，以便在相关联的新实施方式中提供大量特征组合。而且，虽然上述内容描述了本发明的设备和方法的多个单独实施方式，但是在本文中描述的内容仅仅说明了本发明的原理的应用。例如，在本文中使用的各种方向和定向术语(例如，“垂直”、“水平”、“上部”、“下部”、“底部”、“顶部”、“侧边”、“前面”、“后面”、“左边”、“右边”等)仅仅用作相对惯例，而非用作相对于固定的坐标系(例如，重力)的绝对定向。而且，通过设置相机组件曝光，可以提高高度(z轴)精确度，以便在图像中检测的特征依然不饱和。更尤其地，在本文中生成的距离图像可以由各种3D成像系统提供，包括但不限于装有激光雷达(LIDAR)的照相机、立体照相机组件或这种设置的组合。如上面概括地描述的，前台和后台区域可以指定具有满足规定的应用的要求的任何尺寸和形状。而且，由于表面法线凸块滤波器的最密集处理的方面通常是局部平面拟合操作，所以在后台区域在图像之上滑动时，通过递归式更新平面拟合回归矩阵，可以迅速执行这个任务。而且，如上所述，局部平面拟合操作可以避免在后台区域中使用所有点，并且反而可以使用稳健的平面拟合程序(例如，RANSAC)，来从拟合中排除孤立点。通过说明的方式，通过根据局部表面法线方向改变后台和前台区域的形状，还可以进一步提高物体表面定向的测量的不变性。这会允许显示前台和后台区域，这些区域的形状在3D物体的表面坐标内恒定(而非在距离图像的x-y空间内恒定)。因此，该描述旨在仅仅通过实例来进行，而非旨额外地限制本发明的范围。

Claims (23)

1.一种基于距离图像确定物体表面高度变化的系统，包括：
相机组件，生成距离图像；
视觉系统，分析所述距离图像；
滤波器，(a)生成所述距离图像内每一选择的像素周围的、具有平均高度的最佳拟合表面，(b)分别为所述像素中的每一个建立最佳拟合表面的法线，并且(c)相对于最佳拟合表面确定所述像素中的每一个周围的区域的相对高度位移；以及
视觉系统工具，分析由所述滤波器定位的高度位移特征。
2.根据权利要求1所述的系统，其中所述滤波器包括每个所选像素周围的后台区域，其中从所选像素中建立最佳拟合表面。
3.根据权利要求2所述的系统，其中所述滤波器包括前台区域，所述前台区域位于所述后台区域附近并且包括至少一个所选像素，其中从所选像素中确定相对高度位移。
4.根据权利要求3所述的系统，其中根据物体的尺寸和形状中的至少一个，由用户定义所述后台区域和所述前台区域中的至少一个的尺寸和形状中的至少一个。
5.根据权利要求1所述的系统，其中所述相机组件包括位移传感器，所述传感器在物体上投射光线并且以在高度方向定义多个位移值的方式在成像器中接收投射线的光。
6.根据权利要求1所述的系统，其中所述最佳拟合表面包括一最佳拟合平面。
7.一种根据距离图像确定在物体表面高度变化的方法，包括：
(a)生成距离图像内的每一选择的像素周围的、具有平均高度的最佳拟合表面；
(b)分别针对所述像素中的每一个建立最佳拟合表面的法线；
(c)确定所述像素中的每一个周围的区域相对于最佳拟合表面的相对高度位移；以及
(d)通过视觉系统工具分析定位的高度位移特征。
8.一种在具有低表面不平度的表面上确定一区域的系统，包括：
视觉系统工具，定位所述表面并且获取所述表面至少一部分的3D图像；
滤波器，确定所述3D图像上选择的一组像素中的每一个像素周围的区域的相对高度位移；以及
定位部件，基于所述滤波器提供的结果计算每一区域的高度位移的成本价值，并且确定容纳一预定区域的最小成本区域。
9.根据权利要求8所述的系统，其中所述预定区域的尺寸适合于容纳标签、印刷品或其他装饰品。
10.根据权利要求8所述的系统，进一步包括映射部件，其将图像上多个区域中的每一个区域的高度位移分解为具有高度值的网格部件。
11.根据权利要求8所述的系统，进一步包括阈值化部件，其基于高度值高于还是低于至少一个预定参数分别将每一高度值分解为二进制值。
12.根据权利要求11所述的系统，其中所述预定参数为以下各项中的至少一项：(a)高于或低于所述区域中一周围表面的高度位移，以及(b)与所述区域中的周围表面不同的高度位移的区域。
13.根据权利要求8所述的系统，其中所述滤波器(a)生成距离图像内的每一选择的像素周围的、具有平均高度的最佳拟合表面，(b)分别针对所述像素中的每一个建立最佳拟合表面的法线，以及(c)确定所述像素中的每一个周围的区域相对于最佳拟合表面的高度位移。
14.根据权利要求13所述的系统，其中所述滤波器包括在所选像素中的每一个周围的后台区域，其中从所选像素中建立最佳拟合表面。
15.根据权利要求14所述的系统，其中所述滤波器包括前台区域，所述前台区域位于所述后台区域附近并且包括所选像素中的至少一个，其中在所选像素中确定相对高度位移。
16.根据权利要求15所述的系统，其中基于物体的尺寸和形状中的至少一个，由用户定义所述后台区域和前台区域中的至少一个的尺寸和形状中的至少一个。
17.根据权利要求8所述的系统，其中一相机组件包括位移传感器，所述传感器在物体上投射光线并且以在高度方向定义多个位移值的方式在成像器中接收投射线的光。
18.根据权利要求8所述的系统，其中所述定位部件确定是否具有合适的最小成本区域。
19.根据权利要求8所述的系统，其中每一网格部件均包括图像上具有预定密度的规则网格的一部分。
20.根据权利要求8所述的系统，其中所述图像包括从所述最小成本区域中删掉的至少一个排斥区域。
21.根据权利要求20所述的系统，其中所述排斥区域包括表面上的标签、印刷品以及装饰品中的至少一个。
22.根据权利要求21所述的系统，其中所述表面包括一封装的至少一部分，以及所述最小成本区域适合于接收敷上的标签和印刷品中的至少一个。
23.根据权利要求8所述的系统，其中所述表面包括一封装的至少一部分，以及所述最小成本区域适合于接收敷上的标签和印刷品中的至少一个。
CN201510041524.XA 2014-01-27 2015-01-27 确定物体上3d表面特征和不平度的系统和方法 Active CN104807406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010778813.9A CN112097696B (zh) 2014-01-27 2015-01-27 确定物体上3d表面特征和不平度的系统和方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461932221P 2014-01-27 2014-01-27
US61/932,221 2014-01-27
US14/329,752 US11176655B2 (en) 2014-01-27 2014-07-11 System and method for determining 3D surface features and irregularities on an object
US14/329,752 2014-07-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010778813.9A Division CN112097696B (zh) 2014-01-27 2015-01-27 确定物体上3d表面特征和不平度的系统和方法

Publications (2)

Publication Number Publication Date
CN104807406A true CN104807406A (zh) 2015-07-29
CN104807406B CN104807406B (zh) 2020-08-18

Family

ID=53679510

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010778813.9A Active CN112097696B (zh) 2014-01-27 2015-01-27 确定物体上3d表面特征和不平度的系统和方法
CN201510041524.XA Active CN104807406B (zh) 2014-01-27 2015-01-27 确定物体上3d表面特征和不平度的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010778813.9A Active CN112097696B (zh) 2014-01-27 2015-01-27 确定物体上3d表面特征和不平度的系统和方法

Country Status (2)

Country Link
US (1) US11176655B2 (zh)
CN (2) CN112097696B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108474647A (zh) * 2015-12-25 2018-08-31 松下知识产权经营株式会社 尺寸测量装置、包裹柜系统和尺寸测量方法
CN108955749A (zh) * 2017-05-18 2018-12-07 东京威尔斯股份有限公司 工件外观检查装置以及工件外观检查方法
CN109696127A (zh) * 2019-03-05 2019-04-30 浙江国自机器人技术有限公司 一种激光识别的方法和设备
CN109870128A (zh) * 2019-03-19 2019-06-11 青岛科技大学 一种喷墨打印中微纳结构形貌实时监测光路系统
CN110008496A (zh) * 2017-12-22 2019-07-12 波音公司 用于检测表面上的特征的方法和设备
CN110455199A (zh) * 2019-07-02 2019-11-15 深圳市格灵人工智能与机器人研究院有限公司 PCB板Pin针高度检测方法及系统
CN111538034A (zh) * 2020-04-22 2020-08-14 追创科技(苏州)有限公司 障碍物识别方法、装置及存储介质
CN112927287A (zh) * 2021-03-24 2021-06-08 和数科技(浙江)有限公司 一种目标物体的表型数据分析方法、存储介质及终端
TWI803369B (zh) * 2022-06-24 2023-05-21 寶成工業股份有限公司 自動模具噴塗系統

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210607B1 (en) * 2015-04-08 2019-02-19 Wein Holding LLC Digital projection system and method for workpiece assembly
EP3115742B1 (en) * 2015-07-10 2020-04-15 Hexagon Technology Center GmbH 3d measuring machine
CN105081884B (zh) * 2015-08-24 2023-08-04 成都飞机工业（集团）有限责任公司 一种旋转扫描3d成型的法向测量装置
US10451407B2 (en) 2015-11-23 2019-10-22 The Boeing Company System and method of analyzing a curved surface
DE102017215334A1 (de) 2016-09-21 2018-03-22 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren, Computerprogrammprodukt und Messsystem zum Betrieb mindestens eines Triangulations-Laserscanners zur Identifizierung von Oberflächeneigenschaften eines zu vermessenden Werkstücks
CN113985425A (zh) * 2020-07-10 2022-01-28 广州印芯半导体技术有限公司 测距装置以及测距方法
US20230050326A1 (en) * 2021-08-13 2023-02-16 Mujin, Inc. Robotic systems with multi-purpose labeling systems and methods
EP4217136A1 (en) 2021-10-07 2023-08-02 Additive Monitoring Systems, LLC Structured light part quality monitoring for additive manufacturing and methods of use
CN115684197B (zh) * 2022-07-14 2024-05-31 荣耀终端有限公司 折叠屏的测试方法、电子设备及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4741621A (en) * 1986-08-18 1988-05-03 Westinghouse Electric Corp. Geometric surface inspection system with dual overlap light stripe generator
JPH06167314A (ja) * 1992-01-09 1994-06-14 Nec Corp リード平坦度測定方法
CN1147627A (zh) * 1995-04-06 1997-04-16 载歌公司 利用大的等效波长测量物体表面轮廓的方法及系统
JP2000180142A (ja) * 1998-12-15 2000-06-30 Nec Corp 凹凸情報を強調する装置及び凹凸情報を強調する方法
US6819358B1 (en) * 1999-04-26 2004-11-16 Microsoft Corporation Error calibration for digital image sensors and apparatus using the same
CN101422787A (zh) * 2008-12-10 2009-05-06 北京科技大学 基于单步相移法的带钢平坦度测量方法
CN101738728A (zh) * 2008-11-04 2010-06-16 株式会社三丰 机器视觉检查系统的光学像差校正
CN102271254A (zh) * 2011-07-22 2011-12-07 宁波大学 一种深度图像的预处理方法
CN102278958A (zh) * 2011-06-24 2011-12-14 上海瑞伯德智能系统科技有限公司 铝板平面度视觉检测系统
CN102519391A (zh) * 2011-12-28 2012-06-27 东南大学 基于弱饱和二维图像的物体表面三维立体图像重建方法
CN102853786A (zh) * 2012-08-31 2013-01-02 深圳先进技术研究院 平整度检测装置和方法
CN103049906A (zh) * 2012-12-07 2013-04-17 清华大学深圳研究生院 一种图像深度提取方法
CN103473743A (zh) * 2013-09-12 2013-12-25 清华大学深圳研究生院 一种获取图像深度信息的方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495537A (en) 1994-06-01 1996-02-27 Cognex Corporation Methods and apparatus for machine vision template matching of images predominantly having generally diagonal and elongate features
US5818953A (en) * 1996-04-17 1998-10-06 Lamb-Weston, Inc. Optical characterization method
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US6064759A (en) 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US6262803B1 (en) * 1998-09-10 2001-07-17 Acuity Imaging, Llc System and method for three-dimensional inspection using patterned light projection
US6825480B1 (en) * 1999-06-23 2004-11-30 Hitachi, Ltd. Charged particle beam apparatus and automatic astigmatism adjustment method
US6323776B1 (en) 1999-12-21 2001-11-27 Snap-On Technologies, Inc. Method and apparatus of automatically identifying faults in a machine vision measuring system
US7119351B2 (en) 2002-05-17 2006-10-10 Gsi Group Corporation Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system
US6847728B2 (en) 2002-12-09 2005-01-25 Sarnoff Corporation Dynamic depth recovery from multiple synchronized video streams
US7187797B2 (en) 2003-04-01 2007-03-06 Applied Vision Company, Llc Color machine vision system for colorimetry
US20050140670A1 (en) * 2003-11-20 2005-06-30 Hong Wu Photogrammetric reconstruction of free-form objects with curvilinear structures
US7583372B2 (en) 2005-06-01 2009-09-01 Hunter Engineering Company Machine vision vehicle wheel alignment image processing methods
GB0520829D0 (en) * 2005-10-13 2005-11-23 Univ Cambridge Tech Image processing methods and apparatus
PE20120627A1 (es) 2006-12-20 2012-05-26 Scanalyse Pty Ltd Sistema para la medicion del desplazamiento de una superficie relativa a una base de referencia
CN101669143B (zh) * 2007-01-11 2012-06-20 Mvm知识产权有限公司 利用自动图像分析测试机能微循环几何结构和速度分布
WO2009037662A2 (en) * 2007-09-21 2009-03-26 Koninklijke Philips Electronics N.V. Method of illuminating a 3d object with a modified 2d image of the 3d object by means of a projector, and projector suitable for performing such a method
CN104884894B (zh) 2012-02-07 2018-05-15 株式会社尼康 成像光学系统、测定装置、形状测定装置、构造物制造系统、及构造物制造方法
US9111444B2 (en) * 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4741621A (en) * 1986-08-18 1988-05-03 Westinghouse Electric Corp. Geometric surface inspection system with dual overlap light stripe generator
JPH06167314A (ja) * 1992-01-09 1994-06-14 Nec Corp リード平坦度測定方法
CN1147627A (zh) * 1995-04-06 1997-04-16 载歌公司 利用大的等效波长测量物体表面轮廓的方法及系统
JP2000180142A (ja) * 1998-12-15 2000-06-30 Nec Corp 凹凸情報を強調する装置及び凹凸情報を強調する方法
US6819358B1 (en) * 1999-04-26 2004-11-16 Microsoft Corporation Error calibration for digital image sensors and apparatus using the same
CN101738728A (zh) * 2008-11-04 2010-06-16 株式会社三丰 机器视觉检查系统的光学像差校正
CN101422787A (zh) * 2008-12-10 2009-05-06 北京科技大学 基于单步相移法的带钢平坦度测量方法
CN102278958A (zh) * 2011-06-24 2011-12-14 上海瑞伯德智能系统科技有限公司 铝板平面度视觉检测系统
CN102271254A (zh) * 2011-07-22 2011-12-07 宁波大学 一种深度图像的预处理方法
CN102519391A (zh) * 2011-12-28 2012-06-27 东南大学 基于弱饱和二维图像的物体表面三维立体图像重建方法
CN102853786A (zh) * 2012-08-31 2013-01-02 深圳先进技术研究院 平整度检测装置和方法
CN103049906A (zh) * 2012-12-07 2013-04-17 清华大学深圳研究生院 一种图像深度提取方法
CN103473743A (zh) * 2013-09-12 2013-12-25 清华大学深圳研究生院 一种获取图像深度信息的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何文峰 等: "《基于平面特征的深度图像配准》", 《中国人工智能学会第10届全国学术年会》 *
李松涛 等: "《一种基于最小二乘估计的深度图像曲面拟合方法》", 《自动化学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108474647A (zh) * 2015-12-25 2018-08-31 松下知识产权经营株式会社 尺寸测量装置、包裹柜系统和尺寸测量方法
CN108474647B (zh) * 2015-12-25 2020-08-04 松下知识产权经营株式会社 尺寸测量装置、包裹柜系统和尺寸测量方法
CN108955749A (zh) * 2017-05-18 2018-12-07 东京威尔斯股份有限公司 工件外观检查装置以及工件外观检查方法
CN110008496A (zh) * 2017-12-22 2019-07-12 波音公司 用于检测表面上的特征的方法和设备
CN109696127A (zh) * 2019-03-05 2019-04-30 浙江国自机器人技术有限公司 一种激光识别的方法和设备
CN109696127B (zh) * 2019-03-05 2021-07-23 浙江国自机器人技术股份有限公司 一种激光识别的方法和设备
CN109870128A (zh) * 2019-03-19 2019-06-11 青岛科技大学 一种喷墨打印中微纳结构形貌实时监测光路系统
CN109870128B (zh) * 2019-03-19 2022-06-28 青岛科技大学 一种喷墨打印中微纳结构形貌实时监测光路系统
CN110455199A (zh) * 2019-07-02 2019-11-15 深圳市格灵人工智能与机器人研究院有限公司 PCB板Pin针高度检测方法及系统
CN111538034A (zh) * 2020-04-22 2020-08-14 追创科技(苏州)有限公司 障碍物识别方法、装置及存储介质
CN112927287A (zh) * 2021-03-24 2021-06-08 和数科技(浙江)有限公司 一种目标物体的表型数据分析方法、存储介质及终端
TWI803369B (zh) * 2022-06-24 2023-05-21 寶成工業股份有限公司 自動模具噴塗系統

Also Published As

Publication number Publication date
CN112097696B (zh) 2023-01-03
US20150213606A1 (en) 2015-07-30
CN112097696A (zh) 2020-12-18
CN104807406B (zh) 2020-08-18
US11176655B2 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
CN104807406A (zh) 确定物体上3d表面特征和不平度的系统和方法
US11310467B2 (en) Object inspection system and method for inspecting an object
AU2008296518B2 (en) System and method for three-dimensional measurement of the shape of material objects
KR102296236B1 (ko) 3d 이미지 데이터에서 3d 포즈와 기생포인트 제거의 스코어링을 개선하는 시스템 및 방법
Jung et al. Time-of-flight sensor calibration for a color and depth camera pair
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
Barone et al. Three-dimensional point cloud alignment detecting fiducial markers by structured light stereo imaging
US20110206274A1 (en) Position and orientation estimation apparatus and position and orientation estimation method
Khalfaoui et al. An efficient method for fully automatic 3D digitization of unknown objects
JP2001524228A (ja) 機械視覚較正標的並びに画像内で標的の位置及び方向を決定する方法
Karaszewski et al. Assessment of next-best-view algorithms performance with various 3D scanners and manipulator
JP7339316B2 (ja) ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法
JP2012002761A (ja) 位置姿勢計測装置、その処理方法及びプログラム
CN107680125B (zh) 在视觉系统中自动选择三维对准算法的系统和方法
US20120062749A1 (en) Human body identification method using range image camera and human body identification apparatus
CN103824275B (zh) 在图像中搜寻鞍点状结构并测定其信息的系统和方法
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
US20220180499A1 (en) System and method for determining 3d surface features and irregularities on an object
CN104460505A (zh) 工业机器人相对位姿估计方法
KR20220137926A (ko) 복합 3차원 블롭 도구 및 그 작동 방법
US20210148694A1 (en) System and method for 3d profile determination using model-based peak selection
US20160259034A1 (en) Position estimation device and position estimation method
Sun et al. High-accuracy three-dimensional measurement based on multi-directional cooperative target with weighted SfM algorithm
Kim et al. An active trinocular vision system of sensing indoor navigation environment for mobile robots
Liu et al. Outdoor camera calibration method for a GPS & camera based surveillance system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant