CN110176075A - 通过视觉系统同时考虑图像特征中边缘和法线的系统和方法 - Google Patents

通过视觉系统同时考虑图像特征中边缘和法线的系统和方法 Download PDF

Info

Publication number
CN110176075A
CN110176075A CN201910129981.2A CN201910129981A CN110176075A CN 110176075 A CN110176075 A CN 110176075A CN 201910129981 A CN201910129981 A CN 201910129981A CN 110176075 A CN110176075 A CN 110176075A
Authority
CN
China
Prior art keywords
edge
normal
information
rendering
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910129981.2A
Other languages
English (en)
Other versions
CN110176075B (zh
Inventor
A·赫尔舍
S·巴克
A·瓦格曼
D·J·迈克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Priority to CN202311309936.8A priority Critical patent/CN117541753A/zh
Publication of CN110176075A publication Critical patent/CN110176075A/zh
Application granted granted Critical
Publication of CN110176075B publication Critical patent/CN110176075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明使用视觉系统在获取的图像中基于每个边缘在点到平面和点到边缘度量之间应用动态加权。这使得所应用的ICP技术对于各种目标几何形状和/或遮挡而言变得极为稳健。本文的系统和方法提供了能量函数，该能量函数被最小化以生成候选3D姿态，用于对象运行时3D图像数据与模型3D图像数据的对准。由于法线比边缘精确得多，因此在可能的情况下，使用法线是理想的。然而，在某些使用情况下，例如平面，边缘可在法线不提供信息的相关方向上提供信息。因此，本系统和方法定义了“法线信息矩阵”，其表示存在足够信息的方向。在矩阵上执行(例如)主分量分析(PCA)为可用信息提供了基础。

Description

通过视觉系统同时考虑图像特征中边缘和法线的系统和方法
技术领域
本发明涉及机器视觉系统，更具体地，涉及识别三维(3D)图像特征并关于于训练的3D图案对准3D图像特征的视觉系统。
背景技术
机器视觉系统，本文中也称为“视觉系统”，用于在制造环境中执行各种任务。一般来说，视觉系统由一个或多个具有图像传感器(或“成像器”)的相机组件组成，该图像传感器获取包含制造中的对象的场景的灰度或彩色图像。可分析对象的图像以向用户和相关的制造过程提供数据/信息。相机产生的数据通常由视觉系统在一个或多个视觉系统处理器中分析和处理，视觉系统处理器可以是专用处理器，或者是在通用计算机(例如PC、笔记本电脑、平板电脑或智能手机)内实例化的一个或多个软件应用程序的一部分。
常见的视觉系统任务包括对准和检查。在对准任务中，视觉系统工具，例如从Cognex Corporation of Natick,MA购得的众所周知的系统，将场景的二维(2D)图像中的特征与训练过的(使用实际或合成模型)2D图案进行比较，并确定2D图像场景中2D图案的存在/不存在和姿态。该信息可用于后续检查(或其他)操作，以搜索缺陷和/或执行其他操作，例如零件抛弃。
使用视觉系统的特定任务是在运行时基于训练好的3D模型形状对准三维(3D)目标形状。3D相机可以基于多种技术——例如，激光位移传感器(轮廓仪)、立体相机、声纳、激光或LIDAR测距相机、飞行时间相机以及各种其他被动或主动距离感测技术。这种相机产生距离图像，其中产生了图像像素阵列(通常表征为沿着正交x和y轴的位置)，该阵列还包含每个像素的第三(高度)维度(通常表征为沿着垂直于x-y平面的z轴)。替代地，这种相机可以生成成像对象的点云表示。点云是空间中3D点的集合，其中每个点i可以表示为(Xi,Yi,Zi)。点云可以表示完整的3D对象，包括对象的背面和侧面、顶部和底部。3D点(Xi,Yi,Zi)表示空间中对象对于相机可见的位置。在该表示中，不存在点表示空白空间。
作为比较，3D距离图像表示Z(x，y)类似于2D图像表示I(x，y)，其中深度或高度Z代替了图像中的位置x，y处的亮度/强度I。距离图像专门表示直接面对相机的对象的正面，因为只有一个深度与任意点位置x，y相关联。距离图像通常不能表示对象的背面或侧面、顶部或底部。距离图像通常在每个位置(x，y)处都有数据，即使相机在这些位置处没有信息。可以以本领域的技术人员清楚的方式将距离图像变换为3D点云。
在将获取的或通过合成(例如CAD)处理生成的目标图像与模型图像(也是获取或合成的)对准时，一种方法涉及将目标3D点云与模型匹配/比较，以努力找到最佳匹配姿态。该比较可以涉及对目标相对于模型的覆盖范围的评分。超过某一阈值的分数被认为是可接受的匹配/姿态估计，并且该信息用于生成对准结果。然而，基于3D图像精确且有效地生成对准结果具有挑战性。
对准3D距离图像或3D点云图像中的3D对象最好通过适用于这些对象的3D形状的一个或多个相应的3D对准(配准)算法来实现。如果使用了不适当的3D对准算法，则3D对准处理可能会失败，或者因为发现不正确的结果姿态或者根本没有发现结果而表现不佳。更具体地说，称为迭代最近点(ICP)的技术是细化点云对准/配准姿态估计的经典方法。其使用一组特征(如点位置或点法线)来迭代地将粗略姿态细化为最终姿态。必须做出的一个选择是ICP例程将最小化的度量。标准选择是点到线，其中ICP处理最小化从源点到其最近边缘的距离总和，以及点到平面，其中ICP处理最小化从源点到通过其最近目标点的平面的距离总和，由目标点处的法线表示。然而，人们认识到，由于各种原因，这两个度量都不是特别令人满意。例如，在将平面与平面对准的使用情况下，如果使用点到平面度量，则系统可以确定关于法线的偏移和旋转，但是不提供关于围绕法线的旋转的信息。点到线的度量也表现出了技术人员应该清楚的其他缺点。
发明内容
本发明通过使用视觉系统在获取的图像中基于每个边缘在点到平面与点到边缘度量之间进行动态加权，克服了现有技术的缺点。这使得所应用的ICP技术对各种对象(零件)几何形状和/或遮挡而言变得更加稳健。在一个实施例中，本文的系统和方法提供一能量函数，该能量函数被最小化以生成候选3D姿态，用于将对象的运行时3D图像数据与模型3D图像数据对准。由于法线比边缘精确得多，因此在可能的情况下，使用法线是可取的。然而，在某些使用情况下，例如平面，边缘提供法线不提供的相对方向的信息。因此，该系统和方法定义了“法线信息矩阵”，该矩阵表示存在足够信息的方向。对该矩阵执行(例如)主分量分析(PCA)为可用信息提供了基础。举例来说，然后根据每个边缘在各个方向上贡献的信息量以及已经可用的信息来评估每个边缘。如果边缘在对分析有重要意义的方向上贡献了重要信息，则在计算中该边缘被分配了较高的权重(例如，接近1.0)。否则，边缘被分配相对较低的权重(例如，接近0.0)。使用(例如)线性最小化函数来处理该加权数据，该线性最小化函数同时(同步)最小化点到平面距离的总和加点到边缘距离的总和。有利的是，当对象的几何形状需要该处理来确定正确姿态时，该处理(仅仅)排他地使用(通常)不太精确的边缘。还要注意，这里的对象可以是平面表面的一部分。因此，例如，在为平面的使用情况下，系统和方法可以使用法线来建立法线通常提供信息的三个自由度(DOF)(两个倾斜和沿着平面法线的偏移)，然后使用剩余DOF的边缘(例如，平面内的两个平移和围绕法线的旋转)。相反，采用点到线度量本身通常会产生精确度低得多的结果，而仅采用点到面度量也不够稳健。
在一说明性实施例中，本发明提供了一种用于在由3D相机组件获取的对象的3D图像中查找3D模型的姿态的系统和方法。3D模型与获取的3D图像一起由视觉系统处理器处理。与处理器相关联的姿态查找处理/模块同时将3D模型中的3D边缘与3D图像中的3D边缘匹配，并将3D模型中的3D法线与3D图像中的3D法线匹配，以确定3D姿态。说明性地，姿态查找处理/模块将权重应用于3D图像中的3D边缘和3D图像中的3D法线，以对图像中的3D边缘相对3D法线的使用进行加权。姿态查找处理还可以分别确定(a)对象的平面是否提供了关于平行于3D法线方向上的对准的信息，以及(b)对象的边缘是否提供了关于在垂直于边缘的一个或多个方向上的对准的信息。其还可以进行以下匹配的至少其中之一：(a)使用点到线度量将3D模型中的3D边缘与3D图像中的3D边缘进行匹配，以及(b)使用点到平面度量将3D模型中的3D法线与3D图像中的3D法线进行匹配。此外，姿态查找处理可以定义法线信息矩阵，该矩阵表示存在足够数量信息的方向。可以对矩阵执行主分量分析(PCA)，以识别信息，并确定其可用性，用于查找姿态。姿态查找处理还可以包括评估处理，该评估处理分别针对在各个方向上贡献的信息量和可用的信息来评估边缘。说明性地，评估处理根据以下内容来评估姿态边缘：(a)如果各个边缘中的其中一个边缘在重要的方向上贡献了大量信息，则在计算中为该边缘分配较高的权重，以及(b)如果各个边缘中的其中一个边缘在重要的方向上没有贡献大量信息，或者如果方向不重要，则在计算中为该边缘分配相对较低的权重。此外，可以提供线性最小化处理，其同时(同步)最小化使用点到平面度量计算的距离总和加使用点到边缘度量计算的距离总和。
附图说明
以下参考附图描述本发明，其中：
图1是包括一个或多个3D相机组件的视觉系统的图，该3D相机组件在训练或运行时获取对象的图像，其中视觉系统采用同时对准(配准)算法；
图2是根据一个实施例的用于对准运行时所获取的图像数据的模型3D图像数据的示例性训练处理的流程图；
图3是示出模型3D图像数据的训练时间描绘的图，其中在两个不同定向上的3D特征集周围以及与每个示例性特征集的3D表面几何形状相关联的表面法线周围提供了示例性边界框，并且，示出了方向上的差异，以及由此从每个特征集导出的信息的重要性；
图4是示出处于特定定向的长方体形状的对象的图，其中构成该形状的多个平面和边缘的定位可以根据所获取的3D图像确定；
图5是示出了图4的长方体形状的图，与图4所示定向不同，该长方体形状面向上定向，在该定向中，可以基于主导定向精确地确定较少的平面和边缘；
图6是对所获取的待对准对象的3D图像中的边缘和法线相对图2的模型数据进行运行时加权以便考虑多个3D对准算法中的每一个的适用性的处理的流程图；
图7-7D是相对于图6的加权处理示出高斯函数g(λ)相对本征值λ的示例性曲线图；以及
图8是根据一说明性实施例的用于在运行时应用具有使用图6的程序确定的适当权重的3D对准算法的程序的流程图。
具体实施方式
I.系统概述
图1示出了用于检查和/或分析在一个或多个3D视觉系统相机组件120和130的视场(FOV)内成像的对象110的表面112上的特征的机器视觉系统布置(在此也称为“视觉系统”)100。每个相机组件120、130可以是用于3D成像的部件的任何可接受的布置。相机组件120、130各自适于确定构成对象表面112的3D“距离图像”(在此以非限制性示例的方式示出为长方体形状)的第三正交维度(例如，沿着每个相应相机的坐标系128、138的相应z1、zN轴的高度)。可以采用各种技术来生成各个图像像素的高度数据，例如激光位移传感器(轮廓仪)、立体相机、声纳、激光或LIDAR测距相机、飞行时间相机以及各种其他被动或主动距离感测技术。注意，在总体布置中可以仅使用一个相机组件，或者更多数量(例如三个或更多)的相机组件，并且术语“3D相机组件”可以在此替代地用于描述用于生成对象表面的3D点云或距离图像表示的一个或多个离散3D相机组件的总体布置。
虽然未示出，但是用于生成3D距离图像或点云的一种示例性类型的3D相机组件是激光位移传感器，其在对象表面112投射扇形激光束(或另一种结构化照明)以形成一条线(例如，跨越x轴方向定向)，并且在激光位移传感器的相应成像器126、136处以照明扇形的平面和相应成像器的光轴OA1、OAN之间的相对(锐角)角度(A)接收来自投射线的反射光。如上所述，其他模态可用于生成距离或高度信息，包括例如LIDAR、结构化光系统、立体视觉系统(例如一对间隔开的相机120和130)、DLP计量等。这些系统都生成为像素提供高度值(例如z坐标)的图像。
在典型的布置中，3D相机组件120和/或对象110可以处于相对运动中(例如，在一个或多个相机的物理y轴坐标方向上)，使得对象表面112被激光位移传感器扫描，并且以期望的空间间隔—通常与将运动信息140传递给系统视觉处理器(150，如下所述)的运动控制器和相关联的编码器或其他运动测量装置相关联(或者，可选地，以基于时间的间隔)获取激光线的图像序列。在这方面，对象上的点沿运动方向的位置被定义为坐标Yi。3D相机组件获取的点集合(Xi,Yi,Zi)被定义为点云。在其他实施例中，3D相机组件不相对于对象运动。
相机主体124、134可包含构成操作相关联的视觉处理的视觉系统处理器150的各种图像处理部件。视觉处理器150基于所获取的场景和/或其他源的图像(例如模型的CAD表示)对图像数据142进行操作，并且可以使用视觉系统工具和处理152来从所获取的图像中提取信息。该信息可以与感兴趣的特征和图像中出现的其他项目相关——例如视觉系统工具，例如从马萨诸塞州纳蒂克的Cognex公司获得的众所周知的可以用于分析图像中的2D和3D特征，并提供关于相对姿态、对准和其他细节的信息——例如边缘、斑点等。虽然可以在相机组件120、130的主体124、134内实例化视觉系统处理的一部分或全部，但是可以明确地设想，部分或全部处理可以由具有适当用户接口(鼠标/键盘)162和/或显示器164(例如触摸屏)的互连(有线或无线)计算装置/处理器160来执行，例如专用处理器或通用计算机(例如服务器、PC、笔记本电脑、智能手机、平板电脑等)。互连的计算装置/处理器160可以经由通信链路166或其他接口装置使用处理后的图像数据来执行进一步的利用处理或任务。例如，在视觉系统执行检查任务的情况下，该信息可用于向数据库提供质量控制信息或在线拒绝有缺陷的零件。如下所述，利用任务包括使用3D对准信息168。
训练处理(处理器)或模块154处理由3D距离图像或点云数据组成的一个或多个3D模型/表示的训练和存储，所述3D距离图像或点云数据定义有助于将模型与运行时(目标)对象的运行时3D距离图像或点云图像中找到的特征对准的特征。训练的模型可以包括在对象的总体视图中发现的特征、特定对象的不同部分或定向和/或多个对象。
在说明性实施例中，视觉处理和处理器150包括对准处理(处理器)或模块156，其采用适当的对准算法(或处理)，试图对准模型的特征和运行时(目标)3D图像的特征。对准处理(处理器)156和训练处理(处理器)154各自与同时算法考虑处理(处理器)或模块158互操作，该同时算法考虑处理(处理器)或模块158基于模型的3D表面特征来协调两个或更多3D对准算法的使用。如本文所使用的，术语“同时”是作为一般命题的示例，即可以在图像上同时地或者在同一处理事务内考虑和/或操作两组或多组特征和相关联的运行时姿态确定处理，因此不需要真正的同时性。
II.训练3D模型
如下所述，该系统和方法在整个对准处理中使用经训练的图像数据。图2示出了一般化的训练处理200，其中系统在训练时间获取或被提供以模型的图像作为3D点云或距离图像。该图像可以通过在一个或多个定向上对包含模型/训练对象的场景进行成像，或者提供对象和/或其一部分的“合成”(例如CAD)表示来产生。在步骤212中，作为训练处理的一部分，可以经由接口向用户提供实际或合成图像。注意，步骤212是可选的，并且可以在没有关于对象类型或阈值设置的任何用户输入的情况下将图像直接提供给系统。替代地，可以基于使用视觉系统工具自动识别对象或表面特征的类型来设置阈值。在使用用户接口的情况下，可以如图3的显示器300中一般所示那样显示图像。用户可以操纵图像，包括围绕部分或全部训练对象设置边界框(步骤214)，如围绕相应图像312和322的边界框310和320所示。边界框的大小和形状可以由用户决定，或者可以通过本领域技术人员应该清楚的自动机制来界定感兴趣区域。替代地，感兴趣区域和相应的训练特征可以由CAD数据源提供，或者由一些其他模态提供/与图像数据一起提供。通过界定待分析的感兴趣区域，对准处理省略了与对准无关的任何模型特征和/或与模型分离的背景特征。替代地，整个获取的图像可以用作模型。在处理200的步骤216中，算法选择处理(处理器)(图1中的158)在界定的感兴趣区域中的特征上建立表面法线(参见图3中的边界框310、320)。所得到的模型被提供给该处理以在运行时对准期间使用，下文将对此进行进一步描述(步骤218)。
如图3所示，模型312、322的所描绘的表面(实际上被定义为3D距离图像或3D点云)包括表示沿着相应表面的局部点处的垂线的表面法线的集合。法线的粒度是高度可变的。通常，其可以是用户在训练时间指定的参数的一部分，或者在训练时间由对准系统使用(例如)技术人员清楚的技术自动确定。通常，系统可以存储系统通常遇到的各种类型的表面和/或对象类别(例如螺栓、球、计算机屏幕、电路芯片、瓶、罐、盖等)的参数集。为这些项目提供了预定参数。替代地，特定参数可以由用户为特定模型设置，或者自动确定。还可以为模型的特定定向设置参数。例如，从瓶子的侧面看与从瓶子的顶部看，瓶子会显得不同。
III.运行时对准
在一个实施例中，在运行时期间，考虑处理158同时(也称为“同步”)采用基于法线的对准和基于边缘的对准算法来执行精细对准。这在通过初始粗略对准步骤将训练的3D模型与图像数据粗略配准之后进行。精细对准处理使能量函数最小化，如下文进一步详细描述。因为法线比边更精确，所以通常优先使用法线。然而，在某些情况下，例如在分析平面特征的情况下，边缘在法线不提供信息的方向上为处理提供信息。因此，该处理定义了“法线信息矩阵”，该矩阵表示图像特征信息可用的方向。举例来说，采用该矩阵上的主分量分析(PCA)来为处理中的信息提供基础。然后，根据每个边缘在每个方向上贡献的信息量以及处理已经拥有的信息来评估每个边缘。如果该边缘在对对准有用的方向上贡献了重要信息，则该边缘被高度加权(即接近1.0)。否则，其相对权重很低(即接近0.0)。然后对权重进行线性最小化函数，该函数最小化点到平面距离的总和加上加权的点到边缘距离的总和。
有利的是，上述处理排他地(仅仅)在3D成像对象的几何形状需要其时使用不太精确的边缘。例如，在平面特征的使用情况下，系统可以使用法线来固定法线通常提供关于其的信息的三个自由度(即两个正交倾斜角度和沿着平面法线的偏移)，然后使用剩余自由度(DOF)的边缘(即平面内的两个平移和围绕法线的旋转)。单独使用点到线度量会提供不太准确的结果，并且使用点到面度量一点也不稳健。
作为进一步的描述，当试图在3D场景中定位对象的实例时，存在通常导致丢失信息的相机视角和场景特征。如果使用CAD文件描述对象，则可以完全描述对象，并完全指定每个表面和关联特征。然而，如果使用单个3D传感器来获取场景，那么传感器的局限性会约束和限制可用的信息。例如，场景的某些部分可能会阻止对象整体可见，和/或对象本身可能会遮挡其自身的某些部分——例如，相机可以对对象的正面进行成像，但不能对背面进行成像。作为说明，参考图4和图5，图4和图5分别示出了示例性场景400和500，其中以不同的角度/视点(POV)观察所定向的长方体形状的盒子410。在图4的场景400中示出了面412和416。然而，随着图5的场景500中POV的改变，仅面414可见，而场景400中不存在的底面510现在也可见。这可能会限制系统正确测量3D对象的能力。更一般地，由于丢失信息的可能性，用于对对象410进行3D成像的POV可使得在坐标系的所有三个正交轴(图4中的420)上定义对象维度具有挑战性。
细化姿态估计的经典技术是迭代最近点(ICP)。这个处理/算法使用一组特征(例如点位置或点法线)来迭代地将粗姿态细化为最终(精细)姿态。必须做出的一个选择是ICP例程将最小化的度量。标准选择是点到线，其中ICP处理最小化从源点到其最近边缘的距离总和，以及点到平面，其中ICP处理最小化从源点到通过其最近目标点的平面的距离总和，由目标点处的法线表示。在ICP算法中，一个3D点云(参考或目标)保持固定，而另一个3D点云(源)被变换为与目标最匹配。参考和源可以对应于训练的模型和获取的运行时对象图像。ICP算法迭代地修正使从源到参考点云的距离最小化所需的变换(平移和旋转的组合)。可以对变换进行初始估计，以将源与参考对准，并且还提供了一个或多个停止迭代的准则。然后，该算法输出精确变换(结果姿态)。在操作中，该算法如下进行：
对于源点云中的每个点，找到参考点云中最近的点；
使用均方误差代价函数来估计旋转和平移的组合，该均方误差代价函数将使每个源点与其在前一步骤中找到的匹配点最佳对准；
使用所获得的变换来变换源点；以及
迭代，重新关联这些点。
注意，ICP算法对于表面正态分布方差高(高于给定的“高”阈值)的某些对象形状(例如，图3中的形状322)特别有用。相反，对于表面正态分布方差低(低于给定的“低”阈值)的某些对象形状(例如，图3中的形状312)，ICP和基于边缘特征的混合算法更理想。
这样，如果使用成像场景500(图5)来对准长方体/盒状对象410，那么点对点技术将失败。进行完全、正确对准所需的信息(事实上)存在于成像场景500中，但是点到面度量不能访问该信息，因为该信息在对象的边缘530中表示，而非在暴露的平面414和510中表示。在该使用情况下，点到面的度量不能区分仅水平滑动不同的两个结果。
当在诸如盒410的成像对象上排他地使用点到线度量时，存在类似的退化。挑战在于，由于3D图像传感器POV的局限性，某些信息只有在考虑特定特征时才可用。因此，为了在多个定向上稳健地对准各种零件，在ICP细化处理中应考虑多个特征。
示例性实施例克服的挑战是提供一种将多个特征组合成单个混合度量的有效技术的技术。由于点到平面度量意味着到平面的距离，而点到线度量意味着到线的距离，因此将这些度量组合成可以最小化的单一全局拟合误差并不简单。此外，典型的3D图像可以包含比边缘多得多的法线，这一特性应该被考虑进去，因为如若不然，边缘的贡献将会非常小，从而在本质上产生点到平面度量(因为点到平面度量使用大量的法线，而点到线度量使用很少的边缘)。由于这种不平衡，权重基本上转移到点到面的结果。此外，法线(通常)基本上比工业视觉系统应用中常见的图像类型中的边缘更精确，并且可以将更多的点一起平均来估计法线，而不是分组来估计边缘。虽然使用多个(两个或更多)度量在学术环境或与ICP相关的文献中用处不大(部分由于混合实现的复杂性)，但是在此认识到，使用两个或更多度量来利用ICP分析对象可能是特别理想的。也就是说，单个度量的局限性(通常)仅在以多个相对定向上对准多个对象的图像时才成为有问题——如本文所述，这是工业视觉系统环境中特别存在的挑战。
如上所述，ICP迭代地操作，其中每次迭代由两个阶段组成：(a)源数据集和目的地数据集之间的对应特征，以及(b)基于对应特征最小化度量。度量采用函数的形式，其输入为特征对应，其输出是单个数字。点到面度量具有以下函数：
F＝∑((di-M*si)·ni)2
其中di是第i个目的地位置，si是第i个源位置，ni是第i个源法线，M是将源映射到目的地的姿态，并且·表示点积。
点到线度量具有以下公式：
G＝∑||((di-M*si)×ui||2
符号ui是第i个边缘方向，而×表示叉积。一般来说，技术人员应该清楚上述关系。在示例性实施例中，混合度量H现在贡献于由以下等式组成的关系：
H＝∑((di-M*si)·ni)2+∑αi||((di-M*si)×ui||2
该度量值H由点到平面和点到线度量之和组成，其中新的每边缘对应权重项为αi。说明性地，在每次迭代期间动态计算这些权重，而非预先计算或存储。每一个权重都是非负数，表示对应对于找到好的姿态有多重要(数字越高表示重要性越高)。以下根据实施例描述了如何计算权重。
计算权重考虑了至少两个因素：(a)对象的平面提供了关于在平行于法线的方向上的对准的信息，以及(b)对象的边缘提供了关于在垂直于边缘的方向上的对准的信息。基于这些考虑以及如果存在足够的信息则采用法线而非边缘的偏好，则处理600适用，参考图6。首先，使用获取的运行时图像，在步骤610中计算法线提供最少量信息的方向。这可以通过在正常情况下使用主分量分析来实现。作为非限制性示例，该处理找到由计算的矩阵的三个本征向量。该方法从而输出三个本征向量和本征值。本征值提供指示在本征值的本征向量的方向上存在多少信息的数字(其中本征值接近零指示低信息，而本征值较大指示更多信息)。当存在足够的信息时，可以使用适当的阈值来确定截止。
更具体地，在处理600的步骤620中，本征值被映射到确定赋予该本征向量的重要程度的测量计算中。这可以通过将本征值λ映射到高斯函数f(x；a，b，c)来实现，也表征为g(λ)，
其中在图7的曲线图700中示出了基本分布曲线710，并且三个常数a、b和c是定义高斯形状的数字。第一，a，是曲线最高点的值；b定义沿x轴的平移；c定义曲线的宽度。在示例性实施方式中，可以将a设置为10，b设置为0，c设置为2(因此指数的分母等于8)。然而，由于说明性本征值λ对于当前的使用情况总是正的，所以曲线710的左侧可以被忽略，从而产生图7A中所描述的曲线图720，以及关联的正值曲线722。这表示在本文的系统和方法的实施例中使用的示例性分布。x轴表示本征值，y轴是一个常数，用于在考虑该方向时乘以边缘的权重。因此，在这种情况下，如果特定特征方向的本征值非常小，权重乘数可以等于大约10，如果特定特征方向的本征值非常大，那么权重乘数可以接近0。因此，如果边缘在本征值较大的方向上贡献信息(即，如果对于该方向已经存在重要信息)，则该边缘被分配较低的权重(因为权重乘数较低)。相反，如果边缘在本征值小的方向上(即，在很少或没有信息可用的方向上)贡献信息，则其权重很大(因为权重乘数很高)。更一般地，在替代实施例中可以采用多种这样的函数：(a)当输入很小时输出很大，(b)当输入很大时输出很小，(c)是连续的，以及(d)单调递减。在一个示例中，向下倾斜的线可以提供可行的功能。因此，基于参数a、b和c采用的特定值，上述高斯函数是用于实现期望目标的方便且有效的机制。可以将参数设置为另一个值以实现期望的结果—例如可以将c设置为2.5。
通过改变参数a，可以控制权重边缘何时会在新的方向上贡献信息。请注意，如果a等于100，则边缘将变得比法线重要得多。相反，如果a等于1，则边缘变得不如当前实施方式重要。
通过改变参数b(从其正常值0)，高斯曲线732水平移动，如图7B中的示例性曲线图730所示。因为该函数(例如，b＝2)在实数的正半部不是单调递减的，并且对于该实施例来说不是有效函数。同样，b的负值产生图7C的曲线图740中的曲线742。如图所示，在该示例中，曲线742的正半部表现出更急剧的初始衰减。这种特性(可能不利地)忽略了衰减较小的曲线部分(例如0和0.001之间的区域)。
改变c值会改变曲线的向外延伸，这可能会影响低信息边缘的权重分配。因此，为了使低信息边缘的权重更高，可以增加c值。为了使低信息边缘的权重更低，可以减小c值。图7D示出了曲线图750，其描绘了上述高斯曲线752(图7D)，以及c值等于4的附加分布曲线754。在第二曲线754中，应该清楚的是，低信息边缘(本征值较大的边缘)位于x轴右侧更远的位置，并且将被分配更高的权重。
还应该清楚的是，低本征值在高斯(或类似)函数中是有意义的，因为如果法线没有提供关于方向的足够信息，那么边缘应该提供这样的信息。
然后，在处理600的步骤630中，由以下公式确定每个单独边缘的权重α：
其中u为边缘，vi是第i个本征向量。上面的公式包含两个部分。第一部分涉及各个边缘对给定方向贡献了多少信息，以及该方向对权重的整体计算有多重要。因此，如果边缘提供了重要信息，而法线没有提供该方向，那么计算的权重应该很高。相反，信息和方向重要性的任何其他组合都应该导致低计算权重。此外，由于边缘和本征向量之间的角度的正弦是两个向量的垂直程度的量度，因此其量度了边缘对相应方向贡献了多少信息(因为边缘对垂直于自身的方向贡献了信息)。上述公式的第二部分涉及各个方向有多重要—如果本征值很小，那么法线在各个方向上不会提供重要信息，因此，值g(λ)会很大。图7中的曲线图700示出了此，曲线图700示出了g(λ)相对于本征值λ的示例性曲线图710。请注意，随着λ的增加(在本例中，高于大约λ＝7)，g(λ)的值接近零(0)。
在步骤640中，将计算的权重值α被供给边缘和法线的运行时对准处理。利用这些权重，该处理可以定义混合度量，然后使用本领域技术人员已知的标准演算技术来确定在对准中最小化该度量的候选姿态(例如仿射变换等)。
现在参考图8的运行时粗略和精细3D对准处理800。在步骤810中，将一个或多个运行时对象放置在一个或多个3D相机的视场内，并且获取场景的一个或多个图像。在步骤820中，提供存储的训练/模型信息用于对准运行时图像数据以及完成对准处理所需的任何其他数据——阈值、特定算法、设置等(这可以在下个步骤830中的粗略对准之前或之后进行)。在步骤830中执行粗略对准，在步骤830中，将对象的识别特征与模型特征粗略对准。这可以包括将运行时图像中的特征与各种模型进行比较，以提供最接近的匹配，例如最接近运行时特征的定向的模型定向。粗略对准可以基于边缘对准或源表面法线和目标表面法线的比较，以及其他粗略对准技术。
然后，在步骤840中细化3D对准，这需要分析3D图像中的对象特征，并确定边缘和法线的特征以生成上述加权。这些加权以如上所述的迭代方式应用于(例如)点到线和点到面(和/或基于ICP)的处理，从而可以生成候选3D姿态。值得注意的是，生成了候选姿态，该姿态同时(同步)将3D模型中的3D边缘与3D图像中的3D边缘匹配，并将3D模型中的3D法线与3D图像中的3D法线匹配。然后，可将常规对准处理应用于姿态，例如，将某些3D形状解析成2D图像，并使用视觉工具应用基于边缘的仿射变换(图1中的152)。然后，在步骤850中，将结果提供给后续处理使用，例如质量控制、零件检查、机器人操作和/或零件组装。
IV.结论
应该清楚的是，上述用于相对于模型3D数据对准3D对象的系统和方法有效地处理了这样一个事实，即可以在成像场景内以不适合于特定姿态确定/对准算法的各种定向观察对象。更具体地说，说明性系统和方法可以对所获取的3D特征集中的边缘或法线的使用是否是优选的做出灵活的决定。这以更有效的方式产生了更好的结果。
前面已经详细描述了本发明的说明性实施例。在不脱离本发明的精神和范围的情况下，可以进行各种修改和添加。上述各种实施例中的每一个的特征可以适当地与所描述的其它实施例的特征组合，以便在相关联的新实施例中提供多种特征组合。此外，尽管前面描述了本发明的设备和方法的多个单独的实施例，但是这里所描述的仅仅是对本发明原理的应用的说明。注意，如本文所定义的，“对象”可以包括平面表面的一部分。此外，例如，如本文所使用的，各种方向和定向术语(及其语法变体)，例如“垂直”、“水平”、“上”、“下”、“底部”、“顶部”、“侧部”、“前部”、“后部”、“左侧”、“右侧”、“向前”、“向后”等，仅用作相对于固定坐标系的相对约定，而不是用作相对于固定坐标系的绝对定向，例如重力的作用方向。此外，所描绘的处理或处理器可以与其他处理和/或处理器组合，或者被划分为各种子处理或处理器。根据本文的实施例，这种子处理和/或子处理器可以进行不同组合。同样，明确地预期，本文的任何功能、处理和/或处理器可以使用电子硬件、由程序指令的非暂时性计算机可读介质组成的软件、或者硬件和软件的组合来实现。因此，该描述仅作为示例，而不是限制本发明的范围。

Claims (20)

1.一种在通过3D相机组件获取的对象的3D图像中查找3D模型的姿态的方法，包括以下步骤：
将所述3D模型提供给视觉系统处理器；
将所获取的3D图像提供给所述视觉系统处理器；以及
通过所述处理器查找一姿态，所述姿态同时将所述3D模型中的3D边缘匹配至所述3D图像中的3D边缘以及将所述3D模型中的3D法线匹配至所述3D图像中的3D法线。
2.如权利要求1所述的方法，其中查找步骤包括对所述3D图像中的3D边缘和所述3D图像中的3D法线进行加权，以对所述图像中的3D边缘相对3D法线的使用进行加权。
3.如权利要求2所述的方法，其中，所述查找步骤分别确定(a)所述对象的平面是否提供关于在平行于所述3D法线的方向上的对准的信息，以及(b)所述对象的边缘是否提供关于在垂直于所述边缘的一个或多个方向上的对准的信息。
4.如权利要求1所述的方法，还包括使用点到线度量将所述3D模型中的3D边缘匹配至所述3D图像中的3D边缘。
5.如权利要求4所述的方法，还包括使用点到平面度量将所述3D模型中的3D法线匹配至所述3D图像中的3D法线。
6.如权利要求1所述的方法，还包括使用点到平面度量将所述3D模型中的3D法线匹配至所述3D图像中的3D法线。
7.如权利要求3所述的方法，其中，所述查找步骤包括定义一法线信息矩阵，所述法线信息矩阵表示其上存在足够信息量的方向。
8.如权利要求7所述的方法，还包括对所述矩阵执行主分量分析(PCA)，以识别信息并确定其可用性，以用于所述查找步骤。
9.如权利要求8所述的方法，其中执行步骤包括分别针对在各个方向上贡献的信息量和可用的信息来评估所述边缘。
10.如权利要求9所述的方法，其中，所述执行步骤根据以下步骤来评估边缘：
(a)如果各个边缘中的其中一个在重要的方向上贡献了大量信息，则在计算中为所述边缘分配较高的权重，以及
(b)如果各个边缘中的其中一个在重要的方向上没有贡献大量信息，或者如果所述方向不重要，则在计算中为所述边缘分配相对较低的权重。
11.如权利要求6所述的方法，还包括操作线性最小化函数，该线性最小化函数同时最小化使用点到平面度量计算的距离总和加使用点到边缘度量计算的距离总和。
12.一种在通过3D相机组件获取的对象的3D图像中查找3D模型的姿态的系统，包括：
视觉系统处理器，其接收3D模型和获取的3D图像；和
姿态查找处理，其同时将所述3D模型中的3D边缘匹配至所述3D图像中的3D边缘以及将所述3D模型中的3D法线匹配至所述3D图像中的3D法线。
13.如权利要求12所述的系统，其中，所述姿态查找处理对所述3D图像中的3D边缘和所述3D图像中的3D法线进行加权，以对所述图像中的3D边缘相对3D法线的使用进行加权。
14.如权利要求13所述的系统，其中所述姿态查找处理分别确定(a)所述对象的平面是否提供关于在平行于所述3D法线的方向上的对准的信息，以及(b)所述对象的边缘是否提供关于在垂直于所述边缘的一个或多个方向上的对准的信息。
15.如权利要求14所述的系统，其中所述姿态查找处理进行至少一项以下匹配：(a)使用点到线度量将所述3D模型中的3D边缘与匹配至所述3D图像中的3D边缘，以及(b)使用点到平面度量将所述3D模型中的3D法线匹配至所述3D图像中的3D法线。
16.如权利要求15所述的系统，其中，所述姿态查找处理定义了表示其上存在足够信息量的方向的法线信息矩阵。
17.如权利要求16所述的系统，其中所述姿态查找处理对所述矩阵执行主分量分析(PCA)，以识别信息并确定其可用性，用于姿态查找。
18.如权利要求17所述的系统，其中，所述姿态查找处理包括一评估处理，该评估处理分别针对在各个方向上贡献的信息量和可用信息来评估所述边缘。
19.如权利要求18所述的系统，其中所述评估处理根据以下内容评估姿态边缘：
(a)如果各个边缘中的其中一个边缘在重要的方向上贡献了大量信息，则在计算中为所述边缘分配较高的权重，以及
(b)如果各个边缘中的其中一个边缘在重要的方向上没有贡献大量信息，或者如果所述方向不重要，则在计算中为所述边缘分配相对较低的权重。
20.如权利要求15所述的系统，还包括线性最小化处理，该线性最小化处理同时最小化使用点到平面度量计算的距离总和加使用点到边缘度量计算的距离总和。
CN201910129981.2A 2018-02-21 2019-02-21 通过视觉系统同时考虑图像特征中边缘和法线的系统和方法 Active CN110176075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311309936.8A CN117541753A (zh) 2018-02-21 2019-02-21 通过视觉系统同时考虑图像特征中边缘和法线的系统和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/901,117 2018-02-21
US15/901,117 US10957072B2 (en) 2018-02-21 2018-02-21 System and method for simultaneous consideration of edges and normals in image features by a vision system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311309936.8A Division CN117541753A (zh) 2018-02-21 2019-02-21 通过视觉系统同时考虑图像特征中边缘和法线的系统和方法

Publications (2)

Publication Number Publication Date
CN110176075A true CN110176075A (zh) 2019-08-27
CN110176075B CN110176075B (zh) 2023-10-20

Family

ID=67482273

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910129981.2A Active CN110176075B (zh) 2018-02-21 2019-02-21 通过视觉系统同时考虑图像特征中边缘和法线的系统和方法
CN202311309936.8A Pending CN117541753A (zh) 2018-02-21 2019-02-21 通过视觉系统同时考虑图像特征中边缘和法线的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311309936.8A Pending CN117541753A (zh) 2018-02-21 2019-02-21 通过视觉系统同时考虑图像特征中边缘和法线的系统和方法

Country Status (4)

Country Link
US (2) US10957072B2 (zh)
JP (3) JP6983828B2 (zh)
CN (2) CN110176075B (zh)
DE (1) DE102019104310A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696124A (zh) * 2020-02-14 2020-09-22 牧今科技 用于处理候选边缘的方法和计算系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962630B1 (en) * 2019-10-18 2021-03-30 Toyota Research Institute, Inc. System and method for calibrating sensors of a sensor system
CN113405451B (zh) * 2020-10-15 2022-05-31 南京航空航天大学 一种基于单目视觉的齿形结构装配测量方法
US11861793B2 (en) * 2022-05-24 2024-01-02 Hunan University Method for merging surface skin three-dimensional data
US20240029407A1 (en) * 2022-07-22 2024-01-25 General Electric Company Machine learning model training corpus apparatus and method
CN116108722B (zh) * 2023-02-28 2024-05-07 南京理工大学 基于数字孪生的大型结构件面形调控方法
CN117824546A (zh) * 2024-03-04 2024-04-05 泉州湖南大学工业设计与机器智能创新研究院 一种洗手盆平面度检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060285755A1 (en) * 2005-06-16 2006-12-21 Strider Labs, Inc. System and method for recognition in 2D images using 3D class models
US20080298672A1 (en) * 2007-05-29 2008-12-04 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US20100166294A1 (en) * 2008-12-29 2010-07-01 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
US20130121548A1 (en) * 2010-07-26 2013-05-16 Kjaya, Llc Adaptive visualization for direct physician use
US20130156262A1 (en) * 2011-12-19 2013-06-20 Yuichi Taguchi Voting-Based Pose Estimation for 3D Sensors
CN104204783A (zh) * 2012-03-14 2014-12-10 欧姆龙株式会社 图像检查方法和检查区域设定方法
DE102014108858A1 (de) * 2013-06-28 2014-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. Verfahren und Vorrichtung zum Abschätzen und Verfolgen von Form und Pose eines dreidimensionalen Objekts
CN104662435A (zh) * 2012-09-27 2015-05-27 Metaio有限公司 确定与用于捕获至少一个图像的捕获装置关联的装置的位置和方向的方法
JP2016109669A (ja) * 2014-11-28 2016-06-20 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN105993034A (zh) * 2014-02-13 2016-10-05 微软技术许可有限责任公司 用于增强表面重构的轮廓求全

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5028138A (en) 1989-05-23 1991-07-02 Wolff Lawrence B Method of and apparatus for obtaining object data by machine vision form polarization information
US5078496A (en) 1990-08-14 1992-01-07 Autospect, Inc. Machine vision surface characterization system
USRE37752E1 (en) 1992-10-29 2002-06-18 Equinox Corporation Polarization viewer
US5557324A (en) 1992-10-29 1996-09-17 The Johns Hopkins University Polorization viewer
EP0718624A3 (en) 1994-12-19 1997-07-30 At & T Corp Device and method for illuminating transparent and semi-transparent materials
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6858826B2 (en) 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
US6064759A (en) 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US6690841B2 (en) 1997-07-07 2004-02-10 General Electric Company Method and apparatus for image registration
US6173070B1 (en) 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
US7274810B2 (en) 2000-04-11 2007-09-25 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
JP3513562B2 (ja) 2000-04-20 2004-03-31 インターナショナル・ビジネス・マシーンズ・コーポレーション 形状解析システム、３次元形状モデルの差分検出システム、類似形状検索システム、形状解析方法及び記憶媒体
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
US20040184653A1 (en) 2003-03-20 2004-09-23 Baer Richard L. Optical inspection system, illumination apparatus and method for use in imaging specular objects based on illumination gradients
WO2006002320A2 (en) 2004-06-23 2006-01-05 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
US7576738B2 (en) * 2005-05-27 2009-08-18 California Institute Of Technology Method for constructing surface parameterizations
US7756325B2 (en) 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
US8064731B2 (en) 2006-11-13 2011-11-22 Siemens Audiologische Technik Gmbh Generalized rigid alignment of 3D ear impression models
US8591225B2 (en) 2008-12-12 2013-11-26 Align Technology, Inc. Tooth movement measurement by automatic impression matching
US8090160B2 (en) 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
US8085987B2 (en) 2007-10-26 2011-12-27 Ahmed Shalaby Method and tool for surface texture evaluation
US8786595B2 (en) 2008-06-10 2014-07-22 Pinpoint 3D Systems and methods for estimating a parameter for a 3D model
EP2327061A4 (en) 2008-08-15 2016-11-16 Univ Brown METHOD AND DEVICE FOR ESTIMATING BODY SHAPES
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
JP5746477B2 (ja) * 2010-02-26 2015-07-08 キヤノン株式会社 モデル生成装置、３次元計測装置、それらの制御方法及びプログラム
US8660355B2 (en) 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US10702216B2 (en) 2010-06-08 2020-07-07 Styku, LLC Method and system for body scanning and display of biometric data
US8942062B2 (en) 2010-10-25 2015-01-27 Lockheed Martin Corporation Detecting structural changes to underwater structures
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US20120314031A1 (en) 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
EP2751748B1 (en) 2011-08-30 2019-05-08 Digimarc Corporation Methods and arrangements for identifying objects
US9129277B2 (en) 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US9593982B2 (en) 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9196088B2 (en) 2013-03-14 2015-11-24 Robert Bosch Gmbh System and method for classification of three-dimensional models in a virtual environment
US9154773B2 (en) 2013-03-15 2015-10-06 Seiko Epson Corporation 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
WO2014169238A1 (en) 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US9443297B2 (en) 2013-07-10 2016-09-13 Cognex Corporation System and method for selective determination of point clouds
WO2016007936A2 (en) * 2014-07-10 2016-01-14 Mahfouz Mohamed R Bone reconstruction and orthopedic implants
KR102306780B1 (ko) 2014-12-15 2021-09-30 삼성전자주식회사 영상 처리 장치 및 방법
US10115035B2 (en) 2015-01-08 2018-10-30 Sungkyunkwan University Foundation For Corporation Collaboration Vision system and analytical method for planar surface segmentation
KR102399686B1 (ko) * 2015-07-28 2022-05-19 삼성전자주식회사 3d 렌더링 방법 및 장치
WO2017096299A1 (en) 2015-12-04 2017-06-08 Autodesk, Inc. Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans
US20180053040A1 (en) * 2016-08-19 2018-02-22 Umm Al-Qura University System and method for 3d local surface matching
JP6697986B2 (ja) * 2016-09-07 2020-05-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像領域分割方法
US9990780B2 (en) * 2016-10-03 2018-06-05 Ditto Technologies, Inc. Using computed facial feature points to position a product model relative to a model of a face
US10309777B2 (en) 2016-12-30 2019-06-04 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
SG10201700299QA (en) 2017-01-13 2018-08-30 Otsaw Digital Pte Ltd Three-dimensional mapping of an environment

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060285755A1 (en) * 2005-06-16 2006-12-21 Strider Labs, Inc. System and method for recognition in 2D images using 3D class models
US20080298672A1 (en) * 2007-05-29 2008-12-04 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US20100166294A1 (en) * 2008-12-29 2010-07-01 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
US20130121548A1 (en) * 2010-07-26 2013-05-16 Kjaya, Llc Adaptive visualization for direct physician use
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
US20130156262A1 (en) * 2011-12-19 2013-06-20 Yuichi Taguchi Voting-Based Pose Estimation for 3D Sensors
CN104204783A (zh) * 2012-03-14 2014-12-10 欧姆龙株式会社 图像检查方法和检查区域设定方法
CN104662435A (zh) * 2012-09-27 2015-05-27 Metaio有限公司 确定与用于捕获至少一个图像的捕获装置关联的装置的位置和方向的方法
US20150235367A1 (en) * 2012-09-27 2015-08-20 Metaio Gmbh Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
DE102014108858A1 (de) * 2013-06-28 2014-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. Verfahren und Vorrichtung zum Abschätzen und Verfolgen von Form und Pose eines dreidimensionalen Objekts
CN105993034A (zh) * 2014-02-13 2016-10-05 微软技术许可有限责任公司 用于增强表面重构的轮廓求全
JP2016109669A (ja) * 2014-11-28 2016-06-20 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
T.F. COOTES，ETC: "On representing edge structure for model matching", 《PROCEEDINGS OF THE 2001 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. CVPR 2001》 *
吕丹: "基于点法向量姿态估计的激光雷达距离像目标识别算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
吕丹: "基于点法向量姿态估计的激光雷达距离像目标识别算法研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 01, 15 January 2018 (2018-01-15), pages 136 - 71 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696124A (zh) * 2020-02-14 2020-09-22 牧今科技 用于处理候选边缘的方法和计算系统

Also Published As

Publication number Publication date
JP2023159360A (ja) 2023-10-31
CN117541753A (zh) 2024-02-09
JP6983828B2 (ja) 2021-12-17
US11881000B2 (en) 2024-01-23
JP7339316B2 (ja) 2023-09-05
JP2022028860A (ja) 2022-02-16
CN110176075B (zh) 2023-10-20
US10957072B2 (en) 2021-03-23
DE102019104310A1 (de) 2019-08-22
US20190259177A1 (en) 2019-08-22
US20210366153A1 (en) 2021-11-25
JP2019153290A (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
CN110176075A (zh) 通过视觉系统同时考虑图像特征中边缘和法线的系统和方法
US10482621B2 (en) System and method for improved scoring of 3D poses and spurious point removal in 3D image data
KR101865655B1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
US8126260B2 (en) System and method for locating a three-dimensional object using machine vision
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
Diaz et al. Analysis and evaluation between the first and the second generation of RGB-D sensors
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
JP6503153B2 (ja) ビジョンシステムにおいて３ｄアライメントアルゴリズムを自動選択するためのシステム及び方法
US10984609B2 (en) Apparatus and method for generating 3D avatar
WO2021024402A1 (ja) 寸法計測装置、寸法計測方法及び半導体製造システム
US6993177B1 (en) Gauging based on global alignment and sub-models
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2020512536A (ja) モデルベースのピーク選択を使用した３ｄプロファイル決定のためのシステム及び方法
Ahn et al. Geometric segmentation and object recognition in unordered and incomplete point cloud
CN112488112B (zh) 目标对象识别方法、装置、电子设备及存储介质
Kim et al. Extraction of geometric primitives from point cloud data
Martin et al. Real time tracking of borescope tip pose
Koljonen Computer vision and optimization methods applied to the measurements of in-plane deformations
Garcia et al. 3D inspection system for manufactured machine parts
Vila Clarà et al. Automatic silo axis detection from RGB-D sensor data for content monitoring
Radkowski Shape Inspection Using N-View Error Accumulation on Low-Fidelity Point Clouds
Sølund et al. Teach it yourself-fast modeling of industrial objects for 6D pose estimation
JP2023128662A (ja) 計測システム
Gee Small 3-D Reconstructions from Calibrated Sequential Stereo Images
Schutz et al. 3D vision in a virtual reality robotics environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant