CN107680125B - 在视觉系统中自动选择三维对准算法的系统和方法 - Google Patents

在视觉系统中自动选择三维对准算法的系统和方法 Download PDF

Info

Publication number
CN107680125B
CN107680125B CN201710641970.3A CN201710641970A CN107680125B CN 107680125 B CN107680125 B CN 107680125B CN 201710641970 A CN201710641970 A CN 201710641970A CN 107680125 B CN107680125 B CN 107680125B
Authority
CN
China
Prior art keywords
dimensional
training
features
image
runtime
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710641970.3A
Other languages
English (en)
Other versions
CN107680125A (zh
Inventor
S·巴克
D·J·迈克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of CN107680125A publication Critical patent/CN107680125A/zh
Application granted granted Critical
Publication of CN107680125B publication Critical patent/CN107680125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Abstract

提供一种在三维视觉系统中选择三维对准算法的系统和方法。该系统和方法包括三维摄像机组件，以获取由具有运行时对象特征的三维点云或运行时三维距离图像，和视觉系统处理器所限定的至少一张运行时图像。提供训练图像。其由具有模型特征的三维点云或三维距离图像限定。选择程序由视觉处理器操作。其分析具有模型特征的训练图像至少一个训练区域，并在至少一个训练区域内确定表面法向量的分布。其还基于特性的分布，从多个可用的三维对准算法中选择至少一个三维对准算法，将模型的特征与运行时对象的特征对准。

Description

在视觉系统中自动选择三维对准算法的系统和方法
相关申请
本申请要求于2016年8月1日提交的序列号为62/369,702，标题为“SYSTEM ANDMETHOD FOR AUTOMATIC SELECTION OF 3D ALIGNMENT ALGORITHMS IN A VISION SYSTEM”的美国临时申请的优先权，且其内容特此通过引用方式并入本文。
技术领域
本发明涉及机械视觉系统，并更具体地涉及对已训练的三维(3D)图案进行到三维图像特征识别和对齐的视觉系统。
背景技术
机械视觉系统，在此又称“视觉系统”，是用于在制造业环境中执行多种任务。通常，一个视觉系统包括一个或者多个具有图像传感器(或者“成像器”)的摄像机组件，获取含有在制造中的对象的场景灰度或者彩色图像。对对象的图像进行分析以向用户和相关制造过程提供数据/信息。由摄像机生成的数据通常由在一个或者多个视觉系统处理器中的视觉系统进行分析和处理，视觉系统处理器可以是专用的，或在通用计算机(例如PC、笔记本电脑、平板电脑或智能手机)内的一个或多个软件应用的一部分处理。
常见的视觉系统任务包括对准和检查。在对准任务中，视觉系统工具，例如Natick，MA的Cognex公司所销售的著名
Figure GDA0002959878920000011
系统，将在场景的二维(2D)图像中的特征与已训练的(使用实际或合成模型)2D图案比较，并确定在2D图像场景中2D图案的存在/不存在和在2D图像场景中放置2D图案。该信息可用于后继检查(或其他)操作中，以搜索缺陷和/或执行其它操作，例如部分拒绝。
使用视觉系统的特定任务是在运行期间基于已训练的三维模型形状，对准三维(3D)目标形状。三维摄像机可基于各种技术，例如，激光位移传感器(分析仪)、立体摄像机、声纳、激光或光雷达测距摄像机、飞行时间摄像机和其它各种无源的或有源的测距技术。这些摄像机产生距离图像，其中所产生的图像像素的阵列(通常表征为沿正交的x和y轴的位置)，其还包含每一个像素的第三(高度)尺寸(通常沿垂直于x-y平面的z轴表征)。可替代地，这些摄像机可以生成成像对象的点云表示。点云是在空间中三维点的集合，其中每一点i可表示为(Xi，Yi，Zi)。点云可表示完整的三维对象，包括对象的背面和侧面，顶面和底面。多个三维点(Xi，Yi，Zi)代表在空间中对象对摄像机可见的位置。在这种表示中，用不存在点来表示空的空间。
通过比较，表示为Z(x，y)的三维距离图像类似于表示为I(x，y)二维图像，其中深度或高度Z可替换为在图像中位置x，y的亮度/强度I。距离图像仅表示对象直接面向摄像机的正面，因为仅有单个深度与任一点位置x，y相关。距离图像通常不能表示对象的背面或侧面，顶面或底面。距离图像通常在每一个位置(x，y)都有数据，即使摄像机在这些位置上没有信息。可以由本领域技术人员清楚的方式将距离图像转换为三维点云。
将获取的或由合成(例如CAD)过程生成的目标图象来对准(同样也可以是获取或合成的)模型图像，其中一种方法包含目标三维点云与模型的匹配/比较，以致力于寻找最佳匹配姿势。比较可以包含对模型的目标的覆盖范围的评分。超过某个阈值的评分被认为是可接受的匹配/姿势估计，且这些信息被用于生成对准结果。然而，基于三维图像准确有效地生成对准结果仍然是具有挑战性的。
最好用一个或多个相应的三维对准(对齐)算法实现在多个三维距离图像或多个三维点云图像中对准三维对象，这些算法适用于对象的三维形状。如果使用不合适的三维对准算法，三维对准程序可能由于查找不正确的结果姿势或根本找不到结果而失败或执行不佳。当前的方法通常要求用户理解适用于感兴趣对象或应用情况的算法细节，且在设置时手动选择由视觉系统接口所提供的对准算法(或可替代地，组合由视觉系统提供的模块所选择的算法)。
发明内容
本发明通过提供一种自动选择适当的三维对准(对齐)算法，用于将由三维点云图像或三维距离图像限定的已训练三维模型对准三维对象的系统和方法，以克服现有技术的缺陷。系统提供了三维对准算法，在训练时间内通过视觉系统的接口自动选择。作为实例，算法可包括迭代最近点(ICP)算法，其更适用于表面法向量具有高方差的图像，以及ICP基于边缘特征的混合算法，其更适用于分析包括边缘和具有表面法向量的相对单峰分布的对象形状。系统分析已训练的三维图像以确定其所表示的形状类型，并在训练时间选择适当的算法。该训练时间的选择被存储以用于在运行时使用，且用于分析与已训练模型三维图像相关的运行时对象。可替代地，可训练多个算法，且可以将自动选择延迟到运行时操作。
在一个说明性实施例中，提供了一种用于在三维视觉系统中的多个三维对准算法之间进行选择的系统和方法。该系统和方法包括三维摄像机组件和视觉系统处理器，其中三维摄像机组件至少获取由三维点云限定的运行时图像或具有运行时对象特征的三维距离图像。提供训练图像。其由三维点云或具有模型特征的三维距离图像限定。选择程序由视觉处理器操作。其分析至少一个具有模型特征的训练图像的训练区域，并在至少一个训练区域内确定表面法向量的分布。其还基于分布的特性，从多个可用的三维对准算法中选择至少一个三维对准算法，以将模型的特征与运行时对象的特征对准。说明性地，选择程序被配置为定位在训练图像中的至少一个进行训练的训练区域，并且训练图像通过三维摄像机组件获取或作为合成图像提供。所选择的三维对准算法以粗略三维对准程序和精确三维对准程序中的至少一个，将模型的特征与运行时对象的特征对准。分布的特性可以是表面法向量的单峰分布的方差程度，且选择程序被配置为将方差程度与阈值进行比较。说明性地，如果方差高于高阈值，则选择程序被配置为选择ICP算法。反之，如果方差低于低阈值，则选择程序被配置为选择基于边缘和ICP的混合算法。高阈值和低阈值中的至少一个可以由(a)自动过程或(b)用户指定过程中的至少一个设置。此外，自动过程和用户指定过程中的至少一个可以是基于在训练图像中的对象类型。说明性地，如果方差在高阈值和低阈值之间，选择程序被配置为提示用户选择至少一个三维对准算法。在多种实施例中，三维摄像机组件可以包括多个位于隔开位置的分散三维摄像机，以拍摄包含运行时对象的场景。可替代地，三维摄像机组件可以包括使用各种三维图像获取技术中的一种的分散三维摄像机。说明性地，如果高阈值被设为低于低阈值，且方差在高阈值和低阈值之间，算法中的一个或者两个可用于训练。
附图说明
下面参考附图描述本发明，其中：
图1是包括一个或多个三维摄像机组件的视觉系统示意图，在训练或运行期间获取对象的图像，其中合适的三维对准(对齐)算法由视觉系统自动选择；
图2示出了根据说明性实施例，在训练时间期间自动选择适用于在三维点云图像或距离图像中预定特征的三维对准算法的程序流程图；
图3是示例性用户界面屏幕的示意图，显示了提供围绕每个示例性特征集的与三维表面几何相关的三维特征和相关表面法向量的边框；
图4是根据图2的确定在三维对准算法的选择中的阈值的说明性程序流程图；和
图5是根据说明性实施例，在运行期间执行从图2的程序所选择的三维对准算法的程序的流程图。
具体实施方式
图1示出机械视觉系统配置(在本文也称为“视觉系统”)100，用于检查和/或分析在对象110的表面112上的特征，其在一个或多个三维视觉系统摄像机组件120和130的视野(FOV)之内成像。每个摄像机组件120、130可以是用于三维成像部件的任何可接受配置。摄像机组件120，130的每个被适配为确定第三正交尺寸(例如，沿各个摄像机坐标系128，138的各自的z1，zN轴的高度)，其组成对象表面112的三维“距离图像”。可使用各种技术以生成用于各个图像像素的高度数据，例如激光位移传感器(分析仪)、立体摄像机、声纳、激光或光雷达测距摄像机、飞行时间摄像机和其他各种无源或有源的测距技术。应注意，在整体配置中可以仅使用一个摄像机组件，或更大数量(例如三个或更多)的摄像机组件，并且术语“三维摄像机组件”在本文可替代地使用，以描述一个或多个用于生成对象表面的三维点云或距离图像表示的分散三维摄像机组件的整体配置。
尽管未在图中示出，一个用于生成三维距离图像或点云的三维摄像机组件的示例性类型是激光位移传感器，其投影激光扇形(或另一结构性照明)在对象表面112以形成线(例如横跨x轴方向)，和在激光位移传感器的各自成像器126，136接收投影线在照明扇形的平面和各个成像器光轴OA1，OAN之间的相对(锐)角(A)的反射光。如上所述，可以使用其他形式生成距离或高度信息，包括，例如光雷达、结构性光系统、立体视觉系统(例如一对隔开的摄像机120和130)，DLP(Digital Light Processing，数字光处理)计量等等。全部这些系统生成了为像素提供高度值(例如Z坐标)的图像。
在一个典型配置中，三维摄像机组件120和/或对象110可以相对运动(例如在一个或多个摄像机的物理y轴坐标方向上)，使得对象表面112由一个或多个激光位移传感器扫描，且系列图像以期望空间间隔的激光线获取，通常以与运动控制器关联和与编码器或其他运动测量装置相关联(或，可替代地，基于时间间隔)，其传送动作信息140到系统视觉处理器(150，后文描述)。在这方面，在对象上的点的位置沿运动方向定义为坐标Yi。由三维摄像机组件获取的点(Xi，Yi，Zi)的集合定义为点云。其它实施例中，三维摄像机组件相对于对象不运动。
摄像机主体124，134可以包含各种图像处理部件，其构成操作相关视觉过程的视觉系统处理器150。视觉处理器150基于场景和/或其它来源(例如模型的CAD表示)的已获取图像，对图像数据142进行操作，并可以使用视觉系统工具和过程152从已获取图像提取信息。该信息可以涉及感兴趣特征和其它出现在图像之内的项目(例如边缘，水滴等等)，例如视觉系统工具，诸如Natick，MA的Cognex公司出售的著名的
Figure GDA0002959878920000041
可用于分析在图像中的二维和三维特征，并提供有关相对姿势，对准和其它细节的信息。尽管部分或全部视觉系统过程可安装在摄像机组件120，130的主体124，134之内，但是可清楚地设想到，部分或全部过程可由互相连接的(有线或无线)，带有合适的用户接口(鼠标/键盘)162和/或显示器164(例如触感屏幕)的计算装置/处理器160执行，例如专用处理器或通用计算机(例如服务器、PC机、膝上型轻便电脑、智能手机和平板电脑等等)。互相连接的计算装置/处理器160可以使用已处理图像数据，通过通信链路166或其它接口配置，以执行进一步的使用过程或任务。例如，在视觉系统执行检查任务的情况下，信息可用于向数据库提供品质控制信息，或拒绝在一生产线上有缺陷的零件。如下所述，采用任务包括三维对准信息168的使用。
训练过程(处理器)或模块154处理包括三维距离图像或点云数据的一个或多个三维模型/表示的训练和存储，其限定特征有助于模型对准，特征由运行时三维距离图像或运行时(目标)对象的点云图像建立。一个或多个已训练模型可以包含建立在对象的总体视图、特定对象的不同的零件或朝向和/或多个对象上的特征。
在说明性实施例中，视觉过程和处理器150包括对准过程(处理器)或模块156，其使用适当的对准算法(或过程)尝试将模型的特征和运行时(目标)三维图像的特征对准。对准过程(处理器)156和训练过程(处理器)154中的每个与三维对准算法选择过程(处理器)或模块158相互操作，其分析在三维距离图像或三维点云图像中模型的三维表面特征，以确定多个三维算法中的哪一个最适合表面形状。
参照图2的训练程序200，系统在训练时间获取或提供模型的图像作为三维点云或距离图像。该图像可通过在一个或多个方向上包含模型/训练对象的场景进行成像而产生，或提供对象和/或其部分的“合成”(例如CAD)表示。实际的或合成的图像可在步骤212中，通过作为训练过程一部分的接口提供给用户。应该注意，步骤212是可选的，且图像可直接向系统提供，而不需要任何关于对象类型或阈值设定的用户输入。可替代地，阈值可基于使用视觉系统工具自动识别对象类型或表面特征而设置。在使用用户接口的情况下，图像通常可如图3的显示器300所示显示。用户可以操纵图像，如围绕各自图像312和322的边框310和320所示，包括围绕部分或全部训练对象的边框的放置(步骤214)。边框的尺寸和形状可由用户决定，或者感兴趣区域可通过本领域技术人员应该清楚的自动机制界定。可替代地，感兴趣区域和相应的训练特征可通过CAD数据源提供，或由某些其他形式的图像数据各自/共同提供。通过界定将要分析的感兴趣区域，对准过程省略与对准无关的任何模型特征和/或从模型分离的背景特征。可替代地，整个已获取的图像可用于模型。
在程序200的步骤216中，算法选择过程(处理器)(图1中的158)在感兴趣的有界区域310、320的特征上建立表面法向量，并利用该表面法向量的分布(步骤218)确定适用于该对象和分布的对准算法。
如图3所示，模型312，322所描述的表面(实际上由三维距离图像或三维点云限定)包括沿各自表面，代表在局部点的垂直线的表面法向量集合。法向量的颗粒度是高度可变的。通常，它可以由用户在训练期间指定参数的一部分，或在训练期间由对准系统使用(例如)本领域技术人员所清楚的技术自动决定。通常，系统可以存储系统经常遇到的各种表面类型和/或对象类型参数集(例如，螺栓、球、计算机屏幕、电路芯片、罐和盖等等)。为这些项目提供预定的参数。可替代地，用户可以为特定的模型设置指定的参数，或自动确定。还可以为模型的指定朝向设置参数。例如，瓶子从它的侧面看起来比从它的顶面看起来不同。
参照图4，提供了用于通过分析表明法向量分布在算法之间选择的示例性程序400。程序测量法向量之间相对于彼此所表现的角度变化量大小，并使用该测量值作为算法选择的基础。如上所述，程序在每个区域建立表面法向量(步骤410)。法向量用于形成法向的协方差矩阵。说明性地，方向表示为极坐标内的弧度，使得方差是线性的(步骤420)。协方差矩阵被分解以确定其特征值(步骤430)。可将特征值求和，且在阈值操作中使用该总和(步骤440)，确定适当的三维算法。更一般地，程序400尝试确定在区域内法向量的分布是否统计上单峰的。其它本领域技术人员所清楚的技术可用于确定分布。显然，用于确定算法的阈值可受用户输入或自动确定的对象或表面的类型和其朝向影响(可由视觉系统可靠地识别对象类型)。
在图2的训练程序200中，所述分布可以在一定范围外(判定步骤240和分支242)，使得系统不能建立用于过程的适当的三维对准算法。因此，程序200在步骤250中标记这个不确定的结果。在这种情况下，可以由接口提示用户手动选择算法(步骤252)，或将此判定推迟到运行时。当确定(步骤230)落入在阈值之内(判定步骤240)的情况下，程序260自动选择用于在运行时与已训练模型适合的三维对准算法。可替代地，程序可以确定多个最有效地/高效地操作的算法，并选择一个执行时间最短的算法。通过自动或者手动技术所选择的算法在步骤270中存储，以在运行时使用。
应当注意，也可以在给定的模型上训练多个算法，其中分布确定的结果落在某些阈值之外。然后，算法的最终选择可以延迟到运行时操作，可尝试由两者实现对准并确定哪一个算法产生更好的对准结果。
通过非限制性示例，两种常见的三维对准算法是ICP和混合的基于边缘/ICP。在ICP算法中，一个三维点云、参照或目标是保持固定的，而另一个三维点云和源变换以最佳匹配目标。算法迭代地修改需要最小化从源到参考点云距离的变换(平移和旋转的组合)。可以提供对准源和参照的变换的初始估计，并且还提供一个或多个用于停止迭代的标准。算法输出精确的变换(结果姿势)。在操作中，算法处理过程如下：
对在源点云中的每个点，查找在参考点云中的最近点；
使用均方误差成本函数估计旋转和平移的组合，将每个源点最佳地与前一步骤中找到的匹配点对准；
使用获得的变换来变换源点；和
迭代，再次关联点。
ICP算法对某些表面法向量分布方差高(高于给定的“高”阈值)的对象形状(例如模型322)有用。反之，ICP和基于边缘特征混合算法在方差小(低于给定的“低”阈值)的情况(例如模型312)下更理想。有多种可用的算法，其同时使用已知的基于边缘对准原理(例如，使用三维边缘检测以生成匹配模型和运行时图像之间的三维特征)和ICP的组合。作为实例，法向量之间低方差的平面或类似盒子等将导致ICP算法失败，因为它尝试迭对准源和目标的法向量。反之，在这种三维结构中发现的三维边缘可以对源和目标的对准形成强大的约束。因此，算法可以使用(例如)基于边缘的过程以初始对准，并且ICP在边缘的约束之内对准源和目标。提供了使用ICP和相关的三维对准算法的三维对准的描述，有用的背景信息在Holtz等人的文章《Registration with the Point Cloud Library》(IEEE Roboticsand Automation Magazine，第110-124页，2015年9月16日)中提供。
如图5所示和描述，运行时程序500在训练时间为模型存储一个或多个已选择的三维对准算法，用于对准带有已获取图像特征的模型。一个或多个运行时对象置于在一个或多个三维摄像机的视野之内，且一个或多个场景的图像在步骤510中获取。在步骤520中，来自训练步骤的存储选择信息用于选择适当的对准算法(这可以在粗略对准的之前或之后)。可替代地，如果在训练期间没有分离三维算法的选择，那么在运行期间可提示用户确定用于对象的运行时图像的最佳算法。粗略对准在步骤530中执行，在该步骤中一个或多个对象的已识别特征与模型特征粗略地对齐。这可包括比较在运行时图像内的特征与各个模型的特征以提供最接近的匹配，例如模型的朝向，即最接近运行时特征的朝向。粗略对准可以是基于边缘的对准，或者是源和目标表面法向量的比较，以及其他粗略对齐技术。基于上述选择，三维对准在步骤540精确化，且运行时程序500在步骤550返回三维对准结果。精确的三维对准可以是基于所选择的一个或多个算法或基于另一种技术，其中自动选择算法仅在粗略三维对准步骤期间(可选地)使用。反之，已选择的多个算法可以同时在粗略和精确三维对准期间使用。可替代地，可以使用一种算法的类型用于粗略对准(例如，基于边缘的)，而另一种类型(例如ICP)可用于精确三维对准。
应当注意，可明确地设想，额外的算法可用于特定类型的对准任务和相关的模型几何，且这些可以在训练时间与模型的类型相关联，在运行时用于粗略对准或精确对准。例如，使用视觉工具(在图1中的152)解决某些三维形状嵌入二维图像和执行基于边缘的仿射变换。
应该清楚的是，以上描述的系统和方法提供了一种方便和有效技术为用户训练三维对准系统，在存在多个可用选择的情况下，自动选择适当的三维对准算法。该系统和方法允许不同的算法在整个对象的不同部分和对象的不同朝向使用，从而提供最有效的方案。该系统和方法还允许在没有自动产生特定选择的情况下，用户在训练时间或运行时选择一个或多个算法。
以上详细地描述了本发明示例性实施例的具体实施方式。在不脱离本发明的精神和保护范围的情况下，可对本发明进行多种修改和补充。上所描述的各个不同实施例的特征可结合其它所述实施例的特征，以提供与新实施例相关的特征组合的多样化。进一步地，尽管上文描述本发明的装置和方法的多个单独的实施例，于此所描述的仅仅是本发明的原理的示例性应用。例如，在此使用的各种方向和取向术语(和其语法变体)，例如“垂直”、“水平”、“上”、“下”、“底面”、“顶面”、“侧面”、“正面”、“后面”、“左”、“右”、“前向”和“后向”等等，仅作为相对常规而不是相对于固定坐标系的绝对定向，例如重力的作用方向。此外，所述过程或处理器能够与其他过程和/或处理器组合或分为多个子过程或处理器。根据此处的实施例可对这种子过程和/或子处理器进行各种不同的组合。同样地，可明确设想到，在此所述的任何功能、过程和/或处理器能够利用电子硬件、包括程序指令的非临时计算机可读媒介的软件、或硬件和软件的结合实施。相应地，描述仅仅作为示例，而不是限制本发明的范围。

Claims (20)

1.一种用于在三维视觉系统中选择三维对准算法的系统，其特征在于，包括：
三维摄像机组件，以获取由具有运行时对象特征的三维点云或运行时三维距离图像，和视觉系统处理器所限定的至少一张运行时图像，和由具有模型特征的三维点云或三维距离图像所限定的训练图像；以及
由视觉处理器操作的选择程序，该选择程序用于：(a)分析具有模型特征的训练图像的至少一个训练区域，并确定在至少一个训练区域内表面法向量的分布；和(b)基于所述分布的特性，从多个可用的三维对准算法选择至少一个三维对准算法，将模型的特征与运行时对象的特征对准。
2.根据权利要求1所述的系统，其中，选择程序被配置为在训练图像内定位至少一个训练区域执行训练。
3.根据权利要求1所述的系统，其中，训练图像通过三维摄像机组件获取或以合成图像提供。
4.根据权利要求1所述的系统，其中，至少一种三维对准算法将模型的特征与运行时对象的特征在粗略三维对准过程和精确三维对准过程中的至少一个内对准。
5.根据权利要求1所述的系统，其中，分布的特性是关于表面法向量的单峰分布的方差程度，且选择程序被配置为比较方差程度与阈值。
6.根据权利要求5所述的系统，其中，(a)如果方差大于高阈值，则选择程序被配置为选择ICP算法，和(b)如果方差小于低阈值，则选择程序被配置为选择基于边缘和ICP的混合算法。
7.根据权利要求6所述的系统，其中，通过(a)自动过程或(b)用户指定过程中的至少一个过程来设置高阈值和低阈值中的至少一个。
8.根据权利要求7所述的系统，其中，当通过自动过程设置高阈值和低阈值中的至少一个时，所述自动过程基于在训练图像中的一种对象类型；而当通过用户指定过程设置高阈值和低阈值中的至少一个时，所述用户指定过程基于在训练图像中的一种对象类型。
9.根据权利要求6所述的系统，其中，如果方差在高阈值和低阈值之间，选择程序被配置为提示用户选择至少一个三维对准算法。
10.根据权利要求1所述的系统，其中，三维摄像机组件包括多个位于隔开位置的分散的三维摄像机，以拍摄包含运行时对象的场景。
11.一种用于在三维视觉系统中选择三维对准算法的方法，其特征在于，包括以下步骤：
获取步骤，通过三维摄像机组件，获取由具有运行时对象特征的三维点云或运行时三维距离图像，和视觉系统处理器所限定的至少一张运行时图像，和由具有模型特征的三维点云或三维距离图像所限定的训练图像；以及
选择步骤，由视觉处理器进行：(a)分析具有模型特征的训练图像的至少一个训练区域，并确定在至少一个训练区域内表面法向量的分布；和(b)基于所述分布的特性，从多个可用的三维对准算法选择至少一个三维对准算法，将模型的特征与运行时对象的特征对准。
12.根据权利要求11所述的方法，其中，在选择步骤，在训练图像内定位至少一个训练区域执行训练。
13.根据权利要求11所述的方法，其中，训练图像通过三维摄像机获取或以合成图像提供。
14.根据权利要求11所述的方法，还包括至少一种三维对准算法将模型的特征与运行时对象的特征在粗略三维对准过程和精确三维对准过程中的至少一个内对准。
15.根据权利要求11所述的方法，其中，分布的特性是关于表面法向量的单峰分布的方差程度，且选择步骤包括比较方差程度与阈值。
16.根据权利要求15所述的方法，其中，(a)如果方差大于高阈值，则在选择步骤选择ICP算法，和(b)如果方差小于低阈值，则在选择步骤选择基于边缘和ICP的混合算法。
17.根据权利要求16所述的方法，还包括通过(a)自动过程或(b)用户指定过程中的至少一个过程来设置高阈值和低阈值中的至少一个。
18.根据权利要求17所述的方法，其中，当通过自动过程设置高阈值和低阈值中的至少一个时，所述自动过程基于在训练图像中的一种对象类型；而当通过用户指定过程设置高阈值和低阈值中的至少一个时，所述用户指定过程基于在训练图像中的一种对象类型。
19.根据权利要求16所述的方法，其中，如果方差在高阈值和低阈值之间，在选择步骤提示用户选择至少一个三维对准算法。
20.根据权利要求11所述的方法，其中，三维摄像机组件包括多个位于隔开位置的分散的三维摄像机，以拍摄包含运行时对象的场景。
CN201710641970.3A 2016-08-01 2017-07-31 在视觉系统中自动选择三维对准算法的系统和方法 Active CN107680125B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662369702P 2016-08-01 2016-08-01
US62/369,702 2016-08-01
US15/634,003 US10380767B2 (en) 2016-08-01 2017-06-27 System and method for automatic selection of 3D alignment algorithms in a vision system
US15/634,003 2017-06-27

Publications (2)

Publication Number Publication Date
CN107680125A CN107680125A (zh) 2018-02-09
CN107680125B true CN107680125B (zh) 2021-06-11

Family

ID=60951019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710641970.3A Active CN107680125B (zh) 2016-08-01 2017-07-31 在视觉系统中自动选择三维对准算法的系统和方法

Country Status (5)

Country Link
US (1) US10380767B2 (zh)
JP (1) JP6503153B2 (zh)
KR (1) KR102011564B1 (zh)
CN (1) CN107680125B (zh)
DE (1) DE102017116853A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452949B2 (en) * 2015-11-12 2019-10-22 Cognex Corporation System and method for scoring clutter for use in 3D point cloud matching in a vision system
US10937150B2 (en) * 2018-06-28 2021-03-02 General Electric Company Systems and methods of feature correspondence analysis
TWI706841B (zh) * 2019-03-22 2020-10-11 達明機器人股份有限公司 ３ｄ相機與機械手臂座標系統的校正裝置及方法
US11132845B2 (en) * 2019-05-22 2021-09-28 Microsoft Technology Licensing, Llc Real-world object recognition for computing device
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor
US10962630B1 (en) * 2019-10-18 2021-03-30 Toyota Research Institute, Inc. System and method for calibrating sensors of a sensor system
KR20220167753A (ko) 2021-06-14 2022-12-21 한국전자통신연구원 머신 비전을 위한 영상 처리 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN103153553A (zh) * 2010-08-27 2013-06-12 Abb研究有限公司 视觉引导对准系统和方法
CN103198192A (zh) * 2013-04-12 2013-07-10 厦门大学 一种用于虚拟三维零部件快速装配的吸附方法
CN103402453A (zh) * 2011-03-03 2013-11-20 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法
CN104395932A (zh) * 2012-06-29 2015-03-04 三菱电机株式会社 对准数据的方法
CN104463948A (zh) * 2014-09-22 2015-03-25 北京大学 三维虚拟现实系统与地理信息系统的无缝可视化方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5028138A (en) 1989-05-23 1991-07-02 Wolff Lawrence B Method of and apparatus for obtaining object data by machine vision form polarization information
US5078496A (en) 1990-08-14 1992-01-07 Autospect, Inc. Machine vision surface characterization system
US5557324A (en) 1992-10-29 1996-09-17 The Johns Hopkins University Polorization viewer
USRE37752E1 (en) 1992-10-29 2002-06-18 Equinox Corporation Polarization viewer
EP0718624A3 (en) 1994-12-19 1997-07-30 At & T Corp Device and method for illuminating transparent and semi-transparent materials
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6858826B2 (en) 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
US6064759A (en) 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US6504957B2 (en) * 1997-07-07 2003-01-07 General Electric Company Method and apparatus for image registration
US6173070B1 (en) 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
WO2001078005A2 (en) 2000-04-11 2001-10-18 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
JP3513562B2 (ja) * 2000-04-20 2004-03-31 インターナショナル・ビジネス・マシーンズ・コーポレーション 形状解析システム、３次元形状モデルの差分検出システム、類似形状検索システム、形状解析方法及び記憶媒体
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
KR100959470B1 (ko) * 2002-03-22 2010-05-25 마이클 에프. 디어링 확장가능한 고성능 3ｄ 그래픽
US6947579B2 (en) 2002-10-07 2005-09-20 Technion Research & Development Foundation Ltd. Three-dimensional face recognition
US20040184653A1 (en) * 2003-03-20 2004-09-23 Baer Richard L. Optical inspection system, illumination apparatus and method for use in imaging specular objects based on illumination gradients
US7295220B2 (en) 2004-05-28 2007-11-13 National University Of Singapore Interactive system and method
EP1766552A2 (en) 2004-06-23 2007-03-28 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
EP1897033A4 (en) 2005-06-16 2015-06-24 Strider Labs Inc SYSTEM AND METHOD FOR RECOGNIZING 2D IMAGES USING 3D CLASS MODELS
US8064731B2 (en) * 2006-11-13 2011-11-22 Siemens Audiologische Technik Gmbh Generalized rigid alignment of 3D ear impression models
EP2026279B1 (en) * 2007-08-13 2011-10-19 Aqsense, S.L. Method and system for aligning three-dimensional surfaces
DE102007048320A1 (de) 2007-10-09 2008-05-15 Daimler Ag Verfahren zur Anpassung eines Objektmodells an eine dreidimensionale Punktwolke
US8090160B2 (en) 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
US8085987B2 (en) 2007-10-26 2011-12-27 Ahmed Shalaby Method and tool for surface texture evaluation
US8786595B2 (en) * 2008-06-10 2014-07-22 Pinpoint 3D Systems and methods for estimating a parameter for a 3D model
CN101996416B (zh) 2009-08-24 2015-05-20 三星电子株式会社 3d人脸捕获方法和设备
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
RU2431889C1 (ru) * 2010-08-06 2011-10-20 Дмитрий Валерьевич Шмунк Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
JP6057905B2 (ja) * 2010-10-25 2017-01-11 ロッキード マーティン コーポレイションＬｏｃｋｈｅｅｄ Ｍａｒｔｉｎ Ｃｏｒｐｏｒａｔｉｏｎ 水中構造物の構造的変化の検出
US20120314031A1 (en) 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
WO2013033442A1 (en) 2011-08-30 2013-03-07 Digimarc Corporation Methods and arrangements for identifying objects
US8908913B2 (en) * 2011-12-19 2014-12-09 Mitsubishi Electric Research Laboratories, Inc. Voting-based pose estimation for 3D sensors
US9593982B2 (en) 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9269156B2 (en) 2012-07-24 2016-02-23 Siemens Aktiengesellschaft Method and system for automatic prostate segmentation in magnetic resonance images
JP6323993B2 (ja) * 2012-08-28 2018-05-16 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
US20140192050A1 (en) * 2012-10-05 2014-07-10 University Of Southern California Three-dimensional point processing and model generation
US9196088B2 (en) * 2013-03-14 2015-11-24 Robert Bosch Gmbh System and method for classification of three-dimensional models in a virtual environment
US9154773B2 (en) 2013-03-15 2015-10-06 Seiko Epson Corporation 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
KR102306780B1 (ko) * 2014-12-15 2021-09-30 삼성전자주식회사 영상 처리 장치 및 방법
US10115035B2 (en) * 2015-01-08 2018-10-30 Sungkyunkwan University Foundation For Corporation Collaboration Vision system and analytical method for planar surface segmentation
EP3335193A1 (en) * 2015-08-14 2018-06-20 Thomson Licensing 3d reconstruction of a human ear from a point cloud

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103153553A (zh) * 2010-08-27 2013-06-12 Abb研究有限公司 视觉引导对准系统和方法
CN103402453A (zh) * 2011-03-03 2013-11-20 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法
CN104395932A (zh) * 2012-06-29 2015-03-04 三菱电机株式会社 对准数据的方法
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN103198192A (zh) * 2013-04-12 2013-07-10 厦门大学 一种用于虚拟三维零部件快速装配的吸附方法
CN104463948A (zh) * 2014-09-22 2015-03-25 北京大学 三维虚拟现实系统与地理信息系统的无缝可视化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Contour Matching for 3D Ear Recognition;Hui Che et.al;《2005 Seventh IEEE Workshops on Applications of Computer Vision (WACV/MOTION"05) - Volume 1》;IEEE;20070319;第123-128页 *
地面LiDAR点云数据配准与影像融合方法研究;严剑锋;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150115;第I138-980页 *

Also Published As

Publication number Publication date
KR102011564B1 (ko) 2019-08-16
CN107680125A (zh) 2018-02-09
JP2018055674A (ja) 2018-04-05
JP6503153B2 (ja) 2019-04-17
KR20180014676A (ko) 2018-02-09
US20180130234A1 (en) 2018-05-10
DE102017116853A1 (de) 2018-02-01
US10380767B2 (en) 2019-08-13

Similar Documents

Publication Publication Date Title
CN107680125B (zh) 在视觉系统中自动选择三维对准算法的系统和方法
EP3168812B1 (en) System and method for scoring clutter for use in 3d point cloud matching in a vision system
US10482621B2 (en) System and method for improved scoring of 3D poses and spurious point removal in 3D image data
JP7339316B2 (ja) ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法
US7336814B2 (en) Method and apparatus for machine-vision
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
JP2017091079A (ja) 入力データから検出対象物の像を検出する画像処理装置および方法
KR101510206B1 (ko) 항공 하이퍼스펙트럴 영상을 이용한 수치지도 수정 도화용 도시변화지역의 탐지 방법
US9569850B2 (en) System and method for automatically determining pose of a shape
US6993177B1 (en) Gauging based on global alignment and sub-models
US9836673B2 (en) System, method and computer program product for training a three dimensional object indentification system and identifying three dimensional objects using semantic segments
JP4925120B2 (ja) 物体認識装置および物体認識方法
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN115222956A (zh) 多图层导入的测量系统及其测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant